J'ai essayé différents systèmes et je pense qu'à génération égale, la différence de qualité d'image entre APS-C et micro 4/3 reste perceptible.
Mon E-M1 est un cran en-dessous du X-Pro1 de la même époque. A bas isos et avec une exposition bien gérée, les fichiers micro 4/3 sont propres mais dès qu'on tente un traitement un peu poussé, la différence est notable je trouve.
J'ai la chance d'avoir un Olympus 45mm 1.2 pro qui est une merveille, optiquement irréprochable et pour moi devant le 56 1.2 Fuji. Cependant sur certaines photos je me dis qu'il mériterait un meilleur capteur. De ce point de vue là les boitiers récents comme le GX9 sont sûrement meilleurs mais pour rester sur la différence de qualité d'image, entre temps Fuji a sorti le capteur X-Trans III qui est encore un bond en avant, parait-il.
J'ai commencé avec un X100T il y a longtemps, il n'a de compact que le nom. La taille est celle d'un boitier hybride moyen, l'objectif est pancake mais prend vite de l'embonpoint avec les filtres, pare-soleil, bouchons etc...
Au final j'ai changé pour un X-E2 + 35mm f/2 WR puis le 23mm f/2 WR à sa sortie. J'ai gagné en flexibilité, qualité d'image idem et pas perdu beaucoup en compacité.
Plus que n'importe quelle autre marque, les boitiers Fuji décotent énormément. Si c'est pour essayer, un X-T3, T2 ou même T1 fera bien l'affaire à moindre prix. Si tu accroches, tu pourras toujours acheter le T4 dans quelques mois.
Pour ma part j'en suis resté au X-Trans II. L'AF n'est pas des plus rapides, 16mpix mais ça me suffit et avec l'argent économisé, j'ai pu me faire plaisir avec les optiques.
Attention quand même à une chose, la stabilisation en micro 4/3 compense en grande partie la montée en isos. Les Fuji sont propres jusqu'à 3200 isos voire au-delà selon les goûts mais ça monte très très vite

C'est surtout pour la dynamique que je vois une différence.