Bonjour,
J'ai aussi acquis très récemment un Fuji X100V (et c'est d'ailleurs mon premier boitier Fuji, mon autre boitier étant un réflex Nikon D700).
Je pense avoir trouver la réponse à ta question : c'est relié au vérouillage du levier autofocus.
Voir page 218 du manuel :
Il faut aller dans le menu de configuration (icone en forme de clef), puis sous-menu : config. Touche/molette. Dans ce sous-menu il y a la ligne réglage levier focus. Si tu sélectionne le 1er choix "Vérouillage (Off)" le focus restera sélectionné sur le collimateur choisi et toucher le levier ne le bougera pas. On a ce choix non seulement pour le mode AF point unique mais aussi pour le mode zone ou le mode large/suivi.
Remarque : il existe un raccourci pour accéder très vite au choix que tu veux faire pour le levier focus. Quand tu es en mode prise de vue, si tu appuie longtemps sur le levier focus, tu vois apparaître dans le viseur les trois possibilités : vérouillage (off), dessin d'un pad et oui. Tu choisis en levant vers le haut ou le bas le levier focus.
Puique tu poses cette question, je suppose donc que tu utilises la méthode mémoriser le focus avec le collimateur central sur le sujet puis recadrer, lorsque le sujet que tu veux net n'est pas au centre du cadre. Personnellement, avec ce boitier Fuji (et c'est différent de ma pratique avec mon boitier réflex), je préfère faire le choix du collimateur avec bougeant le levier avec le pouce, en ayant déjà mon cadre, je trouve que c'est très pratique et rapide. Mais c'est vrai que ça peut aussi dépendre de la taille des mains pour un petit boitier.