Attention : le Nikon D5300 n'est pas si lourd que ça, surtout avec le 35mm (je suppose que c'est le 35mm DX qui est pas cher, de bonne qualité et très léger).
C'est vrai que, pour l'encombrement, tu peux trouver plus petit mais pas forcément beaucoup plus léger.
Tu pars sur la gamme X100. C'est une focale fixe non interchangeable, donc, il faut être sûr que cela te conviennent.
Comme conseil, si j'étais toi, j'essayerai de trouver un X100s ou T d'occasion pour voir dans un premier temps si ça te convient (focale, car d'un point de vue AF, il est bien derrière le X100F). Ensuite, si tu pourras envisager le switch en toute connaissance de cause.
Avantage, tu pourras assez facilement revendre sans perte le X100s ou X100T et revendre ton Nikon pour passer au X100F.
Sinon, tu peux aussi trouver un XE2 ou XE2s d'occasion et monter un petit objectif dessus (style le XF18mm). Perso, j'adore le couple X-Pro + 18mm pour la photo de rue et tu retrouveras alors ta place de focale que tu indiquais utiliser avec le Tokina.