Au niveau du module réseau, il n'y a pas de "perfs de la SFML". C'est le module le plus bas niveau de SFML, il ne fait qu'encapsuler un tout petit peu les fonctions natives de l'API sockets BSD. Il ne rajoute rien par dessus, rien qui prenne du temps CPU en tout cas.
Je peux t'assurer que s'il y a un problème alors celui-ci se trouve dans ton code, pas dans SFML.