C'est quoi les "gros objets" ? Y a pas beaucoup d'allocations dynamiques dans SFML, pratiquement aucune n'est critique (elles se font principalement pendant l'initialisation).
Donc concrètement tu as un vrai problème, ou bien tu lances l'idée comme ça ?