Effectivement, c'était bien mon problème !
Pour ceux qui auraient la meme erreur que moi, je vous donne la ligne de commande pour que ld sache ou se trouve la lib :
$ sudo ldconfig /your/path/to/the/library/folder/SFML-2.0/lib/
Ensuite, vous faite un
$ sudo ldconfig -p | grep sfml
Et vous devriez voir apparaitre quelque chose comme :
$ sudo ldconfig -p | grep sfml
libsfml-window.so.2 (libc6) => /your/path/to/the/library/folder/SFML-2.0/lib/libsfml-window.so.2
libsfml-system.so.2 (libc6) => /your/path/to/the/library/folder/SFML-2.0/lib/libsfml-system.so.2
...
...
Si vous avez bien ce retour, c'est que les libs sont bien prises en charge par ld.
Encore merci du coup de main !