J'imagine que ogg/vorbis n'est pas très efficace sur des très petits morceaux. Ou alors tu as mal parametré le logiciel de conversion ?
De toute façon ça ne te fera gagner de la place que sur le disque ; après chargement, SFML décode le son en un tableau d'échantillons, quelque soit le format d'origine.