J'ai trouvé un moyen de changer la transparence d'une fenêtre en utilisant un layer, mais je ne sais pas si c'est une bonne solution pour pouvoir afficher des images par dessus.
sf::RenderWindow window(sf::VideoMode(500, 500), "SFML_WINDOW", 0);
HWND hWnd = window.getSystemHandle();
SetWindowLong(hWnd, GWL_EXSTYLE, GetWindowLong(hWnd, GWL_EXSTYLE) | WS_EX_LAYERED);
SetLayeredWindowAttributes(hWnd, 0, 0, LWA_ALPHA);