Passer de 44100 à 32000 hertz réduit la définition et la richesse sonore. La perte est irréversible, et ce d'autant plus qu'un rééchantillonnage aura lieu, abaissant encore un peu la qualité. Par ailleurs, je ne pense pas que vorbis soit véritablement optimisé pour les fréquences autres de 44100 hertz ; là encore, mauvais choix.
Sinon, il faut signaler qu'à 80/96 kbps, vorbis n'a aucunement besoin de passer de 44100 à 32000 hertz. Le codec est en effet capable de supporter les hautes fréquences à bas débit sans trop broncher, contrairement au mp3.
Enfin, le gain en espace réel, tu le constateras, sera vraiment faible. Bref, c'est risquer (en fait, c'est une certitude) une grosse perte de qualité pour une économie bien maigre.
Tu peux éventuellement passer de 44100 (ou 48000) à 32000 hertz en utilisant -q -1 (45 kbps). J'avais remarqué, en testant rapidement (je préfère donc ne pas généraliser), une réduction du bruit caractéristique du codec en passant à 32 Khz. Le résultat semblait un peu supérieur. Mais faute de test véritable, je te suggère de ne rien faire, sinon que de tester toi-même à ce débit.
Bref, oublie le rééchantillonage pour des débits aussi conséquents avec vorbis, et ne réserve cette technique que pour des débits inférieurs à 40 kbps.