lxde est un autre bureau, qui utilise openbox. c'est le bureau complet le plus léger (complet, i.e. avec une barre des tâches et un gestionnaire de fichiers)
j'ai fait une bécane comme ça, à peu près pareille (P3 700, 256 ou 320 de ram) sous ubuntu 10.10, avec xephyr pour me connecter en X11 (ça serait du vnc si je savais comment interfacer ça avec le serveur ltsp)
debian marche très bien pour faire pareil. ubuntu 11.04 a un avantage : firefox 4, plus léger en CPU ; mais des inconvénients (écran d'accueil buggué, navigateur chromium que j'avais pas demandé..)
pour ubuntu ou debian la démarche est la même (mais requiert l'alternate CD ou l'installeur réseau sous ubuntu)
on fait une install mode texte, puis apt-get install lxde
pour avoir firefox 4 (ou seamonkey 2.1 sur la même base) on peut truander et se contenter de télécharger l'archive chez mozilla, plutôt qu'une installation classique depuis les paquets.
ou bien utiliser un ppa sur un ubuntu (le 10.04 LTS serait très bien), ou ajouter un dépôt mozilla à la debian.