Non, pas la peine de toucher à la variable DISPLAY, justement parce que c'est xdm qui s'en charge. Sinon, il faut autoriser les connections distantes dans la config de xdm (qui écoute les connections sur port 177 par défaut). Je n'utilise pas xdm, seulement gdm. Dans le fichier gdm.conf, il y a une section consacrée à xdmcp:
[xdmcp]
Enable=true
HonorIndirect=true
MaxPending=4
MaxPendingIndirect=4
MaxSessions=16
MaxWait=30
MaxWaitIndirect=30
Port=177
PingInterval=5
Il doit y avoir des trucs qui ressemblent dans le fichier de config de xdm.