Il faut choisir "utiliser la sortie centrée" au lieu de "utiliser la mise à l'échelle du moniteur".
C'est dans les propriété d'affichage de la carte graphique, option "paramètre de moniteur", "réglage d'affichage".
Voilà, comme ça l'écran sera bien en 800x600 mais avec une zone d'affichage de 640x480 avec des bandes noires autour.