Je crois pas qu'il y ait d'incompayibilité entre le trellis et h263. A l'origine, le trellis n'a été developpé que pour le h263 et a ensuite été étendu au matrices MPEG et Custom. Donc aucun problème coté trellis (sauf un petit bug dans la version 1.0 mais qui a été corrigé depuis)
Pour la matrice hvsbest, je suis assez d'accord. Apès, l'aspect visuel plait pas forcement a tout le monde, mais je trouve que ça se rapproche plus de la source dvd que la matricve h263.
En ce qui concerne les saccades sur ta platine, tu peux essayer de décocher packed bitstream en mettant plus d'1 bframe, il se peut que ça regle le problème.
Même avec trois film sur un DVD, je pense qu'une resolution en 720 est largement jouable(même en gardant l'ac3). Fait quelques tests pour voir ce que ça donne mais je pense pas qu'il y ait de problème.