Citation :
Samedi, 15 Février 2003 3DMARK 2003 contre NVIDIA; deuxième round
Comme vous le savez, ?VIDIA qui a claqué la porte du programme de bêta-testing de 3DMARK 2003 a émis plusieurs critiques concernant ce benchmark et conseille aux testeurs de ne pas l'utiliser. Futuremark qui a dans un premier temps a publié un "white paper » (voir cette news ) décrivant toutes les phases de développement de son produit ainsi que le contenu des différents tests, vient de répondre plus spécifiquement aux critiques de NVIDIA et d?autres détracteurs, en démontant point par point leur argumentation. Benchmarks synthétiques contre benchmarks intégrés aux jeux. Pour Futuremark , 3DMARK 2003 est un benchmark synthétique conçu dans le seul but de mesurer objectivement les performances du matériel compatible DirectX 9. Il rappelle que pour l'instant aucune application directX 9 digne de nom n'a été publiée et que les jeux DirectX 9 les plus attendus ne sortiront pas avant au moins six mois. Futuremark recommande aux testeurs indépendants de compléter leurs analyses en utilisant les benchmarks des jeux (ndlr : ce qu?on a toujours fait), tout en soulignant que ces tests ne sont valables que pour le jeu en question, alors que 3DMARK 2003 donne une vue d'ensemble des performances et fonctionnalités du hardware. Futuremark ajoute que les benchmark intégrés aux jeux n'ont pas été créés dans un esprit d'indépendance, car ces jeux peuvent contenir des « code path », c'est à dire être optimisés pour les produits de différents fabricants dans un but marketing ou pour des raisons de compatibilité. Un bon Benchmark se doit de mesurer équitablement les performances et Futuremark estime que c'est le cas de 3DMARK 2003. Futuremark conseille par conséquent d'utiliser les benchmarks des jeux pour évaluer les performances dans un jeu en particulier, 3DMARK 2001 pour mesurer les performances des cartes compatibles DirecX7 (GeForce 2 ou Radeon 7500 par exemple) ou les des premières cartes directX 8 (Radeon 8500 ou GeForce 3), et 3DMARK 2003 pour mesurer les performances globales des cartes DirectX 9. De l'optimisation des pilotes Ce n'est pas un reproche fait par NVIDIA, on s'en douterait, puisqu'il est plutôt visé, mais par certains testeurs qui critiquent l'optimisation des pilotes pour 3DMARK 2003. Futuremark répond qu'il a toujours recommandé l'utilisation des pilotes WHQL par défaut, et que selon la licence de 3DMARK 2003 toute review publiée doit faire usage du matériel et des pilotes livrés dans le commerce. Du non-usage du multitexturing dans le game test 1. NVIDIA a reproché au game test 1, un test comparable aux jeux DirectX 8 avec une grosse dose de DirectX 7,de ne pas être représentatif des jeux compatibles avec les cartes DirectX 7, car il ne fait pas appel au multitexturing. Futuremark rétorque que dans ce type de jeu une seule texture est employée pour le ciel car le mutitexturing dans ce cas précis, n'apporte aucune amélioration visuelle. Pour appuyer son argumentation Futuremark cite les jeux Crimson Skies, IL-2 Sturmovik, et Star Trek: Bridge Commander qui font appel au single texturing pour le ciel. Futuremark ajoute que des tests en multitexturing ont été réalisés en cours de développement, et que les résultats ne variaient pas de plus de 3%. Version des pixels shaders dans les game test 2 et 3. Autre point soulevé par NVIDIA, les game tests 2 et 3 favorisent les pixels shaders 1.4 qui selon eux ne sont pas employés dans les jeux qui font principalement appel au pixel shaders 1.1 ou 1.3. Or, 3DMARK 2003 ne contient aucun test avec des pixels shaders 1.3 et se contente des pixels shaders 1.4 (version crée pour les Radeon 8500 et +) ou 1.1. Futuremark rappelle que DirectX 8 contient les 4 versions des pixels shaders (1.1, 1.2, 1.3 et 1.4), mais qu'ayant évalué ces 4 versions, ils ont estimé que les pixels shaders 1.2 et 1.3 n'apportent pas grand chose de plus que les pixel shaders 1.1 en terme de performances ou de qualité visuelle. Futuremark estime qu'un benchmark se doit d'afficher la même chose quel que soit le matériel. Ainsi si un matériel donné supporte les pixel shaders 1.4, il sera plus performant qu'un matériel supportant une version inférieure, puisque le rendu nécessite moins de passe. La même technique de rendu pour les game test 2 et 3 : La validité des résultats a été remise en question car les game test 2 et 3 utilisent la même technique de rendu. Futuremark répond que 3DMARK 2003, contient 3 techniques de rendu alors qu'un jeu n'en exploite qu'une. Pourquoi le "vertex shaders skinning" est utilisé à la place du CPU skinning" Certains prétendent qu'il y a un défaut de conception dans le code relatif au skinning (technique utilisée pour l'animation des personnages), avec les vertex shaders en hardware. Futuremark rétorque que cette allégation est erronée et l'argument est invalide, et ceci pour plusieurs raisons. Les créateurs de 3DMARK 2003 estiment que leur produit est conçu pour mesurer les performances des cartes directX 9 qui réalisent le skinning beaucoup plus rapidement que le processeur central et que ceci est aisément vérifiable en forçant les vertex shaders en software. Pour eux, seule la première génération de cartes DirectX 8 peut bénéficier du skinning via le CPU, puisque avec ces cartes l'avantage des vertex shaders est réduit. Selon Futuremark, dans un jeu directX 9 programmé, avec une carte DirectX 9, le vertex shaders skinning sera toujours plus rapide que le CPU skinning et c'est pourquoi, les développeurs qui sont rationnels, utiliseront les vertex shaders pour le skinning dans les jeux DirectX 9 à venir. 3DMARK 2003 est-il limité par les performances des vertex shaders ? futuremark estime que non puisque le score varie en fonction de la résolution employée. Ainsi les performances dans les game test 2 et 3 évoluent bien en fonction de la résolution, ces tests sont principalement limités par les pixel shaders, et l'emploi du cpu skinning limiterait encore plus les performance des pixels shaders. De l'utilisation de toutes les fonctionnalités de DirectX 9 dans le game test 4. On a reproché au game test 4, de ne pas suffisamment exploiter les fonctionnalités de DirectX 9. Futuremark rétorque qu'une bonne application doit dessiner une scène efficacement, et c'est pourquoi dans certains cas les pixel shaders 1.1 ou 1.4 sont utilisés si un shaders plus complexe n'est pas requis. Ainsi les pixels shaders 2.0 sont uniquement utilisés pour les feuilles l'eau et le ciel, mais tout le benchmark est construit sur DirectX 9, et le test en question est conçu pour le matériel Direct X 9. Futuremark ajoute enfin que le jour ou sortira un jeu plus "directX 9" que le game test 4, ils seront déjà en train de travailler une autre version.
|