Reprise du message précédent :
Deepseek V4 je l'ai fait bosser ce soir, ça marche, mais il crame énormément de token de réflexion donc tout prend du temps. Pour une simple demande il sort un roman. GLM 5.1 me semblait pas mal, même codex disait que ce qu'il faisait était correct même si jamais optimal alors qu'il considère claude comme un bon junior ^^
 

Je viens de refaire un essai : demander à Deepseek V4 Pro de changer la taille d'un élément sur un site : il sort deux romans de réflexion, remplis de "Oh wait! I see" puis fait le truc, 4 minutes

GPT 5.4 mini low : réalisé à l'identique en 5 secondes

Par contre Deepseek est très, très peu couteux... mais comme il est très lent à produire, en entreprise ça doit surement revenir plus cher que GPT..

Kimi Kimi  

 Ah voilà

Par contre j'ai renté kimi aujourd’hui, c'est mort. Dès que ca rentre dans le dur elle fait de la merde.

Xatrix tu testes sur tes PR app RedFace ?
 

Qui a assez de ram pour tester ?
 

 
https://huggingface.co/collections/XiaomiMiMo/mimo-v25

Sophia

J'ai laissé tourner deepseek sur une modif demandée hier. Ce matin, je vois qu'il a cramé 200 000 tokens sur une demande simple et a fini par restaurer complètement un fichier depuis git, a créé un programme python pour éditer un fichier PHP et a finalement modifié 5 lignes dedans.
C'est bien fait, mais quelle énergie pour juste ça !

EDIT : il aura mis 30 minutes
Pour comparer, j'annule les changements, je demande à 5.3 codex low de faire la modification (même prompt) : 10 secondes, modif ciblée.

Je vois mal comment on peut réellement se servir de deepseek dans un environnement pro où c'est bien plus le coût des salaires qui est important que le coût au token. En plus de ça, le coût au token est un mauvais indicateur car ici il a utilisé 100 fois plus de token que Codex...

C'est sorti depuis 1 semaine au moins

J’arrive pas à suivre avec les modèles chinois

Je commence à sérieusement penser que les bench... c'est devenu du flan.
 
Quand je vois les scores de Deepseek alors qu'il met des plombes à faire quelque chose, qu'il passe par X, Y et Z pour aller de A à B, qu'il est parfois à coté de la plaque en compréhension des prompts alors qu'il est classé dans les top modèles actuels, ça fait réfléchir. Pendant ce temps, les 5.4 mini ou Gemini 3.1 flash sont largement plus performants, rapides et économes en token et sont moins bien classés.
 
On devrait inventer un benchmark d'efficacité machine + temps homme sur des tâches réelles, ça changerait complètement la donne.

Ca fait plus d’un an que les modèles sont tous entraînés pour les benchs. Perso je les regarde même pas  

Ca dépend des bench. Il y en a qui sont quasi impossibles à falsifier, par exemple le SWE Pro ou les ARC AGI. Je pense plutot que les benchs ne mesurent pas forcément tout ce qui compte réellement dans un usage pro.

C'est pas nouveau ça

Je ne connaissais pas deepseek, j’adore son franc parlé  
 

 
Bon par contre il est très sur de lui et impose ses solutions

Avant les GPT parlaient comme ça aussi dans codex ou l’API au tout début  
J’ai déjà eu des « tu as raison, je n’aurais pas dû faire un gros replace bien degueulasse », « c’est vrai que c’est crade » ou « Ah - HA ! J’ai trouvé le bug ! »
 
Mais il est bcp plus sérieux depuis les 4.x

Faut le vendre aux entreprises dont c'est normal

 
J’ai plus Minimax mais il me sortait souvent "j’ai fait de la merde" .  

 
Loi de Goodhart

 
Les benchs ont toujours étés mauvais et en plus les modèles sont entraînés directement dessus. Déjà beaucoup sont des tests synthétiques complètement décorrélés de la réalité, genre "fais moi une suite de Fibonacci en C" le truc qui n'a jamais servis a rien en prod. En plus il suffit de distiller un peu un modèle pour gagner 30% dans un bench: https://huggingface.co/FINAL-Bench/Darwin-36B-Opus
 
C'est pourtant très simple de faire de bon benchs pour le code. Tu prends des issues/PR Github et tu fais bosser les modèles dessus et tu compares les résultats. Le problème c'est que ça prends 1000 ans de mettre les envs en place, autant de temps pour faire tourner tous les modèles tout ça pour avoir des scores pourris...

Tu as regardé comment fonctionne SWE Pro ?

C'est pour les grosses boîtes, pour nous pauvres quidam ça va pas nous servir grandement, je me trompe?

 
Oui, c'est pas très clair. J'ai pas trouvé les tests, donc difficile de savoir quelle issues il utilisent, mais j'ai regardé le papier:
https://static.scale.com/uploads/65 [...] %20(9).pdf
 

 
C'est censé être basé la dessus:
https://github.com/SWE-bench/SWE-be [...] ch/collect
 
12 repos, 90% de Python ....
 
 
edit, je pense que les tests publiques sont la:
https://huggingface.co/datasets/Sca [...] Pro/viewer
 
731 tests, 0 test Java, 1 test avec un peu de c, 2 avec du cpp, beaucoup de tests ont des fix de quelques lignes.

De mémoire c'est un pool glissant de 1800 PR diverses qui est demandé à chaque modèle, et ils mesurent le taux de succès en one shot, sur plusieurs langages mais effectivement avec une majorité de python.
Le multi lingual est plus varié.

Tous les autres bench de codage ont minimum 90% de python

Et la plupart des modèles sont surentrainés en Python, un peu moins sur d'autres langages.

Un des effets troublants, c'est que Gemini 3.1 est pas hyper bien classé dans les bench bien que ce soit un des meilleurs modèles pour le PHP, juste par ce que ce n'est pas le meilleur en python.

Quoi qu'il en soit il est quasi impossible de "benchmax" un SWE pro comme le disent les américains sur Reddit. Les cas sont trop variés et son renouvelés. Le seul moyen d'avoir un bon score c'est d'avoir un modèle très entrainé sur la résolution de conflits en python

Si on faisait un bench qui évaluent les perfs en assembleur, en PHP, en C, etc. le classement serait très différent des classements actuels, surtout pour les modèles open

 
 
T'as put tester la V4?
 
J'ai toujours la V3 même après une mise à jour, il me dit que le déploiement de la V4 se fera progressivement.
 
Je trouve ça chelou, comment ça se fait que ça ne passe pas à la V4 d'un coup pour tous les utilisateurs?

J'ai ma V4 sur Ollama Cloud et sur OpenCode Go de mon côté. Par contre ça timeout trop souvent, il va falloir attendre que la hype redescende un peu...

Oui V4, je passe en direct par Deepseek en API via open code

Vous arrivez à des résultats similaires pour vos usages entre codex, claude code et GLM / MiMo / Kimi / Deepseek ( / autre ?) ?
Si oui quelle façon de travailler est-ce que vous recommanderiez ? Un abo via opencode go par exemple ?
Je ne fais pas de pur dev mais de l'infra as code et de l'archi cloud / devops

ah ça c'est moi mais je fais plus trop de cloud
codex & claude code seront tes amis, j'ai pas vraiment testé le reste mais déjà sonnet/opus/gpt5.4/gpt5.5 te seront plus qu'utile.

quoi

   
https://www.tomshardware.com/tech-i [...] goes-rogue

Ma question était peut-être pas très claire, j'utilise en effet beaucoup codex et/ou claude code. Je cherche à savoir si les résultats obtenus avec les modèles cités (chinois open-source il me semble) sont "similaires", à défaut d'un meilleur terme de benchmark

le mec se fait surtout une pub pour le nom de truc

 
Ok merci, donc tu passe par la version payante?

 
 
Je trouve les benchs intéressant pour comparer des modèles d'un même éditeur entre eux, mais j'y prêtre pas plus attention que ça. Dans toutes les industries c'est toujours bidonné dés qu'un bench devient populaire.
Le fait qu'ils soient majoritairement en Python retire le peu d’intérêt qu'ils ont.

C'est là qu'on voit que c'est puissant car c'est très proche de ce qu'il peut se passer avec un ingé humain, le volume "staging" et l'ID qui est le même sur plusieurs envs...