Reprise du message précédent :

https://github.com/walter-grace/mac-code

Quels sont les modèles chinois que vous trouvez vraiment performants pour le code ?
 
Le modèle Xiami m'a fait n'importe quoi, que ce soit le pro ou le omni.
Qwen était dans la course à l'époque de Gemini 2.5 mais me donne l'impression de n'avoir pratiquement pas évolué depuis
Je teste GLM actuellement, le 5, et ça semble prometteur

Je dirais Kimi et glm

Bon bah plus qu'à acheter un second Mac Mini M4 maintenant

omg la première fois que j'utilise le gemini integré à gsheet, c'est une horreur: 3 plombes pour répondre, me casse mes formules  

Pareil, j'ai tenté une ou deux fois, c'est lent et complètement pété

En LLM de base pour discuter et occasionnellement me guider dans la config Linux et traiter 2/3 tableaux, c'est quoi le consensus du topic ? J'ai un abonnement ChatGPT mais je le trouve de moins en moins bon et il me gave à finir chaque réponse par "au fait, je t'ai pas dit ça mais c'est super intéressant, c'est vraiment réservé aux initiés, est-ce que tu veux que je creuse et je te dise ?"

 
Je vois pas comment un modèle de 10GB tiens pas dans 16GB UMA. En plus en UD-IQ2_M, c'est pas vraiment utilisable, il le dit lui même qu'il process pas correctement le JSON.
 
Sur ma 4060Ti je suis a 66 tg/s avec Q3_K_XL qui est bien plus utilisable, 73 tg/s en Q2_K. Même une 3060 12GB doit faire bien mieux. Faudrait que je vois sur une 8GB VRAM.

 
Gemini marche bien pour ça je trouve.

Personnellement, je trouve globalement que Gemini est bien plus agréable et "humain" que ChatGPT qui est lourdingue et ultra typé USA.
 
Je bosse depuis plus de 10 ans avec des équipes américaines et je retrouve clairement de grosses similitudes "culturelles" dans la manière de parler.
Sans parler du fait que ChatGPT utilise beaucoup d'expressions ou de styles d'écritures Américains simplement traduits en français, ce qui sonne bizarre, alors que Gemini parle un français tout à fait normal.
 
Claude semble très bien rédiger aussi mais j'ai bcp moins d'expérience dessus.

L'article indique que ça swap sur le SSD, donc ça ne rentre évidemment pas dans la RAM.
Mais je suis étonné des 30 Token / s, même pour du Q2.
Sur mon M4 avec également 16 go de RAM je plafonne a 15 Token / s sur Qwen 3.5 9B en Q4.
De toute manière un M4 de base se fait enterré par quasi n'importe quel GPU Nvidia à partir de la génération RTX4xxx, ma 4070 fait 3 fois plus de Token que mon M4 alors que j'ai un vulgaire I5 9600K et 16 Go de RAM en DDR4.
 
Sinon j'ai eu accès à un benchmark complet d'un éditeur sur tous les models open source du marché avec leur produit. Avec 2 A100 de 80Gb de RAM chacun, la différence de perf (token /s) pour un même model entre vllm et Ollama est de 800%, c'est vraiment monstrueux (enfin surtout sur CUDA). A noté que les models les plus recommandables sont les Qwen3.

c'est de la merde en effet, dans gdocs aussi
nettement moins bon que notebooklm ou gemini hors de gsheet à qui tu dis d'aller trouver le fichier en question, ou que claude sur le même fichier converti en fichier excel (suivant ce que tu cherches à faire)

 
L'article dit de la marde je pense
 
9B en Q4 demande plus de resources que 35B A3B en Q2. Tu as 3x plus de paramètres actifs.
 
C'est 8x dans quel sens? Vllm c'est un truc de prod multi-user, Ollama (via llama) doit vomir avec 3/4 requêtes en parallèle, c'est pas trop fait pour ça.

Tu as vu que y avait une option pour la personnalité de ChatGPT ?

+1

Je préfère aussi discuter avec Gemini et Claude

Je trouve  ça épatant qu'il faille encore informer a ce sujet  

Lequel est le gagnant?

 
J'imagine que c'est Vllm

 
https://developers.redhat.com/artic [...] nchmarking

EDIT : En fait en relisant je crois que les througput sont calculés avec 16 requêtes concurrentes, ça explique l'écart énorme avec Ollama.
La moyenne de token / s sur vLLM est a 750 t/s vs 91 t/s sur Ollama sur l'ensemble des modèles testés. En sachant que vllm fonctionne en FP16 et Ollama en Q4.

Tu parles de quelles ressources ?
Quand je regarde la tailles des images je trouve 11 Go pour Qwen3.5 en 35B Q2 et 5Go et Qwen 3.5 9B en Q4, il me semble que la consommation RAM est proportionnelle à la taille du model.

 
C'est difficile de commenter sans connaître le bench, le hard, etc. Vllm et Ollama sont pas du tout fait pour faire la même chose. Si tu as la VRAM, un FP16 sera plus rapide qu'un Q4, un safetensors est plus efficace qu'un gguf.
 
Je veux dire qu'au niveau calcul GPU, il y a plus de boulot pour un 9B qu'un 35BA3B.
 
Edit: Il me semble que llama (utilisé par Ollama) n'a pas de mécanisme de sessions concurrentes, il y a des "slot" mais je sais pas si c'est pas séquentiel.

J'ai édité entre temps, mais effectivement le score est basé sur 16 requêtes concurrentes, donc forcément très à l'avantage de VLLM et sur du gros Hardware (2 H100 avec 80Gb de RAM) .
 

Oui mais ça influe sur une partie seulement, pas sur "l'américanisme". Il est un peu moins psychopathe avec les bons réglages mais il s'exprime toujours de manière lourdingue.
En fait, avec Gemini on a l'impression de discuter avec un pote, avec Claude avec un doctorant (du peu que je l'ai fait) et avec ChatGPT à un ado américain lourdingue.

J'ai que gpt5mini high avec GitHub Copilot en gratos au taf, le reste est en premium request et c'est un quota mensuel

Que vaut ce model ?

Mais faut pas oublier que ton PC te coute probablement 6 fois plus cher que le M4 en électricité

J'avais fait le meme calcul sur le bar du comptoir avant d'acheter un mac mini : il viens de repartir vers d'autres contrés
 
En vrai si tu as deja un pc correct ( en ram surtout ) t'as mieux fait de mettre des sous dans un gpu nvidia que d'acheter un mac mini expres pour les llm.
 
En bourrinant 2h par jours tous les jours, mon gpu en conso versus le mac mini => 50 balles d'economisé par an.
Et surtout le gpu me sert pas que a ca, alors que le mac mini si tu part sur un 16gb il va devoir être dédié uniquement a ton llm local vus que c'est de la mémoire unifiée.

 
Si il va 6x plus vite, c'est rentable.
 
C'est bien d'avoir un Mac mini avec 100GB de RAM, mais ça rends pas le GPU plus rapide .

 
 
T'es sur quels plans payants actuellement ?

Ils ont pas récolté assez de datas sur nous
 

Le Pro forcément mais c'est la même merde pour tous les users sauf les Ultra (et encore)...

Je suis en train d'utiliser claude pour me renommer des épisodes d'une série de animée pour enfant afin d'avoir les bons numéros d'épisodes par rapport à thetvdb
et du coup il regarde soit le titre du fichier, soit les metadonnées, soit les frames pour trouver le titre
et si plusieurs épisodes dans 1 fichier, alors il va faire ça de maniere intelligente pour retrouver les titres de chaque épisodes
 
c'est ultra bourrin

Ouais c'est exactement, tu veux que je te donne le top 3 réel des différences entre Claude et Gemini ?  
Ou alors je te fais un résumé hyper clair et sans bullshit de quelle chatbot choisir pour ton cas. Dis moi et je le fais.

Perso, j'adore comment chatgpt me répond, en mode full "faits", pas de blabla inutile etc...je cherche pas à avoir un ami numérique

CC ou Cowork ?

T'as bien raison, je fais ça à mort
Et même si tu paies au token, vu le gain de temps dans la vie autant bosser 1hr de plus et payer ces trucs

Claude code, direct sur mon home-server sous linux, il fait ça d'une puissance, avant ce genre de connerie m'uarai pris pas loins de 2h car il y a 100 fichiers et faut fouiller chaque vidéo et renommer chaque épisode. là fini la galère, je matche nickel j'ai plus de soucis
 
Claude code est 10x mieux que cowork pour certains truc, gerne pour une étude de marché, tu créé un dossier sur ta machine, tu lances claude code dessus, et tu lui demande de te faire une étude de marché avec markdown + diagrammes mermaid dans markdown, et ensutie tu peux lui demander de générer du HTML ou du powerpoint avec MARP et yolo, le taf est fait

Le turfu du piratage

No comment  

Le truc sale c'est que oui il peut faire ça tres bien, pour une app open source selfhosted, il te le fait en moins de 5 minutes, j'avais testé sur un truc sur une app de conversion vidéo, mais au final j'ai recodé entièrement une app qui fait mieux son taf, en tout cas qui est adaptée à mon besoin

Il est très bon mais peut oublier des choses et oublie parfois les appels aux outils.
Mais il peut être très performant. A mon sens il est déjà bien plus performant qu'Opus 4.6 et, quand on le prompt bien (et c'est pas un détail car il oublie vite), pas très loin de 5.4.
Enfin si tu parles bien de 5.4 mini et pas 5.1 mini
 

C'est carrément ça !
 
Tu as raison de challenger, je te réponds sans bullshit en allant droit au but. (...)
Tu veux que je te prépare un fichier (logiciel inconnu) prêt à être intégré en production, 100% fonctionnel ?
- Oui
Désolé je ne peux pas produire de fichier (logiciel inconnu). Je peux te faire une liste des commandes blabla. Dis le et je le fais.
 

Perso j'ai réglé le miens en pas d'enthousiasme, critique, hyper pragmatique, zéro emoji, droit au but, etc.
Il a quand même un comportement de psychopathe.
 
La personnalité que j'adore par contre c'est celle de Codex. Direct, efficace, sur de lui.

Ouais