Reprise du message précédent :

 
tu utilises /fast écébon

Franch'ment...

Edit : quota épuisé, plus qu'a attendre le reset

Plus que 47mn  

Reset effectué avec 1H de retard

AAF

Je plussoie ... 4% de quota mensuel bouffé avec une seule requete luna

Le saviez vous?


https://x.com/thsottiaux/status/2094254532020818191

Salut,
 
Je suis a la recherche d'expérience par des " vrais gens ".
 
Utilisation : opencode ou codex, full agent de partout, contre audit systématique par un second llm qui corrige les oublie/erreurs de chat gpt.
 
Actuellement mon classement perso de llm pour dev/agent :
 
- fable ( inutilisable car trop cher qu quotidien de mon point de vue )
- suivis de pret par chat gpt sol
- bien moins bon mais utile quand même opus 5 ( je m'en sert essentiellement comme contre audit de chat gpt )
 
Idéalement dispo en local sur un gros mac, mais..... sans déconner je suis incapable trouver un bon contre auditeur à chat gpt sol pour remplacer opus.
 
Je sais pas votre avis sur la question mais je trouve les benchmark bien loin de la réalité du terrain, ils encensent sans arrêt les chinois, moi j'aimerais bien... mais la realité je les trouve pas si bien.
 
J'ai testé deep seek v4 pro et glm 5.3, bah non ils oublient des trucs que opus trouve. Je parle même pas de chat gpt sol loin devant.
 
Ca dépend de l'utilisation de chacun, je veux pas lancer un débat de tiers list llm on s'en fiche, mais si quelqu'un a mon utilisation qu'il hésite pas à me conseiller.  
 
 

Ouais, enfin, tu pousses un peu, aussi.
Tu parles des modèles actuellement les plus avancés au monde, dans lesquels des ressources et des sommes colossales ont été englouties. Modèles qui ont vraisemblablement un nombre de paramètres gigantesque, dans les plusieurs milliers de milliards.
Et tu veux remplacer ca par quelque chose d'aussi performant en open-weight qui tourne sur ton mac localement !?
 
   
 
 
Je dirais: Soit tu payes ce que OpenAI ou Anthropic demande et tu leur envoyes tes données, soit tu fais des concessions.
 
A la question "peut-on avoir le beurre, l'argent du beurre et la crémière ?", en tant que "vrai gens" (pas sûr de ca, par contre), je dirais que non

J'avais oublié l'ambiance troll de hardware a force de parler a des llm.
Tu ne connais pas mon budget ni mes projets. C'est dommage de critiquer les gens sans savoir. Efface donc ma phrase " sur un mac local" , comme ca ca passera mieux.  
 
Ca change rien au fait qu'un minimum d'échange d'expérience est toujours plus utile que des benchmark idiots.  
 
Je suis vraiment curieux de savoir si vous arrivez à travailler pour de vrai sur de vrai projet avec une ia chinoise, perso je suis incapable de trouver un vrai "contre auditeur" crédible à chat gpt.
 

"Critiquer"    
 
Ne serait-ce pas toi qui me traite implicitement de "troll" au lieu d'apprécier de recevoir une réponse ?    
 
Que recherches-tu, si ce n'est pas que ca coûte éventuellement moins cher (et/ou que tu puisses avoir une utilisation "illimitée" ) et que tu aies peut-être tes données qui restent en local ? "Mieux" ? "Autre chose" juste pour le plaisir du changement ?
Je t'ai répondu avec toute la bonne volonté du monde sur ce qui était le plus logique à déduire de ton message, pour ma part. My bad

Faire tourner DeepSeek V4 Pro en local c'est un budget d'au moins $500k non ?
 

 
Pour le reste, y a rien du niveau d'OpenAi et Anthropic. Ca tout le monde est d'accord.

C'est clairement plus que deux pauvres BC250

Déjà ne pas envoyer toute sa vie/code en chine ou au us, je trouve que c'est un argument qui se tient.  
 
A part ca, tout simplement le plaisir d'avoir sa propre bécanne et sa propre ia, et la bidouille c'est intéressant aussi.
 
Je voulais simplement dire, qu'il y a un sacrés décalage de mon point de vue entre les soit disant "benchmark" qui classe les chinois "au poil de cul prêt" juste derrière les gros et la réalité de mes propre essaie.  
 

J'ai l'impression que tu mélanges tout entre local, inférence en ligne, modèles disponibles etc...
Si tu veux bosser de chez toi, faut compter quelque milliers d'euros pour avoir un petit modèle qui doit être du niveau des "vieux" modèles d'il y a 18 mois.
Et pour les gros modèles chinois "en ligne" c'est environ "80-90% aussi bien que les derniers modèles OpenAI/Anthropic" pour 10 fois moins cher (c'est leur arguments).
Et tu peux utiliser les gros modèles avec des providers européens sur Openrouteur
 

Les benchmarks, c'est "standardisé" et ca ne dit certes pas tout. Ca ne vaut sans doute pas l'utilisation "réelle"
Et à voir dans quelle proportion les tests sont éventuellement "gamés" (Type dieselgate de Volkswagen, parce que les modèles sont entrainés spécifiquement pour obtenir de meilleurs résultats aux tests)
 
Même les retours d'humains par rapport à leur supposée "utilisation réelle", c'est parfois douteux.
 
Olivie avait par exemple supposé qu'Ox-Alpha sortait de chez Mistral à cause d'une réponse purement statistique de ce dernier (les modèles n'ont pas de conscience d'eux et ne "savent" pas "qui" ils sont, si ce n'est pas injecté quelque part dans un prompt système), et les gens s'extasiaient sur le modèle, or, dès que tu le poussais un peu rien qu'en questions/réponses, il ne "parle" même pas correctement le francais dès que ca devient un peu complexe. Et oui, c'est un problème présent sur nombre de modèles Chinois, entrainés beaucoup sur du Chinois et de l'Anglais. Les modèles de Mistral, ce sont loin d'être les meilleurs, mais au moins au niveau du francais, ils maitrisent !
 
Bref, oui le local c'est bien, mais retour à ma réponse initiale: Espérer la même perf que les meilleurs modèles hébergés est un doux rêve. Ce n'est pas crédible, dans le "vrai" monde. Il faut faire des choix. "There are no solutions, only trade-offs --Thomas Sowell"
(Tu n'as pas la même "profondeur" et "nuauce" avec des modèles plus petits, et/ou moins bien désignés/entrainés (Chinois), dès que la tâche devient compliquée. Ca peut parfois faire illusion sur quelques instances, mais ... non). Enfin, ca reste mon avis par rapport à ma propre utilisation réelle.

Après, est-ce que c'est peut-être plutôt 70% que 90%, c'est possible.
Et même si ce n'est que "10 ou 20%" moins bon, c'est une différence qui se ressent effectivement, à l'utilisation.
 
La différence "ressentie" est là, et peut éventuellement être plus importante. Un peu comme la "température ressentie".
 
Surtout si 10% moins bien fait que ca ne "trouve pas" ou pond un truc qui ne "fonctionne pas". Ca te fait une belle jambe que ca ne soit que "10% ou 20% moins bien"

Piratage de Claude : Anthropic alerte ses clients d’une cyberattaque, 6 virus à l’assaut de votre PC

https://www.01net.com/actualites/pi [...] virus.html

Qui disait que ses tokens partaient tout seul après le reset ?  

Mais qui télécharge encore des jeux piratés

Penses tu avoir la méthodologie, les moyens et la connaissance suffisants pour remettre en cause les benchmarks ?

Sinon pour tes questions, tu peux sans problème faire tourner Deepseek en local. Si tu veux l'équivalent de ce que l'API propose en quantization et taille de contexte, prévois un peu plus qu'un Mac.
Prévois disons 50 à 100x plus de budget que celui de l'achat d'un Mac.

Ensuite, si tu as absolument besoin de Fable ou Sol pour coder, il faut revoir ta manière de bosser. On peut déjà coder à peu près n'importe quoi avec une qualité totalement compatible avec la prod à grande échelle avec un Deepseek flash 4 ou un vieux 5.3-codex.

NOTE: Il n'y a pas si longtemps, j'avais deux listes de pays que je voulais comparer (les couvertures de deux services différents). J'avais demandé à des modèles de faire 3 listes: Celle des pays figurant dans les deux listes fournies, celle des pays figurant dans l'une et pas l'autre, et l'inverse. Le truc est qu'une liste était en anglais et l'autre en francais, et certains pays n'étaient pas forcément libellés de la même facon.
 
C'est un usage que j'avais déjà eu en tentant de comparer la liste de constituents de deux ETFs. Même problème: Toutes les sociétés ne sont pas toujours mentionnées pareil dans les deux listes (acronymes ou une partie du nom abrégée, présence de "ltd" ou "limited" ou non, etc.)
 
A ce genre d'exercice, les modèles Chinois ne sont pas forcément mauvais, et parfois meilleurs que les gros modèles propriétaires US (ca parait "simple" comme tâche, mais les erreurs sont fréquentes ). J'avais lancé quelques tests sur Arena.ai (ex-LMarena) pour faire de la comapraison entre modèles. Sur les deux listes de pays, Claude se vautrait par exemple en citant un pays dans la mauvaise liste, tout en se corrigeant lui-même entre parenthèses tout de suite derrière GLM 5.2 avait été carrément impressionant: C'est le seul qui avait déterminé de lui-même qu'un pays ne figurant PAS dans l'une des liste était sans doute un oubli, et y était probablement (la liste contenait tous les pays de l'UE sauf un). Il a mentionné la chose sans que ca ne lui ait été demandé.
 
Tout ca pour dire que la comparaison entre les modèles, ca dépend aussi des usages et de ce qu'on tente de leur faire faire

 
Y a un topic infra orienté LLM Local si tu veux.
Regarde les nouveaux Mac Studio avec 96Go / 128Go de ram.
Tu peux commencer à faire tourner quelques modèles sympa amha.

GPT down

Ca vaut au minimum un reset

C'est clair, je serais pas contre un bank

 
Bien d'accord avec toi, ce qui rend les benchmark encore plus hors sol je trouve, mais difficile j'imagine de trouver un point d'équilibre qui satisfait tout le monde.
 
 

 
Je vais regarder merci.
 
 

Tiens j'ai une petite question moi aussi, entre les modèles de claude et chatGPT, hors code, mais dans un usage plus courant, lequel préférez-vous ?
 
Quand je ne les utilise pas pour coder, je m'en sers parfois pour des sortes de "brainstorming", pour approfondir des idées, des projets, les enrichir... Je leur donne une idée de départ, ils donnent leur avis, les confrontent...  
 
Techniquement le résultat des "ping-pong" entre les deux est souvent intéressant, mais au-delà de ça, on est dans un cadre conversationnel, et je m'aperçois que je trouve les réponses de Claude plus... agréables que celles de chatGPT. Elles ne sont pas meilleures que celles de chatGPT, mais elles me paraissent plus... cohérentes au niveau du style je dirai - alors que chatGPT a un coté davantage "je présente un exposé".
 
Je précise que j'ai donné à l'origine aux deux les mêmes instructions concernant la façon de s'adresser à moi - pas de flagornerie etc, donc ils partaient sur les mêmes bases.
 
Voilà, je voulais juste savoir si parmi ceux qui utilisent les deux en dehors du code, vous avez remarqué des différences et si oui lequel vous préférez

Je trouve tes remarques légèrement déplacées pour quelqu'un complètement à côté de la plaque et qui semble se vexer pour un rien (c'est souvent lié remarque)... Le post de falkon1000 était pertinent, et surtout lui, contrairement à toi il fait des mises en prod (et pas des petits projets)...

Pour le reste, l'immense majorité des participants sur ce topic bossent avec l'IA et des agents IA depuis des années (quelque soit l'échelle) donc que tu sois frustré par des benchs... Tu ferais mieux de bosser et faire des mises en prod pour évaluer la performance des différents LLM en live plutôt que de te palucher sur des benchs

Tu utilises quels modèles dans le chat, quel niveau de raisonnement?