Reprise du message précédent :

 
tu utilises /fast écébon

Franch'ment...

Edit : quota épuisé, plus qu'a attendre le reset

Plus que 47mn  

Reset effectué avec 1H de retard

AAF

Je plussoie ... 4% de quota mensuel bouffé avec une seule requete luna

Le saviez vous?


https://x.com/thsottiaux/status/2094254532020818191

Salut,
 
Je suis a la recherche d'expérience par des " vrais gens ".
 
Utilisation : opencode ou codex, full agent de partout, contre audit systématique par un second llm qui corrige les oublie/erreurs de chat gpt.
 
Actuellement mon classement perso de llm pour dev/agent :
 
- fable ( inutilisable car trop cher qu quotidien de mon point de vue )
- suivis de pret par chat gpt sol
- bien moins bon mais utile quand même opus 5 ( je m'en sert essentiellement comme contre audit de chat gpt )
 
Idéalement dispo en local sur un gros mac, mais..... sans déconner je suis incapable trouver un bon contre auditeur à chat gpt sol pour remplacer opus.
 
Je sais pas votre avis sur la question mais je trouve les benchmark bien loin de la réalité du terrain, ils encensent sans arrêt les chinois, moi j'aimerais bien... mais la realité je les trouve pas si bien.
 
J'ai testé deep seek v4 pro et glm 5.3, bah non ils oublient des trucs que opus trouve. Je parle même pas de chat gpt sol loin devant.
 
Ca dépend de l'utilisation de chacun, je veux pas lancer un débat de tiers list llm on s'en fiche, mais si quelqu'un a mon utilisation qu'il hésite pas à me conseiller.  
 
 

Ouais, enfin, tu pousses un peu, aussi.
Tu parles des modèles actuellement les plus avancés au monde, dans lesquels des ressources et des sommes colossales ont été englouties. Modèles qui ont vraisemblablement un nombre de paramètres gigantesque, dans les plusieurs milliers de milliards.
Et tu veux remplacer ca par quelque chose d'aussi performant en open-weight qui tourne sur ton mac localement !?
 
   
 
 
Je dirais: Soit tu payes ce que OpenAI ou Anthropic demande et tu leur envoyes tes données, soit tu fais des concessions.
 
A la question "peut-on avoir le beurre, l'argent du beurre et la crémière ?", en tant que "vrai gens" (pas sûr de ca, par contre), je dirais que non

J'avais oublié l'ambiance troll de hardware a force de parler a des llm.
Tu ne connais pas mon budget ni mes projets. C'est dommage de critiquer les gens sans savoir. Efface donc ma phrase " sur un mac local" , comme ca ca passera mieux.  
 
Ca change rien au fait qu'un minimum d'échange d'expérience est toujours plus utile que des benchmark idiots.  
 
Je suis vraiment curieux de savoir si vous arrivez à travailler pour de vrai sur de vrai projet avec une ia chinoise, perso je suis incapable de trouver un vrai "contre auditeur" crédible à chat gpt.
 

"Critiquer"    
 
Ne serait-ce pas toi qui me traite implicitement de "troll" au lieu d'apprécier de recevoir une réponse ?    
 
Que recherches-tu, si ce n'est pas que ca coûte éventuellement moins cher (et/ou que tu puisses avoir une utilisation "illimitée" ) et que tu aies peut-être tes données qui restent en local ? "Mieux" ? "Autre chose" juste pour le plaisir du changement ?
Je t'ai répondu avec toute la bonne volonté du monde sur ce qui était le plus logique à déduire de ton message, pour ma part. My bad

Faire tourner DeepSeek V4 Pro en local c'est un budget d'au moins $500k non ?
 

 
Pour le reste, y a rien du niveau d'OpenAi et Anthropic. Ca tout le monde est d'accord.

C'est clairement plus que deux pauvres BC250

Déjà ne pas envoyer toute sa vie/code en chine ou au us, je trouve que c'est un argument qui se tient.  
 
A part ca, tout simplement le plaisir d'avoir sa propre bécanne et sa propre ia, et la bidouille c'est intéressant aussi.
 
Je voulais simplement dire, qu'il y a un sacrés décalage de mon point de vue entre les soit disant "benchmark" qui classe les chinois "au poil de cul prêt" juste derrière les gros et la réalité de mes propre essaie.  
 

J'ai l'impression que tu mélanges tout entre local, inférence en ligne, modèles disponibles etc...
Si tu veux bosser de chez toi, faut compter quelque milliers d'euros pour avoir un petit modèle qui doit être du niveau des "vieux" modèles d'il y a 18 mois.
Et pour les gros modèles chinois "en ligne" c'est environ "80-90% aussi bien que les derniers modèles OpenAI/Anthropic" pour 10 fois moins cher (c'est leur arguments).
Et tu peux utiliser les gros modèles avec des providers européens sur Openrouteur
 

Les benchmarks, c'est "standardisé" et ca ne dit certes pas tout. Ca ne vaut sans doute pas l'utilisation "réelle"
Et à voir dans quelle proportion les tests sont éventuellement "gamés" (Type dieselgate de Volkswagen, parce que les modèles sont entrainés spécifiquement pour obtenir de meilleurs résultats aux tests)
 
Même les retours d'humains par rapport à leur supposée "utilisation réelle", c'est parfois douteux.
 
Olivie avait par exemple supposé qu'Ox-Alpha sortait de chez Mistral à cause d'une réponse purement statistique de ce dernier (les modèles n'ont pas de conscience d'eux et ne "savent" pas "qui" ils sont, si ce n'est pas injecté quelque part dans un prompt système), et les gens s'extasiaient sur le modèle, or, dès que tu le poussais un peu rien qu'en questions/réponses, il ne "parle" même pas correctement le francais dès que ca devient un peu complexe. Et oui, c'est un problème présent sur nombre de modèles Chinois, entrainés beaucoup sur du Chinois et de l'Anglais. Les modèles de Mistral, ce sont loin d'être les meilleurs, mais au moins au niveau du francais, ils maitrisent !
 
Bref, oui le local c'est bien, mais retour à ma réponse initiale: Espérer la même perf que les meilleurs modèles hébergés est un doux rêve. Ce n'est pas crédible, dans le "vrai" monde. Il faut faire des choix. "There are no solutions, only trade-offs --Thomas Sowell"
(Tu n'as pas la même "profondeur" et "nuauce" avec des modèles plus petits, et/ou moins bien designés/entrainés (Chinois), dès que la tâche devient compliquée. Ca peut parfois faire illusion sur quelques instances, mais ... non). Enfin, ca reste mon avis par rapport à ma propre utilisation réelle.

Après, est-ce que c'est peut-être plutôt 70% que 90%, c'est possible.
Et même si ce n'est que "10 ou 20%" moins bon, c'est une différence qui se ressent effectivement, à l'utilisation.
 
La différence "ressentie" est là, et peut éventuellement être plus importante. Un peu comme la "température ressentie".
 
Surtout si 10% moins bien fait que ca ne "trouve pas" ou pond un truc qui ne "fonctionne pas". Ca te fait une belle jambe que ca ne soit que "10% ou 20% moins bien"

Piratage de Claude : Anthropic alerte ses clients d’une cyberattaque, 6 virus à l’assaut de votre PC

https://www.01net.com/actualites/pi [...] virus.html

Qui disait que ses tokens partaient tout seul après le reset ?  

Mais qui télécharge encore des jeux piratés

Penses tu avoir la méthodologie, les moyens et la connaissance suffisants pour remettre en cause les benchmarks ?

Sinon pour tes questions, tu peux sans problème faire tourner Deepseek en local. Si tu veux l'équivalent de ce que l'API propose en quantization et taille de contexte, prévois un peu plus qu'un Mac.
Prévois disons 50 à 100x plus de budget que celui de l'achat d'un Mac.

Ensuite, si tu as absolument besoin de Fable ou Sol pour coder, il faut revoir ta manière de bosser. On peut déjà coder à peu près n'importe quoi avec une qualité totalement compatible avec la prod à grande échelle avec un Deepseek flash 4 ou un vieux 5.3-codex.

NOTE: Il n'y a pas si longtemps, j'avais deux listes de pays que je voulais comparer (les couvertures de deux services différents). J'avais demandé à des modèles de faire 3 listes: Celle des pays figurant dans les deux listes fournies, celle des pays figurant dans l'une et pas l'autre, et l'inverse. Le truc est qu'une liste était en anglais et l'autre en francais, et certains pays n'étaient pas forcément libellés de la même facon.
 
C'est un usage que j'avais déjà eu en tentant de comparer la liste de constituents de deux ETFs. Même problème: Toutes les sociétés ne sont pas toujours mentionnées pareil dans les deux listes (acronymes ou une partie du nom abrégée, présence de "ltd" ou "limited" ou non, etc.)
 
A ce genre d'exercice, les modèles Chinois ne sont pas forcément mauvais, et parfois meilleurs que les gros modèles propriétaires US (ca parait "simple" comme tâche, mais les erreurs sont fréquentes ). J'avais lancé quelques tests sur Arena.ai (ex-LMarena) pour faire de la comapraison entre modèles. Sur les deux listes de pays, Claude se vautrait par exemple en citant un pays dans la mauvaise liste, tout en se corrigeant lui-même entre parenthèses tout de suite derrière GLM 5.2 avait été carrément impressionant: C'est le seul qui avait déterminé de lui-même qu'un pays ne figurant PAS dans l'une des liste était sans doute un oubli, et y était probablement (la liste contenait tous les pays de l'UE sauf un). Il a mentionné la chose sans que ca ne lui ait été demandé.
 
Tout ca pour dire que la comparaison entre les modèles, ca dépend aussi des usages et de ce qu'on tente de leur faire faire

 
Y a un topic infra orienté LLM Local si tu veux.
Regarde les nouveaux Mac Studio avec 96Go / 128Go de ram.
Tu peux commencer à faire tourner quelques modèles sympa amha.

GPT down

Ca vaut au minimum un reset

C'est clair, je serais pas contre un bank

 
Bien d'accord avec toi, ce qui rend les benchmark encore plus hors sol je trouve, mais difficile j'imagine de trouver un point d'équilibre qui satisfait tout le monde.
 
 

 
Je vais regarder merci.
 
 

Tiens j'ai une petite question moi aussi, entre les modèles de claude et chatGPT, hors code, mais dans un usage plus courant, lequel préférez-vous ?
 
Quand je ne les utilise pas pour coder, je m'en sers parfois pour des sortes de "brainstorming", pour approfondir des idées, des projets, les enrichir... Je leur donne une idée de départ, ils donnent leur avis, les confrontent...  
 
Techniquement le résultat des "ping-pong" entre les deux est souvent intéressant, mais au-delà de ça, on est dans un cadre conversationnel, et je m'aperçois que je trouve les réponses de Claude plus... agréables que celles de chatGPT. Elles ne sont pas meilleures que celles de chatGPT, mais elles me paraissent plus... cohérentes au niveau du style je dirai - alors que chatGPT a un coté davantage "je présente un exposé".
 
Je précise que j'ai donné à l'origine aux deux les mêmes instructions concernant la façon de s'adresser à moi - pas de flagornerie etc, donc ils partaient sur les mêmes bases.
 
Voilà, je voulais juste savoir si parmi ceux qui utilisent les deux en dehors du code, vous avez remarqué des différences et si oui lequel vous préférez

Je trouve tes remarques légèrement déplacées pour quelqu'un complètement à côté de la plaque et qui semble se vexer pour un rien (c'est souvent lié remarque)... Le post de falkon1000 était pertinent, et surtout lui, contrairement à toi il fait des mises en prod (et pas des petits projets)...

Pour le reste, l'immense majorité des participants sur ce topic bossent avec l'IA et des agents IA depuis des années (quelque soit l'échelle) donc que tu sois frustré par des benchs... Tu ferais mieux de bosser et faire des mises en prod pour évaluer la performance des différents LLM en live plutôt que de te palucher sur des benchs

Tu utilises quels modèles dans le chat, quel niveau de raisonnement?

"Tes remarques" = un unique smiley ?    (t'es sûr que c'est pas toi qui interprètes beaucoup, là ? C'est ton multi pour que tu te "vexes" tant par procuration, ou quoi ?   )
Parce que le message de Falkon n'était éventuellement pas "légèrement déplacé" ? (et ca vient de quelqu'un qui n'est pas en reste lorsqu'il s'agit de faire du déplacé ). Allons bon (pour ne pas dire "Soyons sérieux", qui serait "réservé"    )
Et qu'est-ce qu'on en sait de ce que Stellvia "fait" ou non ? Ca dépend d'à quel point l'intervenant fanfaronne sur HFR ? Soyons p*tain de sérieux un instant
 

J'aimais beaucoup Grok, puis je me suis pas mal laissé tenter par Gemini, perso (avec un prompt système le poussant à aller beaucoup vers l'honnêteté, le challenge, la critique, etc. davantage que vers le brossage dans le sens du poil).
EDIT: Mention honorable à GLM, également (version PAS flash).
 
Perso, j'ai du mal à blairer Claude pour ca. Pas que ses réponses soient "mauvaises", elles ne le sont pas, mais il y a un petit quelque chose qui m'irrite gentiment. Presque comme si ca reflétait une certaine mentalité/biais au niveau de son entrainement (ce qui est sans doute exactement ce que c'est, d'ailleurs).
 
Sinon, j'aime bien tester les nouveaux modèles qui sortent. Et sur certaines questions, voir les différences de réponses entre plusieurs modèles, surtout les nouveaux. Arena.ai est bien pour cela. En plus, ca permet de noter les réponses à l'aveugle, afin de donner un classement en "utilisation réelle". Tiens, un truc que Stellvia pourrait regarder, d'ailleurs. Sinon, OpenRouter est bien pour tester les nouveaux modèles facilement et rapidement.
 
Parce qu'avec suffisemment d'interactions avec un modèle, tu commences à connaitre ses "tics", ses biais, ses formules fétiches, et sa "vision" particulière de certains sujets, etc. Enfin, c'est un peu pareil avec les "vrais gens", à la rigueur.
Et j'ai un petit Gemma4 en local pour ce que je veux conserver en privé de manière sûre (ca reste du "Gemini allégé" ). J'ai un tas d'autres modèles locaux installés, mais c'est généralement Gemma qui reste mon "go-to" dès que j'ai un besoin.

J'étais justement en train de me dire que j'entendais beaucoup moins parler d'Openclaw, dernièrement (d'où ma recherche sur le topic pour voir les dernières mentions et le déterrage de ce post d'il y a 3 semaines).
Sur OpenRouter, Hermes est N°1 en usage (tokens). Openclaw n'est plus que N°8, avec un usage plus de 12 fois (   ) inférieur à celui de Hermes en nombre de tokens.
 
Qui utilise encore Openclaw, ici ? Qui a migré sur Hermes ? Ou sur Grok bot ?

Ça n'a rien d'indicateur
J'utilise toujours openclaw et ça reste l'un des plus utilisés toujours devant Hermès
Openclaw la plupart qui l'utiliser le font tourner, le font avec l'abonnement GPT
Donc que tu le vois 8e sur open router ce n'est pas un indicateur de perte de vitesse
Je te laisse regarder le nombre de personnes sur les deux GitHub qui est un indicateur bien plus facile à comparer

Ok pour ton point qu'un tas de gens l'utiliseraient avec un abonnement GPT
De là à dire que la consommation de tokens sur OpenRouter n'aurait "RIEN" d'indicateur, c'est sans doute exagéré.
 
Regarder quoi sur Github ? Le nombre de "stars" ? C'est difficile d'en tirer énormément. Ca a été donné à un moment. Celui qui serait par exemple passé d'OpenClaw au début vers Hermes ensuite n'a pas enlevé l'étoile donnée à OpenClaw précédemment.
Ca ne me semble pas donner beaucoup d'indication sur l'usage effectif dans la durée.
 
Je suppose qu'un tas de gens ne donnent pas forcément de "star" github non plus. Ca concerne surtout les développeurs (=pas la totalité de la base d'utilisateurs).
 
Github = 388.4k stars pour OpenClaw vs 239.1k stars pour Hermes et 81.5k forks pour OpenClaw vs 48.8k forks pour Hermes. Sachant qu'OpenClaw est plus vieux (et était le "super record" d'adoption à une vitesse folle. Hermes a tout de même de "bons" scores en comparaison).
 
Mais donc OK, toi, tu utilises toujours OpenClaw, en tout cas

Qui a invité le LLM Mevo ici ?

J'ai rien compris à vos débats. Je vois que la mentalité n'a pas changée sur ce topic. Dommage

 
hfr et la condescendance habituelle de certain On dirait un cocker dans un coin de rue sale qui aboie sur le moindre passant sans aucune raison pour protéger ses maitres.
C'est pas comme ca que le topic va pouvoir grandir si le cocker fait fuir tout le monde.
 
Je vous laisse là c'est pas intéressant, même si ca concerne pas tout le monde cette mentalité "hfrienne" de certain qui ont pas grandis dans leur tête m'avait vraiment pas manqué, dommage.
 
Pour info, j'ai un réel interêt sur le sujet, tout mon métier tourne autour, j'ai 500 balles au bas mot de forfait ia par mois, et je n'avais absolument pas envie ni de troller le topic ni de lancer un débat stéril, si mes propos l'ont laissé croire alors j'en suis désolé, j'ai 45 ans , 2 gamins et autre chose à faire que me faire insulter par un random.

 
Pour le coup, un peu tous, Opus 4.8, Opus 5, Fable d'un coté, Sol/Terra/Luna de l'autre...  
 

 
Gemini la seule xp que j'ai eu avec lui c'est ce qu'ils ont implémenté dans le moteur de recherche, et mon dieu, ce niveau de flagornerie, je n'avais jamais vu    
 

 
Et du coup c'est quoi ce "biais" qui te dérange ? Tu le définirais comment ?  
 
 

Mais à quel niveau de raisonnement?
High, xhigh, max?

Ha ouai, 45 ans, deux enfants (qui est au passage la moyenne d'âge des membres du forum soit dit en passant, nul besoin d'en faire un argument d'autorité) et tu te vexes comme une jouvencelle quand quelqu'un te fait remarquer que ton propos n'est pas pertinent ? Et c'est de la condescendance selon toi ? T'es fonctionnaire ?

Le topic a très bien grandi sans toi et sans moi, ne t'inquiète pas pour ça, personne n'est indispensable (même si certains partagent des news sympa et d'autres comme Falkon1000 font des retours du monde réel).

Tu te relis parfois ? Décidément quelques soient les topics sur lesquels tu interviens tu adoptes le même ton, mais non, le problème ce sont toujours les autres

Oula, monsieur a de l'argent mais n'est pas capable de bencher un modèle ? En 3 posts tu as démontré que tu ne comprenais rien à l'IA, c'est pas grave, on a tous appris mais venir avec un ton péremptoire quand on ne maîtrise pas la terminologie de base c'est être joueur. Pour le reste, les gens savent que je suis un connard, et c'est ok

Je me demande bien ce que ça aurait pu donner du coup

Un débat sur quoi ?

Insulté carrément, 45 ans et des enfants, ha ouai quand même, c'est rare sur HFR.

Bon, c'est pas tout ça mais heureusement quelqu'un a créé le script TamperMonkey "blacklist", je te laisse vivre ta tempête émotionnelle, adieu donc

Edit : J'arrête le HS, tu peux venir m'insulter en mp si tu veux

En parlant de ça j'ai l'impression depuis quelques jours que Fable 5 xhigh/max est moins débile que la semaine dernière, rien à voir avec la release initiale mais il y a du mieux... Je vais redonner une chance à 4.8 aussi, bonne idée

 
Les rumeurs voulaient que Anthropic avait fait du A/B testing de Fable 5.1 et Opus 5.1 et que c'est pour ça qu'il y avait une amélioration significative.  
D'ailleurs ça parlait de 5.1 la semaine dernière et depuis plus rien
 
Ça fait quelques semaines que j'utilise Fable en orchestrateur et les résultats sont vraiment pas mal. Par contre Opus 5, je trouve que c'est toujours autant le bordel

 
En général je suis en Xhigh