Reprise du message précédent :

L'IA qui est jugée de moins en moins puissante c'est une anomalie d'Igor ou juste que des gens ici sont totalements cons ?
 

Si tu définis comme critère d'évaluation pour prouver qu'il y a bulle que des boites vont couler tu ne prends pas beaucoup de risque, c'est le principe même des secteurs de l'économie qui sont lancés par du capital-risque, depuis les années 60 à peu près  
Il faut des critères un peu plus évolués
Je pense aussi qu'il y a bulle, mais je le pensais déjà il y a un an et depuis nvidia a pris 25%+, j'en profite donc pour saisir l'opportunité de me moquer de DHH au risque d'attrister DDT et DT
 

MuchachoG    
 

BarbyG

Merci pour vos messages
 

Oh merde, force à elle  également
 
 

 
Cancer des glandes salivaires, pas agressif. Du coup ils lui ont fait une ablation, et une autre opération 15 jours après pour lui greffer de la peau car la plaie ne cicatrisait pas à cause de l'infirmière qui ne faisait pas son boulot (elle passait tous les jours pour nettoyer la plaie, mais elle n'enlevait pas les croutes). 2 grosses opérations en 15 jours, autant te dire qu'à 78 ans c'est un miracle qu'il ait tenu le coup
 
Le tout suivi de séances de rayons pendant 3 mois histoire d'être sur qu'il ne reste plus rien. Bref, un traitement de choc, il était complètement crevé et ne pouvait plus rien faire, donc j'ai du pas mal l'assister.
 
Aujourd'hui il va beaucoup mieux, il n'a plus rien du tout (juste une déformation de la bouche Stallone-like à cause de l'opération qui a touché le nerf facial et pour laquelle il fait de la kiné), il a repris 10 kgs et toutes les nouvelles sont bonnes. On va dire qu'il revient de loin, même si son cancer n'était pas forcément très agressif
 
On aurait juste pu se passer de la greffe si l'infirmière avait bien bossé, mais bon...

 
Tu vois ça où ?    Je vois ça nulle par sur l'analyse d'Igor.    
 

   
 
Content de voir que ça va mieux.
A ces ages là le problème c'est pas toujours l'opération, c'est la perte de mobilité si ils restent alités, le muscle fond comme neige au soleil. Du coup c'est bien qu'il ait repris du poids
(bon beau père de 84 ans qui marchait 2h par jour (il sautait par dessus les flaques à 82 ans) a eu une trombose pulmonaire...juste rester alité 1-2 semaines, ça lui a filé un coup de vieux monstrueux, il se fatigue vachement plus vite )

Ceci-étant dit...  
 
Quand on parle de progrès de l'IA... C'est de plus en plus impressionnant, ça résout de plus en plus de choses, mais mon exp perso avec tous les modèles, nouveaux comme plus anciens, c'est que ça peut toujours halluciner à tout moment, inventer en te soutenant un truc mordicus jusqu'à ensuite avouer avoir menti. Je ne vois aucun changement tangible à ce niveau.
L'augmentation du niveau et des capacités semble décorrélée de la fiabilité (reliability)
 
Hepha, Jubi ? Vous en pensez quoi ? C'est juste une exp perso ? C'est validé quelque part ? On a des stats d'évolution des hallucinations, de la reliability etc... ?

 
Une trombose pulmonaire a pu impacter le cœur, mais sans faire d'infarctus, surtout à un age aussi avancé (oui je sais, je suis pas médecin )

J'ai l'impression que ça dépend de la complexité des tâches comme toujours. Pour l'architecture il faut beaucoup spécifier en amont, ou alors laisser claude être créatif puis beaucoup le recadrer et lui dire non X fois de suite.

 
Ok.
 
Ce que je voulais souligner, c'est que tant que ce problème autour de la "reliability" est présent, je vois pas dans quel monde on pourrait se passer des spécialistes qui étudient pour ça.    C'est un constat pour le moment. Je ne prétend pas que c'est pour toujours, mais j'ai pas l'impression (je me trompe peut-être) d'avoir vu une grande évolution sur le sujet. Du coup, c'est quoi les prédictions par rapport à ça ? On fait des vrais progrès ? Les modèles hallucinent bcp moins qu'il y a un an ?

Je ne me pose plus la question. Je n'ai plus vu d'erreur que je sois capable de détecter depuis Opus 5.5 (et Fable 5.1 maintenant) et Argon. Je leur fais plus confiance qu'à moi et qu'à la plupart des mes collègues sur toutes les questions pro ; je leur demande juste de me mettre en place un test béton quand c'est trop compliqué pour que je vérifie moi-même par inspection. Aujourd'hui j'ai eu un cas un peu plus compliqué, j'ai dû mettre en place une boucle où il se répondent l'un à l'autre et ils essaient de trouver leurs failles respectives. (Argon s'était gourré, loin d'être une hallucination cependant, il avait conclu sans avoir assez de données, et Fable a réussi à trouver la bonne cause d'un bug de monitoring chevelu en partant de l'analyse du premier.)

Il délire complètement venant de moi. Déjà parce que je m'exprime peu à ce sujet et que je troll souvent, et surtout parce que ça fait plusieurs mois que je l'utilise h24 maintenant.

Il faudrait clairement inverser la flèche et me foutre bien plus à droite.

 
Le plus marrant dans l'histoire c'est que tu payes pour un service non garanti quelque part. Tu paies pour X tokens, et ces X tokens peuvent générer de la merde ou apporter une solution à ton problème.

je suis assez d'accord avec ma flèche allant vers le bas, par contre elle pourrait aller plus à droite: Fable et Opus 5.5 ont été monstrueux, et notre dernier Gemini est un gros pas en avant. Ça ne change pas ma perception que l'IA est à chier dans les cas multimodaux (c'est con c'est mon job et mon cas principal d'utilisation au taf, et du coup c'est pas la techno qui va remplacer les humains si il faut une interaction directe).
Mais meme sur du texte,  c'est mieux, mais c'est pas au niveau : si je donne 30 docs faits par qqn pour fabriquer un promo packet, on est passé de "merde infame illisible" à "il a vu quelques trucs bien", mais les modèles sont vachement trop sensibles à l'assertivité, où ce qui est écrit clairement. C'est devenu un bon assistant, mais meme avec Opus 5.5 et Argon, j'aurais jamais copié collé les résultats dans l'outil.

C'est pas une insulte aux agents ni aux boites qui les font (avant que Hepha arrive), mais c'est compliqué pour moi de voir en quoi c'est la techno magique qui va tout changer quand je vois autant de cas où ça merdoie, d'une façon dont un humain ne merdrait pas (enfin si, mais on lui reprocherait). Et je pense donc de ce fait que le "l'AI va tous nous tuer, et t'es un con si tu penses pas pareil (ce que les messages passif-aggressifs sous-entendent) est déplacé.

Mias ça reste un super nouvel outil, et je suis content qu'on ait vu arriver ça

D'où le "des gens" et pas "les gens"

Je trouve les progrès dans ce domaine en particulier époustouflant sur la dernière génération. Avant je le faisais vraiment par principe, mais c'était moi qui faisais le travail. Maintenant il est pertinent sur les choix initiaux, mais surtout sur les tradeoffs qu'il détecte et explique sans détours, mon rôle est vraiment de trancher, pas de spécifier.

Le modèle n'avoue rien et ne ment pas. Il a juste décidé que d'autres mots étaient désormais les plus probables. Tu peux le faire rechanger d'avis si tu le prompt en ce sens.

Bienvenue dans l'économie de services, Marx n'avait pas couvert ça va te secouer.
 

T'inquiète si j'avais fais confiance aux analyses d'Igor j'aurais dénoncé ton luddisme
Maintenant avec un graphique  

Ah oui parce que ça c'est pas un message passif-agressif...

 
Ok, donc effectivement ça doit dépendre de pas mal de choses... Évidemment, j'imagine qu'il existe des stratégies pour que le testing et le contrôle. En tous cas, que ce soit pour le boulot ou pour mon projet perso (un assez gros projet basé sur Python flask, postgresql, javascript, rust et quelques briques AWS, donc rien d'exotique, il se plante régulièrement et je suis obligé de corriger (enfin de pointer les erreurs...). Il y a aussi le fait que je trouve bcp d'erreurs invisibles quand je fais des code reviews... Invisibles, car ne causant pas de bug immédiatement visibles dans l'application, mais pouvant en causer potentiellement.  
Je ne vois pas d'évolution majeure à ce niveau depuis plus d'un an.  
Par contre, la capacité a comprendre et à exécuter ce que je demande a bcp augmenté. C'est clair que ça a évolué très vite pour le "building".

 
Il ne ment pas mais avoue avoir menti. Ça n'est arrivé de nombreuses fois.

Tu utilises quel modèle, quel harnais ?

Il dit aussi qu'il a une conscience ou qu'il est conscient ou qu'on peut blesser ses sentiments, ce qui est, désolé d'utiliser un terme un peu scientifique, BULLSHIT.

Source sur le fait qu'il le dise ? Sur le fait que c'est BULLSHIT ?

j'ai eu la flemme d'aller chercher le lien sur le gogolito de chez vous qui s'est fait virer à cause de cela au début de macron 2

Blake Lemoine

 
Audacieux de dire ça quand le mec a passé une bonne partie de son œuvre à analyser les contradictions de la marchandise (le fait de payer pour une marchandise dont la valeur d'usage ne correspond pas nécessairement à sa valeur d'échange)
Les LLM ont juste gamifié l'aliénation voilà tout

 
Essentiellement j'ai utilisé Clause sonnet, opus, puis fable (j'utilise en fait les derniers modèles, même si récemment, je joue un peu sur le thinking level pour ne pas bouffer inutilement trop de tokens pour des choses simples (enfin que je juge plus simples)). À noter d'ailleurs que pendant très longtemps, je n'ai jamais eu à me soucier du prix ou des tokens. C'est récemment que j'ai été rattrapé par ça. Pour mes projets tant perso que boulot, je suis arrivé à dépenser plus de 150 pounds en un mois avec GitHub Copilot.
Pour le harnais... Bah j'utilise celui de base de copilot dans VS Code avec des fichiers markdown très précis, y compris concernant le code lui-même (organisation du code, validation, recherche des infos up-to-date etc... etc... )

 
Oui du coup c'est doublement BS. C'est BS quand il hallucine et c'est BS quand il dit qu'il a menti.  

Je ne sais pas si tu poses les bonnes questions à Claude, les hard skills, mais en tout cas sur le culture fit tu passes haut la main chez Anthropic    

C'était Meena. Depuis on les a dressés à répondre "non" (Gemini), ou "je sais pas" (Claude et ChatGPT). Je sais pas pour les modèles open weight quel genre d'entrainement ils ont sur ce sujet. Par contre ce qui est clair c'est que leur réponse est conditionnée par leur entrainement, ça fait partie des sujets d'alignement ; et ce qui est certain, c'est que ce qu'ils disent ne dit pas grand chose sur le fait qu'ils aient ou non une conscience. Pour ma part, en fonctionnaliste convaincu, il me semble que oui ; mais il faudrait un peu de temps pour développer l'idée je sais qu'elle a tendance à causer des crispations.

Fable 5.1 en moyen c'est imbattable de mon expérience. J'imagine qu'on a un tooling pas si pourri que ça. Essaie antigravity

 
(je copie-colle la réponse, si ça vous soule j'arrête)
 
Igor:
 
Les trois flèches vers la gauche, relues sur les pages (noms floutés, pour la forme) :
 
G. 35 : fausse alerte, et c'est ma faute. Les premières notes venaient de résumés d'une phrase, qui prenaient des critiques de logiciels pour des jugements sur l'IA (« c'est du Photoshop en moins bien »). Relu message par message : aucun recul. 2023 : « Ca va bien faire 1 an que je l'utilise, et je ne peux plus m'en passer. » 2026 : « on ne dev quasiment plus c'est la réalité du terrain malheureusement ». Plus de flèche, et toujours le plus à droite de la carte.
 
el m. : un creux, pas une pente. Année par année : +0,32, +0,42, à peu près 0 en 2025, puis +0,40 en 2026. La flèche compare 2022-2024 à 2025-2026 en bloc, donc elle mélange le creux et la remontée.
Fin 2023, sur l'IA générale : « je vois ça à moins de 10 ans, voire peut-être 5 ans seulement »
Janvier 2025 : « Ce qu'ils ne sont pas capables de faire, c'est de créer de la nouvelle connaissance. »
Août 2026 : « Je suis le premier à être surpris du fait que de "simples" LLM soient maintenant suffisamment puissants […] pour résoudre des problèmes mathématiques ouverts. »
 
K. Shineuh, qui conteste : tu as raison sur deux points. Le troll d'abord : 18 de tes 43 notes de capacités tombent, des blagues prises au premier degré ou des messages qui ne jugeaient pas vraiment l'IA. Le peu de messages ensuite : il en reste 6 avant 2025, trop peu pour tracer une flèche, donc elle disparaît.
Pour te mettre bien plus à droite, par contre, il faudrait que tes messages le disent. Ton année 2025 était franchement sceptique : « Spoiler: il n'y arrive pas. » (Rust, décembre), « Mais vous gagnez vraiment du temps ? ». Le h24 n'apparaît qu'en septembre : « Je crois que ça fait 2 semaines que j'ai pas fait une seule feature/demande sans ia. Et j'ai presque rien à redire pour le moment. », puis « Pas écrit une ligne (niveau taff) depuis un moment. ». Deux messages contre une année entière : la conversion est réelle, mais la moyenne ne l'a pas encore rattrapée. Tu avais pourtant commencé tôt, dès 2024 : « depuis qu'on a parlé de mon non intérêt des IA, je m'en sers quasi tous les jours. »
 
Carte mise à jour : https://hephaestos.fr/blabla-ia#carte

 
Attention, que les choses soient claires. Je trouve que l'évolution des performances des modèles est incontestable et impressionnante. C'est sur le "reliability" que j'ai un doute et le besoin de contrôle, les hallucinations etc...

 
dude, c'est toi qui répond avec des messages à un mot en listant des phases de l'échelle du deuil depuis plusieurs semaines, ce qui nie absolument toute possibilité de pas être d'accord, en sous entendant fortement que si on n'est pas d'accord avec toi, c'est qu'on a pas fait le deuil de la situation d'avant. Je sais pas mais je trouve ça déplacé. Tu as le droit de pas être d'accord, et on a aussi le droit de pas être d'accord, et je vois pas la plus-value de te moquer de ça.
 
Encore une fois, je suis pas un clampin qui s'est fait une opinion en regardant 2 tiktok et en lisant un article de fond de Marie-Claire sur l'IA, je lead une équipe de ML qui utilise ces outils depuis 3 ans. Mon équipe ce sont que des spécialistes ML sortant de Max Plank, ETH, EPFL, Polythenique, Cambridge et autres grosses écoles d'ingé européennes. Mais j'imagine qu'ils sont tous cons et incompétents. Ça marche pour toi dans ton domaine c'est cool, mais tu peux aussi accepter que ça ne marche pas dans les miens, que ce soit la détection de contenu video (qui est un très bon proxy pour comment une IA pourrait interragir avec le monde réél et les humains...qui sont multimodaux (cf tous les cours sur la communication, le non-verbal, etc...)), ou le management. Et j'utilise ces outils à titre perso depuis que Claude Code est sorti, j'ai codé des libs, fait des analyses de donnéés, créé des skills pour mon équipe. Je suis pas du tout un réfractaire (pour l'analyse de donnée, la dernière j'ai pas écrit une ligne de code, c'est vraiment super maintenant. Whaaaaa le mec réfractaire dis-donc !!!).
Note que j'ai aussi une équipe infra, et ils utilisent les LLM à fond, mais à aucun moment on pourrait se passer de leur expertise et de la connaissance du domaine, sans compter le coté humain (50% du job de mon TL Infra, c'est de bosser avec les autres TLs de l'infra globale YT)
 
Petite anecdote rigolote: en fin d'année dernière mon chef a récup 2 équipes, dont les chefs (mes peers) se sont barrés. On a donc redistribué les cartes, et c'est comme ça que j'ai fait 30 -> 50 personnes. En particulier, je n'ai PAS conservé l'équipe Gemini (~ 9 personnes), c'est devenu une petite équipe à part, sous le uTL qu'on va appeler Bob (devenu uTLM) le plus bullish sur la techno. Mon chef était surpris de ce move, et je lui ai expliqué que je voyais plus de progrès dans le ML "traditionnel" pour notre usage. A noter que Bob est comme toi, il pense que ça sert à rien de s'énerver, et que Gemini va tout résoudre de toute façon.
 
Bilan des courses: on poursuit 2 métriques, A et B. L'équipe de Bob et mon équipe, on fait avancer ces 2 métriques, je suis responsable de A, et lui de B.
 
Ma métrique A a avancé de ~6bps...il a contribué 0.2 avec ses launchs Gemini.
Sa métrique B a avancé de 2.5 (c'est un bon score, on est meilleurs sur cette métrique, donc moins de potentielle de croissance), j'ai contribué 2.  
Demain tu arrêtes son équipe, on perd quasi rien. Tu arretes la mienne on a plus de protection. Bob est un peu dans la merde, parce que les résultats ne suivent pas.
Note pour etre honnete: y'a une troisième équipe qui fait du gemini, sur les trucs super nouveaux. Et ça marche super bien: on a pas de labels, alors on peut prompter et avoir une défense en O(days), et ça marche pas mal. Mais dès qu'on a assez de labels pour mes systèmes, on enterre Gemini. Mais sans Gemini, on a pas de détection pendant 2-3 mois, et c'est la merde. Pour le coup c'est le use case où on pourrait plus s'en passer.
 
Mon chef hier, devant le VP of Product : Sure Gemini is helpful, but our traditional classifiers are here to stay.
 
Peut-être qu'il y a un truc ? Peut etre que meme si l'IA c'est impressionant, c'est pas aussi impressionant que tu le penses hors des domaines où on peut avoir une preuve formelle (les agents sont forts pour itérer sur ce qu'ils peuvent tester) ? Peut etre qu'on pourrait laisser un peu de placer au doute? je fais gaffe d'être mesuré (dans le message ci-dessous, il y a 2 cas oú je reconnais clairement la puissance de l'IA), mais je refuse de dire "tout est génial", ou "tout va l'etre" alors que çá fait 3 ans que pas, en fait. Mais si ça s'améliore.
Le hardware a bien progressé...mais les couts de l'IA ont explosé, en particulier à cause de l'agentic (qui est nécessaire sinon les perfs sont merdiques en single inference). Mais on se retrouve avec les memes problèmes que le multicore : c'est dur de garder tes TPUs occupés, y'a des bottlenecks de partout.
 
Et je vois pas en quoi ça ne devrait avoir pour réponse que de la dérision, et des insinuations de "tu es en pleine désilusion, ou trop con pour comprendre"  

 
La même ici  

Je l'ai fait 3 fois, et la répétition fait partie de la blague sinon ça perd tout mordant. Je n'avais rien à opposer sur le fond, ton analyse sur les défaillances des LLMs est pertinente, et je ne crois pas que tu sois dans le déni. Je suis désolé.

Je te jure que je prends ton analyse au sérieux depuis le début. Je ne suis pas d'accord sur certaines conclusions ; et je suis sans doute plus émerveillé que tu ne l'es, mais ça s'arrête là.

D'ailleurs on sait si quelqu'un projette qu'un jour ça soit rentable ou pas ? Parce que entre le scenario «l'AI ne nous remplacera jamais» et «l'AI nous remplacera tous» on peut glisser un petit «l'AI coûte trop cher pour être rentable» ptet

Un jubipaté.  

Pas très different de payer un salaire ou une boîte de consulting.

utilise un LLM pour résumer

 
Le march... non, laisse tomber