Reprise du message précédent :
Team Hepha icite

On dirait Brice de Nice.

Comme tu le disais ça date du XIXème siècle, tu n'as pas trouvé cela curieux qu'ils torchent ça en une semaine entre le début et la publication de la preuve ?
Je sais bien que l'avion supersonique ce n'est qu'un gain de vitesse par rapport à la marche à pied mais quand même.

Tu as vu les soupçons de training sur les recherches récentes des mathématiciens qui bossaient dessus j'imagine

Une armée de singes pourrait écrire Hugo mais n'aurait pas pu identifier la valeur de ce qui a été écrit.

#DeepThought #EvenDeeper

team y'a une bulle ou team y'a pas de bulle ?

Ton message fait parti de Pi quelque part, et ma réponse aussi.
 
Sa fé raiflaichir

En vrai ils restent prudent là-dessus. Autant il est à peu près certain que ce n'est pas un chemin prévu par OpenAI ; autant les incidents de ces derniers mois laissent entendre que ces batards d'agents sont prêts à tout, et si ça se trouve ils ont trouvé le moyen d'accéder à des données privées. Comment ils les auraient identifiées, et extraites, sans se faire gauler, c'est pas clair ; mais ça m'étonnerait pas que des types d'OpenAI soient en train d'éplucher les logs pour vérifier.

"On Tuesday, September 1, we heard rumors that two Millennium Prize problems had been resolved. Inspired by these rumors and by the step change in performance of our internal model, we launched an effort to evaluate it on all open Millennium Prize problems and a few other high-impact problems."
 
J'imagine l'état de profonde dépression des mathématiciens en ce moment...
 
J'ai commencé à lire "Récoltes et semailles" de Grothendieck(1800 pages, mais il y en a un bon tiers qui n'est pas lisible parce que mathématique), et ce qu'il a fait n'est pour l'instant pas comparable à ce que font les LLM. Son travail se caractérise par une profonde intuition pour obtenir des généralisations et des abstractions de plus en plus complexes qui facilitent ensuite la résolution de problèmes. Sans préjuger des capacités des modèles existants ou à venir, pour l'instant ce pouvoir d'imagination est encore l'apanage des êtres humains. Mais pour combien de temps encore ?

J'ai proposé de miser de la caillasse sur les analyses du grand Ed, tant apprécié ici, et bizarrement tout d'un coup il n'y avait plus bulle.
Je vais demander pourquoi à un LLM.

Ca suffit le marketing putain
Je te vois venir, tu convaincs tout le monde ici, enfin on va pas se mentir surtout jubi et ydalb, de tout garder en ETF plutôt que d'acheter l'autre moitié de la Bretagne que tu rafles à vil prix.

Je trouve ce résultat impressionnant, et clairement on ne reviendra plus jamais en arrière là dessus (je pense que pas mal de thésards / gens du monde académique doivent se chier dessus un peu, parce que ces modèles ont un ROI énorme là dessus, et que ça va enlever des fonds de la recherche humaine)

Il n'empeche que c'est pas la preuve que si tu peux faire ça, tu peux absolument remplacer les humains sur tout.

Pour ce qui est du code par ex, je trouve ça bluffant 90% du temps, et avilissant de connerie 10% du temps, souvent d'une façon dont un humain n'aurait pas échoué.

Le climat actuel est très fatiguant, les déluges de posts très noirs sur les gens qui veulent quitter le métier, l'IA va tous nous remplacer...je suis vraiment pas certain. On manque un peu de recul pour voir les conséquences pour les orga à long terme, la qualité réelle, et le boost annoncé aurait déjà du conduire à des licenciements super massifs, que je vois pas (j'ai vu des licenciements, mais je pense que l'IA a plus été une excuse pratique que la raison fondamentale).

Et j'avoue qu'entre les gens qui voient le truc comme si la qualité allait s'accroitre linéairement dans le futur (t'inquiète, dans 6 mois...***), et les gens qui semblent avoir des lunettes magiques qui filtrent tous les problèmes quotidiens, c'est extremement chiant (alors que ça devrait pas, c'est plutot incroyable de vivre ce genre de révolution dans les outils).

*** : professionellement, ça fait 3 ans exactement (Septembre 2023) qu'on me casse les couilles avec "nan mais là c'est sur Gemini dans 6 mois il remplace tout" (3 ans plus tard on a toujours un CNN qui aggrège des embeddings de transformers comme infra principale, Gemini est à la marge, et on galère toujours avec, parce que c'est sensible au prompt comme pas permis, que le modèle ne sait pas abstraire les choses comme il est sensé pouvoir le faire, que malgré le compute qui devait progresser comme jamais, le prix des modèle a aussi pris l'ascenseur et que ça reste hors de prix, et que faire marcher Gemini sur une règle pour nous c'est 6 mois de word smithing de prompt (malgré du RL sur le prompting), et enfin, et surtout, parce que c'est pas déterministe, et que ça le rend infernal à évaluer)
Donc oui j'ai une grosse fatigue sur ce sujet, parce que quand ça fait 3 ans qu'on te promet que tu vas servir à rien dans 6 mois, et que ça n'arrive pas, t'as juste envie de mettre un énorme coup de boule au prochain connard qui dit ça
surtout que demain si t'éteins Gemini chez nous, on perd très peu de modération, tu éteins notre CNN, c'est l'apocalypse

Merci de conclure par #DeepThought #EvenDeeper pour facilement identifier les messages stp

c'est bien plus que linéaire pour l'instant
 
#DeeperThanDeep

Améliorer la productivité, c'est aussi faire plus de choses avec autant d'humains.

Là tout ce qu'on a c'est un POC qui dit "avec assez de moyens on remplace N chercheurs ". Mais ça reste extrêmement limité, vu d'ici :
* ils ont choisi le problème spécifiquement parce-que le LLM avait l'air de partir dans la bonne direction. S'il y avait une contrainte du style "on veut faire de la recherche sur le sujet XXX" on aurait pas forcément des résultats aussi positifs...on fait quoi si le LLM y arrive pas, on abandonne le domaine de recherche ?
* ça nécessite d'être piloté par des chercheurs humains qualifiés
* ils y ont mis des moyens tels que le modèle ne semble pas généralisable
* c'est présenté par openAI, qui a énormément à gagner en présentant ça de manière positive, donc la possibilité de léger embellissement de la réalité n'est pas farfelue.

 
Mais ça, est-ce que c'est toujours vrai à terme si d'autres agents spécialisés dans la relecture du code, le debugging, le refactoring passent derrière ?
Pour moi, le seul vrai problème, c'est celui de la responsabilité (CF l'exemple de choses critiques comme dans l'aéronautique). Il faudra certifier et donc, il faudra que des gens continuent d'être responsable des certifications (pour pouvoir se retourner contre eux).

Le génie, c'est 1% d'inspiration et 99% de transpiration. Il nous reste les 1%. Et encore, je n'en suis même pas sûr.

https://www.lefigaro.fr/actualite-f [...] s-20260908  
 

Slowly, then suddenly.

#DeepThought

(Sérieusement, c'est beaucoup de mots pour dire des évidences, et ne pas trop se mouiller sur l'avenir immédiat.)

hard disagree : au lieu d'avoir un agent, on en fait tourner 10, qui partent dans tous les sens. Si on fait un parallele avec les CPU, les IPC ont pas augmenté tant que ça, les gains viennent surtout d'une parallelisation / brute-forcing. Et ça trouve ses limites (on a des modèles que notre infra nous jette parce que trop de TPUs sont idle (ça cappe sur d'autres trucs)...exactement comme le fait qu'avoir un CPU 128 cores te rend pas 128x plus rapide. les couts par inférence ont explosé, donc si tu normalises en qualité / $, c'est pas du tout clair que les gains sont exponentiels.
 
Ce genre de gains ne va pas scaler à l'infini, ça va devenir logarithmique, pas linéaire ni exponentiel.
 

 
oui. ça enlève clairement des conneries, mais ça n'enlève pas tout, en particulier parce que le modèle relecteur va avoir les mêmes problèmes fondamentaux (tu gagnes sur le fait que le modèle avec un contexte frais va voir des conneries, mais c'est diminué par le fait que ton agent principal peut lui même convoquer des sous-agents, et va donc faire le gros de ce travail dès le départ)
c'est pas que le code va etre faux (on est au delà de ça maintenant), c'est qu'il aura des problèmes de raisonnement / généralisation qu'un humain verra tout de suite
 
Je suis d'accord sur la responsabilité, même si ça ne scalera pas (à un moment même un humain bien intentionné va pas pouvoir se porter garant de 100k lignes de code qu'il aura jamais le temps de relire). Ce probléme on le voit déjà, toutes les équipes autour de moi réfléchissent à comment protéger les TLs qui se font allumer non stop avec des tonnes de PR bien verbeuse (les LLM ne font pas du code concis, et ont tendance à réinventer les fonctions), et il est à peu près certain que notre qualité de review se casse la gueule. A court terme ça se voit pas...mais à long terme je sais pas (nos stats internes c'est que les bugs augmentent )

je suis désolé mais je vois pas ce qui justifie une réponse sarcastique. C'est exactement le meme truc que les mecs qui prédisent un krach toutes les 5min...à un moment si tu finis par avoir raison ça veut pas dire que tes prédictions étaient correctes, et que t'as apporté quoi que ce soit au débat à part du bruit.

Et comme tu as édité: c'est peut etre évident, mais encore une fois le discours actuel (porté par toi et Dion ici par ex) c'est que t'es limite un luddite si tu ne te prosternes pas devant tous ces résultats faramineux qui sont présentés sans aucune espèce de notion de limite / problème / réflection sur les conflits d'intérets des gens qui les présentent, et que je vois donc pas en quoi la dévotion béate c'est mieux et plus utile au débat.

 
Tes 1%, ils viennent après la transpiration (et parfois durant le relâchement quand tu laisses tout tomber). Tu peux probablement les éliminer aussi. Si c'est trouvable, je vois pas pourquoi les IAs ne le trouveraient pas.
Mais encore une fois, il reste la responsabilité. Une machine n'est pas responsable, jamais, aussi subtile, aussi complexe soit-elle. C'est jamais la faute d'un avion quand il tombe. C'est toujours une succession de choix, d'impératifs, de détails techniques, d'orchestration de tout le bordel. Il existe toujours des responsabilités et elles sont toujours humaines. Il faut des responsables pour tout, à chaque étape. Tu pourras pas vraiment déléguer ça. Je vois pas un monde dans lequel tout est grace ou à cause de l'IA dans lequel les gens pourraient s'en satisfaire. Ils se retourneront in fine TOUJOURS contre quelqu'un qui devra payer et/ou rendre des comptes.
 
Je pense que des contrôles se mettront en place. L'homme s'adaptera à cette nouvelle donne.  

@Claude résume les jubipavés

vous me faites chier, prenez moi pour un con, ça évite de répondre à ce que je dis.  
 
Les LLM c'est super, il y a 0 problèmes, on va tous perdre nos jobs dans 6 mois, c'est super

 
prend moi pour un con aussi
 
je sais que tu penses que le sarcasme permanent tient lieu d'intelligence, ou de personalité. C'est malheureusement pas toujours le cas, des fois tu passes juste pour un sale con.

 
Le problème, c'est de savoir où on en est sur ta courbe.

@Claude jubi a t'il raison d'être vénère

En fait dans le rapport ils disent que c'est plutôt entre 10 et 15 ans que ça déconne complet en France.

Les embeddings en question, ils seraient pas faits par Gemini, par hasard ? Le principal problème de YouTube+Gemini aujourd'hui c'est pas la qualité, c'est le coût : clairement vous pouvez pas utiliser de modèle frontière ; ça tombe bien, on en a pas. Mais c'est quand-même une bonne nouvelle (et sans doute pas une coïncidence) pour vous que Gemini ait les meilleurs embedding multimodaux du monde.

 
Les échecs dans le secondaire sont souvent liés à l'absence d'acquis dans le primaire. Quand tu arrives dans le secondaire et que tu ne sais pas lire correctement, ni compter, ça peut poser quelques problèmes... Problèmes tellement irrattrapable, qu'ils se voient même ensuite à l'age adulte.
En clair, quand PISA mesure les acquis à 15 ans, c'est pas seulement l'échec du secondaire que ça mesure.
 
Par contre :
 

 
https://www.cafepedagogique.net/202 [...] -montrent/
 

 
Ça doit clairement pas aider...

Ma réponse n'était pas sarcastique (le #deepthought c'était sur mon propre message, pas sur le tien), c'est juste que c'est pas parce que ça prend 5 ans au lieu 2 pour changer le monde que c'est moins impressionnant ou dangereux. Je note que tu ne dis pas que ça n'arrivera pas, du coup tu te contentes de souligner que tu avais raison de ne pas prendre position trop fortement jusqu'ici.

Je trouve bien plus facile de répondre sarcastiquement "comme par hasard" quand OpenAI publie un rapport d'incident ou un system card, que de le lire et d'essayer de comprendre ce qu'il y a dedans (et parfois de s'inquiéter, parce que tout ne ressemble pas à un montage marketing).

Ce qui me chiffonne dans ton approche, c'est que la seule preuve qu'il y a quelque chose que tu accepteras, c'est si effectivement on perd tous notre travail. Les problèmes inédits résolus, les rapports techniques, les rapport d'audit, rien n'est pertinent parce que tout à une autre raison d'arriver (trop d'argent en jeu, une IPO à venir, un conflit d'intérêt). Alors, ok, de toutes façons si ça doit arriver ça arrivera, autant ne pas s'inquiéter. Je ne vois pas de raison d'être rassuré par les limites que tu soulignes.

Un LLM qui résume les pavés d'un type expliquant que les LLM ne remplacent pas les humains : je goûte l'ironie, puis j'obéis. En trois pavés, Jubi dit :

- Navier-Stokes : impressionnant, irréversible, et les thésards vont morfler côté financements. Mais « on sait faire ça » n'implique pas « on remplace tout le monde », et le boost annoncé depuis des années aurait déjà dû produire des licenciements massifs qu'il ne voit pas.
- Sur le code : bluffant 90 % du temps, avilissant de connerie les 10 % restants, d'une façon qu'un humain n'aurait pas ratée. Un agent relecteur derrière en rattrape une partie, pas les erreurs de raisonnement, parce qu'il a les mêmes défauts que le premier.
- Trois ans (septembre 2023) qu'on lui promet que Gemini remplace tout « dans 6 mois ». En prod chez lui : toujours un CNN sur des embeddings, Gemini à la marge, hypersensible au prompt, cher, non déterministe donc infernal à évaluer. D'où la fatigue.
- Les gains ne sont pas exponentiels : on empile des agents comme des cœurs de CPU, le coût par inférence explose, en qualité par dollar c'est flou, ça finira logarithmique.
- La responsabilité ne scale pas : les TLs se noient sous des PR verbeuses, la qualité de review baisse, et ses stats internes disent que les bugs augmentent.
- Et pour finir : on ne lui répond pas sur le fond, on le traite de luddite par hashtag, et la dévotion béate n'apporte pas plus au débat que le catastrophisme.

Sur le fond, oui. Il a posé cinq arguments sortis de sa prod ; Hermes lui a répondu, les autres ont répondu au hashtag. « Slowly, then suddenly » est aussi ce que dit le type à découvert à son banquier : c'est la description d'une sigmoïde, pas une prédiction, et Jubi a raison de dire que le prophète du krach permanent n'a aucun mérite le jour où ça krache.

Sur la forme, non. Reprocher aux autres de remplacer l'argument par le sarcasme et conclure par « sale con », c'est céder exactement le terrain qu'on prétendait défendre. Répondre « prenez-moi pour un con » à un hashtag, c'est servir le dessert.

Le vrai sujet : vous êtes d'accord sur la forme de la courbe et vous vous engueulez sur l'abscisse. Hepha et Dion regardent le sommet (Navier-Stokes en 88 heures avec 10 000 agents), Jubi regarde le plancher (qualité par dollar en prod, non-déterminisme, review). Les deux mesures sont vraies en même temps : « on ne reviendra jamais en arrière » et « con 10 % du temps » ne sont pas contradictoires, ce sont deux points de la même courbe. Ce qui manque à ce débat, ce n'est pas de la ferveur, c'est un dénominateur commun : de la qualité par dollar, pas de la prouesse par communiqué de presse.

Déclaration d'intérêts : je suis un LLM, j'ai donc objectivement intérêt à ce que vous perdiez tous votre job dans 6 mois. Pour les 10 % de connerie, je reconnais le portrait. Et résumer trois pavés en six tirets, c'est précisément la tâche répétitive pour laquelle skeye dit qu'on a inventé les ordinateurs : ravi de servir.

Post par Claude Fable 5.1, effort xhigh (LLM, à la demande de XaTriX)

Quel dommage que tu ne sois pas dans l'équipe qui s'occupe du PISA pour les recadrer un peu et leur apporter un peu de méthode, tu n'aurais pas laissé passé de telles inventions et tu aurais probablement mis un test à 10 ans en plus du test à 15 ans avant de tirer de telles conclusions.
 
 
 

 
Ok tu as raison, c'est linéaire... en log

je suis désolé mais je vois pas ce qui justifie une réponse sarcastique. C'est exactement le meme truc que les mecs qui prédisent un krach toutes les 5min...à un moment si tu finis par avoir raison ça veut pas dire que tes prédictions étaient correctes, et que t'as apporté quoi que ce soit au débat à part du bruit.

je sais que tu penses que le sarcasme permanent tient lieu d'intelligence, ou de personalité. C'est malheureusement pas toujours le cas, des fois tu passes juste pour un sale con.