Reprise du message précédent :

On va vite avoir des trucs intéressants, comme https://github.com/gargpratyush/jev-router
 
https://github.com/gargpratyush/jev [...] picker.png  
 

3x le cache input, genius

Y a quand même des moments où je comprends plus rien à ce que vous racontez  

utiliser jev pour qu'il décide vers quel LLM rooter une demande.
Après ca pose d'autres soucis tel que le cache

Merci pour la traduction  

Ca veut dire quoi ? Que ça consomme plus parce que switch de modèle en cours de conversation ? Si c'est ça c'est con en effet.

Si je le comprends bien, le Le Cun, il dit que Gemini, Claude, Kimi, Mistral, ChatGPT, enfin les LLM, le deep learning, c'est de la daube parce que ça ne comprend pas le monde physique et que donc, il lui faut l'apprendre, en gros c'est ça ?

Oui tu consommes plus en changeant de modèle.  
Après si ca permet d'utiliser plus souvent un modèle qui coute 10x mois, t'es pas perdant au change  

Il dit qu'il faut l'entraîner sur autre chose que du texte, à raisonner sur des concepts abstraits plutôt que mot à mot, l'entraîner à planifier et gérer l'incertitude. Il donne comme exemple la tâche de se rendre à New-York en avion, ça veut dire commander un taxi, sortir de la maison en ouvrant la porte, descendre les marches, attendre le taxi, aller à l'aéroport, etc. Un LLM aura du mal à planifier et décomposer tout ça en une série d'actions atomiques.

 
Ce monde va trop vite c'est fou

Oui. En gros, il dit que ce qu'on a c'est du texte, pour tout ce qui est maths, programmation, analyse de texte, c'est génial, mais qu'en gros la prochaine étape c'est d'intégrer les paramètres de la physique et les interactions du monde. C'est pas idiot son propos, parce qu'on a une très grande capacité d'abstraction, de prédiction, anticipation, planification que les LLM n'ont pas. Un exemple simple, les LLM ne sont pas capable de faire de l'abstraction mathématique ou d'inventer des idées de maths, ou faire des conjectures mathématiques. Ca demande un degré d'abstraction qui n'existe pas dans un LLM basé sur le texte.

De fait, c'est effectivement une limite de ces modèles qu'il pointe justement. On va peut être pas dire "daubé", c'est même très bon pour ce que ça fait (traitement de texte/information) en revanche ça atteint vite ses limites dès que tu veux faire de l'abstraction/créer des idées nouvellles/appréhender l'environnement physique tout autour de nous... Ce sera probablement la prochaine génération d'IA, on passera des frontier models aux world models.

Un exemple simple, un LLM n'est pas actuellement capable d'inventer une théorie comme Galois l'avait fait, ou plus récemment Grothendiek. Ca illustre bien l'écart technologique que l'on a, entre les LLM actuels, et ce que sont capable de faire des humains. A l'inverse, les LLM ont une capacité d'apprendre qui est supérieure à celles des humains, donc ça a aussi ses avantages.

Mais ce qui est bien, c'est qu'il l'explique de manière très claire et très pédagogique, très accessible. Ca permet donc d'avoir un aperçu de vers quoi ça va évoluer ensuite !

Vous savez quoi faire

Oui au changement de modèle tu recharges tout le contexte en cache et c'est ce qui coûte cher. Après ça se calcule et sinon tu peux aussi donner une tâche dans un sous agent sans tout le contexte.
Il me semble qu'Anthropic teste aussi le passage de cache chaud à d'autres modèles ou alors juste le changement d'effort ?

Disons que développer un world model ou des IA type LLM ça coute cher, mais le jour ou ça marche et qu'il peut revendre l'utilisation de sa technologie aux entreprises, ça va lui rapporter encore plus (ainsi qu'aux investisseurs) ! Parce que la finalité de sa technologie, c'est l'application aux robots au final.