Reprise du message précédent :

Moi je pense au contraire que c'est ce que l'on attend d'eux. Parce qu'il y a le but des AGI (Art. General Int.) et celui des ASI (Art. Super Intelligence), la résolution du second passant nécessairement par celle du premier.

Et résoudre le premier, pour l'instant on n'y est pas encore, l'ARC-AGI de François Chollet est par exemple un ensemble de tests dont un certain nombre sont triviaux à résoudre pour nous (que l'on peut qualifier d'intelligences générales) mais ne le sont pas pour les LLMs parce qu'ils n'ont pas d'équivalent sur internet, donc ils n'ont pas eu le loisir de s'entrainer dessus.

Ton exemple des publis de qualité mais vides de sens, ce n'est qu'un cas particulier de ce qu'elles savent parfaitement faire, - mieux que nous -, à savoir remâcher du contenu existant de façon convaincante: c'est le test de Turing, qu'elles passent avec un succès asse stupéfiant, comme je l'écrivais plus haut. C'est d'ailleurs LE succès majeur des LLM. Mais il est dorénavant clair que ce test est loin d'être suffisant pour qualifier une IA d'intelligente. Elles savent aussi donner l'illusion d'intelligence, car elles résolvent des problèmes difficiles pour nous, tout simplement parce qu'elles ont appris à les résoudre. Mais encore une fois, ce sont des exercices, ce n'est pas suffisant pour inventer un nouveau concept et appliquer ce concept à des situations nouvelles avec des raisonnements. On commence à voir des débuts de raisonnement, mais pas encore d'abstraction.
Et je pense que pour remplacer l'être humain sur des domaines où il faut prendre des décisions, cette capacité d'abstraction et de raisonnement est absolument nécessaire. Par contre, dès que ça va arriver, alors les IA nous dépasseront complètement très rapidement, ça fait peu de doute.

Après, je te concède que ce n'est que mon opinion sur le sujet, et il se peut que je me trompe. Il se peut qu'on ait une situation de complexité émergente qui suffise mène à l'abstraction et à résoudre des problèmes nouveaux, mais j'en doute. Après tout on ne sait pas bien ce qu'est l'intelligence, mais pour moi, cette avancée des IA permet d'en donner la meilleure définition cognitive qu'on ait à l'heure actuelle.

En train de tester justement des LLM locaux spécialisés code  : pour l'instant, Deepseeker Coder V2 et QWen2.5 Coder 32B Instruct se détachent vraiment du lot, avec une mention spéciale pour QWen qui a généré le même code que ChatGPT

QWen est vraiment excellent en fait... Ces modèles chinois sont terrifiants tellement ils sont bons

Problem is they don’t send their best

Avec leur puissance de calcul, ne pourrait-on pas dire qu'une de es IA sera vraiment intelligente si elle arrive à résoudre l'un des 7 pbs mathématiques du millénaire ?
De ce que je comprends, les LLM sont très bons tant qu'on leur présente un pb de type "scolaire", donc qui rentre dans le cadre de ce qu'ils ont appris/déjà vu pleins de fois.
Mais le propre de l'intelligence, c'est d'arriver à s'adapter à de nouvelles situations et résoudre un pb que l'on a jamais vu en utilisant ses connaissances ou en en faisant l'acquisition de nouvelles (je pense justement aux maths où certains ont créé de nouveaux objets mathématiques pour faire une démonstration). Pour l'instant, les LLM ne savent pas faire ça et si j'ai bien compris, ils ne le pourront jamais car c'est inhérent à leur mode de fonctionnement (stats de déjà vu).
Comme je le disais dans un post précédent, les LLM sont peu performant dans des domaines où il existe peu de données. Or, pour apprendre, actuellement, il leur en faut beaucoup. Si on arrive à comprendre comment un cerveau humain arrive à apprendre (un humain a besoin de beaucoup moins 'exemples pour apprendre qq chose), on arrivera alors probablement à nettement améliorer la vitesse d'apprentissage des IA, baisser leur conso énergétique et améliorer leurs perfs. Mais j'ai l'impression que si on reste sur une architecture des LLM, on sera toujours bloqué par le fait qu'ils ne sont pas capables d'innover/inventer des concepts.

Oui, la capacité aussi de trouver la vanne en analysant la prononciation est très forte.  
 

J'arrive à lui faire créer de nouveaux mots & catégories pourtant, c'est assez rigolo. Est-ce là la limite de sa capacité de création ?

 
Il n'y a rien que les LLMs ne savent pas faire, que les humains savent. Il n'y a rien d'"inhérent à leur fonctionnement" qui les empêchent de faire des maths, tu te fourvoies sur l'intelligence humaine en pensant ça.
 
Les LLMs savent très bien prendre en compte des nouvelles données et généraliser sur très peu d'exemples. C'est leur apprentissage initial qui a nécessité beaucoup de données, mais ça n'a besoin d'être fait qu'une fois.

Ah ? Donc, dans l'apprentissage de base d'un LLM, si je lui montre juste 3-4 photos d'un chat, c'est bon, comme un humain, il va être capable de généraliser suffisamment pour reconnaître ce qu'est un chat dans n'importe quelle position avec un taux de succès important C'est pas ce que j'avais compris en écoutant pas mal de vidéos sur le sujet et que justement, les LLM avaient un gros souci avec le temps et la conso d'énergie que ça prenait de les entraîner.
C'est d'ailleurs ce que redit Stanislas Dehaene dans son livre "une idée dans la tête" (que je recommande, mais si je ne l'ai pas encore terminé) : https://www.amazon.fr/id%C3%A9e-dan [...] 2415010413
Actuellement, on ne sait pas encore comment le cerveau arrive à apprendre aussi efficacement, ce qui permettrait justement d'appliquer ce type de découverte à l'entraînement des IA.
 
Et à ce stade, je n'avais pas non plus compris qu'un LLM était capable d'inventer un nouveau objet ou concept mathématique (et pas que). Les LLM apprenant sur des choses déjà vu de manière statistique, comment pourraient-ils inventer ? Je parle pas d'une recombinaison de données qu'ils ont déjà. C'est en ça que je disais que l'archi des LLM ne permettaient pas d'inventer.
 
Edit : je précise que je fais une distinction entre inventer et créer. Les LLM ont montré leur capacité à créer des images, des tableaux qui n'étaient pas dans leurs données. En soit, ils ont donc bien créé une oeuvre nouvelle. Mais ce n'est qu'une recombinaison et transformation de données déjà dans leur set d'entrainement. A ma connaissance, un LLM n'a pas encore inventé un concept nouveau pour résoudre un pb théorique (donc dans le domaine des maths ou physique principalement). Mais si tu as un exemple, je suis preneur, ça m'intéresse.

 
Oui. Note que comme nous, ça marche avec les chats parce qu'on a déjà été confronté à plein d'animaux différents, mais ça ne marche pas avec des objets dénués de forme familière.
 

 
La distinction que tu fais entre les deux n'est pas fondée. Quand on invente, on recombine des données présentes dans nos données d'entrainement.

Je suis surpris par tes réponses. Jusqu'à très récemment, j'avais toujours entendu dire que pour entraîner un LLM, il fallait énormément de données et beaucoup d'exemples de chaque concept à apprendre pour que le LLM soit efficace. De ce que je comprends de ton post, seul 3-4 exemples de chaque concept suffirait désormais aux LLM
 
Concernant la distinction inventer / créer, je pense au contraire qu'elle est fondée. L'algèbre de Boole par ex, quand le gars a eu l'idée, ça n'avait aucune application concrète à l'époque et il a fallu bien longtemps et l'informatique pour lui trouver une application. C'est un concept qu'il a inventé, il n'existait pas de chose équivalent à son époque. En maths, ça arrive régulièrement qu'on invente des outils mathématiques disruptifs/innovants qui n'ont pas d'utilité tout de suite et c'est bien après qu'on leur trouve une application.
Les théories de la physique quantique, pareil, ça sort de l'imagination et des observations faites par les scientifiques. Pareil pour la théorie de la relativité (restreinte et générale) d'Einstein même s'il a eu de l'aide.
 
Bref, je doute qu'un LLM puisse faire de la recherche fondamentale comme le fait un humain On verra si l'avenir me donne tord. Je parle bien qu'il le fasse seul et pas qu'un humain utilise un LLM pour l'assister dans certaines tâches de recherche. Car les IA ont montré leur utilité dans le repliement de protéines et dans le médical, ça va être utilisé pour simuler des interactions de nouvelles molécules de médicaments avec le corps d'un patient très finement. Dassault system bosse dessus en reproduisant sous forme de jumeau numérique des organes humains

Tort.

Faut que tu résilies ton abonnement à Science et Vie par contre, tu n'as plus 14 ans.

Argument d'autorité.

Prenez Epsiloon à la place.

Je regarde science4all pour l'aspect mathématique et avancées des IA, Mr Phi et science étonnante pour la partie vulgarisation de l'archi et des possibilités. Stanislas Dehaene pour l'aspect neuroscience dont l'IA utilise pas mal les avancées. Je ne suis pas du tout un expert du domaine, je ne pratique pas, je me contente de suivre les avancées qui me sont présentées par l'algo de YT. Je suis donc peut-être passé à côté d'une grosse innovation en la matière.
 
Je renouvelle ma question : as-tu un exemple à me donner de nouveau concept en maths ou physique inventé par un LLM ?
 
Et science et Vie, c'est très bien

Perso mon préféré c'est « Pour la science » Encore abo à La Recherche mais c'est devenu un trimestriel.

Cette ambiance ici

En plus, je suis encore très jeune dans ma tête  
 
Edit : d'ailleurs, en parlant de Science et Vie, ça me rappelle un exposé de vulgarisation sur l'apparition de la vie sur Terre demandé en 1ère année d'IUT GEII (cours de culture et communication)  à faire en groupe de 3-4 étudiants. A la fin, le prof nous complimente : "Ah bien, c'est bien, c'était pas vulgarisé à un niveau trop bas comme dans Science et Vie". On avait quasi tout pris dedans pourtant. On s'est tous regardé

 
Ca dépend du sens de "savoir" ici, car si tu prends le sens critique par exemple, c'est au mieux nul.
 

 
Hepha parle d'une situation d'utilisation ou de retrain a premiere vue (en gros une fois le modele pondu). Et toi tu parles de l'apprentissage. Forcément vous allez pas vous entendre . En apprentissage initial, il faut toujours bcp de data.
 
Et ce dont tu parles (apprendre avec peu d'exemples) porte le nom de one-shot training ou few-shot training (et oui, c'est utilisé bien sur).

Oui, moi, je parle bien de l'entraînement initiale pour mettre au point le modèle. Pas d'entrainement complémentaire

J'insiste pour souligner que la créativité consistant à dessiner un chaton ou à faire un calembour est la même que celle dont fait preuve un scientifique aussi génial soit-il, qui imagine une théorie. Ceci étant, ce n'est pas parce qu'on fait l'un qu'on fait l'autre (duh). Mais il n'y a rien dans l'essence des LLMs qui les empêchent de révolutionner la science.

 
Même en maths tu crois ? Les médailles Fields en général ya souvent un côté révolutionnaire dans leur travail dans le sens où ils associent des domaines des maths que personne n'avait jamais reliés entre eux avant (car personne n'avait vu de rapport entre en fait), je me demande si ça va pas à l'encontre de l'approche statistique du machine learning quand-même.

Ça reste de la combinaison d'idées existantes, elles-même issues de nos expériences.

C'est très réducteur de voir les LLMs comme un générateur de banalités, parce qu'ils proposent le mot le plus probable. Cela se passe dans un contexte, le calcul de statistique n'en est pas un parce que les conversations sont toutes uniques. Ce qui distingue les LLMs c'est le haut niveau d'abstraction auquel ils ont accès, pour pouvoir estimer des probabilités dans un espace généralisé comparable à des idées et des concepts. Concrètement, ça veut dire qu'un LLM peut conceptualiser ce qu'est un mathématicien, et ce qui fait qu'une théorie mathématique est intéressante. Partant de là, il peut, comme le font les génies des maths, trouver dans deux concepts apparemment étrangers une utilité qui rend probable leur combinaison. Encore une fois je ne dis pas qu'ils le font, ni qu'ils le feront ; juste que c'est la même créativité qui est à l'œuvre quand on lui demande de jouer le rôle d'un forgeron anglais au moyen-âge, tout comme entre un artiste humain et un medaillé Fields.

 
oui mais un LLM ne les combinera pas parce que statistiquement c'est extremement peu probable.
Je suis d'accord sur le fait que les humains n'inventent rien ex-nihilo, on recombine des choses, ou évolue des choses existantes.
 
Du coup le "je dis pas qu'ils le feront, mais ils peuvent", c'est intéressant mais ça ne mène pas très loin. je veux dire je peux etre milliardaire. Je ne dis pas que je vais le faire. Mais je pourrais.

j'ai ri

Mais du coup hephaestos, tu penses donc que y a pas de différence fondamentale (je ne parle pas d’âme ou truc surnaturel du genre hein) avec ce que fait un cerveau biologique ? Que si le "substrat" change, au final nos neurones font "juste" que associer le trucs les plus probables suite a nos expériences (vision, conversation etc...) des dix dernières secondes/minutes/années ?

C'est pour contrer l'argument "ils le font pas parce qu'ils en sont fondamentalement incapables". Il n'y a rien de fondamental dans ce qui les rend moins forts dans certains domaines. L'argument de la probabilité est un hareng rouge (!), parce qu'ils ont été caricaturés en "machine à prévoir", ce qu'ils sont d'un certain point de vue mais ne les rend nullement incapable de produire des résultats exceptionnels, et ne les distingue pas de nous.

Maintenant ils en sont peut-être incapables parce que c'est hors de portée, comme une coccinelle ne pourra jamais battre Usain Bolt à la course à pied, quand bien même elle a des membres et elle peut courir comme lui.

Peu de messages aujourd'hui, c'est quoi ce bordel ? Tout le monde bosse ou quoi.

Le 15 c'est le jour de l'administratif pour la demande des aides

Tu vas rester un assisté toute ta vie ?

Doom tourne maintenant dans un PDF.

Chacun son plan de carrière

Il me semble que c'est assez ennuyeux comme affirmation. Qu'est-ce que tu penses qu'ils feraient d'autre ?

À ceci près que l'objectif d'un LLM ou d'un cerveau n'est pas de trouver le mot le plus probable, ils ont de multiples niveaux d'entraînement supervisés ou non. Ils sont entraînés pour être utiles.

Pour le cerveau, le plus gros est dédié à la simulation du monde, il est entraîné à prédire le futur, et à simuler des scénarios. Pour cette part l'objectif est assez simple, c'est d'avoir raison, c'est le même pour tous les vertébrés. Le choix lui-même est l'objet d'un entraînement associé à des objectifs fondamentaux -plaisir et douleur-, eux même étant le fruit de l'évolution naturelle. C'est une sorte de gros système dont l'objectif est de maximiser la multiplication de nos gènes, sauf qu'il a atteint une singularité il y a quelques dizaines de milliers d'années, qui a fait diverger tout le système ; mais je m'égare, oui notre cerveau est un réseau de neurones qui ne peut que rejouer ce dont il a déjà fait l'expérience.

Consciousness Explained de Daniel Dennett est un super livre pour démystifier le bousin. Pour faire le lien avec les réseaux de neurones, j'ai bien aimé On Intelligence de Jeff Hawkins mais j'ai peur que ça ait mal vieilli ; ce n'est pas nécessaire, c'est sans doute largement inexact mais c'est éclairant d'avoir une explication plausible.

 
Intéressant...  
 

 
Ça par contre, je m'en suis drôlement rendu compte avec la musique, même quand on crée "par opposition".

https://x.com/andyyen/status/1864436449942110660
 
 

Ouais je travaille le calepinage de mes futurs panneaux solaires

Du kickboxing?

Faut migrer  

 
 
J'AI AU MOINS 3000 COMPTES, JE SUIS PAS NÉ EN 2010 MOI !

On était sur Internet que t'étais pas né

Tiens d'ailleurs, quelle année vous avez eu internet à la zonmai ?
 
97 ici, moteur de recherche altavista