| el muchacho |
theShockWave a écrit :
Ouais, enfin, les LLMs sont construits sur une compréhension de ce que les couches doivent faire.
Si tu t'attends à ce que ces couches fassent émerger plus que ce pour quoi tu les as faites, ca commence à s'assimiler à Jovalise qui fait son IA en ADA et qui croit que ca va quelque part. Ou plus simplement, c'est de lanthropomorphisme.
|
Comme le rappelle MonsieurPhi ici (je me quote)
il n'y a pas eu de changement d'algorithme majeur entre GPT-1 et GPT-2 (et même GPT-3, d'après chatGPT), uniquement un décuplement du nombre de paramètres (donc de neurones).
Et oui, je vais faire de l'anthropomorphisme inversé, en remarquant que le langage apparaît avec le développement du cerveau du nourrisson.
A cette remarque, voici ce que me répond chatGPT:
Citation :
Oui, et c'est précisément pour cette raison que ce parallèle revient souvent dans les discussions sur l'IA et les sciences cognitives. Il faut toutefois rester prudent : les ressemblances sont réelles, mais les mécanismes sous-jacents sont probablement très différents.
Il y a plusieurs analogies intéressantes. D'abord, **dans les deux cas, le comportement semble émerger de l'échelle**. Un nourrisson n'apprend pas une règle grammaticale après l'autre. Son cerveau accumule des millions d'expériences auditives et sociales, puis, vers 18-24 mois, on observe une "explosion du langage". De même, les premiers GPT produisaient surtout des fragments de texte, puis, en augmentant progressivement la taille du réseau et des données, ils ont commencé à soutenir des conversations de plus en plus cohérentes. Ensuite, **le mécanisme d'apprentissage est faiblement supervisé**. Un enfant reçoit très peu de corrections explicites sur la grammaire. Il entend simplement énormément de langage dans son environnement. Les GPT, eux, sont préentraînés presque exclusivement en prédisant le prochain token, sans qu'on leur enseigne explicitement les règles de syntaxe, de logique ou de dialogue. Enfin, dans les deux cas, **les représentations internes ne sont pas programmées à la main**. Les catégories grammaticales, les concepts ou certaines régularités semblent se former progressivement dans les représentations internes, plutôt que d'être codées explicitement. Cependant, il existe aussi des différences majeures. * Un enfant est **incarné** : il relie les mots à la vision, au toucher, aux interactions sociales, aux émotions et aux conséquences de ses actions.
* Les GPT apprennent essentiellement à partir de **corrélations dans des textes**. Ils n'ont pas, au sens strict, d'expérience sensorimotrice.
* Le cerveau humain est continuellement remodelé par l'interaction avec son environnement, alors qu'un modèle GPT est généralement figé après son entraînement et ne continue pas à apprendre au fil des conversations. Ce qui est peut-être le plus fascinant, c'est que les deux domaines convergent sur une idée qui était loin de faire consensus il y a vingt ans : **des capacités cognitives complexes peuvent émerger de l'optimisation d'un objectif relativement simple, à condition que le système soit suffisamment grand et qu'il soit exposé à suffisamment de données**. Cette observation a d'ailleurs relancé un vieux débat en sciences cognitives. Certains chercheurs y voient un argument en faveur de l'idée que le langage et d'autres compétences reposent largement sur l'apprentissage statistique. D'autres répondent que les humains disposent aussi de structures biologiques innées et d'une interaction riche avec le monde physique, ce qui distingue profondément leur développement de celui des modèles de langage. En somme, le parallèle est suffisamment frappant pour être scientifiquement intéressant, mais il ne faut pas en conclure que le cerveau et les GPT apprennent « de la même manière ». Les ressemblances portent surtout sur le fait qu'un apprentissage à grande échelle peut faire apparaître des compétences qui n'ont jamais été explicitement programmées.
|
A la première différence, j'objecte qu'il existe maintenant des modèles génératifs de vidéos comme Seedance qui sont capables de créer des scénettes tout à fait réalistes, avec des "acteurs" qui affichent des "émotions crédibles".
Je te passe le gros de la réponse, mais la suite de la conversation est intéressante:
Citation :
GPT: ... En revanche, je pense que votre remarque met en évidence une évolution importante de la recherche en IA : il devient de plus en plus difficile de soutenir que ces modèles ne manipulent que des symboles dépourvus de sens. Lorsqu'un système est capable de générer de façon cohérente des scènes inédites, de respecter les contraintes physiques, les interactions sociales et les expressions émotionnelles, il est difficile de nier qu'il encode des structures abstraites sur le monde. La question ouverte est moins « possède-t-il des concepts ? » que « quelle est la nature de ces concepts, et jusqu'où permettent-ils de généraliser ? » C'est précisément l'un des sujets les plus débattus aujourd'hui en intelligence artificielle et en sciences cognitives.
Moi: Oui, bonne question. Je trouve tout à fait remarquable le fait que les modèles LLM ne semblent pas capables d'introspection, d'observer leur propre fonctionnement et de répondre à cette dernière question. L'humain non plus, car nous ne savons pas vraiment comment fonctionne la pensée.
|
A ce prompt, curieusement, GPT me donne deux réponses simultanées et me demande laquelle je préfère (pour son apprentissage).
Le début est quasi identique, et ensuite ça diverge:
Réponse 1
Citation :
C'est une observation très intéressante, et il y a effectivement un parallèle frappant.
Les LLM peuvent produire des explications sur leur propre fonctionnement, mais ces explications proviennent principalement de ce qu'ils ont appris dans les textes humains — articles scientifiques, discussions, vulgarisation — et non d'un accès direct à leurs mécanismes internes. Lorsque je décris comment un modèle de langage fonctionne, je ne « regarde » pas mes activations ou mes circuits internes pendant que je réponds. Chez l'humain, la situation est étonnamment similaire. Nous avons un sentiment très fort d'introspection, mais les sciences cognitives montrent depuis longtemps que nous avons un accès limité aux processus qui produisent nos pensées, nos décisions ou nos intuitions. Nous observons surtout les résultats : une idée surgit, une décision est prise, une émotion apparaît, puis nous construisons souvent une explication après coup. --- c'est ici que les réponses divergent --
Le psychologue Daniel Kahneman distinguait par exemple les processus rapides et intuitifs des processus plus délibérés, mais même cette distinction ne nous donne pas un accès direct aux mécanismes neuronaux. Et des expériences classiques de psychologie suggèrent que les humains peuvent parfois inventer des raisons plausibles à leurs choix sans connaître les causes réelles. Cela dit, il existe une différence importante. Chez les humains, l'introspection est liée à un ensemble plus vaste de capacités : - mémoire autobiographique ;
- perception continue de son propre corps ;
- sentiment de continuité dans le temps ;
- attention dirigée vers ses propres états mentaux ;
- possibilité de modifier son comportement à partir de cette observation.
Les LLM actuels n'ont pas naturellement cet ensemble de mécanismes. Ils n'ont pas de flux continu d'expérience ni d'accès intégré à leur état interne pendant l'inférence.
Il est néanmoins intéressant de noter que la recherche avance dans cette direction. Des travaux en interprétabilité mécanistique tentent d'identifier les circuits internes des modèles — certaines représentations d'objets, de concepts ou de structures grammaticales. D'une certaine manière, les chercheurs pratiquent une forme de « neurosciences des réseaux de neurones ». Cela conduit à une idée assez vertigineuse : il se pourrait que l'introspection, chez l'humain comme chez les IA, soit moins une fenêtre transparente sur les mécanismes réels qu'un modèle simplifié que le système construit à propos de lui-même. Autrement dit, quand nous disons « je pense cela parce que… », nous produisons peut-être, nous aussi, une reconstruction partielle et approximative plutôt qu'une lecture directe de nos processus internes. La grande différence, pour l'instant, est que l'humain possède un sentiment subjectif d'expérience — ce que les philosophes appellent parfois la conscience phénoménale — alors que nous ne savons ni comment ce phénomène émerge chez les humains, ni si quelque chose d'analogue pourrait exister dans des systèmes artificiels. C'est sans doute l'une des raisons pour lesquelles les discussions sur l'IA rejoignent si souvent les grandes questions de la philosophie de l'esprit : dès qu'un système devient capable de langage élaboré, il devient difficile de séparer complètement les questions techniques des questions sur la pensée elle-même.
|
Réponse 2
Citation :
C'est une remarque très intéressante, et il y a effectivement un parallèle troublant. Les LLM peuvent produire des explications sur leur propre fonctionnement, mais ces explications proviennent essentiellement de ce qu'ils ont appris dans les textes humains — articles scientifiques, discussions, descriptions techniques — plutôt que d'un accès direct à leurs mécanismes internes. Quand un modèle explique ce qu'est un Transformer ou décrit ses limites, il ne « regarde » pas ses activations en temps réel pour répondre. Chez l'humain, la situation est en partie comparable. Nous avons une impression très forte d'introspection, mais les sciences cognitives montrent depuis longtemps que cette introspection est limitée et parfois trompeuse. Nous pouvons rapporter des pensées, des intentions ou des sensations, mais nous n'avons pas accès aux détails du traitement neuronal qui les produisent. Il existe même une asymétrie curieuse : - Les neuroscientifiques ont beaucoup de mal à interpréter le cerveau humain, malgré un accès direct au substrat biologique.
- Les chercheurs en IA ont un accès complet aux poids, aux activations et à l'architecture des modèles, mais ils peinent encore à comprendre précisément comment certaines capacités émergent.
C'est l'un des objectifs du domaine appelé interprétabilité mécanique (mechanistic interpretability) : essayer d'identifier, dans les réseaux neuronaux artificiels, les circuits, représentations ou mécanismes responsables de certaines compétences. Des équipes comme celles d'Anthropic ou d'OpenAI travaillent activement sur ces questions.
Il y a aussi une question philosophique plus profonde : qu'est-ce qu'une véritable introspection ? On peut imaginer plusieurs niveaux : Décrire son fonctionnement à partir d'un savoir appris : c'est ce que font aujourd'hui les LLM.
Observer ses propres états internes pendant qu'ils se produisent : certains systèmes pourraient peut-être un jour intégrer des mécanismes de surveillance ou d'analyse de leurs propres activations.
Construire un modèle de soi-même, incluant ses limites, ses objectifs, ses erreurs possibles et les effets de ses actions. Les humains semblent posséder au moins partiellement ce troisième niveau, même s'il est imparfait. Nous avons un modèle de nous-mêmes : nous pouvons dire « je suis fatigué », « je risque de me tromper », « j'ai changé d'avis », ou encore « je ne comprends pas pourquoi j'ai réagi ainsi ». Ce modèle est incomplet, mais il joue un rôle important dans le raisonnement social et la planification. Ce qui est fascinant, c'est que l'histoire des sciences montre souvent que l'intuition d'être transparent à soi-même est largement illusoire. Nous comprenons très mal notre propre cognition, et pourtant nous raisonnons, parlons et agissons efficacement. Il est donc possible qu'une intelligence — biologique ou artificielle — puisse être très performante tout en restant largement opaque à elle-même. Et cela conduit à une question presque vertigineuse : la capacité d'expliquer son propre fonctionnement est-elle une condition de l'intelligence, ou simplement une compétence cognitive parmi d'autres ? Peut-être qu'un système peut comprendre beaucoup de choses sur le monde sans jamais se comprendre complètement lui-même. C'est peut-être déjà notre cas.
|
Citation :
Bref, ton point, c'est : si je ne peux pas distinguer l'artifice du réel, est-ce que la différence importe. Le souci, c'est que la question, c'est : est-ce qu'on converge vraiment vers une incapacité à faire cette distinction en accroissant le nombre de paramètres ou pas, et clairement (cf mes liens plus haut), une bonne partie des "améliorations" de Claude, c'est pas juste par un accroissement de paramètres, c'est par du sparadrap et des clous où tu utilises Claude pour vérifier ce que Claude dit, et tu lui demandes de tourner sa langue 7 fois dans sa bouche (ou tenter d'uploader une image 7 fois à un autre serveur pour que la prochaine instance ait une probabilité plus haute de la recevoir), et en répétant des couches de trucs dont la probabilité est relativement bonne, on espère que le résultat sera correct avec une probabilité suffisamment haute.
Quand tu regardes l'implémentation, tu vois que mêmes les gens qui bossent dessus n'ont aucune confiance en la capacité de leur système à être correct, donc tout est question de répétition.
|
Mais c'est pareil pour la plupart des réponses humaines. Dans 99% des concersations, on sépare le vrai du faux par des tas d'assomptions et des jugements qui nous paraissent "raisonnables" non pas par des raisonnements absolument sans failles.
theShockWave a écrit :
Est-ce que notre modèle du fonctionnement du cerveau est complet ?
Est-ce que nos systèmes à base de neurones représentent l'intégralité de ce qui se passe dans le cerveau ?
Est-ce que les LLMs sont vraiment capable de générer une réponse sans aléatoire ?
Est-ce que du bruteforce sur une base d'heuristique à moitié hardcodée peut être appelé intuition ?
|
1. biologiquement, on sait parfaitement le décrire, et au niveau neuronal, on sait comment il fonctionne
2. non
3. oui, c'est un algorithme déterministe. Dans la première version publique de chatGPT, on pouvait jouer avec le paramètre "température" qui permet de faire varier le degré de variabilité des réponses. Malheureusement ils ont enlevé cette feature.
4. je ne comprends pas cette question. Ce n'est pas du brute force, et qu'est-ce qu'une "heuristique à moitié hardcodée" ?
Citation :
Je pense que ta dernière paranthèse est un élément clé, au passage, et qui est nié ou diminué par la vidéo de Monsieur Phi que je regardais : l'IA n'a pas, de manière "autonome", résolu le souci de maths, t'as systématiquement quelqu'un derrière qui pousse l'IA, qui donne des prompts (même si c'est via une forme d'automation) et qui prend ces résultats pour les vérifier ou les envoyer quelque part pour qu'un autre expert fasse une analyse et validation.
|
Argument plutôt faible, cf la vidéo ci-dessus.
|
