Reprise du message précédent :
et Lecun est comme tout le monde, il a besoin de sous

Il a déjà pris un petit milliard. Ca doit pas être assez
 

C'est une question de philosophie. J'ai posté ici la conf de Stephane Mallat qui porte sur cette question, mais ça n'a suscité aucune réaction ici. Bon après, je m'en doutais un peu, pour être franc. Du coup, j'ai essayé ailleurs, avec un peu plus de succès. (Si ça intéresse du monde quand même ...)
 
https://linuxfr.org/users/olivedepa [...] ane-mallat

Sur Le Cun, je suis d'accord avec Gilga, je trouve son approche pertinente. Ce n'est pas une question de savoir si les modèles actuel sont réellement intelligent, vu qu'on ne sait pas vraiment clairement que ce que ça veut dire d'être réellement intelligent. De ma façon assez simpliste de voir les choses, les LLM utilisent un réservoir de connaissance déjà établies en se focalisant sur le traitement de la langue. Sauf que le cerveau humain ne fait pas que ça. L'idée de Le Cun, c'est de concevoir des modèles capable de traiter d'autre types d'informations, en particulier, celles directement issues du monde physique, en s'inspirant (sans chercher à le copier) du fonctionnement du cerveau.

cf la conf déjà posté ici  : https://www.youtube.com/watch?v=7ilel2dZ_j8

Alors certes, il est quelque fois un peu dans la provoc, mais c'est pas pour attirer des financements, (clairement, c'est pas le problème actuellement dans la recherche en IA), c'est surtout pour attirer d'autres chercheurs qui partagent son point de vue. Et c'est pour cela qu'il a quitté Meta avant tout. Il fait de la recherche, et ça consiste a explorer des pistes, là ou personne n'est encore allé, c'est risqué, il y a une part d'intuition, il peut se planter, mais c'est comme ça qu'on avance, pas en suivant le troupeau.

Lui faire un procès d'intention est ridicule. (je ne dis pas ça pour toi spécialement, hein)

Le mieux a faire, c'est encore de laisser son labo explorer leur pistes, on verra bien ce que ça donne. (et laisser les trolls d'X troller entre eux, parce qu'on a pas que ça a foutre non plus).

Oui je ne sais plus où j'ai lu/écouté un entretien avec Yann LeCun il y a plusieurs mois mais il insistait bien sur tout cela.

Donc on va en revenir à exactement ce que la SF imagine et décrit depuis 50ans au moins : c'est via un robot autonome qui fait l'expérience du monde et du réel qu'une IA progressera vraiment.
 
Vivement Ex Machina en vrai

Je n'ai pas réagi quand tu l'as posté, mais merci pour le lien, c'était hyper intéressant
Les ondelettes la  

Idem, je la ressors à ceux qui me disent « gnagnagna un llm ça fait que dire le mot le plus probable »
Et il donne la meilleure analogie sur les hallucinations : «vous avez déjà vu un étudiant passer un oral qu’il a pas préparé ? »

L’élève qui invente le sait qu’il n’en a aucune idée et qu’au pire il pourrait avoir un demi point si il bluffe bien. Le LLM n’en à aucune idée et ne fait pas exprès d’halluciner : il fait avec le dataset d’entraînement qu’il a eu avec ses lacunes (qu’il ignore) et ses biais (pareil)

 
Ce qu'on appelle hallucination, c'est plus l'élève qui croit savoir mais dit une saucisse plutôt que l'élève qui invente volontairement.
 
Et si on pousse le truc, on arrive aussi à la situation où l'élève qui ne sait pas, ne sait pas qu'il ne sait pas mais sort quand même la bonne réponse parce que coup de bol ou suite à un faux raisonnement. Et derrière on peut poser la question, est-ce que l'élève ne savait vraiment pas ne savait vraiment pas ou bien est-ce que son intuition a été pilotée par ce qu'il avait lu ou bien de prime abord mal compris mais incurgité tout de même. En vrai on ne sait pas vraiment comment nos cerveaux "apprennent", c'est un peu prétentieux de tirer des parallèles ou pas avec ce que font des LLMs

https://www.radiofrance.fr/francecu [...] it-6419511
 

 
Merci, un peu de lecture intéressante en perspective.
Et du code: https://github.com/lucas-maes/le-wm

 
Fyp
Le reste c'est le sujet de la conf
 

 
C'est du Socrate ?    

 
Pas faux
 

 
C'est le pire, ne pas savoir qu'on ne sait pas

Lol, siouplé les américains, maintenant qu'on est en retard, défendez-nous (et prenez notre argent)
 

https://www.bloomberg.com/news/arti [...] e-defenses

Faut que mistral rachète Anthropic. Oh wait

C'est une mauvaise approche.
Avoir accès à Mythos ne t'aidera pas à te protéger contre des attaques cyber.

Ben si.
 

https://blog.mozilla.org/en/privacy [...] abilities/

Je n'ai pas accès à l'article complet, mais se protéger de "digital attacks", ce n'est pas découvrir des vulnérabilités via un audit de code source. C'est intéressant si on est éditeur logiciel si c'est le produit qu'on vend/publie.

La problématique des entreprises c'est plutôt de savoir comment gérer l'augmentation du nombre de vulnérabilités découvertes dans les logiciels qu'elles utilisent, et Mythos n'est pas une solution à ça.

Par ailleurs, Mythos n'apporte pas grand chose sur la découverte de vulnérabilités, il y avait déjà des programmes de bug bounty, déjà des approches via IA depuis l'avènement des LLMs (c.f. l'augmentation du nombre de CVE ces dernières années) avec des résultats meilleurs pour beaucoup moins cher (c.f. https://aisle.com/blog/ai-cybersecu [...] d-frontier par exemple).

 
Article super intéressant, un truc me chiffonne :
 

 
Est-ce que l'on sait comment les happy fews utilisent Mythos ? J'ai du mal à imaginer que ce soit uniquement via API.

Les bugs de LLM c'est assez rigolo : https://openai.com/index/where-the-goblins-came-from/  

Vous avez vu The AI Doc ?
 
https://en.wikipedia.org/wiki/The_A [...] aloptimist
 
Intéressant !

 
Je le mate, ça à l'air pas mal oui  

 
Aujourd’hui, on a des IA qui passent sans problème le test de Turing, qui dépassent largement l’intelligence de la plupart des humains dans un grand nombre de domaines, et pourtant, il me semble assez évident que cette intelligence ne repose pas sur une conscience phénoménale.
 
À mon sens, les réseaux de neurones artificiels court-circuitent le processus de production du raisonnement en manipulant directement des signifiants de haut niveau (des textes, des images annotées), c’est-à-dire liés à des signifiés conceptuels. Tandis que le processus biologique édifie tout son réseau de neurones en manipulant des potentiels d’action produits par le corps, liés à des signifiés physiques (chaleur, pression, lumière, molécules chimiques, etc.), qui, par étagement et intégration successifs, permettent ultimement de produire des concepts.
 
Mais quand le cerveau produit des concepts, il produit déjà une conscience phénoménale par le va-et-vient permanent de signaux qui émanent ou qui se dirigent vers le reste du corps (sous forme nerveuse, hormonale, etc.). Je ne pense pas qu’on puisse produire une conscience phénoménale sans cela : un circuit de neurones qui se développe en interaction étroite avec un corps en croissance, traitant des signaux physiques.

faut pas oublier la chimie (hormones et tous les nutriments), les mécanismes d'entretien / clean up (repos, oublis, réparation après des dégats) et des envies ancrées (vivre, reproduire ...). Un LLM c'est mignon en comparaison même si il sait être persuasif

ancrées, bordel  

Mais sinon, je suis d'accord

Merci
 
 je dors trois à 5 heures par jour depuis plusieurs semaines. le process de clean up est pas du tout à jour

Une question qu'elle est bonne
https://www.youtube.com/watch?v=gXsVlS3gBOQ

Cela expliquerait assez bien pourquoi ils sont assez doué pour produire du code informatique tout en expliquant assez bien certaines formes de déconnexions de la réalité physique des humains spécialisés dans la production de code informatique.  

woah purée je découvre qu'il y a une  app windows gemini  c'est juste google search    

pas très artificiel
 
 
 
I Tracked Down the Hidden Workers Secretly Powering ChatGPT
 

These workers are training AI to take their own jobs.There’s a hidden workforce powering the rise of ChatGPT, and nearly 1 in 5 of them have fallen into home...

 
Je ne sais pas. Je n'ai pas de conviction forte sur le sujet, surtout en l'absence de définitions rigoureuses. La conscience est un sujet encore plus difficile que celui de l'intelligence, qui est lui-même plus difficile que celui de la pensée. Par exemple il est assez communément admis chez les chercheurs / philosophes / psychologues / médecins sérieux (Julian Jaynes, Antonio Damasio, Gerald Edelman, ...) que nous avons au moins deux consciences : une conscience primaire qui traite de tout ce qui est lié au corps, et une autre plus évoluée, plus tardive, ayant rapport avec toutes les capacités cognitives de haut niveau. Les mammifères sont tous pourvus de cette forme de conscience primaire et pour certains ont au moins aussi une forme de conscience secondaire. Pour ma part je considère que la pensée est un sens. C'est une perception, interne comme externe. C'est avant tout une capacité de représentation des représentations produites par les autres sens en fait (pas que les 5, mais aussi internes comme les émotions). Donc les animaux pensent, et ils ont une conscience. Sur ce point j'ai une conviction forte. Les livres les plus intéressants sur le sujet de la conscience que j'ai lus sont ceux d'Edelman, qui a aussi fondé un institut de recherche en intelligence artificielle. Il avait créé une théorie très innovante basée sur la réentrance massive, le darwinisme neuronal et un système de cartes neuronales (aujourd'hui on dirait des réseaux). Et c'est pile dans ton optique (la conscience comme émergence dynamique de l'interaction du corps avec son environnement)

Il y a plusieurs sujets qui me gênent en fait avec l'embodiment comme meilleur chemin ou chemin exclusif vers l'intelligence et la conscience.
 
Déjà on n'a pas de définition claire de ce que sont l'intelligence et la conscience. Par là j'entends en tant que phénomènes physiques. On sait définir un photon, un électron, un atome, une molécule, une protéine, une cellule, un organe, un animal, ..., en tant que phénomènes physiques. Au moins les décrire. Décrire et définir ce qu'est de la matière intelligente, c'est difficile. Si on avait cette définition, on pourrait déterminer si on peut raisonnablement considérer qu'un tas de matière tel qu'un ordinateur faisant tourner un LLM est intelligent. Ca réglerait la question de savoir si on peut y parvenir ainsi. En l'absence de cette définition "dure", on parle un peu dans le vent.
 
Ensuite vu que c'est donc plutôt un débat philosophique il y a souvent l'idée que la seule intelligence qui puisse servir de référence et d'étalon-mètre, c'est l'intelligence humaine, dans la totalité de ses capacités. Mon intuition est que beaucoup de personnes ont peur des IA et qu'elles cherchent à se rassurer plus qu'à explorer et comprendre. D'où la tentation d'utiliser des biais dans un contexte qui favorise le manque de rigueur. Et beaucoup de ceux dans cette situation défendent l'embodiment, ou du moins dénient toute forme d'intelligence aux LLMs. Souvent il s'agit de variations autour de la nature statistique et artificielle des LLMs. Souvent ils invoquent les positions et travaux de LeCun dans la foulée.
 
Dans la même veine, je cite Gaspard Koening qui écrivait ceci récemment:

L'homme moyen n'a à peu près aucune singularité. Ce qui fait de nous un individu différent de la moyenne est infinitésimal. L'individualité est pour l'essentiel une illusion d'optique. L'argument pourrait paraître fallacieux mais il revient souvent : pour penser il faut un sujet (pensant), un individu, ce qui n'existe donc pas. Comme disait Lénine, les statistiques sont têtues
 
Pour finir, je ne doute pas que chez l'homme également l'intelligence repose massivement sur des traitements statistiques et dont les fonctions émergent. Avec 100 milliards de neurones et 10 000 synapses par neurone, ce serait franchement bizarre de vouloir prétendre le contraire. Partant de là, je ne vois pas comment on peut complètement exclure la création d'intelligences en utilisant des traitements statistiques pour faire émerger des fonctions cognitives.

 
J'ai réfléchi ce matin à nouveau à la construction d'une définition de ce qu'est l'intelligence, si on voulait faire un bottom-up radical en partant de la physique.
 
Une information est ce qui peut être distingué au travers d'une interaction physique. On peut peut-être définir ce qui ne peut pas être distingué comme comme une propriété, mais en tout cas pas comme une information. On peut dire en synthèse que l'information est ce qui est communicable (transmissible), à un niveau physique. Je préfère le mot distingué à celui de mesuré qui tire beaucoup trop de sujets.
 
Une abstraction est une structure informationnelle, produite de manière stable et invariante à partir d'une ou plusieurs classes d'informations physiquement distinctes. Il s'agit du résultat d'une compression informationnelle avec perte. Une abstraction préserve des invariants informationnels et supprime des distinctions informationnelles. De manière synthétique: une abstraction est le résultat d'une réduction informationnelle.
 
Un abstracteur est une structure physique qui produit des abstractions. Tout système physique capable de discriminer certaines différences interactionnelles, d’en sélectionner certaines et d’en éliminer d’autres, afin de faire émerger des invariants et produire une nouvelle structure informationnelle stable est un abstracteur. Un abstracteur est donc un filtre physique qui compresse l'information en préservant des invariants.
 
Un neurone est un abstracteur. La membrane d'une cellule également (elle crée la signalisation au travers de ses interactions). Mais de manière plus fondamentale, de nombreux minéraux. Un cristal piézoélectrique est évidemment un abstracteur par exemple. Ca ne veut pas dire que toute réaction chimique produit des abstractions non plus. En tout cas, à un niveau physique, les abstractions sont antérieures à la cognition, et même antérieures à la vie. Les abstractions sont une condition à la vie.
 
De manière un peu synthétique, voilà où j'en suis. Ce qui est bien, c'est qu'il me reste encore un peu de chemin à parcourir pour arriver à la conscience , mais on peut déjà constater, si on considère le corps comme une espèce de mécanique informationnelle, que la quantité d'information traitée est incommensurable et dépasse de très loin le simple cas des neurones et du système nerveux. Pour faire le lien avec l'embodiment, la question serait de savoir dans quelle mesure l'ensemble contribue aux fonctions cognitives.
 
(désolé pour le spam)

Bon, j'ai continué à y réfléchir hier dans le potager en m'occupant des tomates. C'est sûrement parce que j'y connais pas grand-chose mais je trouve ça étonnamment opératoire comme définitions. Ca suffit pour décrire des fonctions cognitives élémentaires comme la perception ou la reconnaissance de patterns (de forme, de son, ...). Rapidement on arrive à la conclusion que l'intelligence n'est pas tant la production dynamique d'abstractions que d'abstracteurs. Ca permet de considérer les fonctions cognitives de manière unifiée, en quelque sorte comme le déploiement continu de fonctions et de dimensions associées. Dans la mesure où les LLMs n'ont que le contexte pour espace dynamique / adaptatif, ça explique bien aussi pourquoi leur créativité est très limitée (il est difficile pour eux de créer des abstracteurs), et encore plus si on considère que toute abstraction est une compression avec perte. Ca permet de mesurer toute la puissance du neurone avec ses synapses : le fait qu'un abstracteur puisse développer des entrées vers quantité d'autres abstracteurs lui permet de réacquérir les informations perdues au fur et à mesure si besoin, afin de les réintégrer. Je commence à me dire que la production d'abstracteurs dynamiques récursifs et circulaires (qui peuvent s'influencer entre eux) est ce qui caractérise profondément la mécanique élémentaire de l'intelligence et permettrait peut-être sa mesure objective, en tout cas plus objective que le simple résultat.  
 
Partant de là, et de ce que j'en ai compris, LeCun va avoir les mêmes problèmes que les LLMs avec ses world models. Il va peut-être arriver à faire émerger des fonctions cognitives, mais pas une réelle intelligence capable de s'adapter et d'évoluer, c'est-à-dire capable de créer de nouvelles dimensions d'abstraction.
 
(cette fois-ci j'arrête pour de bon )