Reprise du message précédent :
Pourquoi tout le monde parle de Groq, l’accélérateur d’IA qui veut « tuer Nvidia » ?
https://www.numerama.com/tech/16334 [...] vidia.html
 
Passé le titre clickbait, il dépote bien ce moteur:
https://groq.com/

Les progrès de l'IA sont intéressants, elle est capable de "générer" toutes sortes de choses, mais quid de faire des choses à ma place ? De combiner la compréhension vocale de ce que je dis, et de pouvoir exécuter les actions, genre sur mon PC en utilisant divers logiciels et applications, accédant à mes fichiers de tout type, etc. ?
 

 
Je réponds un peu tard mais pour moi ça reste un pb technique, à 49% tu ne fais évidemment rien. à 99% c'est une autre histoire.
 
Ensuite il y a un contexte, si tu as mis en œuvre ton robot tueur il y a une raison à la base, tu l'as envoyé à Mohammed Merah par exemple. T'as juste besoin de voir s'il a les mains en l'air ou non...

 
Si c'est un otage qui tient une arme factice?
 
C'est pas un problème si simple que ça.

ChatGPT et les trucs génératifs sont capables de contresens énormes au milieu d'un truc relativement cohérent, et je pense pas qu'augmenter la taille des modèles fasse disparaître ce "problème technique". Il manque la couche logique qu'ont les humains pour effectuer des corrections sur le résultat de la couche "proba".

En effet, ChatGPT (et les autres LLMs) n'est rien d'autre qu'une grosse DB qu'on peut interroger en NLP. Il n'y a pas d'intention derrière, pas de réflexion ni de compréhension.

 
C'est un contresens de parler de contresens pour les LLM puisqu'ils ne comprennent pas le sens de ce qu'ils racontent, il ne peuvent donc pas non plus comprendre de travers. On parle d'hallucinations au sujet de ce type de problème.
 
D'ailleurs, a ce titre, le terme hallucination est aussi sujet à controverse :
 

 
src : https://en.wikipedia.org/wiki/Hallu [...] elligence)
 
Mouais, confabulation, c'est un terme de psychologie, je suis pas sur que ça soit mieux, mais bon ...

Alors que le terme "erreur" serait plus approprié
Mais ça a une connotation négative, pas très compatible avec les "power words" utilisés fréquemment en communication...
 
/modeRaleurOff

Bah, je sais pas. Une hallucination d'un LLM n'est pas forcément lié a une erreur dans le process de traitement de l'information. Le calcul est juste si tu préfère, mais ça reste un calcul statistique visant à générer du texte. Pour le LLM, la sortie est correcte. Mais comme nous on interprète le sens de ce que le modèle produit alors que lui non, ben nous on peut constater une erreur.

A partir du moment ou a bien compris que ce type de modèle ne comprend rien a ce qu'il raconte, il n'y a pas de souci. C'est un générateur de texte puissant mais pas parfait. Il faut juste ne pas leur faire confiance, c'est tout. Mais bon, de ce point de vue, ça change pas vraiment vis à vis du discours de mal d'humain. C'est juste qu'on part du principe qu'une machine ne peut pas se tromper. Effectivement, elle ne se trompe pas dans ses calculs de génération de texte, mais ça ne l'empêche aucunement de raconter n'importe quoi du point de vu du texte produit et ensuite interprété par quelqu'un capable d'en comprendre le sens.

LeCun explique ça très bien dans sa conf à 26:32  
 
https://youtu.be/7ilel2dZ_j8?si=ae3 [...] _sL&t=1586
 

 
Jusque là et encore un peu après, ça va. Ensuite vers la fin, mon intelligence vis a vis de ce qu'il raconte devient de plus en plus artificielle pour le coup

 
In fine ce qui nous intéresse en IA c'est bien notre perception du résultat en tant qu'humains, osef que du point de vue du LLM ça n'est pas un contresens.
Si un algo de reconnaissance d'image confond un balai à chiotte avec un AK47 on peut aussi dire que du point de vue de l'algo ça n'est pas vraiment une "erreur" vu qu'il a fait au mieux de ce que son entraînement lui permettait, mais bon on n'est pas plus avancé  

 
Ben non, c'est juste qu'on projette dans les LLM notre conception de l'intelligence, alors que ce ne sont que des générateur de texte parfaitement incapable de comprendre ce qu'ils racontent. Mais bon, c'est extrêmement difficile de lutter contre le fait que les gens croient que ces générateurs de texte sont intelligent même artificiellement parce que ce qu'ils lisent est intelligible.  
 
En pratique, c'est surtout nous qui hallucinons en voyant de la production de sens là ou il n'y a que de la production de texte intelligible.
 
Bref, In fine, un LLM n'est pas intelligent de toute façon. Et c'est pour ça que LeCun enterre le test de Turing dans sa conf. C'est définitivement pas un bon test pour savoir si une machine est intelligente. C'est juste une machine capable de produire l'illusion qu'elle l'est.

au final l'IA est comme nous, on est pas toujours capable de savoir si ce que l'on fait est efficace et va dans le sens de nos objectifs ou notre intérêt à long terme. Une partie plus ou moins grande de notre temps à l'échelle individuelle ou d'un groupe social peut être victime de cet effet.  
Est ce qu'un fumeur a plus de rationalité et de compréhension du monde que chatgpt ?

 
Heu non. Mais bon, c'est ce que je dis plus haut, c'est trés compliqué de faire passer le message que les LLM (je parle uniquement des LLM comme chatGPT) ne sont que des générateur de texte, il n'ont aucune idée de ce qu'ils racontent. Que les fumeurs aient des croyance et des biais cognitif en plus de souffrir d'addiction, et que tout ça ne soit pas très rationnel, ne s'applique absolument pas a un LLM. Un LLM est capable de dire que "fumer des cigarette est nuisible pour la santé", sans avoir la moindre idée de ce qu'est une cigarette, fumer, nuisible ou la santé. Il aligne juste des mots de façon statistique en fonction d'un apprentissage qui l'est tout autant (statistique).
 
ça donne l'illusion qu'il est intelligent, mais ce n'est qu'une illusion.  
 
Une assez bonne illusion visiblement.
 
Et puis si le Prix Turing 2018 et considéré comme un des pionnier de l'IA moderne dit que c'est de la m.... (auto regressive LLM suck !) dans un cours donné par un des meilleurs expert du sujet (Benoît Sagot https://pauillac.inria.fr/~sagot/ ) ce serait quand même assez rationnel de leur laisser le bénéfice du doute comme quoi ils seraient éventuellement possible qu'ils sachent un peu de quoi ils parlent.
 
Les LLM ne sont pas comme nous, ils ne sont pas intelligent. Ils ne sont même pas stupide comme nous non plus. Ils sont juste incapable de comprendre ce qu'ils racontent, par construction. Ils génèrent efficacement du texte intelligible sans avoir la moindre idée du sens de celui-ci.
 

 
Un LLM possède un certain niveau d'intelligence, de la même façon qu'alpha go, etc. Autrement on fout à la poubelle tout le domaine de l'IA car la "vraie intelligence" n'est de toute évidence pas pour demain et tous les algo jusqu'ici n'ont que l'apparence de l'intelligence  

Après si tu as des infos sur un test qui permettrait de déceler une "vraie intelligence" je suis preneur.

 
C'est un domaine de recherche a part entière, et il est constamment en évolution. Tu peux par exemple voir le test de Turing et tout ce qui en a découlé.
 
https://fr.wikipedia.org/wiki/Test_de_Turing

 
En AI ce qu'on considère comme intelligent est une AGI, les LLMs et AlphaGo n'en sont pas il n'y a pas de doutes la dessus. C'est un peut comme si tu disais qu'une calculatrice est intelligente car elle calcule mieux et plus vite que toi.
AGI: https://fr.wikipedia.org/wiki/Intel [...] %C3%A9rale

faire rire le robot

C'est une histoire d'induction vs déduction. Aujourd'hui aucune IA n'est intelligente car c'est inductif.

Surtout que le fait de considérer les LLM pour ce qu'ils sont, permet de les exploiter là ou ils sont vraiment efficace. Par exemple dans la traduction automatique, voire en temps réel. Lecun donne l'exemple de certains modèle capable de traduire automatiquement des langues sans avoir été entrainé spécifiquement dessus. C'est juste ouf. Mais pour faire, ils n'ont pas besoin de comprendre ce qu'ils racontent, et on leur demande pas non plus. Mais ils sont capable de produire une représentation interne, une modélisation de ces langues, qui est indépendante de celle-ci.
 
c'est à 10:15 dans sa conf
 
https://youtu.be/7ilel2dZ_j8?si=cxF [...] kmdB&t=617
 
C'est a dire que dans certain domaine, ben ils sont bien meilleur que nous. Je pense qu'on est pas vraiment capable de traduire des langues sans comprendre le sens de ce qui est dit. Enfin, je ne pense en tout cas. Un LLM oui. C'est une innovation géniale. Surtout si certain modèle sont capable de le faire en temps réel.  
 
On va bientôt pouvoir se fourrer des Babel fish dans les oreilles et pouvoir comprendre tout le monde sans avoir besoin de passer des années a apprendre une langue étrangère ! (bon, vu la tendance a halluciner des LLM, faudra quand même se méfier et toujours bien garder une serviette avec soi ).  
 
En attendant, visiblement, c'est au programme du prochain Samsung S24 qui embarque un LLM et prétend être capable de faire de la trad en temps réel, de SMS, d'appel téléphonique, etc ... Faudra voir ce que ça donne, mais c'est bientôt dans nos poches en tout cas.
 
https://www.samsung.com/latin_en/su [...] alaxy-s24/

Essai de Geminni (ex Google Bard) avec la question suivante:
Que signifie se palper la nouille?
 
Il commence à cracher un texte qui s'affiche 1/2 seconde puis....
 

 
La castration des réponses!!!  
 
Edit: la réponse capturée avant censure, par capture d'écran
 

 
J'en conclus donc que dans le processus, il y a une lecture de la réponse et censure de celle ci. (au moins deux étapes, analyse de la question -réponse-censure)

 
Moi, je suis pas censuré.  
 

 

 
 
   

 
En théorie c'est bien, mais en pratique moins bien .
 
J'ai utilisé Whisper https://github.com/openai/whisper pour me générer des sous-titres anglais pour du Japonais et du Russe et c'est pas mal, mais il se trompe souvent, surtout sur les blagues, expressions, les noms/prénoms etc. En plus il n'a pas de contexte, c'est fait par blocks de 30s donc une personne peut changer de nom d'une minute a l'autre. C'est mieux que rien, mais on est très loin d'un truc utilisable. Pour le texte c'est différent, on voit tous que ça marche pas mal depuis longtemps.  
 
Ce qui est dingue c'est de se dire qu'un modèle de 800MB permet géré plus de 50 langues!

 
Je parie que tu a envie de tester celui de prof LeCun
 
https://ai.meta.com/blog/seamless-m4t/
 
https://github.com/facebookresearch [...] munication
 

Tout a fait merci!

 
 
Non mais n'importe quel algorithme de prédiction fait des "calculs justes". Les Bayesiens vont te calculer des probabilites a posteriori, les algos d'arbres vont segmenter les données selon des critères bien définis. Chaque famille d'algorithmes ayant son biais... C'est pas le sujet.
 
Quand on les met face à la réalité (quelque chose de vrai et tu le sais), s'ils ne donnent pas la bonne réponse, ça s'appelle une erreur, ça se qualifie/quantifie, on peut faire des évaluations de performance,... bref.
 
Ben pour les algos generatifs à base de LLM, c'est pareil. Quand ils racontent n'importe quoi, ça s'appelle une erreur
Je veux bien admettre que l'évaluation de ce type d'algorithmes demandent de la réflexion selon les tâches (bien définies) qu'on leur demande... mais remplacer erreur par hallucination n'apporte rien. C'est de la com

 
Non. Je suis désolé. C'est une erreur d'un point de vue du sens de ce qui est dit. Mais comme la machine n'a aucune idée du sens de ce quel dit, elle ne commet pas vraiment d'erreur. A la limite tu pourrais parler d'erreur si elle sortait un mot qui n'existe pas.  
 
Tu comprend le concept ? même quand elle a "raison", elle ne comprend pas non plus ce qu'elle raconte. Le concept même d'erreur ne peux pas alors s'appliquer au sens de ce quelle raconte. Les spécialiste appelle ça des hallucination parce qu'il n'ont pas terme plus precis visiblement.  
 
un LLM ne raisonne pas. il ne peut donc pas faire d'erreur de raisonnement. C'est pas de la com, franchement, c'est le terme utilisé par tout les expert du domaine.
 
 

 
https://intelligence-artificielle.d [...] s-fiables/
 
En fait, l'erreur c'est de considérer qu'un LLM comprend ce qu'il raconte, que ce qu'il dit est le fruit d'un processus de reflexion, d'une cognition semblable a celle d'un humain, bref, d'un raisonnement.
 
C'est pas ce qu'il fait, il fait une prédiction de probabilité des mot suivant dans une phrase. Il fait des statistique. Il ne comprend rien a ce qu'il raconte.
 

Il y a un malentendu, toi tu parles du point de vue technique, nous on parle du point de vue d'une IA à qui on demande quand même, quelque-part, de ne pas sortir des énormités (si c'était pas le cas on se serait arrêté à GPT1 sans chercher à réduire les "erreurs"   )
Comment définis-tu "hallucination" ? Quand il sort 1+1=3 c'est une hallu et quand il sort 1+1=2 ça n'en est pas ? Pourtant il a suivi dans les deux cas le même protocole, ça prouve donc qu'intrinsèquement on définit l'hallucination exactement comme on définirait une erreur.

@rakame : pour t'en convaincre :

Survey of Hallucination in Natural Language Generation
https://arxiv.org/pdf/2202.03629.pdf

Où il est indiqué clairement que le terme hallucination est un type d'erreur (on a même droit à l'origine du terme en note de bas de page 3)

On a connu les erreurs type-I, type-II, y en plein d'autres, mais hallucinations ça claque

 
Oui, c'est plus clair défini comme dans ton doc et d'ailleurs dans la conclusion, je trouve qu'ils mettent le doigt sur un sens encore plus juste a mon avis :
 

 
Ce que je veux dire, ce qu'ils ne faut pas voir les "erreur" des LLM comme des erreurs de raisonnement ou des contresens. L'artefact, ça me va mieux, par ce que ça suggère une sorte de biais dans l'analyse statistique quelque part, soit dans les données, soit intrinsèquement dans le modéle, qui ressort en sortie comme le serait un parasite sur un signal.
 
@simius_computus Si un LLM sort 1+1=3, ça n'a rien a voir avec une erreur de calcul. un LLM ne fait pas le calcul de 1+1 il prédit juste 3 en fonction de l'analyse statistique en grande dimension d'un jeu de donnée d'entrainement, et si la statistique au bout prévoit 3 plutôt que 2, c'est pas une erreur de calcul de 1+1. Employer le terme erreur laisse penser que le LLM a fait le calcul et s'est trompé. Ce n'est pas le cas. Dire que c'est une hallucination est plus juste, mais je trouve qu'artefact est encore plus juste.

Dans l'absolu un ordinateur ne fait jamais d'erreur, à moins de prendre des rayons cosmiques qui changent l'état d'un bit. Si un programme ne produit pas le résultat qu'on attend de lui on appelle ça une erreur et on essaye de la corriger. C'est pas parce qu'en programmation classique il s'agit de changer l'algorithme et que dans un LLM il s'agit de changer les poids du réseau que c'est fondamentalement différent, au moins dans le language courant.

Je vois pas beaucoup de différence entre toi et un LLM, de notre point de vue t'es aussi un générateur de texte qui affirme qu'il a raison.

 
Oui, c'est pour ça que LeCun dit que le test de Turing ne vaut rien. Et tu a tout intérêt à vérifier que ce que je dis n'est pas une connerie. Mais il y a une différence fondamentale entre moi et un LLM : je ne sais pas produire du texte intelligible de façon statistique après avoir lu et analysé une partie d'internet.  
 
Bon par contre, je comprend à peu prés les mots que j'utilise et j'ai une idée assez précise de leur sens. Pas un LLM. Que l'on soit incapable de faire la différence entre ce que peut dire un LLM et ce que je peux dire moi (*), est effectivement un probléme. Les LLM sont particuliérement efficace pour générer du texte intelligible sans avoir la moindre idée du sens de ce qu'il produisent. Si la technique derrière nous semble mystérieuse, considérons qu'il s'agit d'un tour de prestidigitation, une illusion en fait, et qu'il y a un truc.
 
Maintenant, si on tient absolument à ne pas faire de différence entre une erreur de raisonnement d'un humain et une hallucination d'un LLM lié a un artefact statistique dans sa génération de texte, qu'est ce que tu veux que je te dise ? Juste la vérité : un LLM ne comprend absolument rien a ce qu'il raconte, alors que moi oui. Je fait des erreurs de raisonnement ou des erreurs factuelle, un LLM lui produit des artefact de génération automatique de texte.
 
L'idée d'utiliser un terme spécifique pour parler des hallucinations des LLM vis a vis de leur génération de texte, c'est pour éviter justement cette confusion et les déconvenue qui risque d'arriver en les utilisant a mauvais escient par des personne qui mettrons sur le même plan les capacité cognitive des humain avec les capacité de génération de texte des LLM.  
 
 
 
(*) en fait si y a un truc : un LLM est incapable de faire autant de fautes d'orthographe que moi

Bien sûr, tu as raison, mais le dev qui a son assistant LLM qui lui pond un code avec une erreur de 1 sur un indice de tableau, il voit bel et bien une erreur et pas une "hallucination"  
Bref perso je vais regarder ce qu'il y a comme propositions pour faire mieux que l'antique test de Turing...

 
Effectivement, c'est une erreur de programmation qui a été produite par une hallucination (ou je trouve préférable, un artefact) dans une génération automatique de texte par un LLM. Mais clairement, le LLM ne fait pas de programmation, il n'a aucune idée de ce qu'il produit en fait. Le fait de parler d'erreur de programmation et l'attribuer au LLM est problématique de mon point de vue.
 
Tiens d'ailleurs, Torvalds a parfaitement compris, enfin, a mon avis, l’intérêt de l'IA pour l'écriture de code informatique :
 

 
src : https://www.zdnet.com/article/linus [...] ts-future/
 
D'une certain façon, comme tu le dit, il considère que les bugs généré par l'IA ne sont pas si différent des bugs généré par des humains, tout en ayant parfaitement conscience de l’intérêt de l'IA pour repérer des bugs qui lui passe sous le nez, du fait de l'approche probabiliste du probléme par les LLM.  
 
Comme le LLM ne s'intéresse pas à la logique du programme, il ne peut pas faire d'erreur en cherchant à comprendre le code (contresens), mais juste repérer un pattern inhabituel dans le texte. Quand on a bien compris ce qu'est une hallucination pour un LLM et une erreur de programmation pour un humain, on peut très bien jouer sur la complémentarité entre l'homme et la machine pour écrire plus efficacement du code sans erreurs.  
 
De manière générale, l'humain peut faire focus et concentrer ses capacité cognitive sur le sens du texte généré, et laisser l'IA s'occuper de la partie purement rédactionnelle.

On pourrait essayer de faire prendre du LSD à l’IA afin qu’elle développe de l’hallucination.  
Sous forme de dopage des semi-conducteurs. Un peu de poudre de perlimpinpin pour modifier les propriétés de conductivité. Juste ce qu’il faut, pas de trop. Faudrait pas qu’elle se prenne pour HAL  
 
 

En fait c'est justement de la que vient le principe de la diffusion d'image avec DeepDream de Google:
 
https://en.wikipedia.org/wiki/DeepDream

Et on appellerait ça Jodorowsky's AI

Je ne cherche pas à défendre coûte que coûte les IA, mais je comprends bien la structure d'un LLM et, en grande partie, je suis d'accord avec toi. Cependant, je doute de l'affirmation selon laquelle les humains, contrairement aux machines, possèdent conscience et capacité de raisonnement. Ou au inversement, je doute du fait que ce soit le propre de l'homme, et je ne vois pas ce qui empêcherait les animaux et les IA d'être dotées des mêmes capacités.

A noter que pour moi, je considère les LLM au sens "agents", du genre AutoGen (Microsoft) ou AutoGPT. Je ne vois pas pourquoi on devrait se limiter à les juger sur un seul "jet" de génération de texte, on peut bien iterer quelques fois pour obtenir le résultat attendu.

Je reconnais que le processus de génération de texte d'un LLM est basé sur les statistiques, prédire le mot suivant en se basant sur les données. Mais en demandant à un LLM de raisonner 'étape par étape', on observe l'émergence de capacités qui semblent rationnelles. En admettant que les LLM ont actuellement des capacités extrêmement limitées par leur architecture et le fait qu'ils se cantonnent à quelques modalités comme le texte et l'image, la différence fondamentale avec nous n'est pas évidente. Nous, nous itérons rapidement sur plusieurs sens, aidés par notre expérience, nos réponses chimiques corporelles conditionnées par des situations, notre éducation et notre culture. Rien qu'on ne pourrait progressivement ajouter à un agent d'IA surtout après qu'on l'ait doté d'un corps de robot. Lorsque je décide d'ouvrir mon frigo pour prendre une bière, stimulé par la soif et parce que je sais (j'ai appris) que j'aime la bière, j'enchaîne des actions statistiquement valides pour atteindre mon objectif initial. Affirmer que "je comprends le mots que j'utilise" je ne sais pas ce que ça veut dire au fond. Mon cerveau est peut-être plein de vecteurs dans un espace multidimensionnels et je sais statistiquement associer des concepts à la notion de bien et de mal.

On est probablement encore loin de l'AGI, qui aura sans doute une architecture différente de la nôtre, mais je ne suis pas convaincu que le fondement soit radicalement différent. Et pour clarifier, je ne crois pas en dieu, ni en l'aspect unique de la conscience humaine.

Les animaux, ont une conscience. Certains animaux comme les baleines, dauphins sont dotés de systèmes cognitif qui se rapprochent e5 seraient peut-être plus avancés que ceux de l’humain. Ils sont différents du fait de leur environnement.  
Pour la machine, ça reste une machine. Nous avons conscience du danger. Exemple le feu ça brûle. On fait comment pour l’apprentissage du feu avec l’IA ? Ça peut souffrir une machine ?  
On sait pas expliquer le vivant, et on veut faire des machines vivantes. Perso, je crois en l’outil, mais jamais je ne pourrai croire que l’on puisse faire d’un outil quelque chose de conscient. On peut lui faire faire des automatismes, lui faire appliquer des algorithmes complexes, mais le doter de la potentialité de réfléchir, c’est comme vouloir faire apprécier un choux à la crème à un robot.  
No possible…

On souffre parce qu'on a un système nerveux qui nous signale qu'on met en danger notre corps. Mets un briquet sous le pied d'un paraplégique et il souffrira pas. Si un robot a un capteur de température et qu'il sait qu'il risque d'être détruit alors il aura appris que le feu ça brûle.

Et tous tes exemples sont anthropocentrés et consistent à énumérer des choses qui ont du sens pour les êtres humains et leurs sens (le chou à la crème ça plaît aux papilles), mais une machine aura peut-être des intérêts qui nous échappent complètement.

D'ailleurs certaines personnes ont émis l'hypothèse que le jour où on atteint l'AGI on sera peut-être vachement déçus parce que la machine n'aura rien à foutre de nous, elle s'intéressera à des trucs qui nous paraîtront incompréhensibles, et elle se barrera à l'autre bout de l'univers sans nous calculer.

On s’inspire du fonctionnement de nos neurones pour faire de l’IA. Mais on ne sait pas faire des neurones. Et on ne saura probablement jamais. On est à des années lumières de pouvoir comprendre comment fonctionne la conscience humaine.  
Et ont voudrait la remplacer !
On peut seulement la simuler avec des outils que nous sommes capables de créer. Ce que tu es en train de dire bien que non croyant, c’est transformer l’humain en une espèce de D.ieu.  
Ce que la nature a fait, il a fallu des milliards d’années. Je ne crache pas non plus sur l’IA, mais en dehors de son avancée qui certainement en étonnera plus d’un, elle ne pourra jamais remplacer un cerveau humain.  
Les sentiments c’est humain. Apprendre à une machine l’amour ?  
Bah, je comprendrai qu’elle se barre un jour