[blabla@olympe] Le topic du modo, dieu de la fibre et du monde

Sauf que ce n'est pas ce qu'il fait : il ne mémorise pas (ou pas que), il interpole en fonction de tout ce qu'il a vu, c'est très différent, et très proche de ce qu'on fait nous-même. Il n'utilise pas de raisonnement pour parvenir à sa conclusion, pour l'instant c'est comme s'il faisait des maths à l'instinct. Du coup c'est pas terrible. Mais ça n'empêche pas d'assimiler des règles plus ou moins proprement.

Prédire le degré de confiance dans une prédiction c'est une prédiction comme une autre. On ne teste rien quand on le fait, on se fonde sur nos expériences passées et on simule le futur comme on peut, en prenant en compte tout ce qui est contingent.

Encore une fois il y a sans doute des raisons techniques pour lesquels les modèles actuels sont très mauvais pour cette tâche en particulier, mais ça ne se résume pas à "il ne fait que prédire" ou "c'est juste des probabilités", parce que c'est typiquement le genre d'argument qui marchent très bien sur un ordinateur biologique.

Quant à la liste de trucs qui font que ça marche pas elle me semble juste ; dans mon domaine le seul truc qui fait que je suis pas au chômage pour l'instant c'est le coût, et je mettrais pas ma main à couper que ça va rester comme ça dix ans.

c'est différent de dire :

- 1 + 1 = ? : 2, parce que si j'ai une entité puis une autre entité alors j'ai 2 entités
- 1 + 1 = ?  : 2, parce que d'après toutes les données que j'ai vu, 2 est le réponse la plus couramment donnée après les tokens 1 + 1

y'a pas besoin d'âme, la question c'est que c'est différent de générer des tokens vs comprendre ce que signifient les tokens générés. Note qu'un ordinateur sait le faire, tu peux écrire un parseur qui va parser 1, espace, plus, espace, 1, espace, égal, et avec une grammaire, comprendre que tu fais 1+1 et effectivement faire ce calcul. Ça ne demande aucune âme.

Le net grouille d'exemples où les gens embrouillent le modèle avec des séries de prompt qui montrent que le truc a aucune idée de ce qu'il raconte.

au début on raisonne comme ça, mais on sait vérifier / altérer ce qu'on pense (on le fait pas toujours, mais on en est capable. C'est comme quand tu demandes en interview d'estimation si la personne trouve son résultat plausible).

Je suis un vieux con blasé, mais disons que ça fait 18 ans que je bosse, et c'est pas la première technology hype que je vois où tout le monde m'explique que je suis un con, et que ça va etre géniaaaaaaaaal, et que tous les problèmes sont solubles, etc...

- Mobile : nan mais tu vois ça va révolutionner l'informatique, plus personne n'aura d'ordinateur. On vendait ça fin 1990, ça a pris 10 ans pour que l'iPhone sorte, et ça a ensuite pris des années pour avoir un usage mobile qui dépasse l'usage desktop
- Geolocalisation : c'est super on pourra faire du on demand advertising, guider les gens dans les magasins avec les beacons, c'est le futur (Foursquare, anyone ?)
- RPI (robotic process automation) : l'IA est trop maligne, les gens sont cons, remplaçons les hordes de gens inutiles en offshore avec de l'IA, c'est trop bien (ça fait des années qu'on le pitch déjà (on me le vendrait chez Nestlé en 2017 déjà), ça a toujours pas pris, et je peux te citer une chiée de raisons pour ça)
- AR/VR
- Blockchain : c'est le futur des transactions, c'est LA source of truth pour la supply chain, etc...

Au final ces trucs sont soit morts, soit ont fini par trouver des usages de niche très loin du raz de marée annoncé, soit ça a mis 10-15 ans de plus à sortir

l'IA ça va avoir plein d'usage incroyable, et c'est un saut technologique majeur, mais c'est vraiment pas sec. Pour l'instant on a encore pas de use case où ça fait mieux que notre modèle "classique", parce qu'un modèle basique avec des millions d'exemples marche toujours mieux qu'un truc qui sait soit disant abstraire à partir de centaines d'exemples. Sachant qu'un etre reviewer humain est pour l'instant capable d'abstraire avec juste 5-10 exemples.
les capacités d'abstraction de ces modèles deviennent assez incroyable, mais ça reste "bof" par rapport à un humain lambda.
Et meme en envoyant toute la prod de nvidia on arrive meme pas à satisfaire les besoins de calculs, et chaque nouvelle generation de modele est un à deux ordre de magnitude plus lourd que la précédente, on est encore très très loin de la généralisation (et avant que qqn dise "oui mais le matos suivra", je soulignerais qu'on dit la meme chose du VR depuis des années)

Impressionnant

 
Les IA d'aujourd'hui ne sont pas bien différente du perceptron multicouche du début des 50s.
 
C'est donc un outil de classification mathématique qui s'auto-corrige (et donc apprend) par l'exemple. Ne croit pas que ce soit inutile, c'est tres utile. Mais c'est tres con.
 
Tout ce que tu vois dérives plus ou moins de ce modele. Par exemple les LSTM ne sont que des versions un peu différente de la représentation d'un neurone version perceptron.
 
Le sens critique & co, ca a été étudié depuis tres longtemps, les exemples d'essais et de tentatives de faire émerger une conscience ou au minimum un sens critique, ca ne manque pas, par exemple tu as les GANs qui sont une classe directement dérivée de ce genre d'essai:
https://www.tensorflow.org/tutorials/generative/dcgan
 
Dans lequel tu vas avoir une IA entrainée a créer et une autre entrainée a confirmer/infirmer la création.
 
Autant que je sache, on a toujours rien apres toutes ces années.
 
Et pour ce qui est des proba que donnent certaines IA: n'oublie pas que les probas sont basés sur ce que l'IA a appris et rien d'autres, ca n'est donc pas du sens critique ;)

Il me semble que le premier point est fumeux, on l'entend souvent (ou ses variations) mais ce que j'entends c'est surtout "c'est qu'un ordinateur avec des 1 et des 0 évidemment il ne peut pas penser il faut une âme pour ça".

C'est très réducteur vis à vis des modèles de language, et en creux c'est une vision romancée de notre façon de raisonner, qui est elle aussi purement inductive, fondée sur ce qu'on a vécu et ce qu'on pense qu'il va se passer. Après je pense qu'il y a manifestement effectivement une difficulté technique pour faire apprendre le doute aux modèles, mais je ne pense pas que ce soit intrinséquement insurmontable.

C'est un poil plus compliqué
Il y a , au coeur de tout ça, des mécanismes de renforcement (retropropagation) qui vont modifier les indices de confiance
https://fr.m.wikipedia.org/wiki/R%C [...] u_gradient
C'est aussi cette mécanique qui fait la force des réseaux de neurones, donc pas possible de faire sans

(edit , mes souvenirs de ca ont 20 ans, donc peut etre inexacts)

oui donc du coup tant qu'on reste dans ce genre de modèle ça n'ira pas très loin. Il sera peut-être de plus en plus fiable et précis sur les réponses mais il se plantera toujours de temps en temps quand même avec assurance. Et donc ça ne sera jamais utile car on ne saura jamais si'il bluffe ou s'il est certain de la réponse.
 
J'imagine que les alternative aux LLM ont l'air pour le moment plus mauvaises car cela doit utiliser plus de ressources d'avoir "une reflexion avec une vue d'ensemble". Donc ces modèles ne peuvent utiliser qu'un dataset beaucoup plus petit qu'un LLM qui "recrache par coeur comme un con"

 
Oué mais j'imagine que ya déjà un seuillage avec les proba trop basses qui sont rejetées pour éviter de sortir des énormes conneries, et donc ce qui reste = ce qui est "sûr"

pas mal de réseaux vont te donner des poids de "probabilité" pour chaque sorties possibles. Pour un OCR par exemple il va sortir qu'elle est ce qu'il pense être la probabilité que ce soit telle lettre ou telle autre.
 
après pour un LLM c'est surement très different comme fonctionnement

Ça marche par calcul de probabilité récursif : le model prédit un token d’après le prompt, puis recalcule avec prompt +1 token, puis recalcule avec prompt +2 tokens, etc…
C’est de la proba pure, le modèle ne comprend pas ce qu’il fait, il te donne juste ce qui lui paraît le plus probable d’après ce qu’il a appris.
 
C’est un peu comme quelqu’un qui a appris des cours par cœur : en recrachant pur ça peut sembler impressionnant, mais tu changes légèrement l’énoncé y’a plus personne, parce qu’il n’y a pas de compréhension intrinsèque.
 

 
Mon équipe a accès aux versions internes de ce truc, on le teste depuis des mois. Je peux t’assurer que je crains pas pour mon job.
 
Tu sors un prompt fine tuné aux petits oignons, tu expliques la policy, tu donnes une image d’un gamin qui pose à côté d’un fusil, tu demandes : est-ce qu’il y a une arme sur cette image ? (Oui, ok c’est juste, whaaaa je suis bluffé, on a même pas eu besoin d’expliquer au modèle le concept d’arme).
Tu demandes ensuite : est-ce qu’il y a un couteau ? (Oui, et la c’est le drame, c’est la même image, aucun couteau en vue, position fœtale, perte de foi dans les LM, mais réjouissance secrète de de dire « oui OK ce truc est con comme une poutre, ça va pas prendre mon job tout de suite)

 
Car il est très sûr de la merde qu'il sort :D il ne doute pas.

 
Mes démos quand je fais du cherr- ouais non je vais pas parler de mes démos :D

Quand bien même, vu la santé financière de la boite je me fais pas de souci, j'ai la sécurité de l'emploi comme si j'étais fonctionnaire. C'est une grand famille, on prend soin les uns des autres.

Heureusement que google ne fait pas de stack ranking  [:cosmoschtroumpf]

j'y connais pas grand chose en IA. Pourquoi c'est pas si simple que ça à résoudre ? pourquoi le réseau de neurone n'arrive pas à savoir s'il est sûr ou pas trop du résultat qu'il donne ?

 
Ouais enfin moi mes démos quand je fais du cherry picking ça consiste à faire oh regardez je clique sur le bouton "acheter" tout seul c'est magique ou alors ahah c'est la photo de Barack Obama; il a 62 ans, tu le savais pas hein ?

 
wow

Notion
 
C’est pas mal
 

 
Non :o
 
C’est impressionnant, mêmes réserves que ChatGPT4 : c’est incroyable jusqu’à ce que ça se vautre sur un truc hyper évident, avec une confiance en soi à toute épreuve

Obsidian ici aussi

 
Personne ne ferait de cherry-picking pour une vidéo promotionnelle enfin.

C'est bon tu peux partir en congés maintenant ? :D

Si c'est représentatif de la majorité des interactions avec, c'est super impressionnant !

+1 pour Obsidian en self-host.

[:apges:5]  J.A.R.V.I.S. de Iron Man arrive :D

Notion pour le perso. Marche très bien. La version gratuite est déjà bien large niveau taille.
Obsidian est pas mal quand on veut gérer son propre stockage (cloud et/ou local possibles) et est plus geek/personnalisable

 
https://www.notion.so/web-clipper
ou https://chromewebstore.google.com/d [...] ccmm?hl=en

100€ par an pour prendre quelques notes, merci mais non merci, adios [:di_canio]

Vous utilisez quoi ?

J'aime bien la possibilité de pouvoir ajouter le contenu d'une page en tant que note (pour les recettes), à part ça je ne m'en sers quasiment qu'au format textuel (une image de temps en temps).

par contre j'suis dégoûté pour une fois j'avais vu le piège et fait la version analytique sans même lancer mon dumb algo du step 1, alors qu'en fait