| el muchacho |
sligor a écrit :
les humains sont sensibles au prompt sur des domaines où ils ne sont pas experts.
En fait on en revient à la qualité et quantité du jeux d'entrainement.
|
Jubijub a écrit :
c'est différent de dire : - 1 + 1 = ? : 2, parce que si j'ai une entité puis une autre entité alors j'ai 2 entités
- 1 + 1 = ? : 2, parce que d'après toutes les données que j'ai vu, 2 est le réponse la plus couramment donnée après les tokens 1 + 1 y'a pas besoin d'âme, la question c'est que c'est différent de générer des tokens vs comprendre ce que signifient les tokens générés. Note qu'un ordinateur sait le faire, tu peux écrire un parseur qui va parser 1, espace, plus, espace, 1, espace, égal, et avec une grammaire, comprendre que tu fais 1+1 et effectivement faire ce calcul. Ça ne demande aucune âme. Le net grouille d'exemples où les gens embrouillent le modèle avec des séries de prompt qui montrent que le truc a aucune idée de ce qu'il raconte.
|
Je vous invite à lire mon post sur le sujet.
Je crois que c'est ce que fait Q* d'OpenAI et c'est, selon ce que certains disent, la raison pour laquelle Sam Altman aurait été viré.
hephaestos a écrit :
Sauf que ce n'est pas ce qu'il fait : il ne mémorise pas (ou pas que), il interpole en fonction de tout ce qu'il a vu, c'est très différent, et très proche de ce qu'on fait nous-même. Il n'utilise pas de raisonnement pour parvenir à sa conclusion, pour l'instant c'est comme s'il faisait des maths à l'instinct. Du coup c'est pas terrible. Mais ça n'empêche pas d'assimiler des règles plus ou moins proprement.
|
Non, pas tout à fait. C'est effectivement ce que fait une AI, mais nous, on a inventé le raisonnement logique. Une IA est peut-être capable de conceptualiser la notion de gravitation à partir de la chute de la pomme, mais elle ne saura jamais déduire les lois de Newton et encore moins écrire les Principia Mathematicae car ça n'est plus de l'analogie ou de la mémorisation, mais des suites logiques très complexes et profondes.
Certes, avant d'arriver aux mathématiques modernes, on a vécu des millénaires sans savoir compter, donc l'humanité a mis très très longtemps avant d'arriver même au niveau d'une IA actuelle. Mais même avant Archimède, il est probable qu'on savait à peu près tenir un raisonnement qui se tient, sur des concepts peu abstraits. Exemple:
a - avec un apprentissage profond, une IA "apprend" que les jours se suivent ainsi samedi -> dimanche -> lundi. Qu'est-ce que ça veut dire ? Qu'elle a vu dans 99,97% de ses jeux de données que c'est ainsi que ce suivent les jours. Donc si on lui demande quel est le lendemain du dimanche, elle répond que c'est le lundi. Mais il existe un prompt super moisi où l'algo de descente tombera sur un minimum local : LE cas où elle a lu et mémorisé que le lendemain du dimanche est un mardi (à cause d'une typo, ou alors elle confond avec les jours ouvrés, que sais-je). b - elle "apprend" de même que les jours se suivent ainsi samedi -> dimanche -> lundi.
Mais cette fois-ci, au lieu de se baser entièrement sur le jeu de données, elles effectue des raisonnements internes sur ses données pour consolider cette notion de succession des jours et passer de 99,97% à 99,9999%, soit 2 ordres de grandeur plus sûrs, et ce avec le même jeu de données au départ. Par la suite, lors du prompt, elle est aussi capable d'appliquer un raisonnement, à savoir qu'elle ne répond plus seulement via une probabilité sur ses données consolidées, mais aussi et surtout elle applique un raisonnement: SI on te dit que c'est le week-end, ALORS le lendemain est soit un dimanche, soit un lundi. Mais SI dans le prompt, on change la définition du week-end et qu'on décide que c'est le mercredi et le jeudi, ALORS un moteur logique te répondra que le lendemain est soit un jeudi, soit un vendredi. Et ça, un LLM est incapable de le faire, alors que pour nous, c'est immédiat.
|
