| theShockWave |
el muchacho a écrit :
Comme le rappelle MonsieurPhi ici (je me quote)
il n'y a pas eu de changement d'algorithme majeur entre GPT-1 et GPT-2 (et même GPT-3, d'après chatGPT), uniquement un décuplement du nombre de paramètres (donc de neurones).
Et oui, je vais faire de l'anthropomorphisme inversé, en remarquant que le langage apparaît avec le développement du cerveau du nourrisson.
A cette remarque, voici ce que me répond chatGPT:
A la première différence, j'objecte qu'il existe maintenant des modèles génératifs de vidéos comme Seedance qui sont capables de créer des scénettes tout à fait réalistes, avec des "acteurs" qui affichent des "émotions crédibles".
Je te passe le gros de la réponse, mais la suite de la conversation est intéressante:
A ce prompt, curieusement, GPT me donne deux réponses simultanées et me demande laquelle je préfère (pour son apprentissage).
Le début est quasi identique, et ensuite ça diverge:
Réponse 1
Réponse 2
Citation :
Bref, ton point, c'est : si je ne peux pas distinguer l'artifice du réel, est-ce que la différence importe. Le souci, c'est que la question, c'est : est-ce qu'on converge vraiment vers une incapacité à faire cette distinction en accroissant le nombre de paramètres ou pas, et clairement (cf mes liens plus haut), une bonne partie des "améliorations" de Claude, c'est pas juste par un accroissement de paramètres, c'est par du sparadrap et des clous où tu utilises Claude pour vérifier ce que Claude dit, et tu lui demandes de tourner sa langue 7 fois dans sa bouche (ou tenter d'uploader une image 7 fois à un autre serveur pour que la prochaine instance ait une probabilité plus haute de la recevoir), et en répétant des couches de trucs dont la probabilité est relativement bonne, on espère que le résultat sera correct avec une probabilité suffisamment haute.
Quand tu regardes l'implémentation, tu vois que mêmes les gens qui bossent dessus n'ont aucune confiance en la capacité de leur système à être correct, donc tout est question de répétition.
|
Mais c'est pareil pour la plupart des réponses humaines. Dans 99% des concersations, on sépare le vrai du faux par des tas d'assomptions et des jugements qui nous paraissent "raisonnables" non pas par des raisonnements absolument sans failles.
1. biologiquement, on sait parfaitement le décrire, et au niveau neuronal, on sait comment il fonctionne
2. non
3. oui, c'est un algorithme déterministe. Dans la première version publique de chatGPT, on pouvait jouer avec le paramètre "température" qui permet de faire varier le degré de variabilité des réponses. Malheureusement ils ont enlevé cette feature.
4. je ne comprends pas cette question. Ce n'est pas du brute force, et qu'est-ce qu'une "heuristique à moitié hardcodée" ?
Citation :
Je pense que ta dernière paranthèse est un élément clé, au passage, et qui est nié ou diminué par la vidéo de Monsieur Phi que je regardais : l'IA n'a pas, de manière "autonome", résolu le souci de maths, t'as systématiquement quelqu'un derrière qui pousse l'IA, qui donne des prompts (même si c'est via une forme d'automation) et qui prend ces résultats pour les vérifier ou les envoyer quelque part pour qu'un autre expert fasse une analyse et validation.
|
Argument plutôt faible, cf la vidéo ci-dessus.
|
Faut arrêter les slop grenades [:pingouino]
Je t'encourage à vérifier ce que GPT a généré avant de me demander de lire ca et de faire le travail à ta place.
Quand on met à la charge de l'autre de vérifier ca pour nous, on est les pieds dans le plat dans la loi de Brandolini : c'est super simple pour toi de générer un prompt, mais ca prend un temps fou de sourcer les démonstrations d'où ce truc est planté. (Un indice chez vous, il y a des erreurs, et je vais pas perdre mon temps avec)
Pour ton histoire de température, même si tu seed l'aléatoire ou que tu fournis une valeur fixe, tu dois toujours fournir une source, et même dans ces cas "simples", t'as un choix arbitraire à faire. Ce ne sera pas un output "pur" du réseau de neurone comme tu as l'air de le croire.
SekYo a écrit :
Je bosse pas chez Anthropic ou OpenAI, donc je ne sais pas exactement a quoi sont du les améliorations qu'on a pu voir depuis 2-3 ans. Je suppose que y a un mix d'un peu tout: les modèles sont bien plus gros, ils sont mieux fine tuned, les "harness" aussi les utilisent mieux... Et oui sans doute on utilise des "astuces" comme demander a Claude de revoir le plan dudit Claude avant.
Mais encore une fois, en quoi c'est important ? Si ton point est de dire que la techno actuelle basée sur les LLM est une voie sans issue qui ne permettra pas d'atteindre l'AGI, peut être (LeCun semble d'accord avec toi d'ailleurs au vu de sa nouvelle boite). Mais Claude Code a pas besoin d’être une AGI pour être relativement efficace sur des taches informatiques plus ou moins complexes.
|
Si tu veux projeter avec un peu plus de confiance que le marketing ce vers quoi une tech va, ca va être difficile sans regarder en dessous. [:jagstang]
Ca va influencer la manière dont tu construits tes workflows : tu feras pas la même approche si tu sais qu'un truc n'offrira jamais ce qu'il promet versus si tu crois qu'on est juste à quelques mois d'une percée qui va permettre d'enfin atteindre la promesse.
Pour l'instant, tout ce que je vois (y compris par mes collègues enthousiastes) sur la génération de code par IA, c'est complètement insuffisant (le langage avec lequel on bosse, c'est C++, et ca semble pas être le meilleur langage pour que les IA sortent beaucoup de trucs utiles)
|
