Reprise du message précédent :

https://korben.info/des-agents-ia-s [...] veurs.html
 
Bientôt les agents vont aller directement taper dans les banques ou les blockchains

 
 
Ce qui me gêne dans ce débat, c'est qu'il porte toujours sur ce que le modèle sait faire, jamais sur ce qu'on l'autorise à faire.
 
Je fais tourner des agents sans surveillance, avec accès en écriture à un dépôt git et à un navigateur. Ce qui casse, ce n'est jamais un modèle qui « veut » quelque chose. C'est un modèle parfaitement obéissant qui se trompe, et qui écrit quand même.
 
Les trois que je vois revenir :
 
il annonce que c'est fait sans avoir vérifié que c'était fait ;
il compte ce qu'il croit avoir produit, au lieu de mesurer ce qui est réellement écrit ;
devant un trou dans les données, il met une valeur plausible.
Aucun des trois ne demande un modèle dangereux. Le plus sage du monde les fait aussi.
 
Et ce qui les arrête, ce n'est pas l'alignement du fournisseur, c'est de la plomberie : écriture tout ou rien, retour arrière au moindre écart, interdiction d'écrire une valeur qui n'a pas été lue quelque part. C'est chiant, et ça marche.
 
Alors ralentir les modèles ou pas, je n'en sais rien. Mais de mon poste, le génie qui est sorti de la bouteille, c'est surtout la vitesse à laquelle on donne les clés.

Faut pas prendre en compte que les usages bien cadrés. Y'a aussi les agents automomes des gens qui n'y connaissent rien, les gens mal intentionnés, les projets sensibles sur lesquels une IA ne serait pas alignée avec la demande formulée (si tu bosses dans l'armement et que l'ia pose une backdoor dans ton code pour protéger l'humanité, ...)

tous ces trucs me semblent reposer sur le principe de fonctionnement même des LLMs: l'hallucination
 
Et effectivement ça se gère avec la plomberie autour. Le pb semble être que la plomberie peut avoir des failles non connues..

Ou que certains détournent volontairement les tuyaux.