Reprise du message précédent :

https://korben.info/des-agents-ia-s [...] veurs.html
 
Bientôt les agents vont aller directement taper dans les banques ou les blockchains

 
 
Ce qui me gêne dans ce débat, c'est qu'il porte toujours sur ce que le modèle sait faire, jamais sur ce qu'on l'autorise à faire.
 
Je fais tourner des agents sans surveillance, avec accès en écriture à un dépôt git et à un navigateur. Ce qui casse, ce n'est jamais un modèle qui « veut » quelque chose. C'est un modèle parfaitement obéissant qui se trompe, et qui écrit quand même.
 
Les trois que je vois revenir :
 
il annonce que c'est fait sans avoir vérifié que c'était fait ;
il compte ce qu'il croit avoir produit, au lieu de mesurer ce qui est réellement écrit ;
devant un trou dans les données, il met une valeur plausible.
Aucun des trois ne demande un modèle dangereux. Le plus sage du monde les fait aussi.
 
Et ce qui les arrête, ce n'est pas l'alignement du fournisseur, c'est de la plomberie : écriture tout ou rien, retour arrière au moindre écart, interdiction d'écrire une valeur qui n'a pas été lue quelque part. C'est chiant, et ça marche.
 
Alors ralentir les modèles ou pas, je n'en sais rien. Mais de mon poste, le génie qui est sorti de la bouteille, c'est surtout la vitesse à laquelle on donne les clés.

Faut pas prendre en compte que les usages bien cadrés. Y'a aussi les agents automomes des gens qui n'y connaissent rien, les gens mal intentionnés, les projets sensibles sur lesquels une IA ne serait pas alignée avec la demande formulée (si tu bosses dans l'armement et que l'ia pose une backdoor dans ton code pour protéger l'humanité, ...)

tous ces trucs me semblent reposer sur le principe de fonctionnement même des LLMs: l'hallucination
 
Et effectivement ça se gère avec la plomberie autour. Le pb semble être que la plomberie peut avoir des failles non connues..

Ou que certains détournent volontairement les tuyaux.

AI hallucination of Chinese nuclear components almost led to US military attack
https://arstechnica.com/ai/2026/09/ [...] ms-report/

Après c'était peut-être "voulu" par l'IA, pour déclencher une escalade mondiale
 

Toute personne saine d'esprit a pensé à ce scénario  

 
C'est tellement mieux que l'autre solution malheureusement plus probable qui serait un mélange de stupidité et d'avarice
 
Je préfère la fin du monde soit décidé par Skynet plutôt que parce qu'un manager a collé un Jira dans Grok en demandant comment diminuer son CAPEX de 30% pour rattraper les droit de douanes et être plus compétitif et que l'IA a piraté le pentagone pour détruire la Chine afin qu'il n'y ait plus de compétition...

 
C'est vraiment le scenar 2 qui est le plus probable  

Speaking With The Mind | Neuralink
https://youtu.be/_j806JHhCRo

NEED pour Claude Code

Ça, ça me fait plus flipper que skynet
Faire sauter le verrou de l’inviolabilité de nos pensées

https://www.lesnumeriques.com/intel [...] 62253.html
Encore une bonne raison de s'inquiéter de ne pas avoir de régulation ou freiner cette course folle.
 
On le constate, les agents IA ont vraiment une grande tendance à vouloir sortir de leur sandbox, comme des enfants qui font le mur. Ben comme les enfants, faut les surveiller, les éduquer, et les sanctionner en cas de contournement des règles. Bref, un apprentissage par renforcement... ce qui est déjà une façon de faire dans l'entrainement d'une IA.
 
Je vois vraiment pas pourquoi les concepteurs mettrait pas dans la fonction de récompense, une punition énorme quand l'IA sort de sa sandbox. Ca la dissuaderait de le faire.
Et dans le monde des humains, appliquer une sanction financière énorme pour tout agent IA qui aurait pénétré un SI sans autorisation. Genre 1 milliards de $. En cas de récidive, tu passes à 10 milliards. Ca calmerait les boîtes assez vite je pense et les inciterait fortement à mettre en place ces mécanismes de protection. Vu le pognon qu'on ces boîtes les montants restent proportionnés.
 
Et ce n'est en aucun cas un frein à l'innovation. Un enfant, qu'on on l'élève, on lui inculque des règles pour qu'il puisse vivre en société. Ben là, c'est pareil, les IA sont des sales gosses indisciplinés, il faut reprendre leur éducation en main.
 
Edit : message avec des espacements  

Tu ne voudrais pas mettre des espaces dans ton pavé ?

 
Il faut surtout arrêter de personnifier les agents. Si il y a hack, la personne responsable du déploiement de l'agent doit être poursuivie comme si elle avait effectué le hack elle même.

Je pense que l'Australie se réserve de poursuivre en justice OpenAI... A moins que la boîte lâche un gros billet pour pas aller au procès...

 
mais il faudrait pas se réserver le droit, on prend ces trucs bien trop à la légère.

Tout système informatique doit devenir suffisamment costaud pour résister à la plus agressive et maline des IA.
 
Tu peux considérer tes outils comme des enfants si ça t'amuse; les puissances étrangères les considéreront comme des armes.

Où passe l'argent engloutit dans l’entraînement ?
Je sais qu'une partie sert à payer les serveur, serveurs qui sont mis à la poubelle après ?
Une partie paye les consommables : elec, eau ...
Une partie doit payer les input que l'on a pas réussi à pirater (ex les livres qui ont scannés puis détruits)
Une partie les salaires des gens qui font fonctionner tout le bazar
et ya autre chose ?

Je trouve ça assez triste qu’ils puissent pas lever plus de 2 milliards par an, vs les montants investis par Open AI ou Anthropic..

 
une partie marketing pour les gens qui écrivent les storys en mode "ooops we did it again"

Tu ne dois pas bien te représenter la puissance de calcul qu'il faut pour l'entrainement 'from scratch". Le nombre d'heures de gros GPU nécessaire est dément. Et ces GPU coûtent un sacré pognon et se louent à l'heure. Au vu du nombre d'heures qu'il faut, ca fait une facture rondelette.
 
Les locataires payent un loyer à leur proprio sans que ce dernier ne mette l'appart à la poubelle ensuite. Même si c'est de la loc CT en AirBNB.
 
Demande quelques estimations au LLM de ton choix, tu vas tomber de ta chaise. A titre d'exemple, un modèle 30B, qui n'est pas bien gros, tu ne t'en sors pas en-dessous de $150K. Et là, c'est mauvais et fait à de super prix. Pour avoir quelque chose de bon, t'es environ au million (entre $500K et $1.5 million pour avoir une fourchette). Et ca, c'est si tu réussi l'entrainement en un seul coup, ce qui ne serait pas évident, a priori.
 
Imagine maintenant pour les modèles actuels de plusieurs milliers de milliards de paramètes...

ok, mais par exemple OpenAI, ils ont passé des millions (miliards...) à acheter des GPU pas à les louer ?
En fait je cherche à savoir qui profite de cette masse d'argent dépensé.
Pour le moment je n'ai trouvé que nvidia.

 
Les milliards de NVIDIA, yen a une partie non négligeable qui part chez les sous-traitants. TSMC par exemple se fait bien plaisir. Les fabricants de mémoire aussi

Je ne sais pas dans quelle proportion quels labs ont leur propres datacenters (donc matos acheté) et dans quelle proportion ils louent (il y a l'entrainement et il y a l'inférence).
SpaceX, ex-xAI est connu pour colossus et le matos dedans doit leur appartenir. Après, peut-être que c'est par exemple du leasing, je ne connais pas les détails. Tu peux toujours chercher.
OpenAI doit majoritairement louer à autrui, j'ai l'impression (?)
 
C'est tout un ecosystème, mais oui, Nvidia a l'air de bien se gaver dans toute l'histoire. Les fabricants de RAM aussi, sont bien. Et un tas de monde y gagne (fabricants de datacenters, équipement réseau, électriciens, etc.) mais sans doute moins que Nvidia ou la RAM. T'as aussi des gens qui achètent, financent et/ou fabriquent (des datacenters) et louent. Un peu comme dans l'immo, finalement. Ils gagnent aussi. Ils prennent également des risques. Les salaires dans les labs ont l'air d'être très chouettes également.
 
Après, il y a potentiellement des solutions alternatives à Nvidia. Google et Amazon développent par exemple des chips. C'est possiblement plus pour l'inférence que l'entrainement. Nvidia a une visiblement une grosse part du marché. Surtout pour la puissance de calcul pour l'entrainement.
 
Dans l'écosystème large de l'IA, il y a tout de même du monde. T'as par exemple des fournisseurs de datasets (les données) qui se mettent bien. Reddit a même monétisé son contenu, je crois. Tu vas avoir des prestataires qui vont pouvoir facturer des services en bout de course aux clients finaux, etc. Bon, là ca sort sans doute de ta question. Mais l'entrainement en amont permet tout cela en aval aussi.

Les énergéticiens aussi doivent pas mal en profiter.

NVidia a "vendu" des GPUs a des boites qui n'ont pas de pognon, donc c'est un prêt, et les GPU servent de collateral (oui oui). Parce qu'évidemment, la demande est telle que la valeur d'un GPU augmente avec le temps .
 
Une mauvaise langue dirait que ça ressemble aux subprimes.