emision plutot bon enfant et pas trop lourde à l'écoute (je veut dire c'est pas du arte :o ) Ce sera la plus grande crise sociale que le Monde ait jamais connue" - Laurent Alexandre https://www.youtube.com/watch?v=PJyCHMpdkIc
Bah il montre que l'agent a lancé beaucoup de requêtes non légitimes en direction de JFrog avec des URL non légitimes, des payloads non légitimes en plus en essayant les méthodes 1 par 1, c'est vraiment le genre de comportement qui est facile à détecter juste en regardant les logs. Je ne sais pas ce qu'un CVE te dirait de plus sur la capacité à détecter ce comportement non légitime [:spamafote]
OK, je suis pas un expert whitehat. Ça me paraissait difficile d'anticiper ce genre de trucs.
Il montre pas grand-chose ce screen, juste la boucle, pas le SSRF, un CVE c'est mieux :o
Bah il montre que l'agent a lancé beaucoup de requêtes non légitimes en direction de JFrog avec des URL non légitimes, des payloads non légitimes en plus en essayant les méthodes 1 par 1, c'est vraiment le genre de comportement qui est facile à détecter juste en regardant les logs. Je ne sais pas ce qu'un CVE te dirait de plus sur la capacité à détecter ce comportement non légitime [:spamafote]
the_fennec
Il montre pas grand-chose ce screen, juste la boucle, pas le SSRF, un CVE c'est mieux :o
Ce genre de pattern, c'est typiquement le genre d'utilisation illégitime du service qu'une sandbox robuste devrait flagguer
On est très loin du scenario extreme ou le modèle aurait mémorisé les sources de Jfrog pendant le training pour pouvoir développer un exploit sans être détecté et l'exécuter en one-shot (ce qui est plus difficile à détecter mais pas impossible non plus)
Je vais garder ce screenshot sous la main pour l'inévitable moment où mon service IT viendra nous faire chier :o
kaloskagatos
Voilà la conférence OpenAi qui explique le processus qui a mené à l'attaque de Hugging Face https://youtu.be/87DyyMV0kCY
Ça a l'air crédible mais en même temps ça ressemble à de l'amateurisme. "Highly persistent internal model" c'est GPT 6 dans OpenClaw en mode YOLO ?
J'avais la suspicion dés le début que yavait enfummage tu noteras
Mais surtout je rage parce que ce genre de stunt va avoir des effets néfastes sur les services ITs dans l'industrie, et on va devoir sortir les rames pour expliquer ce qui est safe et ce qui ne l'est pas en luttant contre les gens qui seront en mode "ahmagad, t'as écrit un prompt, l'IA va nous voler toutes nos données [:totoz]"
T'inquiètes, ils préparent juste leur modèle de sécurité qui "réglera" tous les problèmes d'IT :o
Ces boites privées ont un dev complètement obscure, ne sont pas cotées en bourse et n'ont aucune obligation de communiquer sur leur échecs, mais font quand même des articles pour communiquer la dessus. Et tu te demandes pourquoi?
OpenAI a communiqué 1 semaine après que HugginFace ait annoncé la tentative de hack :o
Ces boites privées ont un dev complètement obscure, ne sont pas cotées en bourse et n'ont aucune obligation de communiquer sur leur échecs, mais font quand même des articles pour communiquer la dessus. Et tu te demandes pourquoi?
J'avais la suspicion dés le début que yavait enfummage tu noteras
Mais surtout je rage parce que ce genre de stunt va avoir des effets néfastes sur les services ITs dans l'industrie, et on va devoir sortir les rames pour expliquer ce qui est safe et ce qui ne l'est pas en luttant contre les gens qui seront en mode "ahmagad, t'as écrit un prompt, l'IA va nous voler toutes nos données [:totoz]"
C'est encore pire que ce que je pensais, JFrog n'a pas seulement servi de point de sortie pour accéder à internet mais aussi de mémoire clandestine que les agents utilisaient pour stocker des informations sur les exploits qu'ils détectaient ?
Je ne sais plus où j'ai lu ça mais c'est de plus en plus vrai: openAI, Anthropic et cie sont soit très mauvais à la création de sandbox, soit très bons en marketing. Ou alors les deux.
Ces boites privées ont un dev complètement obscure, ne sont pas cotées en bourse et n'ont aucune obligation de communiquer sur leur échecs, mais font quand même des articles pour communiquer la dessus. Et tu te demandes pourquoi?
Sirolimus
Si ça arrive gratuitement sur nos écrans c’est que c’est de la pub
kaloskagatos
C'est de la pure publicité :o
Nr13
"On a laissé les clefs dans la cellule et le prisonnier a utilisé son incroyable intellect pour s'évader!"
trueslash
C'est encore pire que ce que je pensais, JFrog n'a pas seulement servi de point de sortie pour accéder à internet mais aussi de mémoire clandestine que les agents utilisaient pour stocker des informations sur les exploits qu'ils détectaient ?
Je ne sais plus où j'ai lu ça mais c'est de plus en plus vrai: openAI, Anthropic et cie sont soit très mauvais à la création de sandbox, soit très bons en marketing. Ou alors les deux.
