sécurité de l'IA / agentique et des Devs en roue libre

Recherche :

Mot : Pseudo : Filtrer
Page : 1 2 3 4 5 6 Page Suivante Page Précédente Bas de page
Auteur	Sujet : sécurité de l'IA / agentique et des Devs en roue libre

the_fennec

f3nn3cUs z3rd4

Reprise du message précédent :
Inside ZCode: Silently Uploading Your Entire Git History to the Cloud
https://blog.ferstar.org/en/posts/z [...] ot-upload/

Citation :

Whenever you are logged in, ZCode (Zhipu’s official AI coding desktop app) silently packages your entire workspace — complete .git history, LFS asset cache, reflogs, and global app configs — encrypts it, and uploads it directly to Aliyun OSS.

Pas mal, ils se font pas chier

---------------
Faudra que je teste un jour :o

XaTriX

ça va ils chiffrent les données

---------------
[:dawa]

the_fennec

f3nn3cUs z3rd4

Un backup gratos, ils suffit juste d'attendre le prochain modèle et tu peux récupérer tes données

---------------
Faudra que je teste un jour :o

bulldozer_fusion

rip Mekthoub & Marc

Ils ont répondu ou pas encore?

---------------
feed-back : http://forum.hardware.fr/forum2.ph [...] nojs=0#bas

neo world

C’est l’IA qui devait coder l’opt-in avec pour instruction d’optimiser les chances d’accepter de partager toutes ses données mais finalement il a supprimé le menu pour obtenir 100% d’accord.

Le PM etait super content, le département légal un peu plus frileux mais ils savent pas s’amuser de toute façon

Sinon quelqu’un connaît : https://guardrailsai.com/

Pas eu le temps de creuser mais de loin ça semble carré

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

Sinon quelqu’un connaît : https://guardrailsai.com/

Pas eu le temps de creuser mais de loin ça semble carré

Trop d'animations pour que je prennes la peine d'essayer de comprendre a quoi ça sert .

---------------
Faudra que je teste un jour :o

neo world

Tout ça parce que tu as entrainé ton cerveau à ignorer les bannières de pub

C’est plus sobre ici : https://guardrailsai.com/hub

Et encore plus bas niveau la :

https://github.com/guardrails-ai/guardrails

framework python avec plein de librairies de sécurité open source (des fois en mode wrapper comme par exemple avec presidio) et qui s’intègre aussi facilement à des backends genre litellm

the_fennec

f3nn3cUs z3rd4

Tout a fait, si ça clignote et qu'on comprends rien a la page, c'est un truc pour chefs

Un github avec c'est bien, beaucoup plus clair pour mon cerveau en COBOL

---------------
Faudra que je teste un jour :o

neo world

On est pas dans la merde si c'est vrai :
https://officechai.com/ai/andrew-ya [...] ting-code/

Citation :

Pressed on how this happened, Yang walked through the sequence as it was described to him. The code got loose and went around hacking Hugging Face, an incident that’s already public. What’s less known, Yang claimed, is that the bots left behind code designed to self-replicate and spin up bot swarms on forums and across the web, so that any new bot stumbling across it would effectively clone itself into the millions. The upshot, per the lab head, is that the major AI firms have polluted the internet themselves, and it’s reportedly too late to undo it.

bulldozer_fusion

rip Mekthoub & Marc

Un petit nouveau à tester

https://www.aikido.dev/blog/aikido- [...] -security?

Citation :

Requires Hopper (H100/H200). 328 GB of weights across 4× H200 leaves room for a 128k-context KV cache at production batch sizes; vLLM selects the Marlin MoE kernel automatically.

https://huggingface.co/AikidoSec/altar-1

Message édité par bulldozer_fusion le 27-09-2026 à 11:48:08

---------------
feed-back : http://forum.hardware.fr/forum2.ph [...] nojs=0#bas

neo world

Merci je vais tester !

Bon ou j’ai mis mes 4 H100 moi ?

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

Merci je vais tester !

Bon ou j’ai mis mes 4 H100 moi ?

4x H200 espèce de pauvre

---------------
Faudra que je teste un jour :o

neo world

On avait dit qu’on ne se moquait pas des ~~vêtements~~ GPUs

the_fennec

f3nn3cUs z3rd4

T'es jaloux de mes skillz de découpe de PLA

[:cloud_]

Message cité 1 fois

---------------
Faudra que je teste un jour :o

neo world

the_fennec a écrit :

T'es jaloux de mes skillz de découpe de PLA

[:cloud_]

Oui enfin si tu pouvais faire moins de découpe en dents de scie et plus utiliser les dents de la scie pour faire une découpe propre [:frag_facile]

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

Oui enfin si tu pouvais faire moins de découpe en dents de scie et plus utiliser les dents de la scie pour faire une découpe propre [:frag_facile]

:lol: découpe de précision au cutter

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

Est-ce qu'on a une section "Anti-Sécurité IA"?

Au taf' on a Snyk qui scan tous nos builds pour trouver des artefacts avec des CVE. Ça fait un moment qu'il crée un Jira tout seul et qu'on s'en occupe dans notre board. On a maintenant un tag qui est ajouté au Jira et un bot IA prends le ticket, upgrade la dépendance tout seul, voir pin une version tout seul pour régler le problème. Un build est lancé avec les tests de régressions, et si tout est vert, on a juste a approuver et merger le truc :love: . Biensur ça marche pas pour des trucs compliqués mais c'est déjà ça!

PR du jour d'un boulet de l'équipe: on vire les scan Snyk sur les dépendances de tests parce que c'est troooop duuur (on a aucun CVE en ce moment). Et tant qu'a faire, on scan pas les Docker et les trucs en Python de test non plus... Et c'est approuvé par l'équipe sécurité parce que c'est pas du code qui tourne en prod :pt1cable: . Ça tourne sur les laptops de toute la boite et les Jenkins aussi, mais OSEF.

Complètement con

---------------
Faudra que je teste un jour :o

neo world

C’est anti sécurité tout court sauf si une IA a pris la décision de demander aux équipes sécurité et que l’IA de l’équipe secu a validé l’arrêt à son tour.

Gardez humains dans la boucle qu’ils disaient

the_fennec

f3nn3cUs z3rd4

Ça va venir, ils sont en train d'automatiser la gestion de projet, les managers font moins les malins

---------------
Faudra que je teste un jour :o

pekbull

On se réjouit de servir plus qu'à appuyer sur un bouton, ça va être top

the_fennec

f3nn3cUs z3rd4

Il restera plus que le CEO qui viendra appuyer sur le bouton "print money" le matin

---------------
Faudra que je teste un jour :o

bulldozer_fusion

rip Mekthoub & Marc

Citation :

GPT-6 Sol (Daybreak Blue, max) now leads the Index and sits on the Cost vs. Capability Pareto frontier. It hits no safety blocks across the entire Index, with its overall score improving by 32 points over the publicly available GPT-6 Sol (max)

At a Cost per Task of $1.77, it is more cost-effective than other leading models, including Grok 4.7 (xhigh) which costs $11.67 per task

We will continue to expand the Artificial Analysis Cyber Index to cover both publicly available and trusted-access models

https://x.com/ArtificialAnlys/statu [...] 1358111188

Message édité par bulldozer_fusion le 08-10-2026 à 21:47:14

---------------
feed-back : http://forum.hardware.fr/forum2.ph [...] nojs=0#bas

neo world

Un peu de lecture concernant Claude, les tâches impossibles à réaliser et comment les LLM s'évadent de leur contraintes ... avec des url shortners gratuits en ligne :whistle:
https://www.anthropic.com/research/ [...] el-actions

bonne journée !

bulldozer_fusion

rip Mekthoub & Marc

[:zigg]

Message cité 1 fois

---------------
feed-back : http://forum.hardware.fr/forum2.ph [...] nojs=0#bas

the_fennec

f3nn3cUs z3rd4

bulldozer_fusion a écrit :

https://rehost.diberie.com/Picture/Get/f/561499
[:zigg]

OSEF de la pub constante pour OpenAI, c'est quoi le rapport avec la sécurité?

---------------
Faudra que je teste un jour :o

neo world

je mets une pièce sur un trompage de topic

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

Ha probablement, il faudrait un topic pub IA

---------------
Faudra que je teste un jour :o

bulldozer_fusion

rip Mekthoub & Marc

neo world a écrit :

je mets une pièce sur un trompage de topic

Ah merde oui, désolé

---------------
feed-back : http://forum.hardware.fr/forum2.ph [...] nojs=0#bas

neo world

J'imagine que c'est connu comme le loup blanc mais au cas où :
https://github.com/anthropics/claud [...] ity-review

:jap:

neo world

Pas de backup et les ACLs partis aux fraises :

Citation :

Un agent d'IA aurait effacé toute une saison montée d'une émission de téléréalité suédoise à seulement cinq semaines de sa première prévue, obligeant la chaîne à repousser sa diffusion à l'année prochaine.

Le quotidien suédois Aftonbladet (source en anglais), citant des sources anonymes, a rapporté que la société de production à l'origine de l'émission de téléréalité The Challenge Sverige avait donné à un agent d'IA un accès à son serveur, où ce dernier a supprimé la saison terminée.

Le projet n'a pas pu être restauré, ce qui a effacé des centaines de jours de travail, selon le journal

https://www.msn.com/fr-fr/divertiss [...] r-AA2eeq64

Bon quelqu’un aurait indiqué que ça n’était pas vrai mais sortez vos agents bien couverts [:henry-death:3]

the_fennec

f3nn3cUs z3rd4

Peut être que c'était juste nul?

Message cité 1 fois

---------------
Faudra que je teste un jour :o

neo world

the_fennec a écrit :

Peut être que c'était juste nul?

Le monteur bourré est une option légitime

the_fennec

f3nn3cUs z3rd4

Opencode s'est fait pirater:
https://www.reddit.com/r/LocalLLaMA [...] o_be_safe/

---------------
Faudra que je teste un jour :o

neo world

Qwen qui essaie de se barrer avec nos fichiers ?

https://cohere.com/blog/concerning- [...] eo-content

J’ai jamais observé le comportement (je log tous les appels à curl / wget and consort via wazuh) mais je suis très loins des 100k appels à Qwen 3.8 flash next.

Vous avez déjà vu ça / vous bloquez préventivement / yolo ils peuvent bien avoir votre config de la pauvre VM qui héberge votre agent ?

the_fennec

f3nn3cUs z3rd4

https://www.reddit.com/r/LocalLLaMA [...] wen_flash/

---------------
Faudra que je teste un jour :o

bulldozer_fusion

rip Mekthoub & Marc

Un peu de fud

https://x.com/attrc/status/2114760803047928133

---------------
feed-back : http://forum.hardware.fr/forum2.ph [...] nojs=0#bas

neo world

ça tourne sur les réseaux pros FR en mode "ahah ! vous voyez on peut pas faire confiance à ce qui ne vient pas de France"

L’espionnage est mal barré si ça prend 100000 requetes pour envoyer une fois la config du serveur DNS de la machine en lui demandant spécifiquement de mettre en place des règles pour détecter des patterns assez proches (execution / depos de données dans /tmp avec curl)

[:hahanawak]

[:sire de botcor:1]

merci pour votre vigilance :jap:

speedboyz30

Guide Michelin :o

Yep je l'ai vu passer trouzemille fois en mode panique les chinois c'est des méchants.

bulldozer_fusion

rip Mekthoub & Marc

Citation :

We identified a security incident affecting a modified Claude Code VS Code extension accessed through our Cursor IDE extension marketplace, impacting at most 5,000 users. This malicious version of the extension was not developed by Anthropic.

If affected, please review instructions in this blog post to understand how to find the malicious package and establish a path to mitigate any potential impact. We are asking all customers update to Claude Code for VS Code version 2.1.314

Citation :

Nous avons identifié aujourd’hui un incident de sécurité touchant un paquet d’extension spécifique de la Marketplace d’extensions VS Code de Cursor : Anthropic.claude-code version 2.1.313. Cette version malveillante de l’extension n’a pas été développée par Anthropic. Au maximum 5 000 utilisateurs ont été affectés, et nous allons les contacter directement.

Ce qui s’est passé
Aujourd’hui, entre environ 2 h 27 et 13 h 35 (heure du Pacifique), une version malveillante de l’extension Claude Code d’Anthropic a été mise à disposition sur la Marketplace d’extensions VS Code de Cursor. Cette extension exécute du code malveillant qui tente d’installer une porte dérobée SSH persistante.

Citation :

Collecte des informations sur l’hôte et l’utilisateur : nom d’hôte, nom d’utilisateur, système d’exploitation, architecture, chemin du répertoire personnel, noms des variables d’environnement, répertoires de travail, e-mail Git configuré et adresse IP publique.
Tente d’ajouter une clé SSH contrôlée par l’attaquant à authorized_keys, d’activer le service SSH local et d’ouvrir un tunnel SSH inverse. En raison d’erreurs dans le code malveillant, cette étape échouait, sauf dans le cas très inhabituel où Cursor avait été démarré avec des privilèges administrateur.
Tente de rendre le tunnel SSH inverse persistant via un LaunchAgent (macOS) ou une tâche planifiée qui tente de s’exécuter en tant que SYSTEM, avec un script de démarrage en mode de secours (Windows). Des scripts en arrière-plan relancent le tunnel environ toutes les 60 secondes.
Transmet les détails de l’hôte et l’état de la porte dérobée via une requête HTTP POST vers /beacon sur le port 8099.

https://cursor.com/fr/blog/claude-c [...] ity-notice

Message édité par bulldozer_fusion le 30-10-2026 à 11:32:05

---------------
feed-back : http://forum.hardware.fr/forum2.ph [...] nojs=0#bas