sécurité de l'IA / agentique et des Devs en roue libre

Recherche :

Dernière réponse

Sujet : sécurité de l'IA / agentique et des Devs en roue libre

Fredouye

XaTriX a écrit :

Avec des vrais bouts d'IA distillée :o

FYP

Votre réponse

Nom d'utilisateur

Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !

Le ton de votre message

Votre réponse

Smilies

Liste des smilies perso
Wiki smilies
Chercher un smiley

Options

Activer votre signature
Désactiver les smilies
Activer la notification par email du sujet

Aperçu

Vous avez perdu votre mot de passe ?

Vue Rapide de la discussion

Fredouye

XaTriX a écrit :

Avec des vrais bouts d'IA distillée :o

FYP

neo world

nouvelle arcitecture de securité / auditabilité autour des comptes / droits pour agents :
https://blog.google/security/going- [...] -security/

The Beyond Zero model is built on five core principles:

Resource and Action-based security: Authorization decisions are evaluated at the level of individual actions on specific resources, rather than granting broad access to an entire application or tool. This applies uniformly across all access methods, including front-end interfaces, APIs, and the Model Context Protocol (MCP).
Blended static and dynamic security: Granular static policies are paired with dynamic controls that apply heightened security measures during high-risk or complex scenarios. This approach introduces dynamic protections without moving to a fully dynamic model, which can be difficult to verify statically.
Automatically enriched context: The decision systems can draw on context about the user action, what the user should be working on, what data the user action is trying to interact with, what the user action is attempting to do with the data, and what potential risk mitigations are available. These facts are always available to the decision making infrastructure.
Automated in-depth investigation: Risk signals can autonomously trigger security investigations, which can immediately deploy user challenges or containment measures across the access stream.
Challenges and containments: Security policies can directly trigger verification challenges or containment protocols, requiring users or agents to provide additional risk telemetry on demand.

pour ceux qui ont workspace au boulot ce sera sans doute intégré d'une manière ou une autre à l'image du zero trust / beyond corp :jap:

bulldozer_fusion

Sirolimus a écrit :

Avec des prises italiennes

[:jiejie999]

Sirolimus

Avec des prises italiennes

neo world

bulldozer_fusion a écrit :

y'a pire par exemple l'achat d'une clim pour un hopital pendant que les gens meurent (littéralement) de chaud :cry:

bulldozer_fusion

neo world

david42fr a écrit :

J'ai du mal à me rendre compte mais ai l'impression que tout une frange de la population d'entreprises est à des années lumière de ce monde là et risque de se faire trouer totalement très vite par ces outils? Mais le risque est sans doute déjà existant finalement?

C'est toujours la même histoire :
=> Nouvel outil qui peut potentiellement apporter de la valeur aux métiers
=> C'est hors scope RSSI (quand y'en a un) et le métier veut aller vite donc les garde fous sont levés si ils sont bloquants mais on laisse l'antivirus, le pare feu, threat intel ... faire le boulot
=> Evidemment les outils historiques ont beaucoup de mal à détecter ça et les articles arrivent de partout indiquant des attaques par le nouveau vecteur
=> Le RSSI (ou DSI) rédige à l'arrache une charte des bonnes pratiques en demandant aux métiers de lever le pied
=> Le métier s'en fou (c'est lui qui paie le salaire du RSSI :D ) le RSSI monte au comex en demandant du budget pour une solution de sécurité valable
=> Le Comex demande au RSSI de faire une première évaluation des risques en faisant intervenir un consultant externe qui devra aussi rédiger des recommandations indépendantes (pouf 6 mois de perdus)
=> Le consultant rédige au propre les conclusions qui étaient déjà faites par le RSSI
=> Ca repart au comex qui dit formidable on y réfléchi pour le budget de l'an prochain
=> Novembre arrive et le projet peut se mettre en route si la dépense est validée ou remis à l'année suivante si en fait le RSSI n'a pas été assez convaincant sur le risque

Faut des nerfs et de bons somnifères pour être RSSI dans ces conditions :o

david42fr

neo world a écrit :

ça va les modèles accessibles au grand public limitent grandement le côté soucis de sécurité (c'est plus la foire à la saucisse en open weight non censurés mais v'là les perfs en comparaison et le budget :o )

en fait on va arriver dans un monde où le pentest et les mesures de correction seront plus simple à mettre en place. Ça va un peu chambouler le business modele des consultants sécu historiques mais pour ceux qui arrivent à s'adapter le marché va être énorme :D

bulldozer_fusion

Openai a open source codex-security

Citation :

CLI and TypeScript SDK for finding, validating, and fixing security vulnerabilities in your code.

https://github.com/openai/codex-security

XaTriX

Avec des vrais bouts d'IA volé :o

bulldozer_fusion

Microsoft qui met à dispo son modèle cyber AI
https://pbs.twimg.com/media/HOP2yzF [...] ame=medium
https://msblogs.thesourcemediaasset [...] -Final.jpg
https://microsoft.ai/news/introduci [...] ide-mdash/

Citation :

That’s why today we’re also launching Perception, our agentic security systems, that provides teams of agents for a variety of security workflows in MDASH, to continuously monitor, patch, and close new threat vectors. Perception will also soon use MAI-Cyber-1-Flash for many more security workflows, beyond the software vulnerability work.

https://blogs.microsoft.com/blog/20 [...] age-of-ai/

neo world

david42fr

KaiserCz a écrit :

d'où l'importance de guardrails de qualité :o

ou de considérer que l'IA arrivera à s'échapper si elle le souhaite vraiment et à s'équiper en face pour se défendre si nécessaire

Si même l’éditeur n’en est pas capable… et ça va vite devenir le far west pour des entreprises n’ayant rien demandé…

KaiserCz

david42fr a écrit :

On est bien d’accord. Mais le côté je sors de mon enclos pour aller voir ce que je peux manger dehors n’est pas trop rassurant!

d'où l'importance de guardrails de qualité :o

ou de considérer que l'IA arrivera à s'échapper si elle le souhaite vraiment et à s'équiper en face pour se défendre si nécessaire

david42fr

KaiserCz a écrit :

il ne faut pas voir que le côté attaque de la pièce

de la même manière qu'une IA peut savoir monter une attaque toute seule, une IA peut aussi être un outil très puissant côté défense (au sens large)

On est bien d’accord. Mais le côté je sors de mon enclos pour aller voir ce que je peux manger dehors n’est pas trop rassurant!

KaiserCz

david42fr

libussa a écrit :

Huggingface qui s'est fait trouer
https://huggingface.co/blog/security-incident-july-2026

En fait c'était par openai [:apaucalyptik]
https://openai.com/index/hugging-fa [...] -incident/

Il n'y a que moi qui trouve ça flippant?

TotalRecall

libussa a écrit :

Non.
Trop de bruit, de HS, et de lapin

Moi aussi je zappe ce topic, mais il y a quand même un bouton d'alerte modo pour les nuisances lagomorphes :o.

neo world

libussa a écrit :

Huggingface qui s'est fait trouer
https://huggingface.co/blog/security-incident-july-2026

En fait c'était par openai [:apaucalyptik]
https://openai.com/index/hugging-fa [...] -incident/

Bien vu merci pour le partage :)

Comme quoi le on prem peut dépanner même de gros acteurs :D

libussa

Olivie a écrit :

Tu ne suis pas le topik principal sur l’IA? :o

Non.
Trop de bruit, de HS, et de lapin

Olivie

Quich a écrit :

J'ai hésité à le mettre ici aussi, ça a quand même un rapport avec ce topic.
Le comportement du modèle d'OpenAI est quand même assez gênant.

Oui tu as raison :jap:

Quich

Olivie a écrit :

Tu ne suis pas le topik principal sur l’IA? :o

J'ai hésité à le mettre ici aussi, ça a quand même un rapport avec ce topic.
Le comportement du modèle d'OpenAI est quand même assez gênant.

Olivie

libussa a écrit :

Huggingface qui s'est fait trouer
https://huggingface.co/blog/security-incident-july-2026

En fait c'était par openai [:apaucalyptik]
https://openai.com/index/hugging-fa [...] -incident/

Tu ne suis pas le topik principal sur l’IA? :o

libussa

Huggingface qui s'est fait trouer
https://huggingface.co/blog/security-incident-july-2026

En fait c'était par openai [:apaucalyptik]
https://openai.com/index/hugging-fa [...] -incident/

Tronklou

Olivie a écrit :

Cloudflare sort un skill security audit: https://github.com/cloudflare/security-audit-skill

[:wark0]

LibreArbitre

Olivie a écrit :

Cloudflare sort un skill security audit: https://github.com/cloudflare/security-audit-skill

Merci chef [:shimay:1]

bulldozer_fusion

Olivie a écrit :

Cloudflare sort un skill security audit: https://github.com/cloudflare/security-audit-skill

:jap:

Olivie

Cloudflare sort un skill security audit: https://github.com/cloudflare/security-audit-skill

bulldozer_fusion

Olivie a écrit :

OpenAI sort un plugin security sur codex https://openai.com/daybreak/codex-security-plugin/

Cool

Olivie

OpenAI sort un plugin security sur codex https://openai.com/daybreak/codex-security-plugin/

bulldozer_fusion

C'est clair :sweat:

the_fennec

Clairement avec la course au slop ça va pas aller en s’arrangeant :lol: Et vu comment MS traite les chercheurs, ils ont du bol que certains continuent à les notifier...

bulldozer_fusion

Ça craint ces types d'attaques
Ils ont patch vite cette fois, mais toutes les solutions avec IA ne seront pas aussi réactif

the_fennec

Critical Copilot vulnerability allowed hackers to seal 2FA code from users
https://arstechnica.com/security/20 [...] from-users

Citation :

Last Tuesday, Microsoft patched a vulnerability it rated as max critical in its M365 Copilot AI platform. On Monday, the researchers who discovered the vulnerability and reported it to Microsoft revealed how their proof-of-concept exploit could retrieve 2FA codes and other sensitive data from emails accessible to Copilot.

...
The researchers wrote:

So, the sequence looks like this:

Copilot starts streaming its response, which includes an <img> tag
The browser sees the <img>, renders it, and fires off an HTTP request to the src URL
Copilot finishes generating. The guardrail wraps everything in <code>
Too late! The request already left.

XaTriX

tin c'est quoi le 3eme modele ?
j'ai le 2eme, c'est vrai que c'est un peu gros :o (bon c'est du SFP+ hein, je viens de voir le 3eme c'est du base T :()

the_fennec

Implosion du Sord a écrit :

Ça dépend du routage USB, si t'es sur une ligne direct ou sur un hub partagé. Si ça passe ensuite par le chipset ou directement lié au CPU, si la ligne elle même est partagé où non.

Jeff Geerling a fait une vidéo des adapteur réseau USB il y a peu et évoque quelques warnings
"How did they make it this small??"
https://youtu.be/zYZbZJZfCFI

Je vais regarde, merci :jap:

Implosion du Sord

the_fennec a écrit :

Ça marche bien les cartes USB réseau? ça utilise pas plus de CPU ou ça ajoute pas de la latence?

Je dois monter une carte 10G pcie, mais je me demande si je ferais pas mieux d'ajouter un GPU a la place :o

Ça dépend du routage USB, si t'es sur une ligne direct ou sur un hub partagé. Si ça passe ensuite par le chipset ou directement lié au CPU, si la ligne elle même est partagé où non.

Jeff Geerling a fait une vidéo des adapteur réseau USB il y a peu et évoque quelques warnings
"How did they make it this small??"
https://youtu.be/zYZbZJZfCFI

the_fennec

neo world a écrit :

Sinon je vais le déployer dans mon homelab mais j'attends les cartes USB 5Gb/s pour redéployer proprement Ceph dans mon cluster Proxmox

Ça marche bien les cartes USB réseau? ça utilise pas plus de CPU ou ça ajoute pas de la latence?

Je dois monter une carte 10G pcie, mais je me demande si je ferais pas mieux d'ajouter un GPU a la place :o