Avec l'adoption massive de l'IA partout (en entreprise, home labs, projets persos ... ) il fallait bien un topic de la sécurité des IA
 
N'étant pas expert moi même (mais je vais rameuter la communauté d'avant vente-sécu sur le sujet pour un POV de qualité sur la FP ) on va faire une FP un peu minimaliste en l'améliorant ensuite progressivement avec les inputs (ou les retours d’expérience malheureux   ) des participants. Attention vu mon background on va surtout focaliser sur le local dansu n premier temps. Je serai ravi de mettre des exmples cloud SaaS and co pour enrichir

Bon pourquoi un topic sur le sujet ? Avec l'adoption massive par des particuliers / indeps / PME / boites du CAC et j'en passe l'IA devient une cible privilégiée :
- Assez peu de maturité des décideurs IT sur le sujet
- Fort pouvoir des métiers pour accélérer (avec le succès qu'on leur connait quand ça passe en shadow IT)
- Des dev qui connaissent pas forcément les systèmes d'informations mais qui installent des packages, leur laisse des droits root et puis lancent la machine          
 
Mais alors c'est quoi les risques concrètement ?
=> Chat en libre accès sur internet :
- lui faire chanter des chansons contre votre marque https://www.lefigaro.fr/secteur/hig [...] e-20240122
- lui faire développer des apps en vous laissant la facture de tokens https://www.reddit.com/r/LocalLLM/c [...] cue/?tl=fr
- lui voler vos cryptos en morse https://www.dexerto.com/entertainme [...] e-3361036/
 
=> Agents de codes :
- charger un skill qui va avoir un comportement non souhaité (vols de jetons d'autehntification wallets etc.) https://arxiv.org/abs/2604.21829
- faire telecharger une lib qui a l'air utile / normale / réputée à l'IA mais qui au moment de s'installer (npm en particulier) va chercher vos auths ou chiffrer vos disques (ou les deux   ) https://www.trendmicro.com/fr_fr/re [...] mised.html

mais alors que faire ?
 
Si vous lancez votre chatbot en ligne pensez à lui offrir un bouclier :
- https://cloud.google.com/security/products/model-armor
- https://docs.aws.amazon.com/chatbot [...] urity.html
- https://learn.microsoft.com/en-us/s [...] y-baseline
- https://code.claude.com/docs/fr/security
- https://openai.com/fr-FR/security-and-privacy/
 
Plus globalement cherchez des pages de sécurité en relation avec vos modèles (et n'hésitez pas à faire un mixe par exemple google cloud armor en frontal de claude dans vertex AI). N'hésitez pas non plus à vous tourner vers des boites de sécurité classiques et des startups dans le domaine de la sécurité des LLM. Point bonus pour les boties qui travaillent sur la moderation de cchats dans les jeux vidéos : ils savent faire du très réactif et ils ont l'habitude d'utilisateurs qui ont beaucoup trop de temps à dépenser pour  
 
Si votre IA a des actions (et donc qu'il est amené à manipuler des jetons et des librairies sensibles tels que wget, curl ou npm) :
=> Vérouillez autant que possible le réseau (par exemple en n'autorisant à récupérer les paquets que sur vos propres entrepots, empêcher les accès depuis l'exterieur de votre réseau / IP allowlist, interdisez aux API AWS, Azure, google .. de répondre aux requêtes qui ne viennent pas de votre virtual private cloud)
=> N'utilisez pas la machine qui héberge vos agents pour accéder à votre banque, votre wallet cryptomonaie, vos réseaux sociaux ou à administrer vos environnements cloud  
=> Votre jeton d'authentification Claude, OpenAI, Gemini ou autre peut très bien devenir une ressource pour un attaquant (il peut ensuite utiliser vos accès pour cramer des jetons pour ses propres besoins et scams divers).  
https://help.openai.com/en/articles [...] key-safety
https://support.claude.com/fr/artic [...] r-vos-cles
https://discuss.ai.google.dev/t/sec [...] ial/106912
 
attention des fois y'a des rigolos qui autorisent les clés api public firebase à attaquer un IA (gemini au hasard ) pensez à désactiver gemini de vos api si vous avez des clés qui se balladent sur le net et que votre cloud provider pourrait autoriser à utiliser ses ressources à l'insu de votre plein gré
 
J'ai pas une thune    et je developpe des applis bénévolement    avec mon IA qui fait des trucs en tâches de fond que je relie seulement en diagonale tous les 36 du mois      
 
Félicitations j'ai des idées pour toi
bien vérifier la source de vos skills ( répo d'une source réputée avec beaucoup d'étoiles / forks ? OK) avec un p'tit scan en plus ? https://github.com/cisco-ai-defense/skill-scanner
utiliser npx plutôt que npm : https://socket.dev/pricing
Semgrep pour un p'tit scan des libs dans vos repo ? https://semgrep.dev/pricing/
strace de votre app et avis par une IA ? https://medium.com/@nuwanwe/strace- [...] c9fc77c745
securité des web apps https://owasp.org/www-community/Sou [...] ysis_Tools
 
Et si vous avez des tokens dans un coin : https://claude.com/fr/product/claude-security
 
A vous

Drapal, je suis au soleil j’ai pas lu les liens
Y a un skill audit sécurité ?

Des outils qui sont intéressants, à coupler ensemble :
https://github.com/AikidoSec/safe-chain
https://github.com/aquasecurity/trivy
https://github.com/renovatebot/renovate

Way! un nouveau topic IA
 

Génial
 
A quand la cat IA ?

Ce serait bien, faut demander à qui

Drapal

Encore un topic IA

Wé mais celui la sounds plus utile que certains des autres , je plussoie l'initiative ! Je suis en phase d'apprentissage donc mode read only slash ask noob questions for now

Drap  

Oh drap ! Très interesssant , l ia est en utilisation quotidienne ici

Il y a plusieurs initiatives qui s'occupent d'identifier les risques de sécurité liés aux usages et à la mise en place des IA génératives.

On peut citer :
- OWASP GenAI Security Project : https://genai.owasp.org/
- OWASP Top Ten LLM and GenAI : https://genai.owasp.org/llm-top-10/

- OWASP Top Ten Agentic AI applications : https://genai.owasp.org/resource/ow [...] -for-2026/

La CosAI - Coalition for Secure AI : https://www.coalitionforsecureai.org/
Beaucoup de publications intéressantes chez eux, bien que peu axées sur les initiatives personnelles dans son garage

La CSA - Cloud Security Alliance - travaille aussi sur ces sujets.
Ils ont notamment publié l'AI Control Matrix : https://cloudsecurityalliance.org/a [...] ols-matrix

D'un côté plus pratique :
- si vous voulez tester les guardrails de votre LLM, vous pouvez gratuitement avec Nvidia Garak (c'est long si vous activez tous les tests) : https://github.com/NVIDIA/garak
Des éditeurs proposent d'autres outils de "pentest" des LLMs ou applications en utilisant, mais payants et axés entreprise.
- si vous voulez ajouter des guardrails à votre LLM / application IA, vous pouvez tester Nvidia NEMO Guardrails : https://developer.nvidia.com/nemo-g [...] itle%3Aasc

Il y a aussi des LLMs qui sont entraînés spécifiquement pour servir d'évaluateur de prompts, par exemple Llama Guard 4 : https://www.llama.com/docs/model-ca [...] a-guard-4/

Post de qualité

team avant-vente spe secu à la rescousse !
 
Je vais compiler vos posts à la FP dans les prochains jours

Trivy a été compromis via une attaque supply chain il y a quelques semaines : https://github.com/aquasecurity/tri [...] -xp46-6x23

Confiance moyenne du coup

Je sais mais leur solution est très utile malgré tout et ils auront justement appris

J'aime bien cette chaîne LowLevelTV qui parle de sécurité et par extension un peu d'IA aussi:
https://www.youtube.com/@LowLevelTV

Nouvelle section Intelligence artificielle sur le forum
 
Je vais y bouger le topic

Ce sujet a été déplacé de la catégorie Systèmes & Réseaux Pro vers la categorie Intelligence Artificielle par Wolfman

A tester si ça vaut le coup
claude-bughunter

https://github.com/elementalsouls/Claude-BugHunter

Nouveau modo

https://securebulletin.com/critical [...] le-hijack/

Il me semble qu'un modo d'une catégorie peut jeter un topic de sa catégorie sur une autre

j'ai survolé, mais c'est quoi le rapport avec la sécu de l'IA/de l'agentique/des devs ?

drap ça m'intéresse avec l'IA en shadow IT, pas mal de données de la COGIP sortent sans doute constamment

Vous avez des outils validés pour usage dans l’entreprise ? Normalement la solution c’est d’interdire l’usage des IA hors gateways (avec quelques providers sérieux. Pas juste une IA toute nulle) avec un data loss prevention devant pour détecter des mots clés / patterns / documents trop sensibles pour partir à l’extérieur

Mettez à jour vos 7zip les devs / agents   !  
 
Il faut un Channel slack dans chaque entreprise avec bulldo en animateur. 10€ / mois de souscription. Bon complément avec les alertes CVE classiques

si c'est un topic CVE on n'a pas fini

des outils d'IA?  
 
on doit en avoir au moins 2 gros providers d'accessibles soit en direct, soit avec une surcouche interne
 
et à ma connaissance la plupart des modèles peuvent s'utiliser, avec bien sûr toutes les précautions qui vont bien, si leur usage est justifié

Sans oublier la sécurité physique des locaux en attendant d’avoir des robots / drones pilotés par l’IA dans les bureaux / DC / maisons

Le shadow AI est un vrai problème.
La plupart de mes clients ne font pas de blocage, voir sont sans aucune visibilité.
Quelques uns bloquent des services et n'autorisent que certains services Cloud, pas exemple avec de l'URL filtering sur leurs proxy SaaS.
Quelques uns ont bloqué tous les services IA Cloud, et ont mis un accès centralisé via un liteLLM qu'ils hébergent en interne et qui renvoie vers des providers Cloud.
Je n'en ai rencontré aucun qui fait de l'analyse des prompts et des réponses, alors que ça existe chez plusieurs éditeurs.

Le sujet est souvent porté/mis en place par des équipes métiers qui n'ont aucune notion des problématiques de sécurité associées.

Oui des providers de modèles. Vous faites de la détection de fuite de données ? Comment un de vos employés sait ce qu’il a droit de mettre ou pas dans son prompt / vs code / data lake pour le RAG ?

C’est un vrai angle mort. Je pense que ça va arriver à maturité comme pour le reste : après de grosses catastrophes  

le principal c'est Copilot, la boutique est full MS de toute façon, avec la protection DLP kivabien
 
pour le reste, y'a un autre gros modèle d'un autre gros provider derrière une surcouche, a priori bien sécurisé aussi
 
pour la partie code/DL/RAG là ça se complique un peu et je ne sais pas répondre à la question, je bosse pas à l'IT de ma boite

 
Chez nous, c'est juste une whitelist volontaire: Kiro, Cursor, Rovo, et tous les services AWS pour les devs, ChatGPT pour le reste.
Ya aussi des outils de monitoring/scan obligatoire, et proxy transparent pour tous ceux qui sont pas sur un profil dev spécial.
 
De la on peut faire ce qu'on veut, mais vaut mieux pas se faire choper à faire des conneries . Un gars avec un tojan s'est fait brick son laptop par l'IT.
Techniquement rien ne m’empêche d'envoyer toutes nos sources aux chinois.