AI red teaming
AI red teaming (équipe rouge IA)
Terme IA
Intermédiaire
📖 Définition
L'AI red teaming consiste à faire attaquer délibérément un système d'IA par une équipe d'experts — internes ou externes — pour révéler ses failles avant qu'elles ne soient exploitées en production. L'équipe rouge tente toutes les formes connues d'attaque : injection de prompt, jailbreak, empoisonnement de données, extraction de modèle, biais discriminatoires, hallucinations dangereuses. Le red teaming est désormais exigé par l'AI Act européen, le NIST AI RMF et la LIAD canadienne pour les systèmes à haut risque. Pour une PME québécoise, c'est devenu une étape obligatoire avant tout déploiement client d'un modèle IA.
💬 En termes simples
C'est un exercice d'incendie pour votre IA — on simule les attaques pour vérifier que les extincteurs fonctionnent.
🎯 Exemple concret
Un cabinet de santé québécois fait auditer son agent IA de triage par une firme spécialisée — l'équipe rouge réussit en deux jours à manipuler l'agent pour qu'il recommande des médicaments dangereux, le déploiement est reporté de six semaines.
💡 Le saviez-vous ?
En 2026, OpenAI, Anthropic et Google avaient publiquement engagé chacun plus de 100 red teamers à temps plein — la sécurité IA devient une carrière à part entière.