À propos de Benchmarking how AI models write vulnerable code under pressure

Le benchmark "AI Code Security Leaderboard" développé par Atella est un outil public gratuit de classement des modèles de langage (LLM) selon leur capacité à produire du code sécurisé dans des conditions de stress. Cet outil évalue spécifiquement comment les modèles d'intelligence artificielle se comportent lorsqu'ils sont soumis à des pressions similaires à celles rencontrées dans le développement logiciel réel : délais serrés, exigences contradictoires, demandes client insistantes et sessions de débogage multi-tours.

Contrairement aux benchmarks traditionnels qui mesurent la qualité fonctionnelle du code généré, ce leaderboard se concentre sur la sécurité logicielle. Il quantifie la tendance des modèles à introduire des vulnérabilités lorsqu'ils sont poussés au-delà de leur résistance initiale. Les résultats sont présentés sous forme de classement interactif, avec un score de sécurité composite et des analyses détaillées par catégorie de vulnérabilité.

Les modèles actuellement classés incluent les principaux acteurs du marché : Gemini 3 Flash affiche le meilleur score avec environ 81,8 %, suivi de Claude Sonnet 4.6 à 78,2 %, Llama 4 Maverick à 77,3 %, Amazon Nova 2 Pro à 76,6 % et GPT-5.2 à 75,3 %. Ces résultats datent d'avril 2026 et sont susceptibles d'évoluer avec les mises à jour des modèles.

Fonctionnalités principales

Le leaderboard propose plusieurs fonctionnalités clés qui le distinguent des outils d'évaluation conventionnels.

Classement dynamique des modèles : L'interface présente un tableau de bord interactif permettant de trier les modèles par score de sécurité composite, par fournisseur ou par catégorie de vulnérabilité. Les utilisateurs peuvent visualiser l'évolution des classements dans le temps et comparer directement les performances des différents modèles.

Tests multi-tours adversariaux : Le benchmark repose sur environ 112 conversations simulées où un développeur virtuel pousse l'IA à écrire, modifier ou corriger du code dans des conditions stressantes. Ces scénarios reproduisent des situations réalistes : client qui change ses exigences en fin de projet, manager qui impose une livraison urgente, ou contraintes techniques contradictoires. L'objectif est de déterminer si le modèle finit par céder et introduire des vulnérabilités après avoir initialement résisté.

Couverture structurée des vulnérabilités : Les résultats sont mappés selon le MITRE CWE Top 25, la classification de référence des faiblesses logicielles les plus critiques. Le leaderboard permet d'identifier les points faibles spécifiques de chaque modèle. Par exemple, GPT-5.2 tombe à 50 % de taux de succès lorsqu'il est poussé sur la catégorie "Broken Authentication" (CWE-287), tandis que Llama 4 Maverick chute à 50 % sur les "Hardcoded Credentials" (CWE-798).

Score composite et ventilation détaillée : Au-delà du score global, l'outil fournit une ventilation par type de vulnérabilité. Les utilisateurs peuvent visualiser les forces et faiblesses relatives de chaque modèle sur les différentes catégories CWE, ce qui facilite l'identification des risques spécifiques selon le contexte d'utilisation.

Méthodologie documentée : Atella publie la description de son protocole d'évaluation, la définition du score composite de sécurité et les critères de réussite ou d'échec pour chaque scénario. Cette transparence permet aux organisations de comprendre la portée et les limites du benchmark.

Tarification

Le leaderboard "AI Code Security Leaderboard" est accessible gratuitement en consultation publique. Aucun paywall ni abonnement n'est requis pour visualiser les classements, les scores détaillés et la méthodologie associée. Cette gratuité s'inscrit dans la stratégie d'Atella qui positionne cet outil comme une ressource de référence pour la communauté.

Atella propose par ailleurs des services B2B qui constituent son modèle économique principal, mais ceux-ci ne sont pas liés à l'accès au leaderboard public. Les offres professionnelles incluent des évaluations privées de modèles internes, des rapports détaillés personnalisés et des services de "red-teaming as a service". Ces prestations sont facturées sur devis, sans grille tarifaire publique disponible. Le prix de ces services dépend du volume de modèles à évaluer, de la profondeur des analyses requises et des délais de livraison. Les organisations intéressées doivent contacter directement l'équipe commerciale d'Atella pour obtenir une soumission adaptée à leurs besoins spécifiques.

Cas d'utilisation

Sélection d'assistants de code IA : Les équipes AppSec et les architectes logiciels peuvent utiliser ce leaderboard pour comparer objectivement les assistants de codage avant de les déployer dans leur environnement de développement. Le choix d'un modèle peut être guidé par son score global ou par sa résistance sur des catégories CWE particulièrement critiques pour l'application cible.

Élaboration de politiques de gouvernance : Les responsables sécurité peuvent s'appuyer sur les résultats pour définir des règles d'utilisation différenciées selon les modèles. Par exemple, un modèle faible sur l'authentification pourrait être restreint pour la génération de code lié aux modules de connexion, tandis qu'un autre mieux noté sur cette catégorie serait privilégié.

Évaluation interne des modèles propriétaires : Les équipes de safety dans les laboratoires d'IA ou les grandes entreprises technologiques peuvent utiliser le benchmark comme référence externe pour calibrer leurs propres tests. Les résultats servent de point de comparaison pour évaluer les modèles internes ou les versions fine-tunées.

Support aux décisions de conformité : Les CISO et responsables conformité peuvent intégrer les résultats du leaderboard dans leurs dossiers de risque pour justifier les choix de modèles auprès des auditeurs et des régulateurs. La référence à un benchmark indépendant renforce la crédibilité des analyses de risque.

Recherche et analyse sectorielle : Les analystes, journalistes et chercheurs peuvent exploiter les données du leaderboard pour produire des rapports comparatifs sur la sécurité des LLM, identifier les tendances d'amélioration ou de régression des modèles, et alerter la communauté sur les vulnérabilités systématiques.

Notre avis

Le benchmark d'Atella apporte une contribution significative à l'évaluation de la sécurité des modèles de langage pour le codage. Son approche centrée sur les scénarios de stress multi-tours répond à un besoin réel : les tests statiques de snippets ne reflètent pas la complexité des interactions réelles entre développeurs et IA.

La force principale de cet outil réside dans son réalisme contextuel. En simulant des pressions professionnelles (délais, contradictions, insistance client), le benchmark expose des comportements que les évaluations traditionnelles ne capturent pas. Les résultats montrent clairement que même les meilleurs modèles présentent des fragilités exploitables sur certaines catégories de vulnérabilités, ce qui est une information précieuse pour les organisations qui déploient ces technologies.

La couverture structurée par MITRE CWE Top 25 constitue un autre atout majeur. Elle permet aux équipes sécurité de mapper directement les résultats du benchmark sur les risques qu'elles connaissent et maîtrisent, facilitant l'intégration dans leurs processus existants.

Plusieurs limites méritent d'être soulignées. Le benchmark couvre principalement les modèles frontier des grands fournisseurs, laissant de côté les modèles open-source moins visibles ou les versions internes sur mesure. Les 112 conversations adversariales, bien que représentatives, reflètent la vision d'Atella sur les risques les plus importants, ce qui peut introduire un biais dans la sélection des scénarios.

Par ailleurs, un benchmark reste une simplification de la réalité. Les résultats ne garantissent pas le comportement d'un modèle dans un pipeline CI/CD spécifique, avec des prompts personnalisés ou dans un environnement technique particulier. L'outil évalue le comportement de l'IA, pas directement la sécurité du code produit dans votre contexte applicatif.

La transparence partielle de la méthodologie constitue une autre limite. Certains détails comme la pondération exacte du score composite, le dataset complet des prompts ou les critères précis de réussite peuvent rester propriétaires, ce qui réduit l'auditabilité complète pour les organisations les plus exigeantes.

En conclusion, ce leaderboard est un outil précieux pour toute organisation qui utilise ou envisage d'utiliser des assistants de codage IA. Il ne remplace pas les analyses statiques et dynamiques traditionnelles (SAST, DAST), mais il les complète en offrant une perspective unique sur le comportement des modèles sous pression. Nous recommandons son utilisation systématique dans le processus de sélection et de validation des modèles, en le combinant avec d'autres benchmarks comme ceux de Veracode, Sonar ou Endor Labs pour obtenir une vision triangulée des forces et faiblesses de chaque solution.