En bref : Face aux risques d'attaques sur l'IA dans le domaine militaire, le Commandement de la cyberdéfense (COMCYBER) et l'Agence de l'innovation de Défense (AID) ont lancé un défi pour sécuriser l'IA, avec des propositions notables de PRISM Eval et du CEA-List. PRISM Eval se concentre sur l'analyse des dérives comportementales des systèmes d'IA, tandis que le CEA-List vise à sécuriser les modèles de classification visuelle contre les modifications malveillantes de données.
Sommaire
Maintenance prédictive, analyse de renseignement, simulation de conflits, cyberdéfense : l'IA est aujourd'hui un enjeu majeur pour les forces armées et un système d’information indispensable. Parallèlement, elle a introduit des surfaces d’attaque inédites : modèles exploitables, données manipulables, réponses altérables...Pour anticiper ces vulnérabilités et faire émerger des solutions permettant de s’y opposer, le Commandement de la cyberdéfense (COMCYBER) et l’Agence de l’innovation de Défense (AID) ont lancé le défi "Sécurisation de l’IA".
L'IA, en tant que système d'information, est exposée,vulnérable, et potentiellement détournable. Les attaques adversariales, les extractions d’informations sensibles ou la génération de contenus malveillants ne sont plus des hypothèses théoriques mais des vecteurs d’agression actifs.
Son déploiement dans le domaine militaire exige une sécurisation rigoureuse, intégrant un cadre technique solide, une résilience algorithmique et un contrôle opérationnel accru.
Le défi a reçu plus d’une dizaine de candidatures provenant de laboratoires, start-ups, PME, ETI ou grands groupes. Deux se sont particulièrement distinguées : celles de PRISM Eval et du CEA-List.
PRISM Eval : tester les failles comportementales des LLMs
Fondée en 2024, la start-up parisienne PRISM Eval, se spécialise dans le red teaming, l’interprétabilité comportementale et l’alignement des systèmes d’IA avancés. Elle a pour ambition de développer une compréhension fine des mécanismes cognitifs des LLMs pour en maîtriser les dérives à grande échelle. Cette approche scientifique se matérialise dans la suite d’outils BET (Behavior Elicitation Tool), lauréate du défi.
Son premier produit, BET Eval, s’adresse directement aux besoins de robustesse des LLMs qui alimentent ChatGPT, Le Chat ou encore GenIAl, l’assistant IA du ministère des Armées. L’outil opère comme une batterie de tests d’intrusion comportementaux, combinant des primitives d’attaques sémantiques et contextuelles pour évaluer :
-
la capacité du modèle à générer des contenus malveillants ou dangereux (toxicity, incitations) ;
-
sa vulnérabilité à l’exfiltration d’informations sensibles ;
-
la facilité avec laquelle ses garde-fous peuvent être contournés (prompt injection, jailbreak).
CEA-List : sécuriser les modèles visuels par la vérification et la confiance
De son côté, le CEA-List cible la sécurisation des modèles de classification visuelle face aux attaques par modification de données. Ici, le risque est plus insidieux : une image légèrement altérée par un adversaire peut conduire une IA à identifier un véhicule civil comme un engin hostile — ou inversement.
Sa solution repose sur deux outils complémentaires :
-
PyRAT, qui applique une vérification formelle aux réseaux de neurones. Il fournit des garanties mathématiques contre les attaques subtiles, comme des modifications imperceptibles de pixels destinées à tromper la classification automatique (une technique bien documentée mais difficile à détecter en temps réel) ;
-
PARTICUL, qui calcule un score de confiance basé sur la détection de régularités dans les jeux de données. Il permet de détecter des intrusions plus visibles (comme l’ajout de patchs) en mesurant le degré d’anomalie d’une entrée.
Ces deux outils permettent de traiter à la fois l’amont (robustesse formelle du modèle) et l’aval (confiance opérationnelle dans la donnée), en combinant logique symbolique et empirisme statistique.
Pour mieux comprendre (assisté par l'IA)
Qu'est-ce que la vérification formelle des réseaux de neurones et comment est-elle appliquée dans le contexte de la sécurité des IA militaires?
La vérification formelle est une méthode rigoureuse qui utilise des techniques mathématiques pour prouver ou réfuter le fonctionnement correct des systèmes, y compris les réseaux de neurones. Dans le contexte militaire, cette technique est appliquée par des outils comme PyRAT pour garantir que les modèles de classification visuelle ne sont pas trompés par des modifications subtiles et intentionnelles des données, assurant ainsi la fiabilité des décisions prises par l'IA.
Quels sont les défis réglementaires associés à l'utilisation de l'IA dans les forces armées?
Les défis réglementaires incluent la nécessité de définir des normes de sécurité robustes pour prévenir les détournements de l'IA et assurer la conformité avec les lois internationales humanitaires. Il y a également des considérations éthiques à prendre en compte, telles que le respect des droits de l'homme et la responsabilité en cas d'erreurs ou de dommages involontaires causés par les systèmes d'IA autonomes.