TLDR : Frente a los riesgos de ataques sobre la IA en el ámbito militar, el Comando de Ciberdefensa (COMCYBER) y la Agencia de Innovación de Defensa (AID) lanzaron un desafío para asegurar la IA, con propuestas notables de PRISM Eval y del CEA-List. PRISM Eval se centra en el análisis de las desviaciones de comportamiento de los sistemas de IA, mientras que el CEA-List busca asegurar los modelos de clasificación visual contra las modificaciones maliciosas de datos.
Índice
Mantenimiento predictivo, análisis de inteligencia, simulación de conflictos, ciberdefensa: la IA es hoy en día un tema crucial para las fuerzas armadas y un sistema de información indispensable. Paralelamente, ha introducido superficies de ataque inéditas: modelos explotables, datos manipulables, respuestas alterables... Para anticipar estas vulnerabilidades y hacer emerger soluciones que permitan oponerse a ellas, el Comando de Ciberdefensa (COMCYBER) y la Agencia de Innovación de Defensa (AID) lanzaron el desafío "Seguridad de la IA".
La IA, como sistema de información, está expuesta, es vulnerable y potencialmente manipulable. Los ataques adversariales, las extracciones de información sensible o la generación de contenido malicioso ya no son hipótesis teóricas sino vectores de agresión activos.
Su despliegue en el ámbito militar exige una seguridad rigurosa, integrando un marco técnico sólido, una resiliencia algorítmica y un control operativo incrementado.
El desafío recibió más de una decena de candidaturas provenientes de laboratorios, start-ups, pymes, ETI o grandes grupos. Dos se destacaron particularmente: las de PRISM Eval y el CEA-List.
PRISM Eval: probar las fallas de comportamiento de los LLMs
Fundada en 2024, la start-up parisina PRISM Eval, se especializa en el red teaming, la interpretabilidad de comportamiento y la alineación de sistemas de IA avanzados. Tiene como objetivo desarrollar un entendimiento detallado de los mecanismos cognitivos de los LLMs para controlar las desviaciones a gran escala. Este enfoque científico se materializa en la suite de herramientas BET (Behavior Elicitation Tool), ganadora del desafío.
Su primer producto, BET Eval, se dirige directamente a las necesidades de robustez de los LLMs que alimentan ChatGPT, Le Chat o GenIAl, el asistente IA del Ministerio de las Fuerzas Armadas. La herramienta opera como una batería de pruebas de intrusión conductual, combinando primitivas de ataques semánticos y contextuales para evaluar:
- la capacidad del modelo para generar contenido malicioso o peligroso (toxicidad, incitaciones);
- su vulnerabilidad a la exfiltración de información sensible;
- la facilidad con la que sus salvaguardas pueden ser eludidas (inyección de prompt, jailbreak).
CEA-List: asegurar los modelos visuales mediante verificación y confianza
Por su parte, el CEA-List se enfoca en la seguridad de los modelos de clasificación visual frente a los ataques por modificación de datos. Aquí, el riesgo es más insidioso: una imagen ligeramente alterada por un adversario puede llevar a una IA a identificar un vehículo civil como un artefacto hostil —o viceversa.
Su solución se basa en dos herramientas complementarias:
- PyRAT, que aplica una verificación formal a las redes neuronales. Proporciona garantías matemáticas contra ataques sutiles, como modificaciones imperceptibles de píxeles destinadas a engañar a la clasificación automática (una técnica bien documentada pero difícil de detectar en tiempo real);
- PARTICUL, que calcula un puntaje de confianza basado en la detección de regularidades en los conjuntos de datos. Permite detectar intrusiones más visibles (como la adición de parches) midiendo el grado de anomalía de una entrada.
Estas dos herramientas permiten tratar tanto aguas arriba (robustez formal del modelo) como aguas abajo (confianza operativa en el dato), combinando lógica simbólica y empirismo estadístico.
Para entender mejor
¿Qué es la verificación formal de redes neuronales y cómo se aplica en el contexto de la seguridad de la IA militar?
La verificación formal es un método riguroso que utiliza técnicas matemáticas para probar o refutar el funcionamiento correcto de los sistemas, incluidas las redes neuronales. En el contexto militar, esta técnica se aplica a través de herramientas como PyRAT para garantizar que los modelos de clasificación visual no sean engañados por modificaciones sutiles e intencionales de los datos, asegurando así la fiabilidad de las decisiones de la IA.
¿Cuáles son los desafíos regulatorios asociados con el uso de IA en las fuerzas armadas?
Los desafíos regulatorios incluyen la necesidad de establecer normas de seguridad robustas para prevenir el uso indebido de la IA y asegurar el cumplimiento de las leyes humanitarias internacionales. También hay consideraciones éticas, como el respeto a los derechos humanos y la responsabilidad por errores o daños no intencionados causados por sistemas de IA autónomos.