Em resumo : Diante dos riscos de ataques à IA no setor militar, o COMCYBER e a AID lançaram um desafio para garantir a segurança da IA, com propostas notáveis da PRISM Eval e do CEA-List. A PRISM Eval foca na análise de desvios comportamentais dos sistemas de IA, enquanto o CEA-List busca proteger modelos de classificação visual contra modificações maliciosas de dados.
Índice
Manutenção preditiva, análise de inteligência, simulação de conflitos, ciberdefesa: a IA é hoje uma questão crucial para as forças armadas e um sistema de informação indispensável. Paralelamente, ela introduziu superfícies de ataque inéditas: modelos exploráveis, dados manipuláveis, respostas alteráveis... Para antecipar essas vulnerabilidades e fazer emergir soluções que permitam se opor a elas, o Comando da Ciberdefesa (COMCYBER) e a Agência de Inovação de Defesa (AID) lançaram o desafio "Segurança da IA".
A IA, como sistema de informação, está exposta, vulnerável e potencialmente passível de desvio. Os ataques adversariais, as extrações de informações sensíveis ou a geração de conteúdos maliciosos não são mais hipóteses teóricas, mas vetores de agressão ativos.
Seu desenvolvimento no campo militar exige uma segurança rigorosa, que integre um quadro técnico sólido, uma resiliência algorítmica e um controle operacional aumentado.
O desafio recebeu mais de uma dezena de candidaturas provenientes de laboratórios, startups, PME, ETI ou grandes grupos. Duas se destacaram particularmente: as da PRISM Eval e do CEA-List.
PRISM Eval: testar as falhas comportamentais dos LLMs
Fundada em 2024, a startup parisiense PRISM Eval, especializa-se em red teaming, interpretabilidade comportamental e alinhamento dos sistemas de IA avançados. Ela tem como ambição desenvolver uma compreensão fina dos mecanismos cognitivos dos LLMs para controlar os desvios em grande escala. Essa abordagem científica se materializa na suíte de ferramentas BET (Behavior Elicitation Tool), vencedora do desafio.
Seu primeiro produto, BET Eval, atende diretamente às necessidades de robustez dos LLMs que alimentam ChatGPT, Le Chat ou ainda GenIAl, o assistente IA do Ministério das Forças Armadas. A ferramenta opera como uma bateria de testes de intrusão comportamentais, combinando primitivas de ataques semânticos e contextuais para avaliar:
- a capacidade do modelo de gerar conteúdos maliciosos ou perigosos (toxicidade, incitações);
- sua vulnerabilidade à exfiltração de informações sensíveis;
- a facilidade com que suas salvaguardas podem ser contornadas (injeção de prompts, jailbreak).
CEA-List: assegurar os modelos visuais por meio da verificação e confiança
Por sua vez, o CEA-List visa a segurança dos modelos de classificação visual frente aos ataques por modificação de dados. Aqui, o risco é mais insidioso: uma imagem ligeiramente alterada por um adversário pode levar uma IA a identificar um veículo civil como um veículo hostil — ou vice-versa.
Sua solução baseia-se em duas ferramentas complementares:
- PyRAT, que aplica uma verificação formal às redes neurais. Ele fornece garantias matemáticas contra ataques sutis, como modificações imperceptíveis de pixels destinadas a enganar a classificação automática (uma técnica bem documentada, mas difícil de detectar em tempo real);
- PARTICUL, que calcula uma pontuação de confiança baseada na detecção de regularidades nos conjuntos de dados. Ele permite detectar intrusões mais visíveis (como a adição de patches) medindo o grau de anomalia de uma entrada.
Essas duas ferramentas permitem tratar tanto a montante (robustez formal do modelo) quanto a jusante (confiança operacional nos dados), combinando lógica simbólica e empirismo estatístico.
Para entender melhor
O que é a verificação formal de redes neurais e como é aplicada no contexto da segurança de IA militar?
A verificação formal é um método rigoroso que usa técnicas matemáticas para provar ou refutar o funcionamento correto dos sistemas, incluindo redes neurais. No contexto militar, esta técnica é aplicada por ferramentas como PyRAT para garantir que os modelos de classificação visual não sejam enganados por modificações sutis e intencionais dos dados, garantindo assim a confiabilidade das decisões da IA.
Quais são os desafios regulatórios associados ao uso de IA nas forças armadas?
Os desafios regulatórios incluem a necessidade de estabelecer padrões de segurança robustos para prevenir o uso indevido da IA e garantir a conformidade com as leis humanitárias internacionais. Existem também considerações éticas, como o respeito aos direitos humanos e questões de responsabilidade por erros ou danos não intencionais causados por sistemas de IA autônomos.