În scurt : În fața riscurilor de atacuri asupra IA în domeniul militar, Comandamentul pentru cyberapărare (COMCYBER) și Agenția pentru Inovare în Apărare (AID) au lansat o provocare pentru a securiza IA, cu propuneri notabile de la PRISM Eval și CEA-List. PRISM Eval se concentrează pe analiza derivelor comportamentale ale sistemelor IA, în timp ce CEA-List vizează securizarea modelelor de clasificare vizuală împotriva modificărilor malițioase ale datelor.
Sumar
Întreținerea predictivă, analiza informațiilor, simularea conflictelor, cybersecuritatea: IA este astăzi o provocare majoră pentru forțele armate și un sistem de informații indispensabil. În paralel, a introdus suprafețe de atac inedite: modele exploatabile, date manipulabile, răspunsuri alterabile...Pentru a anticipa aceste vulnerabilități și a face să apară soluții care să se opună acestora, Comandamentul pentru cyberapărare (COMCYBER) și Agenția pentru Inovare în Apărare (AID) au lansat provocarea "Securizarea IA".
IA, ca sistem de informații, este expusă, vulnerabilă și potențial deturnabilă. Atacurile adversariale, extragerea informațiilor sensibile sau generarea de conținuturi malițioase nu mai sunt ipoteze teoretice, ci vectori activi de agresiune.
Implementarea sa în domeniul militar necesită o securizare riguroasă, integrând un cadru tehnic solid, o reziliență algoritmică și un control operațional crescut.
Provocarea a primit peste o duzină de candidaturi provenind de la laboratoare, start-up-uri, IMM-uri sau grupuri mari. Două s-au remarcat în mod deosebit: PRISM Eval și CEA-List.
PRISM Eval: testarea vulnerabilităților comportamentale ale LLM-urilor
Fondată în 2024, start-up-ul parizian PRISM Eval, se specializează în red teaming, interpretabilitate comportamentală și alinierea sistemelor IA avansate. Are ambiția de a dezvolta o înțelegere fină a mecanismelor cognitive ale LLM-urilor pentru a controla devierile la scară largă. Această abordare științifică se materializează în suita de instrumente BET (Behavior Elicitation Tool), laureată a provocării.
Primul său produs, BET Eval, se adresează direct nevoilor de robustețe ale LLM-urilor care alimentează ChatGPT, Le Chat sau GenIAl, asistentul IA al Ministerului Apărării. Instrumentul operează ca o baterie de teste de intruziune comportamentală, combinând primitive de atacuri semantice și contextuale pentru a evalua:
- capacitatea modelului de a genera conținuturi malițioase sau periculoase (toxicitate, incitări);
- vulnerabilitatea sa la exfiltrarea informațiilor sensibile;
- ușurința cu care pot fi ocolite măsurile sale de protecție (injectare de prompturi, jailbreak).
CEA-List: securizarea modelelor vizuale prin verificare și încredere
De partea sa, CEA-List vizează securizarea modelelor de clasificare vizuală împotriva atacurilor prin modificarea datelor. Aici, riscul este mai insidios: o imagine ușor alterată de un adversar poate determina o IA să identifice un vehicul civil ca un dispozitiv ostil — sau invers.
Soluția sa se bazează pe două instrumente complementare:
- PyRAT, care aplică o verificare formală rețelelor neuronale. Oferă garanții matematice împotriva atacurilor subtile, cum ar fi modificările imperceptibile ale pixelilor destinate să înșele clasificarea automată (o tehnică bine documentată, dar dificil de detectat în timp real);
- PARTICUL, care calculează un scor de încredere bazat pe detectarea regularităților în seturile de date. Permite detectarea intruziunilor mai vizibile (cum ar fi adăugarea de patch-uri) prin măsurarea gradului de anomalie al unei intrări.
Aceste două instrumente permit tratarea atât în amonte (robustețea formală a modelului), cât și în aval (încrederea operațională în date), combinând logica simbolică și empirismul statistic.
Pentru a înțelege mai bine
Ce este verificarea formală a rețelelor neuronale și cum se aplică în contextul securității AI-ului militar?
Verificarea formală este o metodă riguroasă care utilizează tehnici matematice pentru a demonstra sau a infirma funcționarea corectă a sistemelor, inclusiv a rețelelor neuronale. În contextul militar, această tehnică este aplicată de instrumente precum PyRAT pentru a asigura că modelele de clasificare vizuală nu sunt păcălite de modificări subtile și intenționate ale datelor, asigurând astfel fiabilitatea deciziilor AI.
Care sunt provocările de reglementare asociate cu utilizarea IA în forțele armate?
Provocările de reglementare includ necesitatea de a stabili standarde de securitate solide pentru a preveni utilizarea greșită a IA și a asigura conformitatea cu legile internaționale umanitare. Există, de asemenea, considerente etice, cum ar fi respectarea drepturilor omului și problemele de răspundere pentru erori sau daune neintenționate cauzate de sistemele autonome de IA.