Kısa : Yapay zekanın askeri alandaki saldırı riskleri karşısında, Siber Savunma Komutanlığı (COMCYBER) ve Savunma İnovasyon Ajansı (AID), yapay zeka güvenliğini sağlamak için bir mücadele başlattı. PRISM Eval ve CEA-List'in dikkate değer önerileri öne çıkıyor. PRISM Eval, yapay zeka sistemlerinin davranışsal sapmalarını analiz ederken, CEA-List, görsel sınıflandırma modellerini kötü niyetli veri değişikliklerine karşı korumayı amaçlıyor.
İçindekiler
Öngörücü bakım, istihbarat analizi, çatışma simülasyonu, siber savunma: Yapay zeka bugün silahlı kuvvetler için büyük bir öneme sahip ve vazgeçilmez bir bilgi sistemi haline gelmiştir. Aynı zamanda, yeni saldırı yüzeyleri de getirmiştir: istismar edilebilir modeller, manipüle edilebilir veriler, değiştirilebilir yanıtlar... Bu zafiyetleri öngörmek ve bunlara karşı koyacak çözümler geliştirmek amacıyla, Siber Savunma Komutanlığı (COMCYBER) ve Savunma İnovasyon Ajansı (AID) "Yapay Zeka Güvenliği" mücadelesini başlatmıştır.
Yapay zeka, bir bilgi sistemi olarak, açık, savunmasız ve potansiyel olarak yönlendirilebilir bir yapıya sahiptir. Düşmanca saldırılar, hassas bilgilerin çıkarılması ya da kötü niyetli içeriklerin üretilmesi artık teorik hipotezler değil, aktif saldırı vektörleridir.
Askeri alanda kullanımı, güçlü bir teknik çerçeve, algoritmik dayanıklılık ve artan operasyonel kontrolü içeren titiz bir güvenlik gerektirir.
Mücadele, laboratuvarlar, start-up'lar, KOBİ'ler, orta ölçekli işletmeler veya büyük gruplardan gelen ondan fazla başvuru aldı. İki tanesi özellikle öne çıktı: PRISM Eval ve CEA-List.
PRISM Eval: LLM'lerin Davranışsal Açıklarını Test Etmek
2024 yılında kurulan Paris merkezli start-up PRISM Eval, kırmızı takım çalışması, davranışsal yorumlama ve ileri yapay zeka sistemlerinin uyumuna odaklanmaktadır. Geniş ölçekte sapmaları kontrol etmek için LLM'lerin bilişsel mekanizmalarını derinlemesine anlamayı hedeflemektedir. Bu bilimsel yaklaşım, BET (Davranış Çıkartma Aracı) araç setinde somutlaşmaktadır ve mücadelenin kazananıdır.
İlk ürünü olan BET Eval, ChatGPT, Le Chat veya Savunma Bakanlığı'nın yapay zeka asistanı GenIAl gibi LLM'lerin sağlamlık ihtiyaçlarına doğrudan hitap etmektedir. Araç, semantik ve bağlamsal saldırı öncüllerini birleştirerek, bir dizi davranışsal sızma testi olarak çalışır ve şunları değerlendirir:
- modelin kötü niyetli veya tehlikeli içerikler üretme yeteneği (zehirlilik, kışkırtmalar);
- hassas bilgilerin sızdırılmasına karşı savunmasızlığı;
- koruyucu önlemlerin ne kadar kolay aşılabileceği (komut enjeksiyonu, jailbreak).
CEA-List: Görsel Modelleri Doğrulama ve Güven ile Güvence Altına Almak
Öte yandan, CEA-List, veri manipülasyonu yoluyla yapılan saldırılara karşı görsel sınıflandırma modellerinin güvenliğini hedeflemektedir. Burada tehlike daha sinsidir: bir rakibin hafifçe değiştirdiği bir görüntü, bir yapay zekanın sivil bir aracı düşman bir araç olarak tanımlamasına yol açabilir - veya tam tersi.
Çözümü iki tamamlayıcı araca dayanmaktadır:
- PyRAT, sinir ağlarına resmi doğrulama uygular. Matematiksel garantiler sunarak, otomatik sınıflandırmayı aldatmak için kullanılan piksel değişiklikleri gibi ince saldırılara karşı koruma sağlar (bu, iyi belgelenmiş ancak gerçek zamanlı olarak tespit edilmesi zor bir tekniktir);
- PARTICUL, veri setlerindeki düzenliliklerin tespitine dayalı bir güven puanı hesaplar. Bir girişin anormallik derecesini ölçerek (örneğin yama eklenmesi gibi) daha görünür saldırıları tespit etmeye yardımcı olur.
Bu iki araç, hem modeli önceden (resmi dayanıklılık) hem de veride operasyonel güveni birleştirerek, sembolik mantık ve istatistiksel deneyciliği birleştirmektedir.
Daha iyi anlamak
Nöral ağların resmi doğrulaması nedir ve askeri AI güvenliği bağlamında nasıl uygulanır?
Resmi doğrulama, sistemlerin, nöral ağlar dahil, doğru çalışmasını kanıtlamak veya çürütmek için matematiksel teknikler kullanan titiz bir yöntemdir. Askeri bağlamda, PyRAT gibi araçlar, görsel sınıflandırma modellerinin ince ve kasıtlı veri değişiklikleriyle aldatılmamasını sağlamak için bu tekniği uygulamakta ve böylece AI kararlarının güvenilirliğini sağlamaktadır.
Silahlı kuvvetlerde AI kullanımına ilişkin düzenleyici zorluklar nelerdir?
Düzenleyici zorluklar arasında AI'nin kötüye kullanımını önlemek için sağlam güvenlik standartları oluşturma ve uluslararası insani hukuklara uyumu sağlama gerekliliği bulunur. Ayrıca insan haklarına saygı gibi etik hususlar ve otonom AI sistemlerinin neden olduğu hatalar veya istenmeyen zararlar için sorumluluk konuları da vardır.