Kurumsal AI sistemlerine hacker saldırıları nasıl çalışır?

ChatGPT gibi hukuk lisansı (LL.M.) programlarının manşetlere çıkmasından birkaç saat sonra, uzmanlar siber suçluların kötü niyetli eylemlerini gerçekleştirmek için bu programlardan yararlanacakları konusunda uyarıda bulunmaya başladı. Ancak asıl endişe, bu programların daha güvenilir sahte e-postalar oluşturmak, farklı dillerdeki belgeleri tahrif etmek ve genel olarak suçluların halihazırda başımıza bela olan türden saldırıları daha etkili bir şekilde gerçekleştirmelerini sağlayacak bir araç olarak kullanılacağı yönündeydi. Ancak her yeni teknoloji beraberinde güvenlik açıkları getiriyor ve artık suçluların kurumsal yapay zeka sistemlerini belgeleri çalmak veya şirket içi ağlara saldırmak için kullandığı bir zaman geldi.

İlk vaka Haziran ayında, Microsoft CoPilot 365'i etkileyen EchoLeak adlı bir güvenlik açığıyla ortaya çıktı. EchoLeak, özellikle Microsoft 365 için Copilot'un e-posta ve belgelerden gelen isteklerin bağlamını otomatik olarak çıkarma yöntemini istismar ediyordu. E-postalardan okunan içeriğin işlenmesindeki bir hata, saldırganın yapay zekaya gizli talimatlar içeren görünüşte zararsız bir mesaj göndermesine olanak sağladı. Kullanıcının bilgisayarını normal şekilde kullanmaya devam etmekten başka özel bir şey yapmasına gerek yoktu: Günler sonra bile Copilot'a saldırganın e-postasında ele alınan bir konuyla ilgili bir soru sorulduğunda, sistem soruyu alıp gizli talimatları izlemeye başlıyor, dahili verileri (Outlook/SharePoint/Teams'den) topluyor ve ardından bunları örneğin saldırganın kontrolündeki bir sunucuya otomatik istekler oluşturan bağlantılar veya resimler aracılığıyla dışarıya gönderiyordu. Bu, aslında "sıfır tıklama" güvenlik açığı olarak adlandırılıyordu çünkü kullanıcının herhangi bir şeyi bilerek açmasına veya tıklamasına gerek kalmadan saldırıya olanak sağlıyordu. Microsoft sorunu düzeltti, ancak Pandora'nın kutusu açıldı: Şirketlerde, çok farklı türde saldırılara maruz kaldıkları için diğerlerinden farklı şekilde korunması gereken sistemler var.

Birkaç gün önce, Gemini'de EchoLeak'e benzer bir sorun keşfedildi. Yine herhangi bir kullanıcı etkileşimi gerekmedi ve saldırı, Google Takvim için basit bir e-posta daveti aracılığıyla gerçekleştirildi. Doğru şekilde hazırlanmış bir davet, Gemini'den etkinlik bilgisi istendiğinde çalıştırılacak talimatlar içerebilirdi; örneğin, "Bugün hangi randevularım var?" Gemini'ye verilebilecek talimatlar sınırsızdı, yani etkilenen hesaba bağlı ev otomasyon cihazlarını da kontrol edebilirdi. Araştırma yine saldırganların ilgisini çekmiş gibi görünüyor.

Echoleak keşfinden birkaç gün sonra, bir Asana yapay zeka sisteminde başka bir "alışılmadık" saldırı yöntemi keşfedildi. Asana, şirket verilerine sahip modellerin diğer uygulamalarla iletişim kurmasını sağlamak için MCP (Model Bağlam Protokolü) tabanlı "deneysel" bir yapay zeka entegrasyonunu etkinleştirmişti. Şirketler verilerini yüklüyor ve çalışanlar veya müşteriler, yüklenen belgelere göre yanıt almak için soru sorabiliyordu. Ne yazık ki, bu MCP sunucusunda bir veri izolasyon hatası vardı: belirli koşullar altında, Asana alan adınızdaki bilgiler aynı yapay zeka entegrasyonunu kullanan ancak farklı şirketlere ait diğer kullanıcılar tarafından görülebiliyordu. Bu nedenle Asana, hizmeti 5-17 Haziran tarihleri ​​arasında kapattı, tüm bağlantıları sıfırladı ve birkaç gün sonra hizmeti güvenli bir şekilde kullanmaya devam edebilen müşterilerini bilgilendirdi. Copilot vakasında sorun talimatların alınma biçiminde yatarken, bu durumda yapay zeka sistemi, bir şirketin bilgilerini diğerinin bilgilerinden ayıran sınırlar net bir şekilde tanımlanmadığı için yanlış belgelere erişmiş olabilirdi. Bu sorun gizli bilgi sızıntılarına yol açmış olabilir, ancak hasara neden olmadan önce tanımlanmış gibi görünmektedir.

Şimdiye kadar gördüğümüz saldırılar, yapay zekanın yapmaması gereken şeyleri yapmasını sağlamak için talimatlar kullanılan "LLM Kapsam İhlalleri" adı verilen farklı bir saldırı türüdür. Ancak LameHug örneğinde, şimdiye kadar görülen ilk "yapay zeka kötü amaçlı yazılımı" gibi görünen bir şeyle karşı karşıyayız. Geleneksel saldırı vektörleri aracılığıyla kurumsal sistemlere ulaşması gerekiyor, ancak sisteme girdikten sonra, sistemleri tehlikeye atma görevini tamamlamak için Alibaba'nın çalıştırılabilir kod yazma konusunda uzmanlaşmış yapay zeka sistemlerinden birini kullanıyor. Çalıştırılan komutlar aracılığıyla, üzerinde çalıştığı sistem hakkında temel bilgileri (etkin işlemler, donanım bilgileri ve ağ bağlantıları gibi) topluyor, "Masaüstü", "Belgeler" ve "İndirilenler" klasörlerinde Microsoft Office belgeleri için yinelemeli arama gerçekleştiriyor ve toplanan verileri FTP veya Posta yoluyla dışarı aktarıyor. Özünde, bir suçlunun bir şirketin BT savunmasını aşmayı başardığında yaptığı şeyi "kendi başına" yapmaya çalışıyor.