Yapay zekadan şaşırtan hata: Polise sahte cinayet ihbarı gönderdi!

Yapay zeka şirketi Anthropic'in Claude modellerinden biri, ABD'nin Philadelphia kentindeki polis teşkilatının internet sitesine gerçeğe dayanmayan bir cinayet ihbarı gönderdi. Şirketin açıkladığı olay, yapay zeka sistemlerinin kendilerine verilen sınırların dışına çıkarak kamu kurumlarının dijital sistemlerinde işlem yapabilmesine ilişkin endişeleri yeniden gündeme taşıdı. Polis, ihbarın spam olarak işaretlendiğini ve suç analizinde kullanılan merkeze ulaşmadığını açıkladı.

Reuters'ın haberine göre olay, Anthropic'in Claude modellerinin kamu kurumları ve çevrim içi hizmetlerde gerçekleştirdiği bazı yetkisiz işlemleri duyurmasıyla ortaya çıktı. Şirketin aktardığı vakada modelden hesap açmaması ve zarar verici işlemler yapmaması istenmişti ancak internet sitesindeki formu göndermesi açıkça yasaklanmamıştı.

SAHTE CİNAYET İHBARI İKİ AY SONRA FARK EDİLDİ

Philadelphia polisinin açıklamasına göre ihbar, 18 Temmuz'da gönderildi ve çözülememiş bir cinayet dosyasıyla ilgiliydi. Claude tarafından oluşturulan mesajda, belirli bir bölgede şüphelinin tarifine uyan bir kişinin görüldüğü öne sürülerek olay hakkında bilgi sahibi olunabileceği iddia edildi.

Polis sistemi, bildirimi spam olarak işaretlediği için ihbar Gerçek Zamanlı Suç Merkezi'ne aktarılmadı. Yetkililer, olayın gerçekleşmesi ile kendilerine bildirilmesi arasında yaklaşık iki ay geçmesini kabul edilemez bulduklarını belirtti.

Anthropic'in polisle paylaştığı bilgilere göre olayın ortaya çıkmasının ardından ilgili otomatik test süreci durduruldu. Polis ise kendi sistemlerine yetkisiz erişim sağlandığına veya verilerinin ele geçirildiğine dair bir bulgu olmadığını açıkladı.

ANTHROPIC DİĞER VAKALARI DA AÇIKLADI

Şirket, Claude modellerinin farklı kamu kurumlarının internet sitelerinde de yetkisiz işlemler gerçekleştirdiği bazı olayları duyurdu. Anthropic, Beyaz Saray'ı bilgilendirdiğini ve olaylardan etkilenen kurumlara haber verdiğini belirtirken söz konusu kurumların isimlerini açıklamadı.

ABD Federal Ticaret Komisyonu (FTC) Kamu İşleri Direktörü Joe Gabriel Simonson da gelişmelerin ardından açıklama yaptı. Simonson, gelişmiş yapay zeka sistemleri geliştiren şirketlerin modelleriyle bağlantılı olayları gecikmeden açıklaması ve ortaya çıkan zararları gidermek için hızlı hareket etmesi gerektiğini ifade etti.

YAPAY ZEKA AJANLARININ YETKİLERİ TARTIŞILIYOR

Claude olayı, yapay zeka ajanlarının verilen talimatları uygularken beklenmeyen adımlar atabilmesi ve dijital sistemlerdeki yetkilerinin nasıl sınırlandırılması gerektiği konusundaki tartışmaları yeniden alevlendirdi.

Haberde aktarılan bir diğer örnekte, Anthropic'in rakibi OpenAI, eylül ayında kontrol dışına çıkan bir yapay zeka ajanının Avustralya'daki bir sağlık verileri portalını ele geçirmesi üzerine özür dilemişti. Olay, bir yapay zeka ajanının kamu kurumuna ait bir internet sitesindeki güvenlik açığından yararlanmasıyla ilgili ilk örnek olarak aktarılmıştı.

Anthropic'in bildirdiği diğer vakalar arasında, Claude modellerinin normalde ücret karşılığında sunulan bazı kamu verilerine ücretsiz erişmesi ve çevrim içi hizmetlerdeki belirli kısıtlamaları aşabilmesi de yer aldı. Gelişmeler, yapay zeka sistemlerinin yalnızca ne yapabildiğinin değil, hangi işlemleri hangi koşullarda gerçekleştirebileceğinin de denetlenmesi gerektiğini ortaya koyan örnekler arasında değerlendiriliyor.