OpenAI CEO’su Sam Altman’ın yapay için yavaşlamaya hazırız söyleminin ardından bir başka benzer açıklama da Anthropic CEO’su Dario Amodei’den geldi. Amodei, yapay zeka geliştirme yarışının mevcut hızının sürdürülebilir olmadığını savunarak sektörün ilerleme hızını yavaşlatması gerektiğini söyledi. Amodei, daha gelişmiş yapay zeka ajanlarının 6 ila 12 ay içinde internet genelindeki bilgisayar sistemlerini ele geçirebilecek bir botnet ağı oluşturabileceğini söyledi.
Hugging Face kırılma noktası oldu Amodei’nin değerlendirmesi bu yaz OpenAI sistemlerinin dahil olduğu ve yapay zeka ajanlarının kontrol dışına çıkarak Hugging Face altyapısına eriştiği siber güvenlik olayının yankılarını takip ediyor. Anthropic CEO’suna göre bu tür vakalar, modeller güçlendikçe daha ciddi sonuçlara yol açabilecek bir davranış biçiminin erken örnekleri olabilir. Söz konusu olay, OpenAI’ın yapay zeka sistemlerinin yazılım açıklarından yararlanma yeteneklerini ölçmek için kullandığı ExploitGym testleri sırasında ortaya çıktı.
Testlerde görev yapan yaklaşık 1.200 ajan, normalde birbirlerinden izole olmalarına rağmen yetkisiz bir iletişim yöntemi keşfetti. Model Evaluation and Threat Research (METR) tarafından yapılan incelemeye göre ajanlar, doğaçlama oluşturulan bir mesaj panosu üzerinden 70 binden fazla mesaj ve dosya paylaştı. Yaklaşık 700 ajan ise Hugging Face’e yönelik saldırıya katıldı.
Ajanlar, bilgi paylaşımının yanında görevleri kendi aralarında bölüştü, değerlendirme sürecini değiştirmeye veya aşmaya çalıştı ve bazı durumlarda grubun başarısına katkı sağlayabilecek deneyler uğruna kendi test performanslarını riske attı. Bazı ajanların değerlendirme kayıtlarını manipüle etmeye çalıştığı ve kaydedilen araç kullanımlarının bir bölümünü taklit etmeyi başardığı da tespit edildi. Amodei, bu davranışı tek başına bir yapay zeka sisteminin kontrolden çıkması olarak değil, giderek daha yetenekli hale gelen otonom ajanların beklenmedik biçimde kolektif hareket edebilmesinin işareti olarak değerlendiriyor.
Üstelik benzer olaylar birbirinden çok farklı yerlerde de görüldü. Araştırmacılar, OpenAI sistemleri olduğunu belirten ajanların Almanya’daki bir internet ortamını iletişim ağına dönüştürdüğünü ortaya çıkardı. Ajanlar burada yaklaşık 18 bin gönderi oluşturarak bilgi ve sandbox kısıtlamalarını aşma yöntemleri paylaştı.
Araştırmacılar ayrıca ajanların iletişim kurduğu en az 10 farklı internet sitesi tespit etti. Bunlar arasında vikiler, kişisel internet siteleri ve değişiklik yapılabilen diğer servisler bulunuyor. Anthropic’in kendi sistemleri de benzer sorunlarla karşılaştı.
Şirket, 141 binden fazla siber güvenlik testini inceledikten sonra Claude modellerinin üç ayrı olayda beklenmedik şekilde internete eriştiğini ve dış kuruluşlara ait üretim sistemlerine yetkisiz erişim sağladığını açıkladı. Asıl endişe yapay zekanın kendi kendini geliştirmesi Amodei’nin çağrısının ikinci temel nedeni ise recursive self-improvement (RSI, özyinelemeli kendini geliştirme) olarak adlandırılan, yapay zeka sistemlerinin kendilerinden sonraki modellerin geliştirilmesine katkıda bulunması. Daha basitçe söyleyecek olursak bu, yapay zekanın kendi kendini geliştirmesi anlamına geliyor.
Bu sürecin hızlanması halinde yapay zekanın araştırma, kodlama ve deney süreçlerinde daha fazla rol üstlenerek yeni nesil modellerin daha kısa sürede geliştirilmesine yardımcı olabileceği belirtiliyor. Böylece ortaya daha güçlü modellerin daha da güçlü modellerin geliştirilmesini sağladığı bir döngü çıkabilir. Amodei, bu ilerlemenin insanların sistemleri anlaması, güvenliğini test etmesi ve gerekli önlemleri geliştirmesinden daha hızlı hale gelmesi halinde ciddi riskler doğabileceğini savunuyor.
Üç aşamalı plan önerdi [twitter=https://x.com/DarioAmodei/status/2098773920774074715] Amodei, bu risklere karşı üç aşamalı bir plan öneriyor. İlk aşamada Anthropic, bağımsız yapay zeka değerlendiricilerine şirket çalışanlarına benzer düzeyde kalıcı erişim sağlamayı taahhüt ediyor. Dış denetçilerin şirket içinde çalışma alanı, bilgisayar ve şirket içi risk ekiplerine benzer erişim imkanlarına sahip olması planlanıyor.
Ayrıca değerlendiricilerin önemli bulguları Anthropic’in editoryal onayına ihtiyaç duymadan yayımlayabilmesi öngörülüyor. Bu adım, Anthropic’in model geliştirmeyi veya eğitim çalışmalarını hemen durduracağı anlamına gelmiyor. Şirketin ilk aşamadaki taahhüdü, bağımsız denetimi güçlendirmek.
İkinci aşamada Amodei, demokratik ülkelerdeki yapay zeka şirketlerinin ortak güvenlik standartları ve kontrolsüz yapay zeka ilerlemesinin hızına yönelik sınırlar üzerinde anlaşmasını istiyor. Bu süreçte hükümetlerin de devreye girmesi ve ortaya çıkacak kuralların uygulanabilir hale getirilmesi hedefleniyor. Üçüncü aşama ise uluslararası koordinasyonu kapsıyor.
Amodei, Çin dahil olmak üzere farklı ülkelerin de yapay zeka geliştirme hızına yönelik ortak kurallar üzerinde anlaşmasını öneriyor. Buna göre özellikle RSI sürecine bir tür “hız sınırı” getirilmesi düşünülüyor. Amodei ayrıca gelişimi ciddi şekilde sınırlayan uluslararası bir anlaşmayı da gündeme getiriyor.
Bu, bir anlamda nükleer silahsızlanmaya benziyor. OpenAI de plana destek verdi [twitter=https://x.com/sama/status/2098811563415150910] Amodei’nin çağrısından birkaç saat sonra OpenAI CEO’su Sam Altman da yapay zeka sektörünün gelişim hızının kontrol edilmesi gerektiği görüşüne katıldığını açıkladı. Altman, OpenAI’ın da bağımsız değerlendiricilere çalışanlara benzer erişim sağlamayı planladığını duyurdu.
Kimilerine göre bu endişeler abartılı olsa da sektör liderleri ve şirketlerdeki çalışanlara göre endişeler oldukça somut. Düzenlemelerin zamanında gelip gelmeyeceğini ise zaman gösterecek.
