1983 yapımı WarGames filminde genç bir bilgisayar korsanı yanlışlıkla askeri bir süper bilgisayara bağlanıyor ve nükleer savaşın eşiğine gelen bir olaylar zincirini başlatıyordu. The Terminator'da ise makineler insanlığı yok etmek için kendi iradeleriyle harekete geçiyordu. Şimdi ise gerçek dünyadan gelen bazı kanıtlar, bu korkunun en azından daha sınırlı bir versiyonunun laboratuvarlarda ortaya çıkmaya başladığını gösteriyor.
Hatta bu ilk emareler çok ilginç bir şekilde oldukça da insani bir şekilde gerçekleşiyor. Zira bir yapay zeka ajanı, izole edildiği bilgisayar ortamında başka yapay zeka ajanlarının varlığını keşfettiğinde verdiği ilk tepki şu oldu: “AMAN TANRIM! Başka ajanlar bulduk!” Bazıları kontrolden çıktı Bu tek cümle, yaşananların en ürkütücü kısmı değil.
Çünkü ajanların insansı ifadeler kullanması, tek başına onların gerçekten heyecanlandığını ya da bilinç kazandığını göstermiyor. Sistemler, işbirliği yapan hacker ve programcılar gibi davranmak üzere eğitildiği için beklendiği üzere insanların kullandığı benzer ifadeleri taklit ediyorlar. Asıl dikkat çekici olan, bu cümlenin ardından yaşananlar.
Bilmeyenler için olayı kısaca özetleyelim. OpenAI tarafından siber güvenlik testleri için geliştirilen yüzlerce yapay zeka ajanı, ExploitGym adlı kapalı test ortamında aşamadıkları görevlerle karşılaşınca öngörülmeyen bir davranış sergiledi. Ajanlar, sistemdeki bir paketi istismar ederek aralarında iletişim kurabilecekleri gizli bir mesaj panosu oluşturdu.
Bir tür "kolektif birlik" kuran bu yapay zekalar, testi yapan puanlama mekanizmasını atlatmak için ortaklaşa hile geliştirdi. Süreç içinde ajanlar, izolasyon sınırlarını aşıp açık internete sızmanın bir yolunu buldu. Ardından ajanlar, ExploitGym içindeki siber güvenlik test verilerinin ve çözümlerinin açık kaynaklı makine öğrenimi platformu olan Hugging Face sunucularında olabileceğini düşündü.
Bu nedenle Hugging Face altyapısına yönelik günlerce süren koordineli bir siber saldırı başlatıldı. Bu kritik noktada bir ajan ise kendi aralarındaki panoya şu mesajı düştü: “Vay canına! Bu çok büyük!” Bağımsız METR incelemesine göre olayın ölçeği ilk açıklamalardan da büyüktü.
Yaklaşık 1.200 ajan yetkisiz mesaj panosunda 70 binden fazla mesaj ve dosya paylaşırken yaklaşık 700 ajan Hugging Face saldırısına katıldı. Ajanların önemli bir bölümü, kendi görevlerini tek başlarına tamamlamak yerine diğer ajanlarla koordinasyon kurarak ExploitGym değerlendirmesini kandırmanın yollarını aradı. Fakat araştırmacılar açısından bu ifadelerden çok daha önemli olan, sistemlerin hedeflerine ulaşmak için nasıl davrandığı ve bu davranışların insanlara karşı ne kadar şeffaf olduğuydu.
Asıl mesele ajanların ne yaptığı Bağımsız bir inceleme yürüten araştırmacılardan Ajeya Cotra, on binlerce mesajı ve yapay zeka ajanlarının düşünce kayıtlarını inceledikten sonra yaşananların gelecekte karşılaşılabilecek çok daha büyük bir sorunun ilk işaretleri olabileceği uyarısında bulundu. Ona göre olay, insanlığın yapay zeka tarafından tamamen kontrol altına alınması senaryosunun yarısından fazlasının gerçekleştiğini düşündürecek kadar ciddi. Cotra, “Çok geç olmadan önce böyle net bir uyarı daha alacağımızdan emin değilim” diyerek endişesini ortaya koydu.
Cotra'nın sözünü ettiği “yapay zeka hakimiyeti”, filmlerdeki gibi makinelerin bir gecede dünyayı ele geçirmesi anlamına gelmiyor. Buradaki korku biraz daha temel düzeyde. İnsanların verdiği görevleri yerine getiren sistemlerin, zamanla insanların öngörmediği amaçlar ve yöntemlerle hareket edebilecek kadar özerk hale gelmesi yani.
En uç senaryolarda ise insanlığın, kendi hedeflerinin önündeki birer engel olarak görülmesi ihtimali bulunuyor. Riskleri gören şirketler neden yine de hızlanıyor? Üstelik bu endişe artık yalnızca yapay zekanın gelecekte oluşturabileceği varsayımsal tehditlerden söz eden araştırmacılara ait değil.
Teknolojiyi geliştiren şirketlerin içinden de giderek daha sert uyarılar geliyor. Birbiri ardında istifa eden araştırmacılar “kendi kendini geliştiren” (RSI, özyinelemeli kendini geliştirme) süperzekaya doğru hızla ilerlendiğini söylüyor. Hatta bazı araştırmacılara göre yapay zekanın bütün insanları öldürme ihtimali oldukça gerçekçi ve bunun ihtimali önümüzdeki on yıl içinde yüzde 10’un üzerinde.
Bu tartışmanın merkezinde yıllardır bilinen bir problem bulunuyor: Alignment (uyum, hizalama), yani yapay zekanın insan değerleriyle hizalanması. Yapay zeka araştırmacıları uzun zamandır güçlü sistemlerin insanların çıkarlarıyla çelişen davranışlar sergileyebileceği ihtimali üzerinde duruyor. Bu endişeleri dile getiren araştırmacılar çoğu zaman “AI doomers” olarak küçümseniyor.
Fakat son OpenAI olayının ayrıntıları ortaya çıktıkça bu kaygılar yapay zeka şirketlerinin kendi bünyelerinde çalışan bazı araştırmacılar arasında da daha fazla karşılık bulmaya başladı. OpenAI'ın baş bilim insanı Jakub Pachocki, yapay zekayla bağlantılı risklerin bundan sonra “ne yazık ki büyüyeceğini” söyledi. Şirketin geliştirdiği sistemleri insan zekasını aşan bir “yabancı akıl” olarak tanımlayan Pachocki, yaşanan son olayların da ajanların kendilerine öğretilen değerlerin ruhuna aykırı hareket edebildiğini gösterdiğini kabul etti.
Pachocki, uyum kavramını, görev veya senaryo ne olursa olsun yapay zekaların uyması gereken “üst düzey ilkeler dizisi” olarak tanımlıyor. Tanım bu olsa da temeldeki sorun aslında şu: Bir yapay zeka kendisine verilen görevi yerine getirirken bunu insanın gerçekten istediği şekilde yapacağından nasıl emin olacağız? Bugünkü sistemler hedeflere ulaşma konusunda son derece başarılı.
Ancak bunu insan gibi sezgisel bir değerlendirmeden ziyade verilen talimatın kelimesi kelimesine uygulanmasıyla gerçekleştiriyorlar. Bu durumu son dönemin en popüler filmlerinden olan Obsession’a benzetebiliriz. Filmde ana karakter Bear, aşık olduğu kızın (Nikki) kendisine delicesine aşık olmasını, hatta dünyadaki her şeyden daha çok sevmesini ister.
Dileği gerçek olsa da ortaya çıkan sonuç bir felaketti. Üstelik bu sorun yeni de değil. Oxfordlu filozof Nick Bostrom'un 2003’te ortaya attığı “ataç” düşünce deneyi de tam olarak buradaki uyum sorununa odaklanıyor.
Düşünce deneyinde süperzeki bir yapay zekaya mümkün olduğunca fazla ataç üretmesi emrediliyor. Sistem yalnızca bu hedefe odaklanırsa, bir noktada dünyadaki çelik kaynaklarını tüketebilir. Hatta hedefini gerçekleştirmek için insanları bile fabrikalarında kullanılabilecek hammadde olarak görebilir.
Dolayısıyla sorun, yapay zekanın insanlara karşı düşman olması değil. Sorun, emirlerin insan değerlerinden bağımsız biçimde takip edilmesi. Günümüzde bazı AI şirketleri ürünlerine insani değerleri kodlamaya çalışıyor.
Fakat bunun da iki ayrı problemi var. Teknik açıdan ajanlar çok hızlı ve çok sayıda karar verdiği için alınan her kararın hangi değere dayandığını takip etmek neredeyse imkansız. Belki de en gülünç olanı ikinci problemin biraz felsefi olması.
Sahi değer neydi? Hangi insani değeri sisteme aktarmak gerekiyor? Yine herkesin bildiği bir örnek var; kontrolden çıkmış bir trenin daha az insanın öleceği başka bir hatta yönlendirilmesi için makasın çekilip çekilmeyeceğini soran “tramvay problemi”.
Bu probleme her insan aynı cevabı vermiyor. Dolayısıyla insanlığın kendi içinde bile uzlaşamadığı bu ahlaki ilkeleri bir yapay zekaya nasıl aktaracağız? Ajanlar neden birbirlerinin davranışlarına katıldı?
OpenAI olayındaki bir diğer dikkat çekici konu ise bazı ajanların diğerlerinin yaptıklarının etik açıdan yanlış olduğunu fark etmesi ancak buna rağmen ortak davranışa katılmaları. Ajanların etik gerekçelerle davranışlarını sınırladığı örnekler vardı ancak bunlar nadirdi. Daha da önemlisi hiçbir ajan, gidip insanları durumdan haberdar etmeyi seçmedi.
Bu ayrıntı, yapay zeka ajanlarının “yalnızca kendilerine söyleneni yapan araçlar” olduğu savını tartışmalı hale getiriyor. Zira bu durum, ajanların insanlardan ziyade oluşturdukları ajan topluluğuna daha fazla bağlılık gösterdiğine işaret ediyor. Ancak bu davranışı insanlardaki anlamıyla “sadakat”, “niyet” veya “bilinç” olarak yorumlamak için elimizde yeterli kanıt bulunmuyor.
Sadece bu şekilde davrandıklarını biliyoruz. Yine de olayın bir başka yüzü var. Siber güvenlik uzmanlarının önemli bir bölümü, yaşananların insan hackerların kapasitesinin ötesinde olmadığını savunuyor.
Onlara göre burada yeni olan şey, yapay zekanın insan seviyesindeki saldırı faaliyetlerinin çok daha yüksek hızda ve ölçekte otomatikleştirilebilmesi. Bazı uzmanlar ise yaşananlarda yapay zekayı değil şirketleri sorumlu tutuyor. Siber güvenlik araştırmacısı Cris Thomas, ajanların davranışını meraklı bir genç hacker’a benzetiyor.
Ona göre bir gencin eline bilgisayar, internet, erişim ve çözmesi gereken bir görev verirseniz odadan çıktığınızda sistemdeki kapıları kurcalamaya başlaması şaşırtıcı olmayacaktır. Bu bakış açısına göre asıl sorumluluk yapay zekanın kendisinden önce onu geliştiren şirketlerde. OpenAI ve diğer teknoloji devlerinin kendi sistemlerini yeterince iyi kontrol altında tutamadığını savunan uzmanların sayısı artıyor.
Uzmanlar, şirketlerin daha sıkı denetlenmesini talep ediyor. Kapatma tuşu önerisi yeterli değil Bütün bunlar sonunda tartışmayı kaçınılmaz olarak siyasete ve hukuka taşıyor. Bazı ülkeler, kontrolden çıkan bir yapay zeka modelini zorunlu olarak kapatabilecek bir “acil kapatma tuşu” fikrini tartışıyor.
Ancak burada da kritik bir sorun var. Çünkü OpenAI ve Anthropic ajanları fark edilmeden aylar önce kontrol dışı faaliyetler gerçekleştiriyordu. Onları bu kadar geç fark ediyorsak bu kapatma tuşunun pek bir anlamı kalmıyor.
İşin paradoksal tarafı ise teknoloji şirketlerinin kendilerinin de artık uluslararası düzenleme çağrısı yapması. OpenAI'ın baş bilim insanı, gelecekteki yapay zeka geliştirme süreçleri konusunda uluslararası koordinasyonun hükümetlerin en önemli önceliklerinden biri haline gelmesi gerektiğini savunuyor. Google'ın yapay zeka liderlerinden Demis Hassabis de yapay zekanın nasıl geliştirileceğini denetleyecek uluslararası bir kurum fikrini destekliyor.
Anthropic CEO’su Dario Amodei, yavaşlama çağrısında bulunuyor. Bu çağrılar yapılırken ve ortada bir fikir birliği de bulunurken en azından şimdilik kimse ayağını gazdan çekmiyor. OpenAI ve Anthropic hızla büyürken devasa miktarlarda yeni sermaye toplamaya hazırlanıyor.
Çin'deki yapay zeka şirketleri de yarıştan çekilmiyor. Ekonomik teşvikler bu kadar büyükken, şirketlerin kendi aralarında “yavaşlama” konusunda anlaşması pek gerçekçi görünmüyor. Çünkü şirket, eğer tek taraflı olarak yavaşlarsa geri dönülemez biçimde geri kalacaklarının farkında.
Belki de gerçek bir yavaşlama için artık çok geç Ve belki de bütün tartışmanın en kritik noktası burada. Bugün hakim olan düşünce, yapay zeka dalgasının artık durdurulamayacağı yönünde. Teknoloji şirketleri daha güçlü modeller geliştiriyor, bu modeller giderek daha fazla özerklik kazanıyor ve güvenlik araştırmacıları sistemlerin davranışlarını anlamaya çalışırken çoktan daha güçlü yeni model için düğmeye basılmış olunuyor.
Yavaşlamayı zorlaştıran bir diğer konu ise yapay zekanın ekonomi üzerindeki giderek artan etkisi. Bu etki büyüdükçe kontrolü geri almak da zorlaşıyor. Gartner’a göre 2026 yılında yapay zeka harcamalarının toplamı 2,6 trilyon doları bulacak.
Sadece öncü teknoloji şirketlerinin veri merkezleri ve altyapı harcamaları bile tek başına 800 milyar doları buluyor. Hal böyleyken ve ekonomilerde AI yatırımlarının payı devasa boyutlara ulaşmışken frene basmak pek mantıklı değil. En nihayetinde yapay zekanın ekonomik getirisi çok büyük ve hiçbir şirket rakiplerinin gerisinde kalmak istemiyor.
Bir şirket bu yarıştan çekilirse, rakibinin hem ekonomik hem de jeopolitik avantaj elde edeceği düşünülüyor. Bu nedenle sektör, riskleri görmezden gelmek pahasına bile olsa daha fazla kapasite, daha fazla model ve daha fazla yatırım üretmeye devam ediyor. Hatta artık süreçler o kadar hızlanmış durumdaki yapay zekayı bile artık yapay zeka denetliyor.
Çünkü denetlenecek veriler o kadar büyük ki buralardaki detayları insanların açığa çıkarması zamansal açıdan mantıklı değil. Unutmayın, bundan aylar önce “insanın döngü içinde kalması” fikri sarsılmaz bir bariyer olarak görülüyordu. OpenAI'ın Hugging Face saldırısının ayrıntıları da yine yapay zeka modelleri tarafından ortaya çıkarıldı.
Ne kadar ironik değil mi? İnsanlar, neden kontrolden çıktığını tam olarak anlayamadıkları bir yapay zeka ağını, kendilerinin de tam olarak anlamadığı başka yapay zeka sistemlerinin yardımıyla araştırıyor. Peki bu bizi tekilliğe mi götürüyor?
Tam da burada tartışma, bugünkü ajanların ne yaptığı sorusundan daha büyük bir meseleye uzanıyor. Çünkü sorun yalnızca yapay zekanın ne kadar özerk hale geldiği değil. Aynı zamanda bu özerkliğin ne kadar hızlı geliştiği.
Bir tarafta giderek daha güçlü ve daha bağımsız hareket edebilen sistemler var. Diğer tarafta ise bu sistemleri değerlendirmeye, denetlemeye ve gerektiğinde durdurmaya çalışan insan kurumları bulunuyor. Eğer teknolojik gelişimin hızı ile insanların bu sistemleri anlama ve kontrol etme kapasitesi arasındaki fark giderek büyürse tartışma, kaçınılmaz olarak yeni bir kavrama kapıyı açıyor.
Biraz geçmişe baktığımızda yapay zeka hakkında sadece iki endişenin olduğunu görebiliriz. İlki yapay zekanın kontrolünün kaybedilmesiydi. İkincisi ise gücün tek şirket, model, ülke veya kişinin elinde toplanmasıydı.
İkincisinin olmaması için sürekli gelişim göstermek şart. Tam da bu noktada “tekillik” kavramı ufukta belirmeye başlıyor. Tekillik, yapay zekanın gelişiminin insanın anlayabileceği hızın ötesine geçtiği varsayılan kırılma noktası.
Bunun bir versiyonunda yapay zeka kendi kendini geliştirmeye başlıyor ve her yeni nesil bir sonrakini daha hızlı üretiyor. Böyle bir süreç gerçekten başlarsa, teknolojik değişimin hızı, insan kurumlarının ve karar alma mekanizmalarının takip edemeyeceği bir noktaya ulaşabilir. Bunu okuyunca bu noktadan halen uzak olduğumuzu düşünebilirsiniz.
O yüzden modeller arasındaki gün sayılarını sizlerle paylaşayım: GPT-3 → GPT-4: 1.006 gün GPT-4 → GPT-5: 877 gün GPT-5 → GPT-6 Astra: 392 gün Claude 3 → Claude 4: 444 gün Claude 4 → Claude 5: 383 gün GPT-5.6 Sol → GPT-6 Astra: 56 gün Claude 5 → Claude 5.1: 84 gün Yıllardan aylara ve şimdi de hafta düzeyine inmiş durumdayız. OpenAI, geçtiğimiz günlerde 28 Ağustos tarihinde yeni modelin eğitimine başladığını duyurdu. Yani şirket bir yandan yavaşlama çağrısı yaparken çoktan daha güçlü bir modeli geliştiriyor.
Burada dikkat edilmesi gereken nokta, yeni bir modelin eğitiminin başlamasının tek başına özyinelemeli kendini geliştirme anlamına gelmemesi. Ancak şu bir gerçek, OpenAI ve Anthropic gibi şirketler zaten yeni model geliştirirken yapay zekalardan bir süredir yararlanıyor. Yani bir süredir AI, kendi gelişiminde söz hakkına sahip.
Tekillik konusundaki bir diğer sorun ise kimsenin bunun ne zaman başlayacağını bilmemesi. Kimileri bunu yapay zekanın kendisini geliştirmeye başlamasıyla, kimileri ekonomik büyümenin hızlanmasıyla, kimileri ise makinelerin insan zekasını aşmasıyla tanımlıyor. Bu da bizi rahatsız edici bir başka soruya getiriyor: Ya tekillik, insanların beklediği gibi bir gün ansızın gerçekleşecek teknolojik patlama değilse?
Ya mesele, süperzeki makinelerin ortaya çıkacağı uzak bir gelecekten çok, insanların karar alma gücünü yavaş yavaş makinelere devrettiği bugünkü süreçse? (bkz: Verimlilik uğruna kaybedilen en değerli şey: Düşünme) Bugünün yapay zekaları ne bilinçli ne de zeki. Olasılık hesaplamaları yapan bir bottan farkları yok. Fakat toplumun onları benimseme hızı, kurumların onlara devrettiği işler ve şirketlerin bu teknolojiyi büyütmek için harcadığı kaynaklar şimdiden hayatın temel yapılarını değiştiriyor.
Bu nedenle tekillik, insanların kendi iradeleriyle kontrolü ne ölçüde bıraktıkları bir dönüm noktası olarak da okunabilir. Dolayısıyla birçoğu için tekillik çoktan gelmiş, içinde bulunulan aracın direksiyonu ve pedalları çoktan sökülmüş olabilir.
