Çin'in Chuzhou kentinde yaşayan 67 yaşındaki çiftçi Wu, tarlasındaki yabani otlar ve haşerelerle mücadele etmek için bir yapay zeka uygulamasının tavsiyelerine harfiyen uyunca tüm susam hasadını kaybetti. Yaklaşık bir yıldır tarımsal tavsiyeler almak için bir mobil uygulama kullanan Wu, daha önce sistemden oldukça başarılı ve doğru yönlendirmeler aldığı için yapay zekaya zamanla büyük bir güven duymaya başlamıştı. Ancak bu güven, yaklaşık 100 dönümlük (10 hektar) tarlasındaki tüm ürünü kaybetmesine yol açtı.
Uzmanlara danışmadan ilaçlama yaptı Wu, tarlasındaki yabani otlar ve zararlılarla mücadele etmek amacıyla yapay zekadan özel bir ilaçlama planı talep etti. Yapay zeka uygulaması, çiftçiye aralarında fomesafen maddesinin de bulunduğu bir kimyasal karışım hazırlamasını ve bunu tarlasına drone ile püskürtmesini önerdi. Yapay zekanın önerisine tamamen güvenen Wu, konuyu uzman bir tarım danışmanına sormadan veya bilgileri doğrulamadan tavsiyeyi harfiyen uyguladı.
İlaçlamanın hemen ertesi günü tarlada büyük bir yıkım başladı. Sadece yabani otlar değil, Wu'nun gözü gibi baktığı tüm susam fideleri de hızla kurumaya başladı. Hatta susam fideleri, otlardan bile daha çabuk öldü.
Hatalı tavsiye felaketle sonuçlandı Yapılan incelemeler, yapay zekanın önerdiği fomesafen adlı herbisitin aslında soya tarlalarındaki geniş yapraklı yabani otlarla mücadelede kullanıldığını ortaya koydu. Susamın kendisi de geniş yapraklı bir bitki olduğu için ilaçtan doğrudan etkilendi ve yok oldu. Üstelik bu ilacın tüm tarlaya püskürtülmeyip, sadece sorunlu bölgelere lokal olarak uygulanması gerekiyordu.
Zarara uğrayan çiftçi, yapay zekanın kendisini olası tehlikeli sonuçlar konusunda uyarmadığını söylüyor. Buna karşın uygulamada, yapay zeka tarafından üretilen bilgilerin hatalı olabileceğine ve mutlaka doğrulanması gerektiğine dair standart bir yasal uyarı metninin yer aldığı ifade edildi. Yaşanan olay, yapay zekanın son derece ikna edici olsa bile yanlış yönlendirmelerde bulunabileceğini gözler önüne serdi.
Özellikle fiziksel veya maddi zarara yol açabilecek kritik uygulamalarda uzman görüşü almak büyük önem taşıyor.
