Tam anlamıyla bir otonom araçtan bahsedebilmek için aracın, saniyenin çok küçük bir bölümünde önündeki yayayı, bisikletliyi veya aniden yola düşen bir nesneyi algılaması ve buna göre karar verebilmesi gerekiyor. Bu nedenle modern robotaksilerde kamera, radar, LiDAR ve LWIR gibi farklı sensörlerin kullanıldığını görüyoruz. Her biri çevrenin farklı bir özelliğini algılıyor ve elde edilen veriler yapay zeka tarafından bir araya getiriliyor.
Ancak tüm bunlar bile yeterli değil. Geleneksel kamera ve sensörler çevrede hiçbir şey değişmese bile görüntünün tamamını tekrar tekrar araç bilgisayarına gönderiyor. Örneğin 30 kare/saniye çalışan bir kamera, her karede gökyüzünü, binaları ve yolun değişmeyen bölümlerini yeniden işliyor.
Oysa otonom sürüş açısından asıl kritik bilgi çoğu zaman hareket eden nesneler. Üstelik hızlı hareket nesnelerde bazı hareket ayrıntıları da bu kareler arasında kaçırılabiliyor. İşte nöromorfik kameralar tam olarak bu probleme farklı bir yaklaşım getiriyor.
Görüntünün tamamını belirli aralıklarla kaydetmek yerine, her piksel yalnızca gördüğü ışık seviyesinde bir değişiklik olduğunda veri üretiyor. Bu nedenle bu teknoloji olay tabanlı kamera (event-based camera) veya Dinamik Görüş Sensörleri (Dynamic Vision Sensor - DVS) olarak da adlandırılıyor. Nöromorfik kameraların farkı ne?
Geleneksel bir görüntü sensöründe bütün pikseller aynı anda ölçüm yapıyor ve belirlenen kare hızına göre tam görüntüler oluşturuluyor. Örneğin saniyede 30 kare kaydeden bir kamera, sahnede herhangi bir değişiklik olup olmadığına bakmadan saniyede 30 kez tüm piksellerin değerlerini sisteme aktarıyor. Nöromorfik kamerada ise her piksel bağımsız çalışıyor.
Bir pikselin üzerine düşen ışık miktarı değişmiyorsa herhangi bir veri gönderilmiyor. Işık seviyesinde belirli bir değişiklik meydana geldiğinde ise yalnızca o piksel bir "olay" üretiyor. Böylece görüntünün tamamı yerine sahnede gerçekleşen değişiklikler sürekli bir veri akışı olarak sisteme aktarılıyor.
Bu çalışma prensibi aslında insan görme sistemine de benziyor. Gözümüz çevredeki her noktayı sürekli olarak bir kamera gibi beynimize tam görüntüler halinde aktarmıyor. Görsel sistem, meydana gelen değişiklikleri algılayıp bunları beyne iletiyor.
Beynimiz ise bu bilgilerden gördüğümüz dünyanın anlamlı bir temsilini oluşturuyor. Nöromorfik kameraların temel fikri de bilgisayar görüşünü buna benzer şekilde çalıştırmak. Bu yaklaşım, özellikle hareketin önemli olduğu otonom sürüş senaryolarında ciddi bir avantaj sağlıyor.
Kamera, sabit bir arka planı tekrar tekrar işlemek yerine hareket eden nesnelere yoğunlaşabiliyor. Milisaniyenin altında tepki süresi Nöromorfik kameraların en dikkat çekici özelliği ise hızları. Geleneksel kameralar belirli bir kare hızına bağlı çalışırken event tabanlı sensörler herhangi bir kareyi beklemeden değişiklik meydana geldiği anda veri üretebiliyor.
Bu kameraların mikro saniye seviyesinde zamansal çözünürlüğe ulaşabildiği ve 1 milisaniyenin altında gecikme sağlayabildiği belirtiliyor. Bu alanda öne çıkan Prophesee'nin çözümlerinde eşdeğer zamansal çözünürlük 10.000 fps'nin üzerine çıkabiliyor. Literatürdeki araştırmalardaysa olayların 0,2 milisaniye içinde kaydedilebildiği ve kameranın yaklaşık 5.000 fps seviyesinde bir zamansal performansa ulaştığı aktarılıyor.
Bu, geleneksel kameraya kıyasla yaklaşık 100 kat daha hızlı bir tepki anlamına geliyor. Daha az veri, daha düşük enerji tüketimi Nöromorfik kameraların hız kadar önemli bir başka avantajı da ürettikleri veri miktarı. Bahsettiğimiz gibi bu kameralar sadece o andaki olayı gönderiyor.
Bu durum veri bant genişliğini ciddi biçimde azaltıyor. Prophesee, event tabanlı görüntüleme sistemlerinin geleneksel sensörlere kıyasla 1.000 kata kadar daha az veri üretebildiğini ve buna rağmen 10.000 fps'nin üzerinde eşdeğer zamansal çözünürlük sağlayabildiğini belirtiyor. Mercedes-Benz'in nöromorfik hesaplama araştırmalarında da enerji verimliliği önemli bir hedef olarak öne çıkıyor.
Şirket, Waterloo Üniversitesi ile yürüttüğü araştırmalarda insan beyninin çalışma biçiminden esinlenen mimarilerin yapay zeka hesaplamalarını daha hızlı ve enerji verimli hale getirebileceğini belirtiyor. Bu yaklaşımın otonom sürüşte veri işleme için gereken enerjiyi mevcut sistemlere kıyasla yüzde 90'a kadar azaltma potansiyelinden söz ediliyor. Bu özellik geleceğin araçları açısından daha da önemli hale gelebilir.
Otonom sürüş sistemlerine yeni işlevler eklendikçe araçların işlem gücü ve dolayısıyla enerji ihtiyacı artıyor. Elektrikli araçlarda ise işlemcilerin tükettiği enerji doğrudan menzil üzerinde de etkili olabiliyor. Nöromorfik kameraların bir diğer güçlü tarafı yüksek dinamik aralık.
140 dB'in üzerindeki dinamik aralığı sayesinde nöromorfik kameralar, ışık şiddeti ne kadar ani değişirse değişsin nesneleri izlemeye devam edebiliyor. Geleneksel kameralar çok parlak ve çok karanlık bölgeleri aynı anda görüntülerken pozlama konusunda zorlanabiliyor. Nöromorfik sensörler ise değişiklikleri piksel bazında ve sürekli olarak takip ettiği için ani ışık değişimlerine çok daha hızlı tepki verebiliyor.
Bu, özellikle çok karanlık bir ortamdan parlak güneş ışığına çıkmak veya karşıdan gelen güçlü farlarla karşılaşmak gibi geleneksel kameraların zorlanabileceği ani aydınlatma değişimlerinde önem taşıyor. Nöromorfik kamera her şeyi görmüyor Elbette hayattaki diğer şeyler gibi nöromorfik kameralar da kesinlikle mükemmel değil. Çalışma şekilleri nedeniyle statik nesnelerin bağlamını tek başına anlamakta zorlanabiliyorlar.
Benzer şekilde event kamera mesafeyi de doğrudan ölçemiyor. Dolayısıyla bu çözümün de diğer görüş teknolojileri ile desteklenmesi gerekiyor. Bu yaklaşım, serinin önceki bölümlerinde ele aldığımız sensör füzyonu yaklaşımının kaçınılmaz olduğunu gösteriyor.
Bu arada bu kameralar dışarıyı görmeye ek olarak kabin içini görmek için de kullanılabilir. Bu alanda Xperi, kabin içi ilk nöromorfik sistemi tanıtmıştı. Bu sayede sürücünün göz hareketlerinin, yorgunluk belirtilerinin veya mikro uyku durumunun takip edilmesi son derece hassas bir seviyede mümkün oluyor.
Bu içerik, Otonom Taksi Teknolojileri serimizin bir parçasıdır. Serinin sonraki bölümünde 4D görüntüleme teknolojisini ele alacağız. Serideki içerikler: Otonom araçlar karanlıkta nasıl görüyor?
LWIR neden vazgeçilmez? FMCW LiDAR nedir? Otonom araçların yeni nesil gözü
