Nvidia, gelecekteki yapay zeka hızlandırıcılarında kullanılmak üzere geliştirdiği özel yüksek bant genişlikli bellek çözümü NVHBM'yi duyurdu. Amazon'un Annapurna Labs ekibiyle birlikte geliştirilen teknoloji, artan yapay zeka model boyutlarıyla kritik hale gelen bellek bant genişliğini artırırken güç tüketimini azaltmayı hedefliyor. HBM mimarisine önemli dokunuş NVHBM, Nvidia’nın NVLink Fusion platformunun bir uzantısı olarak konumlandırılıyor.
Çözümün temelindeki değişiklik ise bellek denetleyicisinin XPU'dan çıkarılarak doğrudan HBM'nin taban kalıbına yerleştirilmesi. Nvidia’ya göre bu yaklaşım, standart HBM çözümlerine kıyasla hem bellek performansını hem de enerji verimliliğini artırıyor. Şirket, standart HBM4E'ye göre bellek bant genişliğinde yüzde 30'dan fazla artış, güç tüketiminde ise yüzde 15 azalma sağlanacağını belirtiyor.
Bellek denetleyicisinin XPU'dan alınması aynı zamanda işlemcinin kalıp alanında da önemli bir kazanım sağlıyor. Nvidia, bu değişiklik sayesinde ana çip üzerinde yüzde 25'e kadar daha fazla alanın boşaltılabileceğini ve kazanılan alanın ek hesaplama kapasitesi için kullanılabileceğini ifade ediyor. Şirketin JEDEC HBM4E standardıyla yaptığı karşılaştırmaya göre PHY ve destek devreleri için gereken alan yüzde 67'ye kadar azaltılabiliyor.
Daha dar bellek arayüzü ise interposer üzerindeki bağlantıların daha basit hale gelmesini sağlıyor. Nvidia, bunun tüm yerleşim genelinde yüzde 80'e kadar daha fazla kullanılabilir silikon alanı sağlayabileceğini belirtiyor. Yeni döneme hazırlanılıyor Nvidia, trilyonlarca parametreli modeller ve büyüyen yapay zeka iş yükleri nedeniyle kritik hale gelen bellek bant genişliğini artırmayı hedefliyor.
NVHBM'nin özellikle agentic tabanlı ve fiziksel yapay zeka uygulamalarında darboğazları azaltması bekleniyor. Öte yandan sektörde benzer çalışmalar da var. Qualcomm'un HBC çözümünün yanı sıra Samsung, SK Hynix ve Micron da benzer HBM mimarileri üzerinde çalışıyor.
Bununla birlikte Nvidia, NVHBM'yi birden fazla bellek üreticisinin sunabileceği standart bir çözüm haline getirmeyi planlıyor. Amazon'un Annapurna Labs ekibi ilk NVHBM kullanıcılarından biri olacak. İki şirket, teknolojiyi NVLink ölçeklendirme mimarisiyle birleştirerek AWS altyapısında yapay zeka performansı ve enerji verimliliğini artırmak için çalışacak.
Amazon'un yeni nesil AWS Trainium çipleri de Nvidia’nın NVLink Fusion ekosisteminden yararlanacak. Şirketin açıklamasına göre Trainium4 ile başlayan yeni nesil Trainium çipleri, Nvidia GPU'larını Amazon'un kendi çipleriyle ortak raf ölçekli mimari altında birbirine bağlamak için NVLink Fusion kullanacak. NVHBM teknolojisinin ise ilk kez 2028'de piyasaya çıkması beklenen Feynman nesli GPU'larda kullanılması öngörülüyor.
