Günümüzde yapay zeka modellerinin boyutları büyüdükçe GPU belleği üzerindeki yük de artıyor. Özellikle büyük dil modellerinin (LLM) çıkarım süreçlerinde yüksek kapasiteli HBM ihtiyacı önemli bir maliyet oluştururken, Micron'dan bu soruna yeni bir çözüm gelebilir. Şirket, NAND Flash tabanlı farklı bir teknoloji üzerinde çalışıyor.
GPU'lara yakınlaştırılmış NAND flash Micron'un araştırdığı yaklaşım, "near-GPU NAND" olarak adlandırılıyor. Buna göre NAND Flash, geleneksel depolama sistemlerinde olduğu gibi GPU'dan uzakta konumlandırılmak yerine GPU'ya çok daha yakın bir noktaya taşınacak. Böylece GPU ile NAND arasında mevcut depolama protokollerinden kaynaklanan gecikmelerin azaltılması ve daha yüksek I/O performansı elde edilmesi amaçlanıyor.
Buradaki temel fikir, NAND Flash'ın HBM veya geleneksel DRAM'in yerini tamamen alması değil. Sistem içerisinde GPU belleği ile standart depolama arasında yeni bir katman oluşturulması planlanıyor. Bu katman, HBM ve GDDR7/LPDDR6 gibi GPU'ya doğrudan yakın çalışan belleklerden daha yüksek kapasite sunarken, klasik SSD depolamadan çok daha hızlı bir erişim katmanı oluşturabilir.
Böyle bir sistemin en önemli avantajlarından biri maliyet tarafında ortaya çıkıyor. NAND Flash'ın gigabayt başına maliyeti HBM ve DRAM'e kıyasla daha düşük olduğu için, GPU belleğini yalnızca pahalı yüksek hızlı belleklerle büyütmek yerine farklı bellek katmanlarını bir arada kullanmak mümkün olabilir. Bu yaklaşım, özellikle modelin tamamının HBM'e sığmadığı durumlarda önem kazanıyor.
Model ağırlıklarının bir bölümünün daha yüksek kapasiteli ancak daha düşük performanslı NAND katmanında tutulması, daha az sayıda GPU ile daha büyük LLM'lerin çalıştırılmasına yardımcı olabilir. Bunun karşılığında sistemin yazılım ve bellek yönetiminin farklı katmanlar arasında veriyi doğru şekilde taşıması gerekecek. Ancak teknolojinin önünde önemli teknik sorunlar bulunuyor.
NAND Flash, HBM veya DRAM ile karşılaştırıldığında bant genişliği, gecikme ve yazma dayanıklılığı açısından geride kalıyor. Dolayısıyla NAND'ın GPU'ya fiziksel olarak yaklaştırılması tek başına HBM seviyesinde bir performans sağlamayacak. Asıl zorluk, daha yüksek kapasite avantajını kabul edilebilir erişim süreleri ve dayanıklılıkla birleştirmek olacak.
Bu gerçekleşirse özellikle milyarlarca parametreli yapay zeka modellerinin çıkarım maliyetlerini düşürmek için önemli bir alternatif ortaya çıkabilir.
