Nvidia, yerel olarak çalışan yapay zekâ modelleri ve otonom ajanlar için RTX ve DGX platformlarına yönelik yeni geliştirmeleri duyurdu. Şirket, açık kaynaklı llama.cpp ve vLLM topluluklarıyla yapılan optimizasyonların bazı iş yüklerinde performansı önemli ölçüde artırdığını açıkladı. Yeni geliştirmeler özellikle yerel yapay zekâ çıkarımı yapan kullanıcıları ilgilendiriyor.
RTX ve DGX için hız artışı Nvidia'nın paylaştığı testlerde RTX ve DGX sistemlerinde token üretim hızında ciddi artışlar elde edildi. Şirketin verdiği bilgilere göre GeForce RTX 5090 gibi üst seviye RTX GPU'larında llama.cpp kullanılarak yapılan testlerde, Qwen3.6-27B modelinde token üretim hızı yüzde 50'ye kadar arttı. Daha büyük Qwen3.6-35B modelinde ise hızlanmanın yüzde 90'a kadar ulaştığı belirtiliyor.
Bu sonuçlar, SpeedBench-Coding 8K Throughput testi ve AIPerf kullanılarak ölçüldü. Optimizasyonlar yalnızca oyuncu odaklı RTX ekran kartlarıyla sınırlı değil. RTX PRO 6000 Blackwell ekran kartında vLLM üzerinden gerçekleştirilen testlerde, ilgili modellerde yüzde 20'ye kadar performans artışı sağlandığı belirtiliyor.
DGX Spark platformunda ise Qwen3.6-27B modeliyle yapılan vLLM testlerinde 1,4 kata kadar hızlanma elde edildi. DeepSeek v4 Flash ile yapılan yapay zekâ çıkarım işlemlerinde de yüzde 20 civarında bir artış yaşanmış durumda. Nvidia, bu performans kazanımlarının yeni çekirdek optimizasyonları sayesinde elde edildiğini söylüyor.
Güncellemeler, speculative decoding tekniklerinin geliştirilmesini ve modelin ilk veri işleme aşamasının hızlandırılmasını içeriyor. Nvidia'nın paylaştığı verilere göre bazı iş yüklerinde elde edilen toplam hızlanma 1,9 kata kadar çıkabiliyor. GPU'lara tek tıkla yapay zekâ kurulumu Nvidia'nın ikinci önemli duyurusu ise yerel yapay zekâ kullanımını daha kolay hale getirmeyi amaçlıyor.
Şirket, 24 GB veya daha yüksek VRAM kapasitesine sahip Nvidia GPU'lar için çeşitli yapay zekâ ajanlarında kolaylaştırılmış kurulum desteği sunacak. Bu destek ilk aşamada üç önemli platformu kapsıyor. Bunlar Hermes Agent, OpenClaw ve Perplexity Computer.
Perplexity Portable Computer'ın eylül ayında Windows ve Linux'taki uygun RTX sistemlerine gelmesi planlanıyor. Kullanıcılar iş akışlarını yerel olarak çalıştırabilecek, ihtiyaç halinde ise buluttaki gelişmiş modellere geçebilecek. Hermes Agent tarafında sistem, Nvidia GPU'yu otomatik olarak algılayarak uygun model ve yapılandırmayı seçebilecek.
Böylece manuel model indirme ve ayar yapma ihtiyacı azaltılacak. Nvidia, Microsoft ve OpenClaw tarafından geliştirilen Windows uygulaması da benzer şekilde 24 GB ve üzeri VRAM'e sahip RTX GPU'larda optimize edilmiş yerel modellerin daha kolay kurulmasını sağlayacak.
