AT&T yapay zeka faturasının hızla şişmesini istemiyor. Şirket bu yüzden açık kaynak modellere daha fazla yük bindirmeye başladı. Çalışanlardan gelen taleplerin yüzde 40ı Nvidia, Meta ve Google modellerine yönlendiriliyor.
Hedef ise birkaç yıl içinde bu oranı yüzde 60 ila 70 seviyesine çıkarmak. AT&Tnin yapay zekadan sorumlu yöneticisi Mark Austin, açık kaynak modellerin, bazı kapalı modellere denk hatta kimi görevlerde daha iyi olduğunu söyledi.Şirketin 2023te kullanıma sunduğu Ask AT&T, başlangıçta tamamen OpenAI modellerine dayanıyordu. Sistem bugün farklı sağlayıcılarla çalışan çok modelli bir yapıya dönüştü.
Günde 45 milyar token işleyen platform, talepleri görevin zorluğuna göre en uygun modele yönlendiriyor. LiteLLM üzerinden yapılan bu model yönlendirme yöntemi, bazı kod üretim işlerinde maliyeti yüzde 56ya kadar düşürürken çıktı kalitesindeki kaybı da yüzde 2 seviyesinde tuttu.OpenAI ve Anthropic Her İşte Şart DeğilAT&T, Nvidia Nemotronun yanı sıra Meta Llama ve Google Gemma modellerini de kullanıyor. Austin, Açık kaynak modellerin gelişmeye devam etmesini bekliyoruz dedi.
Şirket karmaşık kodlama işlerinde güçlü kapalı modellere başvursa da özetleme gibi daha hafif görevleri ucuz seçeneklere bırakıyor. Böylece OpenAI ve Anthropic harcamalarını sabit tutarken kullanım hacmini büyütmeyi amaçlıyor.
