OpenAI yeni optimizasyon teknikleriyle çıkarım maliyetlerini %50 oranında düşürüyor

OpenAI mühendisleri bu ayın başlarında meslektaşlarına, model çıkarım maliyetlerini %50'den fazla azaltabilen bir dizi optimizasyon tekniği geliştirdiklerini söyledi. Bu bilgi, daha önce kamuoyuyla paylaşılmayan görüşmelere aşina olan bir kaynağa dayanıyor.

"Bu, ölçekte AI hizmeti vermenin en büyük maliyetine doğrudan saldıran, çıkarım verimliliğinde bir adım değişikliğidir," dedi kaynak, ayrıntılar kamuya açıklanmadığı için isminin gizli kalması koşuluyla konuşarak.

Bu atılım, büyük dil modellerini işletmeyi pahalı hale getiren hesaplama darboğazlarını hedef alıyor. Çıkarım — eğitilmiş bir modelden yanıt üretme süreci — AI hizmet sağlayıcıları için işletme giderlerinin büyük kısmını oluşturuyor ve maliyetler kullanım hacmiyle doğrudan orantılı olarak artıyor. Kaynak, OpenAI'in yeni tekniklerinin sorgu başına gereken hesaplama gücünü azaltmak için birkaç yeni yaklaşımı birleştirdiğini, ancak belirli metodolojiyi veya üretime geçiş takvimini açıklamadığını söyledi. The Information haberi ilk olarak duyurdu.

Verimlilik artışı, OpenAI'in bulut bilişim maliyetlerini yıllık yüz milyonlarca dolar azaltabilir ve potansiyel olarak API fiyatlandırmasını düşürmesine ve rakipleri — Anthropic, Google ve neredeyse sıfır maliyetle rakip modeller piyasaya süren Çin laboratuvarları dahil — ekonomiyi eşleştirmeye zorlamasına olanak tanıyabilir. OpenAI'in en yetenekli modelleri şu anda milyon giriş token başına birkaç dolara mal oluyor ve bu fiyat noktası yüksek hacimli uygulamalar için benimsenmeyi sınırlıyor.

Bu gelişme, AI endüstrisi için kritik bir dönemeçte geliyor. Çıkarım maliyetleri, kurumsal benimsemenin önündeki en büyük engel olarak ortaya çıktı; şirketler, AI uygulamalarını dağıtırken en büyük endişe olarak maliyeti gösteriyor. %50'lik bir azalma, OpenAI'in en yetenekli modellerini çalıştırmanın token başına maliyetini daha küçük tekliflerinin ekonomisine yaklaştıracak ve AI'nın ekonomik olarak uygun olduğu kullanım durumlarının yelpazesini genişletecek — gerçek zamanlı müşteri hizmetlerinden ölçekte belge işlemeye kadar.

OpenAI için zamanlama stratejik. Şirket, büyük bir altyapı inşasının ortasında ve veri merkezi kapasitesi ile özel silikon için milyarlarca dolar harcıyor. Bu ayın başlarında OpenAI ve Broadcom, Nvidia'nın veri merkezi bilgi işlemdeki hakimiyetine meydan okumak için tasarlanmış özel bir AI çıkarım çipi olan Jalapeno'yu tanıttı. Özel donanım ve yazılım düzeyinde optimizasyonun birleşimi, OpenAI'e, şu anda %70'in üzerinde brüt kar marjına sahip olan Nvidia'nın genel amaçlı GPU'larına bağımlı rakiplere karşı yapısal bir maliyet avantajı sağlayabilir. Nvidia'nın H100 ve B200 çipleri çıkarım için endüstri standardı olmaya devam ediyor, ancak özel uygulamaya özel entegre devreler giderek daha iyi fiyat-performansın yolu olarak görülüyor.

Rekabet dinamikleri hızla değişiyor. DeepSeek ve Alibaba'nın Qwen ekibi de dahil olmak üzere Çin laboratuvarları, Batılı tekliflere çok daha düşük maliyetle rakip olan modeller piyasaya sürerek OpenAI ve Anthropic'i primli fiyatlandırmalarını haklı çıkarmaya zorluyor. DeepSeek'in en son modelinin, GPT-4 sınıfı modellere kabaca onda bir çıkarım maliyetiyle karşılaştırılabilir performans elde ettiği bildiriliyor. Bu arada Google, Gemini modelleri için sunum maliyetlerini düşürmek amacıyla kendi özel tensör işleme birimlerine büyük yatırım yapıyor. OpenAI'in çıkarım maliyeti atılımı, bu düşük maliyetli alternatiflerle arasındaki farkı kapatmaya yardımcı olacak ve potansiyel olarak rekabetçi ekonomi sunarken üstün performans için daha yüksek fiyatlar talep etme yeteneğini koruyacak.

Optimizasyon teknikleri ayrıca OpenAI'in harcamalarına yönelik artan incelemelerin ortasında geliyor. Şirket, model eğitimi ve altyapıyı finanse etmek için hızla nakit yakıyor ve yatırımcılar daha net bir karlılık yol haritası talep ediyor. Çıkarım maliyetlerini yarıya indirmek, şirketin finansal sağlığı için kilit bir metrik olan API gelirinde brüt kar marjlarını doğrudan iyileştirecek.

Yatırımcılar için sonuçlar iki yönlü. Daha düşük çıkarım maliyetleri, AI'yı daha fazla kullanım durumu için ekonomik hale getirerek toplam adreslenebilir pazarı genişletiyor — bu tüm endüstri için olumlu. Ancak aynı zamanda verimlilik artışlarına ayak uyduramayan AI model sağlayıcılarının marjlarını da sıkıştırıyor. GPU'ları AI çıkarım iş yüklerinin çoğuna güç veren Nvidia, özel çipler ve yazılım optimizasyonunun sorgu başına gereken hesaplama gücünü azaltması durumunda zorluklarla karşılaşabilir. Son zamanlarda 300 milyar dolar olarak bildirilen OpenAI değerlemesi, kanıtlanabilir birim ekonomi iyileştirmesiyle desteklenecektir. OpenAI'in en büyük yatırımcısı ve bulut ortağı olan Microsoft, Azure'da çalışan daha düşük maliyetli AI hizmetlerinden faydalanacak ve potansiyel olarak Copilot ürünlerinin kurumsal müşteriler arasında benimsenmesini hızlandıracaktır. Piyasa, verimlilik kazanımlarını henüz fiyatlamamıştır, çünkü teknikler açıklanmamış ve bağımsız kıyaslamalarla doğrulanmamıştır.

Bu makale yalnızca bilgilendirme amaçlıdır ve yatırım tavsiyesi niteliği taşımaz.