Tencent'in Hunyuan ekibi, yoğun dikkat doğruluğunun dörtte biri hesaplama gücüyle eşleşen bir algoritmayı açık kaynak olarak yayınladı. Bu atılım, uzun bağlamlı yapay zeka iş yüklerinde çıkarım maliyetlerini önemli ölçüde azaltabilir.
Geri
Tencent Hunyuan, yeni seyrek dikkat algoritmasıyla yapay zeka hesaplama maliyetini %75 düşürüyor
Tencent Holdings Ltd.'nin Hunyuan yapay zeka ekibi, yoğun dikkat doğruluğuna yakın bir seviyeye %75 daha az hesaplama gücü kullanarak ulaşan bir seyrek dikkat algoritması geliştirdi. Bu gelişme, uzun bağlamlı akıl yürütme için çıkarım maliyetlerini yıllık milyonlarca dolar azaltma potansiyeli taşıyor.
"Stem, nedensel bilgi akışı perspektifinden blok düzeyinde seyrekliği yeniden ele alıyor; önceki yaklaşımlar bu boyutu göz ardı etmişti," diye belirtti Tencent Hunyuan araştırma ekibi, algoritmayı detaylandıran teknik bir makalede.
Algoritma iki yenilik sunuyor: Dizideki mesafelerine göre token'ları ağırlıklandıran Token Pozisyon Azalması ve nihai çıktıya katkılarına göre dikkat bloklarını seçen Çıktı Duyarlı Metrik. Ekip, operatör düzeyinde, açık kaynaklı HPC Stem+BSA operatörlerinin 128.000 token'lık bağlam penceresi altında ilk token gecikmesini 3,7 kat azalttığını bildirdi.
Yaklaşık 20 kat ileri fiyat/kazanç oranından işlem gören Tencent, Alibaba Group Holding Ltd.'nin Qwen, Baidu Inc.'nin Ernie ve DeepSeek ile rekabet etmek için Hunyuan modeline yoğun yatırım yapıyor. Daha düşük çıkarım maliyetleri, Tencent'in bulut işinin marjlarını iyileştirebilir ve 1,3 milyardan fazla aylık aktif kullanıcısı olan WeChat'te daha uygun fiyatlı yapay zeka özelliklerini mümkün kılabilir.
Rekabet Ortamı Kızışıyor
Verimlilik artışı, Çin'in yapay zeka model yarışının maliyet düşürme aşamasına girdiği bir dönemde geliyor. 2024 sonunda piyasaya sürülen DeepSeek'in V3 modeli, rekabetçi performansın ABD'nin öncü modellerinin eğitim maliyetinin çok küçük bir kısmıyla mümkün olduğunu gösterdi. Tencent'in Stem algoritması, çıkarım tarafını — yani modelleri üretimde çalıştırmanın yinelenen giderini — hedefliyor. Sektör tahminlerine göre bu, dağıtılan uygulamalar için toplam yapay zeka iş yükü maliyetlerinin %60 ila %80'ini oluşturuyor.
Alibaba'nın Qwen ekibi de seyrek dikkat araştırmaları yayınlarken, Baidu Ernie modelini uzun bağlamlı görevler için optimize etti. Tencent'in HPC Stem+BSA operatörlerini açık kaynak olarak yayınlama kararı, yaklaşımını farklılaştırıyor ve geliştiricilerin bu verimlilik kazanımlarını tescilli lisanslama olmadan entegre etmelerine olanak tanıyor.
3,7 Kat Gecikme Azalması Ne Anlama Geliyor?
128.000 token'lık bağlamlar altında ilk token gecikmesinde 3,7 kat azalma, gerçek zamanlı uygulamalar için önemli. Uzun bir müşteri hizmetleri görüşmesini işleyen bir WeChat yapay zeka asistanı için bu, yanıtın onlarca saniye yerine saniyeler içinde başlaması anlamına geliyor. Citi analistleri bir notta, TongchengTravel Holdings Ltd.'nin Tencent'in WeChat AI Agent'ı ile potansiyel yakın işbirliğinden faydalanabileceğini belirterek hisse senedi için alım tavsiyesini yineledi.
128.000 token'lık bağlam penceresi, öncü modellerin sunduklarıyla karşılaştırılabilir nitelikte — OpenAI'in GPT-4 Turbo'su 128.000 token'ı, Anthropic'in Claude 3.5'i ise 200.000 token'ı destekliyor. Tencent'in algoritması, standart yoğun dikkat altında çıkarım giderlerinin dizi uzunluğuyla ikinci dereceden ölçeklendiği uzun bağlam segmentinde Hunyuan'a maliyet avantajı sağlayabilir.
Yatırım Çıkarımları
Tencent için maliyet tasarrufları, yapay zeka ayak izi boyunca birleşik etki yaratıyor. Şirket, 2024 mali yılında 53,3 milyar yuan (7,4 milyar $) bulut geliri bildirdi ve yapay zeka ile ilgili iş yükleri bu gelirin giderek büyüyen bir bileşeni oldu. Çıkarım maliyetindeki her yüzde puanlık düşüş, Tencent'in Alibaba Cloud ve Huawei Cloud ile fiyat rekabeti yaptığı bir işte marjları iyileştiriyor.
Açık kaynak stratejisi aynı zamanda stratejik bir mantık da taşıyor. Tencent, HPC operatörlerini kamuya açık hale getirerek topluluk katkıları ve ekosistem benimsemesi kazanıyor — Stem-optimize edilmiş altyapı üzerine inşa eden geliştiricilerin Hunyuan modellerini dağıtma olasılığı artıyor. Bu, Meta Platforms Inc.'in en yaygın benimsenen açık kaynak yapay zeka ailesi haline gelen Llama model serisine yaklaşımını yansıtıyor.
Bu makale yalnızca bilgilendirme amaçlıdır ve yatırım tavsiyesi niteliği taşımamaktadır.
