Meta, güç verimli yapay zeka lisan modelini tanıttı!

BEĞENDİM

ABONE OL

News

Meta, yapay zeka konusunda isminden sıkça kelam ettiren Llama 3.2 modelinin yeni ve çok daha verimli bir sürümünü tanıttı. Ekim ayında duyurulan sürüm, düşük güç tüketimi ve taşınabilir aygıtlara uyumlu yapısıyla karşımıza çıkıyor. İşte detaylar…

Meta, Llama 3.2 modelinin 1B ve 3B sayısal versiyonlarıyla karşımızda!

Öncelikle Meta’nın, yeni versiyonları geliştirmek için model quantization (model küçültme) yoluna başvurduğunu belirtelim. Böylelikle 1B ve 3B versiyonlar, performans açısından gözle görülür bir artış sunarken, güç tüketiminde de büyük bir düşüş sağladı.

Öyle ki, bu yeni modeller RAM kullanımını %41 oranında azaltırken, model boyutlarını da ortalama %56 küçülttü. Yani, daha süratli çalışan ve daha az güç tüketen yapay zeka modelleri karşımıza çıkmış oldu. Pekala Meta bunu nasıl başardı?

İşin sırrı, iki farklı teknikten geçiyor: Quantization-Aware Training (QAT) ve SpinQuant. QAT, modelin doğruluğunu koruyarak küçültme süreci yaparken, SpinQuant ise modelin daha taşınabilir hale gelmesini sağlıyor. QAT, modelin eğitim sürecinde devreye giriyor ve küçültme süreci sırasında bile doğruluğun yüksek kalmasını sağlıyor.

SpinQuant ise, modeli daha hafif platformlarda çalıştırmak için ülkü hale getiriyor. Bu sayede, Meta’nın yapay zekâ modelleri sadece büyük sunucularda değil, taşınabilir aygıtlar üzere daha hafif sistemlerde de tesirli bir biçimde çalışabiliyor.

Bu ortada Meta, yeni ve daha hafif modellerini OnePlus 12, Samsung S24+, S22 ve birtakım Apple iOS aygıtlarında test etti. Testlerin sonuçları epeyce umut verici. Yeni modellerin, özgün Llama BF16 versiyonu ile kıyaslandığında, performans farkının çok az olduğu belirtiliyor.

Ancak bu yeni modellerin 8000 Token’lık bir bağlam kapasitesi bulunuyor, yani özgün Llama’nın 128,000 Token’lık kapasitesine nazaran daha düşük. Biraz sınırlayıcı üzere görünebilir lakin Meta’nın test sonuçlarına nazaran, bu yeni modeller bilhassa taşınabilir aygıtlar için ülkü bir tahlil sunuyor. Ayrıyeten, gelecekte bu modellerin performansını daha da artırmak için NPU (Neural Processing Unit) takviyesi ile geliştirmeler planlanıyor.