Yapay Zekâ Modelleri Neden Küçülüyor? Küçük Dil Modelleri Ne Sağlıyor?

Bir e-postayı sınıflandırmak, kısa bir metni düzenlemek veya belge içinden belirli alanları çıkarmak için çok geniş yeteneklere sahip bir model kullanmak her zaman ekonomik değildir.

Öte yandan daha küçük bir modelin ucuz olması da tek başına yeterli değildir. Hatalı sonuçlar nedeniyle sürekli yeniden çalıştırılması veya bütün çıktılarının ayrıntılı denetlenmesi gerekiyorsa beklenen kazanç azalabilir.

Small Language Models (SLM) yaklaşımının merkezinde, görevin ihtiyacına uygun hesaplama kapasitesi kullanmak bulunur. Bu, büyük modellerin önemini kaybettiği anlamına gelmez. Farklı büyüklükteki modeller, aynı sistem içinde farklı işler üstlenebilir.

Small Language Model Nedir?

Küçük dil modeli, daha büyük dil modellerine kıyasla az sayıda parametre içeren dil modelidir.

SLM için herkesin kabul ettiği kesin bir parametre sınırı yoktur. “Küçük” tanımı; karşılaştırılan modellere, kullanım ortamına ve donanım bütçesine göre değişebilir.

Bu modeller yalnızca tek bir göreve özel olmak zorunda değildir. Genel amaçlı küçük modeller de bulunabilir. Bazıları ise belirli alanlara veya çıktı biçimlerine uyarlanır.

Model büyüklüğü ile uzmanlaşma farklı özelliklerdir. Büyük bir model uzmanlaştırılabileceği gibi küçük bir model de çeşitli görevlerde kullanılabilir.

Küçük Modeller Neden Önem Kazanıyor?

Bir modelin kullanım maliyeti, yalnızca onu eğitmek için gereken kaynaklardan oluşmaz. Her kullanıcı isteğinde yapılan hesaplama, bellek kullanımı ve enerji tüketimi de önemlidir.

Özellikle sık tekrarlanan basit görevlerde daha küçük bir model uygun olabilir.

Örneğin bir uygulama her gün çok sayıda destek talebini kategorilere ayırıyorsa, bu iş için kapsamlı bir genel amaçlı model kullanmak yerine göreve uygun küçük bir model seçilebilir.

Başlıca gerekçeler şunlardır:

• Donanım kaynaklarını daha verimli kullanmak.
• Belirli görevlerde işlem maliyetini azaltmak.
• Yerel çalışmayı mümkün kılmak.
• Ağ bağlantısına bağımlılığı azaltmak.
• Uygulamayı farklı cihazlara dağıtabilmek.

Ancak bu kazanımların gerçek kullanımda ölçülmesi gerekir.

Model Boyutu Belleği Nasıl Etkiliyor?

Parametre sayısı, ağırlıkları saklamak için gereken belleği doğrudan etkiler.

Basitleştirilmiş bir hesapla, 3 milyar parametreli bir modelin ağırlıkları 16 bit biçiminde yaklaşık 6 GB alan kaplar. Aynı ağırlıkların 4 bit temsili için yalnızca temel veri hesabı yaklaşık 1,5 GB olur.

Bunlar bütün uygulamanın bellek ihtiyacı değildir. Kuantizasyon bilgileri, çalışma tamponları, ara veriler ve KV Cache ayrıca yer kaplar.

Küçük model, uzun bağlamda veya çok sayıda eşzamanlı istekte yine önemli miktarda bellek kullanabilir.

Küçük Model Nasıl Yetenekli Hâle Getiriliyor?

Küçük bir modelin başarısı yalnızca boyutuna bağlı değildir. Eğitim verisi, mimari ve görev uyarlaması önemlidir.

Veri kalitesinin artırılması

Tekrarlayan, hatalı veya ilgisiz örneklerin azaltılması; sınırlı model kapasitesinin daha yararlı örüntüler için kullanılmasına yardımcı olabilir.

Göreve yönelik ince ayar

Model, belirli talimatları veya çıktı biçimlerini uygulamak için eğitilebilir. Örneğin destek taleplerini önceden belirlenmiş kategorilere ayırması öğretilebilir.

Bilgi damıtımı

Knowledge distillation, daha güçlü bir modelden elde edilen çıktılar veya başka eğitim sinyalleriyle daha küçük bir modeli geliştirmeyi amaçlar.

Ancak büyük modelin bütün yetenekleri otomatik olarak küçük modele aktarılmaz. Öğretici modelin hataları da eğitim verisine yansıyabilir.

Kuantizasyon ve çalışma optimizasyonu

Daha düşük bit genişliği, ağırlıkların bellek maliyetini azaltabilir. Uygun hesaplama çekirdekleri ve donanım desteği de çalışma verimliliğini etkiler.

Kuantizasyon parametre sayısını azaltmaz. Modelin sayısal temsilini değiştirir; küçük model geliştirmekle aynı işlem değildir.

Hangi Görevlerde Kullanılabilir?

Küçük dil modelleri, kapsamı belirli ve sonuçları değerlendirilebilir görevlerde uygun olabilir.

Metin sınıflandırma: Destek taleplerini konuya göre ayırmak.

Bilgi çıkarma: Belgelerden tarih, ürün adı veya sipariş numarası gibi alanları almak.

Kısa metin düzenleme: Yazım düzeltmek veya belirli bir üsluba uyarlamak.

Özetleme: Uygun uzunluk ve kapsamda içerikleri kısaltmak.

Kod desteği: Belirli tamamlama veya dönüşüm görevlerini yürütmek.

Ancak aynı görev adı altında farklı zorluklar bulunur. Kısa bir notu özetlemek ile çelişkili bilgiler içeren uzun bir raporu özetlemek aynı kapasiteyi gerektirmez.

Yerel Çalışmak Ne Kazandırıyor?

Model cihaz üzerinde çalışıyorsa, her çıkarım isteğinin uzak sunucuya gönderilmesi gerekmeyebilir.

Bu yaklaşım:

• Ağ gecikmesini azaltabilir.
• Çevrimdışı kullanım sağlayabilir.
• Ham verinin dışarı aktarılmasını sınırlayabilir.
• Sunucu bağımlılığını azaltabilir.

Bunun karşılığında cihazın belleği, işlem gücü, pili ve soğutması kullanılır. Uzun süre çalışan model, telefonun veya bilgisayarın sıcaklığını ve pil tüketimini etkileyebilir.

Yerel çalışma ücretsiz hesaplama değildir; hesaplama maliyeti cihaz tarafına taşınır.

Yerel Model Gizliliği Garanti Eder mi?

Hayır. Verinin cihazda işlenmesi bazı aktarım risklerini azaltabilir, ancak bütün uygulamanın gizlilik açısından güvenli olduğunu göstermez.

Uygulama kayıt tutabilir, kullanım verisi gönderebilir veya bazı görevlerde bulut hizmetine başvurabilir. Belgeler ve model çıktıları cihaz üzerinde de korunmalıdır.

Bu nedenle gizlilik değerlendirmesi, modelin yerinden çok verinin bütün yaşam döngüsüne bakmalıdır.

RAG ve Araçlar Küçük Modele Yardımcı Olabilir mi?

Evet. Bir küçük model, harici bilgi erişimiyle kuruma özel belgelerden yararlanabilir. Hesaplama veya veri tabanı araçları da belirli görevleri destekleyebilir.

Ancak bu yöntemler modelin bütün kapasite sınırlarını kaldırmaz.

RAG doğru bilgiyi getirse bile model karmaşık ilişkileri yanlış yorumlayabilir. Araç kullanımı da doğru parametre oluşturma ve sonucu değerlendirme becerisi gerektirir.

Bilgiye erişim ile bilgiyi doğru kullanma ayrı yeteneklerdir.

Büyük ve Küçük Modeller Birlikte Nasıl Çalışır?

Bir uygulama bütün istekleri aynı modele göndermek yerine görev türüne göre yönlendirebilir.

Basit sınıflandırmalar küçük modele, kapsamlı analizler daha güçlü modele aktarılabilir. Küçük modelin başarısız olduğu belirli durumlarda başka bir modele geçiş yapılabilir.

Fakat bu düzenin de maliyeti vardır. Yanlış yönlendirme, tekrarlanan çağrılar ve iki sistemin bakımı beklenen kazancı azaltabilir.

Bu eşleştirme, gerçek performans testleriyle doğrulanmalıdır.

Küçük Model Seçerken Ne Ölçülmeli?

Yalnızca parametre sayısına veya bir genel sınav puanına bakmak yeterli değildir.

Gerçek uygulamada şu ölçütler birlikte incelenmelidir:

• Görev başarısı.
• Hatalı sonuçların etkisi.
• İlk yanıt ve toplam işlem süresi.
• Bellek kullanımı.
• Enerji tüketimi.
• Desteklenen diller ve veri türleri.
• Güncelleme ve dağıtım maliyeti.

Daha az kaynak kullanan fakat sık düzeltme gerektiren model, doğru tamamlanan görev başına daha pahalı olabilir.

Küçülmek, Büyük Modellerin Bittiği Anlamına mı Geliyor?

Hayır. Küçük modellerin değer kazanması, bütün model geliştirme çalışmalarının küçülmeye yöneldiğini göstermez.

Karmaşık problem çözme, geniş kapsamlı içerik üretimi ve zor görevlerde daha güçlü modeller önemli olabilir. Küçük modeller ise kaynak bütçesinin sınırlı olduğu veya görevin kapsamının iyi tanımlandığı uygulamalarda tercih edilebilir.

Asıl değişim, her iş için en büyük modeli kullanmak yerine uygun modeli seçmeye odaklanılmasıdır.

Sık Sorulan Sorular

SLM için kesin bir parametre sınırı var mı?

Hayır. Terim, kullanım bağlamına ve karşılaştırılan modellere göre değişir.

Küçük model her zaman daha hızlı mı çalışır?

Aynı koşullarda daha düşük hesaplama ihtiyacı avantaj sağlayabilir. Ancak donanım, yazılım ve üretim süreci gerçek hızı etkiler.

Her küçük model telefonda çalışabilir mi?

Hayır. Bellek, işlem desteği, bağlam uzunluğu ve cihazın kaynakları uygun olmalıdır.

Küçük model kullanmak daha az hata anlamına gelir mi?

Hayır. Hata oranı, görev ve eğitim kalitesiyle değerlendirilmelidir. Modelin küçük olması doğruluk garantisi değildir.

Kaynaklar: Geoffrey Hinton, Oriol Vinyals ve Jeff Dean — Distilling the Knowledge in a Neural Network; Suriya Gunasekar ve diğerleri — Textbooks Are All You Need; Mistral AI — Mistral 7B; Tim Dettmers ve diğerleri — LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale.

Editör Notu

Bu içerik, küçük dil modellerinin kullanım gerekçelerini ve kaynak verimliliği açısından sınırlarını ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Performans, bellek ihtiyacı ve enerji tüketimi; model mimarisine, sayısal hassasiyete, bağlam uzunluğuna, donanıma ve göreve göre değişebilir. Daha az parametre, her uygulamada daha düşük toplam maliyet veya yeterli doğruluk sağlayacağını garanti etmez.