Small Language Models (SLM), yani küçük dil modelleri, daha az parametreyle dil görevlerini yerine getiren modelleri ifade eder. Uygun işlerde daha düşük bellek ihtiyacı ve daha yönetilebilir işletme maliyeti sağlayabilirler.

Ancak küçük olmak, otomatik olarak hızlı, güvenli veya belirli bir alanda uzman olmak anlamına gelmez. Modelin eğitimi, çalışma altyapısı ve hedef görevdeki başarısı birlikte değerlendirilmelidir.

Asıl soru, “En güçlü model hangisi?” yerine “Bu görev için yeterli kaliteyi hangi model, hangi maliyetle sağlıyor?” olabilir.

Small Language Model Nedir?

SLM, daha büyük modellerle karşılaştırıldığında sınırlı parametre sayısına sahip dil modelleri için kullanılan bir tanımdır.

“Küçük” için herkesin kabul ettiği kesin bir parametre sınırı yoktur. Bir modelin küçük sayılması, karşılaştırıldığı modellere ve kullanım bağlamına bağlıdır.

SLM’ler de tokenlar üzerinden çalışır ve eğitimden öğrendikleri örüntülerle çıktı üretir. Genel amaçlı olabilir veya belirli görevler için uyarlanabilirler.

Dolayısıyla küçük modellerin tamamı uzman model, büyük modellerin tamamı genel amaçlı model değildir. Boyut ile uzmanlaşma ayrı özelliklerdir.

SLM ile LLM Arasındaki Fark

SLM ve LLM arasında tamamen farklı iki teknoloji bulunmaz. Küçük dil modelleri, geniş dil modeli ailesi içinde düşünülebilir.

Başlıca fark, model kapasitesi ve bunun kaynak ihtiyacına etkisidir. Bununla birlikte eğitim verisi ve tasarım kalitesi, parametre sayısı kadar önemlidir.

Bu tablo bir performans garantisi değildir. İyi hazırlanmış küçük bir model, belirli bir görevde daha büyük bir modelden daha uygun sonuç verebilir. Başka bir görevde ise fark tersine dönebilir.

Küçük Modeller Nasıl Başarılı Olabiliyor?

Model büyüklüğü önemli olsa da başarımı belirleyen tek unsur değildir.

Eğitim Verisinin Kalitesi

Doğru, çeşitli ve hedeflenen yetenekleri destekleyen veriler, sınırlı kapasitenin daha etkili kullanılmasına yardımcı olabilir.

Küçük model kullanılması, eğitim verisinin de mutlaka küçük olması gerektiği anlamına gelmez. Kompakt bir model kapsamlı bir veri koleksiyonuyla eğitilebilir.

Göreve Yönelik İnce Ayar

SFT, LoRA veya başka uyarlama yöntemleriyle belirli davranışlar öğretilebilir.

Örneğin destek mesajlarını kategorilere ayıran bir model, geniş kapsamlı sohbet yeteneğinden çok doğru sınıflandırma davranışına ihtiyaç duyar.

Bilgi Damıtma

Knowledge Distillation, daha büyük bir modelin çıktılarından veya başka eğitim sinyallerinden yararlanarak daha küçük bir model geliştirmeyi amaçlar.

Bu süreçte öğretici modelin bütün yeteneklerinin eksiksiz aktarılması beklenmez. Üretilen örneklerin doğruluğu ve çeşitliliği de kontrol edilmelidir.

Uygun Çalışma Altyapısı

Donanım desteği, hesaplama çekirdekleri ve kuantizasyon gibi teknikler, modelin pratik kullanımını etkiler.

İyi bir model, verimsiz bir çalışma motorunda beklenen hız avantajını sağlayamayabilir.

Bir Belge İşleme Örneği

Bir işletmenin gelen ürün açıklamalarından marka, miktar ve ambalaj türünü çıkarmak istediğini düşünelim.

Bu görevde modelin her konuda uzun açıklama yapması gerekmez. Verilen metne bağlı kalması ve alanları tutarlı biçimde doldurması önemlidir.

Uygun bir küçük model, bu görev için yeterli olabilir. Ancak başarısı gerçek ürün açıklamalarıyla test edilmelidir.

Modelin eksik bilgiyi uydurmaması, düzenli çıktı üretmesi kadar önemlidir.

Küçük Model ile Kuantize Model Aynı mı?

Hayır.

Küçük model, parametre sayısı bakımından görece küçüktür.

Kuantize model, ağırlıkları daha düşük bitli temsillerle saklanan modeldir. Kuantizasyon genellikle parametre sayısını azaltmaz.

Büyük bir model kuantize edilebilir. Küçük bir model de kuantize edilerek daha az bellekle çalıştırılabilir.

Bu ayrım, donanım planlamasında önemlidir. Dosya boyutu düşük olsa bile çalışma sırasında KV Cache, aktivasyonlar ve diğer bileşenler ek bellek gerektirebilir.

Cihaz Üzerinde Çalışmanın Avantajı Nedir?

Uygun bir SLM, gerekli çalışma bileşenleriyle birlikte yerel cihazda kullanılabilir.

Bu yaklaşım, bazı işlemlerde sunucuya veri gönderme ihtiyacını azaltabilir. Ağ gecikmesi ortadan kalkabilir ve bağlantı bulunmadığında belirli özellikler kullanılmaya devam edebilir.

Ancak yerel hesaplama da zaman ve enerji tüketir. Telefonun veya dizüstü bilgisayarın belleği, işlem gücü ve sıcaklık sınırları sonucu etkiler.

Yerel model her zaman buluttaki modelden daha hızlı değildir. Zayıf bir cihazda hesaplama süresi, ağ üzerinden kullanılan güçlü bir sunucudan daha uzun olabilir.

Edge AI ile SLM Arasındaki İlişki

Edge AI, yapay zekâ işlemlerinin veri kaynağına yakın cihazlarda yürütülmesini anlatır.

SLM, bu yaklaşımda kullanılabilecek model türlerinden biridir. Ancak bütün edge sistemleri dil modeli kullanmaz; görüntü tanıma veya sensör işleme modelleri de bulunabilir.

Benzer şekilde bütün SLM’ler cihaz üzerinde çalıştırılmaz. Küçük modeller bulut sunucularında da maliyet ve kapasite avantajı için kullanılabilir.

Yerel Çalışma Gizliliği Garanti Eder mi?

Hayır. Verinin cihazdan çıkmaması önemli bir avantaj olabilir, fakat bütün güvenlik sorunlarını çözmez.

Uygulama kayıtları, yedekleme, telemetri, cihaz erişimi ve modelin kullandığı harici araçlar ayrıca değerlendirilmelidir.

Yerel çalışan bir model, bir işlem sırasında dış servise başvuruyorsa ilgili veri yine cihaz dışına çıkabilir.

Bu nedenle gizlilik, yalnızca modelin konumuna değil, uygulamanın bütün veri akışına bağlıdır.

Hangi Görevlerde Daha Uygun Olabilir?

Metin Sınıflandırma

Destek talebi kategorileri, belge türleri veya mesaj öncelikleri gibi sınırlı görevlerde değerlendirilebilir.

Bilgi Çıkarma

Metinden belirli alanların alınması ve yapılandırılmış çıktıya dönüştürülmesi için kullanılabilir.

Kısa Özetleme

Kısa mesajlar veya belirli biçimdeki belgeler özetlenebilir. Uzun ve karmaşık içeriklerde kapsamın korunması ayrıca test edilmelidir.

Yerel Yardımcı Özellikler

Metin düzenleme, kısa açıklama üretme veya cihaz içindeki belirli içeriklerle çalışma gibi görevlerde kullanılabilir.

Yönlendirme

Bir isteğin hangi iş akışına veya bilgi kaynağına gönderileceğini belirlemeye yardımcı olabilir.

Bu görevler bile model ve veri seçimine göre farklı zorluklar taşıyabilir. “Basit görev” ifadesi, doğrulama gerekmeyen görev anlamına gelmez.

SLM ile RAG Birlikte Kullanılabilir mi?

Evet. Küçük bir model, dış kaynaklardan getirilen bilgilerle cevap üretebilir.

RAG, modelin eğitiminde bulunmayan belgeleri bağlama ekleyebilir. Ancak küçük modelin bu belgeleri doğru yorumlaması ve soruyla ilişkilendirmesi gerekir.

Çok fazla veya ilgisiz içerik verilmesi, sınırlı kapasiteyi zorlayabilir. Bu nedenle belge seçimi ve bağlam düzeni önemlidir.

Dış bilgi sağlamak, modelin muhakeme kapasitesini otomatik olarak büyütmez.

Büyük ve Küçük Modeller Birlikte Nasıl Kullanılır?

Bir uygulama, farklı görevler için farklı modeller kullanabilir.

Kısa ve ölçülebilir işler küçük modele gönderilirken, daha karmaşık veya geniş bağlam gerektiren talepler başka bir modele yönlendirilebilir.

Ancak hangi isteğin zor olduğunu belirlemek de ayrı bir problemdir. Yanlış yönlendirme, kalite kaybına yol açabilir.

Bu nedenle model seçimi; görev başarısı, maliyet, gecikme ve gizlilik koşulları birlikte değerlendirilerek yapılmalıdır. Gerektiğinde başka bir modele geçiş mekanizması tanımlanabilir.

Başlıca Sınırlamalar

Karmaşık Görevlerde Kapasite

Çok adımlı muhakeme ve farklı bilgileri birlikte değerlendirme gerektiren görevlerde performans düşebilir.

Dil ve Alan Desteği

Küçük modelin belirli bir dilde veya özel terminolojide yeterli olması ayrıca ölçülmelidir.

Uzun Bağlam Kullanımı

Uzun giriş desteklenmesi, içindeki bütün ayrıntıların başarıyla kullanılacağını garanti etmez.

Yanlış Bilgi Üretimi

Küçük modeller de desteklenmeyen bilgiler üretebilir. Boyutun küçülmesi bu sorunu ortadan kaldırmaz.

Özelleştirme Sonrası Gerileme

Dar bir göreve aşırı uyarlama, başka yetenekleri olumsuz etkileyebilir.

SLM Seçerken Ne Ölçülmeli?

Parametre sayısını tek başına karşılaştırmak yeterli değildir.

Modelin hedef görevdeki başarısı, gerçek cihazdaki bellek kullanımı, ilk yanıt gecikmesi ve toplam işlem süresi ölçülmelidir.

Eksik bilgiyle karşılaştığında tahmin üretip üretmediği, çıktı biçimine uyumu ve zor örneklerdeki davranışı da değerlendirilmelidir.

Lisans ve dağıtım koşulları ayrıca incelenmelidir. Küçük veya indirilebilir bir model, her kullanım için sınırsız izin sunmayabilir.

Sık Sorulan Sorular

SLM için kesin bir parametre sınırı var mı?

Hayır. “Küçük” tanımı karşılaştırma bağlamına göre değişir.

İnternet olmadan çalışabilir mi?

Model ve çalışma altyapısı yereldeyse bazı görevler yapılabilir. Harici veri veya araç gerektiren işlemler bağlantıya ihtiyaç duyabilir.

Her telefonda çalışır mı?

Hayır. Model boyutu, bellek, donanım desteği ve uygulama yapısı belirleyicidir.

Küçük modeller büyük modellerin yerini alır mı?

Bütün görevlerde değil. Bazı uygulamalarda yeterli olabilirler; başka görevlerde daha büyük modeller veya farklı sistemler gerekebilir.

Kaynaklar: Ronen Eldan ve Yuanzhi Li — TinyStories: How Small Can Language Models Be and Still Speak Coherent English?; Suriya Gunasekar ve diğerleri — Textbooks Are All You Need; Geoffrey Hinton, Oriol Vinyals ve Jeff Dean — Distilling the Knowledge in a Neural Network; Jordan Hoffmann ve diğerleri — Training Compute-Optimal Large Language Models.

Editör Notu

Bu içerik, küçük dil modelleri ve verimli model kullanımı üzerine teknik yaklaşımları ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. SLM’lerin görev başarısı, hızı, bellek ihtiyacı ve gizlilik özellikleri; eğitim verilerine, model tasarımına, kuantizasyon yöntemine, donanıma ve uygulama yapılandırmasına göre değişebilir. Küçük model kullanılması, düşük maliyeti, yerel çalışmayı veya doğru cevap üretimini tek başına garanti etmez.