Yapay Zeka

Model Distillation Nedir? Büyük Yapay Zekâ Modellerinin Bilgisi Küçük Modellere Nasıl Aktarılıyor?

Model Distillation, diğer adıyla Knowledge Distillation (Bilgi Damıtma), bir modelden elde edilen öğrenme sinyalleriyle başka bir modelin eğitilmesini sağlayan yaklaşımdır. Yaygın kullanımında güçlü bir öğretmen model, daha küçük bir öğrenci modelin geliştirilmesine yardımcı olur.

Amaç, hedef görevlerde yeterli başarıyı daha düşük kaynak tüketimiyle sunabilmektir. Bunun için büyük modelin dosyası doğrudan küçültülmez; öğrenci model bir eğitim sürecinden geçirilir.

Model Distillation Nedir?

Bilgi damıtmada öğretmen model, öğrencinin öğrenmesine rehberlik eden tahminler veya temsiller üretir. Öğrenci model ise kendi parametrelerini bu rehberlikten yararlanarak günceller.

Öğretmen tek bir model olabileceği gibi, birden fazla modelin birlikte ürettiği sonuçlar da kullanılabilir. Hinton, Vinyals ve Dean’in 2015 tarihli çalışması, model topluluklarının bilgisini daha kolay çalıştırılabilen tek bir modele aktarma yaklaşımının temel kaynaklarındandır.

Öğrencinin daha küçük olması yaygın bir tercihtir; ancak bütün damıtma yöntemleri bunu zorunlu kılmaz. Aynı büyüklükteki modeller arasında bilgi aktarımı ve modelin kendi öğrenmesinden yararlanan self-distillation yaklaşımları da bulunur.

Model Distillation Nasıl Çalışır?

Bir dil modeli uygulamasında süreç şöyle düzenlenebilir:

  1. Hedef görev belirlenir: Özetleme, sınıflandırma veya soru-cevap gibi kullanım alanı seçilir.

  2. Eğitim örnekleri hazırlanır: Gerçek kullanım koşullarını temsil eden girdiler toplanır.

  3. Öğretmenden çıktılar alınır: Yanıtlar, tahmin olasılıkları veya erişilebilen ara temsiller elde edilir.

  4. Örnekler değerlendirilir: Hatalı, tutarsız ve görevle ilgisiz çıktılar ayıklanır.

  5. Öğrenci eğitilir: Öğretmenden gelen bilgiler ve varsa doğrulanmış etiketler kullanılarak öğrenci parametreleri güncellenir.

  6. Bağımsız test yapılır: Kalite, gecikme ve bellek ihtiyacı eğitimde kullanılmayan örneklerle ölçülür.

Eğitim tamamlandıktan sonra öğrenci model, normal kullanım sırasında öğretmeni çağırmadan çalışabilir. Öğretmenin büyük olması, öğrencinin bütün görevlerde başarılı olacağını garanti etmez.

Öğretmenden Hangi Bilgiler Aktarılır?

Tahmin Olasılıkları

Klasik damıtma yöntemlerinde yalnızca doğru sınıf etiketi kullanılmaz. Öğretmenin farklı seçeneklere verdiği olasılıklar da öğrenme sinyali sağlar.

Örneğin bir görsel için “kedi” tahmini yapan modelin “köpek” seçeneğini “otomobil” seçeneğinden daha olası görmesi, sınıflar arasındaki benzerlik hakkında ek bilgi taşıyabilir. Bu dağılımlar, temperature parametresiyle yumuşatılarak öğrenciye aktarılabilir.

Ara Katman Temsilleri

Bazı yöntemler, öğrencinin yalnızca son çıktısını değil, ara katmanlarda oluşturduğu temsilleri de öğretmene yaklaştırır. TinyBERT, Transformer modellerinde ara temsillerden ve attention bilgilerinden yararlanan damıtma çalışmalarına örnektir.

Üretilen Yanıtlar ve Açıklamalar

Öğretmenin iç katmanlarına erişilemiyorsa ürettiği metinler eğitim verisi olarak kullanılabilir.

Distilling Step-by-Step çalışması, öğretmenin yanıtlarına ek olarak ürettiği açıklamaları da küçük modellerin eğitiminde kullanmıştır. Araştırma, belirli görevlerde bu yaklaşımın daha az veriyle güçlü sonuçlar sağlayabildiğini göstermektedir. Bu bulgu, öğretmenin bütün yeteneklerinin öğrenciye geçtiği anlamına gelmez.

Somut Bir Örnek: DistilBERT

DistilBERT, BERT’ten bilgi damıtılarak geliştirilmiş daha küçük bir dil temsil modelidir.

Araştırmacılar, çalışmadaki değerlendirme koşullarında model boyutunun yüzde 40 azaltıldığını ve yüzde 60 hızlanma elde edildiğini raporlamıştır. Bunlar belirli bir model, test düzeni ve görev kümesine ait sonuçlardır; her damıtma projesi için beklenen kazanç olarak alınmamalıdır.

Çalışma ayrıca damıtmanın yalnızca belirli bir göreve uyarlama sırasında değil, ön eğitim aşamasında da uygulanabileceğini göstermektedir.

Distillation ile Fine-Tuning Aynı mı?

İki kavram farklı yönleri anlatır ve birlikte kullanılabilir.

Fine-tuning, önceden eğitilmiş bir modelin ek verilerle eğitilmeye devam edilmesidir. Distillation ise öğretmen modelden gelen bilginin bu öğrenmeye rehberlik etmesini ifade eder.

Dolayısıyla önceden eğitilmiş küçük bir modeli öğretmen yanıtlarıyla fine-tune etmek, aynı zamanda damıtma süreci olabilir. Öğrenciyi mutlaka sıfırdan eğitmek gerekmez. Distilling Step-by-Step çalışmasındaki küçük T5 modelleri bu birlikteliğe örnektir.

Quantization ve Pruning ile Farkı Nedir?

Model verimliliğini artıran yöntemlerin temel yaklaşımları farklıdır:

Yöntem Temel yaklaşım
Distillation Öğretmenden gelen bilgilerle öğrenci modeli eğitir.
Quantization Ağırlıkların veya aktivasyonların sayısal hassasiyetini azaltır.
Pruning Belirli ağırlıkları, bağlantıları veya yapısal bileşenleri kaldırır.

Bu yöntemler birbirini dışlamaz. Örneğin damıtılmış bir model daha sonra kuantize edilebilir. Ancak birlikte uygulanmaları hâlinde kalite ve performans yeniden ölçülmelidir.

Nerelerde Kullanılabilir?

Damıtma, özellikle belirli görevleri sık tekrar eden uygulamalarda değerlendirilebilir:

  • Müşteri mesajlarını sınıflandıran kurumsal sistemler.

  • Belgelerden belirli alanları çıkaran bilgi işleme uygulamaları.

  • Cihaz üzerinde çalışan metin analiz araçları.

  • Görüntü sınıflandırma ve konuşma işleme modelleri.

  • Daha düşük maliyetle çok sayıda isteğe yanıt vermesi gereken servisler.

Uygun öğrenci modeli seçildiğinde cihaz üzerinde çalışma kolaylaşabilir. Bununla birlikte, “damıtılmış” olması bir modelin her telefonda veya IoT cihazında çalışabileceği anlamına gelmez.

Avantajları ve Sınırlamaları Nelerdir?

Daha Düşük Çalıştırma Maliyeti

Daha küçük bir öğrenci, daha az bellek ve hesaplama gerektirebilir. Gerçek hız ve enerji kazancı; donanıma, yazılıma, giriş uzunluğuna ve eş zamanlı istek sayısına bağlıdır.

Göreve Özel Verimlilik

Dar bir görev için eğitilen öğrenci, genel amaçlı büyük bir modelin kullanılmasına duyulan ihtiyacı azaltabilir. Ancak bu başarı farklı alanlara otomatik olarak taşınmaz.

Öğretmenin Hataları

Yanlış veya tutarsız öğretmen çıktıları öğrencinin eğitimini de olumsuz etkileyebilir. Bu nedenle veri kalitesi ve bağımsız değerlendirme önemlidir.

Eğitim Maliyeti

Öğretmenden veri üretmek, örnekleri kontrol etmek ve öğrenciyi eğitmek kaynak gerektirir. Ekonomik değerlendirmede bu başlangıç maliyeti, sonraki kullanım tasarruflarıyla birlikte ele alınmalıdır.

Sık Sorulan Sorular

Damıtma, büyük modelin bütün bilgisini aktarır mı?

Hayır. Aktarım; eğitim örnekleri, kullanılan yöntem ve öğrencinin kapasitesiyle sınırlıdır.

Öğrenci öğretmenden daha başarılı olabilir mi?

Belirli görevlerde ve değerlendirme koşullarında olabilir. Bu durum öğrencinin genel olarak öğretmenden daha yetenekli olduğunu göstermez.

Damıtılmış model internetsiz çalışabilir mi?

Gerekli donanım ve yazılım cihazda bulunuyorsa çalışabilir. Çevrim dışı kullanım, damıtmanın zorunlu bir özelliği değildir.

Damıtma modelin doğruluğunu korur mu?

Tam olarak koruma garantisi yoktur. Hedef, kabul edilebilir kaliteyi daha düşük kaynak kullanımıyla sağlamaktır.

Model damıtmanın değeri, hedef görev için yeterli yeteneği daha ekonomik bir modele kazandırabilmesidir. Başarı, yalnızca modelin küçülmesiyle değil, gerçek kullanımda korunan kalite ve sağlanan tasarrufla değerlendirilmelidir.

Kaynaklar: Hinton, Vinyals ve Dean — Distilling the Knowledge in a Neural Network; Sanh ve arkadaşları — DistilBERT, a Distilled Version of BERT: Smaller, Faster, Cheaper and Lighter; Jiao ve arkadaşları — TinyBERT: Distilling BERT for Natural Language Understanding; Hsieh ve arkadaşları — Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes; Gou ve arkadaşları — Knowledge Distillation: A Survey.

Editör Notu

Bu içerik, kamuya açık bilgi damıtma araştırmaları ve özgün akademik yayınlardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Model damıtmanın sağlayacağı kalite, hız ve maliyet avantajları; öğretmen ve öğrenci modellerine, eğitim verilerine, donanıma ve hedef göreve bağlıdır.