Büyük dil modellerinin bu bekleme süresini oluşturan özelliklerinden biri, metni çoğunlukla tokenları sırayla seçerek üretmeleridir. Her yeni token, öncesinde oluşturulan metne bağlıdır. Modelin büyüklüğü arttıkça bu üretim adımlarının maliyeti de önemli hâle gelebilir.

Speculative Decoding, büyük modelin kabul edebileceği devamları önce daha düşük maliyetle önererek bu süreci hızlandırmayı amaçlar. Büyük model, önerilen tokenları topluca değerlendirir ve uygun bulunan başlangıç bölümünü kabul eder.

Yöntemin temelinde, pahalı üretim adımlarını azaltmak vardır. Ancak hız kazancı; yardımcı modelin başarısına, doğrulama maliyetine ve kullanılan altyapıya bağlıdır.

Speculative Decoding Nedir?

Speculative Decoding, aday token dizilerinin önceden oluşturulup hedef dil modeli tarafından doğrulanmasına dayanan bir çıkarım optimizasyon tekniğidir.

Yaygın kullanılan düzenekte iki model görev alır:

• Draft model: Birkaç tokenlık aday devamı hızlı şekilde üretir.
• Target model: Adayları değerlendirir ve kabul edilecek devamı belirler.

Draft model, kullanıcıya verilecek cevabın son karar mercii değildir. Görevi, hedef modelin kabul edebileceği tokenları mümkün olduğunca düşük maliyetle önermektir.

Burada “doğrulama” kelimesinin anlamı önemlidir. Target model, önerilen metnin gerçek dünyada doğru olup olmadığını araştırmaz. Tokenların kendi üretim kuralları ve olasılıklarıyla uyumunu değerlendirir. Bu nedenle Speculative Decoding, yanlış bilgi üretimini ortadan kaldıran bir yöntem değildir.

Token Token Üretim Neden Yavaşlayabilir?

Token, her zaman bir kelimeye karşılık gelmez. Bir kelimenin parçası, noktalama işareti veya başka bir metin birimi olabilir.

Otoregresif üretimde model, mevcut bağlama bakarak sıradaki tokenın olasılıklarını hesaplar. Bir token seçildikten sonra bağlam genişler ve sonraki üretim adımı başlar.

KV Cache kullanıldığında önceki tokenlara ilişkin bazı hesaplamalar yeniden kullanılabilir. Buna rağmen her yeni üretim adımında modelin katmanları üzerinden hesaplama yapılması gerekir.

Özellikle düşük eşzamanlılıkla çalışan büyük modellerde, model ağırlıklarının bellekten taşınması önemli bir maliyet oluşturabilir. Speculative Decoding, aynı büyük model çağrısından daha fazla ilerleme elde etmeye çalışır.

Speculative Decoding Nasıl Çalışır?

Sistem önce kullanıcı girdisini işler. Ardından draft model, mevcut bağlamın devamı için birkaç token önerir.

Örneğin aday devam şöyle olabilir:

“Bu yöntemin temel avantajı…”

Target model, önerilen diziyi topluca değerlendirerek her konumdaki token olasılıklarını hesaplar. Aday tokenlar hazır olduğu için bu doğrulama, uygun dikkat maskesiyle tek bir ileri geçiş içinde gerçekleştirilebilir.

Süreç beş adımda özetlenebilir:

1. Aday üretimi: Draft model birkaç tokenlık devam önerir.
2. Toplu değerlendirme: Target model önerilen diziyi işler.
3. Kabul kontrolü: Tokenlar, kullanılan algoritmanın kabul koşullarına göre değerlendirilir.
4. Düzeltme: İlk reddedilen konumda uygun bir token seçilir.
5. Yeni tur: Güncellenen bağlam üzerinden aday üretimi tekrar başlar.

Bir aday reddedildiğinde, onun arkasındaki öneriler doğrudan kullanılmaz. Çünkü sonraki tokenlar, artık kabul edilmeyen bir devam üzerinden oluşturulmuştur.

Adayların tamamı kabul edilirse, bazı standart düzeneklerde aynı doğrulama turunda target modelden ek bir token da üretilebilir.

Target Model Yalnızca Kontrol mü Yapar?

Target modelin rolünü “sadece doğrulama yapar” şeklinde açıklamak eksik kalır.

Hedef model, aday tokenların olasılıklarını hesaplar. Bir aday reddedildiğinde düzeltme tokenının seçilmesine katkı sağlar. Aday dizinin tamamı kabul edildiğinde de üretimin bir sonraki adımını ilerletebilir.

Dolayısıyla büyük model devreden çıkarılmaz. Nihai üretim davranışını belirleyen model olmaya devam eder; yalnızca çalıştırılma biçimi daha verimli hâle getirilmeye çalışılır.

Aynı Yanıt mı, Aynı Dağılım mı Korunuyor?

“Kalite değişmeden hızlanır” ifadesini anlamak için üretim yöntemlerini ayırmak gerekir.

Greedy decoding kullanıldığında, model her adımda en yüksek olasılıklı tokenı seçer. Uygun doğrulama mekanizmasıyla, doğrudan hedef modelin üreteceği token dizisi korunabilir.

Olasılıksal örneklemede ise tokenlar belirli bir dağılımdan seçilir. Dağılımı koruyan speculative sampling algoritmaları, kabul ve düzeltme işlemlerini hedef modelin örnekleme dağılımını koruyacak şekilde tasarlar.

Bu, ayrı çalıştırmalarda mutlaka aynı cümlenin üretileceği anlamına gelmez. Rastgele örnekleme zaten farklı yanıtlar oluşturabilir.

Önemli olan, doğru algoritma ve uyumlu örnekleme koşullarında küçük modelin hedef modelin çıktı dağılımını değiştirmemesidir. Her spekülatif üretim varyantının bu güvenceyi aynı biçimde sunduğu varsayılmamalıdır.

Hız Kazancını Belirleyen Etkenler

Draft modelin küçük olması tek başına yeterli değildir. Çok hızlı fakat hedef modelle uyumsuz öneriler üreten bir model, sık reddedilen tokenlar nedeniyle sınırlı fayda sağlayabilir.

Bu nedenle en uygun yardımcı model, mutlaka en küçük model değildir. Asıl hedef, tahminlerin kabul edilme ihtimali ile onları üretmenin maliyeti arasında denge kurmaktır.

Benzer şekilde, her turda daha fazla token önermek her zaman daha hızlı sonuç vermez. Uzun bir aday dizinin başlarında ret oluşursa sonraki tahminlerin önemli bölümü kullanılamaz.

İlk Yanıt Süresi Her Zaman Kısalır mı?

Speculative Decoding öncelikle cevap üretim aşamasını, yani decoding sürecini hızlandırmayı hedefler.

Uzun bir kullanıcı girdisinin modele işlenmesi ise prefill adı verilen ayrı bir aşamadır. Örneğin yüzlerce sayfalık bir belge gönderildiğinde, ilk tokena kadar geçen sürenin önemli bölümü girişin işlenmesinden kaynaklanabilir.

Bu ayrım nedeniyle yöntem:

• Uzun cevapların tamamlanma süresini azaltabilir.
• Üretim sırasında tokenların daha hızlı gelmesini sağlayabilir.
• İlk token gecikmesini her koşulda azaltmayabilir.

Kısa yanıtlar için yardımcı modelin ek maliyeti daha belirgin olabilir. Uzun üretimlerde ise kabul edilen tokenların sağladığı avantaj daha fazla birikebilir.

Nerelerde Kullanılabilir?

Kod tamamlama sistemlerinde, tekrar eden sözdizimi ve öngörülebilir devamlar aday üretimi için uygun olabilir. Yine de başarı, programlama diline ve görevin karmaşıklığına göre değişir.

Sohbet uygulamalarında, uzun açıklamalar veya ayrıntılı yanıtlar daha kısa sürede tamamlanabilir.

Yapay zekâ ajanlarında, birden fazla model çağrısının toplam süresini azaltmaya katkı sağlayabilir. Ancak iş akışındaki asıl bekleme araç çağrılarından veya ağ işlemlerinden kaynaklanıyorsa, metin üretimini hızlandırmak bütün görevi aynı ölçüde hızlandırmaz.

Kurumsal servislerde, gerçek trafik altında ölçüm yapılması gerekir. Tek kullanıcı için elde edilen hız artışı, yoğun eşzamanlı kullanımda aynı oranda kapasite artışı anlamına gelmeyebilir.

Speculative Decoding ile KV Cache Arasındaki Fark

Bu iki yöntem üretim sürecinin farklı maliyetlerini hedefler.

KV Cache, önceki tokenların anahtar ve değer temsillerini saklayarak bunların tekrar hesaplanmasını önler.

Speculative Decoding, gelecekteki tokenlar için adaylar oluşturup bunları topluca doğrulayarak büyük modelin üretim turlarını azaltmaya çalışır.

Birlikte kullanılabilirler. Ancak kazançları doğrudan toplanmaz; bir optimizasyon uygulandığında sistemin darboğazı başka bir noktaya taşınabilir.

Ayrı Bir Draft Model Zorunlu mu?

Hayır. Ayrı bir küçük model, yaygın kullanılan düzenektir; fakat spekülatif üretimin tek biçimi değildir.

Adaylar ek tahmin başlıklarından, modelin ara temsillerinden veya bağlamdaki tekrar eden dizilerden de üretilebilir. Bu yaklaşımların eğitim gereksinimleri ve bellek maliyetleri farklıdır.

Dolayısıyla “Speculative Decoding model ağırlıklarını değiştirmez” ifadesi kullanım aşaması açısından doğru olsa da bütün yöntem ailesini açıklamaz. Klasik iki model düzeni hedef modeli yeniden eğitmeden uygulanabilir; bazı alternatifler ise ek bileşenlerin eğitilmesini gerektirir.

Sık Sorulan Sorular

Draft model yanlış tahmin yaparsa ne olur?

Önerilen tokenlar doğrudan kullanıcıya gösterilmez. Doğrulama sırasında reddedilen devam düzeltilir ve üretim güncellenen bağlam üzerinden sürer.

Her modelde hız artışı sağlar mı?

Hayır. Kabul oranı düşükse veya aday üretimi pahalıysa kazanç azalabilir. Bazı koşullarda toplam üretim süresi uzayabilir.

Daha fazla bellek gerektirir mi?

Ayrı yardımcı model kullanılan düzeneklerde ek model ağırlıkları ve önbellek için bellek gerekir. Bu nedenle hız kazanımı, bellek ihtiyacıyla birlikte değerlendirilmelidir.

Yanlış bilgi üretimini azaltır mı?

Yöntemin temel amacı üretimi hızlandırmaktır. Hedef modelin kendi bilgi hatalarını veya hallüsinasyonlarını otomatik olarak düzeltmez.

Kaynaklar: Yaniv Leviathan, Matan Kalman ve Yossi Matias — Fast Inference from Transformers via Speculative Decoding; Charlie Chen ve diğerleri — Accelerating Large Language Model Decoding with Speculative Sampling.

Editör Notu

Bu içerik, spekülatif üretimin çalışma mantığını ve büyük dil modeli çıkarımındaki kullanım koşullarını ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Hız kazancı, bellek gereksinimi ve çıktı dağılımının korunması; kullanılan algoritmaya, aday üretim yöntemine, örnekleme ayarlarına, donanıma ve iş yüküne bağlıdır. Tek bir performans ölçümü, bütün uygulamalar için aynı sonucu garanti etmez.