Bazı modeller yüz binlerce, bazıları ise bir milyon veya daha fazla tokenlık girdiyle çalışabilir. Ancak daha fazla bilgiyi modele gönderebilmek, bütün ayrıntıların eksiksiz değerlendirileceği anlamına gelmez. Uzun bağlamın yararı; modelin yeteneklerine, verilen bilgilerin niteliğine ve görevin zorluğuna bağlıdır.

Long Context Nedir?

Long Context, bir yapay zekâ modelinin uzun metinleri ve geniş bilgi bütünlerini aynı bağlam içerisinde işleyebilme yeteneğini ifade eder. “Uzun” sayılacak bağlam için bütün modellerde geçerli tek bir token eşiği bulunmaz.

Modele sunulan bağlam şunları içerebilir:

• Sistem talimatları ve kullanıcı mesajları

• Önceki konuşmalar

• Belgeler ve kod dosyaları

• RAG ile getirilen içerikler

• Araçlardan dönen sonuçlar

• Desteklenen modellerde görsel, ses ve video girdileri

Bu içerikler, modelin yanıt üretirken kullanabileceği bilgileri oluşturur.

Context Window ile Long Context Arasındaki Fark

Context Window (Bağlam Penceresi), modelin bir işlem sırasında kullanabildiği bağlamın token cinsinden kapasitesidir. Long Context ise geniş bağlamlarla çalışabilme yeteneğini anlatır.

Token, her zaman bir kelimeye karşılık gelmez. Bir kelime birden fazla tokena ayrılabilir. Bu nedenle “500 sayfa” veya “100 bin satır kod” gibi ölçüler, tek başına token miktarını belirlemez.

Girdi ve çıktı sınırları da birlikte değerlendirilmelidir. Model veya hizmet, toplam bağlam sınırına ek olarak ayrı giriş ve yanıt uzunluğu sınırları uygulayabilir. Görsel ve ses gibi girdiler de kullanılan sisteme göre token bütçesinden pay alabilir.

Modeller Uzun Bağlamı Nasıl İşleyebiliyor?

Uzun bağlam desteği, yalnızca daha fazla GPU belleği kullanılarak elde edilmez. Modelin eğitim biçimi, konum bilgilerini temsil etme yöntemi ve hesaplama altyapısı birlikte önem taşır.

Transformer modellerinde tokenların sırası, konumsal bilgiler aracılığıyla temsil edilir. Bağlamı genişletmeye yönelik araştırmalar, bu mekanizmaların daha uzun dizilerde çalışmasını sağlayan uyarlamaları ve ek eğitim yöntemlerini içerir. YaRN, bu alandaki yöntemlerden biridir.

Dolayısıyla bir modelin yapılandırmasındaki bağlam uzunluğunu artırmak, tek başına o uzunlukta güvenilir performans sağlayacağını göstermez.

Long Context Optimization Nedir?

Uzun bağlam optimizasyonu, geniş girdilerle çalışırken bellek tüketimini, gecikmeyi ve işlem maliyetini yönetmeye yönelik tekniklerin genel adıdır.

Bu teknikler farklı sorunları çözer; hepsi modelin bağlam penceresini doğrudan büyütmez.

FlashAttention

FlashAttention, dikkat hesaplamalarında GPU belleği ile işlem birimleri arasındaki veri hareketini azaltır. Büyük ara matrislerin belleğe yazılmasını sınırlayarak daha verimli hesaplama sağlar.

Ancak standart yoğun dikkat işleminin bağlam uzunluğuna göre karesel artan hesaplama maliyetini ortadan kaldırmaz. Ayrıca tek başına modelin desteklediği bağlam sınırını genişletmez.

KV Cache

KV Cache, önceki tokenlar için hesaplanan Key ve Value tensörlerini saklar. Böylece yanıt üretilirken bu değerlerin tekrar hesaplanması önlenir.

Yeni tokenın geçmiş bilgilerle dikkat ilişkisi yine hesaplanır. Tam dikkat kullanan modellerde geçmiş uzadıkça önbelleğin bellek ihtiyacı da büyür. Bu nedenle hesaplama tasarrufu, ek bellek kullanımıyla birlikte değerlendirilir.

Sliding Window Attention

Kayan pencere yaklaşımı, ilgili dikkat katmanlarında her tokenın doğrudan erişebildiği geçmişi belirli bir aralıkla sınırlar.

Bu yöntem kaynak kullanımını azaltabilir; ancak bütün tokenların tüm geçmişe doğrudan eriştiği tam dikkat yapısıyla aynı değildir.

Bağlam Sıkıştırma ve Parçalama

Özetleme ve Context Compression, modele gönderilecek içeriği küçültür. Chunking, belgeleri yönetilebilir parçalara ayırır.

Bu işlemler önemli ayrıntıların elenmesine neden olabilir. Ayrıca belgeyi parçalamak, parçaların tamamı tekrar modele gönderiliyorsa toplam token sayısını kendiliğinden azaltmaz.

Prompt Caching

Tekrarlanan bağlamın desteklenen altyapılarda yeniden kullanılması, giriş işleme maliyetini ve bazı durumlarda gecikmeyi azaltabilir. Önbelleğe alınan içerik yine bağlam sınırlarına tabidir; bu özellik sınırsız veya kalıcı model hafızası anlamına gelmez.

Uzun Bağlamlı Bir Uygulama Nasıl Çalışır?

Örneğin bir şirketin farklı yıllara ait faaliyet raporları karşılaştırılacak olsun:

1. Belgeler hazırlanır: Metinler, tablolar ve kaynak bilgileri çıkarılır.

2. İlgili içerikler seçilir: Gereksiz tekrarlar ve görevle ilgisiz bölümler elenir.

3. Token bütçesi hesaplanır: Talimatlar, belgeler ve üretilecek yanıt için yer ayrılır.

4. Bağlam düzenlenir: Belgeler tarih, başlık ve kaynak bilgileriyle sunulur.

5. Model yanıt üretir: İstenen karşılaştırmayı hazırlaması ve dayandığı bölümleri belirtmesi istenir.

6. Sonuç doğrulanır: Sayılar, alıntılar ve çıkarımlar kaynaklarla kontrol edilir.

Bu süreçte amaç, mümkün olan en fazla metni göndermekten çok görevin gerektirdiği bilgiyi kullanılabilir biçimde sunmaktır.

Karşılaşılan Zorluklar

Bellek ve Gecikme

Uzun girdilerin işlenmesi daha fazla kaynak gerektirebilir. Özellikle ilk yanıt tokenının üretilmesine kadar geçen süre uzayabilir.

Lost in the Middle Problemi

Lost in the Middle araştırması, incelenen modellerin bazı görevlerde bağlamın başındaki ve sonundaki bilgilere, ortadaki bilgilere göre daha başarılı erişebildiğini göstermiştir.

Bu bulgu bütün modeller için değişmez bir kural değildir. Ancak bilginin bağlam içindeki konumunun performansı etkileyebileceğini gösterir.

Kapasite ile Etkili Kullanım Arasındaki Fark

Uzun bir metnin içindeki tek bir bilgiyi bulmak; farklı bölümleri birleştirmek, çelişkileri çözmek veya kapsamlı bir hesaplama yapmakla aynı zorlukta değildir.

RULER çalışması, uzun bağlam değerlendirmesinde basit bilgi bulma testlerinin ötesine geçilmesi gerektiğini gösterir. İlan edilen bağlam kapasitesi, her görevde aynı başarı düzeyi anlamına gelmez.

Long Context ile RAG Arasındaki Fark

RAG yalnızca küçük bağlamlı modeller için kullanılmaz. Büyük arşivlerde doğru belgeleri seçmek, güncel bilgiye erişmek ve maliyeti yönetmek açısından uzun bağlamlı modellerle de birlikte kullanılabilir.

Nerelerde Kullanılıyor?

• Yazılım geliştirme: Birbiriyle ilişkili kod dosyalarının incelenmesinde.

• Kurumsal analiz: Rapor ve toplantı kayıtlarının karşılaştırılmasında.

• Hukuk: Uzun sözleşmelerin ve ilgili belgelerin değerlendirilmesinde.

• Akademik araştırma: Birden fazla çalışmanın birlikte analiz edilmesinde.

• AI Agent sistemleri: Görev talimatları, çalışma geçmişi ve araç sonuçlarının yönetilmesinde.

Sık Sorulan Sorular

Uzun bağlam daha doğru yanıt garantiler mi?

Hayır. Yanıt kalitesi; bilginin doğruluğuna, seçimine, modelin yeteneğine ve göreve bağlıdır.

Long Context kalıcı hafıza mıdır?

Hayır. Bağlamda bulunan bilgi, modelin ağırlıklarına kalıcı olarak öğrenilmiş bilgiyle aynı değildir.

FlashAttention bağlam penceresini büyütür mü?

Tek başına büyütmez. Dikkat hesaplamasının daha verimli gerçekleştirilmesini sağlar.

Uzun bağlam RAG ihtiyacını ortadan kaldırır mı?

Hayır. İki yaklaşım, uygulamanın ihtiyaçlarına göre birbirini tamamlayabilir.

Uzun bağlam teknolojilerinin gelişiminde hedef, yalnızca daha yüksek token sayılarına ulaşmak değildir. Bu bilgiyi güvenilir biçimde kullanabilmek ve maliyeti yönetebilmek de aynı ölçüde önemlidir.

Kaynaklar: Google AI for Developers — Long Context ve Understand and Count Tokens; Hugging Face Transformers — How Caching Works; YaRN: Efficient Context Window Extension of Large Language Models; FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness; Lost in the Middle: How Language Models Use Long Contexts; RULER: What’s the Real Context Size of Your Long-Context Language Models?

Editör Notu

Bu içerik, kamuya açık akademik araştırmalardan ve resmî teknik dokümantasyonlardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Uzun bağlam desteği ve performansı modele, altyapıya ve göreve göre değişebilir. Güncel teknik dokümanların ve bağımsız değerlendirmelerin takip edilmesi önerilir.