FlashAttention, dikkat hesaplamasını GPU’nun bellek yapısına uygun biçimde düzenleyen bir algoritmadır. 2022 yılında yayımlanan çalışma, büyük ara matrisleri ana GPU belleğine yazıp okumayı azaltarak daha hızlı ve bellek açısından daha verimli hesaplama yapılabileceğini göstermiştir.

FlashAttention Nedir?

FlashAttention, Transformer modellerindeki dikkat işlemini bellek erişimlerini azaltarak gerçekleştiren bir optimizasyon yaklaşımıdır.

Temel fikir, bütün ara sonuçları büyük GPU belleğinde saklamak yerine hesaplamayı küçük bloklar hâlinde yürütmektir. Böylece işlem sırasında GPU içindeki hızlı bellekten daha fazla yararlanılır.

FlashAttention, kendi başına yeni bir dil modeli değildir. Uyumlu modellerin eğitiminde veya çıkarımında kullanılabilecek bir hesaplama yöntemidir.

Attention Neden Fazla Bellek Kullanır?

Standart yoğun dikkat hesaplamasında tokenlar arasındaki ilişkiler değerlendirilir. Doğrudan uygulamada, metin uzunluğunun karesiyle büyüyen dikkat skorları ve ara sonuçlar oluşturulabilir.

Örneğin metin uzunluğu iki katına çıktığında, tam dikkat için değerlendirilen token çiftlerinin sayısı yaklaşık dört katına çıkar. Bu ara sonuçların GPU belleğine yazılması ve yeniden okunması da zaman alır.

FlashAttention, yoğun dikkat hesaplamasının karesel işlem yükünü ortadan kaldırmaz. Asıl kazancı, büyük ara matrisleri bellekte tutma ihtiyacını ve veri taşıma maliyetini azaltmasıdır.

FlashAttention Nasıl Çalışır?

Dikkat mekanizmasında kullanılan Query, Key ve Value, yani sorgu, anahtar ve değer verileri küçük bloklar hâlinde işlenir.

Genel süreç şöyledir:

1. Veriler bloklara ayrılır: Hesaplama, hızlı belleğe sığabilecek parçalarla yürütülür.

2. İlgili bloklar hızlı belleğe alınır: GPU üzerindeki SRAM ve yazmaçlar gibi kaynaklardan yararlanılır.

3. Dikkat sonuçları aşamalı hesaplanır: Normalleştirme için gereken bilgiler bloklar boyunca güncellenir.

4. Ara veri aktarımı azaltılır: Bütün dikkat matrisi ana GPU belleğinde oluşturulmadan çıktı elde edilir.

Bu düzen, hesaplamayı GPU’nun bellek hiyerarşisine uygun hâle getirir. Eğitim sırasında bazı ara değerlerin yeniden hesaplanması da bellek tasarrufuna katkıda bulunabilir.

Matematiksel Olarak Aynı Sonucu mu Üretir?

FlashAttention, tam dikkat (exact attention) hesaplamasını hedefler. Yaklaşık dikkat yöntemlerinde olduğu gibi ilişkilerin bir bölümünü atlayarak hız kazanmayı esas almaz.

Ancak “aynı matematiksel işlem”, bilgisayarda her bitin aynı çıkacağı anlamına gelmez. İşlem sırası ve kayan noktalı sayıların yuvarlanması nedeniyle küçük sayısal farklılıklar oluşabilir. Resmî uygulama, çıktıları ve gradyanları referans hesaplamayla belirli sayısal toleranslar içinde karşılaştırır.

FlashAttention Sürümleri Nasıl Gelişti?

İlk FlashAttention, GPU belleği ile hızlı çip içi bellek arasındaki veri aktarımını azaltmaya odaklandı.

FlashAttention-2, işin GPU üzerindeki işlem birimleri arasında paylaşılmasını geliştirdi. Daha iyi paralelleştirme ve daha az gereksiz işlemle performansı artırmayı hedefledi.

FlashAttention-3, özellikle NVIDIA Hopper mimarisinin özelliklerinden yararlandı. Asenkron yürütme, veri aktarımıyla hesaplamanın örtüştürülmesi ve FP8 gibi düşük hassasiyetli işlemler üzerinde çalıştı. Düşük hassasiyet kullanıldığında sayısal doğruluk ayrıca değerlendirilmelidir.

Resmî proje ayrıca Hopper ve Blackwell GPU’lara yönelik FlashAttention-4 uygulamasını da içeriyor. Sürüm seçimi, kullanılan donanımın ve yazılım altyapısının desteklediği özelliklere bağlıdır.

Eğitim ve Çıkarımda Ne Sağlar?

FlashAttention, eğitimde dikkat işleminin bellek ihtiyacını azaltarak daha uzun dizilerle veya daha büyük işlem gruplarıyla çalışmayı kolaylaştırabilir.

Çıkarımda ise iki aşamayı ayırmak gerekir:

• Prefill: Kullanıcının gönderdiği metin topluca işlenir.

• Decode: Yanıtın yeni tokenları adım adım üretilir.

Bu aşamaların iş yükleri farklıdır. Uzun girdiyi işleme sırasında elde edilen hızlanma, token üretim aşamasında aynı oranda görülmeyebilir. Çıkarım için özelleştirilmiş dikkat uygulamaları ve bellek yönetimi teknikleri birlikte kullanılabilir.

FlashAttention ile KV Cache Arasındaki Fark Nedir?

FlashAttention, dikkat hesabının nasıl yürütüldüğünü optimize eder.

KV Cache ise önceki tokenlar için hesaplanmış Key ve Value tensörlerini saklar. Böylece yeni token üretilirken geçmiş tokenların bu temsillerinin yeniden hesaplanması gerekmez.

KV Cache, önceki dikkat çıktılarının tamamını saklayan bir sistem değildir. Ayrıca bağlam uzadıkça kendisi de önemli miktarda bellek tüketebilir. FlashAttention kullanılması bu bellek ihtiyacını otomatik olarak ortadan kaldırmaz.

Avantajları ve Sınırları Nelerdir?

FlashAttention; dikkat hesaplamasında daha az ara bellek kullanımı, daha düşük veri aktarım yükü ve uygun koşullarda daha yüksek hız sağlayabilir.

Bununla birlikte:

• Hızlanma sabit değildir: GPU, veri tipi, dizi uzunluğu ve işlem grubu büyüklüğü sonucu etkiler.

• Uyumluluk gerekir: Her sürüm bütün donanımları ve dikkat özelliklerini desteklemez.

• Toplam bellek ihtiyacı sürer: Model ağırlıkları, diğer katmanlar ve KV Cache de yer kaplar.

• Uçtan uca kazanç farklıdır: Dikkat işleminin hızlanması, bütün uygulamanın aynı oranda hızlanacağı anlamına gelmez.

Bu nedenle değerlendirmede yalnızca dikkat çekirdeğinin çalışma süresi değil, toplam eğitim veya yanıt üretme süresi de ölçülmelidir.

Sık Sorulan Sorular

FlashAttention modelin bağlam penceresini büyütür mü?

Bellek kullanımını azaltarak uzun girdilerin işlenmesini kolaylaştırabilir. Ancak modelin desteklediği bağlam uzunluğunu tek başına değiştirmez.

GPU belleğini tamamen boşaltır mı?

Hayır. Özellikle dikkat işlemindeki büyük ara matrislerin saklanma ihtiyacını azaltır. Diğer bellek giderleri devam eder.

Her modelde kullanılabilir mi?

Uygun dikkat yapısına, donanıma ve yazılım desteğine sahip modellerde kullanılabilir. Her mimari ve yapılandırma için aynı uygulama uygun değildir.

FlashAttention’ın katkısı, mevcut donanımın bellek ve hesaplama kaynaklarını daha etkili kullanmasıdır. Uzun bağlamlı modellerde sağlayacağı gerçek fayda, kullanılan sistem üzerinde yapılan ölçümlerle belirlenir.

Kaynaklar: Dao ve diğerleri — FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, Tri Dao — FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning, FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision, Dao-AILab — FlashAttention resmî GitHub dokümantasyonu, Hugging Face Transformers — How Caching Works.

Editör Notu

Bu içerik, kamuya açık yapay zekâ araştırmaları ve resmî teknik dokümantasyonlardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. FlashAttention’ın performansı ve bellek tasarrufu; GPU mimarisine, model yapısına, veri tipine ve kullanılan yazılım sürümüne göre değişebilir.