"Attention Is All You Need" Makalesi Nedir? Transformer'ın Doğuşu
Günümüzün sohbet robotlarının çoğu tek bir makaleye dayanır: Google'da çalışan sekiz araştırmacının 2017 tarihli çalışması.
Kısa Cevap
12 Haziran 2017'de yayımlanan "Attention Is All You Need", RNN ve LSTM gibi tekrarlı yapılar yerine yalnızca dikkat mekanizmasına dayanan Transformer mimarisini önerdi. Resmi sürüm Aralık 2017'de NIPS'te yayımlandı.
Ne Önerdi?
- Ölçeklenmiş nokta çarpımlı dikkat ve öz-dikkat.
- Birden çok başlı dikkat: farklı projeksiyonları paralel öğrenir.
- Sıra bilgisi için sinüzoidal konum kodlaması.
Mimari paralel işlenebildiği için GPU'larda daha hızlı eğitilebiliyordu.
Eğitim Bilgileri
| Model | Adım | Süre |
|---|---|---|
| Temel | 100.000 | yaklaşık 12 saat |
| Büyük | 300.000 | yaklaşık 3,5 gün |
İkisi de 8 NVIDIA P100 GPU ile, İngilizce-Almanca (yaklaşık 4,5 milyon cümle) ve İngilizce-Fransızca (36 milyon cümle) çeviri verisiyle eğitildi.
İsmin Hikâyesi
Başlık, Beatles'ın "All You Need Is Love" şarkısına gönderme yapar. "Transformer" adını, yazarlardan Jakob Uszkoreit'in kulağa hoş gelmesi nedeniyle seçtiği aktarılır.
Etkisi
2018'de BERT ve OpenAI'ın GPT serisi bu mimariye dayandı. Makale, 2026 itibarıyla 250.000'den fazla atıf aldı.
Kaynaklar
Editör Notu
Bu içerik Bitcanlı Editörü tarafından genel bilgilendirme amacıyla hazırlanmıştır; yatırım, vergi veya hukuk danışmanlığı değildir. Bitcanlı'nın bu yazıda anılan anılan şirket ve ürünlerle ticari bir ortaklığı yoktur ve hiçbirini önermez. Yazı, 4 Kasım 2026'da kontrol edilen kaynaklara dayanır.