-i6a77249e192b0.png)
"Attention Is All You Need" Makalesi Nedir? Transformer'ın Doğuşu
Haziran 2017'de yayımlanan makale, tekrarlı ağlar yerine dikkat mekanizmasına dayanan Transformer mimarisini tanıttı ve bugünkü dil modellerinin yolunu açtı.
04/11/2026 00:29 | Son Güncelleme : 04/11/2026 02:20 | Bitcanlı Editörü
Günümüzün sohbet robotlarının çoğu tek bir makaleye dayanır: Google'da çalışan sekiz araştırmacının 2017 tarihli çalışması.
Kısa Cevap
12 Haziran 2017'de yayımlanan "Attention Is All You Need", RNN ve LSTM gibi tekrarlı yapılar yerine yalnızca dikkat mekanizmasına dayanan Transformer mimarisini önerdi. Resmi sürüm Aralık 2017'de NIPS'te yayımlandı.
Ne Önerdi?
- Ölçeklenmiş nokta çarpımlı dikkat ve öz-dikkat.
- Birden çok başlı dikkat: farklı projeksiyonları paralel öğrenir.
- Sıra bilgisi için sinüzoidal konum kodlaması.
Mimari paralel işlenebildiği için GPU'larda daha hızlı eğitilebiliyordu.
Eğitim Bilgileri
| Model | Adım | Süre |
|---|---|---|
| Temel | 100.000 | yaklaşık 12 saat |
| Büyük | 300.000 | yaklaşık 3,5 gün |
İkisi de 8 NVIDIA P100 GPU ile, İngilizce-Almanca (yaklaşık 4,5 milyon cümle) ve İngilizce-Fransızca (36 milyon cümle) çeviri verisiyle eğitildi.
İsmin Hikâyesi
Başlık, Beatles'ın "All You Need Is Love" şarkısına gönderme yapar. "Transformer" adını, yazarlardan Jakob Uszkoreit'in kulağa hoş gelmesi nedeniyle seçtiği aktarılır.
Etkisi
2018'de BERT ve OpenAI'ın GPT serisi bu mimariye dayandı. Makale, 2026 itibarıyla 250.000'den fazla atıf aldı.
Kaynaklar
Editör Notu
Bu içerik Bitcanlı Editörü tarafından genel bilgilendirme amacıyla hazırlanmıştır; yatırım, vergi veya hukuk danışmanlığı değildir. Bitcanlı'nın bu yazıda anılan anılan şirket ve ürünlerle ticari bir ortaklığı yoktur ve hiçbirini önermez. Yazı, 4 Kasım 2026'da kontrol edilen kaynaklara dayanır.
Bunlar da ilginizi çekebilir
-i6a7b8e2f41de7-700x394.png)
Yapay Zekâ Şirketleri Kendi İnternetini Kuruyor: AI Trafiği Neden Bu Kadar Büyüdü?
Yapay zekâ sistemleri büyüdükçe binlerce GPU arasında taşınan veri de artıyor. AI networking teknolojileri, teknoloji şirketlerinin veri merkezi altyapısını yeniden şekillendiriyor.
2 ay önce
Atoma Network Nedir? Merkeziyetsiz Yapay Zekâ Çıkarım (AI Inference) Ağı Nasıl Çalışır?
Yapay zekâ çalışırken verileriniz ve modelin kendisi gerçekten güvende mi? Atoma, AI çıkarımını merkeziyetsiz altyapı, doğrulanabilir hesaplama ve gizli işlem teknolojileriyle yeniden ele alıyor.
2 ay önce
Exabits Nedir? GPU Gücünü Yapay Zekâ İçin Birleştiren Merkeziyetsiz Bulut Ağı Nasıl Çalışır?
Yapay zekânın ihtiyacı olan devasa GPU gücü nereden gelecek? Exabits, güçlü GPU kümelerini optimize ederek AI geliştiricilerine daha erişilebilir bir compute altyapısı sunmayı hedefliyor.
2 ay önce