Büyük yapay zekâ sistemlerinde işlemcilerin ne kadar hızlı hesaplama yaptığı kadar, veriye ne kadar hızlı ulaşabildiği de önemlidir. Bir hızlandırıcı gerekli veriyi bekliyorsa teorik işlem kapasitesinin tamamından yararlanamaz.

Çok sayıda GPU birlikte çalıştığında modelin farklı bölümleri ve ara sonuçları cihazlar arasında paylaşılabilir. Bu iletişim, iş yüküne bağlı olarak önemli bir maliyet oluşturur.

Wafer ölçeğinde hesaplama, bu soruna farklı bir yaklaşım getirir: Hesaplama birimlerini ve yerel belleği çok geniş bir silikon alan üzerinde birbirine bağlamak.

Wafer-Scale Engine (WSE) ise Cerebras’ın bu yaklaşımı kullanan işlemci ailesinin adıdır. Genel mimari kavram ile belirli bir üreticinin ürün adı birbirinden ayrılmalıdır.

Wafer Nedir?

Wafer, yarı iletken devrelerin üretildiği ince silikon plakadır. Geleneksel üretimde aynı wafer üzerinde çok sayıda ayrı yonga, yani die, oluşturulur.

Üretim ve test sonrasında bu yongalar kesilerek ayrılır ve uygun paketlere yerleştirilir.

Wafer ölçeğindeki yaklaşımda ise geniş silikon alanın önemli bir bölümü bağlantılı bir hesaplama sistemi olarak kullanılır. WSE, bu fikri yapay zekâ işlemleri için uygular.

Buradaki yapı, waferın bütün yüzeyinin eksiksiz kullanıldığı anlamına gelmez. Kullanılabilir alan, üretim geometrisi ve sistem tasarımı tarafından belirlenir.

Wafer-Scale Engine Nedir?

WSE, çok sayıda hesaplama çekirdeğini, dağıtılmış yerel belleği ve iletişim ağını wafer ölçeğinde birleştiren yapay zekâ işlemcisidir.

Temel yaklaşım, hesaplama ile veriyi birbirine yakın tutmaktır. Yerel bellek ve çekirdekler, işlemci üzerindeki ağ aracılığıyla birlikte çalışır.

Ancak bu yapı “bütün model verileri her zaman çip içinde kalır” şeklinde yorumlanmamalıdır. Büyük modeller, eğitim verileri ve sistemin diğer ihtiyaçları için dış bellek, depolama veya ek sistem bileşenleri kullanılabilir.

Wafer ölçeği, dış dünyayla veri alışverişini ortadan kaldırmaz. Belirli iletişim yollarını ve veri yerleşimini farklı biçimde düzenler.

Bu Kadar Büyük Bir İşlemci Nasıl Üretiliyor?

Çip üretimindeki litografi işlemleri, belirli büyüklükteki alanlara desen aktarır. Çok geniş bir işlemci oluşturmak için bu alanlar arasındaki bağlantıların da tasarlanması gerekir.

Wafer ölçeğinde sistemlerde, komşu üretim alanları arasında iletişimi sürdüren bağlantı tekniklerinden yararlanılır.

Ancak alan büyüdükçe üretim kusurlarıyla karşılaşma ihtimali de artar. Bu nedenle yaklaşım yalnızca büyük bir devre çizmekten ibaret değildir. Kusurlu noktalar bulunsa bile çalışabilecek bir mimari oluşturmak gerekir.

Üretim Kusurları Nasıl Yönetiliyor?

Küçük bir yongadaki ciddi üretim hatası, o yonganın kullanılamamasına neden olabilir. Wafer ölçeğinde bir sistemde ise bütün geniş alanın kusursuz olmasını beklemek ekonomik açıdan zorlayıcıdır.

Bu nedenle yedek hesaplama birimleri ve bağlantılar kullanılabilir. Testlerde belirlenen hatalı bölgeler, uygun yönlendirme ve yapılandırmayla devre dışı bırakılabilir.

Amaç, kullanılabilir kaynakları çalışır durumda bir bütün hâline getirmektir.

Bu yaklaşımın başarısı; kusurların türüne, dağılımına ve mimarinin sunduğu yedekliliğe bağlıdır. Hata toleransı, bütün üretim sorunlarının önemsiz olduğu anlamına gelmez.

GPU Sistemlerinden Farkı Nedir?

GPU’lar da hesaplama birimleri, yerel bellek ve dahili iletişim yapıları içerir. Bu nedenle WSE’nin farkını yalnızca “bellek ve işlemci aynı yerde” şeklinde açıklamak yetersizdir.

Asıl fark, bu yapının ölçeği ve kaynakların nasıl düzenlendiğidir.

Bu tablo, hangi yaklaşımın daha hızlı olduğunu tek başına göstermez. Sonuç, çalıştırılan modele ve sistem yapılandırmasına bağlıdır.

Yerel Bellek Neden Önemli?

Veriyi hesaplama birimine yakın tutmak, erişim gecikmesini ve veri taşıma maliyetini azaltabilir.

WSE yaklaşımında dağıtılmış yerel bellek, çekirdeklerin çalışacağı verilerle yakın ilişki içinde kullanılır. İşlemci üzerindeki ağ, farklı bölgelerin veri paylaşmasını sağlar.

Fakat yüksek bellek bant genişliği ile yüksek bellek kapasitesi aynı şey değildir.

Çok hızlı erişilebilen yerel bellek sınırlı kapasiteye sahip olabilir. Modelin tamamı bu alana sığmıyorsa verinin dış kaynaklardan nasıl getirileceği önem kazanır.

Bu nedenle performans değerlendirmesinde yalnızca bant genişliğine değil, veri yerleşimine ve aktarım düzenine de bakılmalıdır.

Büyük Dil Modelleri Nasıl Çalıştırılıyor?

Bir modeli bu tür donanımda çalıştırmak, ağırlıkları kopyalamaktan daha fazlasını gerektirir. Hesaplamaların çekirdeklere ve belleğe uygun biçimde yerleştirilmesi gerekir.

Derleyici ve çalışma yazılımı şu görevleri üstlenebilir:

• İşlemleri hesaplama birimlerine dağıtmak.
• Verinin nerede tutulacağını belirlemek.
• İletişim yollarını planlamak.
• Desteklenen işlemleri uygun biçimde yürütmek.
• Dış kaynaklarla veri alışverişini yönetmek.

Eğitimde ileri geçiş, geri yayılım ve ağırlık güncellemesi bulunur. Çıkarımda ise girişin işlenmesi ve token üretimi öne çıkar.

Aynı donanımın farklı iş yüklerindeki avantajları aynı olmayabilir.

Daha Az İletişim, Daha Fazla Hız Anlamına mı Geliyor?

Belirli iletişim maliyetlerini azaltmak performansı iyileştirebilir. Ancak toplam süre başka bileşenlerle de sınırlanabilir.

İş yükü donanıma uygun yerleştirilemiyorsa bazı kaynaklar boş kalabilir. Dış bellek erişimi, işlem desteği veya veri hazırlama aşaması baskın maliyet oluşturabilir.

Bu nedenle karşılaştırmalarda şunlar açıkça belirtilmelidir:

• Kullanılan model ve hesaplama hassasiyeti.
• Giriş ve çıktı uzunluğu.
• Batch büyüklüğü ve eşzamanlı kullanıcı sayısı.
• İlk token gecikmesi.
• Üretim hızı ve toplam işlem kapasitesi.
• Ölçüme dâhil edilen sistem bileşenleri.

Tek kullanıcı için yüksek token üretim hızı ile yoğun trafikte yüksek servis kapasitesi farklı ölçütlerdir.

Güç ve Soğutma Neden Zorlaşıyor?

Geniş silikon alan üzerinde çok sayıda hesaplama birimi çalıştırmak, güçlü bir elektrik ve soğutma altyapısı gerektirir.

Enerjinin işlemci yüzeyine uygun biçimde dağıtılması, sıcak noktaların yönetilmesi ve fiziksel temasın korunması önemlidir.

Paketleme sırasında mekanik gerilimler ve malzemelerin sıcaklıkla farklı genleşmesi de dikkate alınır.

Bu nedenle WSE, sıradan bir bilgisayara takılan tüketici kartı gibi düşünülmemelidir. İşlemci, güç ve soğutma sistemiyle birlikte değerlendirilir.

Enerji Verimliliği Nasıl Karşılaştırılmalı?

Daha kısa veri yolları bazı iş yüklerinde enerji avantajı sağlayabilir. Ancak yalnızca işlemcinin tüketimini karşılaştırmak yeterli değildir.

Dış bellek, ağ bağlantıları, güç dönüşümü ve soğutma da toplam sisteme dâhildir.

Anlamlı bir karşılaştırma, aynı kalite ve görev koşullarında tamamlanan iş başına enerji kullanımına bakar. Eğitimde hedef başarı düzeyine ulaşmak için gereken toplam enerji; çıkarımda ise belirli gecikme ve kapasite koşullarındaki tüketim ölçülebilir.

Daha hızlı sonuç, her durumda daha düşük toplam enerji anlamına gelmez.

Hangi Görevlerde Kullanılabilir?

Wafer ölçeğinde sistemler, uygun yazılım desteğiyle yapay zekâ eğitimi, çıkarım ve bazı bilimsel hesaplamalarda değerlendirilebilir.

Özellikle hesaplama ve iletişim düzeni mimariye uygun olan iş yükleri dikkat çeker. Ancak her bilimsel uygulama veya yapay zekâ modeli aynı ölçüde fayda sağlamaz.

Yazılımın taşınması, desteklenen işlemler ve veri akışı ayrıca incelenmelidir. Donanım seçimi, yalnızca çekirdek sayısı veya işlem kapasitesi üzerinden yapılmamalıdır.

Sık Sorulan Sorular

WSE bütün GPU’ların yerini alabilir mi?

Bütün iş yükleri için böyle bir sonuç çıkarılamaz. Donanımların yazılım desteği, maliyeti ve performans özellikleri farklıdır.

Büyük bir modelin tamamı wafer üzerindeki belleğe sığar mı?

Her zaman değil. Model büyüklüğüne ve sistem tasarımına göre dış bellek veya başka bileşenler kullanılabilir.

Tek bir kusur bütün işlemciyi kullanılamaz hâle getirir mi?

Mimari, belirli kusurları yedeklilik ve yeniden yönlendirmeyle yönetebilir. Ancak toleransın kapsamı tasarıma bağlıdır.

Wafer-scale ile chiplet aynı yaklaşım mı?

Hayır. Chiplet, ayrı yongaların bir pakette birleştirilmesine dayanır. Wafer ölçeğinde yaklaşım ise geniş silikon alanı bağlantılı bir hesaplama yapısı olarak kullanır.

Kaynaklar: Cerebras Systems — Wafer-Scale Engine mimari kaynakları; Sean Lie — Cerebras Architecture Deep Dive: First Look Inside the Hardware/Software Co-Design for Deep Learning; Cerebras Systems — Wafer-Scale Integration teknik kaynakları.

Editör Notu

Bu içerik, wafer ölçeğinde hesaplamanın çalışma mantığını ve yapay zekâ donanımlarındaki kullanım koşullarını ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Performans, enerji kullanımı ve model desteği; işlemci nesline, yazılım eşlemesine, bellek düzenine ve iş yüküne bağlıdır. Yüksek çekirdek sayısı veya bant genişliği, bütün uygulamalarda aynı hız ve maliyet avantajını garanti etmez.