Bir veri merkezine güçlü GPU’lar eklemek, onu tek başına başarılı bir yapay zekâ altyapısına dönüştürmez. İşlemcilerin veriye ulaşması, birbirleriyle haberleşmesi ve uygun sıcaklıkta çalışması gerekir.

Bu zincirin bir halkası yetersiz kaldığında pahalı donanımlar bekleyebilir. Hızlı hesaplama birimleri, yavaş depolamayı veya kapasitesi yetersiz bir ağı kendiliğinden telafi edemez.

Yapay zekânın veri merkezlerine getirdiği temel değişim bu nedenle tek tek sunuculardan bütün sistemin performansına odaklanılmasıdır.

Veri Merkezi Nedir?

Veri merkezi, hesaplama ve depolama donanımlarını; ağ, güç, soğutma ve güvenlik altyapısıyla birlikte barındıran tesistir.

Web hizmetleri, kurumsal yazılımlar, dosya depolama ve yapay zekâ uygulamaları aynı tesis içinde bulunabilir. Her veri merkezi yalnızca yapay zekâya ayrılmış değildir.

Ayrıca bütün yapay zekâ işlemleri büyük veri merkezlerinde gerçekleşmez. Telefonlar, bilgisayarlar ve gömülü cihazlar da uygun modelleri yerel olarak çalıştırabilir.

Yapay zekâ altyapısı, cihaz üzerindeki küçük modellerden büyük hesaplama kümelerine kadar farklı ölçekleri kapsar.

Eğitim ve Çıkarım Neden Ayrılmalı?

Bir modeli eğitmek ile eğitilmiş modeli kullanmak farklı iş yükleridir.

Eğitimde, model ağırlıkları güncellenir. İleri geçiş, geri yayılım ve optimizasyon işlemleri yürütülür. Büyük eğitimlerde çok sayıda hızlandırıcının koordineli çalışması gerekebilir.

Çıkarımda, mevcut model yeni girdiler için sonuç üretir. Kullanıcı trafiği, cevap süresi ve eşzamanlı istek sayısı önem kazanır.

Bu ayrım yapılmadan “yapay zekâ sunucusu” için tek bir ideal yapılandırma belirlemek zordur.

GPU’lar Öne Çıkarken CPU’lar Ne Yapıyor?

GPU’lar, büyük matris işlemleri gibi paralel hesaplamalarda önemli avantajlar sağlayabilir. Özel yapay zekâ hızlandırıcıları da farklı iş yükleri için kullanılabilir.

Ancak CPU’lar ortadan kalkmaz. Veri hazırlama, uygulama yönetimi, ağ işlemleri ve birçok yardımcı görev CPU tarafında yürütülebilir.

Bu nedenle “veri merkezleri CPU yerine GPU kullanıyor” ifadesi eksiktir. Daha doğru yaklaşım, farklı işlemcilerin birlikte kullanıldığı heterojen sistemlerdir.

Hızlandırıcı sayısı arttıkça onları besleyen CPU, bellek ve veri işleme altyapısının da yeterli olması gerekir.

Bellek Neden Kritik Bir Kaynak?

Model ağırlıkları belleğe sığmalıdır. Fakat ihtiyaç yalnızca ağırlıklardan oluşmaz.

Eğitimde ara aktivasyonlar ve optimizer durumları önemli yer kaplayabilir. Dil modeli çıkarımında ise önceki tokenların temsillerini saklayan KV Cache büyüyebilir.

Uzun bağlamlar ve çok sayıda eşzamanlı kullanıcı, bellek baskısını artırabilir. Bu nedenle model boyutu aynı kalsa bile servis kapasitesi değişebilir.

HBM gibi yüksek bant genişlikli bellekler, uygun hızlandırıcılarda veriye hızlı erişim sağlar. Ancak yüksek bant genişliği ile yeterli kapasite farklı özelliklerdir.

Bir sistem hızlı belleğe sahip olsa bile bütün iş yükünü saklamakta zorlanabilir.

Ağ, Hesaplamanın Bir Parçasına Dönüşüyor

Dağıtık yapay zekâ çalışmalarında hızlandırıcılar ara sonuçlar veya gradyanlar paylaşabilir. Bu aktarım geciktiğinde hesaplama birimleri bekleyebilir.

Tensor Parallelism, Pipeline Parallelism ve Data Parallelism gibi yöntemler, farklı iletişim düzenleri oluşturur. Bu nedenle ağın yalnızca yüksek toplam hıza sahip olması yeterli değildir.

Bağlantı gecikmesi, topoloji ve trafiğin nasıl dağıldığı da önemlidir. Aynı sunucu içindeki bağlantılarla farklı sunucular arasındaki ağ farklı özellikler sunabilir.

Bir GPU kümesinin performansı, GPU’ların tek başına ölçülen hızlarının toplamı değildir.

Depolama Neden Yeniden Planlanıyor?

Eğitim verilerinin hızlandırıcılara zamanında ulaştırılması gerekir. Veriler yavaş okunuyor veya hazırlanamıyorsa işlemciler boş kalabilir.

Eğitim sırasında oluşturulan kontrol noktaları, yani checkpoint kayıtları da büyük veri aktarımı gerektirebilir. Bu kayıtlar, arıza sonrasında çalışmayı belirli bir aşamadan sürdürmeye yardımcı olur.

Çıkarımda ise model yükleme süresi, farklı modeller arasında geçiş ve harici bilgi erişimi önem kazanabilir.

Bu nedenle depolama değerlendirmesinde yalnızca kapasiteye değil, okuma-yazma performansına ve eşzamanlı erişim davranışına bakılmalıdır.

Güç Yoğunluğu Soğutmayı Nasıl Etkiliyor?

Aynı kabin içine daha güçlü donanımlar yerleştirmek, küçük bir alanda daha fazla ısı üretilmesine neden olabilir.

Hava soğutma uygun tasarımlarda kullanılabilir. Ancak yüksek yoğunluklu bazı sistemlerde doğrudan çipe sıvı soğutma gibi yöntemler tercih edilebilir.

Bu geçiş, yalnızca fanları değiştirmek değildir. Borulama, pompalar, ısı değiştiriciler ve tesis tarafındaki soğutma düzeni birlikte planlanır.

Sıvı soğutma bütün veri merkezleri için zorunlu veya her koşulda en iyi çözüm değildir. Donanım yoğunluğu, iklim ve işletme koşulları belirleyicidir.

Mevcut bir tesisi dönüştürmek de elektrik dağıtımı ve fiziksel yerleşim nedeniyle yeni tesis kurmaktan farklı zorluklar içerebilir.

Kullanıcı Trafiği Nasıl Yönetiliyor?

Bir yapay zekâ hizmetinde bütün istekler aynı kaynakları kullanmaz. Kısa bir sınıflandırma ile uzun bir belge analizi farklı işlem sürelerine sahip olabilir.

Çıkarım yazılımı, istekleri sıraya alabilir ve uygun biçimde gruplandırabilir. Önbellekleme veya spekülatif üretim gibi teknikler de belirli maliyetleri azaltabilir.

Ancak iki hedef arasında denge gerekir:

Düşük gecikme: Kullanıcının hızlı yanıt alması.

Yüksek kapasite: Donanımın aynı sürede daha fazla işi tamamlaması.

Daha büyük gruplar kaynak kullanımını iyileştirebilirken bazı kullanıcıların bekleme süresini artırabilir. Bu nedenle yalnızca ortalama hız değil, yoğunluk altındaki gecikmeler de ölçülmelidir.

Arızalar Büyük İşleri Nasıl Etkiliyor?

Çok sayıda bileşenin birlikte kullanılması, arızanın sistemi etkileme olasılığını artırabilir. Bir cihazın veya bağlantının sorunu, dağıtık eğitimi durdurabilir.

Dayanıklılık için şu mekanizmalar önemlidir:

• Kontrol noktası kaydetme.
• Arızalı bileşeni tespit etme.
• İşi yeniden başlatma veya yeniden yerleştirme.
• Yedek kapasite.
• İzleme ve bakım.

Çıkarım hizmetlerinde de bir model örneğinin durması durumunda isteklerin başka kaynaklara aktarılması gerekebilir.

Donanım yedekliliği ile uygulamanın toparlanabilmesi birlikte tasarlanmalıdır.

Yapay Zekâ Tesis Yönetimine Yardımcı Olabilir mi?

Yapay zekâ, enerji talebini tahmin etmek, sıcaklık değişimlerini incelemek veya bazı arıza belirtilerini belirlemek için kullanılabilir.

Ancak bu kullanım, sınırları tanımlanmış bir kontrol sistemi gerektirir. Yanlış sensör verisi veya hatalı tahmin, yönetim kararlarını etkileyebilir.

Soğutma optimizasyonunda donanımın güvenli çalışma aralıkları korunmalıdır. Yönetim modeli, fiziksel kapasitenin veya bakımın yerine geçmez.

Enerji tasarrufu, hizmet güvenilirliğiyle birlikte değerlendirilmelidir.

Verimlilik Nasıl Ölçülmeli?

Daha verimli bir işlemci, belirli hesaplamayı daha az enerjiyle gerçekleştirebilir. Fakat toplam talep büyürse tesisin tüketimi yine artabilir.

Ayrıca düşük PUE, yapay zekâ iş yükünün verimli çalıştığını tek başına göstermez. PUE tesisin destek altyapısına ilişkin bir ölçüttür.

Daha kapsamlı değerlendirmede şunlar birlikte incelenebilir:

• Hedef kaliteye ulaşmak için gereken kaynak.
• Doğru tamamlanan görev başına maliyet.
• Kullanıcı gecikmesi.
• Donanım kullanım oranı.
• Toplam enerji ve su tüketimi.
• Arıza ve bakım etkileri.

Daha fazla hesaplama kapasitesi ile daha iyi hizmet aynı şey değildir.

Geleceğin Altyapısını Ne Belirleyecek?

Yapay zekâ veri merkezlerinin gelişimi, tek bir donanım türüne bağlı değildir. Model mimarileri, sayısal hassasiyet, önbellekleme ve görev yönlendirme gibi yazılım kararları da kaynak ihtiyacını değiştirir.

Küçük modellerin uygun görevlerde kullanılması, büyük modellerin daha verimli çalıştırılması ve kaynakların iş yüküne göre ayrılması birlikte önem kazanabilir.

Bu nedenle başarılı tasarım, mümkün olan en çok hızlandırıcıyı yerleştirmekten çok hesaplama, veri hareketi, güç ve hizmet hedefleri arasında denge kurmaktır.

Sık Sorulan Sorular

Her yapay zekâ uygulaması GPU gerektirir mi?

Hayır. Küçük modeller ve belirli görevler CPU veya başka işlemciler üzerinde çalıştırılabilir.

Mevcut veri merkezine GPU eklemek yeterli mi?

Her zaman değil. Güç, soğutma, ağ ve depolama kapasitesi de kontrol edilmelidir.

HBM, merkezi depolamanın yerine geçer mi?

Hayır. HBM hızlandırıcıya yakın çalışma belleğidir; veri depolama ve yedekleme farklı görevlerdir.

Daha güçlü donanım yanıt kalitesini artırır mı?

Tek başına artırmaz. Model, veri ve uygulama tasarımı da sonucu belirler.

Kaynaklar: Deepak Narayanan ve diğerleri — Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM; Woosuk Kwon ve diğerleri — Efficient Memory Management for Large Language Model Serving with PagedAttention; ASHRAE — Thermal Guidelines for Data Processing Environments; International Energy Agency — Energy and AI.

Editör Notu

Bu içerik, yapay zekâ iş yüklerinin veri merkezi tasarımı üzerindeki etkilerini ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Altyapı ihtiyacı ve performans; eğitim veya çıkarım görevine, model mimarisine, trafik yoğunluğuna ve tesis koşullarına göre değişebilir. Daha güçlü donanım, tek başına daha düşük maliyet, daha iyi yanıt kalitesi veya kesintisiz hizmet sağlayacağını garanti etmez.