Data Parallelism (Veri Paralelliği), eğitim verilerinin farklı cihazlara paylaştırıldığı dağıtık eğitim yaklaşımıdır. Klasik uygulamasında her GPU aynı modelin bir kopyasını çalıştırır; ancak farklı örnekleri işler. Cihazların hesapladığı güncellemeler eğitim boyunca birleştirilerek modelin tutarlı biçimde ilerlemesi sağlanır.

Data Parallelism Nedir?

Veri paralelliği, aynı eğitim işini farklı veri parçaları üzerinde eş zamanlı yürütmektir.

Örneğin bir görüntü sınıflandırma modelinde dört GPU kullanılabilir. Her GPU farklı fotoğrafları işlerken aynı model yapısını ve başlangıç ağırlıklarını kullanır.

Burada amaç, birbirinden bağımsız dört model üretmek değildir. Farklı örneklerden hesaplanan gradyanlar, ortak modelin güncellenmesine katkı sağlar. Gradyan, eğitim hatasının model parametrelerine göre nasıl değiştiğini gösterir.

PyTorch’un DistributedDataParallel (DDP) yapısı, model kopyaları arasında gradyanları eşitleyerek bu yaklaşımı uygular.

Data Parallelism Nasıl Çalışır?

Yaygın kullanılan senkron veri paralelliğinde süreç şöyledir:

1. Model kopyaları hazırlanır: Cihazlar aynı başlangıç parametreleriyle çalışmaya başlar.

2. Veri grubu paylaştırılır: Her cihaz farklı eğitim örneklerini alır.

3. İleri hesaplama yapılır: Model tahminleri ve eğitim kaybı hesaplanır.

4. Gradyanlar bulunur: Her cihaz kendi örneklerinin parametreler üzerindeki etkisini hesaplar.

5. Gradyanlar birleştirilir: Cihazlar ortak iletişim işlemleriyle sonuçlarını paylaşır.

6. Parametreler güncellenir: Her kopya, aynı birleştirilmiş gradyanları ve uyumlu optimizasyon ayarlarını kullanarak ilerler.

Bu paylaşım yalnızca eğitimin sonunda yapılmaz. DDP’de gradyan senkronizasyonu normalde geri yayılım sırasında gerçekleşir. Her güncellemeden sonra model ağırlıklarının ayrıca bütün cihazlara gönderilmesi gerekmez; aynı güncellemenin uygulanması kopyaları tutarlı tutar.

Veriler GPU’lara Otomatik mi Dağıtılır?

Bu, kullanılan yazılımın sorumluluk paylaşımına bağlıdır. Örneğin PyTorch DDP, giriş verisini kendiliğinden cihazlara bölmez.

Veri yükleme sürecinin her cihaza uygun örnekleri gönderecek şekilde hazırlanması gerekir. Bunun için DistributedSampler gibi araçlar kullanılabilir.

Yanlış yapılandırılmış bir sistemde bütün GPU’lar aynı örnekleri işleyebilir. Bu durumda daha fazla donanım kullanılması, beklenen veri işleme avantajını sağlamaz.

Batch Boyutu Nasıl Değişir?

Batch, bir eğitim adımında işlenen örnek grubudur. Veri paralelliğinde cihaz başına düşen yerel batch ile toplam batch birbirinden ayrılmalıdır.

Örneğin:

• Dört GPU kullanılıyor.

• Her GPU bir adımda 8 örnek işliyor.

• Toplamda 32 örnek üzerinden güncelleme hesaplanıyor.

Gradyan biriktirme uygulanırsa tek bir parametre güncellemesine katkı veren örnek sayısı daha da artırılabilir. Bu durumda bazı adımlarda senkronizasyon ertelenerek iletişim yükü azaltılabilir.

Ancak daha büyük batch, otomatik olarak aynı eğitim kalitesi anlamına gelmez. Öğrenme oranı ve başlangıçta kademeli artırma anlamına gelen warmup gibi ayarların yeniden değerlendirilmesi gerekebilir. Büyük batch eğitimi üzerine araştırmalar bu optimizasyon ihtiyacını göstermektedir.

Data Parallelism ile Model Parallelism Arasındaki Fark Nedir?

Klasik veri paralelliğinde, modelin tam kopyası her cihazda bulunur ve farklı veriler işlenir.

Model paralelliğinde ise modelin hesaplamaları veya katmanları cihazlar arasında bölüştürülür. Tensor parallelism, hesaplamaların tensör düzeyinde dağıtılmasını; pipeline parallelism ise katman gruplarının farklı cihazlarda yürütülmesini sağlayabilir.

Bu yaklaşımlar birlikte kullanılabilir. Örneğin model birkaç GPU’ya bölünürken, bu GPU grubunun başka kopyaları farklı veri grupları üzerinde çalışabilir.

FSDP ve ZeRO Ne Sağlar?

Klasik veri paralelliğinde model parametrelerinin, gradyanların ve optimizasyon bilgilerinin her cihazda tekrarlanması bellek tüketimini artırır.

FSDP (Fully Sharded Data Parallel), bu bilgileri veri paralelliğine katılan cihazlar arasında bölüştürür. Hesaplama sırasında ihtiyaç duyulan parametreler bir araya getirilir. Böylece cihaz başına bellek ihtiyacı azaltılır; bunun karşılığında ek iletişim gerekir.

DeepSpeed ZeRO ise bellek optimizasyonunu aşamalarla uygular:

• ZeRO-1: Optimizasyon durumlarını bölüştürür.

• ZeRO-2: Gradyanları da bölüştürür.

• ZeRO-3: Model parametrelerini de bölüştürür.

Dolayısıyla modelin tamamının her GPU’da sürekli bulunması, veri paralelliğinin bütün türleri için geçerli değildir.

Daha Fazla GPU Her Zaman Daha Hızlı Eğitim Sağlar mı?

GPU sayısını artırmak, eğitim süresini aynı oranda azaltmayabilir. Cihazlar arasında gradyanların taşınması zaman alır. Yavaş veri yükleme veya bazı cihazların diğerlerinden geç tamamlaması da beklemeye yol açabilir.

Bu nedenle performans değerlendirilirken şu unsurlar birlikte incelenmelidir:

• Cihazlar arası bağlantı hızı.

• GPU başına düşen hesaplama miktarı.

• Veri hazırlama ve yükleme süresi.

• Senkronizasyon maliyeti.

• Hedeflenen model kalitesine ulaşmak için gereken toplam süre.

Sık Sorulan Sorular

Data Parallelism yalnızca büyük dil modellerinde mi kullanılır?

Hayır. Görüntü sınıflandırma, konuşma tanıma ve başka sinir ağı eğitimlerinde de uygulanabilir.

Model tek GPU’ya sığmıyorsa klasik DDP yeterli olur mu?

Genellikle hayır. Eğitim için gereken model ve diğer bellek kullanımları cihaz kapasitesini aşıyorsa FSDP, ZeRO veya model paralelliği gibi yöntemler değerlendirilir.

Veri paralelliği model doğruluğunu garanti eder mi?

Hayır. Eğitim kalitesi; veri dağılımı, toplam batch boyutu, optimizasyon ayarları ve uygulamanın doğruluğuna bağlıdır.

Veri paralelliğinin temel katkısı, farklı örneklerin aynı eğitim sürecine eş zamanlı katkı vermesidir. Verimli bir sistem, hesaplama hızını iletişim maliyeti ve bellek ihtiyacıyla dengeler.

Kaynaklar: PyTorch — DistributedDataParallel, Distributed Data Parallel Design Notes, Performance Tuning Guide ve Fully Sharded Data Parallel dokümantasyonu, DeepSpeed — Zero Redundancy Optimizer, Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour araştırması.

Editör Notu

Bu içerik, kamuya açık dağıtık eğitim araştırmaları ve resmî teknik dokümantasyonlardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Eğitim hızı, bellek kullanımı ve model kalitesi; donanıma, veri kümesine, bağlantı altyapısına ve optimizasyon ayarlarına göre değişebilir.