Bu durum, büyük modeller üzerinde çalışmayı küçük ekipler ve sınırlı donanıma sahip geliştiriciler için zorlaştırır. QLoRA, bu engeli azaltmak amacıyla geliştirilen ince ayar yaklaşımlarından biridir.

QLoRA, düşük bitli kuantizasyonu LoRA adaptörleriyle birleştirir. Temel modelin ağırlıkları düşük bellek kullanımıyla saklanırken göreve yönelik değişiklikler küçük, eğitilebilir bileşenler üzerinden öğrenilir.

Ancak burada yapılan işlem, büyük bir modeli sıfırdan eğitmek değildir. QLoRA, önceden eğitilmiş bir modelin daha düşük bellek ihtiyacıyla özelleştirilmesini sağlar.

QLoRA Nedir?

QLoRA, kuantize edilmiş büyük dil modellerinin LoRA adaptörleri kullanılarak ince ayarlanmasını sağlayan bir parametre açısından verimli ince ayar (PEFT) yaklaşımıdır.

Özgün QLoRA yönteminde temel model ağırlıkları 4 bitlik kuantize biçimde tutulur ve dondurulur. Eğitim sırasında bu ağırlıkların tamamı güncellenmez; modele eklenen LoRA adaptörleri eğitilir.

Böylece iki farklı bellek tasarrufu yaklaşımı birlikte kullanılır:

• Kuantizasyon, temel model ağırlıklarının kapladığı alanı azaltır.
• LoRA, güncellenen parametre sayısını sınırlar.

Modelin toplam parametre sayısı büyük ölçüde korunur. Azalan, ağırlıkların saklanması için gereken alan ve eğitim sırasında güncellenen parametre miktarıdır.

Kuantizasyon Nedir?

Kuantizasyon, sayısal değerlerin daha düşük hassasiyetli bir temsil kullanılarak saklanmasıdır.

Model ağırlıkları FP32, FP16 veya BF16 gibi biçimlerde tutulabilir. Daha düşük bitli temsiller kullanıldığında, ağırlıkların bellekte kapladığı alan azaltılabilir.

Örneğin 16 bitlik ağırlıkların 4 bitlik biçimde saklanması, yalnızca ağırlık verisi açısından önemli bir küçülme sağlar. Ancak toplam GPU belleği ihtiyacı aynı oranda düşmez.

Kuantizasyon ölçekleri, kuantize edilmeyen bileşenler, adaptörler, aktivasyonlar ve çalışma tamponları da bellek tüketir. Bu nedenle “4 bit model, eğitim belleğinin tamamını dörtte bire indirir” şeklinde bir genelleme doğru değildir.

LoRA Nedir ve QLoRA’da Ne İşe Yarar?

LoRA (Low-Rank Adaptation), büyük ağırlık matrislerine yönelik güncellemeleri daha küçük matrisler üzerinden öğrenir.

Temel modelin ağırlıkları korunurken seçilen katmanlara düşük dereceli adaptasyon bileşenleri eklenir. Hedef göreve uyum, bu bileşenlerin eğitilmesiyle sağlanır.

QLoRA’da LoRA’nın görevi, kuantize edilmiş temel modeli özelleştirmektir. Ana ağırlıklar dondurulmuş olsa da model hesaplamaya katılmaya devam eder. Eğitim sinyali bu hesaplamalardan geçerek adaptörlere ulaşır.

Dolayısıyla temel modelin dondurulması, modelin eğitim sırasında kullanılmadığı anlamına gelmez.

QLoRA Nasıl Çalışır?

Önceden Eğitilmiş Model Seçilir

İlk adım, hedef göreve uygun bir model belirlemektir. Modelin büyüklüğü, dil desteği, lisansı ve mevcut eğitim araçlarıyla uyumluluğu değerlendirilir.

Daha büyük bir model her zaman daha iyi tercih değildir. Göreve uygun daha küçük bir model, daha düşük maliyetle yeterli sonuç verebilir.

Temel Ağırlıklar Kuantize Edilir

Desteklenen temel ağırlıklar düşük bitli biçimde saklanır. Özgün QLoRA yaklaşımı, bu aşamada 4 bitlik kuantizasyondan yararlanır.

LoRA Adaptörleri Eklenir

Seçilen katmanlara eğitilebilir LoRA bileşenleri yerleştirilir. Hangi katmanların hedefleneceği ve adaptör kapasitesi, eğitim yapılandırmasının parçasıdır.

Adaptörler Eğitilir

Eğitim örnekleri modele verilir. Temel ağırlıklar değiştirilmezken adaptör parametreleri güncellenir.

Sonuçlar Değerlendirilir

Model, eğitim sırasında görmediği örneklerle test edilir. Yalnızca eğitim kaybına değil, gerçek görev başarısına da bakılır.

Adaptörler Kaydedilir

Öğrenilen adaptör parametreleri ayrı dosyalar hâlinde saklanabilir. Ancak bu dosyalar genellikle tek başına çalışan bağımsız modeller değildir; uyumlu temel modele ihtiyaç duyar.

4 Bit Saklama, Bütün Hesaplamaların 4 Bit Yapıldığı Anlamına mı Gelir?

Hayır. Ağırlıkların saklama biçimi ile hesaplamaların yürütüldüğü sayısal hassasiyet farklı olabilir.

QLoRA uygulamalarında kuantize ağırlıklar, hesaplama sırasında uygun bir hassasiyete dönüştürülerek kullanılabilir. Adaptörler ve diğer eğitim bileşenleri de daha yüksek hassasiyette tutulabilir.

Bu nedenle QLoRA’yı “bütün modeli 4 bit olarak eğitmek” şeklinde tanımlamak yanıltıcıdır. Daha doğru açıklama, dondurulmuş düşük bitli temel model üzerinden LoRA adaptörlerini eğitmektir.

QLoRA’nın Üç Önemli Teknik Bileşeni

Özgün QLoRA çalışması, bellek verimliliği için üç temel bileşen sunar.

NF4: 4 Bit NormalFloat

NF4, normal dağılıma sahip ağırlıklar için tasarlanmış 4 bitlik bir sayısal temsil biçimidir.

Amaç, sınırlı sayıdaki temsil değerini ağırlık dağılımına uygun biçimde kullanarak kuantizasyon hatasını azaltmaktır.

NF4, her veri türü veya her dağılım için otomatik olarak en iyi seçenek değildir. Kullanıldığı bağlam önemlidir.

Double Quantization

Double Quantization, kuantizasyon için kullanılan bazı sabitlerin de kuantize edilmesidir.

Bu yaklaşım, ağırlıkların yanında tutulan ek kuantizasyon bilgilerinin bellek maliyetini azaltmayı hedefler.

Paged Optimizers

Paged Optimizers, eğitim sırasında oluşabilen bellek sıçramalarını yönetmek için CPU ve GPU belleği arasındaki sayfalama olanaklarından yararlanır.

Bu mekanizma bellek baskısını yönetmeye yardımcı olabilir. Ancak veri aktarımı maliyeti bulunduğundan her durumda daha hızlı eğitim sağlayacağı söylenemez.

LoRA ile QLoRA Arasındaki Fark

LoRA, tek başına temel modelin hangi hassasiyette tutulacağını zorunlu olarak belirlemez. Yaygın LoRA uygulamalarında FP16 veya BF16 gibi biçimler kullanılabilir.

QLoRA ise LoRA tabanlı ince ayarı düşük bitli temel modelle birleştirir.

QLoRA’nın temel amacı, daha düşük bellek ihtiyacıyla ince ayar yapabilmektir. Her koşulda klasik LoRA’dan daha hızlı olması beklenmemelidir.

Büyük Modeller Gerçekten Tek GPU’da İnce Ayarlanabilir mi?

Bazı modeller ve eğitim yapılandırmaları için evet.

Özgün QLoRA araştırmasında, belirli deney koşullarında 65 milyar parametreli bir modelin tek bir 48 GB GPU üzerinde ince ayarlanabildiği gösterilmiştir.

Ancak bu sonuç, bütün büyük modellerin tüketici sınıfı ekran kartlarına sığacağı anlamına gelmez. 48 GB bellekli bir GPU da sıradan bir ev bilgisayarı ekran kartıyla aynı donanım sınıfında değerlendirilmemelidir.

Gereken bellek şu etkenlere bağlıdır:

• Temel modelin büyüklüğü.
• Bağlam ve örnek uzunluğu.
• Microbatch boyutu.
• LoRA adaptörlerinin kapasitesi.
• Hedeflenen katmanlar.
• Aktivasyon belleği ve eğitim araçları.

Tek GPU üzerinde çalışabilmek ile eğitimin kabul edilebilir sürede tamamlanması da farklı konulardır.

QLoRA Nerelerde Kullanılabilir?

Kurumsal Asistanlar

Modelin kurumsal üsluba, yanıt şablonlarına veya belirli görev akışlarına uyarlanmasında kullanılabilir.

Kod Üretimi

Belirli kodlama kurallarının, çıktı biçimlerinin ve proje alışkanlıklarının öğretilmesinde değerlendirilebilir.

Belge İşleme

Özetleme, sınıflandırma veya metinden alan çıkarma gibi görevler için özelleştirme yapılabilir.

Akademik Araştırmalar

Tam ince ayarın maliyetinin yüksek olduğu çalışmalarda, farklı veri kümelerini ve eğitim yaklaşımlarını denemeyi kolaylaştırabilir.

Yerel Model Geliştirme

Uygun büyüklükteki modellerin sınırlı donanımla özelleştirilmesini destekleyebilir. Ancak QLoRA kullanılması, büyük bir modelin otomatik olarak telefon veya gömülü cihazda çalışabileceği anlamına gelmez.

Başlıca Avantajları

Daha Düşük GPU Belleği İhtiyacı

Kuantizasyon, temel ağırlıkların kapladığı alanı azaltırken LoRA, eğitim durumlarının bir bölümünü sınırlar.

Daha Erişilebilir Özelleştirme

Daha önce mevcut donanıma sığmayan bazı modeller üzerinde ince ayar yapma olanağı sağlayabilir.

Küçük Göreve Özel Dosyalar

Tam model kopyaları yerine adaptörlerin saklanması, farklı görevlerin yönetimini kolaylaştırabilir.

Rekabetçi Görev Başarısı

QLoRA araştırmasında belirli deneylerde yüksek hassasiyetli ince ayarla karşılaştırılabilir sonuçlar elde edilmiştir. Ancak bu sonuç bütün modeller ve görevler için garanti değildir.

Karşılaşılan Zorluklar

Bellek Sorunları Tamamen Ortadan Kalkmaz

Uzun bağlamlar ve büyük eğitim örnekleri, ağırlıklar kuantize edilmiş olsa bile önemli aktivasyon belleği gerektirebilir.

Eğitim Daha Yavaş Olabilir

Düşük bitli ağırlıkların hesaplamaya hazırlanması ve kullanılan çekirdeklerin verimliliği eğitim hızını etkiler.

Veri Kalitesi Belirleyicidir

Yanlış veya tutarsız veriler, modelin istenmeyen davranışlar öğrenmesine yol açabilir. Bellek verimliliği, kaliteli eğitim verisinin yerini tutmaz.

Adaptör Uyumluluğu Korunmalıdır

Adaptörün hangi temel model, tokenizer ve yapılandırmayla oluşturulduğu kayıt altına alınmalıdır.

Dağıtım Ayrı Değerlendirilmelidir

Eğitimde bellek tasarrufu sağlanması, çıkarımda aynı oranda hızlanma anlamına gelmez. Adaptör birleştirme, yeniden kuantizasyon ve çıktı kalitesi ayrıca test edilmelidir.

Sık Sorulan Sorular

QLoRA nedir?

Kuantize edilmiş temel model üzerinde LoRA adaptörlerini eğiterek büyük dil modellerini daha düşük bellek ihtiyacıyla özelleştiren yöntemdir.

QLoRA sıfırdan model eğitir mi?

Hayır. Önceden eğitilmiş bir modelin ince ayarında kullanılır.

Ana model ağırlıkları güncellenir mi?

Özgün yaklaşımda temel ağırlıklar dondurulur; LoRA adaptörleri güncellenir.

Bütün hesaplamalar 4 bit mi yapılır?

Hayır. Ağırlıkların saklama biçimi ile hesaplama hassasiyeti farklı olabilir.

Her model tek GPU’ya sığar mı?

Hayır. Model büyüklüğü, bağlam uzunluğu, adaptör ayarları ve diğer eğitim bileşenleri bellek ihtiyacını belirler.

QLoRA her zaman daha hızlı mı?

Hayır. Temel avantajı bellek verimliliğidir. Eğitim hızı donanıma ve yazılım uygulamasına bağlıdır.

QLoRA ile elde edilen adaptör tek başına kullanılabilir mi?

Genellikle hayır. Uyumlu temel modele de ihtiyaç duyulur.

Kaynaklar: Tim Dettmers, Artidoro Pagnoni, Ari Holtzman ve Luke Zettlemoyer — QLoRA: Efficient Finetuning of Quantized LLMs; Edward J. Hu ve diğerleri — LoRA: Low-Rank Adaptation of Large Language Models; Hugging Face — PEFT teknik dokümantasyonu.

Editör Notu

Bu içerik, kamuya açık akademik çalışmalar ve resmî teknik kaynaklardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. QLoRA’nın bellek ihtiyacı, eğitim süresi ve model başarısı; temel modele, veri kümesine, kuantizasyon ayarlarına, donanıma ve eğitim yapılandırmasına göre değişebilir. Araştırmalarda bildirilen sonuçlar, ilgili deney koşullarıyla birlikte değerlendirilmelidir.