OFT (Orthogonal Fine-Tuning), bu uyarlamayı ortogonal dönüşümlerle gerçekleştiren bir parametre verimli ince ayar (PEFT) yöntemidir. Temel model ağırlıkları eğitim sırasında dondurulur; bunlara uygulanacak dönüşümler öğrenilir.

OFT’nin ayırt edici yönü, ağırlık vektörleri arasındaki belirli geometrik ilişkileri koruyarak modelin davranışını değiştirmesidir. Bu özellik, modelin bütün bilgisinin veya doğruluğunun değişmeden kalacağını garanti etmez.

OFT Nedir?

Orthogonal Fine-Tuning, önceden eğitilmiş ağırlıklara öğrenilebilir ortogonal dönüşümler uygulayarak modeli yeni verilere uyarlayan bir yöntemdir.

OFT’nin özgün çalışması, 2023’te Controlling Text-to-Image Diffusion by Orthogonal Finetuning başlığıyla yayımlanmıştır. Çalışmanın odağı, metinden görüntü üreten diffusion modellerinin özelleştirilmesidir. Bu nedenle yöntemi yalnızca büyük dil modelleri için geliştirilmiş bir teknik olarak tanımlamak doğru değildir.

Sonraki araştırmalar ve yazılım uygulamaları, ortogonal ince ayarın farklı model ve görevlerde kullanılmasını da ele almıştır.

Ortogonal Dönüşüm Ne Demektir?

Ortogonal bir dönüşüm, uygulandığı vektörlerin uzunluklarını ve aynı dönüşümden geçen vektörler arasındaki açıları korur.

Basit bir benzetmeyle, bir şekli döndürdüğünüzde yönü değişir; ancak kenar uzunlukları ve iç açıları aynı kalır. OFT, bu tür bir geometrik kısıtı model ağırlıklarının uyarlanmasında kullanır.

Özgün araştırma özellikle hyperspherical energy adı verilen, normalize edilmiş ağırlık vektörleri arasındaki ilişkileri özetleyen bir ölçütün korunmasına odaklanır. Araştırmacılar bunu, ön eğitimde öğrenilen yapının korunmasına yardımcı olabilecek bir özellik olarak değerlendirir.

OFT Nasıl Çalışır?

Genel eğitim süreci şöyle düzenlenebilir:

1. Temel model yüklenir: Önceden eğitilmiş model başlangıç noktası olarak alınır.

2. Hedef katmanlar seçilir: Dönüşümlerin hangi ağırlık matrislerine uygulanacağı belirlenir.

3. Temel ağırlıklar dondurulur: Bu ağırlıklar doğrudan optimizasyonla güncellenmez.

4. Dönüşüm parametreleri eğitilir: Yeni görevin örnekleri kullanılarak ortogonal dönüşümler öğrenilir.

5. Uyarlanmış model değerlendirilir: Hem hedef görev başarısı hem de korunması istenen yetenekler ölçülür.

Parametre sayısını sınırlamak için blok yapıları gibi yöntemlerden yararlanılır. Eğitilen parametre miktarı, seçilen katmanlara ve dönüşümlerin yapılandırmasına bağlıdır.

Uygun uygulamalarda öğrenilen dönüşüm, eğitim sonrasında temel ağırlıklarla birleştirilerek bağımsız bir model elde edilebilir.

Modelin Ağırlıkları Gerçekten Değişmiyor mu?

Burada dondurulan temel ağırlıklar ile hesaplamada kullanılan etkili ağırlıklar arasındaki ayrım önemlidir.

Eğitim sırasında temel ağırlıklar sabit tutulur. Ancak bu ağırlıklara öğrenilen dönüşüm uygulandığı için modelin hesaplama davranışı değişir. Dönüşüm temel modele birleştirildiğinde ortaya yeni ağırlık değerleri çıkar.

Dolayısıyla “OFT modeli hiç değiştirmez” ifadesi doğru değildir. Yöntem, değişimin hangi matematiksel yapı içinde gerçekleştirileceğini sınırlar.

OFT Önceki Bilgilerin Unutulmasını Engeller mi?

OFT, önceden öğrenilen yapının korunmasına yardımcı olmayı hedefler. Ancak geometrik bir özelliğin korunması, bütün görevlerde performansın korunmasıyla aynı şey değildir.

Modelin davranışı; katmanlar arasındaki etkileşimlere, eğitim verilerine ve öğrenilen dönüşümlere bağlıdır. Yeni görevde başarı artarken başka bir görevde gerileme görülebilir.

Bu nedenle bir OFT uygulamasında yalnızca eğitim kaybını izlemek yeterli değildir. Korunması istenen yetenekler de ayrı testlerle değerlendirilmelidir. Araştırmalardaki olumlu sonuçlar, incelenen modeller ve deney koşulları kapsamında yorumlanmalıdır.

OFT ile LoRA Arasındaki Fark Nedir?

Her iki yöntem de temel modelin tamamını doğrudan güncellemeden uyarlama yapabilir. Ancak güncelleme biçimleri farklıdır.

Bu farklar, OFT’nin her durumda daha doğru veya LoRA’nın her durumda daha ucuz olduğunu göstermez. Karşılaştırma aynı görev, veri ve kaynak koşullarında yapılmalıdır.

BOFT Nedir?

BOFT, ortogonal dönüşümleri butterfly factorization, yani kelebek çarpanlarına ayırma yaklaşımıyla yapılandırır.

Amaç, az sayıda parametre kullanırken daha esnek dönüşümler öğrenebilmektir. Bu yapı, basit blok düzenlerinin dönüşüm kapasitesini genişletmeyi hedefler.

Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization çalışması, OFT’yi daha genel bir ortogonal uyarlama yaklaşımı içinde ele alır. BOFT’nin parametre verimliliği ve başarısı yine seçilen yapılandırmaya bağlıdır.

OFTv2 Neyi Değiştiriyor?

OFT’nin pratik sınırlamalarından biri, ortogonal dönüşümleri hesaplamanın oluşturabileceği süre ve bellek maliyetidir.

OFTv2, bu maliyetleri azaltmak için geliştirilmiştir. Orthogonal Finetuning Made Scalable çalışması, hesaplamayı ağırlık matrislerini dönüştürmekten girişler üzerinde daha verimli işlemler yapmaya kaydırır. Ayrıca Cayley–Neumann yaklaşımıyla dönüşümün hesaplanmasını daha ekonomik hâle getirmeyi amaçlar.

Çalışma, kuantize edilmiş temel modellerin uyarlanmasını da inceler. Raporlanan verimlilik kazanımları belirli deneylere aittir; bütün modellerde aynı ölçüde kazanç beklenmemelidir.

BOFT ve OFTv2 aynı geliştirme değildir. BOFT dönüşümün nasıl yapılandırıldığına, OFTv2 ise ortogonal ince ayarın daha verimli uygulanmasına odaklanır.

Nerelerde Kullanılabilir?

OFT ve ilgili yöntemler şu alanlarda değerlendirilebilir:

• Görüntü üretimi: Diffusion modellerini belirli görsel görevlere uyarlama.

• Bilgisayarlı görü: Görüntü modellerinin görev özelinde ince ayarı.

• Dil modelleri: Uyumlu katmanlar üzerinde metin görevlerine yönelik adaptasyon.

• Araştırma: Farklı PEFT yöntemlerinin kalite ve kaynak tüketimi açısından karşılaştırılması.

Bir model ailesinin adının örnek olarak verilmesi, o ailenin bütün sürümlerinin her kütüphaneyle sorunsuz çalışacağını göstermez. Katman yapısı ve kullanılan uygulamanın desteği kontrol edilmelidir.

Avantajları ve Sınırlamaları Nelerdir?

OFT, tam ince ayara göre daha az parametrenin eğitilmesini sağlayabilir. Geometrik kısıtları da uyarlama sırasında öğrenilen yapının korunmasına yardımcı olabilir.

Buna karşılık az eğitilebilir parametre, otomatik olarak az toplam GPU belleği anlamına gelmez. Temel modelin, aktivasyonların ve dönüşüm hesaplamalarının maliyeti devam eder. OFTv2 araştırmasının çıkış noktalarından biri de bu hesaplama ve bellek yüküdür.

Yöntem seçilirken hedef görev başarısı, önceki yeteneklerin korunması, eğitim süresi ve bellek tüketimi birlikte değerlendirilmelidir.

Sık Sorulan Sorular

OFT bir fine-tuning yöntemi mi?

Evet. Modeli ortogonal dönüşümler öğrenerek uyarlayan bir ince ayar yöntemidir.

OFT yalnızca görüntü modellerinde mi kullanılır?

Hayır. Özgün çalışma görüntü üretimine odaklansa da sonraki çalışmalar dil modellerini ve başka görevleri de ele alır.

OFT, LoRA’dan kesin olarak daha iyi mi?

Hayır. Sonuç; modele, veriye, göreve ve eğitim ayarlarına bağlıdır.

OFT için yazılım desteği var mı?

Evet. Hugging Face PEFT, OFT ve BOFT için yapılandırma ve uygulama desteği sunar. Kullanılacak özelliklerin ilgili kütüphane sürümüyle uyumu kontrol edilmelidir.

OFT, model uyarlamasında değişimin geometrisini sınırlayan bir yaklaşım sunar. Değeri, hedef görevi öğrenirken hangi yetenekleri koruyabildiği ve bunu hangi kaynak maliyetiyle gerçekleştirdiği üzerinden ölçülmelidir.

Kaynaklar: Qiu ve arkadaşları — Controlling Text-to-Image Diffusion by Orthogonal Finetuning; Liu ve arkadaşları — Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization; Qiu ve arkadaşları — Orthogonal Finetuning Made Scalable; Hugging Face PEFT — Orthogonal Finetuning (OFT and BOFT) dokümantasyonu.

Editör Notu

Bu içerik, kamuya açık ortogonal ince ayar araştırmaları ve resmî teknik dokümantasyonlardan yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. OFT, BOFT ve OFTv2 yöntemlerinin performansı; model mimarisine, veri kümesine, eğitim ayarlarına ve kullanılan uygulamaya göre değişebilir.