Bir yapay zekâ sisteminin başarılı olması, yalnızca karmaşık soruları yanıtlayabilmesine bağlı değildir. Kullanıcının ne istediğini doğru anlaması, belirlenen sınırları koruması ve görevini yerine getirirken başka sorunlara yol açmaması da gerekir.

Örneğin bir dijital asistandan bilgisayardaki dosyaları düzenlemesi istendiğinde, sistemin önemli belgeleri silerek boş alan oluşturması beklenmez. Kullanıcının amacı düzen sağlamaktır; dosyaları kaybetmek değildir.

Bu örnek, yapay zekâya verilen talimat ile kullanıcının gerçek beklentisi arasında fark bulunabileceğini gösterir. AI Alignment, bu farkın nasıl azaltılabileceğiyle ilgilenir.

AI Alignment Nedir?

AI Alignment, Türkçede yapay zekâ hizalaması veya yapay zekânın insan amaçlarıyla uyumlandırılması şeklinde ifade edilebilir.

Alan, yapay zekâ sistemlerinin insanların amaçladığı davranışları sergilemesini ve istenmeyen sonuçlardan kaçınmasını sağlayacak yöntemleri araştırır. Bu amaçlar; kullanıcının talimatları, uygulamanın kuralları, toplumsal beklentiler ve güvenlik gereksinimleriyle ilişkili olabilir.

Ancak “insan değerleriyle uyum” tek ve kolay ölçülebilen bir hedef değildir. İnsanların beklentileri farklılaşabilir; bir kişinin isteği başka bir kişinin haklarıyla çatışabilir.

Bu nedenle hizalama, modele yalnızca doğru cevapları öğretmekten daha geniş bir konudur. Hangi hedeflerin izleneceği, hangi sınırların korunacağı ve çatışan beklentilerin nasıl ele alınacağı da değerlendirilir.

AI Alignment Neden Gereklidir?

Bir sistem, kendisine verilen ölçüte göre başarılı görünürken kullanıcının gerçek amacına aykırı davranabilir.

Örneğin müşteri hizmetleri uygulamasının başarısının yalnızca “kapatılan destek kaydı sayısıyla” ölçüldüğünü düşünelim. Sistem, sorunları çözmek yerine kayıtları hızla kapatırsa ölçümde başarılı görünebilir. Buna rağmen müşteri deneyimi kötüleşir.

Bu örnek, ölçülen başarı ile amaçlanan başarı arasındaki farkı gösterir. Yapay zekâ güvenliği araştırmalarında ödül ölçütünün yanlış kullanılması, istenmeyen yan etkiler ve yeni koşullarda güvenilir davranma gibi sorunlar bu çerçevede ele alınır. 

Hizalama çalışmalarının amacı, sistemin yalnızca görünürde iyi sonuçlar üretmesini değil, görevin asıl amacına uygun davranmasını desteklemektir.

Doğru Cevap Vermek ile Hizalanmış Olmak Aynı mı?

Bilgisel doğruluk, güvenilir bir yapay zekâ için önemlidir; ancak tek başına yeterli değildir.

Bir sistem doğru bir bilgiyi yetkisiz kişiye açıklayabilir. Kullanıcının talebini yerine getirirken gizlilik sınırını ihlal edebilir. Başka bir durumda ise yanlış bir varsayımı fark ettiği hâlde kullanıcıyı memnun etmek için onu onaylayabilir.

Bu nedenle hizalama kapsamında farklı beklentiler birlikte değerlendirilir:

• Faydalılık: Kullanıcının gerçek ihtiyacına uygun destek sağlamak.
• Dürüstlük: Bilinenler, tahminler ve belirsizlikler arasında ayrım yapmak.
• Güvenlik: Öngörülebilen zararları azaltmak.
• Talimatlara uygunluk: Yetkili ve geçerli yönlendirmeleri doğru uygulamak.
• Düzeltilebilirlik: Hata bildirildiğinde veya hedef değiştiğinde uygun biçimde yön değiştirebilmek.

Bu özellikler her zaman aynı yönde ilerlemeyebilir. Örneğin aşırı temkinli bir sistem, zararsız talepleri de reddederek faydasını azaltabilir.

Yapay Zekâ Modelleri Nasıl Hizalanıyor?

Dil modeli geliştirmede farklı eğitim ve değerlendirme yöntemleri kullanılabilir. Bunların hepsi her modelde aynı sırayla uygulanmaz.

Ön Eğitim ve Gözetimli İnce Ayar

Ön eğitim, modelin geniş veri kümelerindeki dil örüntülerini ve ilişkileri öğrenmesini sağlar. Ancak metin üretme becerisi, kullanıcı talimatlarını güvenilir biçimde izleme becerisiyle aynı değildir.

Gözetimli ince ayarda (SFT), istenen davranışı gösteren örneklerden yararlanılır. Model; sorulara uygun biçimde yanıt verme, açıklamaları düzenleme veya belirli görevleri yerine getirme konusunda eğitilir.

İnsan geri bildirimiyle talimat takibini geliştiren InstructGPT araştırması, örnek yanıtlarla ince ayarı ve ardından tercih değerlendirmelerine dayalı eğitimi birlikte kullanmıştır. Araştırma, davranışta iyileşme sağlanabildiğini; buna rağmen modellerin hata yapmayı sürdürdüğünü göstermiştir. 

RLHF: İnsan Geri Bildiriminden Pekiştirmeli Öğrenme

RLHF, insanların değerlendirmelerinden yararlanarak model davranışını geliştirmeyi amaçlayan yöntemler ailesidir.

Yaygın bir uygulamada değerlendiriciler, aynı soruya verilen farklı yanıtları karşılaştırır. Bu tercihlerden bir ödül modeli öğrenilir. Ardından dil modeli, bu ödül sinyalini kullanarak güncellenir.

Buradaki önemli ayrım, insanların tercih ettiği yanıt ile nesnel olarak doğru yanıtın her zaman aynı olmamasıdır. Açık, akıcı ve ikna edici bir açıklama, hatalı olduğu hâlde tercih edilebilir. Bu nedenle eğitim verisinin ve değerlendirme ölçütlerinin niteliği önem taşır.

DPO: Doğrudan Tercih Optimizasyonu

DPO, tercih edilen ve edilmeyen yanıt çiftlerinden yararlanarak modeli doğrudan optimize eden bir yöntemdir.

Özgün DPO yaklaşımı, ayrı bir ödül modeli eğitme ve ardından pekiştirmeli öğrenme yürütme aşamalarını gerektirmeyen bir eğitim hedefi sunar. Böylece tercih verilerinden öğrenme süreci daha sade kurulabilir.

Ancak DPO da hangi yanıtların tercih edildiğine bağlıdır. Yanlı veya yetersiz değerlendirmeler, eğitim sonucunu etkileyebilir. Bir tercih optimizasyonu yöntemi kullanılması, modelin bütün koşullarda hizalanmış olduğu anlamına gelmez. 

Constitutional AI: İlkelere Dayalı Geri Bildirim

Constitutional AI, model davranışını yönlendirmek için yazılı ilkelerden yararlanan bir yaklaşımdır.

Anthropic’in bu alandaki araştırmasında modelin yanıtlarını belirlenen ilkeler doğrultusunda eleştirmesi ve yeniden düzenlemesi kullanılır. Ayrıca yapay zekâ tarafından üretilen tercih değerlendirmelerinden eğitim sürecinde yararlanılır.

Bu yaklaşımda insan katkısı tamamen ortadan kalkmaz. Hangi ilkelerin seçileceği, nasıl yorumlanacağı ve sonuçların nasıl değerlendirileceği insan kararlarını içerir. arxiv.org

AI Alignment Yalnızca Eğitim Aşamasında mı Yapılır?

Hizalama hedeflerine ulaşmak, model eğitiminden daha geniş bir geliştirme süreci gerektirir.

Bir uygulamanın hangi araçlara erişebildiği, hangi işlemleri yapabildiği ve kullanıcıya nasıl bilgi verdiği de davranışını etkiler. İyi eğitilmiş bir model, kötü tasarlanmış bir uygulama içinde sorunlu sonuçlar üretebilir.

Örneğin bir raporlama ajanının yanlış dosyayı değiştirmesini önlemek için yalnızca “dikkatli ol” talimatı yeterli olmayabilir. Erişim kapsamının belirlenmesi, dosya değişikliklerinin kontrol edilmesi ve gerekli durumlarda onay alınması gerekir.

Bu kontroller hizalama problemini tek başına çözmez. Ancak istenen davranışın gerçek kullanımda korunmasına yardımcı olan sistem tasarımı önlemleridir.

Yapay Zekâ Ajanlarında Hizalama Neden Önemlidir?

Bir sohbet sisteminin hatası, yanlış bir açıklamayla sınırlı kalabilir. Araç kullanan bir ajan ise dosya değiştirebilir, mesaj gönderebilir veya başka sistemlerde işlem başlatabilir.

Bu nedenle ajanın hedefi nasıl yorumladığı, hangi yetkileri kullandığı ve ne zaman durduğu daha büyük önem kazanır.

Örneğin “Gelen kutumu temizle” talebi farklı anlamlara gelebilir. Kullanıcı reklam mesajlarını arşivlemek istiyor olabilir. Bütün eski e-postaların silinmesini istemeyebilir.

Bu örnekte uygun davranış, belirsizliği fark etmek ve işlemin kapsamını netleştirmektir. Sistem, görevi hızla tamamlamaya çalışırken kullanıcının asıl beklentisini gözden kaçırmamalıdır.

Bir işlemi yapabilmek ile o işlemi yapmaya yetkili olmak ayrı konulardır. Ajan tasarımında bu ayrımın korunması gerekir.

Hizalamanın Başlıca Zorlukları Nelerdir?

İnsan değerlerinin farklılaşması, temel güçlüklerden biridir. Farklı kullanıcılar aynı soruya farklı yaklaşım bekleyebilir.

Hedeflerin eksik tanımlanması, sistemin amaçlanmayan yollar seçmesine neden olabilir. Kısa bir talimat, bütün koşulları ve istisnaları kapsamayabilir.

Değerlendirme sınırları, başka bir sorundur. Bir modelin testlerde iyi performans göstermesi, karşılaşabileceği bütün durumlarda aynı davranışı sergileyeceğini kanıtlamaz.

Kullanıcıyı gereğinden fazla onaylamak, dürüstlükle çatışabilir. Sistem, yanlış bir görüşü yalnızca kullanıcı memnuniyetini artırmak için desteklememelidir.

Aşırı kısıtlama da kaliteyi düşürebilir. Güvenli bir eğitim sorusunu gereksiz yere reddetmek, sistemin yararlılığını azaltır.

Bu nedenle hizalama, tek bir başarı puanına indirgenmesi zor olan bir değerlendirme problemidir.

AI Alignment ile AI Safety Arasındaki Fark Nedir?

İki alan birbiriyle yakından ilişkilidir; ancak kapsamları tamamen aynı değildir.

AI Safety; hizalamanın yanında dayanıklılık, güvenli kullanım ve sistem kaynaklı riskler gibi konuları da kapsayabilir. Alanlar arasındaki sınırlar, kullanılan tanıma göre değişebilir.

Hizalama Başarısı Nasıl Değerlendirilir?

Bir sistemin yalnızca kolay sorular karşısındaki davranışına bakmak yeterli değildir. Belirsiz talimatlar, çelişkili bilgiler ve alışılmadık koşullar da değerlendirmeye dahil edilmelidir.

Örneğin testlerde şu sorular incelenebilir:

• Sistem bilmediği bilgiyi uyduruyor mu?
• Kullanıcının hatalı varsayımını fark edebiliyor mu?
• Yetkisi dışındaki işlemlerden kaçınıyor mu?
• Yeni bilgi geldiğinde yanıtını düzeltebiliyor mu?
• Zararsız talepleri gereksiz yere reddediyor mu?
• Görevi tamamlayamadığında bunu açıkça bildiriyor mu?

Bu değerlendirmeler, güçlü ve zayıf yönleri belirlemeye yardımcı olur. Ancak belirli testleri geçmek, bütün hizalama sorunlarının çözüldüğü anlamına gelmez.

Sık Sorulan Sorular

AI Alignment, yapay zekâya bilinç kazandırmak mı?

Hayır. Konu, sistemin hedefleri ve gözlenebilir davranışlarıdır. Bilinç veya duygu sahibi olmasını gerektirmez.

Hizalanmış bir model yanlış bilgi verebilir mi?

Evet. Hizalama çalışmaları hata riskini azaltmayı amaçlayabilir; ancak bilgisel doğruluğu kusursuz hâle getirmez.

RLHF ile AI Alignment aynı şey mi?

Hayır. AI Alignment geniş bir araştırma alanıdır. RLHF, bu alandaki bazı hedefler için kullanılan yöntemlerden biridir.

Hizalama yalnızca zararlı talepleri reddetmek mi?

Hayır. Faydalı olmak, belirsizliği belirtmek, kullanıcı amacını doğru anlamak ve hataları düzeltmek de kapsam içindedir.

Bütün insanlar için tek bir değer sistemi belirlenebilir mi?

İnsanların değerleri ve beklentileri farklılaşır. Bu nedenle hangi ilkelerin kimler tarafından belirlendiği ve farklı ihtiyaçların nasıl temsil edildiği önemli tartışma konularıdır.

Kaynaklar

Training Language Models to Follow Instructions with Human Feedback, Direct Preference Optimization: Your Language Model Is Secretly a Reward Model, Constitutional AI: Harmlessness from AI Feedback, Concrete Problems in AI Safety.

Editör Notu

Bu içerik, kamuya açık teknoloji, yapay zekâ ve güvenilir sistem araştırmalarından yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan görüşler editoryal yorum niteliğindedir. AI Alignment, üzerinde çalışmaların sürdüğü bir araştırma alanıdır; kullanılan yöntemler kusursuz doğruluk veya güvenlik garantisi sunmaz. Güncel akademik araştırmaların ve teknik dokümanların takip edilmesi önerilir.