Reflexion, bu fikri dil tabanlı ajanlara uygulayan bir yaklaşımdır. Ajan, görev sırasında elde ettiği sonuçları değerlendirir, deneyimine ilişkin metinsel notlar oluşturur ve bu notları sonraki denemelerde kullanır.

Bu süreçte model ağırlıklarının yeniden eğitilmesi gerekmez. Davranış değişikliği, önceki deneyimlerden çıkarılan değerlendirmelerin modelin bağlamına eklenmesiyle hedeflenir.

Ancak sistemin bir değerlendirme notu yazması, gerçekten doğru bir ders çıkardığını göstermez. Reflexion’ın başarısı, geri bildirimin güvenilirliğine ve bu geri bildirimin sonraki denemeye nasıl aktarıldığına bağlıdır.

Reflection ile Reflexion Aynı Şey mi?

Bu iki kavram yakın ilişkili olsa da tamamen aynı değildir.

Reflection, yapay zekâ sistemlerinin çıktılarını veya işlem süreçlerini yeniden değerlendirmesini anlatan geniş bir terimdir. Bir cevabı kontrol etmek, eksikleri belirlemek ve yeni bir sürüm hazırlamak bu kapsamda ele alınabilir.

Reflexion ise “Reflexion: Language Agents with Verbal Reinforcement” çalışmasında tanıtılan belirli bir yaklaşımdır. Görevden alınan geri bildirimi metinsel değerlendirmelere dönüştürür ve bunları sonraki denemelerde kullanmak üzere hafızada tutar.

Dolayısıyla Reflexion, öz değerlendirme fikrini deneyim belleğiyle birleştirir. Her Reflection uygulamasının böyle bir hafızası bulunmak zorunda değildir.

Reflexion Nedir?

Reflexion, dil tabanlı bir ajanın görev deneyimini değerlendirerek sonraki denemelerini yönlendirecek metinsel geri bildirim oluşturmasını sağlayan bir çerçevedir.

Örneğin bir kodlama ajanı, hazırladığı çözümün testlerde başarısız olduğunu görebilir. Bu sonuçtan hareketle şu tür bir not oluşturabilir:

“Önceki çözüm boş liste durumunu ele almıyordu. Yeni denemede bu sınır koşulunu kontrol et.”

Bu not, sonraki denemede modele sunulur. Amaç, başarısız kodu yalnızca yeniden üretmek yerine belirlenen soruna yönelik bir değişiklik yapılmasını sağlamaktır.

Buradaki “öğrenme”, model ağırlıklarına kalıcı bilgi yazılması anlamına gelmez. Ajan, kendisine sunulan deneyim notlarından yararlanır.

Reflexion Nasıl Çalışır?

Reflexion yaklaşımı, görev yürütme, değerlendirme ve deneyimden ders çıkarma aşamalarını bir araya getirir.

Ajan Bir Deneme Yapar

Sistem, kullanıcı görevini çözmeye çalışır. Bu süreç metin üretimi, araç kullanımı, kod çalıştırma veya bir ortamda eylem gerçekleştirme içerebilir.

Deneme başarılı olabilir, başarısız olabilir veya zaman ve adım sınırına ulaşabilir. Değerlendirme için görevin mutlaka başarıyla tamamlanması gerekmez.

Sonuç Değerlendirilir

Bir değerlendirici, denemenin ne ölçüde başarılı olduğunu belirlemeye çalışır.

Geri bildirim; test sonuçlarından, ortamın verdiği başarı sinyalinden, kurallara dayalı kontrollerden veya model değerlendirmesinden gelebilir.

Örneğin bir programın çalışmaması, belirli bir testin başarısız olması veya aranan bilginin bulunamaması değerlendirme girdisi olabilir.

Metinsel Bir Ders Oluşturulur

Ajanın izlediği adımlar ve aldığı geri bildirim kullanılarak bir değerlendirme hazırlanır.

İyi bir not, yalnızca “başarısız oldum” demekle kalmaz. Hangi yaklaşımın sorun oluşturduğunu ve sonraki denemede neyin değişmesi gerektiğini açıklamaya çalışır.

Deneyim Notu Hafızaya Eklenir

Oluşturulan değerlendirme, sonraki denemede kullanılabilecek deneyim belleğine alınır.

Bu hafıza, uygulamanın tasarımına göre sınırlı bir not listesi veya daha kapsamlı bir saklama sistemi olabilir. Otomatik olarak bütün gelecekteki görevlerde kullanılan kalıcı bir hafıza olduğu varsayılmamalıdır.

Yeni Deneme Önceki Derslerle Başlar

Ajan, görevi yeniden ele alırken önceki değerlendirmeleri bağlamında görür. Böylece farklı bir sorgu, plan veya çözüm deneyebilir.

Yeni denemenin sonucu tekrar değerlendirilir. Süreç, başarı koşuluna veya belirlenen sınıra ulaşıldığında durdurulur.

Reflexion’ın Temel Bileşenleri

Özgün yaklaşım üç işlev üzerinden açıklanabilir:

Bu işlevlerin her biri için ayrı bir büyük dil modeli kullanılması zorunlu değildir. Değerlendirici bir test sistemi olabilir; görev yürütme ve öz değerlendirme aynı modelin farklı çağrılarıyla gerçekleştirilebilir.

Önemli olan, işi yapmak, sonucu ölçmek ve sonucu yorumlamak arasındaki ayrımdır.

Bir Belge Arama Örneği

Bir kullanıcı, belirli bir ürün grubunun iade istisnalarını soruyor olsun. Ajan ilk denemede genel iade politikasını bulur, fakat kategoriye özel istisnaları kontrol etmeden cevap verir.

Değerlendirme aşamasında cevabın eksik olduğu belirlenirse şu not oluşturulabilir:

“Genel politika, kategoriye özel istisnaları kapsamıyordu. Sonraki denemede ürün kategorisini ve istisna belgesini birlikte kontrol et.”

Bu örnekte notun yararı, göreve özgü bir eksikliği tanımlamasıdır. “Daha dikkatli ol” gibi genel bir ifade, aynı ölçüde yol gösterici değildir.

Deneyim Belleği Nasıl Yönetilmeli?

Her değerlendirme notunun saklanması iyi bir strateji olmayabilir. Biriken notlar bağlamı uzatabilir, çelişkiler oluşturabilir veya artık geçerli olmayan kuralları tekrar gündeme getirebilir.

Yararlı bir deneyim notu mümkün olduğunca somut olmalıdır. Hatanın hangi koşulda oluştuğunu, hangi kanıtla belirlendiğini ve önerilen değişikliği açıklamalıdır.

Ayrıca tek bir görevde işe yarayan çözüm, bütün görevlere genellenmemelidir. “Önce API’yi sorgula” önerisi, API erişiminin bulunmadığı başka bir görev için uygun olmayabilir.

Bellek yönetiminde şu ayrımlar önemlidir:

• Doğrulanmış hata ile modelin tahmini.
• Göreve özgü ders ile genel çalışma kuralı.
• Güncel bilgi ile zamanla geçerliliğini kaybeden bilgi.
• Yararlı not ile tekrar eden veya çelişen not.

Yanlış değerlendirmelerin hafızaya alınması, sonraki denemeleri de olumsuz etkileyebilir.

Reflexion Gerçekten Sürekli Öğrenme Sağlar mı?

Model ağırlıkları açısından bakıldığında, tipik Reflexion döngüsü bir eğitim işlemi değildir.

Ajanın davranışı, önceki deneyimlerin bağlamına eklenmesiyle değişebilir. Bu nedenle yaklaşım, bağlam ve bellek üzerinden uyarlanma olarak düşünülebilir.

Bellek kaydı silinirse veya yeni denemede kullanılmazsa ilgili dersin etkisi de kaybolabilir. Deneyimin bir görevde fayda sağlaması, başka görevlerde otomatik başarı artışı oluşturmaz.

Dolayısıyla “ajan zaman içinde sürekli kendini geliştirir” ifadesi koşulsuz bir vaat olarak kullanılmamalıdır. İyileşmenin ölçülmesi gerekir.

Reflexion ile Fine-Tuning Arasındaki Fark

Fine-Tuning, modelin parametrelerini eğitim yoluyla günceller.

Reflexion, tipik kullanımında parametreleri değiştirmeden deneyim notlarını sonraki denemeye aktarır.

Reflexion daha az kurulum gerektiren bir seçenek olabilir. Ancak çok sayıda deneme ve değerlendirme yapıldığında toplam çıkarım maliyeti artabilir.

İki yaklaşım birbirinin zorunlu alternatifi değildir. İnce ayarlanmış bir model de Reflexion tarzı bir sistemin içinde kullanılabilir.

Reflexion ile ReAct Arasındaki Fark

ReAct, görev sırasında akıl yürütme, eylem ve gözlemleri birlikte kullanır.

Reflexion, denemeden elde edilen geri bildirimi yorumlayarak sonraki denemeye aktarılabilecek dersler oluşturur.

Bir ajan, ReAct tarzı araç kullanımıyla görevi yürütebilir. Başarısız denemesini Reflexion yaklaşımıyla değerlendirip yeniden başlayabilir.

Bu nedenle iki yaklaşım tamamlayıcı olabilir. Ancak ReAct yalnızca “sonuç üretir”, Reflexion da yalnızca “sonradan düşünür” şeklinde kesin bir ayrım yapmak eksik kalır. Uygulamanın kontrol akışı, bu işlevleri farklı biçimlerde birleştirebilir.

Nerelerde Yararlı Olabilir?

Kod Üretimi

Başarısız testlerden veya çalışma hatalarından çıkarılan dersler, sonraki çözümü yönlendirebilir.

Bilgi Arama

Yetersiz sorgular, yanlış kaynak seçimi veya eksik kapsam değerlendirilebilir. Ancak kaynak doğruluğu ayrıca kontrol edilmelidir.

Etkileşimli Görevler

Ajanın bir ortamdan geri bildirim aldığı ve yeniden deneme yapabildiği görevlerde kullanılabilir.

İş Akışı Otomasyonu

Başarısız işlem dizilerinin nedenleri incelenebilir. Yeniden deneme sırasında aynı işlemin iki kez yapılmaması gibi uygulama kontrolleri gerekir.

Araştırma Destek Sistemleri

Eksik kanıt, tutarsız varsayım veya başarısız yöntemler hakkında notlar oluşturulabilir. Bu notlar bilimsel doğrulamanın yerini tutmaz.

Robotik gibi fiziksel alanlara uyarlanabilecek fikirler sunsa da gerçek dünyada güvenlik, algılama ve kontrol gereksinimleri ayrıca ele alınmalıdır.

Başlıca Sınırlamalar

Yanlış Ders Çıkarma

Ajan başarısızlığın gerçek nedenini belirleyemeyebilir. Yanlış bir açıklama, sonraki denemeyi hatalı yönlendirebilir.

Güvenilir Geri Bildirim Eksikliği

Modelin kendi değerlendirmesi, bağımsız doğrulama değildir. Açık testler veya güvenilir dış sinyaller bulunmadığında iyileşmeyi ölçmek zorlaşır.

Ek Gecikme ve Maliyet

Her deneme, değerlendirme ve yeni çıktı zaman ve kaynak tüketir.

Dar Deneyimden Aşırı Genelleme

Tek bir hata üzerinden oluşturulan kural, farklı koşullarda yanlış olabilir.

Kontrolsüz Tekrarlar

Ajan yeni bir strateji geliştirmeden aynı işlemleri tekrarlayabilir. Maksimum deneme sayısı ve durma koşulları belirlenmelidir.

Bellekteki Hassas Bilgiler

Deneyim notları kullanıcı verilerini veya gizli işlem ayrıntılarını içerebilir. Saklama ve erişim politikaları buna göre düzenlenmelidir.

Başarı Nasıl Ölçülür?

Reflexion’ın yararı, aynı görevler üzerinde bellek ve değerlendirme kullanılmayan bir başlangıç sistemiyle karşılaştırılarak ölçülebilir.

Yalnızca son denemedeki başarıya değil, kaç deneme gerektiğine ve toplam maliyete de bakılmalıdır.

İlk deneme başarısı, yeniden denemeler sonrası başarı, tekrar eden hata oranı, toplam süre ve deneyim notlarının doğruluğu birlikte değerlendirilebilir.

Daha uzun bir değerlendirme metni veya daha fazla deneme, tek başına daha iyi sistem anlamına gelmez. Amaç, doğru geri bildirimi kullanarak ölçülebilir ilerleme sağlamaktır.

Sık Sorulan Sorular

Reflexion modelin ağırlıklarını değiştirir mi?

Tipik yaklaşımda hayır. Davranış, deneyim notlarının sonraki denemede bağlama eklenmesiyle yönlendirilir.

Her not kalıcı hafızaya mı yazılır?

Zorunlu değildir. Saklama süresi ve kapsamı uygulamanın tasarımına bağlıdır.

Başarısızlığı doğru açıklamak başarıyı garanti eder mi?

Hayır. Ajan doğru dersi çıkarsa bile yeni çözümü uygularken başka bir hata yapabilir.

Farklı görevlerde aynı deneyimler kullanılabilir mi?

Kullanılabilir, ancak ilgili olmaları gerekir. Bir göreve özgü notu başka bir göreve taşımak performansı olumsuz etkileyebilir.

Kaynaklar: Noah Shinn, Federico Cassano, Ashwin Gopinath, Karthik Narasimhan ve Shunyu Yao — Reflexion: Language Agents with Verbal Reinforcement; Shunyu Yao ve diğerleri — ReAct: Synergizing Reasoning and Acting in Language Models; Aman Madaan ve diğerleri — Self-Refine: Iterative Refinement with Self-Feedback; Jie Huang ve diğerleri — Large Language Models Cannot Self-Correct Reasoning Yet.

Editör Notu

Bu içerik, deneyim belleği ve öz değerlendirme tabanlı ajan yaklaşımlarını açıklayan kamuya açık akademik çalışmaları ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Reflexion sistemlerinin başarısı; kullanılan modele, değerlendirme sinyallerine, görev türüne, bellek yönetimine ve yeniden deneme koşullarına göre değişebilir. Metinsel geri bildirim oluşturulması, modelin kalıcı olarak eğitildiğini veya sonraki görevlerde mutlaka daha başarılı olacağını göstermez.