Tree of Thoughts (ToT) Nedir? Yapay Zekâ Farklı Çözüm Yollarını Nasıl Değerlendiriyor?

Büyük dil modelleri de çok adımlı görevlerde benzer bir sorunla karşılaşabilir. Tek bir çözüm dizisi boyunca ilerlemek, erken aşamada yapılan hatanın sonraki adımlara taşınmasına neden olabilir.

Tree of Thoughts (ToT), çözüm sürecini dallanan bir arama yapısı olarak düzenler. Sistem farklı ara çözüm adayları üretir, bunları değerlendirir ve seçilen adayları geliştirmeye devam eder. Uygun olmayan yollar elenebilir; arama yöntemine göre önceki durumlara dönülebilir.

Buradaki amaç, modelin yalnızca daha uzun cevap yazmasını sağlamak değildir. Alternatifleri üretme, karşılaştırma ve arama sürecini yönetme biçimini değiştirmektir.

Tree of Thoughts Nedir?

Tree of Thoughts, dil modellerinin ürettiği ara çözüm adımlarını bir arama ağacındaki durumlar olarak ele alan problem çözme yaklaşımıdır.

2023 yılında yayımlanan Tree of Thoughts: Deliberate Problem Solving with Large Language Models çalışmasında tanıtılmıştır.

Ağacın başlangıcında problem bulunur. Her dal, mevcut çözüm durumundan ilerlemek için önerilen bir seçeneği temsil eder. Bu seçenekler değerlendirildikten sonra bazıları genişletilir, bazıları bırakılır.

ToT’de “thought” sözcüğü, insan zihnindeki düşüncenin doğrudan karşılığı olarak anlaşılmamalıdır. Genellikle bir sonraki arama adımı olarak kullanılabilecek metinsel ara çözüm anlamına gelir.

Bu ara birim göreve göre değişebilir:

• Matematikte yapılacak bir işlem.
• Planlamada bir sonraki görev adımı.
• Yazı tasarımında bir taslak bölümü.
• Bir bulmacada önerilen yerleştirme.
• Kod geliştirmede bir çözüm yaklaşımı.

Aynı Anda Değerlendirmek Zorunlu mu?

Hayır. ToT’nin ayırt edici özelliği alternatiflerin varlığı ve arama sürecidir; bütün adayların donanım üzerinde eşzamanlı çalıştırılması değildir.

Bir uygulama adayları sırayla üretebilir. Başka bir uygulama bağımsız çağrıları paralel yürütebilir.

Bu nedenle “birden fazla çözümü aynı anda düşünmek” ifadesi açıklayıcı bir benzetme olsa da teknik olarak birden fazla çözüm yolunu sistematik biçimde araştırmak daha doğru bir tanımdır.

Tree of Thoughts Nasıl Çalışır?

ToT uygulaması birkaç temel bileşenden oluşur.

Problem durumunu tanımlama

Sistem, çözümün hangi bilgilerle temsil edileceğini belirler. Bir sayı bulmacasında kalan sayılar; planlamada tamamlanan işler ve mevcut kaynaklar durumun parçası olabilir.

Aday adımlar üretme

Dil modeli, mevcut durumdan ilerlemek için birden fazla seçenek önerir. Bu seçeneklerin görevin kurallarıyla uyumlu olması gerekir.

Adayları değerlendirme

Her adayın geçerli veya umut verici olup olmadığı incelenir. Değerlendirme dil modeliyle yapılabileceği gibi kurallar, testler veya hesaplama araçlarıyla da desteklenebilir.

Aramayı ilerletme

Seçilen adaylardan yeni adımlar üretilir. Arama bütçesine ve yöntemine göre bazı dallar korunur, bazıları elenir.

Durma ve sonuç seçimi

Geçerli bir çözüm bulunduğunda veya kaynak bütçesi dolduğunda süreç durur. Elde edilen adaylar arasından uygun sonuç seçilir.

Sistem her olası yolu incelemek zorunda değildir. Uygulamada zaman ve maliyet nedeniyle sınırlı sayıda dal araştırılır.

Somut Bir Örnek: 24 Sayısına Ulaşmak

Dört sayıyı, her birini bir kez kullanarak temel aritmetik işlemlerle 24’e dönüştürmek istediğimizi düşünelim.

Verilen sayılar:

4, 7, 8 ve 8

Sistem ilk adım için farklı seçenekler oluşturabilir:

• İki 8’i toplamak.
• 7’den 4’ü çıkarmak.
• 8’den 7’yi çıkarmak.

Bu seçimlerin her biri farklı bir ara durum yaratır. Örneğin iki 8’in toplanması şu çözüme ilerleyebilir:

(8 + 8 − 7) × 4 = 36

Bu sonuç hedefi sağlamaz. Başka bir dalda ise:

(7 − 4) × 8 = 24

elde edilir; fakat ikinci 8 kullanılmadığı için çözüm kurala uygun değildir.

Geçerli bir çözüm şudur:

(7 − 8 ÷ 8) × 4 = 24

Bu örnek önemli bir ayrımı gösterir: Hedef sayıya ulaşmak yetmez; bütün görev koşullarının karşılanması gerekir.

ToT’nin değerlendirme aşaması, umut verici görünen bir adım ile gerçekten geçerli bir çözümü ayırabilmelidir.

Arama Stratejisi Neden Önemli?

Ağaç büyüdükçe seçenek sayısı hızla artabilir. Her durumda üç aday üretilip hepsi genişletilirse, birkaç aşama sonra çok sayıda durum oluşur.

Bu nedenle aramanın nasıl yürütüleceği belirlenmelidir.

Arama genişliği ile derinliği farklı ihtiyaçları karşılar. Daha çok alternatif denemek ve bir alternatifi daha fazla geliştirmek aynı şey değildir.

Değerlendirme Yanlışsa Ne Olur?

ToT’nin başarısı yalnızca aday üretimine bağlı değildir. Hangi adayların ilerletileceğini belirleyen değerlendirme mekanizması da önemlidir.

Bir model, ikna edici görünen yanlış bir adımı yüksek puanla değerlendirebilir. Doğru bir çözüm yolu ise başlangıçta alışılmadık göründüğü için elenebilir.

Mümkün olduğunda değerlendirme somut kontrollerle desteklenmelidir:

• Matematikte işlemlerin doğrulanması.
• Kodda testlerin çalıştırılması.
• Planlamada kaynak ve süre kısıtlarının kontrol edilmesi.
• Belge görevlerinde kaynakla uyumun incelenmesi.

Modelin kendi adayını olumlu değerlendirmesi, adayın doğru olduğunu kanıtlamaz. Zayıf bir değerlendirici, daha büyük arama bütçesini yanlış yollar için harcayabilir.

Chain of Thought ile Arasındaki Fark

Chain of Thought (CoT), çözümün ara adımlar üzerinden oluşturulmasını anlatır. Tek bir örnekleme, çoğunlukla doğrusal bir çözüm dizisi üretir.

Tree of Thoughts, ara çözüm durumları üzerinde aday üretimi, değerlendirme ve arama düzeni kurar.

CoT için “asla geri dönmez” demek fazla kesin olur. Bir metin içinde düzeltme veya yeniden değerlendirme bulunabilir. ToT’nin farkı, bu süreci açık biçimde dallanan adaylar ve arama kurallarıyla yönetmesidir.

Birden fazla tamamlanmış CoT cevabı üretmek de tek başına ToT değildir. ToT, alternatifleri yalnızca finalde değil, ara aşamalarda da değerlendirerek ilerleyebilir.

ReAct ve Reflection ile Birlikte Kullanılabilir mi?

Evet. Bu yaklaşımlar farklı işlevler üstlenir.

ReAct, araç kullanımı ve araçlardan gelen gözlemlerle ilerlemeye odaklanır.

Reflection, üretilen sonuç veya davranış üzerinde değerlendirme ve düzeltme yapmayı amaçlar.

ToT, alternatif çözüm durumlarını araştırır.

Örneğin bir ajan birkaç plan adayı oluşturabilir, gerekli bilgileri araçlarla toplayabilir ve sonuçlara göre planları yeniden değerlendirebilir.

Ancak aday planları araştırmak ile gerçek işlemleri yürütmek ayrılmalıdır. Alternatif oluşturmak, her alternatifteki işlemi gerçekten yapmak anlamına gelmez. Özellikle kayıt değiştiren veya dış dünyayı etkileyen araçlarda bu ayrım önemlidir.

Hangi Görevlerde Daha Anlamlıdır?

ToT, birden fazla makul yolun bulunduğu ve ara durumların değerlendirilebildiği görevlerde faydalı olabilir.

Bulmacalar, kısıtlı planlama ve farklı algoritmaların karşılaştırılması buna örnektir. Buna karşılık basit bir tanım sorusunda dallanan arama gereksiz maliyet oluşturabilir.

Eksik bilgi içeren görevlerde de daha çok dal üretmek yeterli olmayabilir. Sistem önce doğru bilgiye erişmelidir. Alternatiflerin tamamı aynı yanlış varsayıma dayanıyorsa ağaç büyüse bile güvenilir sonuç elde edilemeyebilir.

Maliyet Nasıl Kontrol Edilir?

Her yeni aday, değerlendirme ve genişletme adımı ek işlem oluşturur. ToT bu nedenle tek cevap üretimine kıyasla daha fazla token ve model çağrısı gerektirebilir.

Uygulamada şu sınırlar belirlenebilir:

• Her durumda üretilecek aday sayısı.
• Korunacak dal sayısı.
• En fazla arama derinliği.
• Toplam çağrı veya token bütçesi.
• Geçerli çözüm bulunduğunda durma koşulu.

Başarı ölçümünde yalnızca doğru cevap oranına bakmak yeterli değildir. Ek maliyetin ve bekleme süresinin sağlanan iyileşmeye değip değmediği de değerlendirilmelidir.

Sık Sorulan Sorular

ToT modeli yeniden eğitir mi?

Temel yaklaşım, mevcut modelin çıkarım sırasında bir arama sistemi içinde kullanılmasıdır. Bunun için model ağırlıklarının değiştirilmesi zorunlu değildir.

Her zaman en iyi çözümü bulur mu?

Hayır. Sınırlı arama bütçesi ve hatalı değerlendirmeler nedeniyle uygun yollar elenebilir. Küresel olarak en iyi çözümün bulunacağı garanti edilmez.

“Üç farklı çözüm düşün” demek ToT sayılır mı?

Alternatif üretmek benzer bir başlangıçtır. Tam bir ToT düzeni, ara durumları değerlendirme, seçme ve genişletme mekanizmalarını da içerir.

Daha fazla dal açmak her zaman faydalı mı?

Hayır. Benzer veya düşük kaliteli adaylar maliyeti artırabilir. Aday çeşitliliği ve değerlendirme kalitesi, dal sayısı kadar önemlidir.

Kaynaklar: Shunyu Yao ve diğerleri — Tree of Thoughts: Deliberate Problem Solving with Large Language Models; Jason Wei ve diğerleri — Chain-of-Thought Prompting Elicits Reasoning in Large Language Models; Xuezhi Wang ve diğerleri — Self-Consistency Improves Chain of Thought Reasoning in Language Models.

Editör Notu

Bu içerik, Tree of Thoughts yaklaşımının çalışma mantığını ve kullanım sınırlarını ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Başarı, gecikme ve hesaplama maliyeti; modelin yeteneklerine, aday üretimine, değerlendirme yöntemine ve arama bütçesine bağlıdır. Daha fazla çözüm yolu oluşturulması, doğru veya en iyi sonucun bulunacağını tek başına garanti etmez.