Ayrıca modelin eğitiminde gördüğü bilgiler zamanla eskiyebilir. Bir soruya akıcı cevap vermesi de söylediklerinin doğru olduğunu garanti etmez.

Retrieval-Augmented Generation (RAG), modelin yanıt üretirken harici kaynaklardan getirilen ilgili bilgilerden yararlanmasını sağlayan bir yaklaşımdır. Türkçede bilgi getirmeyle desteklenen üretim olarak açıklanabilir.

Temel fikir, gerekli bilgilerin tamamını modelin ağırlıklarına öğretmek yerine, soruyla ilgili içeriği ihtiyaç anında bulup modele sunmaktır. Ancak RAG’nin başarısı yalnızca güçlü bir dil modeline bağlı değildir. Belgelerin kalitesi, aramanın doğruluğu ve seçilen bilgilerin nasıl kullanıldığı da belirleyicidir.

RAG Nedir?

RAG, bilgi erişimi ile metin üretimini bir araya getirir. Sistem önce ilgili içeriği bulur, ardından bu içeriği yanıt üretmesi için dil modeline verir.

Kaynaklar şirket belgeleri, ürün katalogları, teknik kılavuzlar, akademik yayınlar veya başka bilgi koleksiyonları olabilir.

Örneğin kullanıcı “Bu ürünün garanti süresi ne kadar?” diye sorduğunda sistem, ilgili ürünün garanti belgesini arayabilir. Bulduğu açıklamayı modele sunar ve model bu bilgiye dayanarak cevap oluşturur.

Burada modelin genel dil yeteneği ile dış kaynağın sağladığı bilgi birlikte kullanılır. RAG, modelin ağırlıklarını her soruda değiştirmez; yanıt sırasında kullanılan bağlamı değiştirir.

Yapay Zekâ Neden Harici Bilgiye İhtiyaç Duyar?

Bir dil modelinin eğitimden öğrendiği bilgiler ile bir uygulamanın ihtiyaç duyduğu bilgiler aynı değildir.

Eğitim verilerinde bulunmayan kurum içi belgeler, yeni yayımlanan açıklamalar veya sık değişen kayıtlar dış kaynaklardan sağlanabilir.

Harici bilgi kullanımı, cevabın hangi belgeye dayandığını incelemeyi de kolaylaştırabilir. Ancak bunun için kaynakların sistem tarafından takip edilmesi ve iddialarla ilişkilendirilmesi gerekir.

Modelin yalnızca bir belge görmesi, o belgeyi doğru yorumlayacağı anlamına gelmez. RAG, bilgiye erişim sorununu azaltır; bütün doğruluk sorunlarını kendiliğinden çözmez.

RAG Nasıl Çalışır?

RAG sürecini iki bölümde düşünmek yararlıdır: bilgi koleksiyonunun hazırlanması ve kullanıcı sorusunun yanıtlanması.

Belgeler Hazırlanır

Kaynak içerikler sisteme alınır. PDF, metin veya başka dosyalardaki bilgiler çıkarılır ve aranabilir hâle getirilir.

Bu aşamada başlıkların, tabloların ve bölüm ilişkilerinin korunması önemlidir. Bir belgenin metni yanlış çıkarılırsa sonraki arama ve yanıt aşamaları da etkilenebilir.

İçerik Uygun Parçalara Ayrılır

Uzun belgeler, chunk adı verilen parçalara bölünebilir. Amaç, soruyla ilgili bölümü bütün belgeyi göndermeden bulabilmektir.

Her uygulamada aynı parça boyutu uygun değildir. Bir paragraf, tablo veya birbirini tamamlayan birkaç bölüm birlikte değerlendirilmek zorunda olabilir.

Arama Yapısı Oluşturulur

İçerikler anahtar kelime araması, vektör araması veya başka erişim yöntemleri için hazırlanır. Belge tarihi, sürümü ve erişim izinleri gibi bilgiler de kayıtlarla ilişkilendirilebilir.

Kullanıcının Sorusu İçin Adaylar Bulunur

Soru geldiğinde sistem, ilgili olabilecek içerikleri arar. İlk sonuçlar gerektiğinde yeniden sıralanabilir veya ek filtrelerden geçirilebilir.

Bağlam Seçilir

Bulunan her içerik modele gönderilmek zorunda değildir. İlgili, izin verilen ve bağlam bütçesine sığan parçalar seçilir.

Yanıt Üretilir

Model, kullanıcı sorusunu ve getirilen içeriği birlikte kullanarak cevap oluşturur. Yeterli kanıt yoksa bunu belirtmesi beklenmelidir.

RAG İçin Vektör Veritabanı Şart mı?

Hayır. Vektör veritabanı, RAG uygulamalarında kullanılabilecek araçlardan biridir; yaklaşımın zorunlu bileşeni değildir.

Arama için farklı yöntemler kullanılabilir:

Örneğin tam bir ürün kodu için anahtar kelime eşleşmesi önemli olabilir. Kullanıcının gündelik dille anlattığı bir sorun için anlam temelli arama daha yararlı olabilir.

Yöntem seçimi, veri yapısına ve gerçek kullanıcı sorularına göre yapılmalıdır.

Chunking Neden Bu Kadar Önemlidir?

Belgenin nasıl parçalandığı, sistemin hangi bilgiyi bulabildiğini etkiler.

Çok küçük parçalar, gerekli bağlamı kaybedebilir. Bir kural bulunurken o kuralın istisnası başka bir parçada kalabilir.

Çok büyük parçalar ise gereksiz bilgilerin modele gönderilmesine neden olabilir. İlgili ayrıntı uzun metnin içinde gözden kaçabilir.

Örneğin bir iade politikasında süre, ürün koşulları ve istisnalar ayrı başlıklarda bulunabilir. Bunların ilişkisi korunmadan yapılan parçalama, eksik cevaplara yol açabilir.

Bu nedenle chunking yalnızca metni belirli sayıda karakterden sonra kesmek değildir. Belgenin anlam yapısını korumak gerekir.

Re-Ranking RAG’ye Nasıl Katkı Sağlar?

İlk arama, ilgili olabilecek adayları bulur. Ancak en yararlı içerik her zaman ilk sırada bulunmayabilir.

Re-Ranking, adayları ikinci bir değerlendirmeden geçirerek soruya daha uygun olanları öne taşımayı amaçlar.

Örneğin genel garanti açıklaması ile belirli ürünün garanti istisnaları birlikte bulunabilir. Yeniden sıralama, kullanıcının sorusuna doğrudan cevap veren bölümü öne çıkarabilir.

Ancak ilk aramanın getirmediği içerik, standart yeniden sıralama aşamasında ortaya çıkmaz. Ayrıca yüksek uygunluk puanı, belgenin doğru veya güncel olduğunu garanti etmez.

RAG ile Fine-Tuning Arasındaki Fark

RAG ve fine-tuning farklı ihtiyaçlara cevap verir.

RAG, gerekli bilgiyi yanıt sırasında dış kaynaklardan getirir.

Fine-Tuning, eğitim örnekleriyle modelin parametrelerini güncelleyerek davranışını veya görev başarısını uyarlamayı hedefler.

Bu iki yaklaşım birlikte kullanılabilir. Bir model, belirli bir çıktı biçimi için ince ayarlanmış olabilir ve cevabın içeriği için RAG’den yararlanabilir.

Ayrıca RAG araştırmalarında erişim ve üretim bileşenlerinin eğitildiği yaklaşımlar da bulunur. Bu nedenle “RAG’de hiçbir eğitim yapılmaz” şeklinde mutlak bir ifade doğru değildir. Yaygın uygulamalarda yeni belgeleri kullanmak için üretici modelin yeniden eğitilmesi gerekmeyebilir.

RAG Güncel Bilgi Garantisi Verir mi?

Hayır. Sistem yalnızca erişebildiği ve doğru biçimde getirebildiği kaynaklardan yararlanabilir.

Bilgi tabanı eskiyse veya yeni belge henüz indekse eklenmemişse cevap da eski bilgiye dayanabilir.

Aynı belgenin farklı sürümleri bulunduğunda hangi sürümün geçerli olduğu belirlenmelidir. Güncelleme tarihi, yürürlük durumu ve kaynak sahibi gibi bilgiler bu nedenle önemlidir.

RAG’nin güncelliği, bağlı olduğu veri sürecinin güncelliği kadardır.

Hallucination Sorununu Ortadan Kaldırır mı?

Hayır. RAG, modelin ilgili kanıtlara erişmesini sağlayarak bazı yanlış bilgi üretimlerini azaltabilir. Ancak farklı hata türleri devam edebilir.

Arama yanlış belgeyi getirebilir. Belge eksik veya hatalı olabilir. Model, doğru kaynağı yanlış yorumlayabilir ya da kaynakta bulunmayan bir ayrıntı ekleyebilir.

Bir yanıtta kaynak gösterilmesi de bütün iddiaların doğrulandığı anlamına gelmez. Kaynağın ilgili iddiayı gerçekten destekleyip desteklemediği kontrol edilmelidir.

Yeterli bilgi bulunmadığında sistemin belirsizliği açıklaması, kesin fakat desteksiz bir cevap vermesinden daha yararlıdır.

Bir Kurumsal Asistan Örneği

Kullanıcı, “Açılmış elektronik ürünlerde iade koşulları nelerdir?” diye sorsun.

İyi tasarlanmış bir sistem şu noktaları kontrol edebilir:

Son cevap, bulunan politika metnine bağlı kalmalıdır. Kaynakta olmayan bir koşul model tarafından eklenmemelidir.

Başlıca Avantajları

Kuruma Özel Bilgi Kullanımı

Modelin eğitiminde bulunmayan belgeler, uygun erişim mekanizmasıyla yanıt üretiminde kullanılabilir.

Daha Kolay Bilgi Güncelleme

Birçok uygulamada yeni bilgi için modelin tamamını yeniden eğitmek yerine kaynakları ve arama indeksini güncellemek yeterli olabilir.

Kaynakların İncelenebilmesi

Hangi içeriklerin getirildiği kaydedilerek cevabın dayanağı araştırılabilir.

Bağlamın Seçici Kullanılması

Bütün bilgi koleksiyonunu modele göndermek yerine ilgili parçalar seçilebilir.

Karşılaşılan Zorluklar

Veri Kalitesi

Bozuk metin çıkarımı, eksik tablolar veya çelişen belgeler sonuçları olumsuz etkiler.

Arama Başarısı

İlgili belge bulunamazsa güçlü bir üretici model bu eksikliği güvenilir biçimde telafi edemez.

Erişim Kontrolü

Belgelerin kullanıcının yetkisine göre filtrelenmesi gerekir. Modelin bir içeriği görebilmesi, kullanıcının da onu görmeye yetkili olduğu anlamına gelmemelidir.

Dış İçerikteki Talimatlar

Bir belge, sistemi yönlendirmeye çalışan kötü niyetli ifadeler içerebilir. Kaynak içerik, uygulamanın güvenilir talimatlarıyla aynı yetkide ele alınmamalıdır.

Gecikme ve Maliyet

Arama, yeniden sıralama ve uzun bağlam kullanımı ek maliyet oluşturabilir. Kalite kazanımı ile kaynak ihtiyacı birlikte ölçülmelidir.

RAG Başarısı Nasıl Ölçülür?

Yalnızca cevabın akıcı olması yeterli değildir. Arama ve yanıt üretimi ayrı ayrı değerlendirilmelidir.

İlgili içeriğin bulunup bulunmadığı, seçilen parçaların soruya katkısı, cevabın kaynaklara bağlılığı ve eksik bilgi durumunda sistemin davranışı incelenebilir.

Değerlendirme kümesi yalnızca kolay sorulardan oluşmamalıdır. Eski belge sürümleri, çelişen kaynaklar ve cevabı bilgi tabanında bulunmayan sorular da test edilmelidir.

Bu ayrım, sorunun modelde mi, aramada mı yoksa veri hazırlığında mı olduğunu belirlemeye yardımcı olur.

Sık Sorulan Sorular

Bütün belgeleri modele yüklemek RAG sayılır mı?

Belgeleri bağlama eklemek dış bilgi kullanımını sağlar. RAG’nin ayırt edici yönü ise ihtiyaç duyulan içeriğin bir erişim mekanizmasıyla seçilip getirilmesidir.

RAG için internet bağlantısı gerekir mi?

Zorunlu değildir. Yerel belgeler ve yerel arama altyapısıyla da çalışabilir.

Bilgi tabanını güncellemek yeterli mi?

Yeni içeriğin doğru çıkarılması, indekslenmesi ve eski sürümlerle ilişkisinin yönetilmesi de gerekir.

Yanıtta kaynak varsa cevap kesin doğru mu?

Hayır. Kaynağın iddiayı desteklemesi ve modelin onu doğru yorumlaması gerekir.

Kaynaklar: Patrick Lewis ve diğerleri — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks; Vladimir Karpukhin ve diğerleri — Dense Passage Retrieval for Open-Domain Question Answering; LangChain — Retrieval teknik dokümantasyonu; LlamaIndex — RAG ve veri indeksleme teknik dokümantasyonu.

Editör Notu

Bu içerik, bilgi erişimi ve üretken dil modellerini birleştiren yaklaşımlara ilişkin kamuya açık akademik çalışmalar ve teknik kaynakları ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. RAG sistemlerinin başarısı, güncelliği, maliyeti ve güvenliği; kaynak kalitesine, indeksleme sürecine, erişim izinlerine, arama yöntemine ve model yapılandırmasına göre değişebilir. Harici belge kullanılması, cevabın doğruluğunu veya bütün iddiaların kaynaklarla desteklendiğini tek başına garanti etmez.