Büyük dil modelleri, eğitimden edindikleri bilgilerin yanında kendilerine verilen yeni içerikleri de kullanabilir. Ancak eğitim sonrasında oluşan bilgileri, ağırlıklarını değiştirmeden veya dış bir kaynağa erişmeden otomatik olarak öğrenmezler.

Retrieval-Augmented Generation (RAG), bu bilgi açığını azaltmak için arama ile yanıt üretimini birleştirir. Sistem, kullanıcının sorusuyla ilgili içerikleri harici kaynaklardan getirir ve modelin bu içeriklerden yararlanarak cevap oluşturmasını sağlar.

Bu yaklaşımın amacı yalnızca daha fazla bilgi sunmak değildir. Doğru bilgiyi, doğru soruyla ve uygun bağlamla eşleştirmektir.

RAG Nedir?

RAG, dış kaynaklardan getirilen bilgilerin üretken yapay zekâ modeline bağlam olarak sunulduğu bir sistem yaklaşımıdır.

Bilgi kaynakları şirket belgeleri, PDF dosyaları, ürün katalogları, teknik kılavuzlar, veri tabanı kayıtları veya başka içerik koleksiyonları olabilir.

Örneğin kullanıcı, “Bu cihazın garanti kapsamı hangi durumlarda geçersiz olur?” diye sorduğunda sistem ilgili garanti belgesini bulabilir. Model, getirilen açıklamayı kullanarak yanıt oluşturur.

Burada modelin genel dil yeteneği ile dış kaynağın sağladığı bilgi birlikte kullanılır. Modelin bütün belge koleksiyonunu önceden ezberlemesi gerekmez.

Ancak belgeyi bulan bileşen her zaman dil modelinin kendisi değildir. Arama ve veri erişimi, uygulamanın ayrı bileşenleri tarafından yürütülebilir.

RAG Nasıl Çalışır?

RAG uygulamalarında bilgi hazırlama süreci ile kullanıcı sorusunu yanıtlama süreci birbirinden ayrılabilir.

Kaynak İçerikler Hazırlanır

Belgeler sisteme alınır ve içlerindeki bilgiler çıkarılır. Başlıklar, tablolar, dipnotlar ve bölüm ilişkileri mümkün olduğunca korunmalıdır.

Bir PDF’nin metni hatalı çıkarılırsa, arama sistemi doğru belgeyi bulsa bile model eksik veya bozuk bilgiyle karşılaşabilir.

İçerik Aranabilir Hâle Getirilir

Belgeler uygun parçalara ayrılabilir ve arama yapısı oluşturulur. Belge tarihi, sürüm numarası ve erişim izinleri gibi bilgiler de içerikle ilişkilendirilebilir.

Kullanıcı Sorusu İçin Arama Yapılır

Sistem, soruyla ilgili olabilecek içerikleri getirir. Bu işlem anahtar kelime araması, anlam temelli arama veya farklı yöntemlerin birleşimiyle yapılabilir.

İlgili Bağlam Seçilir

Bulunan bütün sonuçların modele gönderilmesi gerekmez. Soruyu yanıtlamaya katkı sağlayan, geçerli ve erişime izin verilen içerikler seçilir.

Model Cevap Oluşturur

Kullanıcı sorusu ve seçilen kaynaklar modele birlikte sunulur. Modelden, açıklamasını bu bilgilere dayandırması beklenir.

Yeterli bilgi bulunmadığında sistemin eksikliği belirtmesi gerekir. Kaynakta olmayan bir koşulu tahmin ederek eklemek, RAG’nin amacına aykırıdır.

Bir Şirket Belgesi Üzerinden RAG Örneği

Bir çalışan, “Şehir dışı görevlerde konaklama gideri hangi koşullarda karşılanıyor?” diye sorsun.

Modelin genel bilgisi, şirketin özel uygulamasını açıklamak için yeterli değildir. RAG sistemi ilgili seyahat ve gider politikasını arayabilir.

Model, bulunan belgeye göre açıklama hazırlayabilir. Ancak belgede belirli bir durum açıklanmıyorsa, o durum için kesin hüküm vermemelidir.

Bu örnek, RAG’nin neden yalnızca “belge yüklemekten” ibaret olmadığını gösterir. Sürüm, izin ve kapsam yönetimi de sürecin parçasıdır.

RAG İçin Vektör Veritabanı Gerekli mi?

Zorunlu değildir. Vektör veritabanları, anlam temelli arama için kullanılabilecek altyapılardan biridir.

Bazı sorular anahtar kelime aramasıyla daha iyi karşılanabilir. Özellikle ürün kodları, belge numaraları ve tam teknik ifadeler için doğrudan eşleşme önemlidir.

Kullanıcının gündelik dille anlattığı bir ihtiyaçta ise anlam benzerliğine dayalı arama yararlı olabilir.

Uygun yöntem, veri koleksiyonuna ve kullanıcı sorularına göre belirlenmelidir. Tek bir arama yaklaşımının bütün görevlerde en iyi sonucu vereceği varsayılmamalıdır.

Belgelerin Parçalanması Neden Önemlidir?

Uzun belgeler, arama ve bağlam seçimi için chunk adı verilen parçalara ayrılabilir.

Çok küçük parçalar gerekli ilişkiyi kaybedebilir. Bir kural bir parçada, istisnası başka bir parçada bulunursa sistem eksik cevap üretebilir.

Çok büyük parçalar ise gereksiz bilgilerin modele gönderilmesine neden olabilir. İlgili ayrıntı uzun metnin içinde gözden kaçabilir.

Örneğin bir teknik kılavuzda uyarı, işlem adımı ve istisna birlikte okunmalıdır. Bunları birbirinden koparan bir parçalama düzeni, cevabın kalitesini düşürebilir.

Bu nedenle iyi chunking, yalnızca karakter veya token sayısına göre kesmek değil, içeriğin anlam yapısını korumak demektir.

RAG Neden Modeli Sürekli Yeniden Eğitme İhtiyacını Azaltabilir?

Sık değişen bilgilerin tamamını model ağırlıklarına öğretmeye çalışmak maliyetli olabilir.

RAG’de yeni bir belge kaynak koleksiyonuna eklenip aranabilir hâle getirilebilir. Böylece model, yanıt sırasında bu yeni içerikten yararlanabilir.

Ancak bu işlem otomatik olarak gerçekleşmeyebilir. Dosyanın sisteme eklenmesi, metnin doğru çıkarılması, indeksin güncellenmesi ve eski sürümlerin yönetilmesi gerekir.

Ayrıca RAG araştırmalarında erişim ve üretim bileşenlerinin eğitildiği yaklaşımlar da bulunur. Bu nedenle “RAG’de hiçbir eğitim yapılmaz” ifadesi doğru değildir.

Yaygın uygulamalarda yeni bilgiyi kullanmak için üretici modelin yeniden eğitilmesi gerekmeyebilir.

RAG ile Fine-Tuning Arasındaki Fark

RAG, yanıt için gereken bilgiyi dış kaynaktan getirir.

Fine-Tuning, eğitim örnekleriyle modelin parametrelerini güncelleyerek davranışını veya görev başarısını uyarlamayı hedefler.

Bu ayrım mutlak değildir. Uygulamanın ihtiyaçları ve değerlendirme sonuçları seçimi belirler.

RAG de fine-tuning de yanlış verilerin etkisini kendiliğinden ortadan kaldırmaz.

RAG ile MCP Aynı Şey mi?

Hayır. Bu kavramlar farklı görevleri yerine getirir.

RAG, bilgilerin getirilip yanıt üretiminde kullanılmasını anlatır.

Model Context Protocol (MCP) ise uygulamaların araçlara ve veri kaynaklarına erişimini düzenleyen bir entegrasyon protokolüdür.

Bir RAG uygulaması, kaynaklara MCP üzerinden erişebilir. Ancak RAG için MCP zorunlu değildir. MCP desteği de tek başına belge arama kalitesini veya cevap doğruluğunu garanti etmez.

Bu nedenle RAG’yi açıklayan bir yazıda temel kaynakların RAG araştırmaları ve bilgi erişimi dokümantasyonları olması daha uygundur.

Daha Güncel ve Daha Doğru Cevaplar Garanti mi?

Hayır. RAG’nin yararı, bilgi zincirinin doğru çalışmasına bağlıdır.

Kaynak eskiyse cevap eski bilgiye dayanabilir. Arama ilgili belgeyi bulamazsa model eksik bağlamla çalışabilir. Model doğru belgeyi yanlış yorumlarsa sonuç yine hatalı olabilir.

Bu nedenle üç ayrı soru sorulmalıdır:

• Kaynak doğru ve güncel mi?
• Sistem soruyla ilgili bölümü buldu mu?
• Cevap, bulunan bölümün söylediğine bağlı mı?

Bir yanıtta kaynak bulunması da tek başına yeterli değildir. Kaynağın ilgili iddiayı gerçekten desteklemesi gerekir.

Kurumsal Veriler Otomatik Olarak Güvende mi Olur?

RAG kullanılması, verileri kendiliğinden güvenli hâle getirmez.

Belgelerin kim tarafından görülebileceği, hangi içeriklerin dış hizmetlere gönderildiği ve kayıtların ne kadar süre saklandığı uygulama düzeyinde yönetilmelidir.

Erişim kontrolü, yalnızca cevabın sonunda uygulanan bir filtre olmamalıdır. Kullanıcının yetkisi olmayan içeriklerin arama ve bağlam seçimi aşamalarında da korunması gerekir.

Belgelerdeki kötü niyetli talimatlar da ayrı bir risk oluşturabilir. Kaynak metin, sistemin güvenilir talimatlarıyla aynı yetki düzeyinde değerlendirilmemelidir.

RAG Hangi Alanlarda Yararlı Olabilir?

Kurumsal bilgi yönetiminde, çalışanların prosedürlere ve teknik belgelere doğal dille ulaşmasını kolaylaştırabilir.

Müşteri hizmetlerinde, geçerli ürün bilgileri ve destek belgeleri üzerinden açıklamalar hazırlanabilir.

Eğitimde, belirli ders materyallerine dayalı soru-cevap sistemleri oluşturulabilir.

Teknik destekte, cihaz modeli ve yazılım sürümüne uygun kılavuz bölümleri getirilebilir.

Hukuk ve sağlık gibi alanlarda, belge erişimini destekleyebilir. Ancak geçerlilik, uzman değerlendirmesi ve kaynak doğrulama gereksinimleri devam eder.

RAG Başarısı Nasıl Değerlendirilir?

Cevabın akıcı olması, sistemin başarılı olduğunu göstermez. Arama ile yanıt üretimi ayrı ayrı ölçülmelidir.

İlgili içeriğin bulunması, getirilen parçaların soruya katkısı, cevabın kaynaklara bağlılığı ve toplam gecikme incelenebilir.

Testlerde yalnızca cevabı açıkça bulunan sorular kullanılmamalıdır. Bilgi tabanında cevabı olmayan sorular, çelişen belgeler ve eski sürümler de değerlendirilmelidir.

Bu sayede sorunun modelden mi, aramadan mı yoksa veri hazırlığından mı kaynaklandığı daha kolay belirlenebilir.

Sık Sorulan Sorular

RAG internet bağlantısı olmadan çalışabilir mi?

Evet. Yerel belgeler, yerel arama altyapısı ve uygun bir modelle çalışabilir.

Yeni belge eklemek hemen kullanılmasını sağlar mı?

Her zaman değil. Belgenin işlenmesi, indekslenmesi ve erişim kurallarının uygulanması gerekir.

Bilgi bulunamazsa sistem ne yapmalı?

Eksikliği belirtmeli, gerekirse soruyu netleştirmeli veya uygun başka bir kaynağa başvurmalıdır. Kaynakta olmayan bilgiyi kesinmiş gibi sunmamalıdır.

RAG geçmiş konuşmaları hatırlamakla aynı mı?

Hayır. RAG, ilgili bilgiyi bir kaynaktan getirme yaklaşımıdır. Konuşma hafızası ayrı bir işlevdir; gerektiğinde bu bilgiler de erişim kaynağı olarak kullanılabilir.

Kaynaklar: Patrick Lewis ve diğerleri — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks; Vladimir Karpukhin ve diğerleri — Dense Passage Retrieval for Open-Domain Question Answering; LangChain — Retrieval teknik dokümantasyonu; LlamaIndex — RAG ve veri indeksleme teknik dokümantasyonu.

Editör Notu

Bu içerik, bilgi erişimi ile üretken dil modellerini birleştiren yaklaşımlara ilişkin kamuya açık akademik çalışmalar ve teknik kaynakları ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. RAG sistemlerinin doğruluğu, güncelliği ve güvenliği; kaynak kalitesine, veri hazırlama sürecine, erişim izinlerine, arama yöntemine ve model yapılandırmasına göre değişebilir. Harici bilgi kullanılması, cevabın hatasız olduğunu veya bütün iddiaların kaynaklarla desteklendiğini tek başına garanti etmez.