Semantic Routing Nedir? Yapay Zekâ İstekleri Uygun Model ve İş Akışlarına Nasıl Yönlendiriliyor?

Bu görevlerin tamamını aynı modelle yürütmek mümkün olabilir. Ancak bazı uygulamalarda farklı modeller, araçlar ve bilgi kaynakları kullanmak daha uygun sonuçlar sağlayabilir.

Semantic Routing, yani anlamsal yönlendirme, kullanıcının isteğini anlamına göre değerlendirerek uygun bir hedefe göndermeyi amaçlar. Bu hedef bir dil modeli, uzman ajan, bilgi tabanı veya belirli bir iş akışı olabilir.

Burada önemli nokta, sistemin yalnızca konuyu tanıması değildir. İsteğin hangi işlemle karşılanabileceğini de belirlemesi gerekir. “Faturamı açıkla” ile “Faturamı indir” aynı konuyu içerir, fakat farklı işlemler gerektirir.

Semantic Routing Nedir?

Semantic Routing, bir isteğin anlamsal özelliklerini kullanarak yönlendirme kararı veren yaklaşımların genel adıdır.

Sistem, kullanıcının ne istediğini önceden tanımlanmış hedeflerle ilişkilendirmeye çalışır. Örneğin teknik destek talebini destek bilgi tabanına, sipariş durumu sorusunu kayıt sorgulama aracına yönlendirebilir.

Bu işlem embedding benzerliğiyle yapılabilir. Ancak anlamsal yönlendirme için embedding kullanılması zorunlu değildir. Sınıflandırıcı modeller, dil modeli tabanlı kararlar veya bunları kurallarla birleştiren yöntemler de kullanılabilir.

Anlamı değerlendirmek, kullanıcı niyetini hatasız biçimde çözmek anlamına gelmez. Belirsiz veya birden fazla görev içeren isteklerde ek kontrol gerekebilir.

Neden Yalnızca Anahtar Kelimeler Yeterli Olmayabilir?

Aynı ihtiyaç farklı cümlelerle ifade edilebilir.

Bir kullanıcı “Şifremi unuttum” derken başka biri “Hesabıma giriş yapamıyorum” diyebilir. İki ifade de hesap erişimiyle ilgili olabilir, ancak ikinci sorunun nedeni şifre dışında başka bir sorun da olabilir.

Benzer şekilde aynı kelime farklı işlemlerde kullanılabilir:

Yalnızca “iade” kelimesini yakalamak, bu dört isteği doğru işlemlere ayırmaya yetmez. Anlamsal yönlendirme, cümlenin daha geniş bağlamını değerlendirmeyi hedefler.

Semantic Routing Nasıl Çalışır?

Uygulama biçimi değişse de süreç genellikle hedeflerin tanımlanması, isteğin değerlendirilmesi ve yönlendirme kararının uygulanması üzerinden ilerler.

Yönlendirme Hedefleri Tanımlanır

Sistemin hangi hedeflere yönlendirme yapabileceği belirlenir. Her hedefin görevi ve sınırları açıklanmalıdır.

Örneğin “ürün bilgisi”, “sipariş durumu” ve “teknik destek” rotaları hazırlanabilir. Birbirine çok benzeyen veya kapsamı belirsiz rotalar karar kalitesini düşürebilir.

Temsil Edici Örnekler Hazırlanır

Her rota için gerçek kullanıcı diline yakın örnekler oluşturulur. Yalnızca kategori adları değil, farklı ifade biçimleri de değerlendirilir.

Kısa cümleler, yazım hataları ve dolaylı anlatımlar test verilerine dâhil edilebilir.

Kullanıcı İsteği Değerlendirilir

İstek, embedding modeli, sınıflandırıcı veya dil modeli üzerinden analiz edilir. Konuşma geçmişi de gerekli olduğunda dikkate alınabilir.

Örneğin “Bunu iptal et” cümlesinin anlamı, önceki mesajlarda ne konuşulduğuna bağlıdır.

Uygunluk ve Belirsizlik Kontrol Edilir

Sistem, aday hedeflerin puanlarını veya sınıflandırma sonucunu değerlendirir.

En yüksek puanı alan rotanın seçilmesi her zaman yeterli değildir. Bütün rotalar isteğe uygun olmayabilir veya iki hedef birbirine çok yakın sonuç verebilir.

İstek Hedefe Gönderilir

Yeterli uygunluk varsa ilgili model, araç veya iş akışı çalıştırılır. Belirsizlik yüksekse açıklama istenebilir ya da genel bir yanıt mekanizmasına geçilebilir.

Yönlendirme kararı, işlem yetkisiyle karıştırılmamalıdır. Bir isteğin doğru rotaya gönderilmesi, kullanıcının o işlemi yapmaya yetkili olduğunu göstermez.

Embedding Tabanlı Yönlendirme Nedir?

Embedding, metni sayısal bir vektörle temsil eder. Anlam bakımından ilişkili metinlerin vektörleri, uygun bir modelde birbirine yakın olabilir.

Embedding tabanlı bir yönlendirici, kullanıcı isteğini rota örnekleriyle karşılaştırabilir. İsteğin hangi örneklere daha yakın olduğuna bakarak hedef belirler.

Bu yaklaşım, tekrar kullanılan rota örneklerinin temsilleri önceden hesaplanabildiğinde verimli olabilir.

Ancak benzerlik puanı doğrudan doğruluk olasılığı değildir. Bir puanın “yüzde 90 güven” olarak yorumlanabilmesi için ayrıca uygun kalibrasyon gerekir.

Embedding modeli, dil ve alan terminolojisini yeterince temsil etmiyorsa yanlış eşleşmeler oluşabilir.

Dil Modeli Tabanlı Yönlendirme Nasıl Farklıdır?

Dil modeli tabanlı yaklaşımda sisteme hedeflerin açıklamaları verilir ve isteğin hangi hedefe uygun olduğunu belirlemesi istenir.

Bu yöntem, karmaşık veya birden fazla koşul içeren talepleri değerlendirmede yararlı olabilir. Örneğin konu, çıktı türü ve yapılacak işlem birlikte ele alınabilir.

Buna karşılık ek gecikme ve maliyet oluşturabilir. Modelin beklenmeyen bir hedef adı üretmesi veya rota açıklamalarını yanlış yorumlaması da mümkündür.

Bu nedenle çıktının izin verilen hedeflerden oluştuğu doğrulanmalıdır.

Her yaklaşımın başarısı gerçek iş yükünde ölçülmelidir.

Konuya Göre Yönlendirme ile Model Seçimi Aynı mı?

Tam olarak değil.

Bir isteğin “kodlama” kategorisinde olması, hangi modelin kullanılacağını tek başına belirlemez. Kullanıcı kısa bir kod açıklaması da isteyebilir, büyük bir projede hata analizi de yaptırabilir.

Model seçiminde görev zorluğu, giriş uzunluğu, desteklenen içerik türü, maliyet ve gecikme hedefleri de önemlidir.

Örneğin basit bir açıklama daha küçük bir modelle karşılanabilir. Uzun belge analizi ise farklı bağlam kapasitesi gerektirebilir.

Bu nedenle anlamsal yönlendirme, model seçiminin bir girdisi olabilir; bütün kararın kendisi olmak zorunda değildir.

Semantic Routing ile Rule-Based Routing Arasındaki Fark

Rule-Based Routing, açık kurallarla yönlendirme yapar. Bu kurallar yalnızca anahtar kelimelerden oluşmaz; kullanıcı rolü, dosya türü, ürün kodu veya işlem durumu gibi bilgiler de kullanılabilir.

Semantic Routing, metnin anlamından yararlanarak karar verir.

Kural tabanlı sistemlerin “esnek olmadığı” veya anlamsal sistemlerin her zaman “daha akıllı” olduğu söylenemez.

Pratikte iki yaklaşım birlikte kullanılabilir. Örneğin erişim izni kesin bir kuralla kontrol edilirken isteğin hangi bilgi tabanına ait olduğu anlamsal olarak belirlenebilir.

RAG Sistemlerinde Ne İşe Yarar?

Bir kurumun insan kaynakları, teknik destek ve ürün belgeleri ayrı koleksiyonlarda tutulabilir.

Anlamsal yönlendirme, sorunun hangi koleksiyonda aranacağını belirlemeye yardımcı olabilir. Böylece ilgisiz kaynaklardan gelen sonuçlar azaltılabilir.

Ancak istek birden fazla alanı kapsayabilir. “Yeni çalışan için bilgisayar teslimi ve hesap açılışı nasıl yapılır?” sorusu hem insan kaynakları hem teknik destek belgelerini gerektirebilir.

Bu durumda tek rota seçmek yerine birden fazla kaynağı kullanmak veya görevi alt adımlara ayırmak daha uygun olabilir.

Belirsiz İstekler Nasıl Ele Alınmalı?

Her isteği zorla bir kategoriye yerleştirmek hata oluşturabilir.

“Başvurumu kontrol eder misin?” sorusunda hangi başvurunun kastedildiği bilinmiyorsa sistem açıklama istemelidir.

Benzer biçimde iki rotanın uygunluğu birbirine yakınsa ek değerlendirme yapılabilir. Sistemin hiçbir rota seçmemesi de geçerli bir sonuç olmalıdır.

Güvenilir yönlendirme, yalnızca doğru hedefi seçmek değil, yeterli bilgi olmadığında karar vermemeyi de kapsar.

Başlıca Avantajları

Daha Uygun İşlem Seçimi

Bilgi isteme, kayıt sorgulama ve işlem başlatma gibi farklı talepler ayrılabilir.

Kaynakların Seçici Kullanılması

Her istek için en kapsamlı modelin veya bütün bilgi kaynaklarının çalıştırılması gerekmeyebilir.

Daha Düzenli Uygulama Yapısı

Farklı uzmanlık alanları ve iş akışları belirgin hedefler olarak yönetilebilir.

Kullanıcı Dilindeki Çeşitliliğe Uyum

Aynı ihtiyacın farklı cümlelerle ifade edilmesi durumunda uygun eşleşme sağlanabilir.

Ancak bu avantajlar otomatik değildir. Yönlendiricinin ek maliyeti ve yanlış kararların etkisi de hesaba katılmalıdır.

Karşılaşılan Zorluklar

Birbirine Yakın Rotalar

“Fatura açıklaması” ile “ödeme sorunu” gibi alanlar aynı istekte kesişebilir.

Çok Amaçlı Talepler

Bir mesaj hem belge analizi hem işlem başlatma içerebilir. Tek sınıflı karar yeterli olmayabilir.

Dil ve Alan Uyumu

Modelin desteklemediği ifadeler, kısaltmalar veya özel terimler yönlendirmeyi zorlaştırabilir.

Eşik Değerleri

Düşük eşik yanlış yönlendirmeyi artırabilir. Yüksek eşik ise uygun isteklerin gereksiz yere geri çevrilmesine neden olabilir.

Veri ve Görev Değişimi

Yeni ürünler, süreçler ve kullanıcı ifadeleri ortaya çıktıkça rota örnekleri ve testler güncellenmelidir.

Yetki ve Gizlilik

Anlamsal kararlar erişim kontrolünün yerine geçmez. Hassas verilerin hangi hedeflere gönderilebileceği ayrıca belirlenmelidir.

Başarı Nasıl Ölçülür?

Yönlendirme doğruluğunun yanında, yanlış kararların sonuçları da değerlendirilmelidir.

Bir bilgi sorusunun yanlış koleksiyona gönderilmesiyle yetki gerektiren bir işlemin yanlış başlatılması aynı ağırlıkta değildir.

Testlerde açık örneklerin yanında belirsiz, kapsam dışı ve birden fazla görev içeren istekler de bulunmalıdır.

Doğru rota oranı, gereksiz açıklama isteme oranı, kapsam dışı talepleri ayırma başarısı, toplam gecikme ve nihai görev başarısı birlikte ölçülebilir.

Yönlendirici milisaniyeler içinde çalışabilir; ancak bu her tasarım için geçerli değildir. Hız, kullanılan modele ve altyapıya bağlıdır.

Sık Sorulan Sorular

Semantic Routing için embedding şart mı?

Hayır. Sınıflandırıcılar, dil modelleri veya hibrit yöntemler de kullanılabilir.

Her soruya farklı bir model seçmek gerekir mi?

Hayır. Küçük bir uygulamada tek model ve birkaç açık kural yeterli olabilir.

Bir istek birden fazla hedefe gönderilebilir mi?

Evet. Uygulama destekliyorsa görev bölünebilir veya birden fazla kaynak birlikte kullanılabilir.

Router işlemi yapmaya izin verir mi?

Hayır. Yönlendirme ile yetkilendirme ayrı işlevlerdir. Kullanıcı izinleri ayrıca kontrol edilmelidir.

Kaynaklar: LlamaIndex — Router Query Engine ve Selector teknik dokümantasyonu; LangChain — Routing teknik dokümantasyonu; Aurelio — Semantic Router teknik dokümantasyonu.

Editör Notu

Bu içerik, anlamsal yönlendirme ve çok bileşenli yapay zekâ uygulamalarına ilişkin teknik yaklaşımları ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Yönlendirme doğruluğu, gecikme ve maliyet; kullanılan modele, rota tanımlarına, örnek verilerine, eşik değerlerine ve uygulama yapılandırmasına göre değişebilir. Anlamsal eşleşme, seçilen hedefin isteği doğru karşılayacağını veya kullanıcının ilgili işlem için yetkili olduğunu tek başına garanti etmez.