Yeni bir yapay zekâ modeli tanıtıldığında genellikle çeşitli başarı tabloları paylaşılır. Bir modelin matematikte, diğerinin yazılım geliştirmede veya görsel analizde daha yüksek sonuç aldığı belirtilir.

Bu tablolar ilk bakışta basit bir sıralama gibi görünür. Oysa sonuçları anlamak için testin neyi ölçtüğünü, nasıl uygulandığını ve hangi koşullarda gerçekleştirildiğini bilmek gerekir.

Bir modelin tek denemede verdiği yanıt ile çok sayıda deneme arasından seçilen en iyi yanıt aynı şeyi göstermez. Benzer şekilde, yalnızca kendi bilgisiyle çalışan bir model ile internete ve hesaplama araçlarına erişebilen bir sistem doğrudan karşılaştırılamayabilir.

Benchmark sonuçlarının değeri, skorun yanında değerlendirme koşulları da incelendiğinde ortaya çıkar.

AI Benchmark Nedir?

AI Benchmark, yapay zekâ sistemlerinin belirli yeteneklerini ölçmek amacıyla hazırlanan görevleri, uygulama kurallarını ve puanlama yöntemlerini kapsar.

Bir benchmark yalnızca soru listesinden oluşmaz. Soruların modele nasıl sunulacağı, hangi araçların kullanılabileceği ve yanıtların nasıl değerlendirileceği de testin parçalarıdır.

Örneğin bir matematik değerlendirmesinde sonucun doğru olması esas alınabilir. Bir kodlama testinde üretilen program çalıştırılarak belirli kontrollerden geçip geçmediğine bakılabilir. Açık uçlu metin üretiminde ise insan değerlendirmeleri veya başka modellerin puanlamaları kullanılabilir.

Bu nedenle farklı benchmarkların puanları aynı anlamı taşımaz. Bir testteki yüzde 80 başarı, başka bir testteki yüzde 80 başarıyla doğrudan eşdeğer değildir.

Benchmark Testleri Neden Gereklidir?

Yapay zekâ modellerinin güçlü ve zayıf yönleri farklı olabilir. Uzun belgeleri iyi özetleyen bir model, karmaşık hesaplamalarda zorlanabilir. Kod üretiminde başarılı olan başka bir model ise Türkçe anlatımda beklenen kaliteyi sağlayamayabilir.

Ortak değerlendirme görevleri, bu farkları daha sistematik biçimde incelemeyi sağlar. Araştırmacılar geliştirdikleri yöntemin hangi alanlarda ilerleme sağladığını görebilir. Kullanıcılar ve kurumlar da kendi ihtiyaçlarıyla ilgili sonuçları değerlendirebilir.

Ancak standart bir test kullanılması, değerlendirmenin bütün yönleriyle tarafsız olduğu anlamına gelmez. Soru seçimi, dil, puanlama yöntemi ve test ayarları sonuçları etkiler.

Bu yüzden benchmarklar, model seçimini destekleyen kanıtlar olarak kullanılmalıdır.

Bilinen AI Benchmark Testleri Hangileridir?

MMLU: Farklı Alanlarda Bilgi ve Problem Çözme

MMLU, matematik, tarih, bilgisayar bilimi ve hukuk gibi 57 konu alanını kapsayan bir değerlendirmedir. Çoktan seçmeli sorular üzerinden modellerin farklı disiplinlerdeki başarısını inceler.

Geniş konu kapsamı, modelin alanlar arasındaki performans farklarını görmeye yardımcı olur. Ancak genel ortalama, belirli bir alandaki zayıflığı gizleyebilir. Ayrıca doğru seçeneği bulmak, günlük hayatta aynı konuda güvenilir uzmanlık sunabilmekle eşdeğer değildir.

HumanEval: Üretilen Kodun İşlevsel Doğruluğu

HumanEval, açıklamalardan hareketle kod üretme becerisini değerlendirmek için geliştirilmiştir. Modelin oluşturduğu çözümler, testler aracılığıyla kontrol edilir.

Burada amaç, kodun yalnızca düzgün görünmesini değil, beklenen davranışı gösterip göstermediğini ölçmektir. Bununla birlikte sınırlı bir programlama görevinde testleri geçmek; büyük bir projeyi tasarlamak, güvenliğini sağlamak veya uzun vadede bakımını yapmakla aynı değildir. 

GSM8K: Sözel Matematik Problemleri

GSM8K, temel aritmetik işlemlerle çözülebilen, genellikle birden fazla adım gerektiren sözel matematik problemlerinden oluşur.

Modelin sorudaki bilgileri doğru ilişkilendirmesi ve işlemleri uygun sırayla yapması beklenir. Bu testteki başarı, belirli türde matematiksel problem çözme hakkında bilgi verir; ileri matematiğin bütün alanlarını temsil etmez. 

SWE-bench: Gerçek Yazılım Projelerinde Sorun Çözme

SWE-bench, gerçek yazılım depolarındaki sorun bildirimlerinden yararlanır. Sistemden ilgili kodu incelemesi ve sorunu giderecek bir değişiklik üretmesi beklenir.

Bu yapı, kısa bir fonksiyon yazdırmaktan daha kapsamlıdır. Sorunun anlaşılması, ilgili dosyaların bulunması ve değişikliğin test edilmesi gerekir.

Sonuç değerlendirilirken modelin yanında kullanılan araçlar ve çalışma düzeni de önem taşır. Aynı model, farklı ajan altyapılarıyla farklı sonuçlar verebilir. 

MMMU: Metin ve Görselleri Birlikte Anlama

MMMU, farklı disiplinlerden metin ve görsel içeren sorularla çok modlu modelleri değerlendirir.

Grafik, şema ve benzeri görsel bilgilerin soruyla birlikte yorumlanması gerekebilir. Böylece yalnızca metin anlama değil, görsel içeriği bilgi ve muhakemeyle birleştirme becerisi de incelenir.

Ancak bu testteki başarı, bütün görüntü, video veya ses görevleri için aynı performansın sağlanacağını göstermez.

Benchmark Skorları Nasıl Okunmalı?

Bir sonuç tablosunu incelerken ilk soru, “Bu sayı tam olarak neyi ifade ediyor?” olmalıdır.

Doğruluk oranı, doğru yanıtlanan soruların payını gösterebilir. Kodlama değerlendirmelerinde kullanılan pass@k ise belirli sayıda üretilen çözüm arasından en az birinin testleri geçme olasılığıyla ilgilidir.

Bu nedenle pass@1 ile pass@10 aynı koşulu temsil etmez. Birincisi tek örnek üretimindeki başarıyı değerlendirirken ikincisi daha fazla deneme imkânı içerir.

Ayrıca yüksek puanın her zaman daha iyi olmadığı ölçütler de vardır. Yanıt süresi, hata oranı veya işlem maliyeti gibi göstergelerde daha düşük değer tercih edilebilir.

Bu bilgiler açıklanmıyorsa iki skor arasındaki farkı yorumlamak zorlaşır.

Küçük Puan Farkları Her Zaman Önemli mi?

Bir modelin diğerinden birkaç puan yüksek olması dikkat çekebilir. Ancak farkın ne kadar güvenilir olduğu da değerlendirilmelidir.

Testin büyüklüğü, soruların dağılımı ve modelin farklı çalıştırmalarda verdiği yanıtlar sonucu etkileyebilir. Özellikle az sayıda görevden oluşan değerlendirmelerde birkaç sorunun değişmesi sıralamayı değiştirebilir.

Örneğin tamamen varsayımsal bir testte bir model 100 sorudan 82’sini, diğeri 80’ini doğru yanıtlamış olsun. Bu sonuç ilk modelin o uygulamada daha yüksek puan aldığını gösterir. Ancak tek başına her görevde daha üstün olduğunu kanıtlamaz.

Sonuçların tekrar edilebilirliği ve belirsizlik aralıkları, küçük farkların yorumlanmasına yardımcı olur.

Test Sorularını Önceden Görmek Sonuçları Etkiler mi?

Benchmark sorularının veya çözümlerinin eğitim verilerine karışması, veri bulaşması olarak adlandırılan bir değerlendirme sorununa yol açabilir.

Bu durumda modelin başarısının ne kadarının yeni bir problemi çözmekten, ne kadarının daha önce karşılaştığı içeriği hatırlamaktan kaynaklandığını ayırmak zorlaşır.

Ancak yüksek skor tek başına ezberleme kanıtı değildir. Böyle bir iddia için ayrıca inceleme gerekir.

Değerlendirme amacıyla ayrılmış verilerin korunması, yeni sorular hazırlanması ve eğitim verileriyle olası örtüşmelerin araştırılması bu sorunu azaltmaya yardımcı olabilir. Yalnızca sorudaki birkaç kelimeyi değiştirmek ise her zaman yeterli değildir.

Benchmark Başarısı Gerçek Kullanımı Neden Tam Yansıtmayabilir?

Gerçek kullanıcı talepleri, test sorularından daha belirsiz olabilir. Eksik belgeler, yazım hataları, çelişkili bilgiler ve uzun konuşmalar değerlendirmeyi zorlaştırabilir.

Bir kurum için modelin doğru yanıt vermesi kadar belirli bir dosya biçimini koruması, zamanında sonuç üretmesi ve maliyet sınırları içinde çalışması da önemlidir.

Örneğin bir stok raporlama uygulamasında ihtiyaç duyulan özellikler şunlar olabilir:

• Türkçe ürün açıklamalarını doğru anlamak.
• Benzer ürünleri birbirine karıştırmamak.
• Eksik kayıtları belirtmek.
• Hesaplamaları doğru gerçekleştirmek.
• Çıktıyı istenen tablo düzeninde hazırlamak.

Genel bilgi testinde yüksek puan almak, bu işlerin tamamının başarıyla yapılacağını göstermez. Bu nedenle kurumun kendi kullanımını temsil eden örneklerle ek değerlendirme yapılması anlamlıdır.

HELM gibi kapsamlı değerlendirme yaklaşımları da model başarısını yalnızca doğrulukla sınırlamaz; dayanıklılık, kalibrasyon, adalet ve verimlilik gibi farklı boyutları birlikte ele alır. 

İnsan ve Yapay Zekâ Değerlendirmeleri Nasıl Farklılaşır?

Bazı görevlerde doğru yanıt açıkça belirlenebilir. Bir hesabın sonucu veya programın testleri geçmesi buna örnektir.

Metin kalitesi, açıklık ve yararlılık gibi konularda ise değerlendirme daha fazla yorum gerektirir. İnsan değerlendiriciler farklı tercihlere sahip olabilir. Yanıtları puanlayan başka bir yapay zekâ modeli de belirli üslup veya uzunluk özelliklerini gereğinden fazla önemseyebilir.

Bu nedenle bir yanıtın tercih edilmesi ile içerdiği bütün bilgilerin doğru olması birbirinden ayrılmalıdır.

Değerlendirmenin kim tarafından yapıldığı, kullanılan ölçütler ve anlaşmazlıkların nasıl ele alındığı sonuç raporunda açıklanmalıdır.

Şirketlerin Paylaştığı Sonuçlar Nasıl Değerlendirilmeli?

Model geliştiricilerinin yayımladığı sonuçlar teknik bilgi sağlayabilir. Ancak sunulan testlerin hangi ölçüte göre seçildiğine de bakılmalıdır.

Bir model belirli görevlerde güçlü, başka görevlerde zayıf olabilir. Yalnızca başarılı olduğu alanların gösterildiği bir tablo, performansın tamamını yansıtmaz.

Bağımsız değerlendirmeler bu nedenle yararlıdır. Yine de bir testin bağımsız yapılması, yönteminin otomatik olarak kusursuz olduğu anlamına gelmez.

Tekrarlanabilirlik, açık uygulama koşulları ve karşılaştırılan sistemlere benzer kaynakların verilmesi, değerlendirmeyi daha anlamlı hâle getirir.

Yapay Zekâ Ajanları Nasıl Değerlendirilmeli?

Araç kullanan ajanlarda yalnızca son yanıtın kalitesine bakmak yeterli değildir. İstenen işin gerçekten tamamlanıp tamamlanmadığı da kontrol edilmelidir.

Örneğin bir ajan dosya oluşturduğunu söylüyorsa dosyanın varlığı ve içeriği incelenebilir. Bir yazılım sorununu çözdüğünü bildiriyorsa uygun testler çalıştırılabilir.

Görev başarısına ek olarak harcanan süre, maliyet, kullanılan araç sayısı ve insan müdahalesi ihtiyacı ölçülebilir. Hata sonrasında toparlanma ve verilen yetki sınırlarına uyma da ayrı değerlendirme konularıdır.

Bu tür testlerde ortaya çıkan skor, çoğu zaman model ile onu çevreleyen yazılım sisteminin birlikte performansını gösterir.

Sık Sorulan Sorular

Benchmark sonucu yüksek olan model her zaman en iyi model midir?

Hayır. Sonuç, belirli görevleri ve test koşullarını temsil eder. Kullanım amacı, dil, maliyet ve hız gibi unsurlar ayrıca değerlendirilmelidir.

Farklı testlerdeki yüzde puanlar karşılaştırılabilir mi?

Doğrudan karşılaştırılamaz. Testlerin zorluğu, kapsamı ve puanlama yöntemi farklı olabilir.

Aynı model farklı sonuçlar alabilir mi?

Evet. Talimatlar, araç erişimi, deneme sayısı, model ayarları ve kullanılan sürüm sonuçları etkileyebilir.

İngilizce test başarısı Türkçe performansı gösterir mi?

Tek başına göstermez. Türkçe kullanım için o dili ve gerçek görevleri temsil eden değerlendirmeler gerekir.

Benchmarklar zamanla yenilenir mi?

Evet. Testler çok kolay hâle geldiğinde veya yeni yetenekleri ölçmek gerektiğinde farklı görevler ve değerlendirme yöntemleri geliştirilebilir.

Kaynaklar

Measuring Massive Multitask Language Understanding, Evaluating Large Language Models Trained on Code, Training Verifiers to Solve Math Word Problems, SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI, Holistic Evaluation of Language Models.

Editör Notu

Bu içerik, kamuya açık yapay zekâ araştırmaları ve model değerlendirme çalışmalarından yararlanılarak hazırlanmış bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan görüşler editoryal yorum niteliğindedir. Benchmark sonuçları; test kapsamına, model sürümüne ve uygulama koşullarına bağlıdır. Model karşılaştırmalarında güncel teknik raporların ve gerçek kullanım ihtiyaçlarının birlikte değerlendirilmesi önerilir.