Bir fotoğrafta otomobil bulunduğunu söylemek kolay görünebilir. Peki otomobilin küçük bir bölümü görünüyorsa nasıl işaretlenmelidir? Oyuncak otomobil aynı kategoriye girer mi? Park hâlindeki araç ile hareketli araç ayrı etiketler mi almalıdır?

Bu sorular, veri etiketlemenin yalnızca örneklere isim vermek olmadığını gösterir. Etiketleme, görevin sınırlarını ve başarı ölçütlerini veriye uygulama işidir.

Modelin yanlış örneklerden öğrenmesi kadar, aynı durumun farklı biçimlerde işaretlenmesi de sorun oluşturabilir. Bu nedenle veri miktarının yanında etiketlerin anlamı ve tutarlılığı önemlidir.

Veri Etiketleme Nedir?

Veri etiketleme, ham verilere görevle ilişkili açıklamalar, kategoriler, hedef değerler veya işaretler ekleme sürecidir.

Bir görselin tamamına “kedi” etiketi vermek bunun basit bir örneğidir. Ancak etiketleme yalnızca sınıflandırma değildir.

Başka işlemler de yapılabilir:

• Bir nesnenin görüntüdeki sınırlarını çizmek.
• Konuşmanın hangi kelimeleri içerdiğini yazmak.
• Metindeki kişi ve kurum adlarını işaretlemek.
• Bir olayın videoda başladığı zamanı belirlemek.
• İki cevap arasında hangisinin tercih edildiğini kaydetmek.
• Sayısal bir hedef değer oluşturmak.

“Annotation”, yani veri açıklama veya işaretleme terimi de bu süreçler için kullanılır. Etiketleme ve annotation kavramlarının kapsamı, projeye göre farklı biçimlerde tanımlanabilir.

Bütün Yapay Zekâ Modelleri Etiketli Veriyle mi Eğitiliyor?

Hayır. Yapay zekâda farklı öğrenme yöntemleri bulunur.

Gözetimli öğrenmede, model girdilerle bunlara karşılık gelen hedefler arasındaki ilişkiyi öğrenir. Görüntü sınıfları veya doğru cevap örnekleri bu hedeflere dönüşebilir.

Öz gözetimli öğrenmede, eğitim hedefi verinin kendisinden oluşturulabilir. Bir dil modelinin sonraki tokenı tahmin etmesi için her cümlenin insanlar tarafından ayrıca sınıflandırılması gerekmez.

Gözetimsiz öğrenmede ise verideki yapı veya gruplar, önceden verilmiş sınıf etiketleri olmadan araştırılabilir.

Ayrıca küçük etiketli veri kümelerini daha büyük etiketsiz koleksiyonlarla birlikte kullanan yöntemler de vardır.

Etiketli veri önemli bir araçtır; bütün öğrenme süreçlerinin tek temeli değildir.

Görseller Nasıl Etiketleniyor?

Görüntü projelerinde farklı hedefler için farklı işaretler kullanılır.

Bir nesnenin çevresine kutu çizmek ile nesnenin piksellerini tek tek ayırmak aynı iş değildir. İkinci yöntem daha ayrıntılı bilgi sağlar, fakat daha fazla emek gerektirebilir.

Doğru yöntem, modelin ne yapmasının beklendiğine göre seçilmelidir.

Metin, Ses ve Videoda Neler Yapılıyor?

Metinlerde, konu veya duygu sınıfları atanabilir. İsimler, tarihler ve ürün kodları işaretlenebilir. Bir soruya uygun örnek cevap hazırlanabilir.

Ses kayıtlarında, konuşma metne aktarılabilir. Konuşmacı değişimleri, belirli ses olayları veya zaman aralıkları işaretlenebilir.

Videolarda, nesnelerin kareler boyunca aynı kimlikle izlenmesi gerekebilir. Bir hareketin başlangıç ve bitişi de etiketlenebilir.

Sensör verilerinde, belirli zaman aralıkları normal çalışma veya anormallik olarak tanımlanabilir.

Burada etiketin kaynağı önemlidir. Bir sensör kaydının “arıza” olarak işaretlenmesi, gerçek bir bakım kaydına mı dayanıyor, yoksa yalnızca tahmin mi? Bu fark, modelin öğreneceği ilişkinin güvenilirliğini etkiler.

Büyük Dil Modellerinde Etiketleme Nasıl Kullanılıyor?

Dil modeli geliştirmede etiketleme, yalnızca metne kategori eklemekten daha geniştir.

SFT için örnekler: Kullanıcı talimatları ve bunlara karşılık gelen hedef cevaplar hazırlanabilir.

Tercih verisi: Aynı soruya verilen iki veya daha fazla cevap karşılaştırılabilir.

Hata değerlendirmesi: Yanlış bilgi, talimat ihlali veya eksik açıklama işaretlenebilir.

Araç kullanımı örnekleri: Hangi aracın hangi girdilerle çağrılması gerektiği gösterilebilir.

Ancak “daha iyi cevap” her görevde aynı anlama gelmez. Doğruluk, açıklık, kısalık ve talimata uyum farklı ölçütlerdir. Bunların nasıl değerlendirileceği açıkça tanımlanmalıdır.

Etiketleme Kılavuzu Neden Gerekiyor?

Aynı veriye bakan iki kişi farklı kararlar verebilir. Bu fark her zaman dikkatsizlikten kaynaklanmaz; görevin sınırları belirsiz olabilir.

İyi bir kılavuz şu konuları açıklar:

• Her etiketin tanımı.
• Kapsama giren ve girmeyen örnekler.
• Belirsiz durumların nasıl ele alınacağı.
• Birden fazla etiketin kullanılıp kullanılamayacağı.
• Görünmeyen veya eksik bilgilerin işaretlenmesi.
• İnceleme gerektiren durumlar.

Örneğin müşteri mesajlarında “şikâyet” ile “bilgi talebi” ayrılacaksa, hem soru soran hem memnuniyetsizlik belirten mesajların nasıl sınıflandırılacağı belirlenmelidir.

Kılavuzdaki belirsizlik, daha fazla etiketleyici eklenerek çözülmez.

Kalite Kontrol Nasıl Yapılıyor?

Etiketleme kalitesi yalnızca birkaç örneğe bakılarak değerlendirilmemelidir. Farklı hata kaynakları için farklı kontroller gerekir.

Bir örneğin birden fazla kişi tarafından etiketlenmesi, kararların ne kadar tutarlı olduğunu gösterebilir. Uyuşmazlıklar uzman incelemesine gönderilebilir.

Kontrol örnekleri, örneklem denetimleri ve etiket dağılımlarının incelenmesi de kullanılabilir.

Ancak yüksek uzlaşma, bütün etiketlerin doğru olduğunu garanti etmez. Etiketleyiciler aynı hatalı kuralı uyguluyorsa birbirleriyle anlaşabilirler.

Tutarlılık ile doğruluk birlikte değerlendirilmelidir.

Yapay Zekâ Etiketlemeyi Hızlandırabilir mi?

Evet. Bir model ön etiketleme yapabilir; insanlar sonuçları inceleyip düzeltebilir. Bu yaklaşım özellikle tekrar eden işlerde zaman kazandırabilir.

Fakat otomatik öneriler, insanın kararını etkileyebilir. Etiketleyici ilk öneriyi yeterince sorgulamadan kabul ederse modelin hataları veriye taşınabilir.

Bu nedenle otomatik etiketlemenin başarısı, yalnızca ne kadar hızlı çalıştığıyla ölçülmemelidir. Düzeltme süresi ve kaçırılan hatalar da hesaba katılmalıdır.

Modelin oluşturduğu etiketler, insan kontrolünden geçmeden doğru kabul edilmemelidir.

Aktif Öğrenme Nedir?

Her örneği aynı sırayla etiketlemek yerine, modele daha fazla bilgi sağlayabilecek örnekler seçilebilir. Bu yaklaşım aktif öğrenme olarak bilinir.

Modelin zorlandığı veya kararından emin olmadığı örnekler incelemeye yönlendirilebilir. Ancak belirsizlik puanı kusursuz değildir; model yanlış bir tahminden çok emin olabilir.

Bu nedenle yalnızca zor görünen örnekleri seçmek yerine veri çeşitliliği ve temsil edilebilirlik de korunmalıdır.

Amaç, sınırlı etiketleme bütçesini daha yararlı örneklere ayırmaktır.

Veri Sızıntısı Neden Tehlikeli?

Eğitim ve değerlendirme verileri uygun biçimde ayrılmalıdır. Aynı veya çok benzer kayıtların iki grupta bulunması, modelin başarısını olduğundan yüksek gösterebilir.

Ayrım bazen yalnızca dosya üzerinden değil, kişi, cihaz, kuruluş veya zaman üzerinden yapılmalıdır.

Örneğin aynı makinenin birbirine çok yakın titreşim kayıtlarının eğitim ve testte bulunması, farklı makinelerdeki gerçek performansı açıklamayabilir.

Etiketleme tamamlandıktan sonra yüksek test puanı görmek, veri ayrımındaki hataları telafi etmez.

İnsan Emeği ve Gizlilik

Kaliteli etiketleme, dikkat, eğitim ve bazen alan uzmanlığı gerektirir. Etiketleyicilerin yeterli süreye ve açık talimatlara sahip olması önemlidir.

Bazı veri kümeleri kişisel bilgiler veya rahatsız edici içerikler içerebilir. Erişim sınırları, veri azaltma ve güvenli çalışma koşulları değerlendirilmelidir.

Etiketleyiciler arasındaki farklı görüşler de her zaman hata değildir. Öznel görevlerde uyuşmazlık, verinin gerçek bir özelliği olabilir. Tek bir etikete zorlamak yerine bu farklılıkların kaydedilmesi bazı projelerde daha yararlı olabilir.

Başarılı Etiketleme Nasıl Anlaşılır?

Başarı, yalnızca kaç örneğin tamamlandığıyla ölçülmez. Etiketlerin model geliştirme amacına uygun olması gerekir.

Hata oranı, uzman incelemesi ihtiyacı, sınıflar arasındaki denge ve modelin gerçek kullanım koşullarındaki performansı birlikte değerlendirilmelidir.

Daha fazla veri, aynı hataların daha büyük ölçekte tekrarlanması anlamına geliyorsa ilerleme sağlamayabilir.

Sık Sorulan Sorular

Bir modeli eğitmek için milyonlarca etiket gerekir mi?

Her zaman değil. Göreve, modele ve öğrenme yöntemine göre ihtiyaç değişir.

Etiketleyicilerin farklı karar vermesi kötü kalite mi demektir?

Her zaman değil. Kılavuz belirsiz olabilir veya görev gerçekten öznel olabilir. Uyuşmazlığın nedeni incelenmelidir.

Sentetik verinin de etiketlenmesi gerekir mi?

Bazı üretim yöntemleri etiketleri birlikte oluşturabilir. Ancak bu etiketlerin ve örneklerin doğruluğu yine değerlendirilmelidir.

Etiketli veri hazırsa model doğru çalışır mı?

Garanti değildir. Veri kapsamı, eğitim yöntemi, değerlendirme düzeni ve kullanım ortamı da sonucu etkiler.

Kaynaklar: Burr Settles — Active Learning Literature Survey; Alexander Ratner ve diğerleri — Snorkel: Rapid Training Data Creation with Weak Supervision; A. James O’Malley, Anirban Basu ve diğerleri — veri kalitesi ve etiketleme değerlendirmeleri yerine; Timnit Gebru ve diğerleri — Datasheets for Datasets; Emily M. Bender ve Batya Friedman — Data Statements for Natural Language Processing: Toward Mitigating System Bias and Enabling Better Science.

Editör Notu

Bu içerik, veri etiketlemenin çalışma mantığını ve yapay zekâ geliştirmedeki rolünü ele alan bir araştırma ve değerlendirme yazısıdır. İçerikte yer alan değerlendirmeler editoryal yorum niteliğindedir. Etiketleme ihtiyacı ve kalite ölçütleri; göreve, veri türüne ve öğrenme yöntemine göre değişebilir. Etiket sayısı veya etiketleyiciler arasındaki uzlaşma, modelin gerçek kullanımda doğru ve güvenilir çalışacağını tek başına garanti etmez.