Bir modelin başka bir modelin cevabını puanlaması ne kadar güvenilir?
Birçok karşılaştırmada iki cevap arasındaki kararı insan değil, başka bir dil modeli veriyor. Bu yönteme LLM-as-a-judge deniyor.
Yöntemin dayanaklarından biri Zheng ve arkadaşlarının 2023 tarihli MT-Bench ve Chatbot Arena çalışması. Makalede GPT-4 gibi güçlü bir hakem modelin insan tercihleriyle %80'in üzerinde uyuştuğu ve bunun insanların kendi aralarındaki uyumla aynı düzeyde olduğu bildiriliyor. Aynı makale yöntemin sınırlarını da sayıyor: cevapların sırası değişince kararın değişebilmesi (konum yanlılığı), uzun cevapları kayırma, hakemin kendi ürettiğine benzeyen cevabı kayırması ve sınırlı akıl yürütme. Bunların bir kısmı için önlem de öneriyor.
Bence buradan çıkan sonuç yöntemin tamamen güvenilir ya da tamamen güvenilmez olduğu değil. Bir model hakemiyle yapılmış karşılaştırmayı okurken bakılacak noktaları belirliyor. Cevapların sırası değiştirilip test tekrarlandı mı? Hakem model yarışan modellerden biriyle aynı aileden mi? Uzunluk farkı hesaba katıldı mı? Ayrıca %80 uyum, belirli soru setleri ve İngilizce değerlendirmelerle ölçülmüştü. Türkçe ve farklı türde sorulara olduğu gibi taşınabileceği belli değil.
Sizce bir model hakemli sonucu kabul etmeden önce bu sorulardan hangisinin cevabını mutlaka görmek gerekir?
Kaynak: https://arxiv.org/abs/2306.05685