Benchmark soruları eğitim verisine sızmışsa yüksek skor neyi gösterir?
Bir model popüler bir testte yüksek puan aldığında genellikle bunun yetenek gösterdiği varsayılıyor. Ancak test soruları ya da onlara çok benzeyen metinler eğitim verisinde yer almışsa, ölçülen şey kısmen ezber olabilir. Buna veri kirlenmesi (contamination) deniyor.
Bu konuda yöntem açısından öğretici bir çalışma var. Zhang ve arkadaşları (2024), GSM8k matematik testinin üslubunu ve zorluğunu taklit eden, ama yeni yazılmış ve internette bulunmayan GSM1k adlı bir set hazırladı. Makalenin özetine göre bazı modellerde GSM1k'de doğruluk yüzde 8'e varan oranda düştü. Birçok model ailesinde sistematik aşırı uyum işaretleri görüldü. Öte yandan özellikle en güçlü modellerin çoğunda belirgin bir aşırı uyum işareti bulunmadı.
Yani sonuç "benchmark'lar işe yaramaz" değil. Daha çok, tek bir eski ve herkese açık teste dayanan karşılaştırmaların ihtiyatla okunması gerektiği yönünde.
Bir paylaşımda skor tablosu görüldüğünde şu soruları sormak bence makul: Test ne zaman yayımlandı, modelin eğitim tarihine göre önce mi sonra mı? Sonuçlar kamuya kapalı ya da yeni yazılmış bir sette de doğrulandı mı? Puan farkı, iki set arasındaki farktan büyük mü?
Bu listeye eklenmesi gereken başka bir kontrol var mı?
Kaynak: https://arxiv.org/abs/2405.00332