İlan edilen bağlam penceresi ile modelin gerçekten kullanabildiği uzunluk aynı şey mi?
Model duyurularında bağlam penceresi genellikle tek bir sayı olarak veriliyor. Bu sayı modelin o kadar metni girdi olarak kabul ettiğini gösteriyor. O metnin her yerindeki bilgiyi aynı güvenilirlikle kullandığını ise tek başına göstermiyor.
Uzunluk iddialarını desteklemek için sık başvurulan yöntem samanlıkta iğne testi. Uzun ve alakasız bir metnin içine tek bir cümle yerleştirilip modelden o cümle isteniyor. Bu test yalnızca bir bilgiyi bulup geri getirmeyi ölçüyor.
Belgelenmiş iki çalışma bu ayrımın önemli olduğunu gösteriyor:
- Liu ve arkadaşlarının 2023 tarihli Lost in the Middle çalışmasında ilgili bilgi bağlamın başında ya da sonunda olduğunda başarı daha yüksek çıkmış. Bilgi ortaya düştüğünde belirgin biçimde düşmüş. Bu durum uzun bağlam için tasarlanmış modellerde de görülmüş.
- RULER çalışmasında (Hsieh ve arkadaşları, 2024) 17 model değerlendirilmiş. Modeller basit iğne testinde neredeyse tam başarı almış, ama birden fazla bilgiyi takip etme ve toplama gibi görevlerde uzunluk arttıkça belirgin düşüş göstermiş. Hepsi en az 32 bin token desteklediğini söylüyormuş, ancak bu uzunlukta tatmin edici performansı yalnızca yarısı korumuş.
İki çalışma da belirli bir dönemin modellerini ölçüyor. Bugünkü modellerin aynı sonucu vereceğini söylemiyorlar. Ama bir uzunluk iddiasını değerlendirirken sorulması gereken soruları netleştiriyorlar:
- Hangi görevle ölçüldü: tek bilgi bulma mı, birden fazla bilgiyi birleştirme mi?
- Bilginin metindeki konumu değiştirildi mi?
- Sonuç kaç farklı uzunlukta raporlandı, yoksa yalnızca en uzun değer mi verildi?
Sizce bir modelin uzun bağlam desteği tanıtılırken hangi ölçüm mutlaka belirtilmeli? Kabul edilen uzunluk ile güvenilir kullanılan uzunluğun ayrı ayrı yazılması makul bir beklenti mi?
Kaynaklar:
https://arxiv.org/abs/2307.03172
https://arxiv.org/abs/2404.06654