Model karşılaştırma paylaşımlarında hangi bilgiler olmadan sonuç yorumlanamaz?
Forumlarda "X modeli Y'den daha iyi" türü karşılaştırmalar sık paylaşılıyor. Çoğunda sonucu değerlendirmek için gereken bilgi eksik kalıyor.
Asgari olarak şunların belirtilmesi gerektiğini düşünüyorum:
- İki modele de kelimesi kelimesine aynı istem mi verildi?
- Kaç deneme yapıldı? Tek çıktı, rastgelelik yüzünden tesadüf olabilir.
- Sıcaklık (temperature, çıktının ne kadar değişken olacağını etkileyen ayar) gibi ayarlar neydi, web araması veya başka araçlar açık mıydı?
- Çıktıları kim, hangi ölçüte göre değerlendirdi?
Bir de test sorusunun modelin eğitim verisinde zaten bulunması ihtimali var. Herkesin bildiği bulmacalarla yapılan karşılaştırmalar bu yüzden ezber ile akıl yürütmeyi ayırt edemeyebilir.
Listede eksik ya da gereksiz bulduğunuz bir madde var mı?