Yapay zekâ metin dedektörlerinin verdiği yüzdeye nasıl bakmak gerekir?
Ödevlerde ve içerik denetiminde "bu metin %87 yapay zekâ" türünden sonuçlar karar gerekçesi olarak kullanılabiliyor. Bu yüzdenin neyi ölçtüğü ise çoğu zaman belirtilmiyor.
Elde belgelenmiş bir örnek var. OpenAI, Ocak 2023'te yayımladığı kendi sınıflandırıcısı için İngilizce bir test setinde yapay zekâ metinlerinin yalnızca %26'sını yakaladığını, insan metinlerinin %9'unu ise yanlışlıkla yapay zekâ olarak işaretlediğini açıklamıştı. Araç 20 Temmuz 2023'te düşük doğruluk gerekçesiyle kaldırıldı. Aynı duyuruda 1.000 karakterin altındaki metinlerde ve İngilizce dışındaki dillerde güvenilirliğin daha da düştüğü yazıyor.
Bu, bugünkü araçların hepsinin aynı durumda olduğunu göstermez. Ama bir dedektör sonucunu yorumlamadan önce sorulması gerekenleri gösteriyor: yanlış pozitif oranı ne, hangi dilde ve hangi uzunluktaki metinlerle ölçüldü? Kısa bir Türkçe paragraf için verilen yüzde, uzun İngilizce metinlerle yapılmış bir teste dayanıyorsa pek bir şey söylemez.
Bir dedektör kararını tek başına yeterli saymak için hangi bilgiyi görmek gerekir sizce?
Kaynak: https://openai.com/index/new-ai-classifier-for-indicating-ai-written-text/