Token tam olarak ne, neden kelime yerine token sayılıyor?
MK
visibility18
chat0
Mert KayaKonu Sahibi9 gün önce
fiyat sayfalarında da kullanım limitlerinde de hep token geçiyor. kelime ya da karakter saymak daha kolay olmaz mıydı, modeller neden metni token denen parçalara bölüyor? bir de aynı mesajın türkçe yazılınca daha çok token tuttuğu söyleniyor. bu doğruysa sebebi kelimelere eklenen ekler mi, yoksa başka bir şey mi? burada emin olmadığım çok şey var, basit bir açıklama yeter.