Yapay zekâ teknolojilerinin kalbinde yer alan “token” kavramı, kelimelerden daha küçük ama anlam bakımından hayati önem taşıyan birimlerden oluşur. Bir token, bazen tek bir harf olabilirken bazen bir kelimenin tamamını veya sadece bir kısmını temsil edebilir. Bu, kullanılan dile ve bağlama göre değişiklik gösterebilir.
Örneğin İngilizce’de “Hello” kelimesi genellikle bir token sayılırken, Türkçede “Merhaba” gibi daha uzun kelimeler birden fazla tokene bölünebilir. Bu, modelin metni nasıl işlediğini ve kaç token harcadığını doğrudan etkiler.
Token Ne İşe Yarar?
Tokenler, bir yapay zekâ modelinin metni algılaması ve işlemesi için kullanılan temel birimlerdir. Metin, bu küçük parçalara ayrılır ve ardından model bu parçaları analiz ederek çıktı üretir. Modelin eğitildiği dil verisi de bu tokenlara göre bölünmüş ve modellenmiştir.
API kullanımı, doğal dil işleme, otomatik yanıt sistemleri ve metin üretimi gibi birçok uygulamada tokenlerin doğru yönetilmesi büyük önem taşır. Çünkü:
- Token sayısı = işlem süresi
- Token sayısı = maliyet
- Token sayısı = çıktı uzunluğu
Token Sayımı Nasıl Yapılır?
Token sayımı, kullanıcı tarafından yazılan veya modele gönderilen metnin küçük birimlerine bölünmesiyle yapılır. OpenAI’ye göre, İngilizce için ortalama olarak:
- 1 token ≈ 4 karakter
- 1 token ≈ ¾ kelime
- 100 token ≈ 75 kelime
- 1 paragraf ≈ 100 token
- ~1500 kelime ≈ 2048 token
Bu, dil farkına ve kullanılan ifadeye göre değişebilir. Örneğin:
- “You miss 100% of the shots you don’t take” = 11 token
- ABD Bağımsızlık Bildirgesi = 1.695 token
Token sayımı, sadece karakter değil aynı zamanda boşluklar, noktalama işaretleri ve özel karakterleri de içerir.
Dil Farklılıklarında Token Davranışı
Farklı dillerin token yapısı farklılık gösterebilir. Örneğin:
- İngilizce: “How are you” → 3 kelime ≈ 4 token
- İspanyolca: “Cómo estás” → 2 kelime ≈ 5 token
Türkçede, eklemeli dil yapısı nedeniyle bir kelimenin tokene bölünme ihtimali daha yüksektir. Örneğin “yapabileceklerimizden” gibi uzun bir kelime, 5-6 tokene ayrılabilir.
Bu durum, Türkçe gibi dillerde token kullanımını artırır ve maliyeti etkileyebilir.
Gerçek Hayattan Token Örnekleri
“Merhaba, nasılsınız?” 5 token
“GPT-4, 2023’te piyasaya sürüldü.” 9 token
“Yapay zekâ geleceği şekillendiriyor.” 7 token
Bu örneklerde görebileceğimiz gibi, token sayısı yalnızca kelime sayısına değil, karakter sayısı, boşluk, büyük/küçük harf kullanımı gibi detaylara da bağlıdır.
OpenAI API’sinde Token Kullanımı ve Türleri
OpenAI API’sinde tokenler farklı kategorilere ayrılır:
- Girdi (Input) Tokenleri: Kullanıcının modele gönderdiği metin.
- Çıktı (Output) Tokenleri: Modelin verdiği yanıt.
- Önbellek (Cached) Tokenleri: Daha önceki mesajlardan tekrar kullanılan tokenler (daha düşük ücretle).
- Muhakeme (Reasoning) Tokenleri: Bazı gelişmiş modellerde içsel hesaplamalar için kullanılan ek tokenler.
Her API çağrısı, bu token türlerinin toplamı üzerinden ücretlendirilir. Bu yüzden bir uygulamada token takibi, optimizasyon açısından hayati önem taşır.
Token Sınırları ve Modellerin Kapasitesi
Her modelin bir maksimum token sınırı vardır. Örneğin:
- GPT-3.5 Turbo: 16.000 token
- GPT-4 Turbo: 128.000 token
Bu sınıra hem girdi (prompt) hem de çıktı (cevap) dahil edilir. Örneğin, 2.000 tokenlık bir soru sorarsanız, kalan 14.000 token cevap için ayrılır.
Token sınırı aşılırsa:
- Girdi kısaltılmalı
- Uzun metinler parçalanmalı
- Özetleme veya ön işleme uygulanmalı
Token Fiyatlandırması Nasıl Yapılır?
OpenAI API’si token bazlı fiyatlandırma kullanır. Ücretlendirme modeli:
- Input Token: x dolar/token
- Output Token: y dolar/token
- Cached Token: indirimli fiyat
Örneğin bir GPT-4 Turbo kullanıcısı 1000 tokenlık bir girdi ve 500 tokenlık bir çıktı ile:
Toplam = 1500 token x birim fiyat kadar ödeme yapar.
Fiyatlar modele, kullanım seviyesine ve abonelik türüne göre değişiklik gösterir.
Tokenizasyon Araçları ve Programatik Çözümler
Token sayımını manuel olarak yapmak zor olabilir. Bu yüzden OpenAI tarafından geliştirilen araçlar bulunmaktadır:
Tokenizer Aracı
Metni girip token sayısını anında görebileceğiniz interaktif web aracı.
Tiktoken Kütüphanesi
Python ile programatik token hesaplama imkanı sağlar.
pip install tiktoken
Basit kullanım örneği:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4")
tokens = enc.encode("Merhaba dünya!")
print(len(tokens))
Token Kullanımında Dikkat Edilmesi Gerekenler
- Boşluklar önemlidir: “ red” ile “Red” farklı tokenlerdir.
- Büyük harf fark yaratır: Cümle başındaki “Red” başka, ortadaki “ red” başkadır.
- Sık kullanılan kelimeler daha düşük token ID’lerine sahiptir, bu da modelin hızını etkileyebilir.
- Uzun cümleler daha fazla token tüketir – Özellikle Türkçede bu daha belirgindir.
Optimizasyon Tüyosu: Cümlelerinizi sadeleştirin, gereksiz tekrarları azaltın ve gerektiğinde özetleyin.
Kapanış: Token Bilgisiyle Maliyetleri Azaltmak
Token, bir yapay zekâ modelinin metni nasıl algıladığını, işlediğini ve yanıt ürettiğini anlamamızı sağlar. Özellikle OpenAI gibi API tabanlı sistemlerde, tokenleri anlamak yalnızca teknik bir detay değil, maliyet, verimlilik ve performans yönetimi açısından da kritik bir gerekliliktir.
Doğru token yönetimi ile:
- Daha az maliyetle daha fazla çıktı alırsınız.
- Daha uzun ve kaliteli metinler üretirsiniz.
- Model sınırlarını zorlamadan en iyi sonuçları elde edersiniz.
Geleceğin metin dünyasında, kelimeler değil tokenler konuşacak. Siz de bu yeni dijital dile hâkim olarak bir adım önde olun.