Nasıl kullanılır
- Göndermek istediğiniz metni yapıştırın. Token, karakter ve kelime sayıları hemen görünür.
- Çok uzunsa “Parçalara böl” altında “Parça başına en fazla” değerini token veya karakter olarak ayarlayın.
- Parçaları sırayla yapay zekâ sohbetine kopyalayın.
Seçeneklerin açıklaması
- Token sayısı
- OpenAI'nin herkese açık o200k_base sözlüğüyle tam olarak sayılır; GPT-4o, GPT-4.1, GPT-5 ve o serisi bunu kullanır. Diğer modellerin tokenizer'ları farklı sayılar verir.
- Bölme
- Bölme noktaları önce paragraflar arasına, sonra cümleler arasına denk gelir; yalnızca tek başına çok uzun bir cümlenin içinde kesilir. “Bölüm i/n” satırı da sınıra dahildir.
Token’lar neye benzer ve parça etiketleri ne kadar yer kaplar
Token, modelin sözlüğünden bir metin parçasıdır; bir kelime değildir. o200k_base sözlüğüyle sayımlar:
| Metin | Karakter | Token |
|---|---|---|
Hello, world! |
13 | 4 |
tokenization |
12 | 2 |
The quick brown fox jumps over the lazy dog. |
44 | 10 |
1234567890 |
10 | 4 |
https://example.com/a/b?c=d |
27 | 9 |
你好，世界 |
5 | 3 |
Rakamlar, URL’ler ve kod, çok sayıda kısa token’a bölünür; bu yüzden aynı uzunluktaki sıradan düz yazıdan sınırınızın daha fazlasını kullanırlar.
“Her parçanın başına “Bölüm 1/3” satırı ekle” seçeneği açıkken her parça, ardından boş bir satır gelen [Bölüm 2/3] gibi bir satırla başlar. Araç mümkün olan en uzun sürüm olan [Bölüm 999/999] ve boş satır için yer ayırır; bu 7 token tutar. Bu yüzden her parçanın metni, Parça başına en fazla değerinizden 7 token (karakter sayarken 16 karakter) eksiğine kesilir. Her parça için gösterilen rakam etiketini de içerir; bu yüzden belirlediğiniz en yüksek değeri asla aşmaz.
Sıkça sorulan sorular
Bir kelime kaç token eder?
İngilizcede ortalama token başına yaklaşık 0,75 kelime düşer, ancak değişir. “Token başına karakter” değeri sizin gerçek metninizden hesaplanır.
Claude veya Gemini için sayılar doğru mu?
Kendi tokenizer'larını kullandıkları için buradaki GPT sayısı yalnızca bir fikir verir; asıl geçerli olan platformun kendi gösterdiği kullanım değeridir.
Metnim yükleniyor mu?
Hayır. Sayma ve bölme tarayıcınızda yapılır.
Gizlilik
Bu araç tamamen tarayıcınızda çalışır. Dosyalarınız ve metinleriniz cihazınızda işlenir, sunucularımıza asla yüklenmez.