Cara menggunakan
- Tampal teks yang mahu dihantar. Bilangan token, aksara dan perkataan muncul serta-merta.
- Jika terlalu panjang, tetapkan “Maksimum setiap bahagian” dalam token atau aksara di bawah “Pecahkan kepada beberapa bahagian”.
- Salin setiap bahagian mengikut urutan ke sembang AI.
Penerangan pilihan
- Bilangan token
- Dikira dengan tepat menggunakan perbendaharaan kata awam o200k_base OpenAI, yang digunakan oleh GPT-4o, GPT-4.1, GPT-5 dan siri o. Tokenizer model lain memberikan kiraan berbeza.
- Pemecahan
- Pemisahan berlaku antara perenggan dahulu, kemudian antara ayat, dan hanya memotong di dalam ayat yang terlalu panjang dengan sendirinya. Baris “Bahagian i/n” turut dikira dalam had.
Rupa token, dan berapa banyak ruang yang diambil oleh label bahagian
Token ialah ketulan teks daripada perbendaharaan kata model, bukan perkataan. Bilangan dengan perbendaharaan kata o200k_base:
| Teks | Aksara | Token |
|---|---|---|
Hello, world! |
13 | 4 |
tokenization |
12 | 2 |
The quick brown fox jumps over the lazy dog. |
44 | 10 |
1234567890 |
10 | 4 |
https://example.com/a/b?c=d |
27 | 9 |
你好，世界 |
5 | 3 |
Digit, URL dan kod terpecah kepada banyak token pendek, jadi ia menggunakan lebih banyak had anda daripada prosa biasa yang sama panjang.
Apabila pilihan “Tambah baris “Bahagian 1/3” di bahagian atas setiap bahagian” dihidupkan, setiap bahagian bermula dengan baris seperti [Part 2/3] diikuti baris kosong. Alat ini mengkhaskan ruang untuk versi terpanjang yang mungkin, [Part 999/999] ditambah baris kosong, yang memakan 7 token, jadi teks setiap bahagian dipotong kepada Maksimum setiap bahagian anda tolak 7 token (atau tolak 16 aksara apabila mengira mengikut aksara). Angka yang ditunjukkan bagi setiap bahagian termasuk labelnya, jadi ia tidak pernah melebihi maksimum yang anda tetapkan.
Soalan lazim
Satu perkataan bersamaan berapa token?
Dalam bahasa Inggeris, purata kira-kira 0.75 perkataan setiap token, tetapi ia berbeza-beza. “Aksara setiap token” dikira daripada teks sebenar anda.
Adakah kiraan untuk Claude atau Gemini tepat?
Mereka menggunakan tokenizer sendiri, jadi kiraan GPT di sini hanyalah panduan; angka penggunaan daripada platform itu sendiri yang diambil kira.
Adakah teks saya dimuat naik?
Tidak. Pengiraan dan pemecahan dilakukan dalam pelayar anda.
Privasi
Alat ini berjalan sepenuhnya dalam pelayar anda. Fail dan teks anda diproses pada peranti anda dan tidak pernah dimuat naik ke pelayan kami.