Zo gebruik je het
- Plak de tekst die je wilt versturen. Het aantal tokens, tekens en woorden verschijnt meteen.
- Is het te lang, stel dan onder In delen splitsen het maximum aantal tokens of tekens per deel in.
- Kopieer elk deel om beurten naar de AI-chat.
Opties uitgelegd
- Aantal tokens
- Exact geteld met de openbare o200k_base-woordenschat van OpenAI, die GPT-4o, GPT-4.1, GPT-5 en de o-serie gebruiken. De tokenizers van andere modellen geven andere aantallen.
- Splitsen
- Er wordt eerst tussen alinea’s gesplitst, dan tussen zinnen, en alleen een zin die op zichzelf al te lang is, wordt middendoor geknipt. De regel Deel i/n telt mee voor de limiet.
Hoe tokens eruitzien en hoeveel ruimte de deellabels innemen
Een token is een stuk tekst uit de woordenschat van het model, geen woord. Aantallen met de woordenschat o200k_base:
| Tekst | Tekens | Tokens |
|---|---|---|
Hello, world! |
13 | 4 |
tokenization |
12 | 2 |
The quick brown fox jumps over the lazy dog. |
44 | 10 |
1234567890 |
10 | 4 |
https://example.com/a/b?c=d |
27 | 9 |
你好，世界 |
5 | 3 |
Cijfers, URL’s en code worden in veel korte tokens opgesplitst, dus ze gebruiken meer van je limiet dan gewone tekst van dezelfde lengte.
Wanneer de optie “Voeg bovenaan elk deel een regel “Deel 1/3” toe” aan staat, begint elk deel met een regel zoals [Deel 2/3] gevolgd door een lege regel. De tool reserveert ruimte voor de langst mogelijke versie, [Deel 999/999] plus de lege regel, wat 7 tokens kost, dus de tekst van elk deel wordt afgekapt op je Maximum per deel min 7 tokens (of min 16 tekens bij het tellen op tekens). Het getal dat bij elk deel wordt getoond, omvat het label, dus het komt nooit boven het maximum dat je instelt.
Veelgestelde vragen
Hoeveel tokens is een woord?
In het Engels gemiddeld ongeveer 0,75 woord per token, maar dat varieert. De tekens per token hierboven worden berekend op basis van je eigen tekst.
Zijn de aantallen voor Claude of Gemini nauwkeurig?
Zij gebruiken eigen tokenizers, dus het GPT-aantal hier is slechts een indicatie; wat telt is het verbruik dat het platform zelf aangeeft.
Wordt mijn tekst geüpload?
Nee. Tellen en splitsen gebeuren in je browser.
Privacy
Deze tool draait volledig in je browser. Je bestanden en tekst worden op je eigen apparaat verwerkt en nooit naar onze servers geüpload.