Как пользоваться
- Вставьте текст, который хотите отправить. Число токенов, символов и слов появится сразу.
- Если он слишком длинный, в разделе «Разбить на части» задайте «Максимум на часть» в токенах или символах.
- По очереди копируйте каждую часть в чат с ИИ.
Описание параметров
- Число токенов
- Считается точно по открытому словарю o200k_base от OpenAI, который используют GPT-4o, GPT-4.1, GPT-5 и серия o. Токенизаторы других моделей дают другие значения.
- Разбивка
- Разрезы сначала приходятся на границы абзацев, затем предложений, а внутри предложения текст режется, только если оно само слишком длинное. Строка «Часть i/n» входит в лимит.
Как выглядят токены и сколько места занимают метки частей
Токен — это фрагмент текста из словаря модели, а не слово. Количество при словаре o200k_base:
| Текст | Символов | Токенов |
|---|---|---|
Hello, world! |
13 | 4 |
tokenization |
12 | 2 |
The quick brown fox jumps over the lazy dog. |
44 | 10 |
1234567890 |
10 | 4 |
https://example.com/a/b?c=d |
27 | 9 |
你好，世界 |
5 | 3 |
Цифры, URL и код разбиваются на много коротких токенов, поэтому занимают больше вашего лимита, чем обычная проза той же длины.
Когда включён параметр «Добавлять в начало каждой части строку «Часть 1/3»», каждая часть начинается со строки вида [Part 2/3] и следующей за ней пустой строки. Инструмент резервирует место под самый длинный возможный вариант — [Part 999/999] плюс пустая строка, что стоит 7 токенов, поэтому текст каждой части обрезается до значения «Максимум на часть» минус 7 токенов (или минус 16 символов при счёте по символам). Число, показанное для каждой части, включает её метку, поэтому оно никогда не превышает заданный вами максимум.
Часто задаваемые вопросы
Сколько токенов в одном слове?
В английском в среднем около 0,75 слова на токен, но значение сильно колеблется. «Символов на токен» считается по вашему реальному тексту.
Точны ли значения для Claude или Gemini?
У них свои токенизаторы, поэтому значение для GPT здесь лишь ориентир; важна цифра расхода, которую показывает сама платформа.
Загружается ли мой текст на сервер?
Нет. Подсчёт и разбивка выполняются в вашем браузере.
Конфиденциальность
Этот инструмент работает полностью в браузере. Ваши файлы и текст обрабатываются на вашем устройстве и никогда не загружаются на наши серверы.