Licznik tokenów i dzielenie tekstu

Jak używać

1. Wklej tekst, który chcesz wysłać. Liczba tokenów, znaków i słów pojawi się od razu.
2. Jeśli jest za długi, w sekcji „Podziel na części” ustaw „Maksimum na część” w tokenach lub znakach.
3. Kopiuj kolejne części po kolei do czatu z AI.

Opis opcji

Liczba tokenów

Liczona dokładnie według publicznego słownika o200k_base od OpenAI, używanego przez GPT-4o, GPT-4.1, GPT-5 i serię o. Tokenizery innych modeli dają inne wyniki.

Dzielenie

Podział przypada najpierw między akapitami, potem między zdaniami, a w środku zdania tylko wtedy, gdy samo jest za długie. Wiersz „Część i/n” wlicza się do limitu.

Jak wyglądają tokeny i ile miejsca zajmują etykiety części

Token to fragment tekstu ze słownika modelu, a nie słowo. Liczby dla słownika o200k_base:

Cyfry, adresy URL i kod dzielą się na wiele krótkich tokenów, więc zużywają więcej Twojego limitu niż zwykła proza o tej samej długości.

Gdy opcja „Dodaj na początku każdej części wiersz „Część 1/3”” jest włączona, każda część zaczyna się od wiersza takiego jak [Część 2/3], po którym następuje pusty wiersz. Narzędzie rezerwuje miejsce na najdłuższą możliwą wersję, [Część 999/999] plus pusty wiersz, co kosztuje 7 tokenów, więc tekst każdej części jest cięty do Maksimum na część minus 7 tokenów (lub minus 16 znaków przy liczeniu w znakach). Liczba pokazana dla każdej części obejmuje jej etykietę, więc nigdy nie przekracza ustawionego maksimum.

Najczęściej zadawane pytania

Prywatność

To narzędzie działa w całości w przeglądarce. Twoje pliki i tekst są przetwarzane na Twoim urządzeniu i nigdy nie trafiają na nasze serwery.