跳到正文
马克工具箱

Token 计算器 / 长文切分

AI 对话有长度上限,超了就截断或报错。在这里先算一算有多少 Token,太长就按上限自动切成几段,每段带上「第 1/3 部分」,依次发给 AI。

在浏览器本地运行,输入的内容和文件都不会上传

GPT Token 数
加载中…
字符数
0
字数
0
每个 Token 的字符数
—

Token 数按 OpenAI 公开的 o200k_base 词表精确计算(GPT-4o、GPT-4.1、GPT-5 和 o 系列)。Claude、Gemini、DeepSeek、通义千问等模型用各自的分词器,数量会有差异,仅供参考。

切分成多段

计数在浏览器里完成,文字不会上传。

使用步骤

  1. 把要发给 AI 的文字粘贴到输入框,上方立即显示 Token 数、字符数和字数。
  2. 文字太长时,在「切分成多段」里设置每段最多多少 Token 或字符。
  3. 逐段点「复制」发给 AI。

参数说明

Token 计数
用 OpenAI 公开的 o200k_base 词表精确计算,适用于 GPT-4o、GPT-4.1、GPT-5 和 o 系列。其他模型的分词器不同,数量会有差异。
切分规则
优先在段落之间切,段落太长再按句子切,单句超长才硬切;加上的「第 i/n 部分」也计入长度。

Token 长什么样,以及分段标签占多少空间

Token 是模型词表里的一块文本,不等于一个词。用 o200k_base 词表得到的数量:

文本 字符数 Token 数
Hello, world! 13 4
tokenization 12 2
The quick brown fox jumps over the lazy dog. 44 10
1234567890 10 4
https://example.com/a/b?c=d 27 9
你好,世界 5 3

数字、网址和代码会被拆成很多很短的 Token,所以比同样长度的普通文字更占额度。

开启「每段开头加上「第 1/3 部分」」选项后,每一段开头会有一行类似 【第 2/3 部分】 的标签,后面跟一个空行。工具会按最长的可能写法 【第 999/999 部分】 加空行来预留空间,按字符计算时占 16 个字符,所以每段正文会被截到「每段最多」减去标签所占的长度。每段显示的数字包含它的标签,因此永远不会超过你设的上限。

常见问题

中文一个字是几个 Token?

不固定,常用字多为 1 个 Token,生僻字可能是 2–3 个。上方「每个 Token 的字符数」会按你的文本实际算出。

Claude、DeepSeek 的 Token 数准吗?

它们用自己的分词器,这里显示的 GPT 数量只能作参考;平台显示的用量以平台为准。

文字会上传吗?

不会,计数和切分都在浏览器里完成。

隐私说明

本工具完全在浏览器中运行,文件和文本都在你的设备上处理,不会上传到我们的服务器。

相关工具