Token：AI 计算文字用的“小单位”

10秒看懂

Token 是 AI 处理内容时使用的基本单位。 它和“一个字”或“一个单词”并不是一一对应。

OpenAI说明，Token可能是一个字符、词的一部分、完整单词或标点；不同语言、模型和编码方式的 Token 数量也可能不同。（OpenAI Help Center）

说人话

AI看到一句话，并不是永远按照：

一个汉字 = 一个单位 一个英文单词 = 一个单位

来计算。

系统会先把内容拆成 Token，再交给模型处理。

用一个比喻理解

一整段文字 = 一盒积木 Token = 里面的一块块积木

AI不是直接吞下整段文章，而是处理这些拆开的单位。

真实使用例子

你需要关心它吗

• 普通AI用户： 建议知道概念
• 大量长文用户： 建议了解
• API开发者： 必须了解
• MCP/Agent重度用户： 很值得了解

容易混淆的概念

Token 和“一个字”或“一个单词”并不是一一对应。不同语言、模型和编码方式的 Token 数量也可能不同。