你第一次接触”Token”这个词，大概率是在用 ChatGPT、文心、通义、Claude 之类的 AI 产品时。

屏幕底部冒出来一行小字：”已用 1280 / 4096 Token”。或者，你正在用某个 API，输入了一段提示词，账单上写着：本次消耗 12,345 Token，费用 0.037 元。

Token 是什么？为什么要数它？为什么 AI 不直接数”字”或”汉字”？为什么英文 1 Token，中文要算更多？

这篇文章用最通俗的方式，把它说清楚。

语言模型本身不会”看字”。它只认识数字。

一段文本要喂给模型，第一步必须先被切成一串数字。这个过程叫 分词（Tokenization），切出来的每一小段就是一个 Token。

打个比方：拼乐高之前，要把一整块砖拆成一颗一颗的小颗粒。模型也是这样——你给它一段中文、英文、代码，它先把这段话拆成一颗颗”积木”（Token），每一颗对应一个编号（数字），然后把编号串送进神经网络去算。

所以一句话可以这样看：

“今天天气真好” → [今天, 天气, 真, 好] → [18234, 9021, 528, 411]

前一步是人话变”积木”，后一步是”积木”变编号。Token 就是中间那一颗颗积木。

理解了这点，下面所有事情都好懂了。

二、英文、中文、代码，拆法不一样

同样是”今天天气真好”这 6 个字，在不同模型里可能被拆成不同数量的 Token，因为每家训练的分词器（Tokenizer）算法不太一样。通用规律是这样的：

几个常被举的例子：

• • "Hello" → 1 Token
• • "hello world" → 2 Token
• • "unhappiness" → 经常拆成 un, happiness，2 Token
• • "今天" → 一般 1 个 Token，但也可能拆成 今, 天
• • "中华人民共和国" → 可能 1 个 Token，也可能好几个，看模型怎么学

记住一个粗略的经验值就行：英文 1 Token ≈ 4 个英文字母；中文 1 Token ≈ 1 个汉字。所以同样一句话，中文消耗的 Token 一般比英文要多一些——这是造成”中文用户花更多”的根本原因。

三、为什么 AI 非要用 Token，而不是直接数”字”？

这是个非常自然的问题：汉字、单词都是现成的，干嘛费劲切来切去？

三个原因。

第一，词表大小是有限度的。如果模型直接把”今天天气真好”当成一个独立单元，它的词表就要覆盖所有可能的中文组合——无穷无尽，根本训练不起。切到”积木”级别（比如 2–3 万个常见子词），词表就稳定了，训练也跑得动。

第二，拆得越细，泛化能力越强。模型见过”天气””雨””雪”这些 Token，你问它”今天下冰雹”它也能猜个大概——因为它学到了”天气”和”冰””雹”这些子词的组合规律。如果模型只见过”今天天气真好”这一整句，没见过”今天下冰雹”，就完全答不上来。

第三，Token 是模型”理解”的最小单位。模型内部所有的计算——注意力、权重、激活值——都是基于 Token 编号做的。它不直接处理字符、字节或单词，只处理 Token。所以”AI 看到的不是文字，是一堆 Token 编号”。

一个更形象的比喻：

人读文章，看到的是字、词、句子。AI 读文章，看到的是 Token 编号流。Token 是 AI 的”识字单元”。

四、Token 在产品里的 5 个真实用途

知道 Token 是什么还只算入门。你在实际使用 AI 产品时，几乎所有”看不见的机制”都跟 Token 有关。

4.1 上下文窗口（Context Window）

模型的”工作记忆”是有限的，这个上限叫 上下文窗口，单位就是 Token。

你常听到的这些数字——4K、8K、32K、128K、200K、1M——说的全是”模型一次最多能吞下多少 Token”。

为什么有上限？因为注意力机制的计算量随序列长度平方级增长。Token 越多，显存和算力需求爆炸式上升，价格也跟着涨。

打个比方：上下文窗口就像模型的”短期记忆”。4K Token 大约相当于 3000 个汉字，是好几页文章；1M Token 大约相当于一本 75 万字的长篇小说——这个级别的窗口已经能装下整本《射雕英雄传》。

4.2 计费

绝大多数 AI 产品的计费分两块：

• • 输入 Token（你发给模型的提示词）
• • 输出 Token（模型生成的回答）

输出 Token 通常比输入贵，因为生成时要一个字一个字算。比价的时候一定看清楚是”输出价”还是”输入价”——不少工具号称便宜，其实只便宜了输入那一半。

4.3 速率限制（Rate Limit）

大多数 API 会对”每分钟 Token 数”或”每分钟请求数”做限制。原因是 GPU 资源是有限的，必须分配得过来。免费档一般限得很紧（每分钟几千 Token），付费档则根据套餐放宽。

4.4 提示词工程的”省 Token”技巧

“提示词工程”听着高大上，落地之一就是少花 Token。具体做法包括：

• • 用清晰的英文术语代替冗长的中文描述（英文单位 Token 信息密度通常更高）
• • 删掉没必要的客套话和重复说明
• • 把长文档预先做摘要再喂给模型
• • 用结构化的列表、JSON、表格替代一段散文

这不是”抠门”——很多场景下省 Token 就是省钱，对长流程的应用（Agent、批量处理）尤其明显。

4.5 模型的”心智单位”

最后这一点偏直觉，但很重要：模型对世界的”理解粒度”被 Token 决定。

• • 一个只能在 4K 上下文里读文档的模型，做不了长篇法律分析。
• • 一个支持 1M 上下文但拆词粗糙的模型，可能把整本书塞进去却问不出细节。

你选模型，不只看它”答得好不好”，还要看它的 Token 词汇量 和 上下文窗口 是不是够用。

五、几个常见误解，顺手澄清

误解 1：「Token 就是汉字或单词。」
✘ Token 是模型自己切出来的子词单位，和人类心目中的”字””词”并不严格对应。一个汉字有时是 1 个 Token，有时被拆成几段。

误解 2：「1 Token 等于 1 个英文单词。」
✘ 经验值是 1 Token ≈ 4 个英文字母，不等于 1 词。短词算 1 个，不常见词、词根组合会被拆。

误解 3：「输入多少汉字，就花多少 Token。」
✘ 同样一段中文，不同模型切出来的 Token 数可能不一样，相差 20%–50% 都不奇怪。

误解 4：「Token 越多回答越好。」
✘ 在上下文窗口内，多塞东西可能有用，但也可能让模型”分心”。相关性比 Token 数量更重要。

误解 5：「Token 用完就不让用了。」
✘ 上下文窗口满了，AI 只是”忘了”前面对话，不会扣费；但重新发长输入会增加费用——很多用户没意识到这点。

六、动手算算：一段话大概多少 Token？

不需要专业工具，主流大模型官网、IDE 插件、API 控制台，几乎都自带 Token 计数器。把它粘上去一秒钟就有数。

如果临时没工具，可以用以下粗略估计：

• • 英文：Token 数 ≈ 字数 ÷ 4
• • 中文：Token 数 ≈ 字数 × 1.3（考虑英文标点会被单独切）
• • 代码：Token 数 ≈ 字符数 × 0.5（代码通常更省 Token）

再加几条经验：

• • 1 万 Token ≈ 6000 个英文单词 ≈ 8000 个汉字 ≈ 3–4 页 A4 文章
• • GPT-3.5 时代的 4K 窗口 ≈ 能装 1–2 篇文章
• • 2026 年主流模型 128K–1M 窗口 ≈ 能装几本中篇小说

需要精确数字时，打开你的 AI 客户端，把文本粘进去，看 Token 数显示就行。

七、写在最后

Token 不是黑话，也不是营销概念。它就是模型认识语言的最小颗粒，一切围绕它展开：

• • 模型用 Token 理解语言——拆得越合理，理解就越准。
• • 产品按 Token 计量能力——输入 / 输出、上下文、速率、计费，全是 Token。
• • 用户用 Token 估算成本——长输入会贵，跨语言也会贵，但通常贵得明白。

下次你看到”已用 1280 / 4096 Token”的时候，你就不会困惑了——它只是在告诉你：模型的工作记忆里，已经装进去 1280 个”积木”，最多还能再装 4096 个。

下次你看到账单上的”本次消耗 12,345 Token，费用 0.037 元”的时候，你也不会再觉得模型在”暗箱收费”——这就是计算一次输出花了多少”积木”的真实成本。

把这篇文章存下来，下次再有人问你”Token 是什么”，就把链接甩给他。