Token 是 AI 语言模型处理文字的基本单位。模型不是逐字看,而是把文字拆成一个一个 Token 再处理。一个 Token 可以是一个完整的字、半个字、或几个字的组合。
简单比喻:如果 AI 是一位厨师,Token 就是预先切好的食材——厨师不会从整只鸡开始煮,而是用已经切好的鸡块。
AI 模型用的 Tokenizer(分词器)会把文字拆成 Token。规则大致如下:
"Hello, world!" → 大约拆成 3 个 Token:Hello、,、 world!
常见英文单词通常 1 个 Token,罕见字会拆成多个 Token。
"你好,世界!" → 大约拆成 5-6 个 Token
中文每个字大约 1.5-2 个 Token,比英文用得多。
"antidisestablishmentarianism"(反国教废除主义)→ 会拆成 5-7 个 Token,因为太罕见
| 语言/内容 | 1 Token 大约等于 | 1000 Token 大约等于 |
|---|---|---|
| 英文 | 4 个字母 / 0.75 个单词 | 750 个单词 |
| 中文 | 0.5-0.7 个字 | 500-700 个字 |
| 日文 | 0.5-0.7 个字 | 500-700 个字 |
| 代码 | 大约 3-4 个字符 | 大约 300-400 行 |
数据来源:OpenAI Tokenizer 官方文档、Anthropic 说明文件(2026 年核实)
AI API 全部按 Token 收费,分为输入(Input)和输出(Output)两部分:
例如 GPT-4o 的 API 价格大约是 Input $2.5/1M Token、Output $10/1M Token。
「上下文窗口」就是模型一次可以处理的 Token 上限:
| 模型 | 上下文窗口 | 大约等于 |
|---|---|---|
| GPT-4o | 128K Token | 9-10 万字 |
| Claude Opus | 200K Token | 15 万字 |
| Gemini 1.5 Pro | 1M+ Token | 75 万字(大约一本书) |
超过上下文窗口,模型就会「忘记」之前的内容,或者直接报错。
Token 不只是计数单位,还会影响模型表现:
max_tokens 参数限制回复长度,避免模型啰嗦✅ 正确:不是。英文大约 0.75 个词 = 1 Token,中文大约 0.5-0.7 个字 = 1 Token。
✅ 正确:不一定。过长的上下文反而会让模型分心。精准的 Prompt 比冗长的 Prompt 效果更好。
✅ 正确:有。ChatGPT、Claude、Gemini 的免费版全都有每小时/每日的 Token 限额,只是用「次数」的形式呈现。
A:Token 是 AI 语言模型处理文字的基本单位。一个 Token 可以是一个字、半个字、或几个字组成。模型不是逐字看,而是逐 Token 处理。
A:大约 1 个中文字 = 1.5-2 个 Token。英文大约 4 个字母 = 1 个 Token,或 0.75 个英文单词 = 1 个 Token。所以同样长度的中文,Token 用量比英文多。
A:AI API 按 Token 收费——输入(Input)和输出(Output)分开计。你输入的 Prompt 越长、模型输出越长,Token 用量越多,费用越高。
A:上下文窗口就是模型一次可以处理的 Token 上限。例如 128K 上下文 = 一次可以处理大约 128,000 个 Token,大约等于 9-10 万字。超过就会被截断或报错。
A:1) Prompt 精简,不要说废话;2) 用简洁的例子代替长篇说明;3) 输出长度设上限(max_tokens);4) 长文件先摘要再喂入模型;5) 用小型模型处理简单任务。
A:有。免费版每 3 小时有一定次数限制,本质上就是 Token 限额。Plus/Pro 版限额更高,企业版可以自定配额。