繁體简体EN
AIToolMart 就是普通人用 AI 的入门方案——不用会编程、不用会英语。这篇术语文章同样写给想用 AI 解决问题的普通人。

什么是 Token?AI 入门必读

📅 发布:2026-10-12|🔄 更新:2026-10-12|✍️ AIToolMart 编辑团队
📊 阅读时间:约 4 分钟

🏠 返回首页(新窗口)

一句话定义

Token 是 AI 语言模型处理文字的基本单位。模型不是逐字看,而是把文字拆成一个一个 Token 再处理。一个 Token 可以是一个完整的字、半个字、或几个字的组合。

简单比喻:如果 AI 是一位厨师,Token 就是预先切好的食材——厨师不会从整只鸡开始煮,而是用已经切好的鸡块。

Token 怎样拆分?

AI 模型用的 Tokenizer(分词器)会把文字拆成 Token。规则大致如下:

英文例子

"Hello, world!" → 大约拆成 3 个 Token:Hello、,、 world!

常见英文单词通常 1 个 Token,罕见字会拆成多个 Token。

中文例子

"你好,世界!" → 大约拆成 5-6 个 Token

中文每个字大约 1.5-2 个 Token,比英文用得多。

长单词例子

"antidisestablishmentarianism"(反国教废除主义)→ 会拆成 5-7 个 Token,因为太罕见

Token 换算表

语言/内容1 Token 大约等于1000 Token 大约等于
英文4 个字母 / 0.75 个单词750 个单词
中文0.5-0.7 个字500-700 个字
日文0.5-0.7 个字500-700 个字
代码大约 3-4 个字符大约 300-400 行

数据来源:OpenAI Tokenizer 官方文档、Anthropic 说明文件(2026 年核实)

为什么 Token 这么重要?

1. 决定收费

AI API 全部按 Token 收费,分为输入(Input)和输出(Output)两部分:

例如 GPT-4o 的 API 价格大约是 Input $2.5/1M Token、Output $10/1M Token。

2. 决定上下文窗口大小

「上下文窗口」就是模型一次可以处理的 Token 上限:

模型上下文窗口大约等于
GPT-4o128K Token9-10 万字
Claude Opus200K Token15 万字
Gemini 1.5 Pro1M+ Token75 万字(大约一本书)

超过上下文窗口,模型就会「忘记」之前的内容,或者直接报错。

3. 影响回复质量

Token 不只是计数单位,还会影响模型表现:

怎样省 Token?5 个实用技巧

  1. Prompt 精简:不要说废话,直接说需求。「帮我写 Email」比「我想请你帮我写一封 Email,因为我不太会写,希望你可以...」省很多 Token
  2. 用简洁例子:与其写 500 字说明,不如给 1-2 个简短例子(few-shot),模型更容易理解
  3. 设输出上限:用 max_tokens 参数限制回复长度,避免模型啰嗦
  4. 长文件先摘要:不要把 100 页 PDF 直接喂进模型,先用摘要工具浓缩到 2-3 页
  5. 用小型模型做简单任务:分类、翻译这类简单任务用 GPT-4o mini 或 Claude Haiku,Token 费用便宜 10 倍

常见误解

❌ 误解:1 个字 = 1 个 Token

✅ 正确:不是。英文大约 0.75 个词 = 1 Token,中文大约 0.5-0.7 个字 = 1 Token。

❌ 误解:Token 越多,答案越好

✅ 正确:不一定。过长的上下文反而会让模型分心。精准的 Prompt 比冗长的 Prompt 效果更好。

❌ 误解:免费版没有 Token 限制

✅ 正确:有。ChatGPT、Claude、Gemini 的免费版全都有每小时/每日的 Token 限额,只是用「次数」的形式呈现。

相关术语

常见问题(FAQ)

Q:Token 是什么意思?

A:Token 是 AI 语言模型处理文字的基本单位。一个 Token 可以是一个字、半个字、或几个字组成。模型不是逐字看,而是逐 Token 处理。

Q:1 Token 等于多少个中文字?

A:大约 1 个中文字 = 1.5-2 个 Token。英文大约 4 个字母 = 1 个 Token,或 0.75 个英文单词 = 1 个 Token。所以同样长度的中文,Token 用量比英文多。

Q:为什么 Token 会影响收费?

A:AI API 按 Token 收费——输入(Input)和输出(Output)分开计。你输入的 Prompt 越长、模型输出越长,Token 用量越多,费用越高。

Q:上下文窗口和 Token 有什么关系?

A:上下文窗口就是模型一次可以处理的 Token 上限。例如 128K 上下文 = 一次可以处理大约 128,000 个 Token,大约等于 9-10 万字。超过就会被截断或报错。

Q:怎样可以省 Token?

A:1) Prompt 精简,不要说废话;2) 用简洁的例子代替长篇说明;3) 输出长度设上限(max_tokens);4) 长文件先摘要再喂入模型;5) 用小型模型处理简单任务。

Q:ChatGPT 免费版有 Token 限制吗?

A:有。免费版每 3 小时有一定次数限制,本质上就是 Token 限额。Plus/Pro 版限额更高,企业版可以自定配额。

相关阅读

想知道哪个 AI 工具最适合你?

用一句话描述你的需求,AI 直接帮你配对。

✨ AI 帮你找工具 →

🏠 返回首页(新窗口)