Token 是 AI 語言模型處理文字的基本單位。模型不是逐個字看,而是將文字拆成一個個 Token 再處理。一個 Token 可以是一個完整的字、半個字、或者幾個字的組合。
簡單比喻:如果 AI 是一個廚師,Token 就是預先切好的食材——廚師不會從整隻雞開始煮,而是用已經切好的雞塊。
AI 模型用的 Tokenizer(分詞器)會將文字拆成 Token。規則大致如下:
"Hello, world!" → 大約拆成 3 個 Token:Hello、,、 world!
常見英文單字通常是 1 個 Token,罕見字會拆成多個 Token。
"你好,世界!" → 大約拆成 5-6 個 Token
中文每個字大約是 1.5-2 個 Token,比英文用得多。
"antidisestablishmentarianism"(反國教廢除主義)→ 會拆成 5-7 個 Token,因為太罕見
| 語言/內容 | 1 Token 大約等於 | 1000 Token 大約等於 |
|---|---|---|
| 英文 | 4 個字母 / 0.75 個單字 | 750 個單字 |
| 中文 | 0.5-0.7 個字 | 500-700 個字 |
| 日文 | 0.5-0.7 個字 | 500-700 個字 |
| 程式碼 | 大約 3-4 個字元 | 大約 300-400 行 |
數據來源:OpenAI Tokenizer 官方文件、Anthropic 說明文件(2026 年核實)
AI API 全部按 Token 收費,分為輸入(Input)跟輸出(Output)兩部分:
例如 GPT-4o 的 API 價格大約是 Input $2.5/1M Token、Output $10/1M Token。
「上下文視窗」就是模型一次可以處理的 Token 上限:
| 模型 | 上下文視窗 | 大約等於 |
|---|---|---|
| GPT-4o | 128K Token | 9-10 萬字 |
| Claude Opus | 200K Token | 15 萬字 |
| Gemini 1.5 Pro | 1M+ Token | 75 萬字(大約一本書) |
超過上下文視窗,模型就會「忘記」之前的內容,或者直接報錯。
Token 不只是計數單位,還會影響模型表現:
max_tokens 參數限制回覆長度,避免模型嘮叨✅ 正確:不是。英文大約 0.75 個字 = 1 Token,中文大約 0.5-0.7 個字 = 1 Token。
✅ 正確:不一定。過長的上下文反而會讓模型分心。精準的 Prompt 比冗長的 Prompt 效果更好。
✅ 正確:有。ChatGPT、Claude、Gemini 的免費版全部有每小時/每日的 Token 限額,只是用「次數」的形式呈現。
A:Token 是 AI 語言模型處理文字的基本單位。一個 Token 可以是一個字、半個字、或者幾個字組成。模型不是逐個字看,而是逐個 Token 處理。
A:大約 1 個中文字 = 1.5-2 個 Token。英文大約 4 個字母 = 1 個 Token,或者 0.75 個英文單字 = 1 個 Token。所以同樣長度的中文,Token 用量比英文多。
A:AI API 按 Token 收費——輸入(Input)跟輸出(Output)分開計。你輸入的 Prompt 越長、模型輸出越長,Token 用量越多,費用越高。
A:上下文視窗就是模型一次可以處理的 Token 上限。例如 128K 上下文 = 一次可以處理大約 128,000 個 Token,大約等於 9-10 萬字。超過就會被截斷或者報錯。
A:1) Prompt 精簡,不要講廢話;2) 用簡潔的例子代替長篇說明;3) 輸出長度設上限(max_tokens);4) 長文件先摘要再餵入模型;5) 用小模型處理簡單任務。
A:有。免費版每 3 小時有一定次數限制,本質上就是 Token 限額。Plus/Pro 版限額更高,企業版可以自訂配額。