Token 係 AI 語言模型處理文字嘅基本單位。模型唔係逐個字睇,而係將文字拆成一個個 Token 再處理。一個 Token 可以係一個完整嘅字、半個字、或者幾個字嘅組合。
簡單比喻:如果 AI 係一個廚師,Token 就係預先切好嘅食材——廚師唔會由整隻雞開始煮,而係用已經切好嘅雞塊。
AI 模型用嘅 Tokenizer(分詞器)會將文字拆成 Token。規則大致如下:
"Hello, world!" → 大約拆成 3 個 Token:Hello、,、 world!
常見英文單字通常係 1 個 Token,罕見字會拆成多個 Token。
"你好,世界!" → 大約拆成 5-6 個 Token
中文每個字大約係 1.5-2 個 Token,比英文用得多。
"antidisestablishmentarianism"(反國教廢除主義)→ 會拆成 5-7 個 Token,因為太罕見
| 語言/內容 | 1 Token 大約等於 | 1000 Token 大約等於 |
|---|---|---|
| 英文 | 4 個字母 / 0.75 個單字 | 750 個單字 |
| 中文 | 0.5-0.7 個字 | 500-700 個字 |
| 日文 | 0.5-0.7 個字 | 500-700 個字 |
| 程式碼 | 大約 3-4 個字元 | 大約 300-400 行 |
數據來源:OpenAI Tokenizer 官方文檔、Anthropic 說明文件(2026 年核實)
AI API 全部按 Token 收費,分為輸入(Input)同輸出(Output)兩部分:
例如 GPT-4o 嘅 API 價格大約係 Input $2.5/1M Token、Output $10/1M Token。
「上下文窗口」就係模型一次可以處理嘅 Token 上限:
| 模型 | 上下文窗口 | 大約等於 |
|---|---|---|
| GPT-4o | 128K Token | 9-10 萬字 |
| Claude Opus | 200K Token | 15 萬字 |
| Gemini 1.5 Pro | 1M+ Token | 75 萬字(大約一本書) |
超過上下文窗口,模型就會「忘記」之前嘅內容,或者直接報錯。
Token 唔只係計數單位,仲會影響模型表現:
max_tokens 參數限制回覆長度,避免模型嘮叨✅ 正確:唔係。英文大約 0.75 個字 = 1 Token,中文大約 0.5-0.7 個字 = 1 Token。
✅ 正確:唔一定。過長嘅上下文反而會令模型分心。精準嘅 Prompt 比冗長嘅 Prompt 效果更好。
✅ 正確:有。ChatGPT、Claude、Gemini 嘅免費版全部有每小時/每日嘅 Token 限額,只係用「次數」嘅形式呈現。
A:Token 係 AI 語言模型處理文字嘅基本單位。一個 Token 可以係一個字、半個字、或者幾個字組成。模型唔係逐個字睇,而係逐個 Token 處理。
A:大約 1 個中文字 = 1.5-2 個 Token。英文就大約 4 個字母 = 1 個 Token,或者 0.75 個英文單字 = 1 個 Token。所以同樣長度嘅中文,Token 用量比英文多。
A:AI API 按 Token 收費——輸入(Input)同輸出(Output)分開計。你輸入嘅 Prompt 越長、模型輸出越長,Token 用量越多,費用越高。
A:上下文窗口就係模型一次可以處理嘅 Token 上限。例如 128K 上下文 = 一次可以處理大約 128,000 個 Token,大約等於 9-10 萬字。超過就會被截斷或者報錯。
A:1) Prompt 精簡,唔好講廢話;2) 用簡潔嘅例子代替長篇說明;3) 輸出長度設上限(max_tokens);4) 長文件先摘要再餵入模型;5) 用細模型處理簡單任務。
A:有。免費版每 3 小時有一定次數限制,本質上就係 Token 限額。Plus/Pro 版限額更高,企業版可以自訂配額。