什麼是 Token?AI 入門必讀

📅 發佈:2026-10-12|🔄 更新:2026-10-12|✍️ AIToolMart 編輯團隊
📊 閱讀時間:約 4 分鐘

🏠 回首頁(新分頁)

一句話定義

Token 係 AI 語言模型處理文字嘅基本單位。模型唔係逐個字睇,而係將文字拆成一個個 Token 再處理。一個 Token 可以係一個完整嘅字、半個字、或者幾個字嘅組合。

簡單比喻:如果 AI 係一個廚師,Token 就係預先切好嘅食材——廚師唔會由整隻雞開始煮,而係用已經切好嘅雞塊。

Token 點樣拆分?

AI 模型用嘅 Tokenizer(分詞器)會將文字拆成 Token。規則大致如下:

英文例子

"Hello, world!" → 大約拆成 3 個 Token:Hello、,、 world!

常見英文單字通常係 1 個 Token,罕見字會拆成多個 Token。

中文例子

"你好,世界!" → 大約拆成 5-6 個 Token

中文每個字大約係 1.5-2 個 Token,比英文用得多。

長單字例子

"antidisestablishmentarianism"(反國教廢除主義)→ 會拆成 5-7 個 Token,因為太罕見

Token 換算表

語言/內容1 Token 大約等於1000 Token 大約等於
英文4 個字母 / 0.75 個單字750 個單字
中文0.5-0.7 個字500-700 個字
日文0.5-0.7 個字500-700 個字
程式碼大約 3-4 個字元大約 300-400 行

數據來源:OpenAI Tokenizer 官方文檔、Anthropic 說明文件(2026 年核實)

點解 Token 咁重要?

1. 決定收費

AI API 全部按 Token 收費,分為輸入(Input)同輸出(Output)兩部分:

例如 GPT-4o 嘅 API 價格大約係 Input $2.5/1M Token、Output $10/1M Token。

2. 決定上下文窗口大小

「上下文窗口」就係模型一次可以處理嘅 Token 上限:

模型上下文窗口大約等於
GPT-4o128K Token9-10 萬字
Claude Opus200K Token15 萬字
Gemini 1.5 Pro1M+ Token75 萬字(大約一本書)

超過上下文窗口,模型就會「忘記」之前嘅內容,或者直接報錯。

3. 影響回覆質素

Token 唔只係計數單位,仲會影響模型表現:

點樣慳 Token?5 個實用技巧

  1. Prompt 精簡:唔好講廢話,直接講需求。「幫我寫 Email」比「我想請你幫我寫一封 Email,因為我唔識寫,希望你可以...」慳好多 Token
  2. 用簡潔例子:與其寫 500 字說明,不如俾 1-2 個簡短例子(few-shot),模型更容易理解
  3. 設輸出上限:用 max_tokens 參數限制回覆長度,避免模型嘮叨
  4. 長文件先摘要:唔好將 100 頁 PDF 直接餵入模型,先用摘要工具濃縮到 2-3 頁
  5. 用細模型做簡單任務:分類、翻譯呢類簡單任務用 GPT-4o mini 或 Claude Haiku,Token 費用平 10 倍

常見誤解

❌ 誤解:1 個字 = 1 個 Token

✅ 正確:唔係。英文大約 0.75 個字 = 1 Token,中文大約 0.5-0.7 個字 = 1 Token。

❌ 誤解:Token 越多,答案越好

✅ 正確:唔一定。過長嘅上下文反而會令模型分心。精準嘅 Prompt 比冗長嘅 Prompt 效果更好。

❌ 誤解:免費版冇 Token 限制

✅ 正確:有。ChatGPT、Claude、Gemini 嘅免費版全部有每小時/每日嘅 Token 限額,只係用「次數」嘅形式呈現。

相關術語

常見問題(FAQ)

Q:Token 係咩意思?

A:Token 係 AI 語言模型處理文字嘅基本單位。一個 Token 可以係一個字、半個字、或者幾個字組成。模型唔係逐個字睇,而係逐個 Token 處理。

Q:1 Token 等於幾多個中文字?

A:大約 1 個中文字 = 1.5-2 個 Token。英文就大約 4 個字母 = 1 個 Token,或者 0.75 個英文單字 = 1 個 Token。所以同樣長度嘅中文,Token 用量比英文多。

Q:點解 Token 會影響收費?

A:AI API 按 Token 收費——輸入(Input)同輸出(Output)分開計。你輸入嘅 Prompt 越長、模型輸出越長,Token 用量越多,費用越高。

Q:上下文窗口同 Token 有咩關係?

A:上下文窗口就係模型一次可以處理嘅 Token 上限。例如 128K 上下文 = 一次可以處理大約 128,000 個 Token,大約等於 9-10 萬字。超過就會被截斷或者報錯。

Q:點樣可以慳 Token?

A:1) Prompt 精簡,唔好講廢話;2) 用簡潔嘅例子代替長篇說明;3) 輸出長度設上限(max_tokens);4) 長文件先摘要再餵入模型;5) 用細模型處理簡單任務。

Q:ChatGPT 免費版有 Token 限制嗎?

A:有。免費版每 3 小時有一定次數限制,本質上就係 Token 限額。Plus/Pro 版限額更高,企業版可以自訂配額。

相關閱讀

想知邊個 AI 工具最適合你?

用一句話描述你嘅需求,AI 直接幫你配對。

✨ AI 幫你搵工具 →

🏠 回首頁(新分頁)