多模態 AI（Multimodal AI）是指可以同時處理多種類型輸入的 AI 模型——文字、圖像、語音、影片等，並且將不同模態的資訊融合在一起理解。
傳統 AI 只能處理一種模態（例如早期 GPT-3 只懂文字）。而多模態 AI 可以「看圖、聽聲、讀字」，就像人類一樣用多種感官去理解世界。
你現在用的 ChatGPT 可以上傳圖片問問題、Gemini 可以分析影片——這些都是多模態 AI 的應用。
「模態」簡單講就是資訊的形式。人類有五種感官（視覺、聽覺、觸覺、嗅覺、味覺），每一種就是一個模態。AI 的「模態」就是它可以處理的資訊類型：
只能處理一種模態的叫「單模態 AI」（Uni-modal），可以處理多種的就叫「多模態 AI」（Multimodal）。
多模態 AI 的核心概念很簡單——將所有模態都轉換成同一種數學語言（向量/embedding），然後用一個統一模型去處理。
想像你有一個翻譯員，可以將中文、英文、日文都翻譯成同一種「通用語」。然後有一個專家，只需要懂這種通用語，就可以理解所有語言的內容。
多模態 AI 就是這樣：先將圖像、語音、文字都「翻譯」成向量（通用語），再交給統一模型理解跟推理。
技術上，主要有兩種路線：
| 模型 | 開發者 | 圖像 | 語音 | 影片 | 特點 |
|---|---|---|---|---|---|
| GPT-4o | OpenAI | ✅ | ✅ 即時語音 | ✅ 短影片 | 語音對話最自然，反應快 |
| Gemini 2.0/1.5 Pro | ✅ | ✅ | ✅ 長影片（最長 1 小時） | 原生多模態，影片分析最強 | |
| Claude (Sonnet/Opus) | Anthropic | ✅ | ❌（需配合其他工具） | ❌ | 圖像理解準確，長文件強 |
| Llama 3.2 Vision | Meta（開源） | ✅ | ❌ | ❌ | 可本地部署，隱私友好 |
| Qwen-VL | 阿里雲（開源） | ✅ | ✅ | ✅ | 中文表現好，開源免費 |
數據來源：各模型官方文件（2026 年核實）。功能可能隨版本更新而變化。
✅ 正確：不是。多模態只代表可以處理多種輸入，不代表每種都處理得好。例如某個模型圖像強但語音弱，另一個就相反。
✅ 正確：不一定。如果你只需要文字處理，用純文字模型可能更便宜、更快、更準。多模態的優勢只有在你真的需要處理圖像/語音時才體現得到。
✅ 正確：不一樣。AI 不是真的「看」圖，而是將圖像分解成數學向量去分析。所以 AI 可能會犯人類不會犯的錯（例如將貓當成狗），尤其是圖像經過修改或者有異常角度時。
A：多模態 AI（Multimodal AI）是指可以同時處理多種類型輸入的 AI 模型，例如文字、圖像、語音、影片等。傳統 AI 只能處理一種模態（例如純文字），而多模態 AI 可以「看圖、聽聲、讀字」，並且將不同模態的資訊融合在一起理解。
A：常見能力包括：圖像理解（描述圖片內容、讀取圖中文字）、語音辨識跟合成（將語音轉文字、文字轉語音）、影片分析（理解影片內容、擷取關鍵畫面）、文件理解（讀取 PDF、掃描文件）、以及跨模態生成（文字生圖、圖片生文字描述）。
A：目前主流多模態模型包括：GPT-4o（OpenAI，圖像+語音+文字一體化）、Gemini 2.0/1.5（Google，原生多模態，支援長影片）、Claude（Anthropic，圖像理解能力強）。哪個最好視乎用途：影片分析 Gemini 較強，圖像理解 GPT-4o 跟 Claude 都好，語音對話 GPT-4o 最自然。
A：純文字 AI（如早期 GPT-3）只能接收跟輸出文字。多模態 AI 可以接收圖像、語音、影片等多種輸入，並且可以輸出多種格式。例如你可以上傳一張收據照片給多模態 AI，它可以直接讀取金額跟日期，而不需要你手動輸入。
A：核心是將不同模態的數據（圖像、語音、文字）轉換成同一種數學表示（向量/embedding），然後用一個統一的模型去處理。簡單講就是：先將圖像、語音都「翻譯」成模型看得懂的語言，再一起理解跟推理。
A：主要限制包括：1) 圖像細節可能誤讀（例如細字、複雜圖表）；2) 影片理解仍有長度限制；3) 多模態輸入的成本比純文字高；4) 一樣會有幻覺（AI 可能「看錯」圖像內容）；5) 隱私風險——上傳圖像/語音涉及更多個人資料。