多模態 AI(Multimodal AI)係指可以同時處理多種類型輸入嘅 AI 模型——文字、圖像、語音、影片等,並且將唔同模態嘅資訊融合一齊理解。
傳統 AI 只可以處理一種模態(例如早期 GPT-3 只識文字)。而多模態 AI 可以「睇圖、聽聲、讀字」,好似人類咁用多種感官去理解世界。
你而家用緊嘅 ChatGPT 可以上傳圖片問問題、Gemini 可以分析影片——呢啲都係多模態 AI 嘅應用。
「模態」簡單講就係資訊嘅形式。人類有五種感官(視覺、聽覺、觸覺、嗅覺、味覺),每一種就係一個模態。AI 嘅「模態」就係佢可以處理嘅資訊類型:
只可以處理一種模態嘅叫「單模態 AI」(Uni-modal),可以處理多種嘅就叫「多模態 AI」(Multimodal)。
多模態 AI 嘅核心概念好簡單——將所有模態都轉換成同一種數學語言(向量/embedding),然後用一個統一模型去處理。
想象你有一個翻譯員,可以將中文、英文、日文都翻譯成同一種「通用語」。然後有一個專家,只需要識呢種通用語,就可以理解所有語言嘅內容。
多模態 AI 就係咁:先將圖像、語音、文字都「翻譯」成向量(通用語),再交畀統一模型理解同推理。
技術上,主要有兩種路線:
| 模型 | 開發者 | 圖像 | 語音 | 影片 | 特點 |
|---|---|---|---|---|---|
| GPT-4o | OpenAI | ✅ | ✅ 即時語音 | ✅ 短影片 | 語音對話最自然,反應快 |
| Gemini 2.0/1.5 Pro | ✅ | ✅ | ✅ 長影片(最長 1 小時) | 原生多模態,影片分析最強 | |
| Claude (Sonnet/Opus) | Anthropic | ✅ | ❌(需配合其他工具) | ❌ | 圖像理解準確,長文件強 |
| Llama 3.2 Vision | Meta(開源) | ✅ | ❌ | ❌ | 可本地部署,私隱友好 |
| Qwen-VL | 阿里雲(開源) | ✅ | ✅ | ✅ | 中文表現好,開源免費 |
數據來源:各模型官方文檔(2026 年核實)。功能可能隨版本更新而變化。
✅ 正確:唔係。多模態只係代表可以處理多種輸入,唔代表每種都處理得好。例如某個模型圖像強但語音弱,另一個就相反。
✅ 正確:唔一定。如果你只需要文字處理,用純文字模型可能更平、更快、更準。多模態嘅優勢只有喺你真係需要處理圖像/語音時先體現到。
✅ 正確:唔一樣。AI 唔係真係「睇」圖,而係將圖像分解成數學向量去分析。所以 AI 可能會犯人類唔會犯嘅錯(例如將貓當成狗),尤其係圖像經過修改或者有異常角度時。
A:多模態 AI(Multimodal AI)係指可以同時處理多種類型輸入嘅 AI 模型,例如文字、圖像、語音、影片等。傳統 AI 只可以處理一種模態(例如純文字),而多模態 AI 可以「睇圖、聽聲、讀字」,並且將唔同模態嘅資訊融合一齊理解。
A:常見能力包括:圖像理解(描述圖片內容、讀取圖中文字)、語音識別同合成(將語音轉文字、文字轉語音)、影片分析(理解影片內容、提取關鍵畫面)、文件理解(讀取 PDF、掃描文件)、以及跨模態生成(文字生圖、圖片生文字描述)。
A:目前主流多模態模型包括:GPT-4o(OpenAI,圖像+語音+文字一體化)、Gemini 2.0/1.5(Google,原生多模態,支援長影片)、Claude(Anthropic,圖像理解能力強)。邊個最好視乎用途:影片分析 Gemini 較強,圖像理解 GPT-4o 同 Claude 都好,語音對話 GPT-4o 最自然。
A:純文字 AI(如早期 GPT-3)只可以接收同輸出文字。多模態 AI 可以接收圖像、語音、影片等多種輸入,並且可以輸出多種格式。例如你可以上傳一張收據相畀多模態 AI,佢可以直接讀取金額同日期,而唔需要你手打輸入。
A:核心係將唔同模態嘅數據(圖像、語音、文字)轉換成同一種數學表示(向量/embedding),然後用一個統一嘅模型去處理。簡單講就係:先將圖像、語音都「翻譯」成模型識得嘅語言,再一齊理解同推理。
A:主要限制包括:1) 圖像細節可能誤讀(例如細字、複雜圖表);2) 影片理解仍有長度限制;3) 多模態輸入嘅成本比純文字高;4) 一樣會有幻覺(AI 可能「睇錯」圖像內容);5) 私隱風險——上傳圖像/語音涉及更多個人資料。