首頁 / 名詞卡 / 深度學習/NLP/CV架構 / 多模態AI(Multimodal AI)

iPAS AI中級🧬 深度學習/NLP/CV架構
🔑 名詞卡

多模態AI(Multimodal AI)

🎯 定義

能同時處理並整合來自兩種以上不同資料模態(如文字、影像、語音、感測器資料)的人工智慧系統,強調跨模態訊息的理解、融合與應用。

與單模態技術的差異

項目單模態(NLP/CV)多模態 AI
處理資料僅文字或僅影像文字+影像+語音+感測器等
核心技術各自領域技術跨模態表示學習+融合學習

記憶技巧

多模態=AI 同時擁有「眼睛(影像)+耳朵(語音)+文字理解+觸覺感測」,像人類多感官協同運作。

易混淆

  • vs NLP/CV:多模態 AI 建立在 NLP、CV 等單模態技術基礎上,但核心差異在於「模態間的語意對齊與融合學習」,而非只是把多個模型拼接使用。
📖 課文原文

「多模態人工智慧(Multimodal AI)是指能同時處理兩種以上不同資料模態(Modality)的人工智慧系統。」