首頁 / 名詞卡 / 深度學習/NLP/CV架構 / 跨模態表示學習(Cross-modal Embeddings)

iPAS AI中級🧬 深度學習/NLP/CV架構
🔑 名詞卡

跨模態表示學習(Cross-modal Embeddings)

🎯 定義

將不同模態(如文字與影像)的資料映射至相同的語意空間,使模型能比較、關聯或互相翻譯不同模態下輸入的技術,是多模態 AI 的核心技術之一。

代表應用

CLIP 即以對比學習(Contrastive Learning)方式,同時訓練影像與文字的嵌入向量,使「一張圖片」與「一句描述」在嵌入空間中對應且具語意一致性。

記憶技巧

跨模態表示學習=幫不同「語言」(文字 vs 影像的表達方式)建立一本共通字典,讓它們能互相比對。

易混淆

  • vs 早期融合(Early Fusion):早期融合是把「原始資料」直接合併,跨模態表示學習是把不同模態「映射到同一語意空間」再比較,層次更深。
📖 課文原文

「其中一個核心技術為跨模態表示學習(Cross-modal Embeddings),即將不同模態資料映射至相同的語意空間,使模型能比較、關聯或互相翻譯不同模態下的輸入。」