🔑 名詞卡
跨模態表示學習(Cross-modal Embeddings)
🎯 定義
將不同模態(如文字與影像)的資料映射至相同的語意空間,使模型能比較、關聯或互相翻譯不同模態下輸入的技術,是多模態 AI 的核心技術之一。
代表應用
CLIP 即以對比學習(Contrastive Learning)方式,同時訓練影像與文字的嵌入向量,使「一張圖片」與「一句描述」在嵌入空間中對應且具語意一致性。
記憶技巧
跨模態表示學習=幫不同「語言」(文字 vs 影像的表達方式)建立一本共通字典,讓它們能互相比對。
易混淆
- vs 早期融合(Early Fusion):早期融合是把「原始資料」直接合併,跨模態表示學習是把不同模態「映射到同一語意空間」再比較,層次更深。
📖 課文原文「其中一個核心技術為跨模態表示學習(Cross-modal Embeddings),即將不同模態資料映射至相同的語意空間,使模型能比較、關聯或互相翻譯不同模態下的輸入。」