🔑 名詞卡

M3AE（Masked Multimodal Autoencoder）

🎯 定義

基於遮罩預訓練（Masked Pre-training）的多模態自編碼器，使用統一編碼器對影像與文字進行遮罩預訓練，學習兩者共享的語意結構，支援多模態特徵提取與生成。

重點

屬於多模態 AI 技術演進「當前階段：Transformer 統一架構」代表模型，體現「統一編碼器」處理多模態的設計理念。

M3AE＝像 BERT 的 MLM（遮罩語言模型）概念延伸到多模態——把圖片和文字都「遮住一部分」讓模型學著填空還原。

vs BLIP／Flamingo：三者皆為當前階段代表模型，但 M3AE 強調「統一編碼器＋遮罩預訓練」，BLIP 強調「圖文雙向理解」，Flamingo 強調「少樣本學習」。

📖 課文原文
「M3AE（Masked Multimodal Autoencoder）模型使用統一編碼器對影像與文字進行遮罩預訓練，學習兩者共享的語意結構。」