首頁 / 名詞卡 / 深度學習/NLP/CV架構 / BLIP/BLIP-2(Bootstrapping Language-Image Pre-training)

iPAS AI中級🧬 深度學習/NLP/CV架構
🔑 名詞卡

BLIP/BLIP-2(Bootstrapping Language-Image Pre-training)

🎯 定義

Salesforce 發表的多模態模型,強化圖文問答(Visual Question Answering, VQA)與生成任務,支援圖片與文字的雙向理解。

重點

屬於多模態 AI 技術演進「當前階段:Transformer 與自注意力驅動的統一架構」代表模型之一,與 Flamingo、M3AE 並列。

記憶技巧

BLIP=Bootstrapping(自我提升式訓練)+Language-Image(圖文),專攻「雙向」理解(圖轉文、文轉圖都行)。

易混淆

  • vs CLIP:CLIP 專注圖文「對齊」(判斷是否相符),BLIP 更進一步支援圖文問答與生成任務。
📖 課文原文

「BLIP(Bootstrapping Language-Image Pre-training)由 Salesforce 發表,強化圖文問答(Visual Question Answering, VQA)與生成任務,支援圖片與文字的雙向理解。」