🔑 名詞卡
CLIP（Contrastive Language-Image Pre-Training）
🎯 定義
OpenAI 提出的多模態模型，將語言（文本）和影像結合，把兩者嵌入到同一語意空間中，使模型能在不同模態之間進行學習，達到跨模態理解能力。
重點
屬於電腦視覺「多模態與生成式 AI 融合階段」（2020–至今）代表技術，與 Vision Transformer、DALL·E、SAM 並列。
記憶技巧
CLIP＝把「文字」與「圖片」放進同一個語意空間比對，像幫兩種語言做翻譯字典。
易混淆
- vs Vision Transformer：CLIP 聚焦「跨模態對齊」（文字↔影像），ViT 聚焦「用 Transformer 架構處理影像本身」，兩者目的不同。
詳細架構與訓練方式（中級科目一 CH3.4 補充）
CLIP 由 OpenAI 於 2021 年提出，核心架構包括圖片編碼器（基於 ViT 或 ResNet）與文字編碼器（基於 Transformer），透過對比損失（Contrastive Loss）共同優化，使用約 4 億對圖文配對資料訓練。
| 功能 | 說明 |
|---|---|
| 圖文匹配 | 判斷圖片與文字描述是否相符 |
| 圖文檢索 | 支援文字搜尋圖片或圖片反向搜尋描述 |
| 圖片標題生成 | 根據圖片生成語意描述 |
優勢：零樣本（Zero-shot）學習能力強。限制：對複雜情境細節理解有限、訓練資料偏見可能影響公平性。CLIP 的高泛化性使其成為後續生成模型（如 DALL·E）的基礎。
📖 課文原文「CLIP（Contrastive Language-Image Pre-Training）模型是由 OpenAI 提出的一個強大的多模態模型，旨在將語言（文本）和影像（圖像）結合⋯⋯CLIP 的目的是將影像和文字嵌入到同一語意空間中，從而達到更強大的跨模態理解能力。」 （CH3.4）「CLIP 的核心架構包括圖片編碼器（基於 Vision Transformer 或 ResNet）與文字編碼器（基於 Transformer），兩者透過對比損失（Contrastive Loss）共同優化。」