CH3.2 電腦視覺技術與應用
電腦視覺技術與應用
CV 定義與五大任務（分類／偵測／語意分割／實例分割／生成合成）→ 技術演進三階段（特徵工程→CNN 革命→多模態與生成式 AI 融合）→ 影像標註與前處理 → 三大核心任務深探（影像分類 CNN 架構與知名模型、物件偵測 YOLO/Faster R-CNN/SSD、影像分割語意 vs 實例＋IOU 指標）→ 產業應用（監控安全、醫療影像、智慧製造零售、AR/VR、自動駕駛）→ 三大風險（資料隱私合規、模型偏見可靠度、部署維運風險）。
1. CV 的定義與任務類型
CV（Computer Vision，電腦視覺）是使機器具備「視覺理解能力」的 AI 領域，目標是模擬或超越人類視覺系統，從影像/影片中擷取、辨識並解釋語意資訊。是影像處理、模式辨識、機器學習、深度學習等技術的跨領域整合。
電腦視覺發展可追溯至 1960 年代，但直到 2012 年 AlexNet 在 ImageNet 競賽中大幅提升分類準確度，才進入深度學習主導的高速發展期。
五大主要任務類型：
| 任務 | 定義 | 應用 |
|---|---|---|
| 影像分類（Image Classification） | 判斷影像屬於哪一類別 | 商品辨識、醫療影像診斷、社群內容分類 |
| 物件偵測（Object Detection） | 辨識影像中是否存在特定物件並標示位置（邊界框） | 自動駕駛、安防監控、人流偵測 |
| 語意分割（Semantic Segmentation） | 將每個像素標註為對應語意類別 | 城市街景理解、農作物分類、醫學影像處理 |
| 實例分割（Instance Segmentation） | 除語意標註外，還須分辨同類別中不同實體 | 自駕車多目標辨識、AR 虛實分離、精密製造檢測 |
| 影像生成與合成 | 利用生成模型合成新影像（文字生成圖片、風格轉換） | 設計輔助、遊戲開發、產出訓練用資料 |
語意分割與實例分割最大差異在於是否區分同類別中的不同個體——語意分割把「所有車」都標成同一類「車輛」；實例分割會為每輛車賦予獨立的標識符，這是選擇題常考的辨析點。
2. CV 技術演進脈絡
| 階段 | 年代 | 核心方法 | 代表技術 |
|---|---|---|---|
| 特徵工程主導 | 1980s–2010 | 人工設計特徵＋傳統機器學習分類器 | 邊緣偵測（Canny）、特徵點偵測（SIFT/SURF/ORB）、傳統分類器（SVM、KNN、隨機森林） |
| CNN 革命 | 2012–2020 | 深度學習自動學習圖像特徵 | AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet；YOLO、Faster R-CNN、FCN、U-Net |
| 多模態與生成式 AI 融合 | 2020–至今 | 跨模態理解＋創造性輸出 | CLIP、Vision Transformer、DALL·E／Stable Diffusion／Midjourney、SAM |
三階段的核心轉變：「人工設計特徵」→「模型自動學習特徵」→「跨模態理解＋生成」。2012 年 AlexNet 是深度學習主導 CV 的分水嶺；2020 年後的多模態融合則讓 CV 從「看懂」進化到「創造」。
多模態與生成式 AI 融合階段代表技術
| 技術 | 提出單位 | 核心概念 |
|---|---|---|
| CLIP（Contrastive Language-Image Pre-Training） | OpenAI | 將語言（文本）與影像嵌入同一語意空間，實現跨模態理解 |
| Vision Transformer（ViT） | — | 採用 NLP 的 Transformer 架構處理影像數據，突破 CNN 在 CV 領域的主導地位 |
| DALL·E／Stable Diffusion／Midjourney | OpenAI／Stability AI／Midjourney | 根據文字描述生成圖像（文字到圖像） |
| SAM（Segment Anything Model） | Meta | 提升影像分割任務的可遷移性與泛化能力，可處理各種未知的分割任務 |
3. 影像標註與資料前處理
(1) 影像標註（Image Annotation）
標註作為模型訓練的標準答案（Ground Truth），依任務類型採用不同標註方法：
| 任務 | 標註方式 | 常見工具 |
|---|---|---|
| 影像分類 | 類別標籤（Label） | LabelImg、Label Studio |
| 物件偵測 | 邊界框（Bounding Box） | CVAT、Roboflow |
| 語意分割 | 每個像素分割標籤 | LabelMe、SuperAnnotate |
| 實例分割 | 像素遮罩＋實例 ID | VGG Image Annotator |
| 關鍵點標注 | 身體節點座標 | COCO Annotator（常用於人體姿態估計） |
| 文字辨識（OCR） | 區塊框選＋文字內容 | Tesseract Trainer、LabelImg OCR |
進階標註技術：自動化標註（Auto-labeling）（模型預標註＋人工校對）、半監督式學習與主動學習（標註資料不足時提升學習效果）。標註品質控制常用「雙重標註」——由兩位標註者對同一圖像標註以確保準確性。
(2) 影像資料前處理
| 類型 | 常見技術 | 目的 |
|---|---|---|
| 圖像尺寸處理 | Resize／Padding／Cropping | 統一輸入尺寸、避免變形 |
| 正規化處理 | Pixel Normalization | 像素值轉為 0–1 或標準化 |
| 像素增強 | 直方圖均衡化、Gamma 校正 | 提升對比度與亮度 |
| 噪聲去除 | 平滑濾波、邊緣保留濾波 | 減少感測器雜訊 |
| 色彩空間轉換 | RGB↔Grayscale、HSV | 簡化輸入或調整通道結構 |
| 資料擴增（Data Augmentation） | 翻轉、旋轉、裁剪、模糊、色彩偏移 | 增強模型泛化能力，對抗過擬合 |
| 序列統一 | 影片/時間序列取樣 | 應用於動作辨識 |
4. 影像分類（Image Classification）
CNN 架構組成
| 結構 | 功能 |
|---|---|
| 卷積層（Convolutional Layer） | 卷積核提取局部特徵，生成特徵圖 |
| 池化層（Pooling Layer） | 降維（如 Max Pooling），減少計算量、增強泛化 |
| 激活層（Activation Layer） | 引入非線性（如 ReLU） |
| 全連接層（Fully Connected Layer） | 整合特徵為一維向量進行分類 |
| 輸出層 | Softmax 函數轉換為類別機率 |
知名 CNN 架構比較
| 模型 | 特色 |
|---|---|
| LeNet | Yann LeCun 提出，5 層結構，早期模型，適用手寫數字辨識 |
| AlexNet | 2012 年 ImageNet 冠軍，8 層＋ReLU＋Dropout，深度學習里程碑 |
| VGG | 深度網路＋小卷積核（3×3），層數可達 19 層 |
| ResNet | 引入殘差連接（Residual Connection），可達 152 層，解決深層網路梯度消失問題 |
評估指標
| 指標 | 說明 |
|---|---|
| 準確率（Accuracy） | 預測正確樣本數／總樣本數 |
| Top-5 錯誤率 | 真實類別落在預測前五名內即視為正確，適用大規模類別資料集（如 ImageNet） |
| 混淆矩陣（Confusion Matrix） | 展示各類別預測分佈，便於分析誤分類情況 |
5. 物件偵測（Object Detection）
| 模型 | 原理 | 特性 |
|---|---|---|
| YOLO（You Only Look Once） | 基於迴歸的方法，同時預測邊界框和類別 | 速度快，適合即時應用 |
| Faster R-CNN | 基於區域提議網路（RPN）生成候選框，再分類與迴歸 | 準確度高，但速度較慢 |
| SSD（Single Shot Multibox Detector） | 基於多尺度特徵進行檢測 | 速度與準確度平衡 |
YOLO＝快（You Only Look Once，一次看完）；Faster R-CNN＝準（兩階段：先提議候選框再分類）；SSD＝介於兩者之間的平衡選項。
6. 影像分割（Image Segmentation）
| 模型 | 特色 |
|---|---|
| FCN（Fully Convolutional Network） | 將 CNN 應用於整張影像，透過上採樣層還原原始尺寸，實現像素級分類；端到端訓練 |
| U-Net | 專為醫療影像設計，對稱編碼器/解碼器結構＋跳躍連接（Skip Connections），能從高解析度特徵恢復細節，適合不平衡資料集 |
| Mask R-CNN | 基於 Faster R-CNN 擴展，額外分支預測物體的二進制遮罩（mask），實現實例分割 |
IOU（Intersection over Union）指標
- 範圍 0 到 1，越接近 1 表示預測分割結果越準確；物體檢測中 IOU > 0.5 或 0.7 通常視為成功預測。
- 範例：真實框面積 100、預測框面積 80、重疊區域 40 → 聯集 = 100+80−40 = 140 → IOU = 40/140 ≈ 0.286。
計算 IOU 的分母是「聯集（Union）」而非「真實框面積」或「預測框面積」單獨計算——聯集 = 真實框 + 預測框 − 重疊區域，這是計算題常見的失分點。
7. CV 產業應用
| 領域 | 應用重點 |
|---|---|
| 監控與安全 | 人臉辨識（檢測→特徵提取→比對）、車牌辨識（ANPR：區域檢測→字符辨識）、隱私合規（GDPR/HIPAA）、即時推論 |
| 醫療影像診斷 | 影像分類（CT/MRI 診斷分類）、影像分割（U-Net 定位病灶）、專業醫師標註需求、醫療隱私法規 |
| 智慧製造與零售 | 工業瑕疵偵測、商品行為分析、邊緣運算＋即時回饋、顧客行為追蹤（熱點圖 Heatmap） |
| AR／VR | AR 疊加虛擬資訊於實體物體上；VR 追蹤使用者動作映射至虛擬世界 |
| 自動駕駛 | 車道線偵測、物件偵測（障礙物/行人/車輛）、多模態融合（雷達＋LiDAR＋影像） |
8. CV 應用風險
(1) 資料隱私與合規
| 議題 | 說明 | 因應做法 |
|---|---|---|
| 個人識別資料（PII） | 人臉辨識、公共監控涉及高度敏感個資 | 資料匿名化/去識別化（臉部遮蔽、模糊化）、合法授權告知、資料保存與刪除政策 |
| 社會與倫理爭議 | 需在「安全防護」與「個人隱私」間取得平衡（如學校人臉辨識門禁） | 取得充分同意，避免倫理與法律風險 |
(2) 偏見與模型可靠度
| 風險來源 | 說明 |
|---|---|
| 資料來源不平衡 | 訓練集某族群（膚色/性別/年齡）過於集中，導致其他族群辨識準確度低 |
| 標註偏誤 | 標註者主觀認知或文化偏見造成不一致 |
| 拍攝條件偏差 | 攝影角度、光照、解析度差異影響泛化能力 |
| 失準類型 | 影響 |
|---|---|
| 誤檢（False Positive） | 例如將健康者誤診為病人，導致不必要醫療干預 |
| 漏檢（False Negative） | 例如漏檢工業瑕疵，導致缺陷產品流入市場 |
誤檢（False Positive）＝「無中生有」（把沒有的判斷成有）；漏檢（False Negative）＝「視而不見」（把有的判斷成沒有）。醫療與工業品檢情境中兩者代價不同，須依情境判斷哪一種風險更需優先降低。
提升公平性做法：偏見診斷測試（Bias Audit）、數據平衡與重加權（過採樣/欠採樣）、可信度評估指標（AUC、精確度、召回率）。
(3) 部署與維運風險
| 風險 | 說明 | 解決策略 |
|---|---|---|
| GPU/TPU 資源限制 | 邊緣設備算力有限 | 使用輕量化模型（MobileNet、YOLOv5-Nano） |
| 批次處理延遲 | 影像串流延遲影響即時性 | — |
| 演算法版本管理困難 | 版本間推論結果不一致 | 建立 MLOps（CI/CD）流程 |
| 數據漂移（Data Drift） | 環境或攝影條件變動導致輸入資料分佈改變，模型失效 | 持續監控效能、追蹤異常 |
| 部署測試不足 | 未充分驗證實地場域特殊性（光照變化、影像模糊） | 影像品質監測、預設容錯與回退機制 |
CV 部署風險中的「資料漂移」與 NLP、一般機器學習中的資料漂移概念相同——都是指現實環境的輸入資料分佈隨時間偏離訓練時的分佈，導致模型效能下降，須透過持續監控與再訓練因應。
🔗 相關名詞卡
🗒️ 私人備註區
📝 章節考題自測（先作答，再點開解答）
Q1. 下列有關語意分割與實例分割的敘述，何者正確？
(A) 兩者完全相同，可交互使用 (B) 語意分割會區分同類別中的不同個體，實例分割則不會 (C) 實例分割在語意分割基礎上，進一步為同類別中的不同個體賦予獨立標識符 (D) 語意分割只能用於醫療影像
解答與解析
參考 Ans: (C) 實例分割是在語意分割基礎上進一步區分同類別的不同實體（如為每輛車賦予唯一標識符），而語意分割只把同類物體視為一個整體（所有車都標為「車輛」，不區分個體）。(B) 說反了。
Q2. 2012 年被視為電腦視覺進入深度學習主導時期的關鍵事件為何？
(A) Transformer 架構的提出 (B) AlexNet 在 ImageNet 競賽中大幅提升圖像分類準確度 (C) CLIP 模型的發表 (D) GDPR 法規上路
解答與解析
參考 Ans: (B) 2012 年 AlexNet 在 ImageNet 競賽中的突破性表現是電腦視覺從傳統特徵工程邁入深度學習（CNN）主導時代的關鍵轉捩點。Transformer（2017）與 CLIP（多模態階段）都是之後的發展。
Q3. 關於 YOLO 與 Faster R-CNN 的比較，下列敘述何者正確？
(A) YOLO 速度快但通常犧牲部分準確度，Faster R-CNN 準確度高但速度較慢 (B) 兩者運算原理完全相同 (C) Faster R-CNN 是基於迴歸的單階段方法 (D) YOLO 需要先透過區域提議網路（RPN）生成候選框
解答與解析
參考 Ans: (A) YOLO 是基於迴歸的單階段方法，速度快、適合即時應用；Faster R-CNN 需先用 RPN 生成候選框再分類迴歸，屬兩階段方法，準確度較高但速度較慢。(C)(D) 描述互相說反。
Q4. 計算 IOU（Intersection over Union）時，下列敘述何者正確？
(A) IOU = 重疊區域 / 真實框面積 (B) IOU = 重疊區域 / (真實框面積 + 預測框面積) (C) IOU = 重疊區域 / 聯集區域（真實框+預測框−重疊區域） (D) IOU 值愈接近 0 代表預測愈準確
解答與解析
參考 Ans: (C) IOU = 重疊區域（Intersection）／聯集區域（Union），其中聯集區域＝真實框面積＋預測框面積−重疊區域。IOU 值愈接近 1（非 0）代表預測愈準確。
Q5. 下列何者是 U-Net 模型最具代表性的結構特點？
(A) 殘差連接（Residual Connection） (B) 跳躍連接（Skip Connections）搭配對稱編碼器解碼器結構 (C) 自注意力機制（Self-Attention） (D) 區域提議網路（RPN）
解答與解析
參考 Ans: (B) U-Net 的最大特點是跳躍連接（Skip Connections），搭配對稱的編碼器（Encoder）與解碼器（Decoder）結構，能有效從高解析度特徵恢復細節，特別適用於醫療影像分割。(A) 是 ResNet 的特點，(C) 是 Transformer 的特點，(D) 是 Faster R-CNN 的特點。
Q6. CLIP 模型的核心設計理念為何？
(A) 將語言與影像嵌入同一語意空間，實現跨模態理解 (B) 專門用於生成新影像的擴散模型 (C) 一種輕量化的物件偵測模型 (D) 專為醫療影像分割設計的模型
解答與解析
參考 Ans: (A) CLIP（Contrastive Language-Image Pre-Training）由 OpenAI 提出，目的是將文字與影像嵌入到同一語意空間中，實現跨模態理解能力，屬於多模態學習代表技術，而非生成模型或偵測/分割模型。
Q7. 下列關於誤檢（False Positive）與漏檢（False Negative）的敘述，何者正確？
(A) 誤檢是指模型未能辨識出存在的目標 (B) 漏檢是指模型將不存在的目標誤判為存在 (C) 誤檢是把「沒有的」判斷成「有」，漏檢是把「有的」判斷成「沒有」 (D) 兩者意義完全相同
解答與解析
參考 Ans: (C) 誤檢（False Positive）：把健康者誤診為病人（無中生有）；漏檢（False Negative）：未能辨識出實際存在的瑕疵或病灶（視而不見）。(A)(B) 描述恰好對調。
Q8. 電腦視覺模型部署後出現「資料漂移」（Data Drift），最可能的原因與影響為何？
(A) 訓練資料標註錯誤導致模型無法收斂 (B) 環境或攝影條件隨時間改變，使輸入資料分佈偏離訓練時的分佈，造成模型效能下降 (C) GPU 記憶體不足導致模型無法運行 (D) 模型架構選擇錯誤
解答與解析
參考 Ans: (B) 資料漂移指現實環境輸入資料的分佈隨時間偏離訓練時的分佈（如光照、攝影條件改變），導致模型預測效能下降，須透過持續監控與再訓練因應，屬於部署與維運階段的風險，而非訓練或硬體問題。