CH6.2 大數據在鑑別式AI中的應用
大數據在鑑別式AI中的應用
鑑別式 AI（分類／預測）五大應用領域（金融風控、零售電商、客服文本、醫療健康、資安異常）→ 四種輸入資料型態與特性（結構化／半結構化／非結構化／多模態）→ 四種資料標註策略（人工／弱監督／群眾外包／主動學習）→ 跨來源資料整合四大挑戰 → 資料品質問題與統計檢定結果的直接關聯。
1. 鑑別式 AI 總覽
鑑別式（Discriminative）AI 著重於「區分」「分類」與「預測」，是企業實務中最常導入的 AI 類型——產品推薦、詐欺偵測、疾病診斷、客戶流失預測皆屬典型鑑別式任務。大數據提供更豐富的樣本與特徵組合，但資料品質、來源多樣性、標註成本與樣本偏差也同步帶來挑戰。
2. 五大應用領域
| 領域 | 任務目標 | 常見模型 | 主要挑戰 |
|---|---|---|---|
| 金融與風險管理 | 信用評分、詐欺偵測、反洗錢（AML）異常辨識 | 邏輯迴歸、隨機森林、圖神經網路（GNN）、XGBoost/LightGBM | 資料不平衡（需 SMOTE）、隱私保護（需匿名化）、異常值影響 t 檢定均值估計 |
| 零售與電商推薦 | 顧客流失預測、客戶分群、商品分類/價格預測 | 決策樹/隨機森林、LSTM、多模態模型（CLIP） | 資料一致性影響 ANOVA 結果、標註成本高、即時性需求（Kafka） |
| 客服與文本分類 | 對話分類、情感分析、內容過濾與審查 | Naive Bayes/SVM、BERT/RoBERTa、正規表示式 | 標註品質一致性、語言在地化、高缺失率影響卡方檢定 |
| 醫療與健康科技 | 疾病預測診斷、保險理賠異常分析、臨床決策支援 | CNN（醫療影像）、隨機森林/XGBoost（病歷）、多模態模型 | 資料隱私（個資法）、標註成本高（需專家）、異常值影響 t 檢定 |
| 資安與異常偵測 | 登入行為異常辨識、惡意流量分類、釣魚郵件分類 | 孤立森林、LSTM/BERT、規則模型 | 資料不平衡、即時性需求、重複值影響卡方檢定 |
五大應用領域雖任務不同，但反覆出現同一組挑戰主軸：資料不平衡（需 SMOTE/類別加權）、資料品質問題會直接扭曲特定統計檢定結果、隱私法規（個資法/GDPR）限制資料使用方式、即時性需求推動串流架構導入——這正是大數據與鑑別式 AI 結合時的共通瓶頸。
3. 常見輸入資料型態與特性
| 資料型態 | 來源 | 特性 | 應用案例 |
|---|---|---|---|
| 結構化資料 | ERP/CRM/POS 交易記錄、用戶屬性 | 欄位明確、格式規範，可直接轉為表格式特徵 | 信用評分、客戶分類 |
| 半結構化資料 | JSON/XML 的 API 回傳、伺服器日誌、點擊流 | 具層次結構但欄位動態變動，需解析（Parsing）或展平（Flattening） | 網站行為分析、API 資料預測 |
| 非結構化資料 | 文字（評論/對話）、影像（X 光）、聲音（客服錄音） | 無固定結構，需特徵萃取轉為數值表示 | 情緒分析、醫療影像分類、語音辨識 |
| 多模態資料 | 結合上述多種型態（如用戶屬性+評論+商品圖片） | 需融合多來源特徵，模型需支援多輸入架構 | 電商個人化推薦、整合病歷+影像+筆記的醫療診斷 |
4. 資料標註策略比較
資料標註為鑑別式 AI 提供監督學習所需的標籤（Labels），標註成本、品質與效率是實務關鍵挑戰：
| 策略 | 定義 | 優點 | 限制 | 實務案例 |
|---|---|---|---|---|
| 人工標註（Manual Labeling） | 專業人員逐一標註 | 準確度高，適合需專業知識的任務 | 成本高、耗時，難以擴展 | 醫療團隊標註 X 光片病灶 |
| 弱監督式標註（Weak Supervision） | 用規則、啟發式方法或第三方資料自動生成標籤 | 速度快、成本低 | 誤標風險高，需後續清理 | 用情緒詞典自動標註社群貼文情感 |
| 群眾外包標註（Crowdsourcing） | 透過平台（Amazon Mechanical Turk）分散給大量非專業工作者 | 成本低、速度快 | 標註品質參差不齊，需一致性檢查 | 標註產品圖片是否含特定物件 |
| 主動式學習（Active Learning） | 模型預測低置信度樣本優先交由人工標註 | 減少標註量，適合成本高、資料量大情境 | 需初始標註資料與迭代訓練 | 詐欺檢測中挑選置信度<0.6 的交易交專家標註 |
四種標註策略可依「成本與品質光譜」排序：人工標註（品質最高、成本最高）> 主動式學習（聚焦人力於關鍵樣本）> 群眾外包（速度快但品質不均）> 弱監督式（成本最低但誤標風險最高）。
5. 跨來源資料整合挑戰
鑑別式 AI 常需整合多平台資料（ERP、API、日誌），面臨以下挑戰：
| 挑戰 | 說明 | 實務案例 |
|---|---|---|
| 主鍵不一致 | 不同系統的用戶 ID、訂單編號定義不同，無法直接對應 | CRM 與 POS 系統使用不同客戶 ID，資料無法合併 |
| 時間戳記與時區對齊 | 跨系統時間欄位延遲、格式差異或時區不一致 | 網站日誌（UTC）與本地 POS 交易（台北時間）不一致 |
| 資料更新頻率不一致 | 部分即時串流、部分批次同步，整合時間視窗不一致 | 即時點擊流與每日更新庫存資料難以同步 |
| 資料品質不均 | 不同來源缺失值、格式不一致或邏輯錯誤 | API 資料缺欄位、ERP 單位不統一（公斤 vs 克） |
6. 資料品質與統計推論的關聯
資料品質直接影響鑑別式 AI 與統計推論的可靠性，與 CH4.1 的品質指標緊密相關：
| 資料品質問題 | 對統計推論/模型的具體影響 |
|---|---|
| 缺失值 | 特徵不完整，影響模型訓練（如線性迴歸）或 t 檢定的均值估計 |
| 異常值 | 放大模型誤差，影響獨立樣本 t 檢定或分類模型的決策邊界 |
| 重複值 | 高估樣本權重，影響卡方檢定或模型訓練的平衡性 |
| 一致性錯誤 | 無法正確聚合特徵，影響 ANOVA 或相關檢定結果 |
| 邏輯錯誤 | 不合理標籤導致模型學習錯誤模式，降低預測準確度 |
這是跨章節整合的重要考點：CH4.1 教的資料品質問題（缺失值/異常值/重複值/一致性錯誤/邏輯錯誤）並非只是「資料清理」的技術問題，而是會具體對應到 CH3.3 特定統計檢定方法的失效方式（如重複值使卡方檢定的頻次分佈失真、一致性錯誤使 ANOVA 無法正確比較組間均值）。
📝 章節考題自測（先作答，再點開解答）
Q1. 某銀行使用 XGBoost 模型分析交易紀錄以偵測詐欺行為，但詐欺交易僅佔全體樣本的 0.3%，下列哪一項是最需優先處理的挑戰？
(A) 模型層數不足 (B) 資料不平衡，需透過過採樣（如 SMOTE）或類別加權處理 (C) 學習率過高 (D) 資料型態過於單一
解答與解析
參考 Ans: (B) 詐欺樣本比例極低屬於典型的資料不平衡（Class Imbalance）問題，若未處理，模型會過度學習正常交易的多數類別，忽略少數的詐欺樣本，常見對策為過採樣技術（如 SMOTE）或類別加權。
Q2. 某電商平台想自動判斷客服對話是否屬於「物流問題」，但缺乏標註資料，選擇先用情緒詞典與關鍵字規則自動產生初步標籤，這屬於下列哪一種標註策略？
(A) 人工標註 (B) 弱監督式標註（Weak Supervision） (C) 群眾外包標註 (D) 主動式學習
解答與解析
參考 Ans: (B) 使用規則、啟發式方法或第三方資料（如詞典）自動生成標籤，屬於弱監督式標註，優點是速度快、成本低，但誤標風險較高，通常需要後續人工校正部分樣本。
Q3. 某企業整合 CRM 與 POS 系統資料時，發現兩系統使用不同的客戶編號規則，無法直接合併，這屬於下列哪一種跨來源資料整合挑戰？
(A) 主鍵不一致 (B) 時間戳記與時區對齊問題 (C) 資料更新頻率不一致 (D) 邏輯錯誤
解答與解析
參考 Ans: (A) 不同系統的用戶 ID、訂單編號定義不同、無法直接對應，屬於典型的主鍵不一致問題，是跨來源資料整合時最常見的挑戰之一。
Q4. 某資料集因多來源整合出現大量重複的交易紀錄，這最可能扭曲下列哪一種統計檢定的結果？
(A) 卡方檢定的頻次分佈 (B) 皮爾森相關係數的正負號 (C) 常態分佈的形狀 (D) 幾何平均數的計算基礎
解答與解析
參考 Ans: (A) 重複值會高估頻次或總量，直接影響卡方檢定所依賴的頻次分佈計算，導致檢定結果失真；因此在進行卡方檢定前，必須先確認資料已去除重複值。
Q5. 某詐欺偵測模型針對「置信度低於 0.6」的可疑交易，優先交由專家進行人工複核與標註，藉此降低整體標註成本，這屬於下列哪一種標註策略？
(A) 群眾外包標註 (B) 弱監督式標註 (C) 主動式學習（Active Learning） (D) 完全人工標註
解答與解析
參考 Ans: (C) 主動式學習讓模型預測低置信度的樣本，優先交由人工標註，藉此聚焦人力資源於最具價值的樣本，有效降低整體標註成本，適合成本高、資料量大的情境。
Q6. 某零售企業想整合「即時點擊流」與「每日更新的庫存資料」以驅動推薦系統，最可能遇到下列哪一種挑戰？
(A) 主鍵不一致 (B) 資料更新頻率不一致，導致整合的時間視窗難以同步 (C) 邏輯錯誤 (D) 完全沒有挑戰
解答與解析
參考 Ans: (B) 即時串流資料（點擊流）與批次同步資料（每日庫存）的更新頻率不同，會導致整合時的時間視窗不一致，是跨來源整合中常見的「資料更新頻率不一致」挑戰。
Q7. 某醫療影像分類任務需要專業醫師逐張判讀 X 光片是否含病灶，下列敘述何者正確？
(A) 應優先採用群眾外包標註以降低成本 (B) 此類需要專業知識的任務適合人工標註，雖成本高但準確度最有保障 (C) 應完全依賴弱監督式標註 (D) 標註品質與任務難易度無關
解答與解析
參考 Ans: (B) 醫療影像診斷需要高度專業知識，人工標註（由專業醫師執行）雖然成本高、耗時，但能確保標註準確度，不適合交由不具專業背景的群眾外包或高誤標風險的弱監督式方法。