CH5.1 數據準備與模型選擇
數據準備與模型選擇
GIGO（垃圾進垃圾出）為全節核心前提 → 步驟一：資料收集與清理（內部/外部來源 → 缺失值/重複值/異常值處理 → 資料品質指標五面向）→ 步驟二：特徵工程（數值轉換／類別編碼／時間與文字擴增 → 特徵選擇與降維 → AutoML 自動特徵工程）→ 步驟三：模型選擇（迴歸／分類／非監督／深度學習／強化式／生成式六大類任務對應）。
業界名言「垃圾進，垃圾出（Garbage In, Garbage Out, GIGO）」點出本節主軸：資料品質直接決定 AI 模型的可靠性與準確度。完成 CH4 的導入規劃後，下一步必須聚焦「如何有效準備資料」，並依業務情境、問題類型與資料特性選擇最適合的模型架構。
1. 資料收集與清理
(1) 資料來源
不同來源的資料有不同的存取方式、資料結構與法規限制。
| 類別 | 來源 | 內容與用途 |
|---|---|---|
| 內部 | ERP（Enterprise Resource Planning） | 銷售、庫存、採購、財務等核心業務資料，公司營運的基礎資料來源 |
| 內部 | CRM（Customer Relationship Management） | 顧客互動紀錄、服務歷程與回饋，用於客戶分群與行為預測 |
| 內部 | 機台資料（Machine Data） | 運轉狀態、操作參數、故障紀錄與維護歷程；用於生產排程優化、異常偵測、良率分析與預測保養，是智慧製造（Smart Manufacturing）的關鍵資產 |
| 內部 | 使用者行為資料（POS、Web/App 紀錄、IoT） | 使用路徑、功能點擊熱區、登入與停留時間；SaaS 業者追蹤產品黏著度，消費型產品用於功能優化 |
| 內部 | 內部報表與流程紀錄 | 作業流程、內部稽核、法遵紀錄；在金融、醫療、政府等高度管制產業對風險管理與合規審查極為關鍵 |
| 外部 | 開放資料 | 政府開放資料平台、社群媒體 API、氣象機構、商業資料平台，可用程式介面自動擷取，用於政策分析、市場研究、風險預測 |
| 外部 | 網路爬蟲（Web Scraping） | 自動擷取網頁價格、評論、新聞；用於市場競爭分析、輿情監測與文本探勘。需特別注意網站條款與資料使用合規性 |
| 外部 | 商業資料庫與數據供應商 | Refinitiv、Statista、Experian 等，提供授權購買的市場/財務/信用評等資料，用於金融投資、企業徵信、產業趨勢分析 |
(2) 清理與品質檢核
| 問題類型 | 常見處理方法 |
|---|---|
| 缺失值（Missing Values） | 平均數/中位數填補（Mean/Median Imputation）、前後值填補（Forward/Backward Fill）、插值法（Interpolation）；缺失比例過高時應考慮刪除該欄位或以模型推估填補 |
| 重複值（Duplicate Values） | 針對主鍵欄位（顧客編號、交易編號）檢查，使用 pandas / Spark DataFrame 的 .drop_duplicates() 去重 |
| 異常值（Outliers） | 統計方法：Z-score、IQR（Interquartile Range）；機器學習方法：Isolation Forest、LOF（Local Outlier Factor） |
資料品質指標五大面向（必背）：完整性（Completeness）／一致性（Consistency）／準確性（Accuracy）／即時性（Timeliness）／唯一性（Uniqueness）。
| 指標 | 檢核重點 | 舉例 |
|---|---|---|
| 完整性 Completeness | 資料是否完整、有無缺少關鍵欄位 | 交易紀錄缺少金額欄位 |
| 一致性 Consistency | 欄位間邏輯是否一致 | 年齡欄位不應為負數 |
| 準確性 Accuracy | 資料值是否反映真實世界狀況 | 地址與實際門牌相符 |
| 即時性 Timeliness | 資料是否為最新，尤其動態變化的數據 | 股價、庫存量 |
| 唯一性 Uniqueness | 是否有重複或衝突，特別是主鍵欄位 | 同一顧客編號出現兩筆 |
五大品質指標口訣：「完一準即唯」——完整、一致、準確、即時、唯一。
2. 特徵工程
特徵工程是將原始資料轉換為適合機器學習模型學習的格式與結構，目的是提升模型的表達力與預測效能。
(1) 特徵處理流程
A. 數值特徵轉換
| 方法 | 作法 | 適用時機 |
|---|---|---|
| 正規化（Normalization）→ Min-Max標準化 | 將數值轉換至 0～1 之間（最小值→0、最大值→1） | 避免不同特徵單位差異造成模型學習偏誤 |
| 標準化（Standardization）→ Z-score標準化 | 轉換為平均數 0、標準差 1 的分布 | 對需要計算梯度的模型（線性迴歸、支持向量機）特別有效 |
B. 類別特徵處理
| 方法 | 作法 | 適用類別型態 |
|---|---|---|
| One-hot Encoding 獨熱編碼 | 將類別轉為二進位欄位 | 無序分類變數（如顏色、城市） |
| Label Encoding 標籤編碼 | 將類別轉為整數 | 有序類別（如高中、學士、碩士） |
One-hot vs Label Encoding 的判斷關鍵是「類別之間有沒有大小順序」。對無序類別誤用 Label Encoding，會讓模型誤以為「台北(1) < 台中(2) < 高雄(3)」而學到不存在的順序關係。
C. 時間與結構特徵擴增
- 時間戳處理：從時間戳擷取週期性特徵（星期幾、上午/下午、工作日/週末），幫助模型捕捉時間與週期性模式。
- 文字處理：抽取關鍵詞或轉換為數值形式，常見方法為 TF-IDF（Term Frequency-Inverse Document Frequency）與詞向量（Word Embeddings，如 Word2Vec）。
(2) 特徵選擇與降維
| 類型 | 定義 | 常見方法 |
|---|---|---|
| 特徵選擇（Feature Selection） | 從所有特徵中挑選對預測結果最有用的特徵（維度是原始欄位的子集） | 資訊增益（Information Gain）、皮爾森相關係數、L1 正則化（Lasso） |
| 降維（Dimensionality Reduction） | 將高維資料轉換為低維資料，同時保留原有資訊（產生新的合成維度） | PCA 主成分分析、t-SNE / UMAP |
- 資訊增益：衡量特徵在預測中帶來的資訊量。
- 皮爾森相關係數：衡量數值特徵之間的線性相關性。
- L1 正則化（Lasso）：透過懲罰模型複雜度來選出最具影響力的特徵，常用於線性模型。
- PCA：找出資料中方差最大的方向來減少維度，適用於高維資料，能減少計算負擔並提高模型效能。
- t-SNE / UMAP：常用於視覺化資料分佈，便於人為觀察特徵空間的分類趨勢。
特徵選擇是「挑選原有欄位」，降維是「合成新的維度」。PCA 產生的主成分並非原始欄位，因此可解釋性較差；t-SNE/UMAP 主要用於「看圖」（視覺化），不是用來當作正式建模的特徵萃取管線。
(3) 自動特徵工程（Auto Feature Engineering）
隨著 AutoML 技術發展，Google AutoML、H2O.ai、AutoKeras、TPOT 等平台皆提供自動化特徵工程功能。
| 核心功能 | 內容 |
|---|---|
| 自動特徵創建 | 透過資料轉換、組合生成新變數（如日期拆為年/月/日/星期、加減乘除與對數轉換）；高階平台可生成多項式特徵、時間序列的滯後與滯後交互特徵 |
| 自動篩選有用特徵 | 利用隨機森林、L1 正則化（Lasso）評估特徵貢獻度，自動刪除冗餘或低貢獻特徵，降低模型複雜度 |
| 特徵組合與互動作用檢測 | 自動測試各特徵組合（Interaction）對預測結果的影響，發現隱藏關聯性 |
| 適應不同資料集特徵 | 依資料特性自動選擇編碼方式（One-hot / Target encoding）與缺失值填補方式（均值填補 / 預測填補） |
| 基於模型的反饋進行特徵選擇 | 反覆訓練與驗證多個模型，依模型反饋智慧選擇最佳特徵集 |
AutoML 在特徵工程中的三大優勢：加速資料科學流程、降低技術門檻（機器學習知識較少者也能完成特徵工程與模型建構）、提高模型效能（快速評估大量特徵組合）。
3. 模型選擇
模型選擇是技術落地前最具策略性的一項決策，不僅關係到預測準確率與效能表現，更深遠影響系統的可維護性、擴展性與運營成本。模型選擇不當會導致訓練耗時過長、部署困難，甚至在實務應用中無法產生穩定成效。
(1) 監督式學習 — 迴歸任務（Regression）
預測連續數值型結果，輸出通常為實數。
| 演算法 | 特性 |
|---|---|
| 線性迴歸（Linear Regression） | 最簡單的迴歸方法，建立自變量與因變量的線性關係；適用於資料具線性關係的情況 |
| 決策樹迴歸（Decision Tree Regression） | 樹狀結構迴歸，適用非線性問題，解釋性強但可能過度擬合 |
| 隨機森林迴歸（Random Forest Regression） | 多棵決策樹平均預測，提高準確度、減少過擬合風險 |
| 梯度提升樹（Gradient Boosting Regression） | 集成學習，多次迭代提升準確度，對複雜資料集表現良好 |
應用情境：銷售量預測（庫存管理與生產規劃）、房價預測（地段、房屋面積等因素）。
(2) 監督式學習 — 分類任務（Classification）
將資料點分類到離散標籤的類別中。
| 演算法 | 特性 |
|---|---|
| 邏輯迴歸（Logistic Regression） | 二元/多元分類，透過 Sigmoid 函數將預測值轉為機率；適用於線性可分的情況 |
| 決策樹分類 | 條件分支分類，解釋性良好，適用非線性與混合型特徵，但容易過度擬合 |
| 隨機森林分類 | 多棵決策樹投票，提升準確度並降低單一模型過擬合風險，適合高維度與複雜結構資料 |
| SVM（Support Vector Machine） | 尋找最佳超平面分隔類別，對高維資料或邊界清晰的問題表現良好，可透過核函數處理非線性 |
| KNN（K-Nearest Neighbors） | 依鄰近資料類別預測，簡單直觀但對資料量與維度敏感，適合小型資料集 |
| 梯度提升樹分類 | 集成學習，逐步修正錯誤提升準確率，在多數分類問題中表現穩定優異 |
應用情境：垃圾郵件識別、疾病診斷（糖尿病、心臟病）、客戶流失預測、金融風險評估（信用評分、詐欺偵測）。
(3) 非監督式學習（Unsupervised Learning）
在資料無標註情況下找出內在結構、群集或分佈模式，常見於探索性資料分析、特徵降維與建模前預處理。
| 演算法 | 特性 |
|---|---|
| K-Means | 將資料點分配至最近的中心點（Cluster Centroid），劃分 K 個群集。簡單高效，但須事先給定 K 值，對初始點與異常值敏感 |
| DBSCAN | 基於密度分群，能發現任意形狀群集並自動標示離群點為雜訊（Noise）。不需預先給定群集數，適合含雜訊或密度變化明顯的資料 |
| 階層式分群（Hierarchical Clustering） | 建立樹狀層級關係（Dendrogram），可自上而下或自下而上逐層劃分。無需指定群集數，適合探索分群層級結構 |
| PCA | 降維方法，將原始變數轉換成主成分以保留最大變異，用於資料視覺化與特徵壓縮 |
分群三選一：要指定 K 值 → K-Means；不指定且能自動辨識雜訊 → DBSCAN；不指定且要看層級結構 → 階層式分群。
應用情境：顧客分群（Customer Segmentation）、異常偵測（工業生產、金融詐欺、資安入侵）、特徵壓縮與資料視覺化。
(4) 深度學習（Deep Learning）
以多層神經網路為基礎，透過大量資料與層層抽象的特徵表示能力，在影像、NLP、語音任務中表現卓越；相較傳統 ML 更依賴資料規模與計算資源，但在高維與非線性問題上表現優越。
| 架構 | 特性與適用 |
|---|---|
| CNN 卷積神經網路 | 處理圖像與空間特徵萃取；多層卷積、池化與非線性激活函數，自動辨識局部特徵並保留位置不變性。用於人臉辨識、工業檢測、自動駕駛 |
| RNN 遞迴神經網路 | 處理時間序列（語音、文字、感測器），能記住前一步輸出。傳統 RNN 有長期依賴問題，實務多用 LSTM 或 GRU |
| Transformer | 透過自注意力（Self-Attention）建構語意關聯，NLP 領域主流。代表模型 BERT（雙向編碼器表示）、GPT(生成式預訓練轉換器) |
應用情境：醫療影像診斷（CNN 辨識 X 光/MRI 病灶）、智慧客服與語音助理（Transformer）、自動駕駛（多模態感知：攝影機/雷達/LIDAR）、金融風險預測（LSTM 處理時序交易資料）。
(5) 強化學習（Reinforcement Learning, RL）
基於「試誤學習」，智能體（Agent）在環境中嘗試行動（Action）、觀察結果（State）、依獎勵（Reward）調整策略。與監督式學習不同之處在於無需明確標註資料，而是依靠互動經驗學習。
| 演算法 | 特性 |
|---|---|
| Q-Learning | 基於值函數，學習每個「狀態-行為」對的預期回報（Q 值），依最大 Q 值選擇動作。適用於離散動作空間與較小環境 |
| Deep Q-Learning（DQN） | 結合深度學習與 Q-learning，以深度神經網路近似 Q 函數，能處理高維感知輸入（如圖像）。Atari 遊戲中打破人類紀錄的里程碑 |
| Policy Gradient（策略梯度） | 直接學習從狀態到行為的機率分佈，最大化期望報酬來更新策略。代表方法 REINFORCE、Actor-Critic |
| PPO（Proximal Policy Optimization，近端策略優化） | OpenAI 提出，策略梯度的改良版；核心目標是平衡「策略更新幅度」與「學習效率」，避免單次更新變動過大導致學習不穩定或崩潰。常用於遊戲、機器人操作 |
應用情境：自駕車控制、智慧倉儲與物流（機器人路徑規劃）、資源調度與配置（雲端資源分配、CPU 負載均衡、網路頻寬最佳化）、遊戲 AI（AlphaGo、AlphaStar）。
(6) 生成式模型（Generative Models）
學習資料的機率分佈並生成與訓練資料相似的新樣本。與判別式模型僅關注「分類」不同，生成式模型強調「創造」。
| 模型 | 原理 | 優缺點 |
|---|---|---|
| GAN 生成對抗網路 | 生成器與判別器對抗訓練，生成器產生偽造樣本、判別器判斷真偽，雙方互相提升 | 適用圖像生成、人臉合成、風格轉換；缺點是訓練不穩定，可能出現模式崩潰（Mode Collapse） |
| VAE 變分自編碼器 | 最大化資料潛在機率分佈下的下界進行訓練 | 潛在空間結構良好，適合異常偵測、語音重建、隱含變數建模；生成樣本平滑但有時缺乏銳利細節 |
| 擴散模型 Diffusion Models | 透過逐步加入與移除噪聲訓練模型，學習資料轉換的反向過程 | 生成圖像品質明顯優勢（DALL-E 2、Stable Diffusion）；缺點是生成速度慢、運算成本高 |
應用情境：影像與藝術生成（虛構人物、人像上色、風格遷移）、語音與文本合成（TTS、機器翻譯、LLM 長文本生成）、資料補全與模擬（醫療/金融/零售填補缺失資料、模擬極端案例強化模型訓練）。
六大任務對應口訣：「連續值→迴歸；離散標籤→分類；無標註找結構→非監督；高維感知→深度學習；試誤互動→強化式；創造新樣本→生成式」。考題常以情境敘述（如「預測顧客是否流失」）反問應選哪一類任務。
🔗 相關名詞卡
🗒️ 私人備註區
📝 章節考題自測（先作答，再點開解答）
Q1. 在進行 AI 建模前，進行「資料標註」的主要目的是？
(A) 減少資料容量 (B) 強化系統安全性 (C) 讓模型能夠辨識輸入與目標之間的對應關係 (D) 提升資料儲存速度
解答與解析
Ans: (C) 資料標註是監督式學習的關鍵步驟，能讓模型理解每筆資料對應的標籤或結果。(A)(D) 與儲存效率有關，非標註目的；(B) 屬資安範疇。
Q2. 在特徵工程中，進行特徵標準化（如 Z-score 標準化）的主要目的是？
(A) 增加欄位數量 (B) 提升資料壓縮效率 (C) 將特徵縮放至相同尺度，利於模型學習 (D) 將文字轉換為向量
解答與解析
Ans: (C) 許多演算法（如 SVM、KNN）對特徵尺度敏感，標準化有助於提升模型表現與穩定性。(D) 是文字向量化（TF-IDF、Word Embeddings）的功能，不是標準化。
Q3. 若某企業的目標是預測顧客是否會流失，最適合選用下列哪一種模型任務？
(A) 分類任務 (B) 迴歸任務 (C) 生成任務 (D) 分群任務
解答與解析
Ans: (A) 顧客流失通常為「會／不會」的二元分類問題，適合使用分類模型如 Logistic Regression、決策樹等。(B) 迴歸用於預測連續數值；(D) 分群屬非監督式，無預先標籤。
Q4. 關於模型選擇，下列哪一項敘述較為正確？
(A) 模型越複雜越好 (B) 模型應優先考慮開發成本與可部署性 (C) 只要準確率高就不需考慮其他指標 (D) 模型無須考慮資料量大小
解答與解析
Ans: (B) 選擇模型需考量資料特性、開發時間、計算成本與後續維運難度，不應一味追求複雜度。這也呼應本節「模型選擇會深遠影響系統可維護性、擴展性與運營成本」的核心觀念。
Q5. 下列哪一種資料前處理技術主要用來處理缺失值？
(A) 資料增強 (B) 標準化 (C) 插補法 (D) 降維
解答與解析
Ans: (C) 插補法（Imputation）可用平均數、中位數、眾數或模型預測方式填補缺失欄位，常用於資料清理階段。(A) 資料增強用於擴增樣本；(B) 標準化處理尺度；(D) 降維處理維度過高。
Q6. 下列關於資料品質評估指標的敘述，何者錯誤？
(A) 完整性（Completeness）：檢查是否缺少關鍵欄位 (B) 一致性（Consistency）：檢查欄位間邏輯是否合理，如年齡不應為負數 (C) 即時性（Timeliness）：檢查資料是否為最新，尤其動態變化的數據 (D) 唯一性（Uniqueness）：檢查資料值是否準確反映真實世界狀況
解答與解析
參考 Ans: (D) (D) 描述的是準確性（Accuracy）而非唯一性。唯一性檢查的是資料是否有重複或衝突，特別是主鍵欄位。五大指標為完整性、一致性、準確性、即時性、唯一性。
Q7. 某資料集的「學歷」欄位有「高中、學士、碩士、博士」四種值，最適合的編碼方式與理由為何？
(A) One-hot Encoding，因為類別數量少 (B) Label Encoding，因為類別之間具有順序性 (C) TF-IDF，因為屬於文字欄位 (D) 標準化，因為需要縮放至相同尺度
解答與解析
參考 Ans: (B) 學歷屬於有序類別（Ordinal），適用 Label Encoding 將其轉為整數，可保留高低順序資訊。One-hot Encoding 適用於無序分類變數（如顏色、城市），若對有序類別使用會遺失順序資訊；反之對無序類別誤用 Label Encoding，則會讓模型學到不存在的大小關係。
Q8. 關於特徵選擇（Feature Selection）與降維（Dimensionality Reduction）的差異，下列敘述何者正確？
(A) 兩者是同一件事的不同稱呼 (B) 特徵選擇會產生新的合成維度，降維則是挑選原有欄位 (C) 特徵選擇是從原有特徵中挑選子集，降維是將高維資料轉換為低維的新表示 (D) 降維只能用於文字資料
解答與解析
參考 Ans: (C) 特徵選擇（資訊增益、皮爾森相關係數、Lasso）是「挑選原有欄位的子集」；降維（PCA、t-SNE、UMAP）是「把高維資料轉換成低維的新維度」。(B) 敘述恰好對調；PCA 產生的主成分並非原始欄位，因此可解釋性較低。
Q9. 某製造業希望在無標註資料的情況下，自動找出感測器讀數中形狀不規則的異常群集，且事先不知道應分成幾群，最適合採用下列何種演算法？
(A) K-Means (B) DBSCAN (C) 邏輯迴歸 (D) 線性迴歸
解答與解析
參考 Ans: (B) DBSCAN 為基於密度的分群方法，能發現任意形狀的群集、自動將離群點標示為雜訊，且不需預先給定群集數，符合「形狀不規則」與「不知道分幾群」兩項條件。(A) K-Means 須事先給定 K 值且對異常值敏感；(C)(D) 屬監督式學習，需要標註資料。
Q10. 下列關於生成式模型的敘述，何者錯誤？
(A) GAN 透過生成器與判別器對抗訓練，但可能出現模式崩潰（Mode Collapse） (B) VAE 生成樣本相對平滑，但有時缺乏銳利細節 (C) 擴散模型生成圖像品質具明顯優勢，但生成速度慢、運算成本高 (D) 生成式模型的核心任務是學習決策邊界以進行分類
解答與解析
參考 Ans: (D) 生成式模型的核心任務是「學習資料的機率分佈並生成新樣本」，強調「創造」；學習決策邊界進行分類是鑑別式（判別式）模型的任務。(A)(B)(C) 分別為 GAN、VAE、擴散模型的正確特性與限制描述。