CH4.1 數據收集與清理
數據收集與清理
大數據五類資料來源與蒐集方式（感測器/IoT、系統日誌、API、爬蟲、企業內部系統）→ 常見資料品質問題五型（缺失值、異常值、重複值、一致性錯誤、邏輯錯誤）→ 資料品質量化指標（缺失率、唯一值比率、一致性比率、異常值比率、完整性比率），作為資料清理與治理的基礎。
1. 大數據資料來源與蒐集方式
大數據環境中的資料來源比傳統結構化資料庫更為多元，蒐集策略需依資料型態與應用情境調整：
| 資料來源 | 特性 | 蒐集方式 | 主要挑戰 |
|---|---|---|---|
| 感測器與物聯網（IoT） | 高頻率、連續性、時間序列為主，數據量龐大 | 即時串流協議（MQTT、Apache Kafka）+ 邊緣運算（Edge Computing） | 傳輸穩定性、低延遲、高併發 |
| 系統日誌與使用者行為紀錄 | Web Log、點擊軌跡，半結構化/非結構化 | 批次傳輸（Flume、Logstash）或即時管線（Apache NiFi） | 格式不一致、高頻日誌造成儲存壓力 |
| API 與外部資料交換 | 第三方平台資料，多為 JSON/XML 半結構化 | RESTful API + ETL 工具（Airflow、Talend） | API 速率限制、格式變化需動態調整 |
| 網路爬蟲與開放資料平台 | 網站公開資料或政府/產業開放資料集 | 爬蟲框架（Scrapy、BeautifulSoup）或 API 下載 | 反爬機制限制、資料品質參差 |
| 企業內部營運系統 | ERP/CRM/POS 結構化資料，品質穩定但更新較慢 | 批次匯出（SQL、CSV）或資料倉儲整合（Snowflake、BigQuery） | 跨部門格式/命名不一致、歷史資料遺漏 |
實務中大數據項目常涉及多來源、異質型態的資料整合（如零售業同時蒐集結構化 POS 資料、半結構化行為日誌、非結構化社群評論），選擇蒐集技術時需考量：更新頻率（即時 vs 批次）、格式轉換需求、即時性要求、資料品質，以及隱私與合規（GDPR、CCPA）。
資料來源特性直接決定後續蒐集技術、儲存平台與資料管線工具的選擇——高頻率串流資料應搭配 Kafka/邊緣運算，結構化企業資料則適合批次 ETL，這是資料架構設計的第一道決策點。
2. 常見資料品質問題類型
資料品質是統計推論、機器學習模型與商業決策的基礎，低品質資料會導致錯誤結論、模型偏差或決策失誤。
| 問題類型 | 定義 | 示例 | 對統計/模型的影響 | 處理策略 |
|---|---|---|---|---|
| 缺失值（Missing Data） | 欄位缺少有效數據，可分完全隨機缺失（MCAR）、隨機缺失（MAR）、非隨機缺失（MNAR） | 問卷「年齡」欄位空白、感測器斷線 | 樣本偏差，影響單樣本 t 檢定的均值估計 | 填補（均值/中位數/KNN 填補）、刪除（缺失率低時）、保留（用可處理缺失值的算法） |
| 異常值（Outliers） | 偏離資料主體分佈的極端值，可能為輸入錯誤或真實罕見事件 | 訂單金額達數億元、患者心率異常高 | 扭曲均值/標準差，影響 t 檢定或迴歸顯著性 | 偵測（IQR 法、Z 分數、孤立森林）、依領域知識保留/修正/移除 |
| 重複值（Duplicates） | 同一觀察單位多次出現 | 多來源整合造成客戶資料重複 | 高估頻次或總量，影響卡方檢定的頻次分佈 | 唯一識別碼偵測、去重（保留第一/最後一筆）、合併不同資訊 |
| 一致性錯誤（Inconsistency） | 單位、命名或格式不統一 | 「臺北市」vs「台北市」、日期格式不一 | 無法正確聚合比較，影響 ANOVA 的組間均值比較 | 標準化格式、命名規則或單位 |
| 邏輯錯誤（Logical Errors） | 符合格式但違反邏輯或領域知識 | 出生年份 1890、體溫記錄 43°C | 影響皮爾森相關檢定的相關係數解釋 | 定義邏輯規則（如年齡 0-120）、結合領域專家審查 |
「異常值」不等於「錯誤值」——異常值可能是真實但罕見的事件（如極端消費行為），須依業務需求與分析目標判斷處理策略，不能一律刪除，這與初級課程「離群值可能是有意義的數據」呼應。
3. 資料品質量化指標
面對大規模、多來源、異質性資料，僅靠人工檢查已不敷使用，須依賴量化指標系統性發現潛在缺陷：
| 指標 | 衡量內容 | 影響 |
|---|---|---|
| 缺失率（Missing Rate） | 各欄位空值或缺漏比例 | 高缺失率可能代表收集流程異常，或該欄位不適合分析使用 |
| 唯一值比率（Uniqueness Rate） | 主鍵（用戶 ID、交易編號）重複紀錄情形 | 主鍵重複將嚴重破壞資料正確性，影響後續整合 |
| 一致性比率（Consistency Rate） | 欄位格式、單位、命名標準是否統一 | 不一致造成解析與分析困難 |
| 異常值比率（Outlier Rate） | 明顯偏離正常分佈或上下限的數值比例 | 需搭配 Z-score、IQR 或模型式異常偵測法識別 |
| 完整性比率（Completeness Rate） | 觀察對象是否具備足夠資料描述（如個人資料+行為記錄） | 缺漏將限制分析模型的應用 |
這些指標不僅用於靜態資料品質檢查，也可內嵌至資料流管線（Data Pipeline）與資料品質監控系統中，建立自動化偵測與回報機制。
五大品質指標可記為「缺（缺失率）、唯（唯一值）、一（一致性）、異（異常值）、完（完整性）」，恰好對應前述五類資料品質問題（缺失值、重複值、一致性錯誤、異常值、資料完整性）的量化版本。
📝 章節考題自測（先作答，再點開解答）
Q1. 某製造業希望蒐集設備運作的即時溫度與振動資料，最適合搭配下列哪一種蒐集技術？
(A) SQL 批次查詢 (B) 即時串流協議（如 MQTT、Kafka）搭配邊緣運算 (C) 網路爬蟲 (D) 問卷調查
解答與解析
參考 Ans: (B) 感測器與 IoT 設備資料具有高頻率、連續性、時間序列特性，最適合以即時串流協議（MQTT、Kafka）搭配邊緣運算進行初步處理後再傳輸，而非批次查詢或問卷等低頻方式。
Q2. 某資料集中「地址」欄位同時存在「臺北市」與「台北市」兩種寫法，這屬於下列哪一種資料品質問題？
(A) 缺失值 (B) 異常值 (C) 一致性錯誤 (D) 邏輯錯誤
解答與解析
參考 Ans: (C) 同一實體以不同命名或格式表示（如台北市/臺北市、日期格式不一），屬於典型的一致性錯誤（Inconsistency），處理策略為標準化格式。
Q3. 某電商交易紀錄中出現一筆金額高達新台幣 5 億元的訂單，下列處理方式何者最恰當？
(A) 直接視為錯誤值刪除 (B) 先透過業務邏輯與領域知識判斷是否為真實交易，再決定保留、修正或移除 (C) 完全忽略不處理 (D) 一律以平均值取代
解答與解析
參考 Ans: (B) 異常值不等於錯誤值，可能是真實但罕見的極端消費行為，須先偵測（如 IQR 法、Z 分數）並依業務需求判斷後續處理策略，不應直接刪除或忽略。
Q4. 某資料集的「使用者 ID」欄位出現大量重複紀錄，最可能對應下列哪一個資料品質指標偏低？
(A) 缺失率 (B) 唯一值比率（Uniqueness Rate） (C) 完整性比率 (D) 異常值比率
解答與解析
參考 Ans: (B) 主鍵（如用戶 ID）重複代表唯一值比率（Uniqueness Rate）偏低，將嚴重破壞資料正確性，影響後續整合與分析流程。
Q5. 若某欄位「出生年份」記錄為 1890 年（明顯不合理），這屬於下列哪一種資料品質問題？
(A) 缺失值 (B) 重複值 (C) 一致性錯誤 (D) 邏輯錯誤
解答與解析
參考 Ans: (D) 資料值符合格式（是一個有效的年份數字）但違反邏輯或領域知識（不合理的出生年份），屬於邏輯錯誤，需設定邏輯檢查規則（如年齡範圍 0-120）並結合領域專家審查。
Q6. 下列哪一項最能反映「觀察對象是否同時具備個人資料與行為記錄等足夠資料描述」？
(A) 缺失率 (B) 一致性比率 (C) 完整性比率（Completeness Rate） (D) 唯一值比率
解答與解析
參考 Ans: (C) 完整性比率（Completeness Rate）評估觀察對象是否具備足夠資料描述，例如使用者資料是否同時包含個人資料與行為記錄，缺漏其中之一將限制分析模型的應用。
Q7. 某企業想從政府開放資料平台（如 data.gov）取得結構化資料集，最適合的蒐集方式為？
(A) 感測器串流 (B) 爬蟲框架或直接透過 API 下載開放資料集 (C) 問卷調查 (D) ERP 系統批次匯出
解答與解析
參考 Ans: (B) 開放資料平台的資料蒐集，常使用爬蟲框架（Scrapy、BeautifulSoup）自動化擷取，或透過 API 下載開放資料集，後續仍需清理與格式轉換。
Q8. 缺失值依成因可分為 MCAR、MAR、MNAR 三類，下列敘述何者正確？
(A) MCAR 指缺失與任何變數皆無關，屬完全隨機缺失 (B) MNAR 指缺失完全隨機且與任何因素無關 (C) MAR 與資料完全無關 (D) 三者處理方式完全相同，無需區分
解答與解析
參考 Ans: (A) 完全隨機缺失（MCAR）指缺失情形與任何已觀測或未觀測變數皆無關（如偶爾跳過填寫）；隨機缺失（MAR，如高收入者較不填寫）與可觀測變數相關；非隨機缺失（MNAR，如特定族群不回應）則與未觀測的變數本身相關，三者成因不同，處理策略也應有所區別。