CH5.2 常見的大數據分析方法
常見的大數據分析方法
大數據分析六大方法群：近似描述性統計（t-digest等近似演算法）→ 時序分析（平滑法→統計建模 ARIMA→深度學習 LSTM）→ 網路分析（中心性、社群偵測）→ 文字分析（預處理→TF-IDF/詞嵌入→任務導向）→ 地理空間分析（熱點、群聚、GWR）→ 異常偵測（統計法、密度法、樹模型），對應不同資料型態與分析目標。
1. 大數據分析的四大特性
相較傳統分析，大數據分析更強調：可擴展性（Scalability）、異質性（Heterogeneity）、即時性（Real-time）、近似性（Approximation，為求效率採用可接受誤差的估算方法）。
2. 近似描述性統計
當資料量從數十萬筆擴展至數億筆甚至以串流方式持續產生，傳統統計計算方式面臨效能瓶頸，需以「近似計算」重構描述性統計。
| 技術 | 功能 | 優勢 | 應用情境 |
|---|---|---|---|
| t-digest | 高效估算中位數與任意分位數（如 95th percentile） | 支援串流增量更新、可分散式合併、記憶體需求低 | 電商訂單金額分位數估算、網路流量 99th percentile 異常偵測 |
| Histogram Sketch | 建立近似直方圖，快速呈現密度與集中特性 | 計算速度快、記憶體需求低 | 用戶活躍度分佈、感測器數據品質檢測 |
| Count-Min Sketch | 估計項目出現頻率的近似演算法 | 記憶體使用量極低，支援串流數據 | 熱門商品點擊排行、高頻 IP 攻擊偵測 |
| Online Mean/Variance（Welford's Method） | 逐筆更新均值與變異數，無需儲存全部歷史數據 | 計算簡單、即時、低記憶體 | IoT 感測器即時監控、金融交易即時變異數計算 |
平台支援：Apache Spark（approxQuantile()、summary()）、Google BigQuery（APPROX_QUANTILES()、APPROX_COUNT_DISTINCT()）、PostgreSQL + tdigest 擴充套件，皆可在分散式或資料庫層面直接執行近似統計，減少數據搬移成本。
「近似統計」的目的不是精準無誤，而是在可容忍誤差範圍內達到實用水準的效率與可擴展性——這是大數據分析與傳統精確統計最根本的思維轉變。
3. 時序分析（Time Series Analysis）
| 方法類別 | 代表技術 | 特性 | 適用情境 |
|---|---|---|---|
| 趨勢與平滑方法 | 移動平均（Moving Average）、指數平滑（Exponential Smoothing） | 計算簡單、記憶體需求低，適用串流資料 | 快速探索趨勢、短期預測 |
| 統計建模方法 | ARIMA、SARIMA（季節性 ARIMA） | 模型解釋性強，適合中長期預測 | 月度銷售額、季度用電量 |
| 進階預測模型 | Prophet、LSTM、Transformer | 捕捉複雜非線性模式與長期依賴 | 股票價格、感測器數據、節慶效應處理 |
平台工具：Apache Spark + MLlib（時間分區查詢與模型訓練）、TimescaleDB（PostgreSQL 時序擴充，支援時間窗格查詢）、Meta Prophet（自動處理季節性、節慶效應、缺失值）、Meta Kats（整合多種預測與變化點偵測演算法）。
應用情境：金融市場分析（預測股價/交易量）、能源與設備管理（預測用電高峰、設備維護需求）、智慧製造與供應鏈（產能瓶頸預測）、電商與行銷活動分析（活動期流量與轉換率預測）。
時序方法可依複雜度排序記憶：移動平均/指數平滑（最簡單，看短期波動）→ ARIMA/SARIMA（統計模型，抓線性與季節性）→ Prophet/LSTM（進階模型，抓非線性與長期依賴）。
4. 網路分析（Network Analysis）
研究「關聯性」資料的結構，如社群互動、購買關係、網頁連結，透過圖（Graph）結構分析節點關係、結構特徵與資訊傳播模式。
核心元素：節點（Node，如用戶、商品）、邊（Edge，如朋友關係、購買紀錄）、圖屬性（有向/加權/動態）。
| 技術類別 | 常見演算法 | 用途 |
|---|---|---|
| 中心性分析（Centrality） | Degree Centrality（連結數量）、Betweenness Centrality（資訊中介程度）、Closeness Centrality（平均距離接近程度）、PageRank | 評估節點在網路中的重要性 |
| 社群偵測（Community Detection） | Louvain 演算法（最大化模組度）、Label Propagation、Modularity Maximization | 發現網路中的自然分群結構 |
| 鏈結預測（Link Prediction） | 共同鄰居法、Jaccard 係數、圖神經網路（GNN） | 預測未來可能出現的關係 |
處理工具：Apache Spark GraphX/GraphFrames（分散式圖計算）、Neo4j（圖資料庫，Cypher 查詢語言）、NetworkX/iGraph（Python，中小規模原型設計）、Gephi（圖視覺化）。
應用情境：社群媒體意見擴散（識別高影響力帳號）、推薦系統與商品關聯、客戶關係管理與分群、詐欺偵測與異常關聯分析。
5. 文字分析（Text Analytics）
將非結構化文字資料轉化為可理解、可運算的結構化資料。
核心處理流程：
`` 文字預處理 → 特徵轉換 → 任務導向分析 ``
1. 文字預處理（Preprocessing）：斷詞（Tokenization）、去除標點、轉小寫、停用詞過濾、詞形還原（Lemmatization，還原到詞典形式並考慮詞性）、詞幹提取（Stemming，截斷詞綴不考慮詞性）。 2. 特徵轉換（Feature Extraction）：
| 方法類別 | 代表技術 | 特性 |
|---|---|---|
| 傳統方法 | TF（詞頻）、TF-IDF（詞頻-逆文件頻率） | 結合詞頻與文件稀有性，突出關鍵詞 |
| 嵌入式方法 | Word2Vec、GloVe、FastText | 將詞轉為向量，捕捉語意關係 |
| 深度語意嵌入 | BERT、RoBERTa（Transformer 模型） | 捕捉上下文語意，生成高維向量 |
3. 任務導向分析：分類（情感分析、主題分類）、分群（LDA 主題模型）、資訊擷取（命名實體辨識 NER、關鍵字抽取）。
處理工具：Apache Spark NLP、spaCy（輕量高效）、Hugging Face Transformers（預訓練模型 Fine-tuning）、Gensim（Word2Vec、LDA）。
應用情境：顧客評論分析、社群與輿情監控、客服紀錄分類與自動化、多語言資料處理。
詞形還原（Lemmatization）會考慮詞性與語義，還原到詞典中的標準形式（如 running/ran/runs → run，且詞性正確）；詞幹提取（Stemming）只是機械式截斷詞綴，不考慮詞性或語義，兩者常被誤認為相同技術。
6. 地理空間分析（Geospatial Analysis）
處理帶有座標、地點與範圍資訊的資料，資料型態分為點資料（GPS 座標）、線資料（道路/管線）、面資料（行政區域）。
主要挑戰：空間異質性（不同區域特性不同，傳統統計模型的獨立性假設可能失效）、鄰近關係重要（需考慮空間自相關 Spatial Autocorrelation）、資料規模龐大。
| 分析方法 | 說明 |
|---|---|
| 熱點分析（Hotspot Detection） | Kernel Density Estimation（KDE，估計事件密度生成熱圖）、Getis-Ord Gi*（檢測局部空間自相關） |
| 空間群聚（Spatial Clustering） | K-Means（含座標）適合均勻分群；DBSCAN（密度導向）適合非均勻分佈資料 |
| 地理加權迴歸（GWR） | 建立地點特有的迴歸模型，解釋變數關係的空間異質性 |
| 空間插值 | 根據已知點數值預測未知地點數值，生成連續分佈圖 |
處理工具：GeoPandas（Python）、ArcGIS/QGIS（圖形化平台）、Apache Sedona（整合 Spark 的分散式地理分析）、PostGIS（PostgreSQL 空間資料庫擴充）。
應用情境：商業選址與區位評估、物流最佳化、環境與公共安全監控、智慧城市治理。
7. 異常偵測（Anomaly Detection）
從大量正常資料中自動識別偏離預期行為的觀測值，挑戰包括資料不平衡（異常樣本佔比極低）、即時性要求高、多型態資料並存、可解釋性需求。
| 方法類別 | 代表技術 | 原理 |
|---|---|---|
| 統計方法 | Z-score/IQR 閾值法、移動視窗指標 | 計算數據點偏離均值的標準差或 IQR，設定閾值標記異常 |
| 密度與距離方法 | Local Outlier Factor（LOF）、KNN-based Anomaly Score | 比較數據點與鄰居的局部密度或距離 |
| 樹模型 | Isolation Forest、Random Cut Forest（Amazon） | 隨機切分數據構建樹，異常點因特徵獨特性較易被隔離 |
處理工具：PyOD（整合多種異常偵測演算法）、Apache Spark + MLlib（分散式異常偵測）、Elasticsearch + ML module（日誌即時異常監測）、AWS SageMaker/Azure ML（雲端訓練部署）。
應用情境：金融詐欺偵測、設備故障預警、網路安全監控、客戶行為分析。
異常偵測三大方法族群的核心邏輯不同：統計法看「離群多遠」（Z-score/IQR）、密度法看「鄰居密不密」（LOF）、樹模型看「多容易被隔離」（Isolation Forest）——資料維度高、型態複雜時，樹模型通常比單純統計閾值法更穩健。
📝 章節考題自測（先作答，再點開解答）
Q1. 某網路平台想在數億筆即時交易資料中，快速估算金額的第 95 百分位數以偵測異常高額交易，最適合使用下列哪一種技術？
(A) 傳統排序後直接取值 (B) t-digest 近似分位數演算法 (C) 皮爾森相關係數 (D) K-Means 分群
解答與解析
參考 Ans: (B) t-digest 是專為大規模與串流數據設計的近似分位數演算法，能在低記憶體需求下快速估算中位數與任意百分位數，支援增量更新與分散式合併，遠比傳統全量排序更適合大數據場景。
Q2. 下列關於詞幹提取（Stemming）與詞形還原（Lemmatization）的敘述，何者正確？
(A) 兩者是完全相同的技術 (B) 詞幹提取會考慮詞性還原到詞典形式，詞形還原只是機械截斷 (C) 詞形還原會考慮詞性與語義還原到詞典形式，詞幹提取只是機械式截斷詞綴 (D) 兩者都不會用於文字預處理階段
解答與解析
參考 Ans: (C) 詞形還原（Lemmatization）考慮詞的語義與詞性，還原到標準詞典形式（如 running→run 且詞性正確）；詞幹提取（Stemming）只是機械式截斷詞綴，不考慮詞性或語義，兩者常被誤認為相同，是文字預處理階段的重要區別。
Q3. 某社群平台想找出網路中「連結他人最多」的意見領袖，應使用下列哪一種中心性指標？
(A) Betweenness Centrality (B) Degree Centrality (C) Closeness Centrality (D) t-digest
解答與解析
參考 Ans: (B) Degree Centrality 計算節點的直接連接數量（如粉絲數），直接反映「連結他人最多」這個定義，是最直觀的節點重要性指標之一。
Q4. 某零售商欲分析不同商店區位的銷售額與周邊人口密度的關係，且懷疑此關係在不同地理區域有顯著差異，應優先採用下列何種分析方法？
(A) 一般線性迴歸 (B) 地理加權迴歸（GWR） (C) K-Means 分群 (D) TF-IDF
解答與解析
參考 Ans: (B) 地理加權迴歸（GWR）考慮地理位置的影響，建立地點特有的迴歸模型，能解釋變數關係的空間異質性，正適合「不同地理區域關係可能不同」的情境；一般線性迴歸假設全域關係一致，無法反映空間異質性。
Q5. 下列何者是 Isolation Forest 用於異常偵測的核心原理？
(A) 計算數據點與均值的標準差 (B) 比較數據點與鄰居的局部密度 (C) 透過隨機切分數據構建樹，異常點因特徵獨特性質較易被隔離 (D) 使用相關係數矩陣
解答與解析
參考 Ans: (C) Isolation Forest 透過隨機切分數據構建樹狀結構，異常點因為特徵獨特，通常只需較少的切分次數就能被單獨隔離出來，這與統計閾值法（看離群多遠）及密度法（看鄰居密度）的邏輯皆不同。
Q6. 若時序資料同時具有明顯的季節性波動（如每月固定週期），下列何種模型最適合直接處理季節性成分？
(A) 簡單移動平均 (B) SARIMA（Seasonal ARIMA） (C) TF-IDF (D) t-digest
解答與解析
參考 Ans: (B) SARIMA 是 ARIMA 的擴充版本，加入了季節性分量，特別適合處理具週期性的資料（如每月用電量、季度零售數據），比單純的移動平均更能捕捉季節性模式。
Q7. 在文字分析中，TF-IDF 的主要目的為何？
(A) 將文字轉為圖片 (B) 結合詞頻與文件稀有性，突出關鍵詞並降低常見詞的影響 (C) 進行地理空間定位 (D) 計算節點的中心性
解答與解析
參考 Ans: (B) TF-IDF（Term Frequency-Inverse Document Frequency）結合「詞在單一文件中的頻率」與「詞在整體文件集中的稀有性」，能有效突出具辨識性的關鍵詞，同時降低「的」「是」等常見詞的權重影響。