🔑 名詞卡
異常偵測(Anomaly Detection)
🎯 定義
從大量正常資料中自動識別偏離預期行為的觀測值的技術,目標是找出潛藏風險、錯誤或可疑行為的徵兆(如金融詐騙、系統錯誤、設備故障)。
三大方法族群比較
| 方法類別 | 代表技術 | 核心邏輯 |
|---|---|---|
| 統計方法 | Z-score / IQR 閾值法 | 計算數據點偏離均值的標準差或四分位距,設定閾值標記異常 |
| 密度與距離方法 | Local Outlier Factor(LOF)、KNN-based Anomaly Score | 比較數據點與鄰居的局部密度或距離,低密度/距離遠者視為異常 |
| 樹模型 | Isolation Forest、Random Cut Forest | 隨機切分數據構建樹,異常點因特徵獨特性較容易被單獨隔離 |
重點/應用
大數據異常偵測面臨的四大挑戰:資料不平衡(異常樣本佔比極低)、即時性要求高(需毫秒級回應)、多型態資料並存、可解釋性需求。
記憶技巧
三大方法族群可記為「離群多遠(統計法)、鄰居密不密(密度法)、多容易被孤立(樹模型)」。
易混淆
- vs SMOTE:異常偵測是「找出」少數異常樣本的技術;SMOTE 則是在已知少數類別(如詐欺)的監督式分類任務中,主動「合成」更多少數類別樣本以平衡資料,兩者處理不平衡問題的角度不同(偵測 vs 增強)。
📖 課文原文「Isolation Forest:通過隨機切分數據構建樹,異常點因特徵獨特性質較易被隔離……Local Outlier Factor(LOF):比較數據點與其 k 個鄰居的局部密度,低密度點視為異常。」