🔑 名詞卡
特徵選擇(Feature Selection)
🎯 定義
從所有可用的原始特徵中,篩選出一個最佳子集的過程,以降低資料維度,同時保留足以讓模型準確預測的關鍵資訊;此過程不創造新特徵,而是從既有特徵中「選擇」。
重點/應用
| 方法 | 原理 | 優點 | 限制 |
|---|---|---|---|
| Filter(過濾法) | 用統計量/相關係數獨立於模型篩選 | 速度快、不依賴模型 | 無法考慮特徵交互作用 |
| Wrapper(包裝法) | 用模型表現作標準(如 RFE) | 精確考量特徵互動 | 計算成本高,易過擬合 |
| Embedded(嵌入法) | 訓練過程中內建選擇機制(決策樹重要性、Lasso) | 建模同時完成選擇 | 需特定模型支援 |
記憶技巧
Filter 快但粗、Wrapper 準但貴、Embedded 邊建模邊選——三選一時考慮計算成本與模型依賴度。