🔑 名詞卡
LightGBM(Light Gradient Boosting Machine)
🎯 定義
梯度提升(GBDT)的高效工程實作版本,採用「葉子式生長(Leaf-wise)」分裂策略與 Histogram-based 計算,對大數據、大特徵數問題尤其高效。
重點/應用
- 生長策略:優先分裂能帶來最大增益(max gain)的葉節點,樹垂直生長,形成更深但不均勻的樹結構。
- 相較 XGBoost 通常能更快達到更高準確度,記憶體使用更省。
- 缺點:小型資料集上 Leaf-wise 容易生成不平衡樹,須搭配 max_depth 限制,否則易過擬合。
記憶技巧
「LightGBM 挑最有效益的葉子往下長高(Leaf-wise),跑得比 XGBoost 更快更省」。
易混淆
- vs XGBoost:LightGBM 為 Leaf-wise(葉子式)生長,XGBoost 為 Level-wise(層級式)生長。
📖 課文原文「LightGBM(Light Gradient Boosting Machine)採用『葉子式生長』Leaf-wise 分裂策略,而非如 XGBoost 採用的 Level-wise 分裂策略,讓演算法在更少計算下達到更好的效果。」