梯度提升（Gradient Boosting）

重點／應用

• 核心目的：降低偏差（Bias）。
• 優點：預測精確度通常高於隨機森林，可自訂損失函數，可搭配 Early Stopping。
• 缺點：訓練較慢、容易過擬合（尤其學習率過高或樹太深時）、超參數多。
• 高效實作版本：XGBoost、LightGBM。

易混淆

• vs 隨機森林：梯度提升（Boosting，序列式修正錯誤，降偏差）vs 隨機森林（Bagging，平行獨立訓練，降變異）。

📖 課文原文

「梯度提升迴歸（Gradient Boosting Regressor）是一種序列式集成演算法，核心概念是『逐步修正誤差』⋯由於每一步都針對前一次錯誤進行調整，因此能在許多複雜問題中達到高度精確的表現。」

出處