🔑 名詞卡
梯度下降（Gradient Descent）
🎯 定義
一種優化方法，透過計算損失函數相對參數的偏導數（梯度），調整模型參數使損失函數值逐漸減小，藉此最小化損失並降低模型誤差。
常見變種
| 變種 | 說明 |
|---|---|
| 批次梯度下降（BGD） | 基於整個數據集計算損失函數梯度並更新參數 |
| 隨機梯度下降（SGD） | 每次迭代僅使用一個樣本更新參數，速度較快但收斂不穩定 |
| Adam | 結合動量法和 RMSProp，能自適應學習率，目前最廣泛使用的優化方法之一 |
記憶技巧
BGD 用「全部」資料、SGD 用「單一」樣本、Adam 是兩者概念的進階自適應版本。
易混淆
- vs 損失函數：梯度下降是利用損失函數的梯度來更新參數的優化演算法本身，損失函數只是「衡量誤差」的指標。
- 數據標準化（如 Min-Max標準化、Z-score標準化）對梯度下降這類對特徵尺度敏感的演算法特別重要。
📖 課文原文「梯度下降演算法是一種優化方法，透過計算損失函數相對參數的偏導數，調整模型參數使損失函數值逐漸減小。」