🔑 名詞卡
動量法（Momentum）
🎯 定義
在梯度下降基礎上，累積前幾次梯度方向並模仿物理慣性，讓參數更新更平滑、減少震盪：\(v_{t+1}=\gamma v_t+\eta\nabla_\theta L(\theta_t)\)，\(\theta_{t+1}=\theta_t-v_{t+1}\)。
重點／應用
- 動量係數 γ 通常介於 0.5~0.9。
- 優點：加速收斂並穩定學習過程，特別適合高曲率或非平滑空間，能幫助跳脫局部最小值。
- 適用：深度神經網路、梯度震盪大的情況。
記憶技巧
想像球從山坡滾下，累積速度（動量）讓球不易被小坑洞（局部震盪）卡住。
易混淆
- vs Adam：Adam 結合了動量法（一階動量）與 RMSprop（二階動量）兩種機制。
📖 課文原文「動量法（Momentum）⋯模仿物理動量，將前幾次梯度的方向累積，幫助模型克服局部震盪。」