🔑 名詞卡
Adagrad（Adaptive Gradient Algorithm）
🎯 定義
一種自適應學習率的梯度下降優化器，依每個參數的歷史梯度平方和自動調整該參數的學習率：\(\theta_{t+1}=\theta_t-\dfrac{\eta}{\sqrt{G_t+\epsilon}}\nabla_\theta L(\theta_t)\)。
重點／應用
- 適合稀疏特徵場景（如文字、NLP）：變動少的參數保留較高學習率，變動大的參數降低學習率。
- 限制：學習率會隨訓練持續衰減至極小值，可能導致模型過早停止學習。
記憶技巧
「Adagrad 越用越保守」——梯度平方和只會累加不會減少，學習率單調遞減。