🔑 名詞卡
RMSprop（Root Mean Square Propagation）
🎯 定義
在Adagrad基礎上引入滑動平均（Moving Average）機制的優化器，修正 Adagrad 學習率過快下降的問題，特別適合處理非穩定梯度（如 RNN 訓練）。
重點／應用
- 優點：能穩定訓練過程，適用於語音處理、序列建模等非凸問題。
- 是 Adam 優化器組成的重要基礎之一（Adam = Momentum + RMSprop）。
記憶技巧
「RMSprop 修好了 Adagrad 學習率降太快的毛病」。
易混淆
- vs Adagrad：RMSprop 用滑動平均取代 Adagrad 的梯度平方「累加」，避免學習率無限衰減。
📖 課文原文「RMSprop⋯引入滑動平均，修正 Adagrad 學習率過快下降的問題⋯能穩定訓練過程，特別適合處理非穩定梯度（如 RNN 訓練）。」