🔑 名詞卡
梯度裁剪（Gradient Clipping）
🎯 定義
限制梯度的最大值，防止梯度爆炸（Exploding Gradient）導致的數值不穩定或發散，特別常用於 RNN 或深層模型的訓練。
重點／應用
- 當梯度值超過設定門檻時，將其等比例縮放至門檻範圍內。
- 是處理「梯度爆炸」問題的首選技術。
記憶技巧
梯度爆炸 → 梯度裁剪（砍掉太大的梯度）；梯度消失 → 用殘差連接／LSTM 門控機制處理，兩種問題對應不同解法，不要混用。
易混淆
- vs 批次正規化：梯度裁剪直接限制梯度數值本身；批次正規化是穩定每層輸入分佈，間接讓梯度更穩定，作用層次不同。
📖 課文原文「梯度裁剪（Gradient Clipping）：為防止梯度值過大（特別是在 RNN 或深層模型中），可限制梯度的最大值，避免發散或數值不穩定。」