🔑 名詞卡
批次正規化（Batch Normalization）
🎯 定義
在神經網路的每一層中標準化中間輸出，使輸入分佈穩定，有助於提升收斂速度與模型訓練穩定性。
重點／應用
- 減少「內部協變偏移（Internal Covariate Shift, ICS）」：前面層的參數更新會導致後續層輸入分佈改變，批次正規化能穩定這個分佈。
- 與 Transformer 中常用的「層歸一化（Layer Normalization）」性質類似，但 Layer Normalization 不依賴批次大小，更適合序列模型。
記憶技巧
「每層輸出先『校準』一下再往下傳」，避免數值忽大忽小影響訓練穩定性。
易混淆
- vs 層歸一化（Layer Normalization）：批次正規化沿「批次維度」標準化，依賴批次大小；層歸一化沿「特徵維度」標準化，不依賴批次大小，故適合 NLP／Transformer。
📖 課文原文「批次正規化（Batch Normalization）：在每一層中標準化中間輸出，使輸入分佈穩定，有助於提升收斂速度與模型穩定性。」