首頁 / 名詞卡 / 資料工程與MLOps / 模型剪枝(Pruning)

iPAS AI中級🗄️ 資料工程與MLOps
🔑 名詞卡

模型剪枝(Pruning)

🎯 定義

透過移除神經網路中影響較小、貢獻度低的權重或神經元,達到減少模型大小與提升計算效率目的的模型壓縮技術。

重點/應用

類型說明硬體整合
結構化剪枝(Structured Pruning)移除整個神經元、卷積通道或層級較容易與硬體加速器整合
非結構化剪枝(Unstructured Pruning)移除零散的單一權重參數模型稀疏化,但硬體支援較差

常見問題:剪枝過度可能導致準確度明顯下降;非結構化稀疏矩陣的硬體支援有限,實際效益可能不如預期。

記憶技巧

「剪掉沒用的神經連結,就像修剪過密的樹枝讓樹更精簡」。

易混淆

  • vs 知識蒸餾:剪枝是「直接刪減原模型內部結構」;知識蒸餾是「訓練一個全新的小模型模仿大模型」。
  • vs 量化:剪枝減少「參數數量」;量化降低「參數精度」,兩者可組合使用。
📖 課文原文

「模型剪枝(Pruning)是透過移除神經網路中影響較小、貢獻度低的權重或神經元,達到減少模型大小與提升計算效率的目的。」