首頁 / 名詞卡 / 資料工程與MLOps / 量化(Quantization)

iPAS AI中級🗄️ 資料工程與MLOps
🔑 名詞卡

量化(Quantization)

🎯 定義

將模型中高精度參數(如 32-bit 浮點數)轉換為較低精度格式(如 8-bit 整數)的模型壓縮技術,以減少模型大小並加快運算速度。

重點/應用

  • 優點:大幅降低儲存空間與記憶體需求,減少運算負擔,適合硬體加速器(Edge TPU、NPU)。
  • 常見問題:直接量化可能導致準確度下降,常需搭配量化感知訓練(Quantization Aware Training, QAT),讓模型學習適應量化誤差。
  • 與混合精度訓練(訓練中同時用 FP16 與 FP32)搭配,可兼顧訓練速度與精度。

記憶技巧

「量化 = 把數字的『解析度』調低,檔案變小、跑得更快,但可能失真」。

易混淆

  • vs 模型剪枝:量化降低「數值精度」;剪枝減少「參數數量」,兩者可組合使用進一步壓縮模型。
📖 課文原文

「量化(Quantization)是將模型中高精度的參數(如 32-bit 浮點數)轉換為較低精度的格式(如 8-bit 整數),以減少模型大小並加快運算速度。」