🔑 名詞卡
量化(Quantization)
🎯 定義
將模型中高精度參數(如 32-bit 浮點數)轉換為較低精度格式(如 8-bit 整數)的模型壓縮技術,以減少模型大小並加快運算速度。
重點/應用
- 優點:大幅降低儲存空間與記憶體需求,減少運算負擔,適合硬體加速器(Edge TPU、NPU)。
- 常見問題:直接量化可能導致準確度下降,常需搭配量化感知訓練(Quantization Aware Training, QAT),讓模型學習適應量化誤差。
- 與混合精度訓練(訓練中同時用 FP16 與 FP32)搭配,可兼顧訓練速度與精度。
記憶技巧
「量化 = 把數字的『解析度』調低,檔案變小、跑得更快,但可能失真」。
易混淆
- vs 模型剪枝:量化降低「數值精度」;剪枝減少「參數數量」,兩者可組合使用進一步壓縮模型。
📖 課文原文「量化(Quantization)是將模型中高精度的參數(如 32-bit 浮點數)轉換為較低精度的格式(如 8-bit 整數),以減少模型大小並加快運算速度。」