🔑 名詞卡
知識蒸餾（Knowledge Distillation）
🎯 定義
一種模型壓縮技術，將大型、高準確度的「教師模型（Teacher）」知識，傳遞給較小、較輕量的「學生模型（Student）」，使學生模型在體積更小、運算更快的情況下，仍能接近教師模型的預測表現。
重點／應用
- 應用場景：部署至硬體資源有限的行動裝置、邊緣運算節點，降低運算延遲、提升即時應用效率。
- 常見問題：蒸餾過程需要額外訓練資源；若教師模型本身存在偏誤，可能傳遞給學生模型。
- 多模態 AI 部署至邊緣設備時，常與剪枝（Pruning）、量化（Quantization）並列為三大模型壓縮技術（中級科目一 CH3.4 補充）。
記憶技巧
「大老師教小學生：小學生（學生模型）學得又快又準，但體型比老師（教師模型）小得多」。
易混淆
- vs 模型剪枝：知識蒸餾是「訓練一個全新的小模型去模仿大模型」；模型剪枝是「直接砍掉原模型內不重要的權重/神經元」，兩者都是模型壓縮手段但做法不同。
- vs LoRA：知識蒸餾訓練全新的小模型模仿大模型；LoRA 是在原模型上加輕量參數進行微調，兩者目的都是提升效率但做法不同。
📖 課文原文「知識蒸餾（Knowledge Distillation）是一種將大型、高準確度的『教師模型（Teacher）』知識，傳遞給較小、較輕量的『學生模型（Student）』的技術。」 （CH3.4）「部署至邊緣設備需維持效能，涉及模型壓縮（如剪枝 Pruning）、量化（Quantization）或知識蒸餾（Knowledge Distillation）等技術。」