iPAS AI 初級・漫畫式小白教材

PEFT × 知識蒸餾 × Gradient Freezing × LoRA

GPU 不夠？不要把整台 LLM 全部重新訓練！

🎬 第一幕：公司只有「小 GPU」

🏢 公司需求

🏢🤖

「我要讓 LLM 學會公司的專屬知識！」

例如內規、產品資料、客服語氣。

😱 全量 Fine-tuning

🤖💥🔥

「全部參數都更新？」

模型很大，GPU 與記憶體壓力很高。

🦸 PEFT

🦸🤖✨

「少更新一點就好！」

PEFT 的核心：用較少的可訓練參數完成模型適配。

🧠 一句話先背

PEFT＝Parameter-Efficient Fine-Tuning
「少改參數，也能讓大模型適應新任務。」

⭐ 本題要找的是典型 PEFT 技術中，能大幅減少需要更新參數的方法：LoRA。

🧊 第二幕：梯度凍結 Gradient Freezing

🧊 Freeze！

🧊🤖

「這些參數先不要動！」

把部分或大部分模型參數凍結，不讓它們更新。

✏️ 只更新一部分

🤖✏️

訓練時只更新沒有凍結的部分。

更新參數變少 → 資源需求降低

⚠️ 與 LoRA 不同

🤔

Gradient Freezing 是重要策略；LoRA 則是在凍結原模型的基礎上，以低秩更新方式做 PEFT。

🔩 第三幕：LoRA 到底厲害在哪？

🐘 原模型

🏢🏢🏢

大型 LLM 有大量權重。

「全部更新太貴！」

🧩 LoRA

🤖➕🔩

凍結原模型權重，另外學習低秩的更新量。

大模型不動，小量參數學習

🚀 PEFT

🔩✨

可訓練參數大幅減少，降低 GPU／記憶體壓力。

LoRA＝凍結原模型＋低秩更新 → 少量可訓練參數

🧮 第四幕：為什麼叫「低秩」？

🐘 大型權重更新

📦📦📦

直接更新大型權重矩陣，需要處理很多參數。

🔩 LoRA

🧩×🧩

把權重更新表示成較小的低秩矩陣組合，減少可訓練參數。

ΔW ≈ B A

📌 考試先記：低秩＋少量可訓練參數＋凍結原模型 → LoRA。

🥊 第五幕：四個概念的關係

概念	漫畫	重點
PEFT	🦸「不要整台模型都改！」	參數高效微調方法的總稱。
Gradient Freezing	🧊「這些參數不要更新！」	凍結部分／大部分參數。
LoRA	🔩「加小模組學習！」	典型 PEFT；用低秩更新減少可訓練參數。
Knowledge Distillation	👨‍🏫➡️👶	大模型 Teacher 教小模型 Student；核心不是 LoRA 式參數高效微調。

👨‍🏫 第六幕：知識蒸餾 Knowledge Distillation

👨‍🏫 Teacher

🧑‍🏫🤖

「我是能力很強的大模型。」

👶 Student

👶🤖📚

「請老師教我！」

Student 學習 Teacher 提供的輸出／知識訊號。

🎓 Distillation

🧠➡️🧠

核心是把較大模型的能力轉移到較小模型，常用於模型壓縮與部署。

⚠️ 一秒分辨：蒸餾＝老師教學生；LoRA＝少量參數微調原大模型。

💬 第七幕：Prompt Engineering 不是 PEFT

💬 Prompt Engineering

💬🤖

「請用公司客服語氣回答。」

透過設計提示詞引導模型輸出，不等於 Fine-tuning。

🔧 PEFT

🤖🔧

「我要訓練模型的少量參數！」

是在微調階段減少可訓練參數與資源需求。

🚨 第八幕：四個選項陷阱

❌ A. 知識蒸餾
重點是 Teacher → Student 的知識／能力轉移，不是本題所問的典型 PEFT「少量參數微調」。

❌ B. Prompt Engineering
主要是設計提示詞引導輸出，不是 PEFT 微調技術。

❌ C. Gradient Freezing
凍結參數確實可以降低更新量，但本題問的是最具代表性的 PEFT 技術；LoRA 更直接符合「低秩＋少量參數」的描述。

✅ D. Low-Rank Adaptation（LoRA）
典型 PEFT 方法：凍結原模型大部分權重，學習少量低秩更新參數，適合 GPU／記憶體受限的企業 Fine-tuning。

🧠 iPAS 考前超強口訣

PEFT 🦸＝「少改參數」
LoRA 🔩＝「低秩更新」
Gradient Freezing 🧊＝「參數不要動」
Knowledge Distillation 👨‍🏫➡️👶＝「老師教學生」

⭐ 題目：PEFT＋GPU／記憶體有限＋顯著減少更新參數 → D. LoRA

🎯 最後來做你的例題

題目：LLM 企業專屬知識 Fine-tuning 時，若 GPU 運算資源與記憶體嚴重受限，哪一種 PEFT 技術最能在維持模型效能的前提下，顯著降低需更新的參數數量？

A. 知識蒸餾（Knowledge Distillation）
B. 提示詞工程（Prompt Engineering）
C. 梯度凍結（Gradient Freezing）
D. 低秩適配（Low-Rank Adaptation）

🎯 正確答案：D. LoRA ✅

關鍵字：PEFT＋GPU／記憶體受限＋顯著降低需更新參數。LoRA 透過低秩更新並凍結原模型大部分權重，讓可訓練參數大幅減少。

⭐ PEFT＋資源有限＋少量參數更新 → 🔩 LoRA → D

📌 考前最後一張小抄

關鍵字	想到
參數高效微調	🦸 PEFT
凍結參數	🧊 Gradient Freezing
低秩更新／少量參數	🔩 LoRA
Teacher → Student	👨‍🏫➡️👶 Knowledge Distillation
提示詞控制	💬 Prompt Engineering
GPU／記憶體有限＋PEFT	🔩 優先想到 LoRA

⭐ PEFT 是家族；LoRA 是代表成員；Gradient Freezing 是凍結策略；蒸餾是老師教學生。