🔑 名詞卡
LoRA(Low-Rank Adaptation,低秩自適應)
🎯 定義
一種讓機器學習模型快速適應新任務的高效微調技術,透過向原始模型添加輕量級的低秩參數,而非直接修改整體模型結構,即可完成特定應用的快速調整。
重點
- 不需大量重新訓練即可高效擴充模型到更多情境。
- 適合資源有限的邊緣設備部署大型預訓練模型(如 GPT-3)。
記憶技巧
LoRA=「輕量掛件」而非「大改造」——只加一小組低秩參數,不動原模型主體。
易混淆
- vs Fine-tuning:傳統微調通常調整模型較大量的參數,LoRA 只新增少量低秩參數,計算與儲存成本大幅降低。
- vs RAG:LoRA 解決「模型適應/微調成本」問題,RAG 解決「外部知識不足」問題。
📖 課文原文「LoRA 是一種使機器學習模型能夠快速適應新環境的技術,透過向原始模型添加輕量級的參數,而非直接修改整體模型結構,來幫助模型在特定應用中進行快速調整。」
圖像生成中的應用(中級科目一補充)
Stable Diffusion WebUI 等圖像生成工具支援 LoRA 微調,允許使用者針對特定風格或任務調整模型,屬於生成式 AI 圖像生成領域的常見客製化技術。