首頁 / 名詞卡 / 生成式AI應用與工具 / LoRA(Low-Rank Adaptation,低秩自適應)

iPAS AI中級🧰 生成式AI應用與工具
🔑 名詞卡

LoRA(Low-Rank Adaptation,低秩自適應)

🎯 定義

一種讓機器學習模型快速適應新任務的高效微調技術,透過向原始模型添加輕量級的低秩參數,而非直接修改整體模型結構,即可完成特定應用的快速調整。

重點

  • 不需大量重新訓練即可高效擴充模型到更多情境。
  • 適合資源有限的邊緣設備部署大型預訓練模型(如 GPT-3)。

記憶技巧

LoRA=「輕量掛件」而非「大改造」——只加一小組低秩參數,不動原模型主體。

易混淆

  • vs Fine-tuning:傳統微調通常調整模型較大量的參數,LoRA 只新增少量低秩參數,計算與儲存成本大幅降低。
  • vs RAG:LoRA 解決「模型適應/微調成本」問題,RAG 解決「外部知識不足」問題。
📖 課文原文

「LoRA 是一種使機器學習模型能夠快速適應新環境的技術,透過向原始模型添加輕量級的參數,而非直接修改整體模型結構,來幫助模型在特定應用中進行快速調整。」

圖像生成中的應用(中級科目一補充)

Stable Diffusion WebUI 等圖像生成工具支援 LoRA 微調,允許使用者針對特定風格或任務調整模型,屬於生成式 AI 圖像生成領域的常見客製化技術。