這是知識問題 → 想到 RAG!
一個解決「AI 不知道」,一個控制「AI 怎麼說」!
這是知識問題 → 想到 RAG!
這是生成隨機性問題 → 想到 Temperature!
RAG:「我幫你找正確資料。」
Temperature:「我控制回答有多敢變化。」
「AI 不知道 → 先去找資料,再回答。」
RAG(Retrieval-Augmented Generation)把外部或企業內部知識檢索結果放進模型上下文,協助生成答案。
知識補充文件查詢最新資料「AI 知道了 → 控制它回答得保守還是發散。」
Temperature 是生成模型的採樣控制參數之一;一般而言,較低的 temperature 讓輸出更集中、較高則增加隨機性與多樣性。
隨機性多樣性生成風格當問題的答案「不在模型原本的知識裡」或需要依據特定文件時。
AI:先從知識庫找相關文件 → 把找到的內容放進上下文 → 再回答。
「請幫我寫一段咖啡商品描述。」
🌡️ 低 Temperature:比較穩定、保守、用詞較一致
🌡️ 中 Temperature:穩定中帶一些變化
🌡️ 高 Temperature:比較有變化、創意與不可預測性
| 你遇到的問題 | 最先想到 | 為什麼 |
|---|---|---|
| 「AI 不知道公司最新 SOP」 | 🔎 RAG | 需要把外部/內部知識找進上下文 |
| 「AI 不知道最新產品規格」 | 🔎 RAG | 需要最新、指定資料來源 |
| 「AI 常常亂編內部文件內容」 | 🔎 RAG+良好檢索/引用設計 | 先提供可靠的相關資料,再要求依據資料回答 |
| 「商品描述每次風格差很多」 | 🌡️ 降低 Temperature | 降低生成隨機性,讓輸出更穩定 |
| 「希望文案更有創意、更有變化」 | 🌡️ 提高 Temperature(視模型支援) | 增加生成多樣性 |
| 「要求 AI 扮演品牌文案專家」 | 🎭 Role Prompting | 用提示詞指定角色與任務情境 |
| 「希望固定輸出 JSON」 | 📦 Structured Output | 控制輸出格式 |
「請根據公司提供的 BERS 文件回答 AHU 的定義。」
👉 需要指定文件內容 → RAG
「同一種格式,產生 100 棟大樓的改善建議。」
👉 要求穩定、一致 → 可考慮較低 Temperature+清楚 Prompt
「根據最新台電電價資料分析這棟大樓。」
👉 最新外部資料 → RAG/檢索
「同一主題產生 10 種有創意的標題。」
👉 想要多樣性 → 可考慮較高 Temperature
看到「最新資料、外部文件、企業知識庫」→ RAG
看到「隨機性、多樣性、創意、穩定一致」→ Temperature
⭐ 最重要:
RAG 是「知識問題」;Temperature 是「生成隨機性問題」。
Q1:公司希望 AI 回答問題時參考最新的內部規章,應優先考慮?
Q2:電商希望同一批商品描述的語氣與用詞更穩定,不需要增加新知識,應優先考慮?
Q3:想讓 AI 一次產生 20 個完全不同、富有創意的廣告標題,哪個參數方向比較合理?
| 題目關鍵字 | 答案 |
|---|---|
| 最新資料/公司內部文件/知識庫 | 🔎 RAG |
| 需要外部知識補充 | 🔎 RAG |
| 降低隨機性 | 🌡️ 降低 Temperature |
| 提高多樣性/創意 | 🌡️ 提高 Temperature |
| 風格一致+不需要新增知識 | 🌡️ 降低 Temperature(本題 C) |
| 固定品牌語氣 | 🎭 Prompt/Few-shot+適當 Temperature |
⭐ 最終口訣:
「RAG 管資料,Temperature 管隨機。」