① 使用者說話
🧑📱
「我的網路一直斷線,怎麼辦?」
先把問題交給 Encoder。
「Encoder 負責讀懂,Decoder 負責一步一步說出來!」
先把問題交給 Encoder。
把輸入轉成模型可以處理的語義表示。
根據 Encoder 資訊+已生成內容,逐步產生答案。
「負責把輸入讀懂、轉換成有用的表示。」
例如讀取「我的網路一直斷線」後,理解使用者的意圖與語意關係。
讀懂理解語義表示「根據已理解的資訊,逐步生成輸出。」
生成第一個詞後,再把先前生成的內容納入下一步,持續產生後續內容。
生成逐詞上下文所以 Encoder-Decoder 很適合「輸入和輸出都可能是一段序列」的任務,例如機器翻譯、摘要、問答等。
Encoder 已理解:
「使用者網路故障」
Decoder 先生成:「您好」
看到先前生成的:
「您好」
再產生:「請先」
持續生成:
「您好,請先重新啟動設備……」
直到完成回答。
「我的 5G 網路突然不能用了,昨天都還正常。」
🔵 Encoder:理解「5G+故障+突然發生」等語意。
Decoder 逐步生成:
直到完成整句回覆。
| 架構 | 漫畫記憶 | 核心概念 | 常見用途/例子 |
|---|---|---|---|
| Encoder-only | 🔵「只負責讀懂」 | 理解輸入表示 | 分類、情感分析、資訊抽取;例如 BERT 類模型 |
| Decoder-only | 🔴「一路往後寫」 | 依前文逐步生成 | 文字生成、聊天;例如 GPT 類模型 |
| Encoder-Decoder | 🔵「讀懂」+🔴「說出來」 | 把輸入編碼,再根據表示生成輸出 | 翻譯、摘要、部分問答/序列到序列任務;例如 T5 類模型 |
看到「語義表示」→ Encoder
看到「根據 Encoder + 已生成內容」→ Decoder
⭐ Encoder 像閱讀理解;Decoder 像作文。
A. 一次轉換為完整回覆句子
B. 根據 Encoder 的語義表示,並結合先前已生成的內容,逐詞產生回覆
C. 先生成完整回覆,再由 Encoder 修正
D. 先生成多個候選句,再選最適合的一句
| 看到題目 | 立刻想到 |
|---|---|
| 把輸入轉成語義表示 | 🔵 Encoder |
| 理解輸入內容 | 🔵 Encoder |
| 根據 Encoder 表示生成輸出 | 🔴 Decoder |
| 結合先前生成內容 | 🔴 Decoder |
| 逐詞/逐 token 生成 | 🔴 Decoder |
| 翻譯:日文 → 中文 | 🔵 Encoder + 🔴 Decoder |
⭐ 最終口訣:
「Encoder 讀懂,Decoder 寫出;先理解,再生成。」