🔑 名詞卡
GPT（Generative Pre-trained Transformer）
🎯 定義
OpenAI 研發的單向 Transformer（Decoder）預訓練語言模型，以自迴歸預測（Autoregressive Prediction）為核心，專長文字生成、對話生成與續寫任務。
重點特色
| 項目 | 內容 |
|---|---|
| 技術基礎 | 單向 Transformer（自迴歸語言模型） |
| 擅長任務 | 對話生成、摘要撰寫、創作、翻譯等生成類任務 |
| 特性 | 可搭配提示詞（Prompt）進行 Few-shot／Zero-shot 應用 |
記憶技巧
GPT＝Generative（生成）＋單向＝像「接龍」一樣只看前文、逐字往下寫。
易混淆
- vs BERT：GPT 單向、擅長生成；BERT 雙向、擅長理解。
📖 課文原文「GPT 採用自迴歸預測（Autoregressive Prediction），專注於生成任務，支援自然對話、摘要、創作等多種語言生成需求。」