🔑 名詞卡

Transformer

🎯 定義

生成式 AI 模型選擇與搭建階段常見的生成模型之一，與 GAN、VAE 並列為常用於生成式人工智慧的模型結構，是目前主流大型語言模型的核心架構基礎。2017 年由 Google 提出，核心是以 Self-Attention（自注意力機制）取代 RNN 的序列遞迴結構。

NLP 中的角色（中級科目一補充）

核心概念	說明
Self-Attention	讓模型同時考慮序列中所有詞的關聯，解決長距離依賴問題
Encoder-Decoder 架構	Encoder 將輸入轉為語意向量，Decoder 據此逐步產生輸出，適用於機器翻譯、摘要生成
全平行架構	可一次性平行處理整個序列，訓練速度大幅提升，適合 GPU/TPU 與超大規模語料

以 Transformer 為基礎的預訓練語言模型（BERT、GPT、RoBERTa、T5）已成為 NLP 主流方法。

易混淆

vs RNN／LSTM／GRU：後者靠「循環連接、逐步傳遞」處理序列，訓練慢且難平行化；Transformer 靠 Self-Attention「一次看整句」，可平行運算。

📖 課文原文
「選擇模型：選擇適合任務的生成模型，常見的模型包括生成對抗網路（GAN）、變分自編碼器（VAE）、Transformer 等。」「2017 年，Transformer 架構的提出徹底改變了 NLP 的技術發展路徑⋯⋯轉而採用了自注意力機制（Self-Attention），使得每個詞在處理時能夠考慮到整個輸入序列中的所有其他詞。」

出處

CH3.1_人工智慧概念 CH3.1_自然語言處理技術與應用