🔑 名詞卡
注意力機制（Attention Mechanism）
🎯 定義
賦予模型在處理序列中任一元素時，能動態「關注」序列中所有其他相關元素並依相關性賦予不同權重的機制，是 Transformer 最核心的創新。
重點／應用
- 自注意力（Self-Attention）：將輸入映射為 Query（我在找什麼）、Key（我能提供什麼）、Value（我提供的內容），計算任意兩元素間關聯權重，可直接建立序列中任意兩元素的關係，不受距離限制。
- 多頭注意力（Multi-Head Attention）：並行執行多次獨立自注意力，從不同「表示子空間」捕捉多樣關係。
- 目的：解決 RNN 難以處理長序列「長期依賴」的問題。
記憶技巧
Q（我在找什麼）／K（我能提供什麼）／V（若被關注了我會提供什麼）——三個向量的口語化記憶法。
易混淆
- vs RNN：RNN 靠隱藏狀態逐步傳遞上下文（依賴距離、難平行化）；注意力機制可直接建立任意兩元素關聯（不受距離限制、可平行化）。
📖 課文原文「注意力機制（Attention Mechanism）是 Transformer 最核心的創新，賦予模型在處理序列中任何一個元素時，能夠動態地『關注』序列中所有其他相關元素，並根據相關性賦予不同權重。」