🔑 名詞卡
Self-Attention（自注意力機制）
🎯 定義
Transformer 架構的核心機制，讓模型在處理輸入序列時，自動學習並加權每個詞與序列中其他所有詞的關聯程度，藉此同時捕捉全局語境。
重點
- 傳統 RNN 需逐字（token by token）讀取序列，難以捕捉長距離語意。
- Self-Attention 可同時考慮整段輸入序列的上下文，有效建模長距離依賴關係（Long-Range Dependencies）。
- 支援全平行運算（Fully Parallel Architecture），大幅提升訓練效率，適合 GPU/TPU。
記憶技巧
「自己對整句話的每個詞都投以關注」——不像 RNN 一個字一個字看，而是一次看完整句、算出每個詞跟其他詞的關聯權重。
易混淆
- vs RNN 的循環連接：RNN 靠「記憶前一步狀態」傳遞資訊（序列式、慢）；Self-Attention 靠「一次性加權整句」傳遞資訊（平行式、快）。
📖 課文原文「Self-Attention 機制可同時考慮整段輸入序列的上下文，根據每個詞與其他詞的關聯程度進行加權表示，這使得模型能有效學習像是『主詞—動詞』這類長距離依賴關係。」