首頁 ／ 名詞卡 ／ 深度學習／NLP／CV架構 ／ BERT（Bidirectional Encoder Representations from Transformers）

iPAS AI中級🧬 深度學習／NLP／CV架構
🔑 名詞卡

BERT（Bidirectional Encoder Representations from Transformers）

🎯 定義

Google 於 2018 年推出的雙向 Transformer Encoder 預訓練語言模型，以遮蔽語言模型（Masked Language Model, MLM）與下一句預測（Next Sentence Prediction, NSP）進行預訓練，擅長「理解類」任務。

重點特色

項目內容
技術基礎雙向 Transformer Encoder
預訓練任務MLM（遮蔽語言模型）＋ NSP（句子關聯預測）
擅長任務問答系統、分類、命名實體辨識（NER）等理解類任務
語境類型語境型詞嵌入（動態，能區分同詞異義）

記憶技巧

BERT＝雙向（Bidirectional）＋Encoder＝「理解型」模型，像仔細通讀全文的讀者。

易混淆

  • vs GPT：BERT 是雙向 Encoder、擅長理解；GPT 是單向 Decoder（自迴歸）、擅長生成——這是最常見的考點。
  • vs ELMo：ELMo 基於雙向 LSTM，BERT 基於雙向 Transformer，後者可平行運算、效果更佳。
📖 課文原文

「BERT 使用雙向編碼器架構，透過 Masked Language Model（MLM）與 Next Sentence Prediction（NSP）進行預訓練，特別擅長於分類、問答、命名實體辨識等任務。」

出處

CH3.1_自然語言處理技術與應用