首頁 / 名詞卡 / 深度學習/NLP/CV架構 / Word2Vec

iPAS AI中級🧬 深度學習/NLP/CV架構
🔑 名詞卡

Word2Vec

🎯 定義

Google 團隊於 2013 年提出的詞嵌入演算法,透過神經網路訓練將每個詞轉換為具有語意意義的實數向量,屬於靜態、分布式、非語境型詞嵌入。

兩種架構

架構原理特性
CBOW(Continuous Bag of Words)由上下文(周圍詞彙)預測中心詞訓練速度較快,適合小型語料
Skip-gram由中心詞預測周圍上下文詞彙對低頻詞更有效,語意捕捉能力更好

記憶技巧

king − man + woman ≈ queen——向量之間的加減法可反映語意邏輯關係。

易混淆

  • vs GloVe:Word2Vec 依賴局部上下文窗口訓練;GloVe 依賴整體語料的共現矩陣(矩陣分解)。
  • vs BERT:Word2Vec 是靜態向量(同詞同向量),BERT 是語境型向量(同詞依語境變化)。
📖 課文原文

「Word2Vec 是由 Google 團隊於 2013 年提出的詞嵌入演算法,目的是將單詞轉換為具有語意意義的向量。」