首頁 / 名詞卡 / 深度學習/NLP/CV架構 / GloVe(Global Vectors for Word Representation)

iPAS AI中級🧬 深度學習/NLP/CV架構
🔑 名詞卡

GloVe(Global Vectors for Word Representation)

🎯 定義

史丹佛大學 NLP 團隊於 2014 年提出的詞嵌入方法,結合統計共現資訊與詞嵌入學習,利用整體語料庫的詞共現矩陣,透過矩陣分解學習每個詞的靜態向量。

重點

與 Word2Vec 不同,GloVe 不依賴局部上下文窗口(如 Skip-gram),而是利用「全域」的詞對共現統計資料。

記憶技巧

GloVe=Global Vectors——著眼「全域」共現統計,而非「局部」滑動窗口。

易混淆

  • vs Word2Vec:Word2Vec 用局部上下文窗口學習(CBOW/Skip-gram),GloVe 用全域共現矩陣分解學習。
📖 課文原文

「GloVe 是依賴於局部上下文(像是 Word2Vec 的 Skip-gram),而是利用整體語料庫中詞與詞共現的統計資料(共現矩陣),透過矩陣分解的方式來學習每個詞的向量。」