Word2vec from scratch (Skip-gram & CBOW) | by PoCheng Lin | Medium

Skip-gram & CBOW 數學公式淺白梳理

Word2vec from scratch (Skip-gram & CBOW) Skip-gram & CBOW 數學公式淺白梳理 PoCheng Lin 17 min read · Apr 30, 2019 -- Share Press enter or click to view image in full size Preface 在自然語言處理領域中，如何透過向量表達一個詞彙，是近幾年非常火熱的議題，在 distributed representation(dense vector) 尚未風行前，大多數的任務都以 1-hot encoding 作為詞彙的表示，其方法得到了高維度的稀疏向量， 雖容易理解、簡單計算，但也帶來許多副作用；直至 2013 年，Thomas Mikolov 等人提出了 word2vec，word2vec 引用英國語言學家 J. R. Firth 提出的想法，要充分地理解一個詞彙的語意，首先要先理解它的上下文資訊。 “You shall know a word by the company it keeps” (J. R. Firth 1957: 11) 舉例來說，給定一個足夠大的語料，「狗」的上下文可能會常出現「跑」、「吠」、「跳」、「動物」等詞，我們如果能透過這些上下文兜出「狗」的詞彙向量，將賦予「狗」一個不同於 1-hot vector 的向量

saved by

• Yuna-yun Chao

related reading

• 讓電腦聽懂人話: 直觀理解 Word2Vec 模型. Word2Vec 是 Google 於 2013 年由 Tomas… | by TengYuan Chang | Mediumtengyuanchang.medium.com
• Word2Vec Tutorial - The Skip-Gram Model · Chris McCormickmccormickml.com
• Word2Vec Tutorial Part 2 - Negative Sampling · Chris McCormickmccormickml.com
• YC's Note – 剖析深度學習 (4)：Sigmoid, Softmax怎麼來？為什麼要用MSE和Cross Entropy？談廣義線性模型ycc.idv.tw
• AutoEncoder (三)- Self Attention、Transformer | by Moris | NLP & Speech Recognition Note | Mediummedium.com
• 使用 TensorFlow 學習 Softmax 回歸 (Softmax Regression) | by Leo Chiu | 手寫筆記 | Mediummedium.com
• 機器學習- 神經網路(多層感知機 Multilayer perceptron, MLP) 含倒傳遞( Backward propagation)詳細推導 - Tommy Huang - Mediumchih-sheng-huang821.medium.com
• 1402.3722arxiv.org
• Word Embeddingslena-voita.github.io
• The Illustrated Word2vec – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• 1301.3781arxiv.org
• Transformers from Scratche2eml.school