Word2vec from scratch (Skip-gram & CBOW) | by PoCheng Lin | Medium

Skip-gram & CBOW 數學公式淺白梳理

Word2vec from scratch (Skip-gram & CBOW) Skip-gram & CBOW 數學公式淺白梳理 PoCheng Lin 17 min read · Apr 30, 2019 -- Share Press enter or click to view image in full size Preface 在自然語言處理領域中，如何透過向量表達一個詞彙，是近幾年非常火熱的議題，在 distributed representation(dense vector) 尚未風行前，大多數的任務都以 1-hot encoding 作為詞彙的表示，其方法得到了高維度的稀疏向量， 雖容易理解、簡單計算，但也帶來許多副作用；直至 2013 年，Thomas Mikolov 等人提出了 word2vec，word2vec 引用英國語言學家 J. R. Firth 提出的想法，要充分地理解一個詞彙的語意，首先要先理解它的上下文資訊。 “You shall know a word by the company it keeps” (J. R. Firth 1957: 11) 舉例來說，給定一個足夠大的語料，「狗」的上下文可能會常出現「跑」、「吠」、「跳」、「動物」等詞，我們如果能透過這些上下文兜出「狗」的詞彙向量，將賦予「狗」一個不同於 1-hot vector 的向量

saved by

• Yuna-yun Chao

related reading

• 讓電腦聽懂人話: 直觀理解 Word2Vec 模型. Word2Vec 是 Google 於 2013 年由 Tomas… | by TengYuan Chang | Mediumtengyuanchang.medium.com
• Word2Vec Tutorial Part 2 - Negative Sampling · Chris McCormickmccormickml.com
• Word2Vec Tutorial - The Skip-Gram Model · Chris McCormickmccormickml.com
• The Illustrated Word2vec – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• The Illustrated Word2vec – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• Word Embeddingslena-voita.github.io
• GitHub - bloomberg/koan: A word2vec negative sampling implementation with correct CBOW update. · GitHubgithub.com
• Bag-of-words model - Wikipediaen.wikipedia.org
• Glossary of Deep Learning: Word Embedding | by Jaron Collis | Deeper Learning | Mediummedium.com
• microgptkarpathy.github.io
• GitHub - jacobhilton/deep_learning_curriculum: Language model alignment-focused deep learning curriculum · GitHubgithub.com
• Language Modelinglena-voita.github.io