讓電腦聽懂人話: 直觀理解 Word2Vec 模型. Word2Vec 是 Google 於 2013 年由 Tomas… | by TengYuan Chang | Medium

Word2Vec 是 Google 於 2013 年由 Tomas Mikolov 等人所提出，為 NLP 領域中重要的模型之一。透過學習大量文本資料，將字詞用詞向量的方式來代表他們的語意。將字詞嵌入到一個空間後，讓語意相似的單字可以有較近的距離

讓電腦聽懂人話: 直觀理解 Word2Vec 模型 TengYuan Chang 11 min read · Feb 22, 2019 -- 1 Share 自然語言處理 (Natural Language Processing) 是近年來在機器學習領域取得重大進展的應用之一，除了歸功於進 5–10 年來資料量的大幅增加與運算能力的提升外，Word2Vec 模型可以說是扮演極為重要的角色。Word2Vec 是 Google 於 2013 年由 Tomas Mikolov 等人所提出，透過學習大量文本資料，將字詞用數學向量的方式來代表他們的語意。並將字詞嵌入到一個空間後，讓語意相似的單字可以有較近的距離。 本文則試著透過比較直觀，不使用到數學公式的方式，來理解 Word2Vec 模型。 Word2Vec 模型中，主要有 CBOW 與 Skip-gram 兩種模型 。從直觀上來理解， Skip-gram 是給定輸入字詞後，來預測上下文；CBOW 則是給定上下文，來預測輸入的字詞。本文僅說明 skip-gram 模型。 Press enter or click to view image in full size 圖一、Word2Vec 的兩種模型：CBOW 與 Skip-gram。 圖片來源 。 從一個字詞，到產生這個字詞的詞向量，再到預測其他可能會在那個字詞附近出現的詞彙的機率 舉例

saved by

• Yuna-yun Chao

related reading

• Word2vec from scratch (Skip-gram & CBOW) | by PoCheng Lin | Mediummedium.com
• Word2Vec Tutorial Part 2 - Negative Sampling · Chris McCormickmccormickml.com
• Word2Vec Tutorial - The Skip-Gram Model · Chris McCormickmccormickml.com
• The Illustrated Word2vec – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• The Illustrated Word2vec – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• Word Embeddingslena-voita.github.io
• Towards Monosemanticity: Decomposing Language Models With Dictionary Learningtransformer-circuits.pub
• GitHub - bloomberg/koan: A word2vec negative sampling implementation with correct CBOW update. · GitHubgithub.com
• What Is ChatGPT Doing … and Why Does It Work?-Stephen Wolfram Writingswritings.stephenwolfram.com
• Bag-of-words model - Wikipediaen.wikipedia.org
• Glossary of Deep Learning: Word Embedding | by Jaron Collis | Deeper Learning | Mediummedium.com
• Language Modelinglena-voita.github.io