AutoEncoder (三)- Self Attention、Transformer | by Leyan Bin Veon | NLP-ML筆記 | Medium

Part 1中，我們學到attention model是如何運作的，缺點就是不能平行化，且忽略了輸入句中文字間和目標句中文字間的關係。

AutoEncoder (三)- Self Attention、Transformer 前言 Moris 16 min read · Jun 24, 2019 -- Share Part 1 中，我們學到attention model是如何運作的，缺點就是不能平行化，且忽略了輸入句中文字間和目標句中文字間的關係。 為了解決此問題，2017年，Self attention誕生了。 Press enter or click to view image in full size 圖. 1. Attention model 四格漫畫 Self Attention Self attention是Google在 “ Attention is all you need ”論文中提出的”The transformer”模型中主要的概念之一。 如下圖所示，encoder讀入輸入數據，利用層層疊加的Self-Attention機制對每一個詞得到新的考慮了上下文信息的表徵。Decoder也利用類似的Self-Attention機制，但它不僅僅看之前產生的輸出的文字，而且還要attend encoder的輸出。以上步驟如下動圖所示： 了解了模型大致原理，我們可以詳細的看一下究竟Self-Attention結構是怎樣的。其基本結構如下 Press enter or click to view image i

saved by

• Yuna-yun Chao

related reading

• The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• Transformers Explained Visually (Part 3): Multi-head Attention, deep dive | Towards Data Sciencetowardsdatascience.com
• transformer_attention.pdfarxiv.org
• Everything About Transformerskrupadave.com
• Transformer (deep learning) - Wikipediaen.wikipedia.org
• 11.7. The Transformer Architecture — Dive into Deep Learning 1.0.3 documentationd2l.ai
• A Mathematical Framework for Transformer Circuitstransformer-circuits.pub
• Attention is all you need: Discovering the Transformer paper | Towards Data Sciencetowardsdatascience.com
• 1706.03762arxiv.org
• Transformers from scratch | peterbloem.nlpeterbloem.nl
• Some Intuition on Attention and the Transformereugeneyan.com