遞歸神經網路和長短期記憶模型 RNN & LSTM · 資料科學・機器・人

這幾年，機器學習（machine learning）相關的應用獲得了許多關注，其中有幾大領域特別熱門：其中一個是圖片辨識，像是在網路上搜尋貓咪的圖片，或是將任何問題轉為類似形式；另一個則是序列到序列翻譯（sequence to sequence translation），包括將語音轉為文字或翻譯不同語言。前者大多是利用卷積神經網路（convolutional neural networks，CNN）所完成，後者則多利用遞歸神經網路（recurrent neural networks，RNN），尤其是長短期記憶模型（long short-term memory，LSTM）。

遞歸神經網路和長短期記憶模型 RNN & LSTM · 資料科學・機器・人 Powered by GitBook 遞歸神經網路和長短期記憶模型 RNN & LSTM 遞歸神經網路（RNN）和長短期記憶模型（LSTM）的運作原理 原文： How Recurrent Neural Networks and Lo

related reading

• The Unreasonable Effectiveness of Recurrent Neural Networkskarpathy.github.io
• Understanding LSTM Networks -- colah's blogcolah.github.io
• 卷積神經網路 Convolutional Neural Networks · 資料科學・機器・人brohrer.mcknote.com
• Long short-term memory - Wikipediaen.wikipedia.org
• transformer_attention.pdfarxiv.org
• Aman's AI Journal • Primers • Ilya Sutskever's Top 30aman.ai
• Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs · Denny's Blogdennybritz.com
• The Annotated Transformernlp.seas.harvard.edu
• arXiv:1409.3215v3 [cs.CL] 14 Dec 2014arxiv.org
• Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) – Jay Alammar – Visualizing machine learning one concept at a time.jalammar.github.io
• Attention and Augmented Recurrent Neural Networksdistill.pub
• The Little Book of Deep Learningfleuret.org