一、說(shuō)明
????????在上一篇博客中，我們討論了原版RNN架構(gòu)，也討論了它的局限性。梯度消失是一個(gè)非常重要的缺點(diǎn)，它限制了RNN對(duì)較短序列的建模。香草 RNN 在相關(guān)輸入事件和目標(biāo)信號(hào)之間存在超過(guò) 5-10 個(gè)離散時(shí)間步長(zhǎng)的時(shí)間滯時(shí)無(wú)法學(xué)習(xí)。這基本上限制了香草RNN在許多實(shí)際問(wèn)題上的應(yīng)用，特別是NLP，因?yàn)榫渥又械膯卧~數(shù)量通常遠(yuǎn)遠(yuǎn)超過(guò)10個(gè)。
????????長(zhǎng)短期記憶（LSTM）是一種流行的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)的更好變體，專(zhuān)門(mén)設(shè)計(jì)用于解決梯度消失問(wèn)題。LSTM調(diào)整了RNN循環(huán)單元的內(nèi)部結(jié)構(gòu)，為消失梯度帶來(lái)了解決方案。?LSTM 在翻譯和序列生成方面的應(yīng)用取得了巨大成功。在這篇博客中，我們將討論 LSTM 的神經(jīng)架構(gòu)。如果您不熟悉RNN，請(qǐng)參考我之前的博客。文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-627606.html
二、神經(jīng)架構(gòu)
????????LSTM與我們學(xué)到的RNN非常相似，它具有與遞歸神經(jīng)網(wǎng)絡(luò)類(lèi)似的控制流。在RNN中，信息（隱藏狀態(tài)/梯度）在進(jìn)行反向傳播時(shí)跨時(shí)間步不間斷地傳遞。LSTM所做的只是利用簡(jiǎn)單的門(mén)來(lái)控制循環(huán)網(wǎng)絡(luò)單元中的梯度傳播。LSTM 存儲(chǔ)單元使用不同的門(mén)處理向前傳播時(shí)傳遞信息的數(shù)據(jù)。讓我們看看這些信息是如何在 LSTM 存儲(chǔ)單元中處理的，首先讓我們定義單元狀態(tài)，文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-627606.html
到了這里，關(guān)于【NLP概念源和流】 05-引進(jìn)LSTM網(wǎng)絡(luò)（第 5/20 部分）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
