?一、說(shuō)明
????????對(duì)于LSTM鮮有人能說(shuō)清楚其內(nèi)部機(jī)制,就連相關(guān)的文檔也少之又少,本篇主要針對(duì)LSTM的內(nèi)部梯度傳遞關(guān)系,解析其邏輯原理,對(duì)于入門已久的專業(yè)人事,應(yīng)該是難得的好文。對(duì)于初學(xué)者不必全通,能看個(gè)大概其也是有收獲的。?
二、示例
????????許多帖子已經(jīng)詳細(xì)討論了 LSTM 的轉(zhuǎn)發(fā)傳遞(例如,【NLP】理解LSTM的內(nèi)在邏輯?)。然而,經(jīng)歷反向傳播的相對(duì)較少,數(shù)值示例更為罕見。我確實(shí)設(shè)法找到了一些好的資源,我認(rèn)為值得深入研究更多細(xì)節(jié)。
????????其他博客討論RNN,所以我不會(huì)深入討論它們。相反,我將重點(diǎn)介紹:
- 前向傳遞:信息如何通過(guò) LSTM
- 向后傳遞:梯度信息如何通過(guò) LSTM 向后傳播
????????讓我們舉一個(gè)非常簡(jiǎn)單的例子,通過(guò)正向傳遞和向后傳遞。我假設(shè)你以前見過(guò)反向傳播。文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-520733.html
三、基本知識(shí)
????????LSTM 代表 長(zhǎng)短期記憶。它由Hochreiter和Schmidhuber于1997年構(gòu)思,此后由許多其他人進(jìn)行了改進(jìn)。LSTM 的目的是時(shí)間序列建模:如果您有輸入序列,則可能需要將其映射到輸出序列、標(biāo)量值或類。 LSTM 可以幫助您做到這一點(diǎn)。整個(gè) LSTM 模型(所有門和存儲(chǔ)單元)稱為 LSTM 單元?;窘M件包括輸入門、遺忘門(在原始 LSTM 之后添加)、輸出門和存儲(chǔ)單元。寬:?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-520733.html
- 輸入門允許新信息流入網(wǎng)絡(luò)。它有參數(shù)
到了這里,關(guān)于【NLP】LSTM追根溯源的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!