閱讀時(shí)間：2023-11-21

1 介紹

年份：2020
作者：徐元超，曼尼托巴大學(xué)
期刊： 無
引用量：無

這篇文章是一篇技術(shù)報(bào)告，從遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）引入到回聲狀態(tài)網(wǎng)絡(luò)（ESNs）。說明了RNNs的局限性，并引入了儲層計(jì)算和ESN的概念。非常系統(tǒng)詳細(xì)的介紹了ESN的數(shù)學(xué)模型、屬性（echo state property）、意義、訓(xùn)練方法、深度ESN的以、ESN的應(yīng)用和局限性、以及未來的研究方向。

2 創(chuàng)新點(diǎn)

這篇論文主要是對回聲狀態(tài)網(wǎng)絡(luò)（ESNs）進(jìn)行詳細(xì)的技術(shù)綜述，包括其結(jié)構(gòu)、工作原理以及應(yīng)用。論文還討論了其他類型的循環(huán)神經(jīng)網(wǎng)絡(luò)，如長短時(shí)記憶（LSTM）和門控循環(huán)單元，并介紹了ESNs的構(gòu)建細(xì)節(jié)、應(yīng)用和局限性。論文還回顧了一篇關(guān)于ESNs的新模型的論文，并介紹了ESNs作為計(jì)算原理再次引起關(guān)注的現(xiàn)狀。此外，論文還提供了關(guān)于動態(tài)系統(tǒng)中的Fisher memory的附錄?？傮w而言，這篇論文主要是對ESNs及其在機(jī)器學(xué)習(xí)中的應(yīng)用的詳細(xì)技術(shù)綜述。

3 相關(guān)研究

引入回聲狀態(tài)網(wǎng)絡(luò)(ESNs)來解決梯度消失和爆炸問題。ESN在存儲庫中有稀疏的隨機(jī)連接，允許以前的狀態(tài)“回聲”，并提供與網(wǎng)絡(luò)訓(xùn)練的匹配信號。ESNs只需要訓(xùn)練讀出層的權(quán)值，避免了訓(xùn)練過程中梯度消失和爆炸的問題。在引入ESNs之前，由于學(xué)習(xí)算法在訓(xùn)練和收斂方面的困難，RNN在實(shí)踐中很少使用。ESNs為訓(xùn)練rnn提供了一種成功的方法，但隨著深度學(xué)習(xí)技術(shù)的發(fā)展，其獨(dú)特的優(yōu)勢逐漸喪失。
儲備層計(jì)算（Reservoir Computing，RC）是一種利用可激發(fā)系統(tǒng)（儲備層）的高維瞬態(tài)動力學(xué)執(zhí)行分類或回歸任務(wù)的機(jī)器學(xué)習(xí)技術(shù)。它主要用于處理時(shí)間信息。這些技術(shù)受到高效仿生方法在處理時(shí)間相關(guān)數(shù)據(jù)方面的啟發(fā)。原則上，任何具有豐富動態(tài)的動力系統(tǒng)都可以用來構(gòu)建儲備層。為了滿足對越來越復(fù)雜的實(shí)時(shí)信號處理方法的需求，涌現(xiàn)出了儲備層計(jì)算的各個(gè)子領(lǐng)域。相比傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)模型，儲備層計(jì)算提供更快的訓(xùn)練優(yōu)勢。
儲備層計(jì)算的技術(shù)主要分為三種方法：液態(tài)狀態(tài)機(jī)（Liquid State Machine）、回聲狀態(tài)網(wǎng)絡(luò)（Echo State Network）和反向傳播-去相關(guān)學(xué)習(xí)規(guī)則（Backpropagation-Decorrelation learning rule）。每種方法都旨在通過人工遞歸神經(jīng)網(wǎng)絡(luò)為數(shù)學(xué)和工程領(lǐng)域中的復(fù)雜動態(tài)系統(tǒng)建模提供一種新的方法。每種方法都包括一個(gè)帶有固定權(quán)重的遞歸網(wǎng)絡(luò)，當(dāng)輸入數(shù)據(jù)集輸入時(shí)，輸出一系列激活狀態(tài)。然后使用這些中間值來訓(xùn)練系統(tǒng)的第二部分的輸出連接，該部分將輸出從數(shù)據(jù)中獲得的原始模型動態(tài)的描述。系統(tǒng)的第一部分，即儲備層，是一個(gè)帶有固定權(quán)重的遞歸神經(jīng)網(wǎng)絡(luò)，其充當(dāng)復(fù)雜動態(tài)系統(tǒng)的“黑盒”模型。第二部分稱為讀取層，通常是一個(gè)簡單的線性層，通過一組權(quán)重與儲備層連接。所有這些技術(shù)的一個(gè)基本特性是具有某種內(nèi)部存儲效應(yīng)，由于儲備層中的遞歸連接，在儲備層計(jì)算輸出中耗盡第k個(gè)輸入效應(yīng)所需的時(shí)間步長取決于儲備層的大小。

3.1 LSM

液態(tài)計(jì)算機(jī)（Liquid State Machine）數(shù)學(xué)模型，適用于模擬皮層微電路中的計(jì)算。液態(tài)計(jì)算機(jī)是一種實(shí)時(shí)處理連續(xù)數(shù)據(jù)流的計(jì)算模型，其輸入和輸出都是連續(xù)時(shí)間的數(shù)據(jù)流。LSM模型中的關(guān)鍵部分是儲備層，它通過將輸入時(shí)間序列轉(zhuǎn)化為液態(tài)狀態(tài)，將先前各個(gè)時(shí)間點(diǎn)的輸入影響進(jìn)行整合。LSM模型中的神經(jīng)元采用了LIF（Leaky Integrate and Fire）模型作為激活函數(shù)的生物突觸模型。具體來說，LSM模型使用了類似于LIF模型的具有生物啟發(fā)的激活函數(shù)，如液態(tài)計(jì)算機(jī)和回傳相關(guān)學(xué)習(xí)規(guī)則中的S型神經(jīng)元。
LSM方法的主要特點(diǎn)是它基于具有基于神經(jīng)元激活函數(shù)的生物突觸模型的儲層模型，該模型是通過觀察大腦微電路中發(fā)現(xiàn)的自然模式而理論化的。

3.2 Backpropagation Decorrelation learning rule

BPDC是一種用于在線調(diào)整循環(huán)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則，結(jié)合了反向傳播（backpropagation）、虛擬教師強(qiáng)制（virtual teacher forcing）和去相關(guān)性（decorrelation）方法。它只應(yīng)用于輸出權(quán)重，具有O(N)復(fù)雜度和良好的性能。該學(xué)習(xí)規(guī)則結(jié)合了三個(gè)重要原則：一步反向傳播誤差、基于去相關(guān)性的網(wǎng)絡(luò)動態(tài)時(shí)間記憶和非自適應(yīng)內(nèi)部神經(jīng)元減少復(fù)雜度。BPDC規(guī)則的示意圖如圖所示。

3.3 ESN

（1）對經(jīng)典ESN進(jìn)行改進(jìn)
內(nèi)在可塑性[36]、[38]
改進(jìn)訓(xùn)練算法[27]
使用Neuroscale進(jìn)行訓(xùn)練[42]
帶有泄露積分器儲備單元的網(wǎng)絡(luò)[24]
支持向量機(jī)[35]
使用自組織映射（SOM）
尺度不變映射（SIM）設(shè)置儲備層權(quán)重[1]
帶有延遲和求和讀出的濾波神經(jīng)元[20]
修剪儲備層中的連接[10]。
（2）改進(jìn)ESN中拓?fù)浣Y(jié)構(gòu)
分層儲備層[23]：
小世界儲備層[9]：
解耦的子儲備層[43]：

4 算法

4.1 ESN數(shù)學(xué)模型

網(wǎng)絡(luò)的輸入是一個(gè)形狀為(V, T)的矩陣，其中T為時(shí)間步數(shù)，V為特征數(shù)。該網(wǎng)絡(luò)還有其他參數(shù)，如儲層的大小(N)、連接的稀疏度(密度)、是否對泄漏進(jìn)行建模，以及降維后的組件數(shù)量。
維數(shù)(N × V)的輸入權(quán)(wwin)通過從二項(xiàng)分布中采樣來初始化。從一個(gè)具有指定密度值的隨機(jī)均勻分布中抽樣得到維數(shù)為(N × N)的儲層權(quán)值W，它決定了稀疏度的高低。高維狀態(tài)表示(x)是將一個(gè)非線性函數(shù)(通常是tanh)應(yīng)用于前一個(gè)狀態(tài)(x k-1)乘以儲層權(quán)重矩陣(W)和當(dāng)前時(shí)間步長的輸入(s k)乘以輸入權(quán)重(W Win)的總和的結(jié)果。
$$\begin{gathered} a_k=W{x}_{k?1}+W_{in}{s}_k \\ {x}_k=?(a_k) \end{gathered}$$

儲備層生成輸入的表示形式，可以是包含所有計(jì)算狀態(tài)、所有狀態(tài)的平均值或僅包含最終狀態(tài)值(x k)的矩陣形式。然后使用神經(jīng)網(wǎng)絡(luò)或其他類型的預(yù)測器將輸入的嵌入連接到期望的輸出，這些預(yù)測器在特定的感興趣的任務(wù)上進(jìn)行訓(xùn)練。輸出(y k)是使用權(quán)重矩陣(Wout)和狀態(tài)表示(x k)計(jì)算的。
$$y_k=W_{out}{x}_k$$

ESN是一種處理連續(xù)數(shù)據(jù)的方法，通過捕獲儲層的動態(tài)輸入，并將該信息用于預(yù)測或其他任務(wù)。

4.2 ESN訓(xùn)練過程

訓(xùn)練過程分為幾個(gè)步驟：
（1）首先隨機(jī)生成內(nèi)部權(quán)重矩陣，并通過歸一化和縮放操作使其滿足要求
（2）然后初始化網(wǎng)絡(luò)狀態(tài)，并按照指定的更新方程進(jìn)行訓(xùn)練動態(tài)的更新
（3）接著收集網(wǎng)絡(luò)狀態(tài)和教師輸出的數(shù)據(jù)，用于計(jì)算輸出權(quán)重的偽逆矩陣
（4）最后，訓(xùn)練完成后的ESN可以用來處理新的輸入序列，并通過輸出權(quán)重計(jì)算輸出結(jié)果。
整個(gè)訓(xùn)練過程的目標(biāo)是在訓(xùn)練數(shù)據(jù)上獲得一個(gè)好的逼近結(jié)果，并在未知系統(tǒng)的獨(dú)立測試數(shù)據(jù)上展現(xiàn)出良好的泛化性能。

4.3 DeepESN

深度回聲狀態(tài)網(wǎng)絡(luò)(Deep Echo State Networks, DeepESNs)是一種由多層疊加循環(huán)層組成的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它們已經(jīng)被研究以理解分層RNN架構(gòu)的特性，并為時(shí)間數(shù)據(jù)設(shè)計(jì)高效的深度神經(jīng)網(wǎng)絡(luò)。與淺層神經(jīng)網(wǎng)絡(luò)類似，深層神經(jīng)網(wǎng)絡(luò)具有捕獲輸入歷史的儲層組件和用于輸出計(jì)算的前饋?zhàn)x出部分。DeepESN中堆疊的儲層形成一個(gè)層次結(jié)構(gòu)，每一層的輸出饋送到下一層。DeepESN的計(jì)算可以理解為一個(gè)輸入驅(qū)動的非線性動態(tài)系統(tǒng)。深度深度神經(jīng)網(wǎng)絡(luò)在各種任務(wù)和領(lǐng)域中顯示出優(yōu)勢，例如語音處理和音樂處理。DeepESN模型的公開實(shí)現(xiàn)也可以在Python、MATLAB和Octave中使用。

• DeepESN Python Library (DeepESNpy)

https://github.com/lucapedrelli/DeepESN

• Deep Echo State Network (DeepESN) MATLAB Toolbox

https://it.mathworks.com/matlabcentral/fileexchange/69402-deepesn

• Deep Echo State Network (DeepESN) Octave library
• https://github.com/gallicch/DeepESN_octave

4.4 回聲狀態(tài)性質(zhì)

為了使ESN原則生效，儲層必須具有回聲狀態(tài)性質(zhì)（Echo State Property，ESP）。對于滿足ESP的網(wǎng)絡(luò)而言，儲層的激活狀態(tài)x(n)是輸入歷史[u(n)，u(n?1)，…]的函數(shù)，即存在一個(gè)函數(shù)E使得：
$x(n)=E(u(n),u(n?1),\dots )$
狀態(tài)x(n)可以被視為輸入歷史的“回聲”。
（1）ESP (Echo State Property)是回聲狀態(tài)網(wǎng)絡(luò)(Echo State Network)有效工作的必要條件。這意味著儲存庫的當(dāng)前狀態(tài)是唯一由輸入歷史決定的。
（2）ESP被定義為具有輸入、儲層和輸出單元的神經(jīng)網(wǎng)絡(luò)。給出了網(wǎng)絡(luò)的狀態(tài)更新方程，并根據(jù)輸入、內(nèi)部和前一個(gè)輸出激活向量計(jì)算輸出。
（3）ESP表示，如果網(wǎng)絡(luò)已經(jīng)運(yùn)行了很長時(shí)間，那么當(dāng)前狀態(tài)是唯一由輸入和輸出歷史決定的。
（4）ESP等同于狀態(tài)收縮、狀態(tài)遺忘和輸入遺忘。
（5）儲備層權(quán)值矩陣的譜半徑小于1并不一定足以滿足ESP，提出了新的ESP的充分條件。
（6）ESP可以看作是儲層本身的一個(gè)屬性，也可以看作是儲層-輸入對的一個(gè)屬性。找到一個(gè)很好的近似回波函數(shù)來近似未知的系統(tǒng)函數(shù)。
如果沒有回波狀態(tài)，就很難理解網(wǎng)絡(luò)輸出與原始系統(tǒng)輸出之間的關(guān)系，訓(xùn)練算法也不能有效地工作。

4.5 ESN的普遍函數(shù)逼近性質(zhì)

并概述了ESN的普遍函數(shù)逼近性質(zhì)證明。證明中指出，ESN是具有衰減記憶特性的儲備濾波器的近似器，并且可以用于任何具有衰減記憶特性的儲備系統(tǒng)的簡單近似儲備濾波器的尋找。結(jié)論是，對于任何給定的精度和權(quán)重序列，可以找到與給定濾波器函數(shù)接近的ESN。

4.6 ESN的應(yīng)用和限制

ESN非常適合時(shí)間分類、回歸和預(yù)測任務(wù)，提供高性能和快速的速度。ESNs的成功應(yīng)用包括動態(tài)模式分類、正弦生成、非線性函數(shù)計(jì)算、目標(biāo)跟蹤、運(yùn)動預(yù)測、事件檢測、電機(jī)控制、語音識別、噪聲建模和混沌時(shí)間序列預(yù)測。
以及其他領(lǐng)域包括理解網(wǎng)絡(luò)動力學(xué)、讀出和儲層動力學(xué)的正則化、分層和結(jié)構(gòu)化拓?fù)涞挠绊?、儲層?jì)算的貝葉斯推理以及儲層自適應(yīng)。
雖然ESNs最初具有快速訓(xùn)練和易于實(shí)現(xiàn)等優(yōu)勢，但深度學(xué)習(xí)的出現(xiàn)解決了遞歸神經(jīng)網(wǎng)絡(luò)梯度下降訓(xùn)練面臨的許多問題，如果沒有大型存儲庫，ESNs可能難以達(dá)到相同的復(fù)雜性水平。尤其，為特定任務(wù)建造具有理想性能的儲層仍然是一個(gè)挑戰(zhàn)，研究重點(diǎn)是減少隨機(jī)性和制定預(yù)測儲層性能的措施。

4.7 未來研究方向

近年來，人們對ESNs（Echo State Networks）的興趣不斷增加。ESNs和其他儲層計(jì)算方法在訓(xùn)練成本低、速度快、適應(yīng)性強(qiáng)的情況下可以作為一種很好的選擇，尤其適用于模擬系統(tǒng)不太復(fù)雜的情況。ESNs在信號處理等領(lǐng)域有許多應(yīng)用，例如生物信號處理、遠(yuǎn)程感知或機(jī)器人電機(jī)控制。
在過去的十年中，ESNs作為一種計(jì)算原理已經(jīng)顯示出與非數(shù)字計(jì)算基板很好地結(jié)合的潛力。ESN和儲層計(jì)算機(jī)的專用硬件實(shí)現(xiàn)可以實(shí)現(xiàn)速度增益和功耗節(jié)省。以下是一些使用ESNs和儲層計(jì)算機(jī)的新研究領(lǐng)域：

• 光學(xué)微芯片：使用光學(xué)硅儲層作為通用計(jì)算平臺的方法，可以用于各種數(shù)字和模擬任務(wù)。
• 機(jī)械納米振子：一種基于質(zhì)點(diǎn)網(wǎng)絡(luò)的設(shè)備，通過線性彈簧連接并通過非線性彈簧連接到基板上。該設(shè)備以儲層計(jì)算原理高效地解決了計(jì)算位流的奇偶性和分類口語詞的基準(zhǔn)問題。
• 基于憶阻性神經(jīng)形態(tài)學(xué)微芯片：研究表明，將一組相互連接的憶阻網(wǎng)絡(luò)按層級組成一個(gè)更大的儲層，其在波形生成任務(wù)等任務(wù)上的性能要顯著優(yōu)于單片憶阻網(wǎng)絡(luò)。
• 碳納米管/聚合物混合物：將儲層模型應(yīng)用于由單壁碳納米管和聚合物混合物組成的物理基板上，以從中提取可利用信息。
• 人工軟肢體：軟機(jī)器的動力學(xué)表現(xiàn)出多種特性，例如非線性、記憶和潛在的無限多自由度利用這些動力學(xué)進(jìn)行實(shí)時(shí)計(jì)算以模擬非線性動態(tài)系統(tǒng)。

這些新穎的計(jì)算材料和由它們制成的微器件通常缺乏數(shù)值精度，而且如何模擬經(jīng)典邏輯開關(guān)電路還不清楚。但是，可以通過適當(dāng)連接這些元素的集合來獲得非線性動力學(xué)，從而為使用ESN方法構(gòu)建和訓(xùn)練物理儲層提供了新的途徑。

5 思考

剛開始我以為就是一篇簡單的論文，深入仔細(xì)看后，發(fā)現(xiàn)這是一篇非常好，非常系統(tǒng)講解ESN網(wǎng)絡(luò)的原理、數(shù)學(xué)模型、局限性、未來研究方向及應(yīng)用等各種角度的深度調(diào)研報(bào)告?？梢约{入教材的一部分了。非常系統(tǒng)的一篇文章。文章來源地址http://www.zghlxwxcb.cn/news/detail-814184.html

到了這里，關(guān)于【博士每天一篇論文-技術(shù)綜述】Machine Learning With Echo State Networks 一篇系統(tǒng)講解ESN知識的五星文章的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！