一、人工神經(jīng)網(wǎng)絡(luò)簡介

1、神經(jīng)網(wǎng)絡(luò)起源與應(yīng)用

? ?1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts提出神經(jīng)元生物數(shù)學(xué)模型（M-P模型），后來人工神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network,ANN)是在生物神經(jīng)網(wǎng)絡(luò)(Biological Neural Network,BNN)基礎(chǔ)上發(fā)展起來的，是對人腦的某種抽象、簡化和模擬，是模擬人的智能的一種途徑。

? ? 神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元，一個簡化的神經(jīng)元是多輸入、單輸出的非線性元件，大量的神經(jīng)元互聯(lián)而成的神經(jīng)網(wǎng)絡(luò)（非線性元件），在人工智能和機器自學(xué)習(xí)、自組織、聯(lián)想以及容錯方面具有強大的能力。

2、人工神經(jīng)元的工作原理

大腦的神經(jīng)細胞由細胞體(soma)、一些樹突(dendrite)和一根可以很長的軸突（Axon）組成，樹突由細胞體的各個方向長出，本身可有分支，是用來接受信號的，軸突也有許多分支，通過分支末梢(terminal)和其它細胞的樹突接觸，形成突觸，把產(chǎn)生的信號傳送給其它細胞，如圖（1）所示。

?????????????????????????????????????????????????圖(1) McCulloch-Pitts網(wǎng)絡(luò)

大腦的神經(jīng)元細胞只有兩種狀態(tài)：興奮和壓抑。神經(jīng)細胞把所有從樹突上突觸進來的信號進行相加，如果全部信號超過某個閾值，就會激發(fā)細胞進入興奮狀態(tài)，就會有信號通過軸突發(fā)送信號給其它細胞。如果信號沒有超過閾值，細胞就不會興奮。

模擬大腦的人工神經(jīng)網(wǎng)絡(luò)是采用神經(jīng)元組成的，神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個多輸入/多輸出的非線性元件。神經(jīng)元輸出受到輸入信號和內(nèi)部其它因素的影響，所以人工神經(jīng)元的建模中，常常還有一個額外的輸入信號，稱為偏差（bais），有時也稱為閥值或限值。

人工神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)元的一階特性，人工神經(jīng)元有n個輸入，即輸入為X=(x1,x2,…,xn),連接權(quán)為W=(w1,w2,…,wn)T,神經(jīng)元輸出為采用向量的形式，即Net=X·W-θ.

3、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

三層前饋神經(jīng)網(wǎng)絡(luò)的構(gòu)造由三層排列，分別是輸入層、隱含層（中間層）和輸出層。每一層的神經(jīng)元接受來自前一層神經(jīng)元的輸出作為輸入，后面層對前面的層沒有反饋。感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)均屬前饋網(wǎng)絡(luò)。

?????????????????????????????????????????????????三層前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

4、神經(jīng)網(wǎng)絡(luò)常用激勵函數(shù)

激勵函數(shù)，又稱激活函數(shù)或傳遞函數(shù)，通常有三種

（1）閥值型

這里函數(shù)一般用在簡單的分類模型中。

（2）線性型

f(x)=x????????一般只用在輸入神經(jīng)元和輸出神經(jīng)元。

（3）S型

常用于隱含層，第一個為logsig（）函數(shù)，第二個為logtan（）函數(shù)。都是光滑函數(shù)，且第一個函數(shù)滿足

二、常見神經(jīng)網(wǎng)絡(luò)理論

1、BP神經(jīng)網(wǎng)絡(luò)

BP(Back propagation)神經(jīng)網(wǎng)絡(luò)，又稱前向反饋神經(jīng)網(wǎng)絡(luò)，主要是網(wǎng)絡(luò)訓(xùn)練中，調(diào)整權(quán)值和閥值的訓(xùn)練算法時反向傳播算法（即BP學(xué)習(xí)算法），也是神經(jīng)網(wǎng)絡(luò)的精華和完美的內(nèi)容。 ? ? BP神經(jīng)網(wǎng)絡(luò)是一種有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，概括輸入層、中間層（隱含層）和輸出層，上下層之間全連接，同層之間神經(jīng)元無連接。

?當(dāng)一對學(xué)習(xí)樣本提供給輸入層神經(jīng)元后，神經(jīng)元的激活值（該層神經(jīng)元的輸出值）從輸入層經(jīng)過各隱含層神經(jīng)元向輸出層傳播，在輸出層獲得網(wǎng)絡(luò)的輸入響應(yīng)，然后按照減少網(wǎng)絡(luò)輸出與實際樣本樣本之間誤差的反向，從輸出層反向經(jīng)過隱含層回到輸入層，從而逐步修正連接權(quán)值，這種算法稱為“誤差反向傳播算法”，即BP算法。隨著這種誤差逆向傳播修正的反復(fù)進行，網(wǎng)絡(luò)對輸入模式相應(yīng)的正確率不斷上升，BP算法的核心是“負梯度下降”理論，即BP神經(jīng)網(wǎng)絡(luò)的誤差調(diào)整總是沿著誤差下降最快的方向進行。

為了更好地理解BP神經(jīng)網(wǎng)絡(luò)，我們來看一個簡單的例子：假設(shè)我們要訓(xùn)練一個網(wǎng)絡(luò)來判斷一張圖片中的數(shù)字是1還是0。

首先，我們將每個像素點作為輸入層的一個神經(jīng)元，并將它們與隱藏層的每個神經(jīng)元連接起來。隱藏層可以有多個神經(jīng)元，影響網(wǎng)絡(luò)的復(fù)雜度和表示能力。

然后，我們將隱藏層的每個神經(jīng)元與輸出層的兩個神經(jīng)元（代表數(shù)字1和0）相連。

在訓(xùn)練過程中，我們將輸入一張圖片，網(wǎng)絡(luò)將對其進行前向傳播，即通過網(wǎng)絡(luò)計算出預(yù)測結(jié)果。然后，我們將預(yù)測結(jié)果與實際標(biāo)簽進行比較，并計算出損失函數(shù)（通常使用交叉熵損失）來衡量預(yù)測的錯誤程度。

接下來，反向傳播算法將根據(jù)損失函數(shù)的梯度來調(diào)整每個連接的權(quán)重，以減小損失函數(shù)的值。這個過程會逐漸優(yōu)化網(wǎng)絡(luò)的預(yù)測能力，使得網(wǎng)絡(luò)能夠更準(zhǔn)確地判斷輸入圖片中的數(shù)字是1還是0。

通過不斷迭代上述步驟，網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重參數(shù)將使其在對新的圖片進行數(shù)字分類時具有較好的準(zhǔn)確性。

2、徑向基網(wǎng)絡(luò)?

?RBF(Radical Basis Function)神經(jīng)網(wǎng)絡(luò)。生物學(xué)中，中樞神經(jīng)元的感受視野是指能影響某一神經(jīng)元反應(yīng)的視網(wǎng)膜或視野的區(qū)域。視網(wǎng)膜上的感受器（桿體細胞和錐體細胞）通過接受光并將它轉(zhuǎn)換為神經(jīng)輸出信號，從而不同程度地激活眾多神經(jīng)節(jié)細胞、外膝狀體細胞以及視覺皮層中的神經(jīng)細胞。RBF神經(jīng)網(wǎng)絡(luò)是模擬視網(wǎng)膜的感受功能而產(chǎn)生的，其基本特征是：

（1）距離感受視野中心的越近，視神經(jīng)元越興奮，距離感受中心越遠，視神經(jīng)元響應(yīng)越消極； （2）視神經(jīng)元的激活區(qū)域呈現(xiàn)徑向?qū)ΨQ。

?綜上所述，隱含層的視神經(jīng)元的刺激函數(shù)常用高斯函數(shù)，即（i為隱含層第i神經(jīng)元）

而輸入和輸出則采用線性激勵函數(shù)。其中，x為輸入樣本，ci為感受視野中心，σ為寬度，exp( )為隱含層輸出。文章來源地址http://www.zghlxwxcb.cn/news/detail-716261.html

?RBF學(xué)習(xí)方法

• 聚類方法? ：? 首選k聚類，即先用k—means方法確定網(wǎng)絡(luò)數(shù)據(jù)的中心，然后根據(jù)各數(shù)據(jù)與中心的距離，確定隱含層神經(jīng)元函數(shù)的寬度。
• 梯度訓(xùn)練法? ：根據(jù)能量函數(shù)使用負梯度訓(xùn)練原理自行調(diào)節(jié)各神經(jīng)元的數(shù)據(jù)中心、寬度、權(quán)值。
• 正交最小二乘(OLS)訓(xùn)練方法：依據(jù)能量的貢獻，使各隱含層神經(jīng)元的基函數(shù)之間趨于正交，從而使基函數(shù)之間沒有信息冗余和性能相互嵌套。

到了這里，關(guān)于數(shù)學(xué)建?！斯ど窠?jīng)網(wǎng)絡(luò)模型的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！