神經(jīng)網(wǎng)絡(luò)分層
神經(jīng)網(wǎng)絡(luò)的一個重要性質(zhì)是它可以自動地從數(shù)據(jù)中學(xué)習(xí)到合適的權(quán)重參數(shù)。
用圖來表示神經(jīng)網(wǎng)絡(luò)的話，把最左邊的一列稱為輸入層，最右邊的一列稱為輸出層，中間的一列稱為中間層。中間層有時也叫隱藏層（或隱含層）
實現(xiàn)3層神經(jīng)網(wǎng)絡(luò)
首先了解下權(quán)重符號的定義
圖中權(quán)重w
**上標 (1)**表示的是第1層的權(quán)重
下標 1 表示后一層的第1個神經(jīng)元
下標 2 表示前一層的第2個神經(jīng)元
權(quán)重右下角按照“后一層的索引號、前一層的索引號”的順序排列。
各層間信號傳遞的實現(xiàn)
圖中增加了表示偏置b的神經(jīng)元“1”。請注意，偏置的右下角的索號只有一個。這是因為前一層的偏置神經(jīng)元(神經(jīng)元“1”)只有一個.
為了確認前面的內(nèi)容，現(xiàn)在用數(shù)學(xué)式表示 a1，其通過加權(quán)信號和偏置按如下方式進行計算
a1(1) = w11(1) x1 +w12(1) x2+ b1(1)
如果使用矩陣的乘法運算，則可以將第1層的加權(quán)和表示成下面的式子
A(1) = XW(1)+ B(1)
其中，各參數(shù)的表示如下：
因為上標都是(1) 所以在下面的式子中省略(1)
A
=
(
a
?
1
?
a
?
21
?
a
?
31
?
)
(0)
A= \begin{pmatrix} a~1~ & a~21~ & a~31~ \\ \end{pmatrix} \tag{0}
A=(a?1??a?21??a?31??)(0)
X
=
(
x
?
1
?
x
?
2
?
)
(0)
X= \begin{pmatrix} x~1~ & x~2~ \\ \end{pmatrix} \tag{0}
X=(x?1??x?2??)(0)
B
=
(
b
?
1
?
b
?
2
?
b
?
3
?
)
(0)
B= \begin{pmatrix} b~1~ & b~2~ & b~3~\\ \end{pmatrix} \tag{0}
B=(b?1??b?2??b?3??)(0)
W = ( w ? 11 ? w ? 21 ? w ? 31 ? w ? 12 ? w ? 22 ? w ? 32 ? ) (0) W= \begin{pmatrix} w~11~ & w~21~ & w~31~ \\ w~12~ & w~22~ & w~32~ \\ \end{pmatrix} \tag{0} W=(w?11?w?12??w?21?w?22??w?31?w?32??)(0)
下面用NumPy多維數(shù)組來實現(xiàn)
X=np.array([1.0, 0.5])
W1 = np.array([0.1,0.3,0.5],[0.2,0.4,0.6])
B1=np.array([0.1,0.2,0.3])
print(W1.shape)
print(X.shape)
print(B1.shape)
A1 = np.dot(X,W1)+B1
隱藏層的加權(quán)和(加權(quán)信號和偏置的總和)用a表示，被激活函數(shù)轉(zhuǎn)換后的信號用z表示。此外，圖中h()表示激活函數(shù)，這里我們使用的是sigmoid函數(shù)。
X=np.array([1.0, 0.5])
W1 = np.array([0.1,0.3,0.5],[0.2,0.4,0.6])
B1=np.array([0.1,0.2,0.3])
print(W1.shape)
print(X.shape)
print(B1.shape)
A1 = np.dot(X,W1)+B1
Z2 =sigmoid(A2)
最后是第2層到輸出層的信號傳遞(圖3-20)。輸出層的實現(xiàn)也和之前的實現(xiàn)基本相同。不過，最后的激活函數(shù)和之前的隱藏層有所不同。
def identity_function(x):
return x
W3 = np.array([[0.1，0.3]，[0.2，0.4]])
B3 = np.array([0.1，0.2])
A3 =np.dot(Z2，W3)+ B3
Y=identity_function(A3) # 或Y=A3
identity_function()函數(shù)也叫恒等函數(shù)并將其作為輸出層的激活函數(shù)。
另外要注意的是，在下圖中輸出層的激活函數(shù)用 σ()
表示，不同于隱藏層的激活函數(shù)h()
輸出層所用的激活函數(shù)，要根據(jù)求解問題的性質(zhì)決定
回歸問題使用恒等函數(shù) (回歸一般用于預(yù)測，當(dāng)然也可用于分類)
二元分類使用sigmoid函數(shù)
多元分類可以使用softmax函數(shù)
代碼總結(jié)
def init_network():
network={}
network['W1'] = np.array([0.1,0.3,0.5],[0.2,0.4,0.6])
network['b1'] = np.array([0.1,0.2,0.3])
network['W2'] = np.array([0.1,0.4],[0.2,0.5],[0.3,0.6])
network['b2'] = np.array([0.1,0.2])
network['W3'] = np.array([0.1,0.3],[0.2,0.4])
network['b2'] = np.array([0.1,0.2])
return network
def forward(network, x):
W1, W2, W3 = network['W1'], network['W2'], network['W3']
b1, b2, b3 = network['b1'], network['b2'], network['b3']
a1 = np.dot(x, W1) + b1
z1 = sigmoid(a1)
a2 = np.dot(z1, W2) + b2
z2 = sigmoid(a2)
a3 = np.dot(z2, W3) + b3
y = identity_function(a3)
return y
network = init_network()
x=np.array([1.0,0.5])
y=forward(network, x)
print(y)
這樣通過NumPy多維數(shù)組，可以實現(xiàn)神經(jīng)網(wǎng)絡(luò)文章來源：http://www.zghlxwxcb.cn/news/detail-490492.html
補充知識：
回歸問題多用來預(yù)測一個具體的數(shù)值，如預(yù)測房價、未來的天氣情況等等。例如我們根據(jù)一個地區(qū)的若干年的PM2.5數(shù)值變化來估計某一天該地區(qū)的PM2.5值大小，預(yù)測值與當(dāng)天實際數(shù)值大小越接近，回歸分析算法的可信度越高。文章來源地址http://www.zghlxwxcb.cn/news/detail-490492.html
到了這里，關(guān)于【深度學(xué)習(xí)】2-2 神經(jīng)網(wǎng)絡(luò) - 前向傳播實現(xiàn)3層神經(jīng)網(wǎng)絡(luò)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
