本專欄是網(wǎng)易云課堂人工智能課程《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》的學(xué)習(xí)筆記，視頻由網(wǎng)易云課堂與 deeplearning.ai 聯(lián)合出品，主講人是吳恩達(dá) Andrew Ng 教授。感興趣的網(wǎng)友可以觀看網(wǎng)易云課堂的視頻進(jìn)行深入學(xué)習(xí)，視頻的鏈接如下：
https://mooc.study.163.com/course/2001281002
也歡迎對神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)感興趣的網(wǎng)友一起交流 ~
目錄
1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
2 激活函數(shù)
3 隨機(jī)初始化
1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
????????你可以把很多 sigmoid?單元堆疊起來，構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)對應(yīng)兩個(gè)計(jì)算步驟：前一層輸出的線性組合（z?值），以及非線性激活（a?值）。
????????對于包含 2 層 sigmoid 單元的神經(jīng)網(wǎng)絡(luò)，用??表示輸入特征，第一層參數(shù) ，第二層參數(shù)?，有
????????神經(jīng)網(wǎng)絡(luò)可以分成輸入層（Input Layer）、隱藏層（Hidden Layer）和輸出層（Output Layer）。上圖中的神經(jīng)網(wǎng)絡(luò)被稱為雙層神經(jīng)網(wǎng)絡(luò)（2 Layer Neural Network），輸入層不被計(jì)算，原因是輸入層不包含參數(shù)和非線性激活過程。
????????在使用監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練集包含了輸入 x?和輸出?y，隱藏層的含義是，在訓(xùn)練集中，你無法看到中間節(jié)點(diǎn)的數(shù)值。
2 激活函數(shù)
????????當(dāng)構(gòu)建神經(jīng)網(wǎng)絡(luò)時(shí)，你可以選擇隱藏層用哪一個(gè)激活函數(shù)，以及輸出單元用什么激活函數(shù)。
????????tanh 函數(shù)是 sigmoid 函數(shù)的平移版本。通常情況下，tanh 函數(shù)比 sigmoid 函數(shù)更好。但是這兩個(gè)函數(shù)有一個(gè)·缺點(diǎn)：當(dāng) z 很大或很小時(shí)，函數(shù)的梯度值接近 0，這個(gè)問題被稱為”梯度消失問題”。
????????另外兩個(gè)常用的激活函數(shù)是 ReLU 函數(shù)和帶泄露的 ReLU 函數(shù)。
3 隨機(jī)初始化
? ? ? ? 當(dāng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，初始化權(quán)重的選取非常重要。對于 Logistic 回歸，你可以將初始權(quán)重設(shè)為 0。但是對于神經(jīng)網(wǎng)絡(luò)，在初始值全 0 的情況下，神經(jīng)網(wǎng)絡(luò)中的隱藏單元都在進(jìn)行完全相同的計(jì)算，這時(shí)隱藏單元的數(shù)量將失去意義。
文章來源：http://www.zghlxwxcb.cn/news/detail-519953.html
? ? ? ? 問題的解決方案是隨機(jī)初始化權(quán)重 ?，通常的做法是使用 random 函數(shù)隨機(jī)生成數(shù)值，為了避免初始權(quán)值太大導(dǎo)致梯度下降法變慢，可以乘上一個(gè)小的系數(shù)，比如 0.01，不過偏置值 ?是可以初始化為 0 的。文章來源地址http://www.zghlxwxcb.cn/news/detail-519953.html
到了這里，關(guān)于【深度學(xué)習(xí)筆記】淺層神經(jīng)網(wǎng)絡(luò)的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
