深度學(xué)習(xí)基礎(chǔ)
卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別
深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別
目標(biāo)函數(shù)
選擇合適的目標(biāo)函數(shù)
Softmax層
改進(jìn)的梯度下降
梯度消失的直觀解釋
激活函數(shù)
學(xué)習(xí)步長(zhǎng)
SGD的問題
存在馬鞍面,使我們的訓(xùn)練卡住,于是提出下面方法:
Momentum動(dòng)量
Nesterov Momentum
先利用“慣性”,“走”一步。避免一開始,就被當(dāng)前梯度帶偏。
Adagrad
為不同的參數(shù)設(shè)置不同的學(xué)習(xí)步長(zhǎng)。
RMSprop
改進(jìn)的Adagrad。使:
小的可以變大,大的可以變小。
Adam
各種梯度下降算法比較
關(guān)于算法選擇的建議
Batch Normalization的由來
量綱不同,需要進(jìn)行歸一化處理。
避免過適應(yīng)
早期停止訓(xùn)練
權(quán)重衰減
Dropout
測(cè)試時(shí)權(quán)重應(yīng)減小
CNN初步介紹
CNN的基本組件
CNN卷積層
CNN池化層
通道數(shù)沒變,尺度大小變了。
CNN-Softmax層
池化層的誤差反向傳播
卷積層計(jì)算
卷積層運(yùn)算的展開表示
與全連接是有區(qū)別的。
卷積層的誤差反向傳播
轉(zhuǎn)了180度
下面是殘差文章來源:http://www.zghlxwxcb.cn/news/detail-624910.html
下面是梯度·文章來源地址http://www.zghlxwxcb.cn/news/detail-624910.html
到了這里,關(guān)于計(jì)算機(jī)視覺(五)深度學(xué)習(xí)基礎(chǔ)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!