卷積神經(jīng)網(wǎng)絡(luò)
CNN，是針對(duì)圖像領(lǐng)域提出的神經(jīng)網(wǎng)絡(luò)。
貓的視覺(jué)系統(tǒng)實(shí)驗(yàn)
得出的結(jié)論：
- 神經(jīng)元存在局部感受區(qū)域，也稱(chēng) 感受野
- 細(xì)胞對(duì)角度有選擇性
如細(xì)胞對(duì)垂直光條響應(yīng)最強(qiáng) - 細(xì)胞對(duì)運(yùn)動(dòng)方向有選擇性
對(duì)CNN的啟發(fā)
1.視覺(jué)系統(tǒng)是分層，分級(jí)處理的。從低到高堆疊使用卷積和池化。
2.神經(jīng)系統(tǒng)是存在局部感受區(qū)域的。
第一個(gè)神經(jīng)網(wǎng)絡(luò)
第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)雛形 — 新認(rèn)知機(jī)
1980年，日本使用c和s兩個(gè)細(xì)胞堆疊使用，相當(dāng)于卷積和池化。
缺點(diǎn)：沒(méi)有反向傳播更新權(quán)值。
第一個(gè)大型商用卷積神經(jīng)網(wǎng)絡(luò) — Lenet-5
1989年美國(guó)，用于手寫(xiě)郵政編碼識(shí)別。
缺點(diǎn)：沒(méi)有大規(guī)模數(shù)據(jù)和高性能計(jì)算。
第一個(gè)技驚四座的卷積神經(jīng)網(wǎng)絡(luò) – AlexNet
2012年，圖像領(lǐng)域霸主。
成功秘訣：
GPU
卷積層
圖像識(shí)別特點(diǎn)
1.特征具有局部性：如老虎”王“字
卷積核每次只鏈接K*K尺寸，相當(dāng)于卷積核尺寸大小
2.特征可能出現(xiàn)在任意位置
3.調(diào)整了圖片的尺寸，但是圖像識(shí)別目標(biāo)不會(huì)受到影響。
卷積核：
具可學(xué)習(xí)參數(shù)的算子，用于對(duì)輸入圖像進(jìn)行特征提取，輸出通常稱(chēng)為特征圖。
理解：
- 可學(xué)習(xí)參數(shù)的算子：是指卷積核的權(quán)重，是在反向傳播過(guò)程中優(yōu)化學(xué)習(xí)的，能夠逐漸更好的提取圖像特征。
- 輸出為特征圖：卷積操作的結(jié)果是特征圖，是通過(guò)在輸入圖像上面滑動(dòng)卷積核得到的。
2012年，AlexNet第一個(gè)卷積核呈現(xiàn)邊緣，頻率和色彩的特征。
填充
在輸入圖像周?chē)炜疹~外的行或者列
作用：
使得卷積后的圖像尺寸不變，彌補(bǔ)特征圖像提取后邊界信息的丟失。
步幅
卷積核滑動(dòng)的行數(shù)和列數(shù)，控制輸出特征圖大小，會(huì)被縮小1/s倍。
輸出圖像尺寸計(jì)算
多通道卷積
多通道卷積:RGB圖像是3hw的三維的數(shù)據(jù)，第一個(gè)維度3表示通道數(shù)channel，一個(gè)卷積核是3-D張量，第一個(gè)維與輸入通道有關(guān)。
解釋?zhuān)?是通道數(shù)，h是高度，w為寬度。
多通道卷積考慮了每個(gè)通道的信息。
一個(gè)卷積核是3-D張量：指的是每個(gè)卷積核都包括通道數(shù)，高度和寬度的信息。
池化層
池化層的解釋
1.池化層也是一個(gè)特征圖，如下所示：
池化層一個(gè)像素就代表了前團(tuán)一片區(qū)域的像素值。
通過(guò)這種方式降低了圖像分辨率。
2.那前面的一個(gè)像素就代表了前團(tuán)一片區(qū)域的像素值怎么實(shí)現(xiàn)呢？
- 取最大值，如上圖左邊所示
- 取最小值，如上圖右邊所示
3.輸出圖像的尺寸大小計(jì)算方式與卷積核計(jì)算方式相同。
注意：池化層沒(méi)有學(xué)習(xí)參數(shù)。
池化的作用
1.緩解卷積層對(duì)位置的過(guò)度敏感。
2.減少冗余。
3.降低圖像分辨率，從而減少參數(shù)量。
CNN
卷積計(jì)算
卷積其實(shí)是將卷積核反轉(zhuǎn)180°之后的互相關(guān)操作，互相關(guān)就是最開(kāi)始的點(diǎn)乘。
相乘后相加的到最后輸出圖像，取正方體的時(shí)候依次平移。
平移的距離是步長(zhǎng)。
CNN的超參數(shù)和參數(shù)
CNN的代價(jià)函數(shù)
代價(jià)函數(shù)是指：?jiǎn)蝹€(gè)或者整體訓(xùn)練樣本與真實(shí)值之間的偏差。
交叉熵
交叉熵是一種代價(jià)函數(shù)，通常越小代表模型預(yù)測(cè)和實(shí)際情況越一致。
CNN反向傳播-卷積層
反向傳播中的filter（過(guò)濾器）旋轉(zhuǎn)與卷積
最簡(jiǎn)單情況：
步長(zhǎng)為一，通道為一，過(guò)濾器為一。
情況2：
步長(zhǎng)為一，通道為D，過(guò)濾器為一。
- 當(dāng)輸入的通道為D，則過(guò)濾器的通道也為D。
情況3：
步長(zhǎng)為一，通道為一，過(guò)濾器為N。
過(guò)濾器的數(shù)量為N，則輸出層的通道也為N。
情況4：
步長(zhǎng)為一，通道為D，過(guò)濾器為N。
卷積層權(quán)重更新
卷積層權(quán)值共享。
polling層（采樣層）權(quán)重更新
無(wú)論是max polling 還是mean polling 都沒(méi)有需要學(xué)習(xí)的參數(shù)。
polling層需要做的僅僅是將誤差傳遞給上一層，沒(méi)有梯度的計(jì)算。
1.對(duì)于最大采樣（max polling），它的誤差會(huì)原封不動(dòng)的給上一層最大值對(duì)應(yīng)的神經(jīng)元，而其他神經(jīng)元誤差都是0.
2.對(duì)于mean polling（平均采樣），它的誤差會(huì)平均分給上一層對(duì)應(yīng)區(qū)塊的所有神經(jīng)元。
網(wǎng)絡(luò)優(yōu)化
網(wǎng)絡(luò)優(yōu)化
準(zhǔn)備階段：
- 數(shù)據(jù)預(yù)處理
- 網(wǎng)絡(luò)搭建（歸一化，正則化）
- 網(wǎng)絡(luò)參數(shù)的初始化
訓(xùn)練階段
- 前向傳播（歸一化，正則化）
- 反向傳播
- 參數(shù)更新（優(yōu)化算法）
等高線
概念：地圖上高度相等各點(diǎn)形成的閉合曲線。
三個(gè)函數(shù)
損失函數(shù)：?jiǎn)蝹€(gè)樣本的與真實(shí)值之間的誤差。
代價(jià)函數(shù)：數(shù)據(jù)整體與真實(shí)值之間的誤差。
目標(biāo)函數(shù)：經(jīng)驗(yàn)風(fēng)險(xiǎn)（代價(jià)函數(shù)）+ 結(jié)構(gòu)風(fēng)險(xiǎn)。
經(jīng)驗(yàn)風(fēng)險(xiǎn)：最小化訓(xùn)練集上的經(jīng)驗(yàn)損失。
結(jié)構(gòu)風(fēng)險(xiǎn)：通過(guò)正則防止過(guò)擬合。
梯度下降法
什么是梯度下降法：如何通俗地解釋梯度下降法_嗶哩嗶哩_bilibili
因?yàn)樯窠?jīng)網(wǎng)絡(luò)參數(shù)很多，無(wú)法直接對(duì)損失函數(shù)求解，需要通過(guò)逼近的方法來(lái)求解，達(dá)到極值點(diǎn)。
- 參數(shù)初始化，定義損失函數(shù)。
- 計(jì)算損失函數(shù)關(guān)于參數(shù)梯度。
- 更新參數(shù)模型。
- 重復(fù)2，3 直到損失函數(shù)不再下降。
其中，BGD,SGD,MBGD,SGDM。統(tǒng)稱(chēng)為SGD。
它們幾個(gè)計(jì)算梯度的方式不同：
- BGD：采用所有樣本計(jì)算梯度。
- SGD：采用單個(gè)樣本計(jì)算梯度。
- MBGD：采用K個(gè)樣本計(jì)算梯度。
學(xué)習(xí)率:
學(xué)習(xí)率是梯度前面的參數(shù)文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-789434.html
設(shè)置過(guò)小，loss下降慢，收斂速度慢。
設(shè)置過(guò)大，loss下降快，無(wú)法收斂。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-789434.html
- 線性學(xué)習(xí)率：loss下降穩(wěn)定。
- 周期學(xué)習(xí)率：特定網(wǎng)絡(luò)下效果較好。
到了這里，關(guān)于人工智能卷積神經(jīng)網(wǎng)絡(luò)，CNN，梯度下降的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
