深度學(xué)習(xí)面試必備 1：（MLP/激活函數(shù)/softmax/損失函數(shù)/梯度/梯度下降/學(xué)習(xí)率/反向傳播/深度學(xué)習(xí)面試
深度學(xué)習(xí)面試必備 2：（梯度下降/卷積/池化/歸一化/AlexNet/歸一化/Dropout/卷積核/深度學(xué)習(xí)面試
深度學(xué)習(xí)面試必備 3 ：物體檢測(cè)（Anchor base/NMS/softmax/損失函數(shù)/BCE/CE/zip）文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-663154.html

18、?請(qǐng)說(shuō)明Momentum、AdaGrad、Adam梯度下降法的特點(diǎn)

Momentum、AdaGrad、Adam是針對(duì)SGD梯度下降算法的缺點(diǎn)的改進(jìn)算法。在SGD算法中，如果函數(shù)的形狀非均向（參數(shù)大小差異較大），SGD的搜索路徑會(huì)呈“之字形”移動(dòng)，搜索效率較低。如下圖所示：?

?1）Momentum

Momentum是“動(dòng)量”的意思，和物理有關(guān)。用數(shù)學(xué)式表示Momentum方法，如下所示：

其中，W表示要更新的權(quán)重參數(shù)，?L/?w表示W(wǎng)的梯度，η表示學(xué)習(xí)率，v對(duì)應(yīng)物理上的速度。在物體不受任何力時(shí)，該項(xiàng)承擔(dān)使物體逐漸減速的任務(wù)（α設(shè)定為0.9之類(lèi)的值），對(duì)應(yīng)物理上的地面摩擦或空氣阻力。和SGD相比，我們發(fā)現(xiàn)“之”字形的“程度”減輕了。這是因?yàn)椋m然x軸方向上受到的力非常小，但是一直在同一方向上受力，所以朝同一個(gè)方向會(huì)有一定的加速。反過(guò)來(lái)，雖然y軸方向上受到的力很大，但是因?yàn)榻换サ厥艿秸较蚝头捶较虻牧?，它們?huì)互相抵消，所以y軸方向上的速度不穩(wěn)定。因此，和SGD時(shí)的情形相比，可以更快地朝x軸方向靠近，減弱“之”字形的變動(dòng)程度。如下圖所示：?

2）AdaGrad

AdaGrad會(huì)為參數(shù)的每個(gè)元素適當(dāng)?shù)卣{(diào)整學(xué)習(xí)率，與此同時(shí)進(jìn)行學(xué)習(xí)（AdaGrad的Ada來(lái)自英文單詞Adaptive，即“適當(dāng)?shù)摹钡囊馑迹?，其表達(dá)式為：

?其中，W表示要更新的權(quán)重參數(shù)，$\frac{\partial L}{\partial W}$表示W(wǎng)的梯度，$\eta$表示學(xué)習(xí)率，$\frac{\partial L} {\partial W} \bigodot \frac{\partial L} {\partial W}$表示所有梯度值的平方和。在參數(shù)更新時(shí)，通過(guò)乘以$\frac{1}{\sqrt h}$就可以調(diào)整學(xué)習(xí)的尺度。這意味著，參數(shù)的元素中變動(dòng)較大（被大幅更新）的元素的學(xué)習(xí)率將變小。也就是說(shuō)，可以按參數(shù)的元素進(jìn)行學(xué)習(xí)率衰減，使變動(dòng)大的參數(shù)的學(xué)習(xí)率逐漸減小。其收斂路徑如下圖所示：

3）Adam

Adam是2015年提出的新方法。它的理論有些復(fù)雜，直觀地講，就是融合了Momentum和AdaGrad的方法。通過(guò)組合前面兩個(gè)方法的優(yōu)點(diǎn)，有望實(shí)現(xiàn)參數(shù)空間的高效搜索。其收斂路徑如下圖所：?

?以下是幾種梯度下降算法的收斂情況對(duì)比：

19. 什么是卷積函數(shù)?

卷積函數(shù)指一個(gè)函數(shù)和另一個(gè)函數(shù)在某個(gè)維度上的加權(quán)“疊加”作用，其表達(dá)式為：?

?離散化卷積函數(shù)表示為：

20. 二維卷積運(yùn)算中，輸出矩陣大小與輸入矩陣、卷積核大小、步幅、填充的關(guān)系？

• OH：輸出高
• OW：輸出寬
• H：輸入高
• W：輸入寬
• P：padding層數(shù)
• FH：卷積核高
• FW：卷積核寬
• S：步長(zhǎng)

21. 什么是池化，池化層的作用是什么

也稱(chēng)子采樣層或下采樣層（Subsampling Layer），目的是縮小高、長(zhǎng)方向上的空間的運(yùn)算，以降低計(jì)算量，提高泛化能力。?

22. 什么是最大池化、平均池化

最大池化：取池化區(qū)域內(nèi)的最大值作為池化輸出
平均池化：取池化區(qū)域內(nèi)的平均值作為池化輸出

23. 池化層有什么特征

1）沒(méi)有要學(xué)習(xí)的參數(shù)
2）通道數(shù)不發(fā)生變化
3）對(duì)微小的變化具有魯棒性

24. 什么是歸一化， 為什么要進(jìn)行歸一化?

1）歸一化的含義。歸一化是指歸納統(tǒng)一樣本的統(tǒng)計(jì)分布性。歸一化在 $ 0-1$ 之間是統(tǒng)計(jì)的概率分布，歸一化在$ -1--+1$ 之間是統(tǒng)計(jì)的坐標(biāo)分布
2）歸一化處理的目的

• 為了后面數(shù)據(jù)處理的方便，歸一化的確可以避免一些不必要的數(shù)值問(wèn)題
• 為了程序運(yùn)行時(shí)收斂加快
• 統(tǒng)一量綱。樣本數(shù)據(jù)的評(píng)價(jià)標(biāo)準(zhǔn)不一樣，需要對(duì)其量綱化，統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)
• 避免神經(jīng)元飽和。當(dāng)神經(jīng)元的激活在接近 0 或者 1 時(shí)會(huì)飽和，在這些區(qū)域，梯度幾乎為 0，這樣，在反向傳播過(guò)程中，局部梯度就會(huì)接近 0，這會(huì)有效地“殺死”梯度。?

25. 什么是批量歸一化，其優(yōu)點(diǎn)是什么?

1）批量歸一化（Batch Normalization，簡(jiǎn)寫(xiě)B(tài)N）指在神經(jīng)網(wǎng)絡(luò)中間層也進(jìn)行歸一化處理，使訓(xùn)練效果更好的方法，就是批量歸一化。
2）優(yōu)點(diǎn)

• 減少了人為選擇參數(shù)。在某些情況下可以取消 dropout 和 L2 正則項(xiàng)參數(shù),或者采取更小的 L2 正則項(xiàng)約束參數(shù)；
• 減少了對(duì)學(xué)習(xí)率的要求?，F(xiàn)在我們可以使用初始很大的學(xué)習(xí)率或者選擇了較小的學(xué)習(xí)率，算法也能夠快速訓(xùn)練收斂；
• 可以不再使用局部響應(yīng)歸一化（BN 本身就是歸一化網(wǎng)絡(luò)) ；
• 破壞原來(lái)的數(shù)據(jù)分布，一定程度上緩解過(guò)擬合；
• 減少梯度消失，加快收斂速度，提高訓(xùn)練精度。?

26. 請(qǐng)列舉AlexNet的特點(diǎn)

1. 使用ReLU作為激活函數(shù)，并驗(yàn)證其效果在較深的網(wǎng)絡(luò)超過(guò)了Sigmoid，成功解決了Sigmoid在網(wǎng)絡(luò)較深時(shí)的梯度消失問(wèn)題
2. 使用Dropout（丟棄學(xué)習(xí)）隨機(jī)忽略一部分神經(jīng)元防止過(guò)擬合
3. 在CNN中使用重疊的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果
4. 提出了LRN（Local Response Normalization，局部正規(guī)化）層，對(duì)局部神經(jīng)元的活動(dòng)創(chuàng)建競(jìng)爭(zhēng)機(jī)制，使得其中響應(yīng)比較大的值變得相對(duì)更大，并抑制其他反饋較小的神經(jīng)元，增強(qiáng)了模型的泛化能力
5. 使用CUDA加速深度卷積網(wǎng)絡(luò)的訓(xùn)練，利用GPU強(qiáng)大的并行計(jì)算能力，處理神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)大量的矩陣運(yùn)算?

27. 什么是dropout操作，dropout的工作原理？?

1）定義
Dropout是用于深度神經(jīng)網(wǎng)絡(luò)防止過(guò)擬合的一種方式，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，通過(guò)忽略一定比例
的特征檢測(cè)器（讓一半的隱層節(jié)點(diǎn)值為0），可以明顯地減少過(guò)擬合現(xiàn)象。這種方式可以減少特征檢測(cè)器（隱層節(jié)點(diǎn)）間的相互作用，檢測(cè)器相互作用是指某些檢測(cè)器依賴其他檢測(cè)器才能發(fā)揮作用。簡(jiǎn)單來(lái)說(shuō)，在前向傳播的時(shí)候，讓某個(gè)神經(jīng)元的激活值以一定的概率P停止工作，這樣可以使模型泛化性更強(qiáng)，因?yàn)樗粫?huì)太依賴某些局部的特征。
2）dropout工作原理
假設(shè)我們要訓(xùn)練這樣一個(gè)網(wǎng)絡(luò)，結(jié)構(gòu)如左圖所示：

?

輸入是x輸出是y，正常的流程是：我們首先把x通過(guò)網(wǎng)絡(luò)前向傳播，然后把誤差反向傳播以決定如何更新參數(shù)讓網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。使用Dropout之后，過(guò)程變成如右圖:

（1）首先隨機(jī)（臨時(shí)）刪掉網(wǎng)絡(luò)中一半的隱藏神經(jīng)元，輸入輸出神經(jīng)元保持不變（上圖中虛線表示臨時(shí)被刪除的神經(jīng)元）
（2） 然后把輸入x通過(guò)修改后的網(wǎng)絡(luò)前向傳播，然后把得到的損失結(jié)果通過(guò)修改的網(wǎng)絡(luò)反向傳播。一小批訓(xùn)練樣本執(zhí)行完這個(gè)過(guò)程后，在沒(méi)有被刪除的神經(jīng)元上按照隨機(jī)梯度下降法更新對(duì)應(yīng)的參數(shù)（w，b）
（3）然后繼續(xù)重復(fù)以下過(guò)程：

• 恢復(fù)被刪掉的神經(jīng)元（此時(shí)被刪除的神經(jīng)元保持原樣，而沒(méi)有被刪除的神經(jīng)元已經(jīng)有所更新）
• 從隱藏層神經(jīng)元中隨機(jī)選擇一定比率子集臨時(shí)刪除掉（備份被刪除神經(jīng)元的參數(shù)）
• 對(duì)一小批訓(xùn)練樣本，先前向傳播然后反向傳播損失并根據(jù)隨機(jī)梯度下降法更新參數(shù)（w，b） （沒(méi)有被刪除的那一部分參數(shù)得到更新，刪除的神經(jīng)元參數(shù)保持被刪除前的結(jié)果）

3）為什么dropout能避免過(guò)擬合
（1）取平均作用。不同的網(wǎng)絡(luò)可能產(chǎn)生不同的過(guò)擬合，取平均則有可能讓一些“相反的”擬合互相抵消。
（2）減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系。因?yàn)閐ropout程序?qū)е聝蓚€(gè)神經(jīng)元不一定每次都在一個(gè)
dropout網(wǎng)絡(luò)中出現(xiàn)。這樣權(quán)值的更新不再依賴于有固定關(guān)系的隱含節(jié)點(diǎn)的共同作用，阻止了某些特征
僅僅在其它特定特征下才有效果的情況 。迫使網(wǎng)絡(luò)去學(xué)習(xí)更加魯棒的特征 ，這些特征在其它的神經(jīng)元
的隨機(jī)子集中也存在。?

28. 卷積層和池化層有什么區(qū)別

卷積層和池化層在結(jié)構(gòu)上具有一定的相似性，都是對(duì)感受域內(nèi)的特征進(jìn)行提取，并且根據(jù)步長(zhǎng)設(shè)置
獲取到不同維度的輸出，但是其內(nèi)在操作是有本質(zhì)區(qū)別的，如下表所示：?

?29. 如何選擇卷積核大小

在早期的卷積神經(jīng)網(wǎng)絡(luò)中（如LeNet-5、AlexNet），用到了一些較大的卷積核（$11\times11$），受限于當(dāng)時(shí)的計(jì)算能力和模型結(jié)構(gòu)的設(shè)計(jì)，無(wú)法將網(wǎng)絡(luò)疊加得很深，因此卷積網(wǎng)絡(luò)中的卷積層需要設(shè)置較大的卷積核以獲取更大的感受域。但是這種大卷積核反而會(huì)導(dǎo)致計(jì)算量大幅增加，不利于訓(xùn)練更深層的模型，相應(yīng)的計(jì)算性能也會(huì)降低。后來(lái)的卷積神經(jīng)網(wǎng)絡(luò)（VGG、GoogLeNet等），發(fā)現(xiàn)通過(guò)堆疊2個(gè)$3\times 3$卷積核可以獲得與$5\times 5$卷積核相同的感受視野，同時(shí)參數(shù)量會(huì)更少（$3×3×2+1$ < $ 5×5×1+1$），$3\times 3$卷積核被廣泛應(yīng)用在許多卷積神經(jīng)網(wǎng)絡(luò)中。因此可以認(rèn)為，在大多數(shù)情況下通過(guò)堆疊較小的卷積核比直接采用單個(gè)更大的卷積核會(huì)更加有效。

30. 如何提高圖像分類(lèi)的準(zhǔn)確率

1）樣本優(yōu)化
增大樣本數(shù)量
數(shù)據(jù)增強(qiáng)：形態(tài)、色彩、噪聲擾動(dòng)
2）參數(shù)優(yōu)化
批量正則化
變化學(xué)習(xí)率
權(quán)重衰減
3）模型優(yōu)化
增加網(wǎng)絡(luò)模型深度
更換更復(fù)雜的模型

深度學(xué)習(xí)面試必備 1：（MLP/激活函數(shù)/softmax/損失函數(shù)/梯度/梯度下降/學(xué)習(xí)率/反向傳播/深度學(xué)習(xí)面試
深度學(xué)習(xí)面試必備 2：（梯度下降/卷積/池化/歸一化/AlexNet/歸一化/Dropout/卷積核/深度學(xué)習(xí)面試
深度學(xué)習(xí)面試必備 3 ：物體檢測(cè)（Anchor base/NMS/softmax/損失函數(shù)/BCE/CE/zip）

到了這里，關(guān)于深度學(xué)習(xí)基本理論下篇：（梯度下降/卷積/池化/歸一化/AlexNet/歸一化/Dropout/卷積核）、深度學(xué)習(xí)面試的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！