機器學(xué)習(xí)的根本問題

機器學(xué)習(xí)的根本問題是優(yōu)化與泛化問題。

• 優(yōu)化：是指調(diào)節(jié)模型以在訓(xùn)練數(shù)據(jù)上得到最佳性能。
• 泛化：是指訓(xùn)練好的模型在前所未見的數(shù)據(jù)上的性能好壞。

過擬合overfitting

出現(xiàn)過擬合，得到的模型在訓(xùn)練集上的準(zhǔn)確率很高，但是在真實的場景下識別率確很低。

泛化能力差。

過擬合overfitting：指學(xué)習(xí)時選擇的模型所包含的參數(shù)過多，以至于出現(xiàn)這一模型對已知數(shù)據(jù)預(yù)測的很好，但對未知數(shù)據(jù)預(yù)測得很差的現(xiàn)象。這種情況下模型可能只是記住了訓(xùn)練集數(shù)據(jù)，而不是學(xué)習(xí)到了數(shù)據(jù)特征。

• 訓(xùn)練初期：優(yōu)化和泛化是相關(guān)的；訓(xùn)練集上的誤差越小，驗證集上的誤差也越小，模型的泛化能力逐漸增強。
• 訓(xùn)練后期：模型在驗證集上的錯誤率不再降低轉(zhuǎn)而開始變高。模型出現(xiàn)過擬合，開始學(xué)習(xí)僅和訓(xùn)練數(shù)據(jù)有關(guān)的模式。

應(yīng)對過擬合

最優(yōu)方案

獲取更多的訓(xùn)練數(shù)據(jù)

增加更多的訓(xùn)練樣本可以幫助模型更好地學(xué)習(xí)數(shù)據(jù)的真實分布，減少過擬合的風(fēng)險。

次優(yōu)方案

調(diào)節(jié)模型允許存儲的信息量或者對模型允許存儲的信息加以約束，該類方法也被稱為正則化。

調(diào)節(jié)模型大小

約束模型權(quán)重，即權(quán)重正則化(常用的有L1、L2正則化)

L1 正則化

L1正則化（Lasso正則化）：L1正則化使用模型權(quán)重的L1范數(shù)作為正則化項，即權(quán)重的絕對值之和。

L1正則化的效果是推動模型的權(quán)重向稀疏的方向?qū)W習(xí)，即將某些權(quán)重變?yōu)榱悖沟媚Ｐ途哂?font color="red">稀疏性。這對于特征選擇和模型簡化很有用。

L2 正則化

L2正則化（Ridge正則化）：L2正則化使用模型權(quán)重的L2范數(shù)作為正則化項，即權(quán)重的平方和的平方根。

L2正則損失對于大數(shù)值的權(quán)值向量進行嚴(yán)厲懲罰，鼓勵更加分散的權(quán)重向量，使模型傾向于使用所有輸入特征做決策，此時的模型泛化性能好！

對異常值的敏感性

• L1正則化對異常值比較敏感，因為它的正則化項是絕對值之和，異常值的存在會對權(quán)重產(chǎn)生較大的影響。
• L2正則化對異常值相對較不敏感，因為它的正則化項是平方和的平方根，異常值對權(quán)重的影響相對較小。

隨機失活(Dropout)

讓隱層的神經(jīng)元以一定的概率不被激活。

實現(xiàn)方式：

訓(xùn)練過程中，對某一層使用Dropout，就是隨機將該層的一些輸出舍棄（輸出值設(shè)置為0），這些被舍棄的神經(jīng)元就好像被網(wǎng)絡(luò)刪除了一樣。

隨機失活比率（Dropout ratio）:

是被設(shè)為0的特征所占的比例，通常在0.2~0.5范圍內(nèi)。

隨機失活為什么能夠防止過擬合呢？

解釋一：隨機失活使得每次更新梯度時參與計算的網(wǎng)絡(luò)參數(shù)減少了，降低了模型容量，所以能夠防止過擬合。

解釋二：隨機失活鼓勵權(quán)重分散，從這個角度來看隨機失活也能起到正則化的作用，進而防止過擬合。

• 通過隨機失活，在訓(xùn)練過程中，將一部分神經(jīng)元的輸出置為零，相當(dāng)于隨機斷開了這些神經(jīng)元與其他神經(jīng)元之間的連接。這樣做的結(jié)果是，每個神經(jīng)元都不再依賴于其他特定的神經(jīng)元，而是需要通過其他神經(jīng)元來進行信息傳遞。因此，網(wǎng)絡(luò)中的神經(jīng)元被鼓勵去學(xué)習(xí)更加獨立和分散的特征表示，而不是過度依賴于某些特定的神經(jīng)元。
• 這種隨機失活的效果是，網(wǎng)絡(luò)的不同部分在訓(xùn)練過程中會以更加均衡的方式進行學(xué)習(xí)，權(quán)重會分散到更多的神經(jīng)元上。這有助于避免某些特定的神經(jīng)元或權(quán)重集中承擔(dān)大部分的計算負(fù)載，從而提高網(wǎng)絡(luò)的魯棒性和泛化能力。

解釋三：Dropout可以看作模型集成。

• Dropout可以被解釋為在訓(xùn)練過程中對多個不同的子模型進行訓(xùn)練，每個子模型都是通過保留一部分神經(jīng)元并且隨機設(shè)置其他神經(jīng)元的輸出為零來實現(xiàn)的。在測試階段，為了獲得更穩(wěn)定的預(yù)測結(jié)果，通常會對這些子模型的預(yù)測結(jié)果進行平均或投票。

隨機失活的問題

訓(xùn)練過程中使用隨機失活，測試過程中不隨機失活。要保證兩者結(jié)果相似，需要進行修改。

在測試過程中，不進行隨機失活，而是將Dropout的參數(shù)p乘以輸出。

上圖例子中p=1 / 2

• 訓(xùn)練E[a] = 測試E[a] * p = 測試E[a] * 1 / 2
• 訓(xùn)練E[a] / p = 訓(xùn)練E[a] / (1 / 2) = 測試E[a]

代碼示例：
則訓(xùn)練E[a] = 測試E[a] * p = 測試E[a] * 1 / 2

訓(xùn)練E[a] / p = 訓(xùn)練E[a] / (1 / 2) = 測試E[a]

欠擬合

模型描述能力太弱，以至于不能很好地學(xué)習(xí)到數(shù)據(jù)中的歸路。產(chǎn)生欠擬合的原因通常是模型過于簡單。文章來源地址http://www.zghlxwxcb.cn/news/detail-732361.html

到了這里，關(guān)于計算機視覺與深度學(xué)習(xí)-全連接神經(jīng)網(wǎng)絡(luò)-訓(xùn)練過程-欠擬合、過擬合和Dropout- [北郵魯鵬]的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！