訓(xùn)練集是有N個(gè)獨(dú)立同分布的樣本組成，即每個(gè)樣本(x,y)是獨(dú)立的從相同的分布中抽取的。這個(gè)真實(shí)的分布未知
輸入空間X和輸出空間Y構(gòu)成樣本空間，對(duì)于樣本空間中的樣本(x, y)∈X x Y，假定x和y之間可通過(guò)一個(gè)未知的真實(shí)隱射y=g(x)來(lái)描述，或者通過(guò)真實(shí)條件概率分布來(lái)描述。
1 期望風(fēng)險(xiǎn)
要評(píng)價(jià)模型f(x, θ)的好壞，可通過(guò)期望風(fēng)險(xiǎn)R(θ)來(lái)衡量：
?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-488598.html
回顧一下數(shù)學(xué)期望的含義，
期望E[X]的含義是隨機(jī)變量x與概率密度函數(shù)f(x)相乘以后的積分
期望E[g(X)]的含義是隨機(jī)變量的函數(shù)g(x)與概率密度函數(shù)f(x)相乘以后的積分
現(xiàn)在求R(θ)，即損失函數(shù)與真實(shí)分布相乘以后的積分（可能是多重積分）
求期望損失R(θ)不僅需要知道損失函數(shù)還需要知道真實(shí)分布,損失函數(shù)可以通過(guò)一定的準(zhǔn)則計(jì)算得到，但是樣本空間的真實(shí)分布是未知的。所以不能直接求R(θ)。
2 經(jīng)驗(yàn)風(fēng)險(xiǎn)和經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化
期望風(fēng)險(xiǎn)R(θ)無(wú)法計(jì)算，給定一個(gè)訓(xùn)練集D =?，我們可以計(jì)算經(jīng)驗(yàn)風(fēng)險(xiǎn)，經(jīng)驗(yàn)風(fēng)險(xiǎn)就是在訓(xùn)練集上的平均損失：
emp就代表經(jīng)驗(yàn)損失Empirical Risk
學(xué)習(xí)準(zhǔn)則就是找到一組參數(shù)使得經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化：
這就是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則。
3 結(jié)構(gòu)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)最小化
根據(jù)大數(shù)定理，訓(xùn)練集D的大小無(wú)限大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)就趨于期望風(fēng)險(xiǎn)，但是通常情況下訓(xùn)練樣本時(shí)真實(shí)數(shù)據(jù)的一個(gè)很小的子集，并且包含噪聲。如果一味的使得在訓(xùn)練集上的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小，有可能使得在未知數(shù)據(jù)上的錯(cuò)誤率很高。這就是出現(xiàn)了過(guò)擬合。過(guò)擬合的是由于訓(xùn)練數(shù)據(jù)少，訓(xùn)練數(shù)據(jù)上有噪聲，以及模型能力過(guò)強(qiáng)造成的。
為了解決過(guò)擬合問(wèn)題，引入了參數(shù)正則化來(lái)限制模型的能力。使其不要過(guò)度的最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)。這種準(zhǔn)則就是結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則：
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-488598.html
?
到了這里，關(guān)于機(jī)器學(xué)習(xí)的學(xué)習(xí)準(zhǔn)則（期望風(fēng)險(xiǎn)最小化、經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化、結(jié)構(gòu)風(fēng)險(xiǎn)最小化）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
