一、貝葉斯估計(jì)

當(dāng)我們需要對(duì)一個(gè)參數(shù)進(jìn)行估計(jì)時(shí)，一種辦法是概率論與數(shù)理統(tǒng)計(jì)課程中已經(jīng)學(xué)過的極大似然估計(jì)（Maximum Likelihood Estimation，MLE）。例如，如果我們想估計(jì)扔硬幣正面朝上的概率p，可以扔N次，記錄正面朝上的次數(shù)M，再用M/N估計(jì)p。這種方法得到的參數(shù)估計(jì)是個(gè)固定的值，存在的問題就是，如果我們的樣本數(shù)量不夠大，參數(shù)估計(jì)就會(huì)出現(xiàn)過擬合。例如，我只扔了三次硬幣，每次都是正面朝上（這個(gè)概率并不小），于是我就說扔硬幣每次都會(huì)是正面朝上，這顯然是不合理的。

解決這個(gè)問題的其中一個(gè)方法是，加入一些我們想象中的拋擲結(jié)果，比如，在我們的想象中應(yīng)該有一半的次數(shù)是正面朝上，那么我們的估計(jì)就變成了

這里面的n'完全是我們假想的。這種想象其實(shí)就是先驗(yàn)信息，將這個(gè)思路更一般化，我們可以把參數(shù)視為一個(gè)變量，用概率來描述它，這就是最大后驗(yàn)估計(jì)（Maximum A?Posterior，MAP）。

現(xiàn)在，我們的問題從給定樣本x給出參數(shù)y的估計(jì)值y*，變成了給定樣本x，給出參數(shù)y的概率分布P（y|x），其中使得概率最大的那個(gè)y*就可以作為我們的估計(jì)結(jié)果，即，問題轉(zhuǎn)化為求

此時(shí)有兩種策略，我們可以直接求P（y|x）（決策樹、BP神經(jīng)網(wǎng)絡(luò)等一類機(jī)器學(xué)習(xí)模型都是直接對(duì)它建模的），也可以用貝葉斯定理進(jìn)行變形。

不難看出，只有分子的兩項(xiàng)才與y有關(guān)，分母是與y無關(guān)的，對(duì)于給定的樣本x，它是一個(gè)確定的值。事實(shí)上，它的作用是歸一化，因?yàn)閥的所有取值的概率之和一定是1。而第一項(xiàng)P（x|y）是樣本x相對(duì)于參數(shù)y的條件概率，這個(gè)概率可以做各種假設(shè)。第二項(xiàng)P（y）就是前面我們“想象”的那個(gè)概率，即先驗(yàn)概率。如果我們假設(shè)它是均勻分布的，此時(shí)MAE=MLP。而P（y|x），我們就相應(yīng)的稱之為后驗(yàn)概率。

假如我們有充足的獨(dú)立同分布的樣本x1,x2,x3...xn，那么原式就可以寫成

可以看出，隨著樣本數(shù)量的增加，先驗(yàn)概率P（y）發(fā)揮的作用會(huì)越來越小，后驗(yàn)概率將主要由樣本x決定。

綜合比較MAP與MLE，極大似然估計(jì)的缺陷是小樣本情況下的過擬合，而最大后驗(yàn)估計(jì)的問題是，如果兩個(gè)人假設(shè)不同的先驗(yàn)概率分布，那他們就可能會(huì)得到不同的估計(jì)結(jié)果。

二、貝葉斯分類器

將貝葉斯估計(jì)用于分類任務(wù)，由于它給出的是一個(gè)概率分布，顯然我們要做的是將樣本歸類到概率最大的那個(gè)類別中。如果我們認(rèn)為一個(gè)樣本x有p的概率屬于類別c，那么實(shí)際上還有1-p的概率我們分錯(cuò)了，這就是將它分類為c所產(chǎn)生的期望損失（expected loss），也稱為風(fēng)險(xiǎn)（risk）。對(duì)于一個(gè)二分類問題，我們可以將風(fēng)險(xiǎn)表示為

如果分類為0和1的類條件概率分布分別是p1和p2，先驗(yàn)概率是π1和π2，那么對(duì)風(fēng)險(xiǎn)的期望就是

?這實(shí)際上從理論上給出了分類器能達(dá)到的最好性能，也就是模型精度的理論上限。但在現(xiàn)實(shí)任務(wù)中，由于概率密度的估計(jì)及其積分都可能是非常復(fù)雜的，所以只能通過其他方法逼近這個(gè)上限。

三、樸素貝葉斯分類器

當(dāng)我們的樣本有很多維特征時(shí)，即x=[x1,x2,...xn]，這時(shí)條件概率就會(huì)變成

這個(gè)聯(lián)合概率的計(jì)算會(huì)遇到組合爆炸的問題，特征越多問題越嚴(yán)重。如果樣本有n個(gè)特征，每個(gè)特征有是/否兩種取法，需要將樣本分成k類，我們就得估計(jì)個(gè)聯(lián)合概率的值，這很難從有限的樣本中直接得到。為此，樸素貝葉斯分類器就假設(shè)樣本的特征之間彼此獨(dú)立（盡管實(shí)際中這些特征經(jīng)常不是真的相互獨(dú)立的，但我們?nèi)匀蛔龀鲞@個(gè)假設(shè)，并且在很多時(shí)候仍然能得到很不錯(cuò)的結(jié)果），這樣，后驗(yàn)概率就被寫成

判定準(zhǔn)則為

這樣，我們?cè)跅l件概率中需要估計(jì)的概率就只有個(gè)，無疑帶來了巨大的簡(jiǎn)化。

樸素貝葉斯分類器有許多應(yīng)用，例如文本的分類等，并且體現(xiàn)了不錯(cuò)的效果。

四、邏輯回歸

繼續(xù)對(duì)條件概率和先驗(yàn)概率的分布做出一些假設(shè)，就可以推導(dǎo)出邏輯回歸模型。這就是實(shí)驗(yàn)二的內(nèi)容，詳細(xì)推導(dǎo)過程可以看大佬的博客實(shí)驗(yàn)二邏輯回歸文章來源地址http://www.zghlxwxcb.cn/news/detail-428269.html

到了這里，關(guān)于哈工大機(jī)器學(xué)習(xí)期末復(fù)習(xí)筆記（一）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！