模式識(shí)別 —— 第一章 貝葉斯決策理論
前言
新的學(xué)期開始了,當(dāng)然是要給不愛吃香菜的月亮記錄學(xué)習(xí)筆記呀~
沒多久了,待夏花絢爛之時(shí)~人山人海,我們?nèi)缂s而至!
以后清河海風(fēng) 溶溶月色 共賞之人 就在身側(cè) mua~
貝葉斯決策
先驗(yàn)概率
先驗(yàn)概率就是人們根據(jù)一些先驗(yàn)知識(shí)預(yù)先知道的一些概率。比如,南理工男女比例7:3.
類條件概率
就是在先驗(yàn)概率
w
i
w_i
wi?的條件下發(fā)生
x
x
x事件的概率。
后驗(yàn)概率
由這張圖也可以看出,最大后驗(yàn)概率決策其實(shí)就是最小錯(cuò)誤決策。
最大后驗(yàn)概率決策(最小錯(cuò)誤率決策)
后驗(yàn)概率形式:
條件概率形式
其實(shí)就是用貝葉斯公式展開后約去分母
似然比形式通過上式移項(xiàng)得到。
對(duì)數(shù)形式
主要是方便求導(dǎo),也可將之后的累乘化為累加。
最小風(fēng)險(xiǎn)決策
從不同性質(zhì)的錯(cuò)誤會(huì)引起不同程度的損失這一考慮出發(fā),我們有時(shí)寧肯擴(kuò)大一些總的錯(cuò)誤率,也要使總的損失最小。這就提出了最小損失準(zhǔn)則的決策方法。例如,有時(shí)2類代價(jià)相差很大,比如醫(yī)療診斷的場(chǎng)合、工業(yè)檢測(cè)。
為了區(qū)分不同錯(cuò)誤的代價(jià),我們這里引入了決策代價(jià)。
對(duì)應(yīng)的決策代價(jià)表如下:
在采取決策
a
j
a_j
aj?的條件期望是:
看所有判決對(duì)應(yīng)的期望,選最小的風(fēng)險(xiǎn)判決。
整體流程如下:
最小錯(cuò)誤率判決(最大后驗(yàn)概率判決)與最小風(fēng)險(xiǎn)決策的似然比形式一樣,只不過在判別閾值上最小風(fēng)險(xiǎn)決策要加上損失代價(jià)。
含拒取的最小損失判別規(guī)則
例如,人臉識(shí)別中有一些未識(shí)別的情況,而不是錯(cuò)誤的將你識(shí)別成另外一個(gè)人。那么當(dāng)后驗(yàn)概率小于多少時(shí)采取拒取呢?如下圖推導(dǎo):
N-P判決
在實(shí)際問題中,可能存在某一個(gè)錯(cuò)誤較另一個(gè)錯(cuò)誤更為重要。于是我們想在限定一類錯(cuò)誤的概率下使得另一類錯(cuò)誤的概率最小。
- 例如,在人臉識(shí)別中判斷錯(cuò)誤比未識(shí)別要嚴(yán)重許多。所以我們要求判斷錯(cuò)誤的概率要不超過 1 0 ? 6 10^{-6} 10?6(要不超過6位密碼的安全級(jí)才能投入使用)。在此基礎(chǔ)上,我們盡量降低拒取的概率。這里用的是拉格朗日乘子法,不再詳解。
判別函數(shù)和決策面
正態(tài)分布下的貝葉斯決策
對(duì)于二維正態(tài)分布有如下公式:
這里的
Σ
\Sigma
Σ是協(xié)方差矩陣
協(xié)方差方差矩陣
協(xié)方差定義
X、Y 是兩個(gè)隨機(jī)變量,X、Y 的協(xié)方差 cov(X, Y) 定義為:
協(xié)方差矩陣定義
矩陣中的數(shù)據(jù)按行排列與按列排列求出的協(xié)方差矩陣是不同的,這里默認(rèn)數(shù)據(jù)是按行排列。即每一行是一個(gè)observation(or sample),那么每一列就是一個(gè)隨機(jī)變量。
求解協(xié)方差矩陣的步驟
協(xié)方差代表的意義
正相關(guān)
負(fù)相關(guān)
不相關(guān)
-
當(dāng)X 與Y 正相關(guān)時(shí),它們的分布大部分在區(qū)域(1)和(3)中,小部分在區(qū)域(2)和(4)中,所以平均來(lái)說,有 ( X ? E X ) ( Y ? E Y ) > 0 (X-EX)(Y-EY)>0 (X?EX)(Y?EY)>0 。
-
當(dāng) X與 Y負(fù)相關(guān)時(shí),它們的分布大部分在區(qū)域(2)和(4)中,小部分在區(qū)域(1)和(3)中,所以平均來(lái)說,有 ( X ? E X ) ( Y ? E Y ) < 0 (X-EX)(Y-EY)<0 (X?EX)(Y?EY)<0。
-
當(dāng) X與 Y不相關(guān)時(shí),它們?cè)趨^(qū)域(1)和(3)中的分布,與在區(qū)域(2)和(4)中的分布幾乎一樣多,所以平均來(lái)說,有 ( X ? E X ) ( Y ? E Y ) = 0 (X-EX)(Y-EY)=0 (X?EX)(Y?EY)=0 。
所以,我們可以定義一個(gè)表示X, Y 相互關(guān)系的數(shù)字特征,也就是協(xié)方差.
c o v ( X , Y ) = E ( X ? E X ) ( Y ? E Y ) cov(X, Y) = E(X-EX)(Y-EY) cov(X,Y)=E(X?EX)(Y?EY)
當(dāng) c o v ( X , Y ) > 0 cov(X, Y)>0 cov(X,Y)>0時(shí),表明 X與Y 正相關(guān);
當(dāng) c o v ( X , Y ) < 0 cov(X, Y)<0 cov(X,Y)<0時(shí),表明X與Y負(fù)相關(guān);
當(dāng) c o v ( X , Y ) = 0 cov(X, Y)=0 cov(X,Y)=0時(shí),表明X與Y不相關(guān)。
文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-736942.html
文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-736942.html
到了這里,關(guān)于模式識(shí)別 —— 第一章 貝葉斯決策理論的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!