一、混淆矩陣

1.混淆矩陣的介紹

混淆矩陣有兩個(gè)定義positive（正例）和negative（反例）。分別代表模型結(jié)果的好和壞。

下圖就是一個(gè)分類問題的混淆矩陣。橫行代表真實(shí)的情況，而豎行代表預(yù)測(cè)的結(jié)果。

為了便于理解，我在這里舉一個(gè)分出瓜的好壞的分類問題。

TP：True Positive，真正例。表示這個(gè)瓜實(shí)際上是一個(gè)好瓜，預(yù)測(cè)出來的結(jié)果也是好瓜，所以它是一個(gè)真的好瓜，是一個(gè)真正例。預(yù)測(cè)結(jié)果正確。

FP：False Positive，假正例。表示這個(gè)瓜本身是一個(gè)壞瓜，預(yù)測(cè)結(jié)果卻是一個(gè)好瓜，所以它是一個(gè)假的好瓜，是一個(gè)假正例。預(yù)測(cè)結(jié)果錯(cuò)誤。

FN：False Negative，假反例。表示這個(gè)瓜本身是一個(gè)好瓜，預(yù)測(cè)結(jié)果是壞瓜，所以它是一個(gè)假的壞瓜，是一個(gè)假反例。預(yù)測(cè)結(jié)果錯(cuò)誤。

TN：Truen Negative，真反例。表示這個(gè)瓜本身是一個(gè)壞瓜，預(yù)測(cè)結(jié)果也是一個(gè)壞瓜，所以它是一個(gè)真的壞瓜，是一個(gè)真反例。預(yù)測(cè)結(jié)果正確。

需要明確，明確T和F代表模型預(yù)測(cè)結(jié)果的對(duì)錯(cuò)，P和N代表模型預(yù)測(cè)出來的結(jié)果。

接下來，我們舉個(gè)例子，便于我們學(xué)習(xí)混淆矩陣指標(biāo)：準(zhǔn)確率、精準(zhǔn)率和召回率。

有100個(gè)瓜，實(shí)際上由40個(gè)好瓜，60個(gè)壞瓜。但是模型預(yù)測(cè)出來的結(jié)果為50個(gè)好瓜，50個(gè)壞瓜。在這50個(gè)好瓜里面，有30個(gè)預(yù)測(cè)對(duì)了，有20個(gè)預(yù)測(cè)錯(cuò)了。

此時(shí)預(yù)測(cè)的50個(gè)好瓜里面，30個(gè)預(yù)測(cè)對(duì)了，即真好瓜（TP）；20個(gè)預(yù)測(cè)錯(cuò)了，即假好瓜。 所以TP = 30，F(xiàn)P = 20。?

?我們可以知道，40個(gè)好瓜=真的好瓜+預(yù)測(cè)錯(cuò)的壞瓜；60個(gè)壞瓜 = 真的壞瓜+假的好瓜。如下圖：

根據(jù)以上式子，我們計(jì)算出了混淆矩陣所有的值。

根據(jù)以上條件，我們能夠?qū)懗龌煜仃嚒?/p>

我們期待的結(jié)果是預(yù)測(cè)結(jié)果和真實(shí)結(jié)果相一致，但是往往不太可能，所以我們需要評(píng)估的好壞，這里我們需要用到混淆矩陣的指標(biāo)：準(zhǔn)確率、精確率、召回率。?

2.準(zhǔn)確率

準(zhǔn)確率是預(yù)測(cè)準(zhǔn)確的樣本數(shù)在所有預(yù)測(cè)樣本數(shù)的比例。在我們這里就是預(yù)測(cè)的真的好瓜和真的壞瓜在總瓜數(shù)的占比。

準(zhǔn)確率的計(jì)算公式為：??

通過準(zhǔn)確率我們可以看出模型的分類能力。

但是準(zhǔn)確率的弊端是：如果在樣本不均衡的情況下，占比大的對(duì)樣本的影響比較大。

考慮一個(gè)極端的例子，其中有100個(gè)樣本，其中99個(gè)屬于類別A，1個(gè)屬于類別B。如果一個(gè)模型將所有樣本都預(yù)測(cè)為類別A，那么它的分子中，預(yù)測(cè)準(zhǔn)確的A樣本為99，預(yù)測(cè)準(zhǔn)確的B樣本為0，除以分母100。

準(zhǔn)確率將是99%。盡管準(zhǔn)確率很高，但模型對(duì)于類別B的預(yù)測(cè)幾乎完全失敗。所以這是不對(duì)的。

這種情況下，我們需要借助精準(zhǔn)率（precision）。

3.精確率

精準(zhǔn)率（precision），是用來計(jì)算模型預(yù)測(cè)的多準(zhǔn)的指標(biāo)，又名查準(zhǔn)率。

精準(zhǔn)率的計(jì)算公式為：

精確率關(guān)注的是在所有模型認(rèn)為是正類別的樣本中，有多大比例是真實(shí)的正類別。因此，精確率通常被解釋為模型有多準(zhǔn)確地"查準(zhǔn)"了正類別，即模型有多能夠確保它的正類別預(yù)測(cè)是準(zhǔn)確的。

在一些應(yīng)用中，比如垃圾郵件過濾，我們希望模型盡可能地準(zhǔn)確地標(biāo)識(shí)出正類別（即真正的垃圾郵件），同時(shí)避免將負(fù)類別（即正常郵件）錯(cuò)誤地分類為正類別。在這種情況下，我們希望精確率盡可能高，以確保模型的正類別預(yù)測(cè)是可靠的。

3.召回率?

如果說精確度是模型預(yù)測(cè)的多準(zhǔn)的指標(biāo)，那么召回率就是模型廣度的指標(biāo)，又被稱為查全率。

召回率的計(jì)算公式為：?

公式表示需要分類的類別，在實(shí)際的該種類總數(shù)中，占比多少。好瓜在實(shí)際好瓜的總數(shù)是多少。所以召回率（查全率）是指模型在多大程度上能夠預(yù)測(cè)出我需要的類別。

比如說：我有100個(gè)好瓜，你識(shí)別出50個(gè)，那么你的就在識(shí)別出我所需要的類別的能力就有50%。?

在實(shí)際的評(píng)估工作中，我們通常使用精確率和召回率來評(píng)估模型的效果。通過召回率看找到了多少我們想要找的好瓜，通過精確率來看我們找好瓜有多準(zhǔn)。

召回率關(guān)注的是在實(shí)際為正類別的樣本中，模型有多大程度地能夠成功地識(shí)別出來。因此，召回率通常被解釋為模型有多好地"查找"或"捕捉"了正類別，即模型有多能夠找到所有實(shí)際存在的正類別樣本。

在一些應(yīng)用中，如醫(yī)學(xué)診斷或欺詐檢測(cè)，對(duì)于正類別的遺漏是不可接受的，因?yàn)檫@可能導(dǎo)致嚴(yán)重的后果。在這種情況下，我們希望模型的召回率盡可能高，以確保盡可能多地捕捉到所有真實(shí)的正類別。

由于精確率和召回率相互矛盾。模型如果想要查找的更準(zhǔn)確，會(huì)減少識(shí)別的范圍，所以精準(zhǔn)率高，召回率低；反之，如果想要召回率高一點(diǎn)，那么精確率也會(huì)隨之下降。

所以我們一般給算法同學(xué)提需求的時(shí)候會(huì)同時(shí)考慮。比如：30%的召回率下精準(zhǔn)率提升5倍。

4.F1值

F1指標(biāo)可以綜合反映召回率和精準(zhǔn)率，F1值越高，代表模型在精確率和召回率的綜合表現(xiàn)越高。

F1的計(jì)算公式：

5.總結(jié)?

準(zhǔn)確率：比較容易理解，在樣本不均衡的時(shí)候指標(biāo)偏差過大。

精確率：模型預(yù)測(cè)的準(zhǔn)確度。寧肯不預(yù)測(cè)，也不能預(yù)測(cè)錯(cuò)，秉持寧缺毋濫的原則。比如在刷臉支付的場(chǎng)景下，我們寧可檢測(cè)不通過，而不能預(yù)測(cè)出錯(cuò)。

召回率：關(guān)注篩選的結(jié)果是不是全面的場(chǎng)景，秉持寧可錯(cuò)殺一千，也不放過一個(gè)的原則。

PS：如果對(duì)于這幾個(gè)指標(biāo)還是不明白，推薦大家看這篇博文，講的比較清晰。

準(zhǔn)確率，精準(zhǔn)率，召回率，真正率，假正率，ROC/AUC-CSDN博客

參考文獻(xiàn)： 劉海豐——《成為AI產(chǎn)品經(jīng)理》文章來源地址http://www.zghlxwxcb.cn/news/detail-773211.html

到了這里，關(guān)于成為AI產(chǎn)品經(jīng)理——模型評(píng)估（混淆矩陣）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！