Precision 和 Recall 是常考的知識點,就其區(qū)別做一個詳細(xì)總結(jié)
1. Precision?
中文翻譯 “精確率”,“查準(zhǔn)率”。 “查準(zhǔn)率”這個名字更能反應(yīng)其特性,就是該指標(biāo)關(guān)注準(zhǔn)確性。?
計算公式如下:
這里TP,F(xiàn)P的概念來自統(tǒng)計學(xué)中的混淆矩陣,TP指 “預(yù)測為正(Positive), 預(yù)測正確(True)” (可以這里記憶:第一位表示該預(yù)測是否正確,第二位表示該預(yù)測結(jié)果為正還是負(fù))? ??, 于是,我們可以這樣理解 Precision :? 所有預(yù)測為正例的案例中,預(yù)測準(zhǔn)確的比例? ? ? ??
Precision適用什么樣的場景呢?
適用于?需要盡可能地把所需的類別檢測準(zhǔn)確,而不在乎這些類別是否都被檢測出來 ,即 寧可放過一些壞人,也不冤枉一個好人(識別壞人(正例)的準(zhǔn)確性很高,但不一定能識別所有壞人)? ?
具體來說,銀行人臉識別系統(tǒng),B來識別,系統(tǒng)能預(yù)測為B即可,至于A C來識別是否真的預(yù)測為A C不重要.
2.Recall?
中文翻譯 “查全率” “召回率”,等價于 “靈敏度(Sensitivity)” , “真正率(TPR)” (真正率就是ROC曲線的縱軸,我們總是期望一個學(xué)習(xí)器的TPR越高越好,理想情況就是1)?
計算公式如下 :
?
Recall的解釋是:所有預(yù)測準(zhǔn)確的案例中,正例所占的比例??? ??需
適用的場景是:要盡可能地把所需的類別檢測出來,而不在乎結(jié)果是否準(zhǔn)確??, 也就是 寧可錯殺一千,也不放過一個??
具體來說,地震預(yù)測,我們希望把所有的地震都預(yù)測到,可以犧牲 Precision(存在誤報)?
總結(jié)一下查全率和查準(zhǔn)率的區(qū)別:
(1). Recall 和 Precision是相互矛盾的。如果想要更高的recall,那么就要讓模型的預(yù)測能覆蓋到更多的樣本,但是這樣模型就更有可能犯錯,也就是說precision會比較低。如果模型很保守,只能檢測出它很確定的樣本,那么其precision會很高,但是recall會相對低。
(2). Recall(TPR)的分母是樣本中正類的個數(shù),因此樣本一旦確定,其分母即為定值,也就是說recall的變化隨分子增加而單調(diào)遞增;precision的分母是樣本中預(yù)測為正類的個數(shù),其會隨著分類閾值的變化而變化,因此Precision的變化受TP和FP的綜合影響,不單調(diào),變化情況不可預(yù)測。
3. 一些相關(guān)參數(shù)?
真陽性率 TPR (見上文),假陽性率(FPR), FPR 公式為 :
FPR= FP / (FP + TN)? ?
FPR的意義:所有實際為負(fù)的例子中,預(yù)測錯誤的比例。 FPR = 1 - Specificity (特異性)??
假陰性率:FNR = 1 - Sensitivity? (靈敏度,Recall, TPR)
在現(xiàn)實中,人們往往對查全率和查準(zhǔn)率都有要求,但是會根據(jù)應(yīng)用場景偏向某一邊. 此時需要用到PR曲線。?文章來源:http://www.zghlxwxcb.cn/news/detail-602082.html
PR曲線應(yīng)用場景:需要根據(jù)需求找到對應(yīng)的precision和recall值。如果偏向precison,那就是在保證recall的情況下提升precision;如果偏向recall,那就是在保證precision的情況下提升recall文章來源地址http://www.zghlxwxcb.cn/news/detail-602082.html
到了這里,關(guān)于機(jī)器學(xué)習(xí)系列(二)——評價指標(biāo)Precision和Recall的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!