前言
???????對(duì)于我們訓(xùn)練處的模型的泛化性能進(jìn)行評(píng)估,不僅需要有效可行的實(shí)驗(yàn)估計(jì)方法,還需要有衡量模型泛化能力的評(píng)價(jià)標(biāo)準(zhǔn),這就是性能度量(performance measure).
???????性能度量反映了任務(wù)需求,在對(duì)比不同模型的能力時(shí),使用不同的性能度量往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果;這意味著模型的"好壞"是相對(duì)的,什么樣的模型是好的?不僅取決于算法和數(shù)據(jù),還決定于任務(wù)需求.
???????對(duì)于二分類問題,可將樣例根據(jù)其真實(shí)類別與學(xué)習(xí)器預(yù)測類別的組合劃分為真正例(true positive) 、假正例 (false positive) 、真反倒(true negative)假反例 (false negative) 四種情形,令 TP FP TN FN 分別表示其對(duì)應(yīng)的樣例數(shù),則顯然 TP+FP+TN+FN=樣例總數(shù).分類結(jié)果的"混淆淆矩" (co usion matrix)如下 :
混淆矩陣
圖 1 混淆矩陣 一 (摘自西瓜書)
???????TP一一 將正類預(yù)測為正類數(shù)(預(yù)測對(duì)了)
???????FN一一 將正類預(yù)測為負(fù)類數(shù)(預(yù)測錯(cuò)了)
???????FP一一 將負(fù)類預(yù)測為正類數(shù)(預(yù)測錯(cuò)了)
???????TN 一一將負(fù)類預(yù)測為負(fù)類數(shù)(預(yù)測對(duì)了)
圖 2 混淆矩陣 二
查準(zhǔn)率和查全率
??????? 查準(zhǔn)率(precision):模型預(yù)測的所有目標(biāo)中,預(yù)測正確的比例。查準(zhǔn)率有利于突出結(jié)果的相關(guān)性
??????? 查全率(recall) :查全率又稱召回率。所有的真實(shí)(正)目標(biāo)中,預(yù)測正確的目標(biāo)比例。
??????? 查準(zhǔn)率和查全率是一對(duì)矛盾的度量.一般來說,查準(zhǔn)率高時(shí),查全率往往偏低;而查全率高時(shí),查準(zhǔn)率往往偏低.
P–R曲線
??????? 以查準(zhǔn)率為縱軸、查全率為橫軸作圖 ,就得到了查準(zhǔn)率–查全率曲線,簡稱 P-R 線,顯示該曲線的圖稱為 “P-R圖"
P-R圖 (取自西瓜書)
??????? P-R圖直觀地顯示出學(xué)習(xí)器在樣本總體上的查全率、 查準(zhǔn)率。每一個(gè)模型都有相應(yīng)的P-R曲線,通過比較不同模型的P-R曲線,來評(píng)判模型的優(yōu)劣,若一個(gè)模型A的 P-R 曲線被另一個(gè)模型B的曲線完全"包住 則可以說B的性能優(yōu)于A,但是實(shí)際中很少出現(xiàn)這種情況。大部分曲線間都含有交叉。??????? 因此我們需要一個(gè)綜合的度量"平衡點(diǎn)",它是"查準(zhǔn)率= 查全率"時(shí)的取值。此時(shí)查準(zhǔn)率等于查全率,他們的值越高,則模型的效果越好。
?
???????為什么PR曲線面積越大模型就會(huì)越好呢(排除過擬合的情況)?
???????我們訓(xùn)練出的模型,在該模型下我們希望我們所想要預(yù)測的對(duì)象盡可能多的預(yù)測出來,而且預(yù)測的對(duì)的結(jié)果,盡可能的都是對(duì)的。查準(zhǔn)率就是我們預(yù)測出來的正樣本,有多少實(shí)際為正。查全率就是預(yù)測為正的樣本占真實(shí)為正的樣本比例。所以PR曲線越凸越好(p:y,r:x),故面積越大。
IOU(交并比)
???????在目標(biāo)檢測任務(wù)中,通常會(huì)使用交并比(Intersection of Union,IoU)作為衡量指標(biāo),來衡量兩個(gè)矩形框之間的關(guān)系。例如在基于錨框的目標(biāo)檢測算法中,我們知道當(dāng)錨框中包含物體時(shí),我們需要預(yù)測物體類別并微調(diào)錨框的坐標(biāo),從而獲得最終的預(yù)測框。此時(shí),判斷錨框中是否包含物體就需要用到交并比,當(dāng)錨框與真實(shí)框交并比足夠大時(shí),我們就可以認(rèn)為錨框中包含了該物體;而錨框與真實(shí)框交并比很小時(shí),我們就可以認(rèn)為錨框中不包含該物體。此外,在后面NMS的計(jì)算過程中,同樣也要使用交并比來判斷不同矩形框是否重疊。
摘自百度圖庫
交并比公式
MAP(Mean Average precision)
???????即各個(gè)類別AP的平均值
??????? AP:P-R曲線下的面積
??????? 下圖不同交并比下的map曲線,展現(xiàn)了目標(biāo)檢測在VOCO和COCO數(shù)據(jù)集中的性能
摘自 object detection in 20 years a survey 文章來源:http://www.zghlxwxcb.cn/news/detail-448962.html
論文地址
object detection in 20 years a survey.文章來源地址http://www.zghlxwxcb.cn/news/detail-448962.html
到了這里,關(guān)于yoloV5(二)目標(biāo)檢測中常見指標(biāo)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!