缺陷異常檢測(cè)及定位性能評(píng)價(jià)指標(biāo)–AUROC，PRO(per-region-overlap)

異常檢測(cè)/缺陷檢測(cè)性能的評(píng)估

對(duì)于異常檢測(cè)性能的評(píng)估，以接收者特性曲線下方的面積AUROC(area under the receiver operating characteristic)作為評(píng)估指標(biāo)。

異常檢測(cè)任務(wù)本質(zhì)上是一項(xiàng)分類任務(wù)，而AUROC指標(biāo)從原理上是根據(jù)混淆矩陣計(jì)算得出，如圖為一個(gè)二分類混淆矩陣，其中1為異常，0為正常。

第一行的0和1分別對(duì)應(yīng)實(shí)際值為正常和異常的情況，第一列的0和1分別對(duì)應(yīng)預(yù)測(cè)值為正常和異常的情況。

將預(yù)測(cè)為異常且實(shí)際為異常的樣本定義為真陽(yáng)性樣本TP（True Positive），而預(yù)測(cè)為異常但實(shí)際為正常的樣本則定義為假陽(yáng)性樣本FP（False Positive），剩下兩個(gè)以此類推。

對(duì)于分類的性能的評(píng)估通常使用的指標(biāo)為：準(zhǔn)確率（Accuracy）、召回率（Recall）和查準(zhǔn)率（Precision）。

準(zhǔn)確率（Accuracy）的計(jì)算方式是所有分類對(duì)的樣本數(shù)除以總樣本數(shù)：

召回率（recall）指實(shí)際為異常樣本中有多少被預(yù)測(cè)為異常，也被稱為查全率、真陽(yáng)性率（TPR）：

而查準(zhǔn)率（Precision）表示預(yù)測(cè)為異常的樣本中有多少是實(shí)際為異常樣本，也被稱為精確率：

由于單純的查準(zhǔn)率和召回率會(huì)受正負(fù)樣本不平衡的影響，引入了查準(zhǔn)率和召回率的調(diào)和平均數(shù)F1，綜合評(píng)估分類性能：

此外，在實(shí)際應(yīng)用中，為了衡量模型的不足，還引入了誤檢率（FPR）來(lái)衡量模型的不足，它表示有多少負(fù)樣本被錯(cuò)誤地預(yù)測(cè)為正樣本：

使用上述公式需要規(guī)定閾值進(jìn)行分類，若閾值設(shè)置不合理，則評(píng)估結(jié)果將很難反饋分類性能，故需要定義一個(gè)與閾值無(wú)關(guān)的指標(biāo)，來(lái)避免這種情況，也可更全面地評(píng)價(jià)分類性能。

通過(guò)設(shè)置一系列閾值，評(píng)價(jià)兩個(gè)指標(biāo)在不同閾值下的變化曲線。在缺陷檢測(cè)的分類任務(wù)中，常用的曲線有兩種：

1、PR曲線（Precision-recall curve），在不同閾值下，以召回率（recall）作為橫坐標(biāo)軸，查準(zhǔn)率（precision）作為縱坐標(biāo)軸繪制的曲線；

2、ROC曲線（Receiver operator characteristic curve），在不同閾值下，以誤檢率（FPR）作為橫坐標(biāo)軸，召回率（TPR）作為縱坐標(biāo)軸繪制的曲線。對(duì)于ROC曲線，虛報(bào)的越少越好，即TPR保持很高，ROC曲線下的面積越大越好。

總結(jié)一下就是TPR越高，同時(shí)FPR越低（即ROC曲線越陡），那么模型的性能就越好。通常采用曲線下面積（Area Under Curve，AUC）來(lái)度量相應(yīng)曲線指標(biāo)所描述的性能，即本文采用的指標(biāo)AUROC。

異常定位性能的評(píng)估

對(duì)于異常定位性能的評(píng)估，使用了AUROC和per-region-overlap（PRO）兩個(gè)指標(biāo)。與用于逐像素測(cè)量的AUROC不同，PRO分?jǐn)?shù)平等地對(duì)待任何大小的異常區(qū)域。

異常定位性能評(píng)估一般是將缺陷概率的熱力圖設(shè)定閾值二值化后的結(jié)果與像素級(jí)別標(biāo)簽圖對(duì)比計(jì)算。而二值化后的結(jié)果評(píng)價(jià)即可轉(zhuǎn)換為分類問(wèn)題，前文混淆矩陣及相應(yīng)的評(píng)價(jià)指標(biāo)便可由此評(píng)價(jià)定位性能，即像素級(jí)AUROC指標(biāo)。

但ROC曲線中TPR值受缺陷面積影響，若正確定位面積大的異常區(qū)域（TP值會(huì)很大且TP/（TP+FN）會(huì)因?yàn)門(mén)P的比重大而變大）將會(huì)大幅提高TPR指標(biāo)，但若錯(cuò)誤定位小的缺陷區(qū)域（FP值會(huì)增大，但FP/（FP+））則不會(huì)有很大的影響，因此該指標(biāo)在實(shí)際應(yīng)用中存在局限。因此，Bergman等提出連通域級(jí)的指標(biāo)PRO（Per-region-overlap）。如式，第一步將定位的缺陷結(jié)果和實(shí)際的真值按連通域劃分為N個(gè)區(qū)域，接著求出每個(gè)區(qū)域中預(yù)測(cè)結(jié)果P和真值Gn的交集，將交集除以Gn后N個(gè)區(qū)域加權(quán)平均即可求得PRO值 。同時(shí)預(yù)測(cè)結(jié)果P和真值Gn的交集即真陽(yáng)性樣本TPn，故PRO也可根據(jù)混淆矩陣計(jì)算。

同樣地，為了避免閾值對(duì)評(píng)估結(jié)果的影響，還可繪制PRO曲線來(lái)描述異常定位性能。對(duì)于PRO曲線，若FPR過(guò)高，則代表大面積的正常區(qū)域被定位為缺陷，此時(shí)由于大面積的區(qū)域被定位為缺陷，真正樣本TPn的值也會(huì)很大，即PRO值很高，顯然此時(shí)的高PRO不能很好地反應(yīng)模型定位精度。因此，在用AUC評(píng)價(jià)PRO曲線時(shí)，只選用令FPR處于0-30%之間的閾值，并將AUC歸一化作為PRO-Score，即本文使用的PRO分?jǐn)?shù)。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-480355.html

到了這里，關(guān)于缺陷異常檢測(cè)及定位性能評(píng)價(jià)指標(biāo)–AUROC，PRO(per-region-overlap)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！