0. 引言

0.1 COCO 數(shù)據(jù)集評價指標(biāo)

目標(biāo)檢測模型通過 pycocotools 在驗證集上會得到 COCO 的評價列表，具體參數(shù)的含義是什么呢？

0.2 目標(biāo)檢測領(lǐng)域常用的公開數(shù)據(jù)集

1. PASCAL VOC
2. Microsoft COCO（MS COCO）

在 MS COCO 數(shù)據(jù)集出來之前，目標(biāo)檢測基本上用的是 PASCAL VOC 數(shù)據(jù)集，現(xiàn)在 MS COCO 非常流行。這兩個數(shù)據(jù)集均有自己的評判標(biāo)準(zhǔn)。

0.3 COCO（Common Objects in Context，上下文中的常見對象）數(shù)據(jù)集簡介

0.3.1 介紹

COCO 數(shù)據(jù)集是一個可用于圖像檢測（Image Detection），語義分割（Semantic Segmentation）和圖像標(biāo)題生成（Image Captioning）的大規(guī)模數(shù)據(jù)集。它有超過 330K 張圖像（其中 220K 張是有標(biāo)注的圖像），包含

• 150 萬個目標(biāo)
• 80 個目標(biāo)類別（object categories：行人、汽車、大象等）
• 91 種材料類別（stuff categoris：草、墻、天空等）
• 每張圖像包含五句圖像的語句描述
• 且有 250, 000 個帶關(guān)鍵點標(biāo)注的行人

MS COCO官網(wǎng)：https://cocodataset.org/#home

0.3.2 MS COCO 可以應(yīng)用的任務(wù)

1. 目標(biāo)檢測（object detection）：使用 bounding box 或者 object segmentation (也稱為instance segmentation)將不同的目標(biāo)進行標(biāo)定。

2. Densepose（密集姿勢估計）：DensePose 任務(wù)涉及同時檢測人、分割他們的身體并將屬于人體的所有圖像像素映射到身體的3D表面。用于不可控條件下的密集人體姿態(tài) 估計。

   

3. Key-points detection（關(guān)鍵點檢測）：在任意姿態(tài)下對人物的關(guān)鍵點進行定位，該任務(wù)包含檢測行人及定位到行人的關(guān)鍵點。

   

4. Stuff Segmentation（材料細(xì)分）：語義分割中針對 stuff class 類的分割（草，墻壁，天空等）

   

5. Panoptic Segmentation（全景分割）：其目的是生成豐富且完整的連貫場景分割，這是實現(xiàn)自主駕駛或增強現(xiàn)實等真實世界視覺系統(tǒng)的重要一步。

   

6. image captioning（圖像標(biāo)題生成）：根據(jù)圖像生成一段文字。

   

0.3.3 COCO 的 80 個類別

1. 目標(biāo)檢測中常見的指標(biāo)

對于這樣一張圖片，怎樣才能算檢測正確呢？其中，綠色為 GT，紅色為預(yù)測框。

• IoU 大于指定閾值？
• 類別是否正確？
• confidence 大于指定閾值？

以上三點都是我們需要考慮的。

1.1 TP、FP、FN

1.1.1 定義

• TP（True Positive）：預(yù)測正確的預(yù)測框數(shù)量 [IoU > 閾值]（同一個 GT 只計算一次）
• FP（False Positive）：檢測到是同一個 GT 的多余預(yù)測框的數(shù)量 [IoU < 閾值]（或者是檢測到同一個 GT 的多余預(yù)測框的數(shù)量）
• FN（False Negative）：沒有檢測到 GT 的預(yù)測框數(shù)量 [漏檢的數(shù)量]

• 閾值根據(jù)任務(wù)進行調(diào)整，一般選擇 0.5
• FP 就是“假陽性”，就是模型誤認(rèn)為是 TP

1.1.2 例子說明 TP、FP、FN

舉個例子理解 TP、FP、FN：

對于張圖片來說，綠色 為 GT，紅色 為模型預(yù)測框，IoU 閾值設(shè)置為 0.5。

• 對于中間這只貓來說，在 綠色框（GT） 中的 預(yù)測框（紅色） 和 綠色框 的 IoU 肯定是 >0.5 的，所以它應(yīng)該是一個 TP（預(yù)測對了目標(biāo)且 IoU > 閾值）；而對于 偏左的預(yù)測框 來說，它和 GT 的 IoU 肯定是不足 0.5 的，加之因為有 TP 的存在，所以它是 FP。
• 對于右下角的那只貓，GT 是有的，但模型并沒有給出對應(yīng)的預(yù)測框，因此模型對于這只貓來說，漏檢了，故 FN 的數(shù)量為 1。

1.2 AP（Average Precision，平均精度）

1.2.1 Precision

$$\mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$$

解釋：模型預(yù)測的所有目標(biāo)（Object）中，預(yù)測正確的比例 -> 查準(zhǔn)率

模型認(rèn)為正確的目標(biāo) 中 確實預(yù)測對了多少

那么僅僅通過 Precision 這個指標(biāo)能不能全面衡量模型的檢測能力呢？舉個例子進行說明：

同樣的，綠色的為 Ground Truth，紅色的為 預(yù)測框。

上面這張圖片有 5 個目標(biāo)，但是網(wǎng)絡(luò)只針對貓 ① 給出了預(yù)測框（紅色的），剩下的貓都沒有檢測出來。這里的 TP=1，F(xiàn)P=0。所以此時的 Precision 為：

$$\begin{array}{rl}\mathrm{Precision}& =\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}\\ & =\frac{1}{1+0}\\ & =1\\ & =100\%\end{array}$$

很明顯對于這張圖片網(wǎng)絡(luò)漏檢了 4 個目標(biāo)，但 Precision 又顯示結(jié)果是非常好的。因此我們就可以知道了，僅僅通過 Precision 無法評判檢測網(wǎng)絡(luò)的性能。為了解決這個問題，我們引入了另外一個指標(biāo) —— Recall。

1.2.2 Recall

$$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$$

解釋：所有真實目標(biāo)中，模型預(yù)測正確的比例 -> 查全率

本應(yīng)該檢測對的，模型檢測對了多少

那么我們只使用 Recall 這個指標(biāo)來判定模型的好壞嗎？舉個例子說明：

這張圖片和上一張圖片類似，網(wǎng)絡(luò)總共預(yù)測出了 50 個預(yù)測框（即 50 個目標(biāo)）。這 50 個預(yù)測框中包括了所有要檢測的目標(biāo)，那么該網(wǎng)絡(luò)針對這張圖片的 Recall 為：

$$\begin{array}{rl}\mathrm{Recall}& =\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}\\ & =\frac{1}{1+0}\\ & =1\\ & =100\%\end{array}$$

很明顯，單單使用 Recall 無法評判模型的好壞。所以我們需要同時使用 Precision 和 Recall 這兩個指標(biāo)來進行網(wǎng)絡(luò)性能的評判，即引入 —— AP。

1.2.3 AP —— P-R 曲線下面積

AP 就是P-R曲線下方的面積，而 P-R 分別為 Precision 和 Recall。

假設(shè)模型已經(jīng)訓(xùn)練完畢，驗證集為下面 3 張圖片：

1.2.3.1 第一張圖片

首先判斷該圖片中有幾個目標(biāo)（GT）？很明顯綠色的框有兩個，所以有兩個 GT，即

$$\mathrm{nu}{\mathrm{m}}_{\mathrm{obj}}=0+2=2。$$

接下來同一個列表統(tǒng)計網(wǎng)絡(luò)所檢測到的目標(biāo)信息：

Note:

• GT id 為 預(yù)測框匹配的 GT 的 id；Confidence 為預(yù)測框的置信度（是此類別的概率）；OB 為判斷該預(yù)測框是否是 TP。
• 該表從上到下的順序是根據(jù) Confidence 降序排列的
• 對于 GT id = 2，網(wǎng)絡(luò)并沒有給出預(yù)測框，所以表中沒有相關(guān)信息

1.2.3.2 第二張圖片

這張圖片中目標(biāo)的個數(shù)（綠色的框）有 1 個，所以累積目標(biāo)個數(shù)：

表也需更新：

1.2.3.3 第三張圖片

累積目標(biāo)個數(shù)：

更新表：

1.2.3.4 計算 AP

得到表以后，我們計算針對不同 Confidence（即取不同 Confidence 閾值）得到的 Precision 和 Recall 的信息）。

1. 首先將 Confidence 的閾值設(shè)置為 0.98（Confidence ≥ 0.98 的目標(biāo)才算匹配正確），只有一個預(yù)測框符合條件（表中的第一行）。

   • TP = 1; FP = 0; FN = 6

   在 Confidence≥0.98 的條件下，TP=1 沒什么問題；FP=0 是因為閾值的存在；FN=6 是因為累積目標(biāo)個數(shù) num_ob=7，所以 $\mathrm{FN}=num\_ob?\mathrm{TP}=7?1=6$。因此我們可以得到$\mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}=\frac{1}{1+0}=1$和$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{1}{1+6}=0.14$
   Note：這個TP; FP; FN是看那個表，就不區(qū)分什么第幾張圖片了，看表就可以。

2. 將 Confidence 閾值設(shè)置為 0.89

   • 此條件下，TP = 2; FP = 0; FN = num_ob - TP = 7 - 2 = 5，我們可以得到 Precision 和 Recall

3. …

4. 將 Confidence 閾值設(shè)置為 0.66

   • 此條件下，TP=4; FP=1; FN=num_ob-TP=7-4=3，我們可以得到$\mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}=\frac{4}{4+1}=0.80$和$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{4}{4+3}=0.57$

5. …

全部計算完畢后，結(jié)果如下表所示。

我們可以根據(jù)求得的一系列的 Precision 和 Recall 繪制 P-R 曲線。以 Recall 為橫坐標(biāo)，Precision 為縱坐標(biāo)得到 P-R 曲線，如下圖所示。

在繪制 P-R 曲線時需注意：對于 Recall（橫坐標(biāo)）需要濾除一些重復(fù)數(shù)據(jù)（圖中用框框住的即為參與計算的點，有兩個點沒有被框，它倆不參與 AP 的計算）。根據(jù)表中的數(shù)據(jù)可知，Recall=0.57 有 3 個值，此時需保留 Precision 最大的值，即：

圖中陰影部分的面積就是 AP，計算如下（重復(fù)的 Recall 已經(jīng)濾除）：

$$\begin{array}{rl}\mathrm{Recall}& =\sum _{i=1}^{\mathrm{Rank}}({\mathrm{Recall}}_i?{\mathrm{Recall}}_{i?1})\times \max ({\mathrm{Precision}}_{i,...,\mathrm{Rank}})\\ \mathrm{Recall}& =\sum _{i=本行}^{\mathrm{Rank}}({\mathrm{Recall}}_{本行}?{\mathrm{Recall}}_{上一行})\times 本行及以下最大的\mathrm{Precision}\end{array}$$

根據(jù)公式可以求得陰影的面積，即 AP 為：

$$\begin{array}{rl}\mathrm{Recall}& =(0.14?0)\times 1.0+(0.28?0.14)\times 1.0+(0.42?0.28)\times 1.0+(0.57?0.42)\times 1.0+(0.71?0.57)\times 0.71\\ & =0.6694\end{array}$$

了解完 AP 后我們就可以進一步得到一個新的指標(biāo) —— mAP。

1.3 mAP(mean Average Precision，即各類別 AP 的平均值)

mAP 就是各類別 AP 的平均值，計算公式如下：

$$\mathrm{mAP}=\frac{1}{\mathrm{nc}}\sum _{\mathrm{i}=1}^{\mathrm{nc}}\mathrm{A}{\mathrm{P}}_{\mathrm{i}}$$

其中 nc 為類別數(shù)。

1.4 注意事項

以上的 TP、FP、FN 都是經(jīng)過 NMS 處理后得到的預(yù)測框。

2. MS COCO 評價指標(biāo)中每條數(shù)據(jù)的含義

MS COCO 官網(wǎng)說明：https://cocodataset.org/#detection-eval

Note：圖片中雖然寫的是 AP，但實際上表示的是 mAP。

2.1 Average Precision (AP)

1. $\mathrm{AP}$：MS COCO 的主要評價指標(biāo)，設(shè)置的 IoU 閾值為 IoU = range(0.5, 1.00, 0.05) 共 10 個 IoU 的 mAP 的均值，計算公式如下：
   $$\mathrm{AP}=\frac{1}{10}(\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.5}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.55}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.60}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.65}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.70}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.75}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.80}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.85}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.9}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.95})$$
2. $\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.50$：將 IoU 閾值設(shè)置為 0.5 得到的 mAP 值（就是上面我們舉的例子），這個取值也是 PASCAL VOC 的評價指標(biāo)。
3. $\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.75$：是更加嚴(yán)格的標(biāo)準(zhǔn)（因為 IoU 的閾值越大，說明網(wǎng)絡(luò)預(yù)測框與 GT 重合度越來越高 -> 目標(biāo)的定位越來越準(zhǔn)，這對網(wǎng)絡(luò)來說是很難的）。

2.2 Across Scales

1. AP^small：mAP 針對小目標(biāo) 若檢測目標(biāo)（GT）的像素面積小于 $32^2$，則將其歸為小目標(biāo) ——衡量網(wǎng)絡(luò)對于小目標(biāo)的平均查準(zhǔn)率
2. AP^medium：mAP 針對中目標(biāo) 若檢測目標(biāo)（GT）的像素面積在 $[32^2,96^2]$ 之間，則將其歸為中目標(biāo) ——衡量網(wǎng)絡(luò)對于中等目標(biāo)的平均查準(zhǔn)率
3. AP^large：mAP 針對大目標(biāo) 若檢測目標(biāo)（GT）的像素面積大于 $96^2$，則將其歸為大目標(biāo) ——衡量網(wǎng)絡(luò)對于大目標(biāo)的平均查準(zhǔn)率

通過這三個指標(biāo)可以看出該目標(biāo)檢測網(wǎng)絡(luò)對于不同尺度目標(biāo)的檢測效果。如果我們的任務(wù)需要檢測的目標(biāo)都是較小的，我們應(yīng)該更加關(guān)注與 $\mathrm{A}{\mathrm{P}}^{\mathrm{small}}$ 參數(shù)而不是 $\mathrm{A}{\mathrm{P}}^{\mathrm{large}}$。

2.3 Average Recall (AR)

對于目標(biāo)檢測網(wǎng)絡(luò)，在代碼部分會限制每張圖片最終預(yù)測框的數(shù)量，這里的 max 就是這個數(shù)量。如 max=100，即每張圖片最終預(yù)測 100 個預(yù)測框。而這里的 $\mathrm{A}{\mathrm{R}}^{\max }=100$ 就表示在每張圖片預(yù)測框閾值為 100 的情況下，平均的查全率（Recall）是多少。

1. $\mathrm{A}{\mathrm{R}}^{\max }=1$：在每張圖片預(yù)測框數(shù)量閾值為 1 的情況下，平均的查全率（Recall）是多少
2. $\mathrm{A}{\mathrm{R}}^{\max }=10$：在每張圖片預(yù)測框數(shù)量閾值為 10 的情況下，平均的查全率（Recall）是多少
3. $\mathrm{A}{\mathrm{R}}^{\max }=100$：在每張圖片預(yù)測框數(shù)量閾值為 100 的情況下，平均的查全率（Recall）是多少

從上圖可以看到，$\mathrm{A}{\mathrm{R}}^{\max }=100=64\%$，$\mathrm{A}{\mathrm{R}}^{\max }=10=63.3\%$，$\mathrm{A}{\mathrm{R}}^{\max }=1=45.2\%$。這說明 max 取 100 和取 10 相差不大，進一步說明了，模型訓(xùn)練時使用的數(shù)據(jù)集每張圖片中目標(biāo)（GT）的數(shù)目并不是很多，基本上在 10 左右；而當(dāng)預(yù)測框數(shù)量限制在 1 時，它的 AR 僅為 45.2%，說明每張圖片的目標(biāo)個數(shù)一般是 >1 的。

2.4 AR Across Scales

與 AP、AP across scales 類似，AR across scales 表示對應(yīng)不同目標(biāo)尺度的 AR。

1. $\mathrm{A}{\mathrm{R}}^{\mathrm{small}}$：AR 針對小目標(biāo) 若檢測目標(biāo)（GT）的像素面積小于 $32^2$，則將其歸為小目標(biāo) ——衡量網(wǎng)絡(luò)對于小目標(biāo)的平均查全率（Recall）
2. $\mathrm{A}{\mathrm{R}}^{\mathrm{medium}}$：AR 針對中目標(biāo) 若檢測目標(biāo)（GT）的像素面積在 $[32^2,96^2]$ 之間，則將其歸為中目標(biāo) ——衡量網(wǎng)絡(luò)對于中等目標(biāo)的平均查全率（Recall）
3. $\mathrm{A}{\mathrm{R}}^{\mathrm{large}}$：AR 針對大目標(biāo) 若檢測目標(biāo)（GT）的像素面積大于 $96^2$，則將其歸為大目標(biāo) ——衡量網(wǎng)絡(luò)對于大目標(biāo)的平均查全率（Recall）

3. 各種指標(biāo)的選擇 —— 基于不同的任務(wù)

不同的任務(wù)需要使用不同的指標(biāo)。

3.1 mAP

• 于 PASCAL VOC 的 mAP 來說，$\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.50$ 是要看的，因為它是 PASCAL VOC 的主要評價指標(biāo)。
• 對于 MS COCO 數(shù)據(jù)集來說，$\mathrm{AP}$（第一行，10 個 mAP 的平均）是要看的，因為它是 MS COCO 的主要評價指標(biāo)。
• 如果我們對 目標(biāo)框定位精度要求較高 的話，我們可以關(guān)注 $\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.75$
• 如果我們對 小目標(biāo)檢測要求比較高 的話，我們可以關(guān)注 $\mathrm{A}{\mathrm{P}}^{\mathrm{small}}$，通過這個值可以了解網(wǎng)絡(luò)對于小目標(biāo)檢測的平均查準(zhǔn)率（整體情況）
• 如果我們對 中目標(biāo)檢測要求比較高 的話，我們可以關(guān)注 $\mathrm{A}{\mathrm{P}}^{\mathrm{medium}}$
• 如果我們對 大目標(biāo)檢測要求比較高 的話，我們可以關(guān)注 $\mathrm{A}{\mathrm{P}}^{\mathrm{large}}$

3.2 AR

主要關(guān)注下面兩個指標(biāo)：

1. $\mathrm{A}{\mathrm{R}}^{\max }=10$
2. $\mathrm{A}{\mathrm{R}}^{\max }=100$

如果它倆 AR（平均查全率）相差很小的話， 可以減少網(wǎng)絡(luò)預(yù)測框的個數(shù)，從而提高目標(biāo)檢測的效率。文章來源地址http://www.zghlxwxcb.cn/news/detail-716982.html

參考

1. 目標(biāo)檢測mAP計算以及coco評價標(biāo)準(zhǔn)
2. COCO數(shù)據(jù)集介紹

到了這里，關(guān)于MS COCO數(shù)據(jù)集的評價標(biāo)準(zhǔn)以及不同指標(biāo)的選擇推薦（AP、mAP、MS COCO、AR、@、0.5、0.75、1、目標(biāo)檢測、評價指標(biāo)）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！