目標(biāo)檢測(cè)

目標(biāo)檢測(cè)的基本范式

• 劃窗

• 使用卷積實(shí)現(xiàn)密集預(yù)測(cè)

• 錨框

• 多尺度檢測(cè)與FPN

單階段&無(wú)錨框檢測(cè)器選講

• RPN

• YOLO、SSD

• Focal Loss與RetinaNet

• FCOS

• YOLO系列選講

什么是目標(biāo)檢測(cè)

目標(biāo)檢測(cè)：給定一張圖片，用矩形框框出所有感興趣物體同時(shí)預(yù)測(cè)物體類別

目標(biāo)檢測(cè)與圖像分類區(qū)別

圖像分類通常只有一個(gè)物體，位于圖像中央，占據(jù)主要面積，目標(biāo)檢測(cè)中這些都不固定

單階段目標(biāo)檢測(cè)算法

單階段檢測(cè)算法概述

單階段算法直接通過(guò)密集預(yù)測(cè)產(chǎn)生檢測(cè)框，相比于兩階段算法，模型結(jié)構(gòu)簡(jiǎn)單、速度快、易于在設(shè)備上部署

早期由于主干網(wǎng)絡(luò)、多尺度技術(shù)等相關(guān)技術(shù)不成熟，單階段算法在性能上不如兩階段算法，但因?yàn)樗俣群秃?jiǎn)潔的優(yōu)勢(shì)仍受到工業(yè)界青睞

隨著單階段算法性能逐漸提升，成為目標(biāo)檢測(cè)的主流算法

RPN（Region Proposal Network）

RPN 初步刪除圖像中包含物體的物質(zhì)，不預(yù)測(cè)具體類別

RPN算“半個(gè)檢測(cè)器”，是二階算法 Faster RCNN的第一階段

RPN是基于密集預(yù)測(cè)的

YOLO（You Only Look Once）

是最早的單階段檢測(cè)器之一，激發(fā)了單階段算法的研究潮流

主干網(wǎng)絡(luò)：自行設(shè)計(jì)的DarkNet結(jié)構(gòu)，產(chǎn)生771024維的特征圖

檢測(cè)頭：2層全連接層產(chǎn)生77組預(yù)測(cè)結(jié)果，對(duì)應(yīng)77個(gè)空間位置上物體的類別和邊界

YOLO的匹配與框編碼

將原圖切分成SS大小的格子，對(duì)應(yīng)預(yù)測(cè)圖上SS個(gè)位置

如果原圖上某個(gè)物體中心位于某個(gè)格子內(nèi)，則對(duì)應(yīng)位置的預(yù)測(cè)值應(yīng)給給出物體類別和邊界框位置

其余位置應(yīng)預(yù)測(cè)為背景類別，不關(guān)心邊界框預(yù)測(cè)結(jié)果

優(yōu)點(diǎn)：

速度快：在Pascal VOC數(shù)據(jù)集上，使用自己設(shè)計(jì)的DarkNet結(jié)構(gòu)可以達(dá)到實(shí)時(shí)速度，使用相同的VGG可以達(dá)到3倍與Faster R-CNN的速度

缺點(diǎn)：

由于每個(gè)格子只能預(yù)測(cè)一個(gè)物體，因此對(duì)重疊物體，尤其是大量重疊的小物體容易產(chǎn)生漏檢

直接回歸邊界框（無(wú)錨框）有難度，回歸誤差較大，YOLO V2開(kāi)始使用錨框

SSD（Single Shot MultiBox Detector）

主干網(wǎng)絡(luò)：使用VGG+額外卷積層，產(chǎn)生11級(jí)特征圖

檢測(cè)頭：在6級(jí)特征圖上進(jìn)行密集預(yù)測(cè)，產(chǎn)生所有位置，不同尺度的預(yù)測(cè)結(jié)果

RetinaNet

特征生成：ResNet主管網(wǎng)絡(luò)+FPN產(chǎn)生P3~P7共五級(jí)特征圖，對(duì)應(yīng)采樣率8-128倍

多尺度錨框：每個(gè)特征圖上設(shè)置3種尺寸*3種長(zhǎng)寬比的錨框，覆蓋82-813像素尺寸

密集預(yù)測(cè)頭：兩分支、5層卷積構(gòu)成的檢測(cè)頭，針對(duì)每個(gè)錨框產(chǎn)生K個(gè)二類預(yù)測(cè)以及4個(gè)邊界框偏移量

損失函數(shù)：Focal Loss

性能

單階段算法面臨的正負(fù)樣本不均衡問(wèn)題

單階段算法共產(chǎn)生尺度數(shù)位置數(shù)錨框數(shù)個(gè)預(yù)測(cè)

而這些預(yù)測(cè)之中，只有少量錨框的真值為物體（正樣本），大部分錨框的真值為背景（負(fù)樣本）

使用類別不平衡的數(shù)據(jù)訓(xùn)練處的分類器傾向給出背景預(yù)測(cè)，導(dǎo)致漏檢

樸素的分類損失不能驅(qū)動(dòng)檢測(cè)器在有限的能力下達(dá)到漏檢和錯(cuò)檢之間的平衡

YOLO V3

自定義的DarkNet-53主干網(wǎng)絡(luò)和類FPN結(jié)構(gòu)，產(chǎn)生1/8、1/16、1/32降采樣率的3級(jí)特征圖

在每級(jí)特征圖上設(shè)置3個(gè)尺寸的錨框，錨框尺寸通過(guò)對(duì)真值狂聚類得到

兩層卷積構(gòu)成的密集檢測(cè)頭，在每個(gè)位置、針對(duì)每個(gè)錨框產(chǎn)生80個(gè)類別預(yù)測(cè)、4個(gè)邊界框偏移量、1個(gè)objectness預(yù)測(cè)，每級(jí)特征圖3*（80+4+1）=255通道的預(yù)測(cè)值

得益于相對(duì)輕巧的主干網(wǎng)絡(luò)設(shè)計(jì)、YOLO V3的速度圓冠榆RetinaNet

YOLO V5

模型結(jié)構(gòu)進(jìn)一步改進(jìn)、使用CSPNarkNet主干網(wǎng)絡(luò)、PAFPN多尺度模塊

訓(xùn)練時(shí)使用更多數(shù)據(jù)增強(qiáng)，如Mosaic、MixUP

使用自對(duì)抗訓(xùn)練技術(shù)（SAT）提高檢測(cè)器的魯棒性

無(wú)錨框目標(biāo)檢測(cè)算法

基于錨框

• Faster R-CNN、YOLO V3/V5、RetinaNet都是基于錨框的檢測(cè)算法

• 模型基于特征預(yù)測(cè)對(duì)應(yīng)位置中是否有物體，以及精確位置相對(duì)于錨框的偏移量

• 實(shí)現(xiàn)復(fù)雜，需要手動(dòng)設(shè)置錨框相關(guān)超參數(shù)（如大小、長(zhǎng)寬比、數(shù)量等），設(shè)置不當(dāng)影響檢測(cè)精度

無(wú)錨框

• 不依賴錨框，模型基于特征直接預(yù)測(cè)對(duì)應(yīng)位置是否有物體以及邊界框的位置
• 邊界框預(yù)測(cè)完全基于模型學(xué)習(xí)，不需要人工調(diào)整超參數(shù)

FOCS（Fully Convolutional One-Stage）

模型結(jié)構(gòu)與RetinaNet基本相同：主干網(wǎng)絡(luò)+FPN+兩分支、5層卷積構(gòu)成的密集預(yù)測(cè)頭

預(yù)測(cè)目標(biāo)不同：對(duì)于每個(gè)點(diǎn)位、預(yù)測(cè)類別、邊界框位置和中心度三組數(shù)值

FCOS的預(yù)測(cè)目標(biāo)&匹配規(guī)則

如果某個(gè)特征位于某個(gè)真值框的內(nèi)部，且特征的層級(jí)與真值框的尺度匹配，則該特征對(duì)應(yīng)正樣本，應(yīng)預(yù)測(cè)物體的

• 類別概率

• 邊界框相對(duì)于該中心位置的偏移量

• 中心度，對(duì)于衡量預(yù)測(cè)框的優(yōu)劣

如果某個(gè)特征不位于真值框內(nèi)部，或與真值框尺度不匹配、對(duì)應(yīng)負(fù)樣本，只需預(yù)測(cè)類別為背景

對(duì)比：Anchor-Based算法基于IOU匹配，通常Anchor需要預(yù)測(cè)與之交并比大于閾值的框

FCOS的多尺度匹配

Anchor-based算法根據(jù)錨框和真值框的IoU為錨框匹配真值框通常，錨框會(huì)匹配到同尺度的真值框，小物體由底層特征預(yù)測(cè)，大物體由高層特征圖預(yù)測(cè)

問(wèn)題：Anchor-free 算法沒(méi)有錨框，真值框如何匹配到不同尺度？

匹配方案：每層特征圖只負(fù)責(zé)預(yù)測(cè)特定大小的物體，例如右圖中512像素以上的物體匹配到P7上

由于重疊的物體尺度通常不同，同一位置重疊的真值框會(huì)被分配到不同的特征層，從而避免同一個(gè)位置需要預(yù)測(cè)兩個(gè)物體的情形

CenterNet

針對(duì)2D檢測(cè)的算法，將傳統(tǒng)檢測(cè)算法中的“以框表示物體”變成“以中心點(diǎn)表示物體”，將2D檢測(cè)建模為關(guān)鍵點(diǎn)檢測(cè)和額外的回歸任務(wù)，一個(gè)框架可以同時(shí)覆蓋2D檢測(cè)、3D檢測(cè)、姿態(tài)估計(jì)等一系列任務(wù)。

YOLO X

以YOLO V3為基準(zhǔn)模型改進(jìn)的無(wú)錨框檢測(cè)器

• Decouple Head結(jié)構(gòu)

• 更多現(xiàn)代數(shù)據(jù)增強(qiáng)策略

• SimOTA分配策略

• 從小到大的一系列模型

SOTA的精度和速度文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-475322.html

到了這里，關(guān)于【OpenMMLab AI實(shí)戰(zhàn)營(yíng)第二期】目標(biāo)檢測(cè)與MMDetection的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！