摘要

MMDetection 是一個(gè)基于 PyTorch 的目標(biāo)檢測開源工具箱。它是 OpenMMLab 項(xiàng)目的一部分。是目前應(yīng)用最廣的算法庫

主分支代碼目前支持 PyTorch 1.6 以上的版本。代碼鏈接：https://gitee.com/open-mmlab/mmdetection。

主要特性

• 模塊化設(shè)計(jì)。MMDetection 將檢測框架解耦成不同的模塊組件，通過組合不同的模塊組件，用戶可以便捷地構(gòu)建自定義的檢測模型

• 支持多種檢測任務(wù)。MMDetection 支持了各種不同的檢測任務(wù)，包括目標(biāo)檢測，實(shí)例分割，全景分割，以及半監(jiān)督目標(biāo)檢測。

• 速度快?；镜目蚝?mask 操作都實(shí)現(xiàn)了 GPU 版本，訓(xùn)練速度比其他代碼庫更快或者相當(dāng)，包括 Detectron2, maskrcnn-benchmark 和 SimpleDet。

• 性能高。MMDetection 這個(gè)算法庫源自于 COCO 2018 目標(biāo)檢測競賽的冠軍團(tuán)隊(duì) MMDet 團(tuán)隊(duì)開發(fā)的代碼，我們?cè)谥蟪掷m(xù)進(jìn)行了改進(jìn)和提升。 新發(fā)布的 RTMDet 還在實(shí)時(shí)實(shí)例分割和旋轉(zhuǎn)目標(biāo)檢測任務(wù)中取得了最先進(jìn)的成果，同時(shí)也在目標(biāo)檢測模型中取得了最佳的的參數(shù)量和精度平衡。

【課程鏈接】https://www.bilibili.com/video/BV1Ak4y1p7W9/
【講師介紹】王若暉 OpenMMLab青年研究員
一階段算法：SSD、YOLO系列等。二階段：Faster R-CNN、Mask R-CNN等。

常用概念

框、邊界框

框泛指圖像上的矩形框，邊界橫平堅(jiān)直
描述一個(gè)框需要 4 個(gè)像素值:

• 方式 1: 左上右下邊界坐標(biāo) (l, t, r, b)
• 方式2: 中心坐標(biāo)和框的長寬 (x, y, w, h)

邊界框通常指緊密包圍感興趣物體的框 檢測任務(wù)要求為圖中出現(xiàn)的每個(gè)物體預(yù)測一個(gè)邊界框

交并比 (loU)

交并比 (loU) 定義為兩矩形框交集面積與并集面積之比，是矩形框重合程度的衡量指標(biāo)

感受野

感受野: 神經(jīng)網(wǎng)絡(luò)中，一個(gè)神經(jīng)元能"看到"的原圖的區(qū)域
換句話說:

• 為了計(jì)算出這個(gè)神經(jīng)元的激活值，原圖上哪些像素參與運(yùn)算了?
  再換句話說:
• 這個(gè)神經(jīng)元表達(dá)了圖像上哪個(gè)區(qū)域內(nèi)的內(nèi)容?
• 這個(gè)神經(jīng)元是圖像上哪個(gè)區(qū)域的特征?

感受野的中心

• 一般結(jié)論比較復(fù)雜
• 對(duì)于尺寸 $3\times 3$ 、$pad=1$ 的卷積（或池化）堆疊起來的模 型，感受野中心=神經(jīng)元再特征圖上的坐標(biāo) $\times$ 感受野步長
  感受野的步長（=降采樣率=特稱圖尺寸的縮減倍數(shù)）
• 神經(jīng)網(wǎng)絡(luò)某一層上, 相鄰兩個(gè)神經(jīng)元的感受野的距離
• 步長=這一層之前所有stride的乘積

有效感受野

感受野一般很大，但不同像素對(duì)激活值的貢獻(xiàn)是不同的
換句話說:
激活值對(duì)感受野內(nèi)的像素求導(dǎo)數(shù)，大小不同
影響比較大的像素通常聚集在中間區(qū)域，可以認(rèn)為對(duì)應(yīng)神經(jīng)元 提取了有效感受野范圍內(nèi)的特征

置信度

置信度（Confidence Score）：模型認(rèn)可自身預(yù)測結(jié)果的程度，通常需要為每個(gè)框預(yù)測一個(gè)置信度 我們傾向認(rèn)可置信度高的預(yù)測結(jié)果，例如有兩個(gè)重復(fù)的預(yù)測結(jié)果，丟棄置信度低的

• 部分算法直接取模型預(yù)測物體屬于特定類別的概率
• 部分算法讓模型單獨(dú)預(yù)測一個(gè)置信度（訓(xùn)練時(shí)有GT，可以得相關(guān)信息作為監(jiān)督）
  

目標(biāo)檢測的基本思路

難點(diǎn)

• 需要同時(shí)解決 “是什么" 和 “在哪里"
• 圖中物體位置、數(shù)量、尺度變化多樣

滑框

-一個(gè)好的檢測器應(yīng)滿足不重、不漏的要求， 滑窗是實(shí)現(xiàn)這個(gè)要求的一個(gè)樸素手段。

1. 設(shè)定一個(gè)固定大小的窗口

2. 遍歷圖像所有位置，所到之處用分類模型 (假?zèng)]已經(jīng)汌統(tǒng)好) 識(shí)別窗口中的內(nèi)容

3. 為了檢測不同大小、不同形狀的物體，可以使用不同大小、長寬比的窗口掃描圖片

缺點(diǎn)，效率低、冗余計(jì)算。

改進(jìn)思路 1：使用啟發(fā)式算法替換榩力退歷
用相對(duì)低計(jì)算量的方式祖筡出可能包含物體的位置，再使用卷積網(wǎng)絡(luò)預(yù)測 早期二階段方法使用, 依款外部算法, 系統(tǒng)實(shí)現(xiàn)復(fù)雜

改進(jìn)2：分析重復(fù)計(jì)算，減少冗余計(jì)算。

在特征圖進(jìn)行密集計(jì)算

得到框中物體的分類概率

邊界框回歸

計(jì)算出精確的位置！

基于錨框VS無錨框

NMS（非極大值抑制）

滑窗類算法通常會(huì)在物體周圍給出多個(gè)相近的檢測框 這些框?qū)嶋H指向同一物體，只需要保留其中置信度最高的

使周密集預(yù)測模型進(jìn)行推理步驟

基本流程

• 用模型做密集預(yù)測，得到預(yù)測圖，每個(gè)位置包含類別概率、邊界框回歸的預(yù)側(cè)結(jié)果
• 保留預(yù)訓(xùn)類別不是背景的"框"
• 基于"框"中心，和邊界框回歸結(jié)果，進(jìn)行邊界框解碼
• 后處理：非極大值抑制 (Non-Maximum Suppression)

如何訓(xùn)練

如何訓(xùn)練

• 給定圖像數(shù)據(jù)集和標(biāo)注框，如何訓(xùn)練一個(gè)密集預(yù)測的檢別模型
  回想：認(rèn)練神經(jīng)網(wǎng)絡(luò)的一般套路
• 模型基于當(dāng)前參數(shù)給出給出預(yù)測
• 計(jì)算 loss: 衡量預(yù)測的好壞
• 反傳 loss、更新參數(shù)
  如何套用到密集預(yù)測中?

密集預(yù)測模型的訓(xùn)練

• 檢測頭在每個(gè)位置產(chǎn)生一個(gè)預(yù)測 (有無物體、類別、位置偏移量)
• 該預(yù)測值應(yīng)與某個(gè)真值比較產(chǎn)生損失，進(jìn)而才可以訓(xùn)練檢測器
• 但這個(gè)真值在數(shù)據(jù)標(biāo)注中并不存在, 標(biāo)注只標(biāo)出了有物體的地方
• 我們需要基于稀疏的標(biāo)注框?yàn)槊芗A(yù)測的結(jié)果產(chǎn)生真值，這個(gè)過程稱為匹聶 (Assignment)

匹配的基本思路

• 對(duì)于每個(gè)標(biāo)注框，在特征圖上找到與其最接近的位置（可以不止一個(gè)），該位置的分類真值設(shè)置為對(duì) 應(yīng)的物體
• 位置的接近程度，通?；谥行奈恢没蛘吲c基準(zhǔn)框的 IoU 判斷
• 其余位置真值為無物體
• 采樣：選取一部分正、負(fù)樣本計(jì)算 Loss (例如可以不計(jì)算真值框邊界位置的loss)

密集檢測的基本范式

多尺度預(yù)測

如何處理尺度問題

圖像中物體大小可能有很大差異 $(10\mathrm{px}～500\mathrm{px})$
樸素的密集范式中，如果讓模型基于主干網(wǎng)絡(luò)最后一層或倒數(shù)第二層特征圖進(jìn)行預(yù)測:

• 受限于結(jié)構(gòu) (感受野), 只擅長中等大小的物體
• 高層特征圖經(jīng)過多次采樣，位置信息逐層丟失，小物體檢測能力較弱，定位精度較低

基于鍶框(Anchor)

在原圖上設(shè)置不同尺寸的基準(zhǔn)哐，稱為錨誆，基于特征分別預(yù)測每個(gè)錨誆中是否包含物體
(1) 可以生成不同尺寸的預(yù)測框
(2) 可以在同一位置生成多個(gè)提議框覆蓋不同物體

圖像金字塔 Image Pyramid

將圖像縮放到不同大小，形成圖像金字塔
檢測算法在不同大小圖像上即可檢測出不同大小物體
優(yōu)勢：算法不經(jīng)改動(dòng)可以適應(yīng)不同尺度的物體
劣勢: 計(jì)算成本成倍增加
可用于模型集成等不在意計(jì)算成本的情況

基于層次化特征

基于主干網(wǎng)絡(luò)自身產(chǎn)生的多級(jí)特征圖產(chǎn)生預(yù)測結(jié)果
由于不同層的感受大小不同，因此不同層級(jí)的特征天然適用于檢測不同尺寸的物體
優(yōu)勢：計(jì)算成本低
劣勢: 低層特征抽象級(jí)別不夠，預(yù)測物體比較困難

特征金字塔網(wǎng)絡(luò) Feature Pyramid Network (2016)

改進(jìn)思路: 高層次特征包含足?抽象語義 信息。將高層特征融入低層特征，補(bǔ)充低 層特征的語義信息
融合方法：特征求和

多尺度的密集預(yù)測基本范式

單階段算法

單階段算法直接通過密集預(yù)鄖產(chǎn)生檢測框，相比于兩階段算法，模型結(jié)構(gòu) 簡單、速度快、易于在設(shè)備上部署
早期由于主干網(wǎng)絡(luò)、多尺度技術(shù)等相關(guān)技術(shù)不成昡，單階段算法在性能上 不如兩階段算法, 但因?yàn)樗俣群秃啙嵉膬?yōu)勢仍受到工業(yè)界青睞
隨著單階段算法性能逐漸提升，成為目標(biāo)檢測的主流方法

Region Proposal Network (2015)

• RPN $\to ProposeRegion=$ 初步篩選出圖像中包含物體的位置，不預(yù)測具體類別
• RPN 算"半個(gè)檢測器", 是二階段算法 Faster RCNN 的第一階段
• RPN 是基于密集預(yù)測的

RPN 的主干網(wǎng)絡(luò)，去掉藍(lán)色區(qū)域。

YOLO: You Only Look Once (2015)

最早的單階段檢測器之一, 激發(fā)了單階段算法的研究潮流
主干網(wǎng)絡(luò)：自行設(shè)計(jì)的 DarkNet 結(jié)構(gòu)，產(chǎn)生 $7\times 7\times 1024$ 維的特征圖
檢測頭: 2 層全連接層產(chǎn)生 $7\times 7$ 組預(yù)測結(jié)果，對(duì)應(yīng)圖中 $7\times 7$ 個(gè)空間位置上物體的類別和邊界框的位置

YOLO 的匹配與框編碼

• 將原圖切分成 $\mathrm{S}\times \mathrm{S}$ 大小的格子，對(duì)應(yīng)預(yù)測圖上 $\mathrm{S}\times \mathrm{S}$ 個(gè)位置
• 如果原圖上某個(gè)物體的中心位于某個(gè)格子內(nèi)，則對(duì)應(yīng)位置的預(yù)測值應(yīng)給出物體類別和B組邊界框位置
• 其余位置應(yīng)預(yù)測為背景類別，不關(guān)心邊界框預(yù)測結(jié)果

YOLO 的優(yōu)點(diǎn)和缺點(diǎn)

快! 在Pascal VOC 數(shù)據(jù)集上，使用自己設(shè)計(jì)的 DarkNet 結(jié)構(gòu)可以達(dá)到實(shí)時(shí)速度，使用相同的 VGG 可以達(dá)到 3 倍于 Faster R-CNN 的速度

• 由于每個(gè)格子只能預(yù)測 1 個(gè)物體，因此對(duì)重疊物體、尤其是大量重疊的小物體容易產(chǎn)生漏檢
• 直接回歸邊界框 (無錨框) 有難度，回歸誤差較大，YOLO V2 開始使用錨框

SSD: Single Shot MultiBox Detector (2016)

主干網(wǎng)絡(luò)：使用 VGG + 額外卷積層，產(chǎn)生 11 級(jí)特征圖
檢測頭：在 6 級(jí)特征圖上進(jìn)行密集預(yù)測，產(chǎn)生所有位置、不同尺度的預(yù)測結(jié)果

RetinaNet (2017)

特征生成: ResNet 主干網(wǎng)絡(luò) + FPN 產(chǎn)生 P_{3} \sim P_{7} 共 5 級(jí)特征圖，對(duì)應(yīng)降采樣率 8 128 倍
多尺度針框：每級(jí)特征圖上設(shè)置 3 種尺寸×3 種長寬比的針框，覆蓋 32 813 像素尺寸
密集預(yù)測頭：兩分支、 5 層卷積構(gòu)成的檢測頭，針對(duì)每個(gè)針框產(chǎn)生 K 個(gè)二類預(yù)測以及 4 個(gè)邊界框偏移量 損失函數(shù): Focal Loss

單階段算法面臨的正負(fù)樣本不均衡問題

• 單階段算法共產(chǎn)生尺度數(shù) $\times$ 位置數(shù) $\times$ 針框數(shù)個(gè)預(yù)測
• 而這些預(yù)測之中，只有少量針框的真值為物體 (正樣本)，大部分針框的真值為背景（負(fù)樣本）

YOLO v3 (2018)

• 自定義的 DarkNet-53 主干網(wǎng)絡(luò)和類 FPN 結(jié)構(gòu)，產(chǎn)生 1/8、1/16、1/32 降采樣率的 3 級(jí)特征圖
• 在每級(jí)特征圖上設(shè)置 3 個(gè)尺寸的針框，針框尺寸通過對(duì)真值框聚類得到
• 兩層卷積構(gòu)成的密集預(yù)測頭，在每個(gè)位置、針對(duì)每個(gè)錨框產(chǎn)生 80 個(gè)類別預(yù)測、4個(gè)邊界框偏移量、1個(gè) objectness 預(yù) 測，每級(jí)特征圖 $3\times (80+4+1)=255$ 通道的預(yù)測值

無錨框算法

基于錨框VS 無錨框

FCOS, Fully Convolutional One-Stage (2019)

模型結(jié)構(gòu)與 RetinaNet 基本相同: 主干網(wǎng)絡(luò) + FPN +兩分支、5 層卷積構(gòu)成的密集預(yù)測頭 預(yù)測目標(biāo)不同：對(duì)于每個(gè)點(diǎn)位，預(yù)測類別、邊界框位置和中心度三組數(shù)值

CenterNet (2019)

針對(duì) 2 D 檢測的算法，將傳統(tǒng)檢測算法中的 “以框表示物體" 變成 “以中心點(diǎn)表示物體"，將 2D 檢測建模 為關(guān)鍵點(diǎn)檢測和額外的回歸任務(wù)，一個(gè)框架可以同時(shí)覆蓋 2 D 檢測、3D 檢測、姿態(tài)估計(jì)等一系列任務(wù)

YOLO X (2021)

以 YOLO V3 為基準(zhǔn)模型改進(jìn)的無針框檢測器

• Decouple Head 結(jié)構(gòu)
• 更多現(xiàn)代數(shù)據(jù)增強(qiáng)策略
• SimOTA 分配策略
• 從小到大的一系列模型

SOTA 的精度和速度

YoloV8

單階段算法和元铓框算法的總結(jié)

文章來源地址http://www.zghlxwxcb.cn/news/detail-476587.html

到了這里，關(guān)于AI實(shí)戰(zhàn)營第二期 第五節(jié) 《目標(biāo)檢測與MMDetection》——筆記6的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！