Centralized Feature Pyramid for Object Detection

摘要

視覺特征金字塔在廣泛的應(yīng)用中顯示出其有效性和效率的優(yōu)越性。

然而，現(xiàn)有的方法過分地集中于層間特征交互，而忽略了層內(nèi)特征規(guī)則，這是經(jīng)驗(yàn)證明是有益的。盡管一些方法試圖在注意力機(jī)制或視覺變換器的幫助下學(xué)習(xí)緊湊的層內(nèi)特征表示，但它們忽略了對(duì)密集預(yù)測任務(wù)非常重要的被忽略的角點(diǎn)區(qū)域。為了解決這一問題，本文提出了一種基于全局顯式集中式特征規(guī)則的集中式特征金字塔（CFP）對(duì)象檢測方法。具體而言，我們首先提出了一種空間顯式視覺中心方案，其中使用輕量級(jí)MLP來捕捉全局長距離依賴關(guān)系，并使用并行可學(xué)習(xí)視覺中心機(jī)制來捕捉輸入圖像的局部角區(qū)域。在此基礎(chǔ)上，我們以自上而下的方式對(duì)常用特征金字塔提出了一種全局集中的規(guī)則，其中使用從最深層內(nèi)特征獲得的顯式視覺中心信息來調(diào)整正面淺層特征。與現(xiàn)有的特征金字塔相比，CFP不僅能夠捕獲全局長距離依賴關(guān)系，而且能夠有效地獲得全面但有區(qū)別的特征表示。在具有挑戰(zhàn)性的MS-COCO上的實(shí)驗(yàn)結(jié)果驗(yàn)證了我們提出的CFP能夠在最先進(jìn)的YOLOv5和YOLOX目標(biāo)檢測基線上實(shí)現(xiàn)一致的性能增益。該代碼發(fā)布于：CFPNet。

I. INTRODUCTION

對(duì)象檢測是計(jì)算機(jī)視覺領(lǐng)域中最基本但最具挑戰(zhàn)性的研究任務(wù)之一，其目的是為輸入圖像中的每個(gè)對(duì)象預(yù)測一個(gè)唯一的邊界框，該邊界框不僅包含位置，還包含類別信息。在過去幾年中，這項(xiàng)任務(wù)已被廣泛開發(fā)并應(yīng)用于廣泛的潛在應(yīng)用，例如，自動(dòng)駕駛[2]和計(jì)算機(jī)輔助診斷。

成功的目標(biāo)檢測方法主要基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為主干，然后是兩階段（例如，快速/快速R-CNN）或單階段（例如SSD和YOLO）框架。

然而，由于目標(biāo)尺寸的不確定性，單個(gè)特征尺度不能滿足高精度識(shí)別性能的要求。為此，提出了基于網(wǎng)絡(luò)內(nèi)特征金字塔的方法（例如SSD和FPN）這些方法背后的統(tǒng)一原則是為每個(gè)不同大小的對(duì)象分配感興趣區(qū)域，并提供適當(dāng)?shù)纳舷挛男畔ⅲ惯@些對(duì)象能夠在不同的特征層中識(shí)別。
…
盡管這些方法可以解決CNN中有限的接受域和局部上下文信息，但一個(gè)明顯的缺點(diǎn)是它們的計(jì)算復(fù)雜性很大。例如，與輸入大小為224×224的性能相當(dāng)?shù)腃NN模型RegNetY相比，Swin-B幾乎有3倍模型FLOP（即47.0 G vs 16.0 G），這很容易忽略對(duì)于密集預(yù)測任務(wù)很重要的一些角區(qū)域（例如，“飛機(jī)引擎”、“摩托車車輪”和“蝙蝠”）。這些缺點(diǎn)在大規(guī)模輸入圖像上更為明顯。為此，我們提出了一個(gè)問題：是否有必要在所有層上使用變壓器編碼？為了回答這個(gè)問題，我們從分析淺層特征開始。淺層特征主要包含一些一般的對(duì)象特征模式，例如紋理、顏色和方向，這些通常不是全局的。相比之下，深度特征反映了對(duì)象特定信息，通常需要全局信息。因此，我們認(rèn)為transformer在所有層中都是不必要的。

在這項(xiàng)工作中，我們提出了一種用于對(duì)象檢測的集中式特征金字塔（CFP）網(wǎng)絡(luò)，該網(wǎng)絡(luò)基于全局顯式集中式規(guī)則方案。具體而言，基于從CNN主干提取的視覺特征金字塔，我們首先提出了一種顯式視覺中心方案，其中使用輕量級(jí)MLP架構(gòu)來捕獲長距離依賴關(guān)系，并使用并行可學(xué)習(xí)視覺中心機(jī)制來聚集輸入圖像的局部關(guān)鍵區(qū)域?？紤]到最深的特征通常包含淺層特征中稀缺的最抽象的特征表示[33]這一事實(shí)，基于所提出的調(diào)節(jié)方案，我們隨后以自上而下的方式對(duì)提取的特征金字塔提出了一種全局集中調(diào)節(jié)，其中從最深特征獲得的空間顯式視覺中心用于同時(shí)調(diào)節(jié)所有的額葉淺特征。與現(xiàn)有的特征金字塔相比，如圖1（c）所示，CFP不僅具有捕獲全局長距離依賴關(guān)系的能力，而且能夠有效地獲得全面但有區(qū)別的特征表示。

為了證明其優(yōu)越性，在具有挑戰(zhàn)性的MS-COCO數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)。結(jié)果驗(yàn)證了我們提出的CFP能夠在最先進(jìn)的YOLOv5和YOLOX目標(biāo)檢測基線上實(shí)現(xiàn)一致的性能增益。

我們的貢獻(xiàn)總結(jié)如下：

1. 我們提出了一種空間顯式視覺中心方案，該方案包括一個(gè)用于捕獲全局長距離依賴的輕量級(jí)MLP和一個(gè)用于聚集局部關(guān)鍵區(qū)域的可學(xué)習(xí)視覺中心。
2. 我們以自上而下的方式為常用特征金字塔提出了一個(gè)全球集中的規(guī)則。
3. CFP在強(qiáng)目標(biāo)檢測基線上實(shí)現(xiàn)了一致的性能增益。

II RELATED WORK

第二點(diǎn)就不說了，感興趣可以看一下原文，主要介紹第三點(diǎn)。

III. OUR APPROACH

在本節(jié)中，我們將介紹所提出的集中式特征金字塔（CFP）的實(shí)現(xiàn)細(xì)節(jié)。我們首先在第III-A節(jié)中概述了CFP的架構(gòu)描述。

然后，我們在第III-B節(jié)中展示了顯式可視化提交4中心的實(shí)現(xiàn)細(xì)節(jié)。最后，我們展示了如何在圖像特征金字塔上實(shí)現(xiàn)顯式視覺中心，并在第III-C節(jié)中提出了我們的全局集中規(guī)則。

A、 集中式特征金字塔（CFP）

盡管現(xiàn)有的方法主要集中在層間特征交互上，但它們忽略了層內(nèi)特征規(guī)則，這已被經(jīng)驗(yàn)證明有利于視覺識(shí)別任務(wù)。在我們的工作中，受先前關(guān)于密集預(yù)測任務(wù)的工作[的啟發(fā)，我們提出了一種基于全局顯式集中層內(nèi)特征規(guī)則的CFP對(duì)象檢測方法。與現(xiàn)有的特征金字塔相比，我們提出的CFP不僅能夠捕獲全局長距離依賴關(guān)系，而且能夠?qū)崿F(xiàn)全面和差異化的特征表示。如圖2所示，CFP主要由以下部分組成：輸入圖像、CNN主干用于提取視覺特征金字塔、提議的顯式視覺中心（EVC）、提議的全球集中調(diào)節(jié)（GCR）以及用于對(duì)象檢測的解耦頭部網(wǎng)絡(luò)（包括分類損失、回歸損失和分割損失）。在圖2中，EVC和GCR在提取的特征金字塔上實(shí)現(xiàn)。

具體來說，我們首先將輸入圖像饋送到骨干網(wǎng)絡(luò)（即，改進(jìn)的CSP v5]），以提取五層的特征金字塔X，其中特征Xi（i=0，1，2，3，4）的每一層的空間大小分別為輸入圖像的1/2，1/4，1/8，1/16，1/32?；诖颂卣鹘鹱炙?，我們的CFP得以實(shí)現(xiàn)。提出了一種輕量級(jí)MLP架構(gòu)來捕獲X4的全局長距離依賴關(guān)系，其中標(biāo)準(zhǔn)變壓器編碼器的多頭自關(guān)注模塊被MLP層所取代。與基于多頭注意機(jī)制的變壓器編碼器相比，我們的輕量級(jí)MLP架構(gòu)不僅結(jié)構(gòu)簡單，而且體積更輕，計(jì)算效率更高（參見第III-B節(jié)）。此外，一個(gè)可學(xué)習(xí)的視覺中心機(jī)制與輕量級(jí)MLP一起用于聚集輸入圖像的局部角區(qū)域。

我們將上述并行結(jié)構(gòu)網(wǎng)絡(luò)命名為空間EVC，它在特征金字塔的頂層（即X4）上實(shí)現(xiàn)。基于所提出的ECV，為了使特征金字塔的淺層特征能夠同時(shí)以高效模式從最深特征的視覺集中信息中受益，其中從最深的層內(nèi)特征獲得的顯式視覺中心信息用于同時(shí)調(diào)節(jié)所有的前淺特征（即X3至X2）。最后，我們將這些特征聚合到一個(gè)解耦的頭部網(wǎng)絡(luò)中進(jìn)行分類和回歸。

B. Explicit Visual Center (EVC)

如圖3所示，我們提出的EVC主要由兩個(gè)并行連接的塊組成，其中輕量級(jí)MLP用于捕獲頂層特征X4的全局長程依賴關(guān)系（即全局信息）。

同時(shí)，為了保留局部角點(diǎn)區(qū)域（即局部信息），我們在X4上實(shí)現(xiàn)了一種可學(xué)習(xí)的視覺中心機(jī)制，以聚集層內(nèi)局部區(qū)域特征。這兩個(gè)塊的結(jié)果特征圖沿著信道維度連接在一起，作為用于下游識(shí)別的EVC的輸出。在我們的實(shí)現(xiàn)中，在X4和EVC之間，Stem塊用于特征平滑，而不是直接在原始特征圖上實(shí)現(xiàn)。Stem塊由輸出通道大小為256的7×7卷積組成，隨后是批量標(biāo)準(zhǔn)化層和激活功能層。

MLP：使用的輕量級(jí)MLP主要由兩個(gè)剩余模塊組成：基于深度卷積的模塊和基于通道MLP的塊，其中基于MLP的模塊的輸入是基于深度卷曲的模塊的輸出。這兩個(gè)塊之后都是信道縮放操作和DropPath操作，以提高特征泛化和魯棒性能力。

具體而言，對(duì)于基于深度卷積的模塊，從Stem模塊Xin輸出的特征首先被饋送到深度卷積層中，該層已通過組歸一化處理（即，特征圖沿信道維度分組）。與傳統(tǒng)的空間卷積相比，深度卷積可以提高特征表示能力，同時(shí)降低計(jì)算成本。

然后，實(shí)現(xiàn)信道縮放和丟棄路徑。之后，Xin的剩余連接被實(shí)現(xiàn)。Xin輸出的特征首先被饋送到a組歸一化，然后基于這些特征實(shí)現(xiàn)信道MLP。與空間MLP相比，通道MLP不僅可以有效降低計(jì)算復(fù)雜度，而且可以滿足一般視覺任務(wù)的要求。之后，通道縮放，丟棄路徑，
LVC：LVC是一個(gè)具有固有字典的編碼器，具有兩個(gè)組件：1）固有碼本：B＝｛b1，b2，…，bK｝，其中N＝H×W是輸入特征的總空間數(shù)，其中H和W分別表示特征圖的高度和寬度的空間大?。?） 可學(xué)習(xí)視覺中心的一組縮放因子S＝{s1，s2，…，sK}。具體而言，來自stem的Xin的特征首先通過一組卷積層（由1×1卷積、3×3卷積和1×1褶積組成）的組合進(jìn)行編碼。然后，編碼特征由CBR塊進(jìn)行處理，該塊由3×3卷積與BN層和ReLU激活函數(shù)組成。通過上述步驟，編碼特征“Xin”被輸入到碼本中。為此，我們使用一組比例因子s按照順序地使xi和bk映射相應(yīng)的位置信息。整個(gè)圖像的信息關(guān)于第k個(gè)碼字可以通過以下方式計(jì)算：
中，xi是第i個(gè)像素點(diǎn)，bk是第k個(gè)可學(xué)習(xí)的視覺碼字，sk是第k種比例因子。 xi? bk是關(guān)于相對(duì)于碼字的每個(gè)像素位置的信息。K是視覺中心的總數(shù)。之后，我們使用φ融合所有ek，其中φ包含BN層和ReLU層以及平均池化層?；诖?，整個(gè)圖像相對(duì)于K個(gè)碼字的完整信息計(jì)算如下。

在獲得碼本的輸出后，我們進(jìn)一步將e送到全連接層和1×1卷積層，以預(yù)測突出關(guān)鍵類的特征。之后，我們使用Stem塊Xin的輸入特征與縮放因子系數(shù)δ之間的逐通道乘法。

上述過程表示為
δ(·) 是sigmoid函數(shù)
在從Stem塊輸出的特征Xin和局部角區(qū)域特征Z之間執(zhí)行信道相加，其公式為：
⊕ 是通道加法

C. Global Centralized Regulation (GCR)

EVC是一種廣義的層內(nèi)特征調(diào)節(jié)方法，它不僅可以提取全局長距離相關(guān)性，而且可以盡可能地保留輸入圖像的局部角點(diǎn)區(qū)域信息，這對(duì)于密集預(yù)測任務(wù)非常重要。然而，在特征金字塔的每一級(jí)使用EVC將導(dǎo)致大量的計(jì)算開銷。

為了提高層內(nèi)特征調(diào)整的計(jì)算效率，我們進(jìn)一步以自頂向下的方式提出了一種特征金字塔的GCR。具體而言，如圖2所示，考慮到最深的特征通常包含最抽象的特征表示，這在淺層特征中是罕見的，我們的空間EVC首先在特征金字塔的頂層（即X4）上實(shí)現(xiàn)。然后，使用所獲得的包括空間顯式視覺中心的特征X來同時(shí)調(diào)節(jié)所有額葉淺特征（即X3至X2）。在我們的實(shí)現(xiàn)中，在每個(gè)對(duì)應(yīng)的低層特征上，將在深層中獲得的特征上采樣到與低層特征相同的空間尺度，然后沿信道維度進(jìn)行連接。在此基礎(chǔ)上，通過1×1卷積將級(jí)聯(lián)特征下采樣為256的信道大小。通過這種方式，我們能夠顯式地增加自頂向下路徑中特征金字塔每一層的全局表示的空間權(quán)重，從而我們的CFP可以有效地實(shí)現(xiàn)全面但有區(qū)別的特征表示。

IV. EXPERIMENTS

在這項(xiàng)工作中，使用MS-COCO來驗(yàn)證我們提出的CFP的優(yōu)越性。在我們的實(shí)驗(yàn)中，為了公平比較，所有的訓(xùn)練圖像都被調(diào)整為640×640的固定大小。為了增強(qiáng)數(shù)據(jù)，我們在實(shí)驗(yàn)中采用了常用的Mosaic和MixUp。

評(píng)估指標(biāo)。我們主要遵循實(shí)驗(yàn)中常用的目標(biāo)檢測評(píng)估指標(biāo)——平均精度（AP），包括AP50、AP75、APS、APM和APL。此外，為了量化模型效率，還使用了GFLOP、每秒幀數(shù)（FPS）、延遲和參數(shù)（參數(shù)）。特別是，延遲和FPS在沒有進(jìn)行后處理的情況下進(jìn)行測量，以便進(jìn)行公平比較。

為了公平比較，我們選擇YOLOv5（即修改的CSPNet v5）作為骨干網(wǎng)絡(luò)。輸出的特征圖是第5階段的特征圖，它包括三個(gè)卷積（Conv、BN和SiLU[61]）操作和一個(gè)空間金字塔池[62]層（5×5、9×9和13×13）。
文章來源地址http://www.zghlxwxcb.cn/news/detail-440618.html

到了這里，關(guān)于解讀 Centralized Feature Pyramid for Object Detection的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！