點擊下方卡片，關(guān)注“自動駕駛之心”公眾號

ADAS巨卷干貨，即可獲取

點擊進(jìn)入→自動駕駛之心【3D目標(biāo)檢測】技術(shù)交流群

后臺回復(fù)【FastPillars】獲取本文論文和代碼?。?！

摘要

3D檢測器的部署是現(xiàn)實世界自動駕駛場景中的主要挑戰(zhàn)之一。現(xiàn)有的基于BEV（即鳥瞰圖）的檢測器支持稀疏卷積（稱為SPConv），以加快訓(xùn)練和推理，這為部署（尤其是在設(shè)備上應(yīng)用）帶來了困難。本文解決了從LiDAR點云中高效檢測3D目標(biāo)的問題，并考慮了模型部署。為了減少計算負(fù)擔(dān)，論文從行業(yè)角度提出了一種基于Pillar的高性能3D檢測器，稱為FastPillars。與以前的方法相比，論文引入了一個更有效的Max-and-Attention pillar encoding（MAPE）模塊，并以重參數(shù)化的方式重新設(shè)計了一個功能強大、輕量級的骨干CRVNet，該骨干CRVNet帶有Cross Stage Partial網(wǎng)絡(luò)（CSP），形成了一個緊湊的特征表示框架。大量實驗表明，F(xiàn)astPillars在設(shè)備速度和性能方面都超過了最先進(jìn)的3D檢測算法。具體而言，F(xiàn)astPillars可以通過TensorRT有效部署，在nuScenes測試集上以64.6 mAP在單個RTX3070Ti GPU上獲得實時性能（約24FPS）。

總結(jié)來說，本文的主要貢獻(xiàn)如下：

• 論文提出了一種用于工業(yè)應(yīng)用的基于Pillar的一階段3D檢測器，稱為FastPillars。FastPillars是部署友好的，并且消除了阻礙設(shè)備部署的稀疏卷積的需要。FastPillar-s和FastPillar-m，它們在nuScenes測試集上分別可以以24 FPS的速度實現(xiàn)64.6 mAP和70.1 NDS，以及以16 FPS的速度達(dá)到66.0 mAP和71.1 NDS；

• 還提出了一種簡單但有效的Max-and-Attention pillar encoding（MAPE）模塊。MAPE幾乎無需額外的耗時（僅4ms）就能提高每個pillar特征的表示能力；

• 論文為3D檢測任務(wù)設(shè)計了一個緊湊的全卷積主干網(wǎng)絡(luò)CRVNet，它具有競爭性的特征學(xué)習(xí)能力和推理速度，而不需要稀疏卷積。同時論文還表明，專門為2D圖像設(shè)計的輕量級網(wǎng)絡(luò)結(jié)構(gòu)可以很好地處理使用3D點云的任務(wù)，并在性能和速度之間實現(xiàn)出色的權(quán)衡；

• 在nuScenes數(shù)據(jù)集上的大量實驗表明，F(xiàn)astPillars具有卓越的效率和準(zhǔn)確的檢測性能。論文還提供了詳細(xì)的性能與推理速度對比分析，以進(jìn)一步驗證論文方法的優(yōu)越性。

相關(guān)工作

基于體素的3D探測器：基于體素的3D檢測器[5，6，18，19，30，44，47，49]通常將非結(jié)構(gòu)化點云轉(zhuǎn)換為緊湊形狀的規(guī)則pillar/voxel網(wǎng)格。這進(jìn)一步允許通過利用成熟的2D/3D卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)點云特征。VoxelNet[49]是一項開創(chuàng)性的工作，它對輸入點云進(jìn)行密集體素化，然后利用體素特征提取器（VFE）和3D CNN來學(xué)習(xí)幾何表示。其缺點是由于3D卷積的巨大計算負(fù)擔(dān)，推理速度相對較慢。為了節(jié)省內(nèi)存成本，SECOND[44]使用3D稀疏卷積[14]來加速訓(xùn)練和推理。這里，稀疏卷積僅對非空體素進(jìn)行操作，這大大提高了計算和存儲效率。SPConv的一個缺點是它對部署不友好，這使得在嵌入式系統(tǒng)上應(yīng)用它們很困難。為此，PointPillars[19]被提議將體素進(jìn)一步簡化為pillar（即，在高度上沒有體素化），并利用高度優(yōu)化的2D卷積，這在低耗時的情況下獲得了良好的性能。同時，易于部署的優(yōu)勢使PointPillar成為實踐中的主流方法。之后，提出了CenterPoint[47]，它使用幾乎實時且anchor-free的管道，實現(xiàn)了最先進(jìn)的性能。最近，PillarNet[30]項目指向BEV空間，并使用基于“encoder-neck-head”架構(gòu)的2D SPConv以實時速度提高3D檢測性能。由于SPConv的使用，它不可避免地面臨著在工業(yè)應(yīng)用中部署的困難，并隨著網(wǎng)絡(luò)量化而進(jìn)一步加速。

用于目標(biāo)檢測的行業(yè)級輕量級網(wǎng)絡(luò)結(jié)構(gòu)：多年來，YOLO系列[1，12]一直是輕量級2D檢測的事實上的行業(yè)標(biāo)準(zhǔn)，其主干設(shè)計主要繼承了CSPNet的思想[40]。通過在兩個單獨的分支中處理部分特征以獲得更豐富的梯度組合，CSPNet不僅降低了內(nèi)存和計算成本，而且提高了性能。

最近，RepVGG[8]使用基于重參數(shù)化的結(jié)構(gòu)設(shè)計重構(gòu)了著名的plain network VGG[34]。在訓(xùn)練期間，普通的Conv-BN-ReLU被其過度參數(shù)化的三分支對應(yīng)物（即Conv3x3-BN、Conv1x1-BN和Identity-BN）取代，然后是三個分支相加后的ReLU函數(shù)。三分支結(jié)構(gòu)實質(zhì)上有助于網(wǎng)絡(luò)優(yōu)化，而重參數(shù)化在推理時將三個分支相同地轉(zhuǎn)換為一個分支，提高了推理效率。由于這一優(yōu)勢，這一趨勢席卷了2D目標(biāo)檢測器，并在極端速度下表現(xiàn)出高性能，如PPYOLOE[43]、YOLOv6[21]和YOLOv7[39]。盡管取得了成功，但據(jù)論文所知，目前還沒有看到這些方案在3D檢測中的任何應(yīng)用。

論文方法

本節(jié)將介紹FastPillars用于基于pillar的實時一階段3D檢測，這是一種端到端可訓(xùn)練且無SPConv的神經(jīng)網(wǎng)絡(luò)。如圖1所示，網(wǎng)絡(luò)架構(gòu)由四個部分組成：pillar編碼模塊、用于特征提取的主干、用于特征融合的neck和用于3D box回歸的頭。

Max-and-Attention Pillar Encoding

點云voxel/pillar編碼對于基于網(wǎng)格的3D檢測方法至關(guān)重要。開創(chuàng)性的PointPillars[19]積極利用max pooling來聚合每個pillar中的點云特征，以表示相應(yīng)的pillar。然而，max-pooling操作將導(dǎo)致細(xì)粒度信息的丟失，而這些局部幾何模式對于基于pillar的目標(biāo)非常關(guān)鍵，尤其是對于小目標(biāo)。本文提出了一種簡單但高效的pillar編碼模塊，稱為Max-and-Attention Pillar Encoding（MAPE），它以可忽略的計算負(fù)擔(dān)考慮到每個pillar的局部詳細(xì)幾何信息，并有利于BEV中小目標(biāo)（例如行人等）的性能。同時，MAPE模塊的輕量級pillar編碼方法使其非常適合實時嵌入式應(yīng)用。如圖2所示，的MAPE模塊由三個單元組成：1）點云編碼單元；2）max-pooling編碼單元；3）attentive-pooling編碼單元。

點云編碼：首先將每個pillar中的點云增強為。值得注意的是，在每個pillar中，沒有采用任何采樣策略來保持每個pillar中的點云數(shù)相同，因為這種操作可能會丟失有用的點云并損害原始幾何圖案。其次，通過MLP層將內(nèi)的增強逐點云特征映射到高維特征空間。該過程制定為：

Max-pooling編碼：該單元用于將pillar內(nèi)的所有點云特征聚合為單個特征向量，同時它對每個pillar中的點云排列不變，公式如下：

Attention-pooling編碼：該單元旨在維護局部細(xì)粒度信息。Max pooling很難在每個pillar中集成逐點云特征，因為它只需要最大值。然而，豐富的局部細(xì)節(jié)對于從BEV角度檢測較小的目標(biāo)非常有用。因此，論文轉(zhuǎn)向強大的注意力機制來自動學(xué)習(xí)重要的局部特征。具體而言，首先使用由共享MLP組成的函數(shù)來預(yù)測pillar中這些點的云注意力得分。其次學(xué)習(xí)到的注意力分?jǐn)?shù)可以被視為一個soft mask，它動態(tài)地衡量逐點云特征。最后，加權(quán)求和特征如下：

最后將學(xué)習(xí)到的pillar-wise max-pool和attentive pooling特征通過平均值進(jìn)行組合。max-pooling操作保留每個pillar中的最大響應(yīng)特性，而attentive pooling特性保留局部細(xì)粒度信息。通過結(jié)合這兩個特征，可以有效地保留更豐富的信息，以增強pillar表示。盡管是一種簡單的方法，但MAPE模塊顯著影響了小目標(biāo)的性能，如實驗所示。值得注意的是，MAPE模塊僅在額外4毫秒耗時的情況下，在nuScenes數(shù)據(jù)集上提高了約0.6mAP的性能。

CRVNet Backbone

主干網(wǎng)絡(luò)旨在從投影的2D偽圖像或3D體素特征中分層地提取各種級別的語義特征。先前的工作[6，30，44，47]通常使用稀疏卷積[14]來基于ResNet[15]或VGG[34]架構(gòu)提取體素/逐柱特征。稀疏卷積大大提高了計算效率，因為大多數(shù)體素/pillar是空的。例如，在nuScenes數(shù)據(jù)集上的單個幀點云中，空pillar的比例約為90%。然而直接在稀疏特征圖上使用2D卷積將導(dǎo)致過度的計算負(fù)擔(dān)和高耗時，這促使論文設(shè)計更緊湊和有效的主干網(wǎng)絡(luò)。

受RepVGG[8]和CSPNet[40]的啟發(fā)，論文提出了CRVNet（Cross-Stage-Patrial RepVGG-style Network）。網(wǎng)絡(luò)的主要組成部分如圖3所示。訓(xùn)練階段的每個模塊如圖3（a）所示。在推斷階段（圖3（b）），每個Rep-Block被轉(zhuǎn)換為具有激活函數(shù)的3個卷積層（表示為RepConv）的堆棧。這是因為3x3卷積具有更高的計算密度，并且在大多數(shù)設(shè)備上效率很高。因此，RepBlock骨干網(wǎng)絡(luò)以優(yōu)異的特征表示能力顯著降低了推理耗時。此外論文注意到，如果模型容量進(jìn)一步擴大，單路徑平面網(wǎng)絡(luò)中的計算成本和參數(shù)數(shù)量將呈指數(shù)增長。因此進(jìn)一步將RepBlock與CSP結(jié)構(gòu)結(jié)合起來。如圖3（d）所示，CSP結(jié)構(gòu)由三個1x1卷積層和原始網(wǎng)絡(luò)結(jié)構(gòu)組成。論文在主干網(wǎng)絡(luò)的每個階段使用CSP結(jié)構(gòu)，其中每個階段包含N個RepConv（圖3（c））。通過引入CSP結(jié)構(gòu)，整個網(wǎng)絡(luò)具有更少的參數(shù)，并且更加緊湊和高效。值得注意的是，盡管RepBlock和CSP在基于2D圖像的任務(wù)中被證明是有效的[21，39，43]，但它們尚未被充分用于3D點云任務(wù)。本文的FastPillars-s和FastPillar-m模型分別建立在VGG和ResNet-34網(wǎng)絡(luò)上。論文發(fā)現(xiàn)，最終性能對后期的容量不敏感，但對早期的容量非常敏感，這與FCOS-LiDAR中的情況一致[36]。因此，論文將FastPillers-s中VGG的四個階段的塊數(shù)從（4，6，16，1）更改為（6，16，1，1），將FastPillars-m中ResNet-34的四個級別的塊數(shù)分別從（3，4，6，3）和（6，6，3，2），同時都刪除了第一階段的第一個2x下采樣。

Neck and Center-based Heads

在Neck中，論文采用了PillarNet[30]中的增強neck設(shè)計。neck將特征與來自主干的8x和16x特征圖融合，以實現(xiàn)不同空間語義特征的有效交互。論文發(fā)現(xiàn)，在這種neck設(shè)計中，級聯(lián)操作之前的卷積層的數(shù)量顯著影響最終性能。論文將在實驗中詳細(xì)討論這一點。對于回歸頭，直接遵循[47]使用其簡單但有效的head設(shè)計。此外還添加了一個IoU分支來預(yù)測預(yù)測框和地面真實框之間的3D IoU。然后[17]中的IoU感知校正函數(shù)用于彌補分類和回歸預(yù)測之間的差距。具體而言，非最大抑制（NMS）后處理的校正置信分?jǐn)?shù)C通過以下公式計算：

最終損失函數(shù)如下 ：

實驗

論文在nuScenes數(shù)據(jù)集上展開實驗。

整體結(jié)果

定量評估

為了公平比較，論文在nuScenes測試集上使用之前發(fā)布的僅限LiDAR的非集成方法來評估FastPillars。如表1所示，F(xiàn)astPillars顯著優(yōu)于最先進(jìn)的（SOTA）方法，同時具有24FPS的實時速度。與最先進(jìn)的PillarNet方法[30]相比，F(xiàn)astPillars-m實現(xiàn)了幾乎相同的性能，并且在沒有衰落策略的情況下也超越了幾乎所有以前的方法。

與實時一階段方法的比較

為了進(jìn)一步評估論文方法的速度和性能優(yōu)勢，還將FastPillars與nuScenes值集上的實時一階段3D點云檢測器進(jìn)行了比較。如表2所示，與使用CenterPoint的訓(xùn)練設(shè)置的CenterPoint論文中實現(xiàn)的PointPillars[20]相比，F(xiàn)astPillars-s在3D mAP和NDS中的表現(xiàn)也更好，分別高9.74%和7.0%。與最先進(jìn)的PillarNet方法相比[30]，F(xiàn)astPillars-s實現(xiàn)了具有競爭力的性能（mAP和NDS分別僅低0.16%和0.33%），但速度是PillarNet的兩倍。實驗表明，該方法具有較少的參數(shù)、較高的性能和FPS。注意，F(xiàn)LOPs不會強烈反映真實的推理速度（即FPS）。推理速度明顯更快是因為PillarNet需要稀疏卷積，因此對部署不友好，而我們的方法是全卷積的，可以通過TensorRT和網(wǎng)絡(luò)量化有效地部署在資源受限的機載系統(tǒng)中。因此，F(xiàn)astPillars能夠在性能和速度之間提供更好的權(quán)衡。

推理時間分析

如表3所示使用10次點云掃描，按照基準(zhǔn)測試的慣例來測量FastPillers-s/m在nuScenes測試集上的速度。與CenterPoint相比，F(xiàn)astPillars-s實現(xiàn)了SOTA性能，將CenterPoint提高了2.37 mAP和1.83 NDS，同時在表2中運行速度提高了2倍。CenterPoint的推斷時間包括體素編碼的1.84ms、網(wǎng)絡(luò)的69.89ms和后處理的7.40ms。FastPillars-s在單個NVIDIA 3070Ti GPU上實現(xiàn)了24 FPS，包括13.22毫秒用于pillar編碼，20.10毫秒用于模型正向傳播，8.10毫秒用于后處理。對于具有更大主干的FastPillers-m，在同一設(shè)備上實現(xiàn)了16.8 FPS，其中pillar編碼為13.40 ms，模型前向傳播為34.44 ms，后處理為8.12 ms。

消融實驗

Max-and-Attention Pillar Encoding Module

如表4所示，與max-pooling操作相比，MAPE模塊可以提高0.6%的mAP性能，僅需4ms的額外耗時成本。具體而言，由于MAPE模塊自行車（BC）、交通錐（TC）和障礙物類別的mAP分別提高了3.64%、1.33%和3.44%。對于行人類別，論文推測其性能在基準(zhǔn)上已經(jīng)飽和，因此MAPE模塊顯示出微弱改善。實驗表明，MAPE模塊通過結(jié)合注意力池化和最大池化操作，有效地編碼了局部細(xì)粒度幾何圖案和最突出的特征（即最大值），提高了BEV視角下小尺寸目標(biāo)的感知能力。

CSP比率選擇

基于CRVNet主干，使用不同比例的Cross-Stage-Patrial網(wǎng)絡(luò)進(jìn)行消融研究，如表5所示。

輕量級主干結(jié)構(gòu)

如表6所示，論文發(fā)現(xiàn)應(yīng)用于FastPillers-s模型的CSPRepVGG主干具有最小的模型容量和耗時，同時具有59.40mAP的良好性能。CSPRep-Res34是FastPillars-m模型主干，盡管具有最大的參數(shù)量和耗時，但它具有最佳的性能。與CSPRepVGG主干相比，CSPRep-Res34主干在nuScenes值集上的表現(xiàn)更好，提升為1.92mAP和0.99NDS?？傮w而言，論文的方法在速度和準(zhǔn)確性之間實現(xiàn)了良好的平衡，尤其是在實時耗時方面具有最先進(jìn)的性能。

結(jié)論

本文提出了FastPillars，一種基于一階段pillar的實時3D檢測器，以同時提高檢測精度和運行效率，同時考慮部署。特別是，論文表明SPConv可以通過重新設(shè)計的強大架構(gòu)安全地繞過。此外還提出了MAPE模塊來補償PointPillars中pillar編碼的信息損失。廣泛的實驗表明，F(xiàn)astPillars在速度和準(zhǔn)確性之間實現(xiàn)了更好的權(quán)衡，并且可以通過TensorRT對設(shè)備上的實時應(yīng)用進(jìn)行定量部署。鑒于其有效性和效率，希望我們的方法可以作為當(dāng)前主流的基于SPConv的實時3D檢測器的強大而簡單的替代方案。

參考

[1] FastPillars: A Deployment-friendly Pillar-based 3D Detector

國內(nèi)首個自動駕駛學(xué)習(xí)社區(qū)

近1000人的交流社區(qū)，和20+自動駕駛技術(shù)棧學(xué)習(xí)路線，想要了解更多自動駕駛感知（分類、檢測、分割、關(guān)鍵點、車道線、3D目標(biāo)檢測、多傳感器融合、目標(biāo)跟蹤、光流估計、軌跡預(yù)測）、自動駕駛定位建圖（SLAM、高精地圖）、自動駕駛規(guī)劃控制、領(lǐng)域技術(shù)方案、AI模型部署落地實戰(zhàn)、行業(yè)動態(tài)、崗位發(fā)布，歡迎掃描下方二維碼，加入自動駕駛之心知識星球，這是一個真正有干貨的地方，與領(lǐng)域大佬交流入門、學(xué)習(xí)、工作、跳槽上的各類難題，日常分享論文+代碼+視頻，期待交流！

【自動駕駛之心】全棧技術(shù)交流群

自動駕駛之心是首個自動駕駛開發(fā)者社區(qū)，聚焦目標(biāo)檢測、語義分割、全景分割、實例分割、關(guān)鍵點檢測、車道線、目標(biāo)跟蹤、3D目標(biāo)檢測、BEV感知、多傳感器融合、SLAM、光流估計、深度估計、軌跡預(yù)測、高精地圖、NeRF、規(guī)劃控制、模型部署落地、自動駕駛仿真測試、硬件配置、AI求職交流等方向；

添加汽車人助理微信邀請入群

備注：學(xué)校/公司+方向+昵稱文章來源地址http://www.zghlxwxcb.cn/news/detail-501613.html