論文地址：https://openaccess.thecvf.com/content/ICCV2021/papers/Guo_LIGA-Stereo_Learning_LiDAR_Geometry_Aware_Representations_for_Stereo-Based_3D_Detector_ICCV_2021_paper.pdf

論文代碼：https://github.com/xy-guo/LIGA-Stereo

摘要

基于立體的3D檢測旨在從立體圖像中檢測3D目標(biāo)，為3D感知提供了低成本的解決方案。然而，與基于激光雷達的檢測算法相比，其性能仍然較差。為了檢測和定位準(zhǔn)確的 3D 邊界框，基于 LiDAR 的檢測器對 LiDAR 點云的高級表示進行編碼，例如準(zhǔn)確的邊界邊界和表面法線方向。相反，由于立體匹配的限制，基于立體的檢測器學(xué)習(xí)的高級特征很容易受到錯誤的深度估計的影響。
為了解決這個問題，論文提出了 LIGA-Stereo（LiDAR 幾何感知立體檢測器），在基于 LiDAR 的檢測模型的高級幾何感知表示的指導(dǎo)下學(xué)習(xí)基于立體的 3D 檢測器。
此外，論文發(fā)現(xiàn)現(xiàn)有的基于體素的立體檢測器無法從間接 3D 監(jiān)督中有效地學(xué)習(xí)語義特征。因此附加一個輔助 2D 檢測頭來提供直接的 2D 語義監(jiān)督。
上述兩種策略提高了幾何和語義表示能力。

論文背景

近年來，基于 LiDAR 的 3D 檢測在自動駕駛和機器人技術(shù)中取得了不斷提高的性能和穩(wěn)定性。然而，LiDAR傳感器的高成本限制了其在低成本產(chǎn)品中的應(yīng)用。立體匹配是最常見的僅使用相機的深度感測技術(shù)。與LiDAR傳感器相比，立體相機成本更低，分辨率更高，這使其成為3D感知的合適替代解決方案。立體圖像的 3D 檢測旨在使用估計的深度圖 或隱式 3D 幾何表示來檢測目標(biāo)。然而，與基于LiDAR的算法相比，現(xiàn)有的基于立體的3D檢測算法的性能仍然較差。

基于 LiDAR 的檢測算法將原始點云作為輸入，然后將 3D 幾何信息編碼為中級和高級特征表示。為了檢測和定位準(zhǔn)確的 3D 邊界框，模型必須學(xué)習(xí)有關(guān)目標(biāo)邊界和表面法線方向的魯棒局部特征，這對于預(yù)測準(zhǔn)確的邊界框大小和方向至關(guān)重要?；?LiDAR 的探測器學(xué)習(xí)的特征提供了精確 3D 幾何結(jié)構(gòu)的強大的高級總結(jié)。相比之下，由于立體匹配的限制，不準(zhǔn)確的估計深度或隱式 3D 表示很難對目標(biāo)的準(zhǔn)確 3D 幾何進行編碼，尤其是對于遠處的目標(biāo)。此外，目標(biāo)框監(jiān)督僅提供目標(biāo)級監(jiān)督（位置、大小和方向）。

論文利用先進的激光雷達檢測模型，通過模仿激光雷達模型編碼的幾何感知表示來指導(dǎo)立體檢測模型的訓(xùn)練。與識別任務(wù)的傳統(tǒng)知識蒸餾相比，論文沒有將LiDAR模型的最終錯誤分類和回歸預(yù)測作為“軟”目標(biāo)，發(fā)現(xiàn)這對于訓(xùn)練立體檢測網(wǎng)絡(luò)沒有什么好處。錯誤的回歸目標(biāo)會限制邊界框回歸的上限精度。
相反，論文強制模型將中間特征與 LiDAR 模型的中間特征對齊，后者對場景的高級幾何表示進行編碼。 LiDAR 模型的特征可以提供強大且有辨別力的高級幾何感知特征，例如表面法線方向和邊界位置。另一方面，LiDAR 特征可以提供額外的正則化，以緩解由錯誤的立體預(yù)測引起的過擬合問題。

除了學(xué)習(xí)更好的幾何特征之外，論文還進一步探索如何學(xué)習(xí)更好的語義特征來提高 3D 檢測性能。論文提出在 2D 語義特征上附加一個輔助的多尺度 2D 檢測頭，而不是從間接 3D 監(jiān)督中學(xué)習(xí)語義特征，它可以直接指導(dǎo) 2D 語義特征的學(xué)習(xí)。根據(jù)DSGN 的消融研究，基線模型深度立體幾何網(wǎng)絡(luò)（DSGN）未能有效地從額外的語義特征中受益。論文認為，由于深度估計錯誤，網(wǎng)絡(luò)從間接 3D 監(jiān)督中提供了錯誤的語義監(jiān)督，而提出的直接指導(dǎo)可以通過更好地學(xué)習(xí) 2D 語義特征來極大地提高 3D 檢測性能。實驗結(jié)果表明，性能進一步提高，特別是對于自行車手等樣本較少的類別。

論文相關(guān)

立體匹配
第一個深度立體算法DispNet，從基于特征的相關(guān) cost volume 回歸視差圖。后來使用多階段細化和輔助語義特征來擴展 DispNet。最先進的立體模型通過連接所有視差候選者的左右 2D 特征來構(gòu)建基于特征的 cost volume ，然后應(yīng)用 3D 聚合網(wǎng)絡(luò)來預(yù)測視差概率分布。最先進的立體檢測網(wǎng)絡(luò)也通過類似的網(wǎng)絡(luò)結(jié)構(gòu)來估計深度。

基于 LiDAR 的 3D 檢測
通過利用 LiDAR 傳感器捕獲的更準(zhǔn)確的深度信息，使用 LiDAR 點云的 3D 檢測方法通常比基于圖像的方法具有更好的性能。為了從不規(guī)則和稀疏的點云中學(xué)習(xí)有效的特征，大多數(shù)現(xiàn)有方法采用體素化操作將點云轉(zhuǎn)移到規(guī)則網(wǎng)格，其中3D空間首先被劃分為規(guī)則3D體素或鳥瞰2D網(wǎng)格通過檢測頭的卷積進行處理。
受它們的啟發(fā)，論文提出模仿 LiDAR 模型中信息豐富的特征圖，以便在 3D 框注釋之外提供更好的指導(dǎo)。

基于立體的 3D 檢測
基于立體的 3D 檢測算法大致可以分為三種類型：
1）基于2D的方法
首先檢測2D邊界框提案，然后回歸實例3D框。 Stereo-RCNN 擴展了 Faster RCNN ，用于立體輸入以關(guān)聯(lián)左右圖像。 Disp R-CNN 和 ZoomNet 結(jié)合了額外的實例分割掩模和 part location map 來提高檢測質(zhì)量。然而，最終的性能受到 2D 檢測算法的召回限制，并且 3D 幾何信息沒有得到充分利用。
2）基于偽LiDAR的3D檢測
首先估計深度圖，然后使用現(xiàn)有的基于LiDAR的算法檢測3D邊界框。 例如，Pseudo LiDAR++ 將 stereo cost volume 調(diào)整為深度成本量，以進行直接深度估計。。然而，這些模型僅考慮幾何信息，缺乏互補的語義特征。
3）基于 volume 的方法構(gòu)建
3D 錨空間或從 3D 立體 volume 進行檢測。 DSGN 直接構(gòu)建可微分 volume 表示，對場景的隱式 3D 幾何結(jié)構(gòu)進行編碼，用于單階段基于立體的 3D 檢測。 PLUME 直接在 3D 空間中構(gòu)造幾何 volume 以進行加速。論文的工作以 DSGN 作為基線模型。解決了 DSGN 中存在的幾個關(guān)鍵問題，并大幅超越了最先進的模型。

知識蒸餾
蒸餾是由 Hinton 等人首先提出的。 [1]通過使用大型教師網(wǎng)絡(luò)預(yù)測中的“軟化標(biāo)簽”來監(jiān)督學(xué)生網(wǎng)絡(luò)來進行模型壓縮。進一步從“軟化標(biāo)簽”來看，中間層的知識為教師提供了更豐富的信息。最近，知識蒸餾已成功應(yīng)用于檢測和語義分割。知識也可以跨模態(tài)轉(zhuǎn)移。

[1] Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2015.

論文方法

在這項工作中，為了提高模型的性能，論文開發(fā)了兩種策略來分別學(xué)習(xí)更好的幾何和語義特征。由于立體匹配的限制，基于立體的檢測器很容易出現(xiàn)錯誤的深度估計，特別是對于低紋理表面、模糊邊界和遮擋區(qū)域。
相比之下，基于激光雷達的檢測器學(xué)習(xí)的特征提供了強大的高級幾何感知表示（準(zhǔn)確的邊界和表面法線方向）。為了最小化基于 LiDAR 的檢測器和基于立體的探測器之間的差距，論文提出利用 LiDAR 模型來指導(dǎo)基于立體的探測器的訓(xùn)練，以實現(xiàn)更好的幾何監(jiān)督。此外，論文采用輔助二維語義監(jiān)督來提高語義特征的學(xué)習(xí)效率。

深度立體幾何網(wǎng)絡(luò)

論文利用深度立體幾何網(wǎng)絡(luò)（DSGN）作為基線模型，它使用隱式 volumetric 表示直接檢測目標(biāo)。

立體空間中的 Volume
給定左右圖像對 $({\mathcal{I}}_L,{\mathcal{I}}_R)$ 及其特征 $({\mathcal{F}}_L，{\mathcal{F}}_R)$，通過連接每個候選深度級別的左特征和相應(yīng)的右特征來構(gòu)造平面掃描 volume ${\mathcal{V}}_{st}$，

其中 $(u,v)$ 是當(dāng)前像素坐標(biāo)。$w=0,1,????$ 為候選深度索引，$d(w)=w?v_d+z_{\min }$ 為計算其對應(yīng)深度的函數(shù)，其中 $v_d$ 為深度區(qū)間，$z_{\min }$為該深度的最小深度檢測區(qū)域。$f$、$L$ 和 $s_{\mathcal{F}}$ 分別是相機焦距、立體相機對的基線和特征圖的步幅。使用 3D cost volume 聚合網(wǎng)絡(luò)對 ${\mathcal{V}}_{st}$ 進行濾波后，我們獲得聚合立體體積 ${\mathcal{V}}_{st}$ 和深度分布體積 ${\mathcal{P}}_{st}$。${\mathcal{P}}_{st}(u,v,:)$表示像素 $(u,v)$ 在所有離散深度級別 $d(w)$ 上的深度概率分布。

3D 空間中的體積
為了將 feature volume 從立體空間轉(zhuǎn)換到正常的3D空間，將3D檢測區(qū)域劃分為相同大小的小體素。對于每個體素，使用特征內(nèi)在函數(shù) ${\mathbf{K}}_{\mathcal{F}}$ 將其中心 $(x,y,z)$ 投影回立體空間，以獲得其重新投影的像素坐標(biāo) $(u,v)$ 和深度索引 $d^{?1}(z)=(z?z_{\min })/v_d$。然后，3D 空間中的 volume 被定義為重采樣立體 volume 和深度概率 masked 的語義特征的串聯(lián)，
$${\mathcal{V}}_{3d}(x,y,z)=\text{concat}[{\mathcal{V}}_{st}(u,v,d^{?1}(z)),{\mathcal{F}}_{sem}(u,v)?{\mathcal{P}}_{st}(u,v,d^{?1}(z))]\text{\hspace{1em}(2)}$$

其中 ${\mathcal{V}}_{st}$ 和 ${\mathcal{F}}_{sem}$ 分別提供幾何和語義特征。請注意，為了簡單起見，我們忽略了三線性和雙線性重采樣運算符。

BEV 空間和檢測頭的功能
然后通過將通道尺寸和高度尺寸像 DSGN 一樣合并，將 3D volume ${\mathcal{V}}_{3d}$ 重新排列為 2D 鳥瞰圖 (BEV) 特征 ${\mathcal{F}}_{BEV}$。2D 聚合網(wǎng)絡(luò)和檢測頭連接到 ${\mathcal{F}}_{BEV}$，以生成聚合的 BEV 特征 ${\tilde{\mathcal{F}}}_{BEV}$ 并分別預(yù)測最終的 3D 邊界框。
訓(xùn)練損失分為兩部分，深度回歸損失和3D檢測損失??，
$${\mathcal{L}}_{bsl}={\mathcal{L}}_{depth}+{\mathcal{L}}_{det}\text{\hspace{1em}(3)}$$

學(xué)習(xí) LiDAR 幾何感知表示

基于 LiDAR 的檢測模型將原始點云作為輸入，然后將其編碼為高級特征（例如精確邊界和表面法線方向）以獲得精確的邊界框局部化。對于基于立體的模型，由于錯誤的深度表示，純粹的深度損失和檢測損失不能很好地使模型學(xué)習(xí)遮擋區(qū)域、非紋理區(qū)域和遠處物體的這些特征。

受上述觀察的啟發(fā)，論文提出使用激光雷達模型的高級幾何感知特征來指導(dǎo)基于立體的檢測器的訓(xùn)練。在本文中，我們利用 SECOND 作為 LiDAR “teacher”。為了使兩個模型之間的特征盡可能一致，論文采用相同結(jié)構(gòu)的 2D 聚合網(wǎng)絡(luò)和檢測頭，如圖所示。

由于LiDAR模型和立體模型的主干存在巨大差異，論文只關(guān)注如何對高級特征 F i m ? { V 3 d , F B E V , F ~ B E V } \mathbb F_{im} \sube \{\mathcal V_{3d}, \mathcal F_{BEV}, \tilde {\mathcal F}_{BEV} \} Fim??{V3d?,FBEV?,F~BEV?} 進行特征模仿，這些特征在LiDAR模型和立體模型之間具有相同的形狀兩個模型。
論文的模仿?lián)p失旨在最小化立體特征 ${\mathcal{F}}_{im}\in {\mathbb{F}}_{im}$ 與其對應(yīng)的 LiDAR 特征 $F_{im}^{lidar}$ 之間的特征距離：
L i m = ∑ F i m ∈ F i m 1 N p o s ∣ ∣ M f g M s g ( g ( F i m ) ? F i m l i d a r E [ ∣ F i m l i d a r ∣ ] ) ∣ ∣ 2 2 (4) \tag4 \mathcal L_{im} = \sum_{\mathcal F_{im} \in \mathbb F_{im}} \frac{1}{N_{pos}}\bigg|\bigg| M_{fg}M_{sg}\bigg( g(\mathcal F_{im})-\frac{\mathcal F_{im}^{lidar}}{\mathbb E[|\mathcal F_{im}^{lidar}|]} \bigg) \bigg| \bigg|_2^2 Lim?=Fim?∈Fim?∑?Npos?1? ? ?Mfg?Msg?(g(Fim?)?E[∣Fimlidar?∣]Fimlidar??) ? ?22?(4)

其中 $g$ 是內(nèi)核大小為 $1$ 的單個卷積層，后跟可選的 ReLU 層（取決于 ReLU 是否應(yīng)用于 ${\mathcal{F}}_{im}^{lidar}$）。$M_{fg}$ 是前景掩碼，在任何真實對象框內(nèi)為 $1$，否則為 $0$。$M_{sp}$ 是 ${\mathcal{F}}_{im}^{lidar}$ 的稀疏掩碼，對于非空索引為 $1$，否則為 $1$。$N_{pos}=\sum M_{fg}{M}_{sp}$ 是歸一化因子。請要注意的是，LiDAR 特征 ${\mathcal{F}}_{im}^{lidar}$ 通過 ${\mathcal{F}}_{im}^{lidar}$ 非零絕對值的通道期望進行歸一化，以確保 L2 損失的尺度穩(wěn)定性。

實驗結(jié)果表明，模仿整個特征圖對檢測性能的提升不大，因此 $M_{fg}$ 對于使模仿?lián)p失集中在前景物體上至關(guān)重要。實驗發(fā)現(xiàn) ${\mathcal{F}}_{BEV}$ 和 ${\mathcal{V}}_{3d}$ 為訓(xùn)練我們的立體檢測網(wǎng)絡(luò)提供了最有效的監(jiān)督。

通過直接 2D 監(jiān)督提升語義特征

從方程 (2) 可以看到，在將語義特征重采樣到 3D 空間之前，它首先乘以 ${\mathcal{P}}_{st}$ 的深度概率（可以看作是 3D 占用掩模的估計）。

這樣，語義特征僅在估計表面附近重新采樣（圖3中的橙色虛線）。

然而，當(dāng)估計的深度值存在較大誤差時，語義特征將被重新采樣到錯誤的位置，如圖所示。因此，重采樣的語義特征偏離了真實位置，然后被分配負錨點（圖中的紅色方塊），并且正錨點周圍沒有重采樣的語義特征（圖3中的綠色方塊） 。因此，這種情況下語義特征的監(jiān)督信號不正確，導(dǎo)致語義特征的學(xué)習(xí)效率低。

為了解決這個問題，論文添加了一個輔助的 2D 檢測頭來為學(xué)習(xí)語義特征提供直接監(jiān)督。論文沒有使用多級特征創(chuàng)建特征金字塔（FPN），而是只使用單個特征圖 ${\mathcal{F}}_{sem}$ 來構(gòu)建特征金字塔，如圖1（e）所示，這形成了信息“瓶頸”強制將所有語義特征編碼到 ${\mathcal{F}}_{sem}$ 中。將步幅為 $2$ 的五個連續(xù)卷積層附加到 ${\mathcal{F}}_{sem}$ 上，構(gòu)建多級特征金字塔，然后將其連接到 ATSS 頭進行 2D 檢測。
由于論文發(fā)現(xiàn)擴張卷積和空間金字塔池化（SPP）已經(jīng)產(chǎn)生了具有大感受野的高度語義特征，因此為了簡單起見，論文忽略了 FPN 自上而下的路徑。

為了確保 2D 和 3D 特征之間的語義對齊，2D 檢測頭應(yīng)該預(yù)測重新投影的 3D 目標(biāo)中心周圍的高分。論文對 ATSS 的正樣本分配算法做了一個小的修改。對于每個真實邊界框 $g$，如果它們的中心最接近重新投影的 3D 目標(biāo)中心，會從每個尺度中選擇 $k$ 個候選錨點，而不是樣選擇 2D 邊界框中心。然后按照 ATSS 中的動態(tài) IoU 閾值對候選錨點進行過濾，以分配最終的正樣本。

Baseline 和訓(xùn)練損失的修改

論文對 DSGN 進行了一些重要修改，以獲得更快、更穩(wěn)健的基線模型。 1）減少通道數(shù)和層數(shù)，以減少內(nèi)存消耗和計算成本。 2) 利用SECOND 檢測頭進行3D檢測。 3）基于 Kullback-Leibler 散度將等式（6）中的 smooth-L1 深度回歸損失替換為單模態(tài)深度損失。4）結(jié)合使用 L1 損失和輔助旋轉(zhuǎn) 3D IoU 損失以獲得更好的邊界框回歸。5) 將一個小型 U-Net 連接到 2D 主干，以編碼全分辨率特征圖以構(gòu)建立體體積。

我們模型的新總體損失公式為：
$$\begin{gathered} \mathcal{L}={\mathcal{L}}_{depth}+{\mathcal{L}}_{det}+{\lambda }_{im}{\mathcal{L}}_{im}+{\lambda }_{2d}{\mathcal{L}}_{2d}, \\ {\mathcal{L}}_{det}={\mathcal{L}}_{cls}+{\lambda }_{reg}^{L1}{\mathcal{L}}_{reg}^{L1}+{\lambda }_{reg}^{IoU}{\mathcal{L}}_{reg}^{IoU}+{\lambda }_{dir}{\mathcal{L}}_{dir}\text{\hspace{1em}(5)} \end{gathered}$$

其中 ${\mathcal{L}}_{cls}$, $L_{reg}^{L1}$, 和 $L_{dir}$ 是與 SECOND 中相同的分類損失、框回歸損失和方向分類損失。${\mathcal{L}}_{reg}^{IoU}$ 是 3D 框預(yù)測和真實邊界框之間的平均旋轉(zhuǎn) $IoU$ 損失。單模態(tài)深度損失 $L_{depth}$ 的公式為
$${\mathcal{L}}_{depth}=\frac{1}{N}\sum _{u,v}\sum _w[?\max (1?\frac{|d^{?}?d(w)|}{v_d})\log {\mathcal{P}}_{st}(u,v,w)]\text{\hspace{1em}(6)}$$

其中 $d^{?}$ 是真實深度。請注意，損失僅適用于具有有效 LiDAR 深度的像素 $(u,v)$，$N_{gt}$ 表示有效像素的數(shù)量。與原來的 L1 損失相比，式(6)中的損失為： 對目標(biāo)分布進行更加集中的監(jiān)管。

論文結(jié)論

在論文中，提出在高級幾何感知 LiDAR 特征和直接語義監(jiān)督的指導(dǎo)下學(xué)習(xí)基于立體的 3D 檢測器，成功提高了幾何和語義能力。模型在官方 KITTI 3D 檢測基準(zhǔn)上超越了最先進的算法超過 10.44% mAP，這縮小了基于立體和基于 LiDAR 的 3D 檢測算法之間的差距。然而，基于立體的 3D 探測器仍然面臨遮擋、無紋理區(qū)域和遠處物體的問題。文章來源地址http://www.zghlxwxcb.cn/news/detail-801946.html

到了這里，關(guān)于LIGA-Stereo：為基于立體 3D 檢測器的學(xué)習(xí) LiDAR 幾何感知表示的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！