CaDNN: Categorical Depth Distribution Network for Monocular 3D Object Detection

論文精讀

摘要（Abstract）

• 研究動機：單目3D目標檢測難以預測物體的深度
  單目 3D 目標檢測是自動駕駛領域的一個關鍵問題，因為它與典型的多傳感器系統(tǒng)相比配置比較簡單。單目 3D 檢測的主要挑戰(zhàn)在于準確預測物體深度，由于缺乏直接的距離測量，因此必須從物體和場景線索推斷出物體深度。許多方法試圖直接估計深度以輔助 3D 檢測，但性能有限，深度估計不準確。

• 主要工作： 提出CaDDN
  我們提出的 Categorical Depth Distribution Network(CaDDN)使用每個像素的預測分類深度分布，將豐富的上下文特征信息投影到 3D 空間中的適當深度間隔。然后，我們使用計算效率高的鳥瞰投影和單級檢測器來產(chǎn)生最終的輸出檢測。我們將 CaDDN 設計為一種完全可微的端到端方法，用于聯(lián)合深度估計和目標檢測

• 實驗結果
  我們在 KITTI 3D 目標檢測基準上驗證了我們的方法，我們在已發(fā)表的單目方法中排名第一。我們還提供了最新發(fā)布的 Waymo 開放數(shù)據(jù)集上的第一個單目 3D 檢測結果。

1. 介紹（Introduction）

• 3D感知任務背景 ：基于激光雷達和雙目相機的檢測算法效果更好
  3D 空間中的感知是自動車輛和機器人等領域的關鍵組成部分，使系統(tǒng)能夠了解其環(huán)境并做出相應反應。激光雷達和雙目相機在 3D 感知任務中有著悠久的使用歷史，由于其能夠生成精確的 3D 測量，因此在 KITTI 3D 物體檢測基準等3D 物體檢測基準上顯示出優(yōu)異的結果。

• 基于單目視覺3D感知技術背景：
  基于單目視覺的 3D 感知技術也在同步發(fā)展，其動機是一種低成本、易于部署的單攝像頭解決方案。但在相同的 3D 目標檢測基準上的性能表現(xiàn)，落后于以上兩種方法，主要是因為場景信息投影到圖像平面上時會丟失深度信息。

• 方法1： 使用一個單目深度估計網(wǎng)絡來單獨預測深度信息以及它們的二大局限性
  為了消除這種影響，單目目標檢測方法通常通過在單獨階段訓練單目深度估計網(wǎng)絡來學習深度。
  （1）然而，深度估計在 3D 目標檢測階段直接使用，而不了解深度置信度，導致網(wǎng)絡在深度預測方面往往過于自信。深度上的過度自信是一個長期問題，這會導致實際應用效果不佳。
  （2）此外，在訓練階段，深度估計與三維檢測分離，阻止了深度圖估計針對檢測任務進行優(yōu)化。

• 方法2：隱式學習容易收到特征涂抹的影響
  圖像數(shù)據(jù)中的深度信息也可以通過直接將特征從圖像轉換到三維空間，最終轉換到鳥瞰（BEV）網(wǎng)格來隱式學習。然而，隱式方法往往會受到**特征涂抹（feature smearing）**的影響，其中相似的特征可存在在投影空間中的多個位置。特征涂抹增加了在場景中定位對象的難度。

• 解決方案：提出CaDDN方法及其三大特性
  為了解決這些問題，我們提出了一種單目 3D 目標檢測方法 CaDDN，該方法通過學習分類深度分布來實現(xiàn)精確的 3D 檢測。通過利用概率深度估計，CaDDN 能夠以端到端的方式從圖像生成高質(zhì)量的鳥瞰特征表示。我們用三個方面來總結我們的方法。

（1） Categorical Depth Distributions
為了進行三維檢測，我們預測像素級分類深度分布（pixel-wise categorical depth distributions），以便在三維空間中準確定位圖像信息。每個預測分布描述了一個像素屬于一組預定義深度單元（depth bins）的概率。

我們讓我們的深度估計分布盡可能的集中處于正確的深度單元，以便保證我們的網(wǎng)絡在保證深度估計的精度和可信度的同時，聚焦更多的圖像信息。通過這樣做，我們的網(wǎng)絡能夠產(chǎn)生對 3D 檢測有用的更清晰、更準確的特征（見圖 1）另一方面，當深度估計置信度較低時，我們的網(wǎng)絡仍能產(chǎn)生不高的分布。使用分類分布允許我們的特征編碼捕獲固有的深度估計不確定性，以減少錯誤深度估計的影響，這一特性在第 4.3 節(jié)中被證明是 CaDDN 改進性能的關鍵。我們預測的深度分布的清晰度是通過對正確的深度單元進行一次熱編碼（one-hot encodings）監(jiān)督來激勵的，該深度編碼可以通過將激光雷達深度數(shù)據(jù)投影到相機幀中來生成。
（2） End-To-End Depth Reasoning
我們以端到端的方式學習深度分布，聯(lián)合優(yōu)化以實現(xiàn)精確的深度預測和精確的 3D 對象檢測。我們認為，聯(lián)合深度估計和 3D 檢測證明針對 3D 檢測任務優(yōu)化深度估計可以提高性能，如第 4.3 節(jié)所示。
（3） BEV Scene Representation
我們介紹了一種利用分類深度分布和投影幾何 從單個圖像生成高質(zhì)量鳥瞰場景表示的新方法。我們之所以選擇鳥瞰場景表示法，是因為它能夠以高計算效率產(chǎn)生出色的 3D 檢測性能。生成的鳥瞰視圖表示用作基于鳥瞰視圖的檢測器的輸入，以生成最終輸出。

• 實驗結果：
  在 KITTI 3D 物體檢測測試基準的汽車和行人類別中，CaDDN 在之前發(fā)布的所有單目方法中排名第一，其不確定度分別為 1.69%和 1.46%AP|R40。我們是第一個在 Waymo 開放數(shù)據(jù)集上報告單目 3D 目標檢測結果的公司。

2. 相關工作

單目深度估計（Monocular Depth Estimation）

通過為圖像中的每個像素生成單個深度值來執(zhí)行單目深度估計。因此，許多單目深度估計方法都基于在語義分割等像素到像素映射問題中使用的體系結構。

例如，全卷積網(wǎng)絡（FCN）被引入語義分割，隨后被用于單目深度估計。Atrous spatial pyramid pooling（ASPP）模塊也首次在 DeepLab中提出用于語義分割，
隨后在 DORN和 BTS中用于深度估計。此外，許多方法以端到端的方式聯(lián)合執(zhí)行深度估計和分割。我們遵循語義分割網(wǎng)絡 DeepLabV3的設計來估計圖像中每個像素的分類深度分布。

基于BEV的語義分割（BEV Semantic Segmentation）

BEV 分割方法試圖從圖像中預測 3D 場景的 BEV 語義圖。圖像可用于直接估計 BEV 語義圖，或估計 BEV 特征表示，作為分割任務的中間步驟。特別是，Lift、Splat、Shot以無監(jiān)督的方式預測分類深度分布，以生成中間 BEV 表示。在這項工作中，我們通過監(jiān)督真值熱編碼來預測分類深度分布，從而為目標檢測生成更準確的深度分布。

單目的3D目標檢測（Monocular 3D Detection）

單目 3D 目標檢測方法通常會生成中間表示，以協(xié)助完成 3D 檢測任務?；谶@些表示，單目檢測可以分為三類：直接、基于深度和基于網(wǎng)格的方法。

直接方法（Direct Methods）

直接從圖像中估計 3D 檢測，而無需預測中間 3D 場景表示。

基于深度的方法（Depth-based Methods）

使用像素級深度圖作為附加輸入執(zhí)行 3D 檢測任務，其中深度圖使用單目深度估計架構預先計算

基于網(wǎng)格的方法（Grid-Based Methods）

通過預測 BEV 網(wǎng)格表示來避免估計原始深度值，BEV 網(wǎng)格表示將用作 3D 檢測架構的輸入。

3. 方法（Methodology）

• CaDDN 通過將圖像特征投影到 3D 空間，學習從圖像生成 BEV 表示。然后，使用高效的BEV 檢測網(wǎng)絡以豐富的 BEV 表示來執(zhí)行 3D 對象檢測。
  

CaDDN算法結構。 該網(wǎng)絡由三個模塊組成，分別用于生成三維特征表示和執(zhí)行三維檢測。使用估計的深度分布D從圖像 I 生成平截頭體特征G, 并將其轉換成體素特征V, 體素特征折疊為鳥瞰特征B, 用于3D對象檢測。

3.1 3D表示學習 (3D Representation Learning)

我們的網(wǎng)絡學習生成非常適合 3D 對象檢測任務的 BEV 表示。以一幅圖像為輸入，(1)我們使用估計的分類深度分布構造了一個平截頭體特征網(wǎng)格。(2) 使用已知的相機校準參數(shù)將平截頭體特征網(wǎng)格轉換為體素網(wǎng)格，(3)然后折疊為鳥瞰特征網(wǎng)格。

(1) Frustum Feature Network

平截頭體特征網(wǎng)絡的目的是通過將圖像特征與估計深度相關聯(lián), 將圖像信息投影到三維空間。

平截頭體特征網(wǎng)絡的輸入是圖像 $I\in {\mathbb{R}}^{W_I\times H_I\times 3}$, 其中 $W_l,H_I$ 分別是圖像的寬和高。 輸出是平截頭體特征網(wǎng)格 $G\in {\mathbb{R}}^{W_F\times H_F\times D\times C}$, 其中 $W_F,H_F$ 是圖像特征表示的寬和高, $\mathrm{D}$ 是離 散化深度單元的個數(shù), $\mathrm{C}$ 是特征通道的個數(shù)。我們注意到, 平截頭體網(wǎng)格的結構類似于立 體 3D 檢測方法 DSGN中使用的平面掃描體積。

每個像素特征F(u,v) 通過其屬于D個離散深度單元的深度分布概率D(u,v) 進行加權，以生成平截頭體特征 G(u,v)

ResNet-101主干網(wǎng)用于提取圖像特征 $\tilde{F}\in {\mathbb{R}}^{W_F\times H_F\times C}$。在 我們的實現(xiàn)中, 我們從 ResNet-101 主干的 Block1 中提取圖像特征, 以保持較高的空間分 辨率。高空間分辨率對于有效的平截頭體到體素網(wǎng)格轉換是必要的, 這樣可以在不重復特 征的情況下對平截頭體網(wǎng)格進行精細采樣。圖像特征 $\mathrm{F}$ 用于估計像素級分類深度分布 $D\in {\mathbb{R}}^{W_F\times H_F\times D}$, 其中類別為 D 個離散化深度單元。具體來說, 我們預測了圖像特征 $\tilde{F}$ 中每個像素的 D 分布概率, 其中, 每個概率表示深度值屬于指定的深度箱的置信度。深度箱的定義 取決于第 3.3 節(jié)中討論的深度離散化方法。

• Depth Distribution Network 的具體實現(xiàn)
  我們遵循語義分割網(wǎng)絡 DeepLabV3的設計, 根據(jù)圖像特征 $\tilde{F}$ (圖 2 中的深度分布網(wǎng) 絡) 估計分類深度分布, 其中, 我們修改網(wǎng)絡, 以產(chǎn)生屬于深度箱的像素級概率分數(shù), 而 不是具有下采樣-上采樣結構的語義類。圖像特征 $\tilde{F}$ 用 ResNet-101主干網(wǎng)的其余組件 (Block2、Block3 和 Block4）進行下采樣。應用 Atrus spatial pyramid pooling (ASPP) 模塊捕獲多尺度信息, 其中輸出通道數(shù)設置為 D。ASPP 模塊的輸出通過雙線性揷值上采 樣到原始特征尺寸, 以產(chǎn)生分類深度分布 $D\in {\mathbb{R}}^{W_F\times H_F\times D}$ 。對每個像素應用 softmax 函數(shù), 以將 D 歸一化為 0 到 1 之間的概率。

• Image Channel Reduce 的具體實現(xiàn)
  在估計深度分布的同時, 我們對圖像特征 $\tilde{F}$執(zhí)行通道縮減 (Image Channle Reduce) 以生成最終的圖像特征 $\mathrm{F}$, 使用 $1\mathrm{x}1$ 卷積+BatchNorm+ReLU 層將通道數(shù)從 $\mathrm{C}=256$ 減少到 $\mathrm{C}=64$ 。為了減少將在 3D 平截頭體網(wǎng)格中填充的 ResNet-101 功能的高內(nèi)存占用, 需要減少通道。

• Outer Product 的具體實現(xiàn)
  讓 $(u,v,c)$ 代表圖像特征 F 中的坐標, $\left(u,v,d_i\right)$ 代表分類深度分布 D 中的坐標, 其中$(u,v)$是特征像素的位置, $c$ 是通道索引, $d_i$ 是深度單元索引。為了生成平截頭體特征網(wǎng)格 $G$, 每個特征像素 $F(u,v)$ 通過其在 $D(u,v)$ 中的相關深度單元概率進行加權, 以填充深度軸 , 如圖 3 所示。特征像素可以使用外積按深度概率加權, 定義為:

$$G(u,v)=D(u,v)?F(u,v)$$

其中 $D(u,v)$ 是預測的深度分布, $G(u,v)$ 是尺寸為$\mathrm{D}\times \mathrm{C}$的輸出矩陣。方程式 1 中的外 積是為每個像素計算的, 以形成平截頭體特征$G\in {\mathbb{R}}^{W_F\times H_F\times D\times C}$

(2) Frustum to Voxel Transformation

平截頭體特征$G\in {\mathbb{R}}^{W_F\times H_F\times D\times C}$ 利用已知的攝像機校準和可微采樣被轉換為體素表示$V\in {\mathbb{R}}^{X\times Y\times Z\times C}$，如圖 4 所示。體素采樣點$s_k^v=[x,y,z{]}_k^T$在每個體素的中心生成, 并轉換為平截體網(wǎng)格以形成平截體采樣點 ${\tilde{s}}_k^f={\left[u,v,d_c\right]}_k^T$, 其中, $d_c$ 是沿平 截頭體深度軸 $d_i$ 的連續(xù)深度值。這個轉換是使用相機校準矩陣$P\in {\mathbb{R}}^{3\times 4}$完成的。使用第3.3節(jié)中概述的深度離散化方法, 將每個連續(xù)深度值$d_c$轉換為離散深度單元索引$d_i$。使用采樣點$s_k^f={\left[u,v,d_I\right]}_k^T$和三次線性揷值（如圖 4 中的藍色所示) 對$\mathrm{G}$中的平截頭體特征進行采 樣, 以填充$\mathrm{v}$中的體素特征。

為了進行有效的變換平截頭體柵格$\mathrm{G}$和體素柵格$\mathrm{V}$的空間分辨率應該相似。高分辨率 體素柵格$\mathrm{V}$會產(chǎn)生高密度的采樣點, 這將對低分辨率的平截頭體柵格進行過采樣, 從而產(chǎn)生大量相似的體素特征。因此, 我們從 ResNet-101 主干的 Block1 中提取特征$\tilde{F}$, 以確保我們的平截頭體網(wǎng)格$\mathrm{G}$ 具有高空間分辨率。

(3) Voxel Collapse to BEV

將體素特征$V\in {\mathbb{R}}^{X\times Y\times Z\times C}$ 折疊到單個高度平面以生成鳥瞰特征$B\in {\mathbb{R}}^{X\times Y\times C}$ 。BEV 網(wǎng)格極大地降低了計算開銷, 同時提供了與 3D 體素網(wǎng)格相似的檢測性能, 這促進了它們在我們的網(wǎng)絡中的使用。我們沿著通道維度 c 將體素網(wǎng)格$\mathrm{V}$的垂直軸$\mathrm{z}$連接起來, 以形成$\mathrm{B}\mathrm{E}\mathrm{V}$網(wǎng)格$B\in {\mathbb{R}}^{X\times Y\times Z?C}$。使用$1\mathrm{x}1$卷積+BatchNorm+RELU 層減少 通道數(shù)(參見圖 2 中的 BEV 通道減少), 其在學習每個高度切片的相對重要性的同時檢索通道$\mathrm{C}$的原始數(shù)量, 從而產(chǎn)生 BEV 網(wǎng)格$B\in {\mathbb{R}}^{X\times Y\times C}$ 。

3.2 基于BEV的3D目標檢測(BEV 3D Object Detection)

為了要在 BEV 特征網(wǎng)格上執(zhí)行 3D 目標檢測，我們采用配置良好的 BEV 3D 物體探測器PointPillars的主干和探測頭，因為它已經(jīng)被證明以較低的計算開銷提供準確的 3D 檢測結果。對于 BEV 主干，我們將下采樣塊中 3x3 卷積+BatchNorm+ReLU 層的數(shù)量從原始中使用的（4、6、6）分別增加到塊 1、塊 2 和塊 3 的（10、10、10）。增加卷積層的數(shù)量可以擴展我們的 BEV 網(wǎng)絡的學習能力，這對于從圖像生成的低質(zhì)量特征中學習非常重要，而不是從最初由激光雷達點云生成的高質(zhì)量特征中學習。我們使用與 PointPillars相同的探測頭來生成最終的探測結果。

3.3 深度離散化（Depth Discretization）

對連續(xù)深度空間進行離散化，以定義深度分布 D 中使用的一系列 D 點。深度離散化可以采用固定尺寸的均勻離散化（UD）、對數(shù)空間中尺寸增大的間距增大離散化（SID）或尺寸線性增大的線性增大離散化(LID進行。深度離散化技術如圖 5 所示。我們采用 LID 作為深度離散化，因為它為所有深度提供了平衡的深度估計[60]。LID 的定義如下：

$d_c=d_{\min }+\frac{d_{\max }?d_{\min }}{D(D+1)}?d_i\left(d_i+1\right)$

其中 dc 是連續(xù)深度值，[????????, ????????]是要離散的完整深度范圍，D 是深度單元的數(shù)量，????是深度單元索引。

3.4 深度分布標簽的生成(Depth Distribution Label Generation)

我們需要深度分布標簽$D$，以監(jiān)督我們預測的深度分布。深度分布標簽是通過將激光雷達點云投影到圖像幀中來生成的，以創(chuàng)建稀疏密集的地圖。執(zhí)行深度補全以在圖像中的每個像素處生成深度值。我們需要每個圖像特征像素的深度信息，因此我們將大小為$W_I\times H_I$的深度圖下采樣為圖像特征大小$W_F\times H_F$。使用第 3.3 節(jié)所述的 LID 離散化方法將深度圖轉換為面元索引，然后轉換為一次熱編碼，以生成深度分布標簽。一次熱編碼確保深度分布標簽清晰，這對于通過監(jiān)督鼓勵深度分布預測的清晰性至關重要。

3.5 訓練損失（Training Losses）

通常, 分類是通過預測分類分布, 并鼓勵分布的尖銳性來選擇正確的類別。在監(jiān)控深 度分布網(wǎng)絡時, 我們利用焦點損失 [32], 利用分類鼓勵使用一個正確的深度箱:

$$\begin{gathered} L_{\text{depth?}}= \\ \frac{1}{W_F?H_F}\sum _{u=1}^{W_F}\sum _{v=1}^{H_F}FL(D(u,v),D(u,v)) \end{gathered}$$

其中 D 是深度分布預測, $D$是深度分布標簽。我們發(fā)現(xiàn), 自動駕駛數(shù)據(jù)集包含的圖像對象 像素少于背景像素，導致?lián)p失函數(shù)在所有像素損失加權時優(yōu)先考慮背景像素。對于前景對象像素, 我們將焦損加權因子 a 設置為${\alpha }_{fb}=3.25$, 對于背景像素, 我們將${\alpha }_{bg}=0.25_{bg}$。前景對象像素被確定為位于 2D 對象邊界框標簽內(nèi)的所有像素，而背景像素則是所有剩余像素。我們設置聚焦損耗聚焦參數(shù)$\gamma =2.0$ 。
我們使用 PointPillars中的分類損失 、回歸損失$L_{reg}$和方向分類損失$L_{dir}$進行 3D 目標檢測。我們網(wǎng)絡的總損失是深度和 3D 探測損失的組合:
$$L={\lambda }_{\text{depth?}}{L}_{\text{depth?}}+{\lambda }_{cls}{L}_{cls}+{\lambda }_{\text{reg?}}{L}_{\text{reg?}}+{\lambda }_{\text{dir?}}{L}_{\text{dir?}}$$

其中是固定損失加權因子。

參考

Categorical Depth Distribution Network for Monocular 3D Object Detection

https://github.com/TRAILab/CaDDN

單目三維目標檢測之CaDDN論文閱讀_hello689的博客-CSDN博客_單目三維目標檢測文章來源地址http://www.zghlxwxcb.cn/news/detail-421113.html

到了這里，關于論文精讀 《CaDNN: Categorical Depth Distribution Network for Monocular 3D Object Detection》的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！