【論文筆記】3DOPFormer: 3D Occupancy Perception from Multi-Camera Images with Directional and Distance Enhancement
原文鏈接：https://ieeexplore.ieee.org/abstract/document/10363646

I. 引言

本文的3DOPFormer使用空間交叉注意力機制和反卷積恢復(fù)3D占用，然后基于激光雷達射線方向特征提出優(yōu)化3D占用感知模型的新方法。使用神經(jīng)渲染方法合成激光雷達射線方向的距離，通過最小化合成距離與原始點云距離之間的損失，使模型生成精確的占用預(yù)測。通過插值可以得到任意3D點的特征，從而預(yù)測任意分辨率下的3D場景占用。

III. 方法

A. 準(zhǔn)備知識

本節(jié)介紹了NeRF的體積渲染公式，見神經(jīng)輻射場的簡單介紹。

在粗糙采樣的基礎(chǔ)上，還可進行細(xì)化采樣，即根據(jù)粗糙采樣的權(quán)重分布采樣新的點，再將粗糙采樣點與細(xì)化采樣點一起用于計算渲染結(jié)果。損失函數(shù)為粗糙采樣渲染結(jié)果光度損失與細(xì)化采樣渲染結(jié)果光度損失的均值。

對于激光雷達距離合成，將上述渲染公式中的RGB值替換為距離即可。由于點的距離是采樣得到，需要預(yù)測的僅有$\sigma$，因此可改為直接預(yù)測不透明度$\alpha$：
$$\begin{gathered} \hat{d}=\sum _{i=1}^N{T}_i{\alpha }_i{t}_i \\ {T}_i=\sum _{j=1}^{i?1}(1?{\alpha }_j) \\ {\alpha }_i=F(x_i) \end{gathered}$$
其中$F$為3D占用感知模型（見后文）。

B. 概述

如上圖所示，首先用主干網(wǎng)絡(luò)提取圖像特征，并使用空間注意力提升到3D空間得到$V_i\in {\mathbb{R}}^{H\times W\times Z\times C}$，并使用3D反卷積得到更高分辨率的3D體素特征。最后，使用MLP預(yù)測3D占用結(jié)果。

C. 3D占用感知查詢

定義可學(xué)習(xí)參數(shù)$Q\in {\mathbb{R}}^{H\times W\times Z\times C}$（與初始3D體素$V_i$大小相同）。位于網(wǎng)格$p=(x,y,z)$處的查詢?yōu)?span id="n5n3t3z" class="katex--inline">$Q_p\in {\mathbb{R}}^C$。

D. 空間占用交叉注意力

本文使用可變形注意力以減小計算，其中3D體素查詢與2D圖像特征中的相應(yīng)區(qū)域的特征交互。

首先將查詢$Q_p$投影到圖像上，采樣附近的圖像特征，然后按下式得到$V_i$：
$$\begin{gathered} SOCA(Q_p,F)=\frac{1}{|{\mathcal{V}}_{hit}|}\sum _{i\in {\mathcal{V}}_{hit}}DA(Q_p,\mathcal{P}(p,i),F^i) \\ DA(q,p,x)=\sum _{i^{\prime }=1}^{N_{head}}{W}_{i^{\prime }}\sum _{j^{\prime }=1}^{N_{key}}{A}_{i^{\prime }{j}^{\prime }}{W}_{i^{\prime }}^{\prime }x(p+\Delta p_{i^{\prime }{j}^{\prime }}) \end{gathered}$$

其中${\mathcal{V}}_{hit}$為查詢所屬視圖數(shù)量，$\mathcal{P}(p,i)$為將點$p$投影到視圖$i$上的函數(shù)，$F^i$為視圖$i$的特征。$N_{head},N_{key}$分別為注意力頭數(shù)和采樣點數(shù)，$W_{i^{\prime }}\in {\mathbb{R}}^{C\times (C/N_{head})},W_{i^{\prime }}^{\prime }\in {\mathbb{R}}^{(C/N_{head})\times C}$為權(quán)重，$A_{i^{\prime }{j}^{\prime }}\in [0,1]$為預(yù)測注意力權(quán)重，滿足${\sum }_{j^{\prime }=1}^{N_{key}}{A}_{i^{\prime }{j}^{\prime }}=1$。$\Delta p_{i^{\prime }{j}^{\prime }}\in {\mathbb{R}}^2$為預(yù)測偏移量。

下面是投影函數(shù)$\mathcal{P}(p,i)$的介紹。首先根據(jù)體素索引$(x,y,z)$計算查詢的真實世界坐標(biāo)$(x_w,y_w,z_w)$：
$$\begin{gathered} x_w=\frac{x+0.5}{W}(X_{\max }?X_{\min })+X_{\min } \\ {y}_w=\frac{x+0.5}{H}(Y_{\max }?Y_{\min })+Y_{\min } \\ {z}_w=\frac{x+0.5}{Z}(Z_{\max }?Z_{\min })+Z_{\min } \end{gathered}$$

然后使用投影矩陣投影到圖像上：
P ( p , i ) = ( x i , y i ) z i [ x i y i 1 1 / z i ] = [ K O O 1 ] [ R T O 1 ] [ x w y w z w 1 ] \mathcal{P}(p,i)=(x_i,y_i)\\ z_i\begin{bmatrix}x_i\\y_i\\1\\1/z_i\end{bmatrix}=\begin{bmatrix}K&O\\O&1\end{bmatrix}\begin{bmatrix}R&T\\O&1\end{bmatrix}\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix} P(p,i)=(xi?,yi?)zi? ?xi?yi?11/zi?? ?=[KO?O1?][RO?T1?] ?xw?yw?zw?1? ?

其中$K,R,T$分別為相機內(nèi)參、外參旋轉(zhuǎn)矩陣與外參平移矩陣，$z_i$為深度。

E. 模型優(yōu)化

除交叉熵?fù)p失和lovasz-softmax損失外，還提出基于點云方向特征的方向體素?fù)p失和基于神經(jīng)渲染的距離損失。

1) 方向體素?fù)p失

如下左圖所示，激光雷達射線會從原點出發(fā)，穿過未占用體素（empty顏色）到達占用體素處。記經(jīng)過的體素編號為1到$m$，則方向體素?fù)p失為：
$$\begin{gathered} {\mathcal{L}}_{dirvoxel}=\frac{1}{n}\sum L{1}_{smooth}(m\log p_c+\sum _{i=1}^{m?1}(m?i)\log (1?p_i),0) \\ L{1}_{smooth}(x,y)=\{\begin{array}{cc}0.5(x?y{)}^2& 若|x?y|<1\\ |x?y|?0.5& 否則\end{array} \end{gathered}$$

其中$n$為激光雷達射線數(shù)，$p_i$為中間點的預(yù)測占用概率，$p_c$為預(yù)測所屬真實類別的概率。$\log$前的$(m?i)$為權(quán)重，射線從原點到激光雷達點的權(quán)重逐漸減小。方向體素?fù)p失可以促進模型收斂并提高性能。

2) 距離損失

如上右圖所示，粗糙階段將激光雷達射線段均勻分為$N$段進行采樣，細(xì)化階段根據(jù)粗糙階段采樣點的權(quán)重分布，再采樣$N$個點。采樣點的特征從體素特征中插值，并輸入MLP預(yù)測不透明度，進行渲染。距離損失為：
$${\mathcal{L}}_{distance}=\frac{1}{2|\mathcal{R}|}\sum (L{1}_{smooth}(\log {\hat{d}}_c,\log d)+L{1}_{smooth}(\log {\hat{d}}_f,\log d))$$

其中$\mathcal{R}$為射線集合。

IV. 實驗

C. 評估指標(biāo)

使用IoU（不考慮類別）和mIoU評估性能。此外還僅針對激光雷達射線穿過的體素進行評估。

D. 主要結(jié)果

1) nuScenes數(shù)據(jù)集上的3D語義占用預(yù)測

實驗表明，本文的方法與基準(zhǔn)方案相比有更高的性能，且在激光雷達射線穿過的體素上的性能優(yōu)勢更明顯。

可視化表明，本文的方法能更精確地表達物體的結(jié)構(gòu)，且能成功預(yù)測一些遠處的物體或小物體。

E. 消融研究

實驗表明，本文的方向體素?fù)p失和距離損失均能提高模型性能，且前者作用更大。文章來源地址http://www.zghlxwxcb.cn/news/detail-822414.html

到了這里，關(guān)于【論文筆記】3DOPFormer: 3D Occupancy Perception from Multi-Camera Images with Directional and Distance Enh的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！