論文標(biāo)題：Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion
論文鏈接
Code: 還未開源
**動機：**室外點云+圖像的方法沒有純點云的方法效果好，主要有兩個原因（1）多模態(tài)的數(shù)據(jù)增廣不好做（2）因為現(xiàn)在方法大多是從點云找對應(yīng)的圖像融合特征，但是點云能對應(yīng)上的像素點比較少，因此沒有完全利用好圖像的特征。

**解決方法：**對圖像上的像素點進行深度補全（深度補全網(wǎng)絡(luò)：Penet: Towards precise and efficient image guided depth completion，在Kitti上預(yù)訓(xùn)練后再訓(xùn)練目標(biāo)檢測網(wǎng)絡(luò)時不再改變參數(shù)），有了深度信息就生成了新的pseudo clouds，點云就變得Dense了，而且每個像素都有了對應(yīng)的point.然后使用稠密的包含顏色信息的偽點云進行特征提取，和純點云的特征融合，進行3D目標(biāo)檢測。對于數(shù)據(jù)增廣，在偽點云中做數(shù)據(jù)增廣后投影到圖像上會有遮擋的情況出校，因此不是將整個點云投影回去，而是在經(jīng)過RPN有了ROI之后將ROI投影回去，就不會有遮擋的情況發(fā)生了。

**總結(jié)：**這篇文章首次將原始點云和基于圖像和點云Depth Comopletion生成的偽點云進行融合，提出了3D-GAF和CPFE模塊以及同步數(shù)據(jù)增強在KITTI上取得了sota，實驗也表明該方法對Depth Comopletion具有魯棒性，整個pipeline可以作為一個Frame

Abstract
稀疏點云由于缺乏幾何和語義信息造成檢測性能下降，為了提高遠處和被遮擋的點云的檢測質(zhì)量，本文提出利用深度補全基于稀疏點云和圖像生成偽點云與原始點云融合的方式的多模態(tài)融合框架SFD，同時提出三個創(chuàng)新點:

1.3D-GAF:這是一種新的RoI特征融合方法，在網(wǎng)格級進行特征融合同時融入注意力機制

2.CPFE:基于圖像做空洞近鄰搜索，在偽點云中同時融合3D幾何特征與2D語義特征

3.SynAugment:在偽點云和原始點云中同步數(shù)據(jù)增強

Introduction

說明在遠處和被遮擋的區(qū)域稀疏點云會造成檢測困難，同時總結(jié)目前多模態(tài)融合方法比純lidar方法性差的主要原因：

1.維度差異: 圖像是規(guī)則的高分辨率的2維數(shù)據(jù)，點云是稀疏的3維數(shù)據(jù)

2.信息損失:根據(jù)外參將點云投影到圖像上找點云特征會由于點云的稀疏性造成圖像的信息的損失

3.數(shù)據(jù)增強: 由于點云和圖像存在對應(yīng)關(guān)系，純lidar的數(shù)據(jù)增強方法難以直接應(yīng)用

Method
1.整體網(wǎng)絡(luò)結(jié)構(gòu)

整個網(wǎng)絡(luò)主要由3部分組成: LiDAR Stream, Pseudo Stream and Sparse Dense Fusion Head

LiDAR Stream:處理原始點云，獲取RoI

Pseudo Stream:首先結(jié)合點云稀疏投影和原始圖像做Depth Completion生成帶有顏色的偽點云，然后根據(jù)LiDAR Stream:的RoI截取點云特征，通過CPFE模塊提取特征，最后voxelize并利用sparse convolution進一步提取特征

Sparse Dense Fusion Head:在3D-GAF中融合原始點云和偽點云RoI特征

最后根據(jù)融合特征進行預(yù)測，回歸損失采用3D GIoU損失，同時增加輔助分支去正則化網(wǎng)絡(luò)（在inference階段去除）

2.3D-GAF

3D-GAF與MMF相比在網(wǎng)格級的細粒度(fine-grained)上進行融合，同時Attention機制，可以避免之前的在2D平面融合因遮擋產(chǎn)生的特征混淆。

在Attention中通過FC層學(xué)習(xí)權(quán)重，相乘后在拼接。
3.CPFE

這里受到Voxel RCNN的啟發(fā)，在圖像域（image domain）上進行空洞近鄰查找，在提高receptive field的同時，可以在constant time內(nèi)完成查找，

其次，在image domain上的近鄰可以提取圖像的2D特征，同時根據(jù)偽點云的（u, v）坐標(biāo)可以容易地找到其在圖像上的近鄰 （這里在2D圖像上進行查找是否考慮存在遮擋問題？？？）

在查找到每個點的k個近鄰后，利用pointnet提取Pseudo Point Features ，同時計算該點與附近點的Position Residuals，利用pointnet提取局部特征作為weight與Pseudo Point Features相乘（類似Attention機制）
這里構(gòu)成了CPC模塊
CPFE模塊是CPConvs的多尺度堆疊，融合高低層次特征

4.Synchronized Augmentation

對點云和偽點云同步數(shù)據(jù)增強

5.結(jié)果

在遮擋，遠距離和前景與背景形狀相似的情況下，本方法均有提升

reference
論文閱讀 SFD: Toward High Quality 3D Detection With Depth Completion
3D目標(biāo)檢測 |SFD| 室外 | 多模態(tài)| CVPR2022文章來源地址http://www.zghlxwxcb.cn/news/detail-412994.html

到了這里，關(guān)于3D目標(biāo)識別|SFD|多模態(tài)|CVPR2022的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！