前情回顧

在之前，我已經(jīng)有介紹過(guò)毫米波雷達(dá)在2D視覺(jué)任務(wù)上的一些經(jīng)典網(wǎng)絡(luò)[自動(dòng)駕駛中雷達(dá)與相機(jī)融合的目標(biāo)檢測(cè)工作（多模態(tài)目標(biāo)檢測(cè)）整理 - Naca yu的文章 - 知乎]，總結(jié)概括而言，其本質(zhì)上都是對(duì)視覺(jué)任務(wù)的一種提升和輔助，主要的工作在于如何較好地在FOV視角中融合兩種模態(tài)，其中不乏有concate\add\product兩個(gè)模態(tài)的特征，或者使用radar對(duì)視覺(jué)局部特征增強(qiáng)，其中比較知名的工作CRFNet經(jīng)常用來(lái)作為baseline，其并沒(méi)有對(duì)毫米波這個(gè)模態(tài)做特殊的處理，僅是作為視覺(jué)特征的補(bǔ)充融入到傳統(tǒng)的2D檢測(cè)pipeline中，但是其消融實(shí)驗(yàn)提出了許多值的考慮的優(yōu)化方向：包括噪聲濾除、BlackIn這兩個(gè)，一個(gè)代表了對(duì)于毫米波這類(lèi)有較多噪聲的數(shù)據(jù)進(jìn)行“理想化”的噪聲過(guò)濾，結(jié)果提升了接近10個(gè)點(diǎn)。二是通過(guò)BlackIn對(duì)于弱模態(tài)-毫米波點(diǎn)云加大學(xué)習(xí)權(quán)重(通過(guò)對(duì)訓(xùn)練時(shí)圖像的缺失)來(lái)提高網(wǎng)絡(luò)對(duì)于高噪聲弱模態(tài)的擬合能力也能提點(diǎn)。

在近些年，2D檢測(cè)任務(wù)在A(yíng)L的熱度遞減，取而代之的是3D任務(wù)，畢竟現(xiàn)在的實(shí)際場(chǎng)景一直多是基于3D場(chǎng)景。但是在3D檢測(cè)或者分割等任務(wù)中，雷達(dá)賦予了一個(gè)不一樣的角色，在之前FOV視角中，毫米波點(diǎn)云大多為了與FOV特征融合，都是通過(guò)投影這一種方法，而放到3D場(chǎng)景中，自然就有LIdar的相關(guān)角色賦予毫米波雷達(dá)，相應(yīng)的，毫米波的角色從FOV到了BEV，它的下游任務(wù)，也從輔助為主到BEV下的分割、深度估計(jì)、生成密集點(diǎn)云等。

這也是我這篇文章的重點(diǎn)，文章的主要工作放在毫米波角色的轉(zhuǎn)換中，從3D檢測(cè)、深度估計(jì)、GAN(非重點(diǎn))，分割(非重點(diǎn))幾個(gè)方面列舉我看到的一些工作并做簡(jiǎn)單介紹和總結(jié)，同時(shí)對(duì)毫米波算法的發(fā)展提出自己的一些拙見(jiàn)，由于個(gè)人能力有限，無(wú)法通過(guò)一篇文章就把radar的脈絡(luò)梳理出來(lái)，所以后面還會(huì)繼續(xù)以各個(gè)子章節(jié)細(xì)化，組成系列文章。

介紹的工作都比較冷門(mén)，很少有源碼開(kāi)放，因此對(duì)一些細(xì)節(jié)分析可能并不到位，歡迎大家在評(píng)論區(qū)討論，提出自己的寶貴意見(jiàn)，指正我的一些偏見(jiàn)。

一、3D Detection

1.1 GCN：圖卷積用于毫米波目標(biāo)檢測(cè)

1.1.1 GCN用于毫米波點(diǎn)云

Radar-PointGNN: Graph Based Object Recognition for Unstructured Radar Point-cloud Data(2021 IEEE Radar Conference)
之前我發(fā)過(guò)一篇文章：用于毫米波雷達(dá)的GNN：Radar-PointGNN: Graph Based Object Recognition for Unstructured Radar Point-cloud Data - Naca yu的文章 - 知乎

1.1.2 GCN用于原始毫米波信號(hào)

Graph Convolutional Networks for 3D Object Detection on Radar Data (2021 ICCVW)
建議在閱讀這篇工作前，先閱讀一篇關(guān)于雷達(dá)數(shù)據(jù)處理的文章以了解RD和RadarPointCloud的區(qū)別：
毫米波雷達(dá)：信號(hào)處理 - 巫婆塔里的工程師的文章 - 知乎 https://zhuanlan.zhihu.com/p/524371087

1. Abstract：作者借鑒GCN，基于毫米波原始數(shù)據(jù)Range-beam-Dropler tensor進(jìn)行3D目標(biāo)檢測(cè)，相比作者自設(shè)定的baseline(grid-based-convolutional baseline也就是voxel這類(lèi)方法)提升約10%，同時(shí)作者在真實(shí)環(huán)境下驗(yàn)證模型效果，相比于其他模態(tài)，作者提出的網(wǎng)絡(luò)檢測(cè)距離能夠達(dá)到20m-100m，大幅度提升檢測(cè)范圍。
2. 網(wǎng)絡(luò)結(jié)構(gòu)：
   
   這項(xiàng)工作的輸入數(shù)據(jù)，并不是常見(jiàn)的雷達(dá)點(diǎn)云形式，這類(lèi)點(diǎn)云是經(jīng)過(guò)CFAR等算法處理后的結(jié)果，這類(lèi)算法處理后的結(jié)果會(huì)導(dǎo)致原始信息丟失的問(wèn)題(部分工作將CFAR更換為DL模型后能夠有效降低點(diǎn)云噪聲)，近期的一些工作例如CRUW數(shù)據(jù)集，提供點(diǎn)云的上層數(shù)據(jù)-Range-Doppler數(shù)據(jù)，這類(lèi)數(shù)據(jù)能夠以較小損失的條件下保留較多的原始信息，但是，相對(duì)點(diǎn)云原始數(shù)據(jù)無(wú)法直接將數(shù)據(jù)用于檢測(cè)等現(xiàn)有任務(wù)并且數(shù)據(jù)的直觀(guān)性和結(jié)構(gòu)化降低。在GCN中，RD不能夠直接用于構(gòu)建Graph，作者將其處理為range-beam-doppler坐標(biāo)系下的voxel用于構(gòu)建節(jié)點(diǎn)，edge則采用兩種方案：根據(jù)節(jié)點(diǎn)的距離確定和固定權(quán)重。
3. 重要部分：
   (1) 極坐標(biāo)和笛卡爾坐標(biāo)系
   
   
   這里簡(jiǎn)單聊一下毫米波數(shù)據(jù)的轉(zhuǎn)換過(guò)程，具體可以參考：毫米波雷達(dá)：信號(hào)處理，如上圖所示，從左到右經(jīng)過(guò)三次FFT變換，從原始的傳感器采集到的MNK維度的IF信號(hào)到最后的RD數(shù)據(jù)，就是我們所需要的原始雷達(dá)數(shù)據(jù)，對(duì)RD數(shù)據(jù)進(jìn)一步處理，得到點(diǎn)云數(shù)據(jù)信息，我們需要的是上圖中最后一個(gè)數(shù)據(jù)的形式。

(2)圖的構(gòu)建

• 邊的定義
  首先，Radar-Doppler-Tensor作為輸入數(shù)據(jù)(HWC)，然后將輸入切分成range-beam為單位的cell作為基本單元，每個(gè)cell(256 channels doppler)作為node feature，這樣就完成了節(jié)點(diǎn)的原始特征定義。對(duì)于edge的定義如下(圖的邊則連接相鄰range或者相鄰angle的節(jié)點(diǎn)，邊的權(quán)重與歐式空間中節(jié)點(diǎn)距離成反比(實(shí)驗(yàn)證明這個(gè)權(quán)重的設(shè)置并不重要)：
  
• 點(diǎn)的定義

首先，Radar-Doppler-Tensor作為輸入數(shù)據(jù)(HWC)，然后將輸入切分成range-beam為單位的cell作為基本單元，每個(gè)cell(256 channels doppler)作為node feature，這樣就完成了節(jié)點(diǎn)的原始特征定義。對(duì)于edge的定義如下(圖的邊則連接相鄰range或者相鄰angle的節(jié)點(diǎn)，邊的權(quán)重與歐式空間中節(jié)點(diǎn)距離成反比(實(shí)驗(yàn)證明這個(gè)權(quán)重的設(shè)置并不重要)：

4. 實(shí)驗(yàn)：
如下，作者采集自真實(shí)場(chǎng)景的數(shù)據(jù)集各項(xiàng)參數(shù)：

如下，數(shù)據(jù)集中對(duì)于目標(biāo)檢測(cè)難度的定義：從距離和遮擋程度兩者考慮

作者提出的baseline（RT-Net）：將上述的兩層圖卷積網(wǎng)絡(luò)替換為普通的2D卷積，激活函數(shù)等設(shè)置相同，作者模擬的是不同grid-based-method（voxel）和graph-based-method兩者的異同。

• 可以看到，作者設(shè)置了兩種對(duì)比，GRT-Net即作者提出的模型，第二三個(gè)模型的edge權(quán)重是不同的(cartesian-based和identical edge weights)，通過(guò)12實(shí)驗(yàn)對(duì)比，可以得到，graph-based-method得到了全面的性能提升，23實(shí)驗(yàn)對(duì)比，identical的edge weights是有優(yōu)勢(shì)的。
  
• 以上結(jié)果是IoU=0.3的情況下，三類(lèi)樣本的PR曲線(xiàn)。
  
  以上作者只與baseline進(jìn)行了對(duì)比，其他的工作只是列舉了他們的實(shí)驗(yàn)細(xì)節(jié)，也可以從這一節(jié)看出，在非毫米波點(diǎn)云數(shù)據(jù)的工作中(當(dāng)然點(diǎn)云數(shù)據(jù)集也仍然沒(méi)有高度公認(rèn)的)，還沒(méi)有大部分工作都認(rèn)同的數(shù)據(jù)集，我猜測(cè)：一是不同毫米波傳感器之間的屬性差別大難以統(tǒng)一、二是毫米波的論文開(kāi)源工作較少，目前我找到的大部分工作都是只有論文，細(xì)節(jié)描述不清，因此難以復(fù)現(xiàn)出原本的性能。三是開(kāi)源的大型數(shù)據(jù)集較少。希望未來(lái)大家能夠?qū)⒆约旱墓ぷ鏖_(kāi)源，至少說(shuō)明足夠復(fù)現(xiàn)的細(xì)節(jié)。

總結(jié)

GCN和Voxel兩類(lèi)網(wǎng)絡(luò)對(duì)比：在復(fù)雜度方面，graph-based的計(jì)算復(fù)雜度與點(diǎn)云數(shù)量呈線(xiàn)性相關(guān)性，而grid-based方法檢測(cè)性能不僅受到grid大小，大量的voxel等于0值造成計(jì)算資源浪費(fèi)，并且也受到檢測(cè)距離的關(guān)系而需要在檢測(cè)精度和效率之間做trade-off。在中心特征計(jì)算方面，radar pointcloud的點(diǎn)云過(guò)于稀疏，許多前景目標(biāo)僅投影個(gè)位數(shù)的點(diǎn)云，通過(guò)voxel等方法會(huì)造成過(guò)度降采樣和中心特征丟失。當(dāng)前各類(lèi)榜單上grid-based方法能夠有效避免point數(shù)量過(guò)大導(dǎo)致的復(fù)雜度過(guò)高的問(wèn)題而成為主流超越point-wise的方法，但是由于radar的稀疏性(Nuscenes中radar和lidar大概是50:1的關(guān)系)，采用point-wise的方法并不會(huì)導(dǎo)致很大的延遲。

Radar檢測(cè)優(yōu)劣：優(yōu)勢(shì)：另一方面，radar由于其長(zhǎng)波優(yōu)勢(shì)，探測(cè)的距離也較大，對(duì)于高速公路這類(lèi)檢測(cè)目標(biāo)單一且方向等屬性較為單一的場(chǎng)景下，radar有著較大的優(yōu)勢(shì)。劣勢(shì)：由于兩個(gè)工作并不是同一數(shù)據(jù)集，所以?xún)烧邿o(wú)法橫向?qū)Ρ?，能夠得到的幾點(diǎn)是：毫米波所包含的信息是能夠獨(dú)立地進(jìn)行3D檢測(cè)，但是僅對(duì)于車(chē)輛(卡車(chē)、汽車(chē)、建造車(chē)輛等)大型反射性良好的目標(biāo)進(jìn)行檢測(cè)，而對(duì)于弱反射的交通目標(biāo)則檢測(cè)效果較差。

兩種數(shù)據(jù)對(duì)比：基于radar點(diǎn)云的檢測(cè)都是需要預(yù)定義每個(gè)需要檢測(cè)的類(lèi)的bouding box大小，毫米波在辨別物體時(shí)有一定的優(yōu)勢(shì)，但是在物體的regression任務(wù)上缺乏可參考的尺寸特征(僅有RCS)，在回歸任務(wù)上需要預(yù)設(shè)大小。相比之下，在RD原始數(shù)據(jù)中顯示地帶有了目標(biāo)的橫截面積反射強(qiáng)度等信息(Doppler)，工作2**(暫定沒(méi)有預(yù)設(shè)尺寸)**可以在沒(méi)有預(yù)設(shè)尺寸情況下較好回歸目標(biāo)屬性。但是，在高度屬性等地面垂直方向?qū)傩灶A(yù)測(cè)上，雷達(dá)這種平面數(shù)據(jù)無(wú)法有效預(yù)測(cè)。

1.2 Reference to Lidar

這類(lèi)工作主要對(duì)Lidar Based方法進(jìn)行改進(jìn)，用于Radar。

1.2.1 Point-wise 的檢測(cè)方法

2D Car Detection in Radar Data with PointNets (2019 IEEE Intelligent Transportation Systems Conference)
出發(fā)點(diǎn)： 在point-level借鑒frustum-pointnet和pointnet進(jìn)行3D目標(biāo)檢測(cè)。

作者基于Frustum-Pointnet和Pointnet進(jìn)行了改進(jìn)，提出一種point-wise的3D目標(biāo)檢測(cè)網(wǎng)絡(luò)。
整個(gè)模塊分為三個(gè)部分：

1. 第一部分基于現(xiàn)有的radar points生成2D的Patch Proposals，相當(dāng)于FrustumPointnet中的Frustum，用于聚合局部特征，現(xiàn)定某個(gè)patch內(nèi)部的point點(diǎn)數(shù)為n，相當(dāng)于對(duì)每個(gè)patch內(nèi)部的點(diǎn)做一系列的操作，Patch Proposal的輸入為n x 4(2D spatial data, ego motion compensated Doppler velocity and RCS information.)。
2. 第二部分將proposal內(nèi)部的點(diǎn)云提取局部和全局特征，經(jīng)過(guò)對(duì)clutter和radar-target的點(diǎn)云過(guò)濾，輸出mx4的篩選后的radar targets向量(與原始數(shù)據(jù)一致)。
3. 最后一部分，將篩選出來(lái)的點(diǎn)經(jīng)過(guò)傳統(tǒng)的T-NET和Box-Estimation輸出最后的各項(xiàng)屬性。
   下面是更詳細(xì)的結(jié)構(gòu)圖：
   

1.3 多模態(tài)融合

1.3.1 point-wise fusion和object-wise fusion(feature-level & decision level)集合用于多模態(tài)檢測(cè)

Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection (2021 8月 arxiv 清華)
出發(fā)點(diǎn)： 在BEV空間，在point level和object level兩個(gè)層面實(shí)現(xiàn)圖像特征和點(diǎn)云特征的融合。

• 該模型主要解決在3D檢測(cè)中，毫米波和相機(jī)數(shù)據(jù)的異構(gòu)融合檢測(cè)問(wèn)題，提出了一種Point-fusion和ROI fusion兩種融合并存互補(bǔ)的想法。

1. 模型架構(gòu)：
   • 圖像分支：通過(guò)LSS的方法將圖像特征轉(zhuǎn)換到BEV空間，并通過(guò)ConvLSTM融合多幀的毫米波grid-based特征作為時(shí)序radar特征，與圖像BEV特征進(jìn)行point-wise的concate后，通過(guò)BEV特征編碼器完成模態(tài)融合并基于此進(jìn)行heatmap生成。
   • radar分支：通過(guò)對(duì)radar特征圖的heatmap生成并與圖像的heatmap進(jìn)行融合，送入最終檢測(cè)頭預(yù)測(cè)。
   • 融合分支：采用point-wise fusion和object-wise fusion兩種融合兼顧的方式。
2. 模型細(xì)節(jié)：
   (1) point-fusion和ROI fusion兩種融合并存互補(bǔ)的想法；
   (2) two-stage-fusion方法：兩個(gè)模態(tài)分支各自完成heatmap生成后，再次進(jìn)行融合，在特征細(xì)粒度和全局信息融合上都有考慮到，融合結(jié)構(gòu)如下所示：在融合之前，不用保持分辨率的一致，在point-wise融合時(shí)兩個(gè)不同分辨率的模態(tài)要分別經(jīng)過(guò)上下采樣統(tǒng)一后融合。
   

(3) 在radar上使用conv-lstm這類(lèi)方法進(jìn)行時(shí)序雷達(dá)信息融合，作者以此解決點(diǎn)云的部分噪聲問(wèn)題：雜波和數(shù)據(jù)稀疏，但是沒(méi)有通過(guò)消融實(shí)驗(yàn)證明lstm結(jié)構(gòu)的合理性；
(4) 雷達(dá)數(shù)據(jù)處理：temporal-spatial feature encoder
- 每一幀的雷達(dá)點(diǎn)云都經(jīng)過(guò)轉(zhuǎn)換到current frame，輸入的raw radar包含：x, y, vr, RCS；
- 空間特征提?。菏褂贸Ｓ玫膙oxelnet或者pointpillars；
- 時(shí)序特征：ConvLSTM，對(duì)空間特征特征圖提取時(shí)序特征到Temporal Encoder中，具體結(jié)構(gòu)可參考如下結(jié)構(gòu)，將卷積和lstm結(jié)合起來(lái)，使得模型同時(shí)具有提取空間和時(shí)序特征的能力，這個(gè)在天氣預(yù)測(cè)有一些應(yīng)用；

(5) 圖像特征提?。篖SS

和BEVDet的方法一致，提取feature-map后，經(jīng)過(guò)一系列的轉(zhuǎn)換（lift）將特征轉(zhuǎn)換為基于視錐分布的深度特征圖，后通過(guò)pooling的方式（splat）特征到BEV空間。

3. 評(píng)價(jià)總結(jié)
   
   作者在BEV空間中以top-down的形式檢測(cè)，沒(méi)有引入先驗(yàn)的目標(biāo)尺寸信息，而是通過(guò)中心點(diǎn)回歸其他信息。

• baseline對(duì)比：
  相比未引入時(shí)序信息的bevdet，RCBEV在整體性能提高的基礎(chǔ)上，在mAVE上尤其明顯，毫米波雷達(dá)的引入，時(shí)序特征的提取對(duì)網(wǎng)絡(luò)的速度性能提升非常大，相比BEVFORMER和BEVDET4D預(yù)測(cè)速度，通過(guò)融合毫米波雷達(dá)能夠在避免多幀圖像的計(jì)算復(fù)雜度增加的同時(shí)，提高速度的預(yù)測(cè)能力。但是通過(guò)conv-lstm的方法完成雷達(dá)時(shí)序特征的提取相對(duì)其他方法并沒(méi)有體現(xiàn)出其優(yōu)勢(shì)，這個(gè)可以對(duì)比目前的camera+radar主流方法的mAVE來(lái)看。
  
• 模態(tài)消融實(shí)驗(yàn)：
  相比晴天，雨天毫米波雷達(dá)帶來(lái)的提升更大，也能證明這種融合方式的魯棒性。在光照對(duì)比上，白天帶來(lái)的提升更加明顯，總體上，本篇工作確實(shí)在多個(gè)極端天氣下達(dá)到了良好的性能。

1.3.2 用圖像分割增強(qiáng)毫米波點(diǎn)云的檢測(cè)效果

RadSegNet: A Reliable Approach to Radar Camera Fusion (2022 年 8月)
出發(fā)點(diǎn)： 用語(yǔ)義分割結(jié)果渲染點(diǎn)云圖，對(duì)毫米波點(diǎn)云引入圖像語(yǔ)義信息用于3D檢測(cè)。

1. 模型架構(gòu)：
   這里融合的方式并不復(fù)雜，因此不做過(guò)多介紹，這篇文論的精彩之處我認(rèn)為在于SPG representation的前面：

類(lèi)比與pointpainting的方式，將雷達(dá)點(diǎn)云賦予語(yǔ)義信息(圖像經(jīng)過(guò)pretrained maskrcnn的分割后的全景分割圖像)，生成semantic map用于渲染投影到FOV后對(duì)應(yīng)的毫米波點(diǎn)云，然后分別與對(duì)應(yīng)的點(diǎn)云的特征和BEV occupy map進(jìn)行疊加，到此完成特征的對(duì)齊和不同特征向量的疊加。后利用UNet網(wǎng)絡(luò)提取多尺度特征，分別送入分類(lèi)和回歸檢測(cè)頭。

2. 模型細(xì)節(jié)：

   (1) 點(diǎn)云渲染
   
   通過(guò)對(duì)比，可以看出在語(yǔ)義通道中，毫米波通過(guò)語(yǔ)義分割渲染后的點(diǎn)云帶有圖像本身的語(yǔ)義信息，能夠直觀(guān)反映了其能夠彌補(bǔ)毫米波缺少類(lèi)別特征的劣勢(shì)。

   (2)檢測(cè)頭
   

   • 最后兩個(gè)檢測(cè)頭分別預(yù)測(cè)NC128128也就是N個(gè)anchor的類(lèi)別，而另一個(gè)輸出為7N128128，7為每個(gè)anchor的屬性，包括x, y, z, w, h, l, theta這7個(gè)屬性。

   (3)天氣模擬
   作者使用圖像增強(qiáng)庫(kù)模擬增加極端天氣：大霧、大雪等天氣，可以控制雪花大小、下降速度等參數(shù)模擬真實(shí)環(huán)境。
   (4)模型輸入：

   • 分為BEV occupy grid, RadarPoint Feature, Semantic Maps，共計(jì)22 dims，在輸入模型前全部通過(guò)concate完成grid-level的特征對(duì)齊。
   • 作者將點(diǎn)云格式化為grid-based feature map，如果多個(gè)點(diǎn)投影到同一grid，那么就計(jì)算平均值，同時(shí)y設(shè)置為7個(gè)channel代表不同的高度，彌補(bǔ)毫米波雷達(dá)不含有高度信息的缺點(diǎn)，n表示點(diǎn)云投影到grid的個(gè)數(shù)。數(shù)據(jù)由I(u,v)為0、1代表是否為空，d,r代表dropler和intensity。
     

3. 分析總結(jié)
   

作者在A(yíng)styx dataset數(shù)據(jù)集完成訓(xùn)練任務(wù)，在RADIATE進(jìn)行測(cè)試。RADIATE相比訓(xùn)練的數(shù)據(jù)集，極端環(huán)境的占比更多，對(duì)模型的魯棒性要求更高。

(1)在A(yíng)styx數(shù)據(jù)集對(duì)比中：baseline選取Perspective-view-based方法當(dāng)時(shí)的SOTA-Centerfusion進(jìn)行比較，為了保持公平，將預(yù)訓(xùn)練的centernet微調(diào)到新數(shù)據(jù)集中，實(shí)驗(yàn)結(jié)果也證明微調(diào)后的網(wǎng)絡(luò)比f(wàn)rom-scratch的centernet網(wǎng)絡(luò)表現(xiàn)更好，作者基于此對(duì)centernet進(jìn)行了微調(diào)并用于centerfusion。centerfusion性能下降很多，但是作者沒(méi)有給出足夠的細(xì)節(jié)，我能推測(cè)出來(lái)的：RadSegNet在BEV下3D檢測(cè)的結(jié)果與Centerfusion的FOV檢測(cè)結(jié)果相比較。

(2)作者使用segmentation后的結(jié)果渲染point，所以融合的效果嚴(yán)重依賴(lài)于分割的效果，在極端天氣下的分割效果如下圖所示，點(diǎn)云的語(yǔ)義特征會(huì)嚴(yán)重退化；

(3) lidar vs radar

作者將pointcloud換成lidar進(jìn)行了對(duì)比試驗(yàn)，可以看出，在近處激光雷達(dá)的效果要優(yōu)于毫米波，在遠(yuǎn)處發(fā)生了目標(biāo)的重疊并且lidar點(diǎn)云的密度急劇下降，作者計(jì)算了不同的感知距離上限下性能的變化，可以看出radar在遠(yuǎn)距離檢測(cè)的優(yōu)越性。毫米波作為長(zhǎng)波，相比激光雷達(dá)，在穿透性和感知距離上都要更優(yōu)，但是同時(shí)也導(dǎo)致了毫米波雷達(dá)的多路徑干擾等問(wèn)題。

(4) 相比nuscenes，作者使用的這兩個(gè)采集自真實(shí)場(chǎng)景的數(shù)據(jù)集由于其極端環(huán)境的占比較高，因此對(duì)于算法的魯棒性要求更高，在nuscenes數(shù)據(jù)集上，點(diǎn)云過(guò)于稀疏同時(shí)極端的環(huán)境占比并不高，因此在驗(yàn)證radar的魯棒性等作用時(shí)，其他具有稠密點(diǎn)云或者極端天氣比例較高的數(shù)據(jù)集也可以考慮，增加我們的實(shí)驗(yàn)嚴(yán)謹(jǐn)性。

二、Depth Estimation

2.1 毫米波雷達(dá)輔助視覺(jué)進(jìn)行深度估計(jì)

題目：Depth Estimation From Monocular Images and Sparse Radar Using Deep Ordinal Regression Network （ICIP，2021，九月）
作者出發(fā)點(diǎn)： 隨著lidar-based的深度估計(jì)方法用于3D目標(biāo)檢測(cè)(BEVDepth)，radar-based方法也通過(guò)改進(jìn)，根據(jù)radar特性設(shè)計(jì)了一些深度估計(jì)的方法。作者結(jié)合DORN網(wǎng)絡(luò)并進(jìn)行改進(jìn)，引入radar分支用于深度檢測(cè)。

源代碼：https://github.com/lochenchou/DORN radar

1. 網(wǎng)絡(luò)架構(gòu)：由圖可以看出，兩個(gè)模態(tài)在FOV分別通過(guò)resnet提取feature后（要注意，此時(shí)的radar并不是raw data，而是通過(guò)濾波后的深度值），分別通過(guò)DORN深度估計(jì)網(wǎng)絡(luò)和普通的卷積進(jìn)行編碼，隨后concate并上采樣，最后通過(guò)序數(shù)回歸對(duì)深度進(jìn)行估計(jì)，其中藍(lán)色部分與DORN保持一致，只是將深度估計(jì)問(wèn)題變成分類(lèi)問(wèn)題(ordinal regression)。整體結(jié)構(gòu)并不復(fù)雜，重要的是作者如何將radar用于深度估計(jì)的流程。

2. 主要?jiǎng)?chuàng)新點(diǎn)：一個(gè)是將點(diǎn)云擴(kuò)展高度變成line，提高毫米波點(diǎn)云的"感受野"，增強(qiáng)深度估計(jì)效果。一個(gè)是將多模態(tài)引入單模態(tài)深度估計(jì)DORN網(wǎng)絡(luò)。

3. 模型細(xì)節(jié)
   (1) 作者將毫米波雷達(dá)的困難定義為：稀疏、噪聲比大、無(wú)高度信息(影響的高度范圍有限)，通過(guò)預(yù)處理，生成一個(gè)height-extended multi-frame denoised radar。
   (2) 雷達(dá)預(yù)處理流程如下：1. 高度擴(kuò)展，類(lèi)似于crfnet，將點(diǎn)云擴(kuò)展0.25~2m的范圍內(nèi)，變成一條直線(xiàn)；2. 濾波：將不符合深度閾值的毫米波點(diǎn)云濾除，閾值定義如下，濾波過(guò)程和生成radar-depth特征的過(guò)程可參考[Depth Estimation from Monocular Images and Sparse Radar Data]。

4. 總結(jié)
   
   可以看出，提出的方法比baseline在深度預(yù)測(cè)上更接近真實(shí)值。

• 評(píng)價(jià)指標(biāo)：
  第一個(gè)評(píng)價(jià)值代表深度估計(jì)值和真實(shí)值的最大差異
  RMSE是平均深度差值
  ABSREL是相對(duì)的平均深度差值

由上圖，可以看出濾波的有效性

由上圖可以看出預(yù)處理中毫米波高度擴(kuò)展的有效性

三、Segmentation

3.1 多模態(tài)融合的map分割

A Simple Baseline for BEV Perception Without LiDAR（2022， MIT）
作者的出發(fā)點(diǎn)： 在BEV上通過(guò)BEVFORMER的方式"無(wú)參數(shù)化"地完成Lift操作(將圖像特征轉(zhuǎn)換到BEV空間)，融合雷達(dá)點(diǎn)云特征圖，用于分割任務(wù)，性能超越了之前的分割模型。

1. 網(wǎng)絡(luò)結(jié)構(gòu)：
   

• 論文如其名，網(wǎng)絡(luò)結(jié)構(gòu)比較簡(jiǎn)單，可以看出很多論文的影子(例如BEVFORMER)，作者就是通過(guò)顯式的BEVqueries采樣圖像特征，并且concate雷達(dá)特征并通過(guò)卷積進(jìn)行模態(tài)對(duì)齊與融合，后面用于分割任務(wù)。

2. 總結(jié)分析：

• 雷達(dá)信息處理：
  
  由多個(gè)特征維度構(gòu)成：0\1的occupy map，nuscenes提供的所有特征(RCS,X,Y,Z,V…)作為輸入concate到一起作為輸入特征。檢測(cè)范圍是[-100, 100m]，網(wǎng)格的大小是200x200。

• 性能提升
  
  和主流的工作相比，作者的確在分割上提升非常大，作者將這歸功于毫米波的功勞，

• 消融實(shí)驗(yàn)
  
  總結(jié)為三點(diǎn)：對(duì)于分割任務(wù)，輸入過(guò)多的屬性提升不明顯(occupy only已經(jīng)達(dá)到53)，對(duì)multi-path的毫米波雷達(dá)點(diǎn)濾除反而導(dǎo)致性能下降(意料之中，因?yàn)閙ulti-path的毫米波雖然會(huì)導(dǎo)致噪聲，但是其掃描到的物體可能正是位于被遮擋的區(qū)域)，增加sweeps的數(shù)量性能也會(huì)提升(畢竟點(diǎn)云密度大了)。

四、Dense Pointcloud Generation

4.1 GAN

4.1.1 通過(guò)密集點(diǎn)云監(jiān)督radar生成密集點(diǎn)云

See Through Smoke: Robust Indoor Mapping with Low-cost mmWave Radar (2020， 斯坦福)

4.2 Lidar Supervision

4.2.1 激光雷達(dá)點(diǎn)云監(jiān)督毫米波生成occupy grid map

Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities

作者的出發(fā)點(diǎn)： 通過(guò)lidar這種數(shù)據(jù)質(zhì)量較高的模態(tài)，監(jiān)督毫米波雷達(dá)生成質(zhì)量較高的占據(jù)柵格地圖，解決在這個(gè)過(guò)程中的兩個(gè)問(wèn)題：一解決occupy網(wǎng)格生成存在于傳感器之間的內(nèi)生性問(wèn)題：傳感器感知距離不一，傳感器穿透性不一問(wèn)題；二解決長(zhǎng)距離網(wǎng)格生成問(wèn)題；生成的occpy grid map可用于下游的路徑規(guī)劃等問(wèn)題。

1. 本文一些基本定義：

• 極坐標(biāo)系與笛卡爾坐標(biāo)轉(zhuǎn)化
  作者以笛卡爾坐標(biāo)系的x,y中心為極坐標(biāo)系的中心，笛卡爾坐標(biāo)系的一周等同于極坐標(biāo)系的一段(如下圖所示的藍(lán)色紅色對(duì)應(yīng)關(guān)系)
  

• 作者將radar中l(wèi)idar的感知區(qū)域定位trainning-region，將其他范圍內(nèi)的毫米波點(diǎn)云作為inference的輸入，如下圖所示
  

• 毫米波雷達(dá)噪聲來(lái)源：
  multipath reflection, speckle noise, receiver saturation, and ring-shaped noise

• 本文各類(lèi)顏色含義
  
  為了稱(chēng)呼方便，將生成的occupy grid map中的unit統(tǒng)稱(chēng)為點(diǎn)云，其中，綠色代表模型生成的正確點(diǎn)云，紅色代表lidar檢測(cè)到但是模型沒(méi)有生成的點(diǎn)云，藍(lán)色代表模型生成但是GT不存在的點(diǎn)云。

2. 模型架構(gòu)：使用傳統(tǒng)的UNet生成occupy grid map，輸入是BEV表示下的Radar的點(diǎn)云，輸出為occupy grid。
3. 模型細(xì)節(jié)：

• 為什么在極坐標(biāo)系下檢測(cè)？
  作者提到，CNN對(duì)于尺度變化的魯棒性要強(qiáng)于對(duì)方向形狀的魯棒性變化。下圖所示，在polar space中路寬相較于cartesian space變化更大，但是cartesian space的兩側(cè)點(diǎn)云出現(xiàn)了blur。
  

• 毫米波數(shù)據(jù)預(yù)處理
  考慮到這樣一個(gè)問(wèn)題：毫米波本來(lái)檢測(cè)不到的目標(biāo)，是否應(yīng)該強(qiáng)制使其檢測(cè)？
  答案肯定是否，因?yàn)楹撩撞ê蚻idar的性質(zhì)差異，對(duì)于樹(shù)木等一些反射性相對(duì)較差的目標(biāo)，毫米波是檢測(cè)不到的，同時(shí)radar檢測(cè)到被遮擋的物體，此時(shí)lidar又是檢測(cè)不到的，兩個(gè)傳感器之間的差異，如果強(qiáng)制檢測(cè)，會(huì)導(dǎo)致相當(dāng)多的FP預(yù)測(cè)，因而會(huì)降低性能；
  因此，通過(guò)數(shù)據(jù)預(yù)處理，首先過(guò)濾反射強(qiáng)度低于某個(gè)閾值的點(diǎn)云，然后將lidar提供的GT數(shù)據(jù)中radar無(wú)法檢測(cè)到的數(shù)據(jù)濾除，得到訓(xùn)練數(shù)據(jù)。
  
  如上圖所示，由實(shí)驗(yàn)得到，通過(guò)預(yù)處理，模型的FP大大降低；

• 如何解決傳感器檢測(cè)距離差異問(wèn)題呢？
  POLAR SLIDING WINDOW INFERENCE：將lidar檢測(cè)區(qū)域內(nèi)的點(diǎn)云作為GT用作traning region，然后逐步滑動(dòng)窗口，每次窗口所包含的radar點(diǎn)云僅作為inference，生成occupy map。簡(jiǎn)單來(lái)說(shuō)，就是lidar內(nèi)的有限數(shù)據(jù)用于訓(xùn)練，而lidar外的radar用于推理生成occupy map并拼接生成最終的遠(yuǎn)距離occupy map。
  流程如下圖所示，這里的內(nèi)外圓之間的距離是檢測(cè)的范圍，也就是滑動(dòng)窗口，訓(xùn)練是通過(guò)對(duì)比不同的滑動(dòng)窗口的內(nèi)容與網(wǎng)絡(luò)預(yù)測(cè)的同心圓之內(nèi)的檢測(cè)結(jié)果進(jìn)行對(duì)比訓(xùn)練。
  

• 如何保持radar的透視性能？
  通過(guò)上面所述的滑動(dòng)窗口，可以完美解決lidar監(jiān)督數(shù)據(jù)下，lidar-invisible的目標(biāo)但是radar-invisible的目標(biāo)點(diǎn)云沒(méi)有輸入而導(dǎo)致的透視性能喪失問(wèn)題，因?yàn)樵趖窗口不能看到的點(diǎn)云，可以在別的窗口看到。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-688198.html

4. 總結(jié)：
   
   以上是效果圖，可以看到，原本的radar輸入是非?；靵y的，帶有非常多的噪聲，第二列是訓(xùn)練數(shù)據(jù)可以看到lidar的點(diǎn)云非常規(guī)則能夠反映區(qū)域內(nèi)比較完整的幾何信息，第三列是輸出的結(jié)果，通過(guò)lidar數(shù)據(jù)的監(jiān)督，能夠在lidar區(qū)域以外，生成噪聲較小，能夠反映路面分布的點(diǎn)云圖。第四列是人工標(biāo)注的GT，最后生成的result與GT相較radar更為接近。
   
   以上是效果圖，可以看到，原本的radar輸入是非?；靵y的，帶有非常多的噪聲，第二列是訓(xùn)練數(shù)據(jù)可以看到lidar的點(diǎn)云非常規(guī)則能夠反映區(qū)域內(nèi)比較完整的幾何信息，第三列是輸出的結(jié)果，通過(guò)lidar數(shù)據(jù)的監(jiān)督，能夠在lidar區(qū)域以外，生成噪聲較小，能夠反映路面分布的點(diǎn)云圖。第四列是人工標(biāo)注的GT，最后生成的result與GT相較radar更為接近。在BEVDepth對(duì)網(wǎng)絡(luò)預(yù)測(cè)深度監(jiān)督時(shí)，深度本身的模態(tài)無(wú)關(guān)的信息，不加改變地監(jiān)督深度預(yù)測(cè)網(wǎng)絡(luò)是可行的，但是對(duì)于radar和lidar兩種模態(tài)，各自有各自的特性，強(qiáng)制地把一種模態(tài)地特征監(jiān)督另一種模態(tài)而不加變化，勢(shì)必會(huì)導(dǎo)致本文中出現(xiàn)的虛警等情況，

到了這里，關(guān)于最全的整理：毫米波雷達(dá)在檢測(cè)、分割、深度估計(jì)等多個(gè)方向的近期工作及簡(jiǎn)要介紹的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！