點(diǎn)擊下方卡片，關(guān)注“自動駕駛之心”公眾號

ADAS巨卷干貨，即可獲取

點(diǎn)擊進(jìn)入→自動駕駛之心技術(shù)交流群

后臺回復(fù)【ECCV2022】獲取ECCV2022所有自動駕駛方向論文！

自動駕駛中的多傳感器融合

原文：Multi-Sensor Fusion in Automated Driving: A Survey

自動駕駛正成為影響未來行業(yè)的關(guān)鍵技術(shù)，傳感器是自動駕駛系統(tǒng)中感知外部世界的關(guān)鍵，其協(xié)作性能直接決定自動駕駛車輛的安全性。本文主要討論了近年來自動駕駛中多傳感器融合的不同策略。分析了常規(guī)傳感器的性能和多傳感器融合的必要性，包括radar、激光雷達(dá)、攝像機(jī)、超聲波、GPS、IMU和V2X。根據(jù)最近研究中的差異，將融合策略分為四類，并指出了一些不足之處。傳感器融合主要應(yīng)用于多目標(biāo)跟蹤和環(huán)境重建，論文討論了多目標(biāo)跟蹤中建立運(yùn)動模型和數(shù)據(jù)關(guān)聯(lián)的方法。最后，作者分析了當(dāng)前研究中的不足，并提出了未來進(jìn)一步改進(jìn)的建議。通過本survey， 希望能夠分析自動駕駛過程中多傳感器融合的現(xiàn)狀，并提供更有效和可靠的融合策略。

多源異構(gòu)信息融合（MSHIF）綜合利用了不同傳感器獲得的信息，避免了單個傳感器的感知局限性和不確定性，形成了對環(huán)境或目標(biāo)的更全面的感知和識別，提高了系統(tǒng)的外部感知能力[1]。目前，MSHIF技術(shù)已廣泛應(yīng)用于故障檢測、遙感、人體健康監(jiān)測、機(jī)器人系統(tǒng)、人機(jī)交互、目標(biāo)識別和跟蹤、SLAM和高級駕駛輔助系統(tǒng)（ADAS）等領(lǐng)域。

傳感器是AD系統(tǒng)中感知外部世界的關(guān)鍵，其協(xié)作性能直接決定AD車輛的安全性。AD車輛主要使用七種傳感器，包括攝像機(jī)、毫米波雷達(dá)（MMW雷達(dá)）、全球定位系統(tǒng)（GPS）、慣性測量單元（IMU）、激光雷達(dá)、超聲波和通信模塊。各種傳感器各有優(yōu)缺點(diǎn)，因此在AD系統(tǒng)中通常有不同的任務(wù)劃分。本文主要研究如何通過融合多傳感器數(shù)據(jù)來實(shí)現(xiàn)融合感知。攝像機(jī)可以獲取光學(xué)圖像，并從一定角度準(zhǔn)確記錄物體的顏色、紋理、顏色分布等信息。因此，一些研究使用攝像機(jī)完成目標(biāo)識別和目標(biāo)跟蹤任務(wù)，包括道路檢測、行人和車輛識別以及局部路徑規(guī)劃。為了克服攝像機(jī)可測量角度范圍窄的問題，在實(shí)際應(yīng)用中，AD通常采用多臺攝像機(jī)對周圍環(huán)境進(jìn)行全方位監(jiān)控。毫米波雷達(dá)通過脈沖壓縮測量物體的距離，并通過多普勒頻移測量物體的速度，這在障礙物檢測、行人識別和車輛識別中有廣泛的應(yīng)用。GPS和IMU為AD車輛提供慣性信息和全球位置信息，以確定其位置，從而使車輛能夠在高精度地圖（HPM）中實(shí)時定位。激光雷達(dá)的主要應(yīng)用包括定位、障礙物檢測和環(huán)境重建。由于三維（3D）數(shù)據(jù)與二維數(shù)據(jù)相比具有一定的信息表示優(yōu)勢，它可以最大限度地恢復(fù)真實(shí)環(huán)境中的交通條件。結(jié)合毫米波雷達(dá)目標(biāo)的動態(tài)特性、激光雷達(dá)的變化優(yōu)勢以及光學(xué)圖像中目標(biāo)的細(xì)節(jié)，利用綜合信息有助于車輛執(zhí)行各種任務(wù)，如意圖分析、運(yùn)動規(guī)劃和自動駕駛。

一些研究利用開源數(shù)據(jù)集[35]、[36]或從仿真軟件[37]生成數(shù)據(jù)集，以避免傳感器數(shù)據(jù)的費(fèi)力收集。多傳感器融合的研究需要大量數(shù)據(jù)，尤其是在大量深度學(xué)習(xí)應(yīng)用的背景下。因此，數(shù)據(jù)收集的工作量是巨大的。在參考文獻(xiàn)[38]中，近年來對AD的虛擬測試環(huán)境和開源數(shù)據(jù)集進(jìn)行了分析和總結(jié)。通過選擇與研究相匹配的數(shù)據(jù)集，可以在多傳感器融合研究過程中快速獲得有效數(shù)據(jù)，而無需花費(fèi)大量資源和時間重新獲取。此外，多個傳感器對應(yīng)的目標(biāo)在不同的坐標(biāo)系中，不同傳感器的數(shù)據(jù)速率是相反的。需要將異構(gòu)信息中的同時目標(biāo)信息映射到一個統(tǒng)一的坐標(biāo)系，即時空對齊[39]，[40]。此外，目標(biāo)信息的呈現(xiàn)形式與傳感器不同，需要校準(zhǔn)多傳感器的位置以獲取最終位置。在多傳感器融合部分，目前的研究有不同的方法，多傳感器采用的信息融合、融合水平和融合算法也不同。從融合方法來看，傳感器的組合主要包括radar-camera（RC）[19]、[41]、camera-lidar（CL）[42]和radar-camera-lidar[16]。一些研究將車輛位置和地圖集成到AD系統(tǒng)中，這使得車道水平定位成為可能[97]。此外，V2X傳感器將附近的物體添加到地圖實(shí)時中，這降低了車輛的動態(tài)信息的比例[43]。根據(jù)MSHIF處理中融合信息的不同形式，該方法分為四種類型的信息融合，包括基于可分辨單元（FBDU）[44]、[45]、基于互補(bǔ)特征（FBCF）[46]、[47]、基于屬性的融合（ABF）[48]、[49]和基于多源決策的融合（FBMDM）[16]、[50]。一般而言，不同的融合策略基于數(shù)據(jù)融合過程中傳感器數(shù)據(jù)的不同抽象級別。在數(shù)據(jù)融合之前，F(xiàn)BDU的抽象度最低。它通常直接集成預(yù)處理數(shù)據(jù)，而FBMDM對不同傳感器的最終處理結(jié)果具有最高的綜合判斷。此外，為了完成車輛的運(yùn)動規(guī)劃，需要檢測障礙物并跟蹤運(yùn)動目標(biāo)。由于移動目標(biāo)運(yùn)動的復(fù)雜性，有必要根據(jù)移動目標(biāo)的相關(guān)性做出相應(yīng)的決策。然而，實(shí)現(xiàn)運(yùn)動目標(biāo)運(yùn)動識別的前提是跟蹤目標(biāo)。

本文首先討論了AD中使用的傳感器和技術(shù)，以及為什么和如何使用它們來完成AD任務(wù)。然后，根據(jù)不同研究中的特定融合方法，分析和討論了當(dāng)前的不足和可以改進(jìn)的地方。

本文組織如下：第二節(jié)分別介紹了傳感器的特點(diǎn)、優(yōu)點(diǎn)和缺點(diǎn)。第三節(jié)總結(jié)了四種融合策略和特定感知識別方法，并討論了多傳感器融合的特定方法。此外，通過比較各種傳感器的性能，說明了多傳感器融合的必要性。需要建立運(yùn)動模型來識別目標(biāo)的運(yùn)動意圖。在第四節(jié)中，我們描述了將多傳感器數(shù)據(jù)與目標(biāo)跟蹤關(guān)聯(lián)的必要性。第五節(jié)分析了當(dāng)前融合策略中存在的問題，并提出了進(jìn)一步改進(jìn)的具體建議。

1）融合感知系統(tǒng)中的傳感器

傳感器的類型和性能直接決定了AD系統(tǒng)獲取的信息的數(shù)量和質(zhì)量。除了車輛對車輛（V2V）、車輛對基礎(chǔ)設(shè)施（V2I）和其他車輛通信外，還通過分析和合成各種傳感器數(shù)據(jù)來感知外部環(huán)境。一般來說，研究中的傳感器主要包括radar/超聲波和camera（包括RGB-D、紅外攝像機(jī)）、激光雷達(dá)和GPS/IMU。不同傳感器在不同環(huán)境下的檢測能力和可靠性受到限制，多傳感器融合可以提高目標(biāo)檢測和識別的準(zhǔn)確性。下表總結(jié)了上述傳感器和檢測范圍的優(yōu)缺點(diǎn)，表明不同傳感器的工作特性有明顯差異。同時，通過融合多傳感器數(shù)據(jù)，從各個方面提高了車輛的感知能力，有效地保障了駕駛員的安全。在融合傳感過程中，主要采用的傳感器是毫米波雷達(dá)、激光雷達(dá)、攝像機(jī)、超聲波、GPS/IMU和V2X傳感器。因此，本節(jié)其余部分將討論這些傳感器的特點(diǎn)、優(yōu)點(diǎn)和缺點(diǎn)。

1.毫米波雷達(dá)

目前，毫米波雷達(dá)的主流頻段包括24GHZ、60GHZ和77GHZ，最流行的是77GHZ；而60GHZ是僅在日本采用的頻段，24GHZ頻段將在未來逐步廢除。79GHZ波段雷達(dá)具有更高的距離、速度和角度分辨率，已得到廣泛認(rèn)可，并將成為未來車載雷達(dá)的主流頻帶。與相機(jī)和激光雷達(dá)相比，毫米波雷達(dá)具有更長的波長，具有一定的抗阻塞和抗污染能力，可以應(yīng)對雨、雪、霧和黑暗環(huán)境。雷達(dá)不僅可以獲得多個目標(biāo)的精確距離，還可以利用多普勒頻移效應(yīng)測量相對速度。不同類型的車載雷達(dá)波形通常分為調(diào)頻連續(xù)波（FMCW）雷達(dá)和脈沖雷達(dá)。由于脈沖雷達(dá)在接收回波信號時需要嚴(yán)格隔離發(fā)射信號，而高功率信號將在一個短暫的連續(xù)周期中發(fā)射，這導(dǎo)致了對硬件的高要求和復(fù)雜的結(jié)構(gòu)。因此，大多數(shù)車載毫米波雷達(dá)采用FMCW作為發(fā)射波形。FMCW雷達(dá)確保目標(biāo)的距離和相對速度同時可用，并且速度分辨率和距離分辨率是可控的。

大多數(shù)研究從雷達(dá)數(shù)據(jù)中提取行人或車輛的距離、角度和速度信息。然而，微多普勒效應(yīng)為識別剛性和非剛性目標(biāo)提供了另一種方法。在參考文獻(xiàn)[20]中，F(xiàn)MCW雷達(dá)系統(tǒng)旨在為100至150米范圍內(nèi)的成人和兒童提供所需的識別。在參考文獻(xiàn)[21]中，從接收到的雷達(dá)信號中提取代表性目標(biāo)特征，作為SVM的分類標(biāo)準(zhǔn)，用于行人、車輛和自行車的分類，準(zhǔn)確率為90%以上。同時，最新的IWR6843ODS雷達(dá)模塊可以實(shí)現(xiàn)實(shí)時目標(biāo)點(diǎn)云映射，進(jìn)一步豐富了采集數(shù)據(jù)的信息內(nèi)容。

毫米波雷達(dá)的一個缺點(diǎn)是對于相對靜止的目標(biāo)難以區(qū)分。除受到噪聲干擾外，AD車輛還經(jīng)常受到由金屬物體（如路標(biāo)或護(hù)欄）產(chǎn)生的錯誤警報(bào)的影響。一般的處理方法是采用恒虛警率（CFAR）檢測，用噪聲的方差不斷更新判決閾值，從而獲得恒定的虛警概率[51]。此外，預(yù)處理的雷達(dá)數(shù)據(jù)可以通過應(yīng)用生成對抗網(wǎng)絡(luò)（GAN）[52]-[55]生成圖像，但圖像仍然面臨分辨率不足的問題。此外，隨著配備FMCW雷達(dá)的車輛數(shù)量的增加，共享頻率干擾現(xiàn)象將成為一個問題，參考文獻(xiàn)[56]提出了一種新的雷達(dá)布置系統(tǒng)，該系統(tǒng)具有不受帶寬限制的適當(dāng)?shù)牟贾媒鉀Q方案。與同類雷達(dá)相比，其分辨率提高了一個數(shù)量級以上，這將有助于雷達(dá)構(gòu)建高分辨率地圖。

2.Camera

camera是最早用于AD系統(tǒng)的傳感器之一，主要用于完成目標(biāo)識別、環(huán)境地圖構(gòu)建、車道檢測和目標(biāo)跟蹤等任務(wù)。近年來，深度學(xué)習(xí)（DL）在目標(biāo)識別和跟蹤任務(wù)中取得了優(yōu)異的性能，它可以從海量數(shù)據(jù)中獲得強(qiáng)大的表達(dá)能力，并用機(jī)器學(xué)習(xí)方法取代傳統(tǒng)的人工特征設(shè)計(jì)。在系統(tǒng)精確完成目標(biāo)識別和目標(biāo)跟蹤后，將進(jìn)行下一步的決策任務(wù)。目前，有兩種類型的相機(jī)，CCD和CMOS。CCD具有復(fù)雜的制造工藝、更高的量化效率、更低的噪聲、高動態(tài)范圍和低光條件下的高圖像質(zhì)量。與CCD傳感器相比，CMOS犧牲了一些性能以降低成本。它們之間的差異將更大，預(yù)計(jì)CMOS將取代CCD[57]。

為了從圖像中獲得目標(biāo)的位置，需要建立像素與物理世界之間的關(guān)系，這稱為相機(jī)標(biāo)定。參考文獻(xiàn)[58]回顧了相機(jī)標(biāo)定的方法，并將其分為優(yōu)化方法、變換矩陣方法、分布標(biāo)定方法、張正友標(biāo)定方法和傳統(tǒng)標(biāo)定方法。在實(shí)際標(biāo)定過程中，參考文獻(xiàn)[59]提出了靈活的攝像機(jī)標(biāo)定方法，該方法只需要從不同角度拍攝棋盤，然后建立徑向透鏡畸變模型。該方法包括一個封閉形式的解，然后根據(jù)最大似然準(zhǔn)則進(jìn)行非線性求解。針對多傳感器融合，參考文獻(xiàn)[60]-[64]提出了一些基于深度信息的攝像機(jī)標(biāo)定方法。隨著計(jì)算機(jī)視覺應(yīng)用的不斷擴(kuò)展，有必要提出具有更低復(fù)雜度和更靈活的新穎創(chuàng)新算法。一些研究使用雙目相機(jī)或深度相機(jī)來獲得具有深度信息的圖像數(shù)據(jù)。然而，在距離分辨率方面，與radar或激光雷達(dá)[16]，[65]仍有很大差距。參考文獻(xiàn)[66]中，基于Pascal、Coco和CityScape的現(xiàn)有數(shù)據(jù)集生成的污損圖像（模糊、雪天、霧天、過亮過曝）用于評估最先進(jìn)的目標(biāo)檢測算法。如下圖所示，檢測精度至少降低了31.1%，在某些情況下，最大值降低了60.4%。因此，可以得出結(jié)論，無論在何種條件下，單攝像機(jī)傳感器都是非常不可靠的。

車輛的camera在光線突然變化的情況下（例如離開隧道）具有較差的可靠性，通過將camera與GPS、HPM甚至V2X組合，引入一些先驗(yàn)信息來動態(tài)調(diào)整相機(jī)曝光。與radar相比，camera的優(yōu)勢在于它能夠準(zhǔn)確捕獲輪廓、紋理和顏色分布信息，這有助于在非極端環(huán)境條件下對不同目標(biāo)進(jìn)行分類識別。然而，ADAS車輛具有應(yīng)對全天候環(huán)境和極端情況的能力要求。只有應(yīng)用MSHIF的系統(tǒng)才能實(shí)現(xiàn)100%的識別準(zhǔn)確率，多傳感器的數(shù)據(jù)融合是為了避免某些傳感器的錯誤檢測，從而產(chǎn)生錯誤的運(yùn)動規(guī)劃。目前，通過camera對環(huán)境的感知可以獲得最豐富的信息，但是，必須考慮到在某些情況下，圖像可能會變得不可靠，例如進(jìn)出隧道時光線突然變化，或在夜間幾乎無法感知周圍環(huán)境，以及極易受天氣影響。

3.激光雷達(dá)

激光雷達(dá)主要包括基于掃描結(jié)構(gòu)的二維激光雷達(dá)和三維激光雷達(dá)，二維激光雷達(dá)是單層結(jié)構(gòu)，而三維激光雷達(dá)是多層結(jié)構(gòu)。3D激光雷達(dá)更普遍地應(yīng)用于自動駕駛車輛，但更昂貴。隨著激光雷達(dá)的日益成熟，制造成本將逐漸下降，可預(yù)見地達(dá)到大多數(shù)汽車制造商可以接受的情況。激光雷達(dá)在白天和晚上提供實(shí)用和精確的3D感知能力。根據(jù)是否存在運(yùn)動單元[68]，激光雷達(dá)可分為三種類型：飛行時間（TOF）、三角測量激光雷達(dá)和相位測距激光雷達(dá)，主流是TOF激光雷達(dá)系統(tǒng)。在最近的研究中，激光雷達(dá)完全能夠識別和感知行人的多種運(yùn)動模式和空間狀態(tài)[69]。多線激光雷達(dá)通過發(fā)射器連續(xù)發(fā)射激光束，接收器將目標(biāo)散射光收集為點(diǎn)云圖像，這有助于感知和識別行人和車輛。盡管激光雷達(dá)在測量精度和三維感知能力方面優(yōu)于毫米波雷達(dá)，但在霧、雪和雨等惡劣天氣條件下，其性能仍不理想。攝像機(jī)、毫米波雷達(dá)和激光雷達(dá)數(shù)據(jù)的融合將消除部分信息冗余，提供可靠和有效的感知能力，但系統(tǒng)成本太高。

4.GPS和IMU

車載定位設(shè)備可以通過多個傳感器的協(xié)作來解決和處理一些專有場景，高精度算法設(shè)計(jì)還為自動駕駛車輛提供了高精度定位。參考文獻(xiàn)[77]認(rèn)為，雙天線和IMU的組合可以克服傳感器偏差并獲得ood精度，但系統(tǒng)成本太高。因此，本研究提出了一種基于GPS和IMU的低成本橫向滑移角估計(jì)方法。然而，他們認(rèn)為，盡管攝像機(jī)可以提供有用的角度信息，但由于其不可靠的操作，攝像機(jī)不能很好地應(yīng)用于橫向滑移角的測量過程。同時，當(dāng)角速度變化太快時，該方案不能很好地工作。車載GPS和IMU的結(jié)合可以實(shí)現(xiàn)其車輛的定位。僅依靠GPS和IMU無法實(shí)現(xiàn)FAD車輛的車道水平定位要求。參考文獻(xiàn)[78]，GPS和IMU用于實(shí)時跟蹤移動目標(biāo)。跟蹤結(jié)果表明，跟蹤目標(biāo)和實(shí)際路線之間仍然存在無法忍受的偏差。對于L4和L5水平的AD，顯然有更多的傳感器需要數(shù)據(jù)融合。SLAM使用攝像機(jī)或激光雷達(dá)數(shù)據(jù)通過閉環(huán)檢測校準(zhǔn)位置，以實(shí)現(xiàn)車輛在定位環(huán)境中的精確定位。參考文獻(xiàn)[79]提出為B-SLAM、GPS和IMU設(shè)置信息，并提高自主車輛定位的魯棒性和準(zhǔn)確性。該方法可以通過IMU信息的EMI監(jiān)督聚類獲得密集的FGPSS信號，這增強(qiáng)了魯棒性，即使GPS信號丟失，也能實(shí)現(xiàn)更好的定位。此外，在參考文獻(xiàn)[80]中，將激光雷達(dá)點(diǎn)云與GPS-IMU融合，并通過全卷積神經(jīng)網(wǎng)絡(luò)研究處理后的數(shù)據(jù)，以生成車輛的安全駕駛路線。同時，討論了雷達(dá)和攝像機(jī)數(shù)據(jù)融合的可能性，以進(jìn)一步提高系統(tǒng)的傳感精度和傳感范圍。一般而言，將更多傳感器數(shù)據(jù)融合到廣告感知過程中將顯著提高車輛感知能力和感知范圍。多個傳感器產(chǎn)生的計(jì)算壓力也會增加。V2V、V2I和云計(jì)算的結(jié)合將降低車輛處理大量數(shù)據(jù)的計(jì)算壓力。與DSRC相比，C-V2X技術(shù)具有更全面的覆蓋范圍、更大的帶寬，并與智能手機(jī)兼容，實(shí)現(xiàn)了車輛與人之間的通信。

5.車輛通信

僅依靠車輛智能來處理復(fù)雜和多個自主駕駛?cè)蝿?wù)是一個挑戰(zhàn)。智能城市的建設(shè)過程產(chǎn)生了V2X、I2X和P2X技術(shù)。近年來，在通過通信技術(shù)連接不同道路用戶方面，V2X的研究占92.14%[30]。V2X技術(shù)包括DSRC和蜂窩式V2X（C-V2X，包括LTE-V2X和5G-V2X）。其中，DSR是一種有效和成熟的通信技術(shù)，能夠滿足自主車輛網(wǎng)絡(luò)通信系統(tǒng)的穩(wěn)定性和實(shí)時性能要求。然而，與C-V2X相比，它具有更低的數(shù)據(jù)傳輸速率、更小的覆蓋區(qū)域，并且不易干擾。此外，在高速情況下，DSRC的信道負(fù)載進(jìn)一步降低[28]。參考文獻(xiàn)[29]考慮了車輛之間的數(shù)據(jù)共享，并分析了兩種情況，即數(shù)據(jù)可以完全共享，由于隱私保護(hù)，數(shù)據(jù)不能完全共享。他們認(rèn)為，數(shù)據(jù)的功利使用與隱私之間的緊張關(guān)系在未來會加劇。在參考文獻(xiàn)[81]中，DSRC用于與周圍車輛通信，車輛的實(shí)時狀態(tài)由車輛動力學(xué)模型和制動系統(tǒng)動力學(xué)確定，這防止了與其他車輛的追尾碰撞，并說明了DSRC通信的可靠性。然而，在通信干擾的情況下，AD需要安全冗余，與其他傳感器的集成至關(guān)重要。在參考文獻(xiàn)[82]中，通過在路邊使用激光雷達(dá)傳感器完成車輛和行人目標(biāo)識別和軌跡生成。在本文中，激光雷達(dá)被放置在高地上，以獲得更大的全局交通信息，DSRC利用目標(biāo)定位和實(shí)時接收信息。該方法降低了廣告車輛的成本，實(shí)現(xiàn)了數(shù)據(jù)的一次性處理和多點(diǎn)共享。參考文獻(xiàn)[83]提出，LTE網(wǎng)絡(luò)可用于與車輛的實(shí)時通信。每個車輛將其位置信息發(fā)送到相鄰的基站，并接收其他附近車輛的位置信息。通過結(jié)合交通預(yù)測算法和車輛運(yùn)動模型，車輛可以預(yù)測周圍車輛的位置，避免交通事故的發(fā)生。然而，基于LTE的車輛通信系統(tǒng)不能很好地適應(yīng)高速和擁擠的場景。當(dāng)車速高于60km/h時，通信延遲將進(jìn)一步增加，甚至無法實(shí)現(xiàn)實(shí)時通信。5G將很好地適應(yīng)這些場景，而高帶寬功能允許AD車輛共享更多傳感器數(shù)據(jù)或與高精度地圖相結(jié)合，以實(shí)現(xiàn)安全動態(tài)規(guī)劃[32]。

6.多傳感器融合與分析

目前，三種主要傳感器組合形式用于感知MSHIF系統(tǒng)中的環(huán)境，包括RC、CL和RCL。結(jié)果表明，最常用的傳感器組合是RC，因?yàn)檫@種組合可以在獲得周圍物體的距離信息的同時獲得優(yōu)異的分辨率。同樣，激光雷達(dá)和攝像機(jī)的組合可以獲得具有深度的圖像信息，一些研究將激光雷達(dá)和毫米波雷達(dá)與攝像機(jī)相結(jié)合，以提高安全冗余度。雷達(dá)和攝像機(jī)都是全方位的經(jīng)濟(jì)技術(shù)，激光雷達(dá)的性能正在逐步提高，高性能產(chǎn)品的價(jià)格仍然很高。雖然camera可以獲得目標(biāo)的輪廓、紋理和顏色分布，但缺點(diǎn)也是顯而易見的。雙目和深度相機(jī)的應(yīng)用允許圖像數(shù)據(jù)具有深度信息，但在高精度方面還有很長的路要走。與相機(jī)和激光雷達(dá)相比，毫米波雷達(dá)具有更長的波長，可以穿透雨、雪和霧。美中不足的是，雷達(dá)更容易受到雜波干擾。激光雷達(dá)可以晝夜連續(xù)工作，除惡劣天氣條件外，還可以提供高分辨率和長距離的三維數(shù)據(jù)。因此，滿足各種工作條件的唯一解決方案是采用MSHIF技術(shù)。

下圖給出了每個傳感器的特征、優(yōu)點(diǎn)、缺點(diǎn)和適用場景的另一個統(tǒng)計(jì)數(shù)據(jù)，其中顯示了MSHIF系統(tǒng)在環(huán)境感知和目標(biāo)識別方面的優(yōu)勢。毫無疑問，MSHIF技術(shù)已經(jīng)取得了相對全面的優(yōu)勢。然而，該系統(tǒng)也更加復(fù)雜，在有效集成多源異構(gòu)數(shù)據(jù)和繁重計(jì)算方面面臨挑戰(zhàn)。MSHIF的問題之一是數(shù)據(jù)量增加，網(wǎng)絡(luò)結(jié)構(gòu)變得更加復(fù)雜，以提高識別精度。

2）多傳感器數(shù)據(jù)融合

MSHIF過程的不同方法表示融合階段原始數(shù)據(jù)的不同抽象級別。由于在不同的數(shù)據(jù)提取階段采用不同的融合策略，因此在多傳感器數(shù)據(jù)融合中使用不同的融合算法。我們對不同研究中使用的融合方法進(jìn)行分類，以反映這些研究中采用的融合思想。這些融合方法包括四類：基于可識別單元的信息融合策略、基于特征互補(bǔ)的融合策略、不同傳感器目標(biāo)屬性的融合策略和基于不同傳感器決策的融合策略。

1.基于可分辨單元的融合策略

基于可分辨單元（FSBDU）的融合策略或數(shù)據(jù)級融合，是指將不同傳感器的可分辨單元的數(shù)據(jù)直接融合，然后對融合后的數(shù)據(jù)進(jìn)行進(jìn)一步處理的融合過程。FSBDU[93]，[94]基本上用于多源圖像融合以增強(qiáng)圖像，特別是在通過融合紅外圖像和RGB圖像進(jìn)行遙感成像的應(yīng)用中。由于波長較長，毫米波雷達(dá)的原始數(shù)據(jù)不利于立即成像。激光雷達(dá)的空間分辨率高于毫米波雷達(dá)，但水平分辨率和垂直分辨率仍遠(yuǎn)遠(yuǎn)落后于光學(xué)圖像。同時，由于傳感器的不同采樣率和FOV，有必要在時間和空間上分別對齊它們。多個傳感器的數(shù)據(jù)處理單元（稱為幀）具有不同的數(shù)據(jù)格式和數(shù)據(jù)體積，因此需要對齊不同的傳感器幀?？臻g對準(zhǔn)意味著不同傳感器檢測到的相同目標(biāo)對應(yīng)于FSBDU過程中的統(tǒng)一坐標(biāo)系。近年來，一些研究側(cè)重于毫米波雷達(dá)成像[95]，[96]，但仍不足以區(qū)分復(fù)雜場景中的多個目標(biāo)。一些研究使用雷達(dá)或激光雷達(dá)生成光柵圖，然后與光學(xué)圖像融合，這也可以被視為FSBDU方法。一般來說，在雷達(dá)或激光雷達(dá)與攝像機(jī)融合的過程中，F(xiàn)SB分為兩個方向。一種是基于雷達(dá)或激光雷達(dá)的障礙物檢測結(jié)果，生成光柵圖，即基于區(qū)域的融合。另一種方法是將光學(xué)圖像作為真實(shí)樣本，并通過GAN[52]-[55]生成雷達(dá)或激光雷達(dá)圖像。

在參考文獻(xiàn)[97]中，傳感器包括雷達(dá)、激光雷達(dá)、攝像機(jī)和帶有地圖的GPS，用于在駕駛過程中創(chuàng)建AD車輛的環(huán)境表示。觀測激光雷達(dá)數(shù)據(jù)的多次累積用于生成網(wǎng)格圖。然后，每個網(wǎng)格都有一個觀察值的統(tǒng)計(jì)屏障，當(dāng)該數(shù)字高于特定數(shù)量時，將出現(xiàn)風(fēng)險(xiǎn)警告。識別出的目標(biāo)將與毫米波雷達(dá)檢測到的候選目標(biāo)進(jìn)行比較。如果兩者都顯示該區(qū)域存在目標(biāo)，則將其集成到靜態(tài)地圖中。最后，利用距離信息更新車輛的位置誤差，構(gòu)建安全駕駛區(qū)域。參考文獻(xiàn)[88]采用深度學(xué)習(xí)方法，將激光雷達(dá)點(diǎn)云和攝像機(jī)圖像融合用于道路檢測。將非結(jié)構(gòu)化稀疏點(diǎn)云投影到攝像機(jī)圖像平面上，然后獲得應(yīng)用于道路分離的編碼空間信息的一組密集二維圖像。此外，參考文獻(xiàn)[98]中提出了一種新的條件多生成器生成對抗網(wǎng)絡(luò)（CMGGAN），它可以使用訓(xùn)練模型和雷達(dá)傳感器數(shù)據(jù)直接生成環(huán)境圖像，綜合利用雷達(dá)傳感器檢測到的所有環(huán)境特征。在此基礎(chǔ)上，生成的圖像和光學(xué)圖像可以被集成以執(zhí)行FSBDU，如[97]所述。參考文獻(xiàn)[99]提出了一種雙靜態(tài)FMCW雷達(dá)系統(tǒng)，該系統(tǒng)使用簡單的無線同步方案和寬帶全向天線構(gòu)建。它采用與FMCW成像系統(tǒng)兼容的成像技術(shù)，提供高分辨率圖像來檢測墻壁內(nèi)的物體，充分展示了毫米波雷達(dá)的穿透優(yōu)勢。生成性對抗網(wǎng)絡(luò)（GAN）允許任何形式的數(shù)據(jù)直接用于生成圖像，同時它還可以使用已經(jīng)獲得的數(shù)據(jù)進(jìn)一步生成質(zhì)量更好的數(shù)據(jù)。參考文獻(xiàn)[100]認(rèn)為，激光雷達(dá)或毫米波雷達(dá)在與攝像機(jī)集成的過程中消耗了大量計(jì)算資源。因此，本文中的條件是在圖像的監(jiān)督下從LidarpointCloud構(gòu)建充滿活力的語義圖像，并通過KITTI數(shù)據(jù)集驗(yàn)證實(shí)時車輛檢測的有效性。類似地，參考文獻(xiàn)[101]中提出了一種基于激光雷達(dá)的特征學(xué)習(xí)框架，該框架取代了傳統(tǒng)的基于幾何匹配的特征學(xué)習(xí)架構(gòu)。

自動駕駛過程中的多源異構(gòu)像素級融合通常利用雷達(dá)和激光雷達(dá)或生成的圖像的可分辨單元，然后從融合數(shù)據(jù)中提取環(huán)境特征和目標(biāo)參數(shù)，用于進(jìn)一步?jīng)Q策。FSBDU直接合并數(shù)據(jù)，無需深度信息提取[103]。雖然可以最大程度地融合多源數(shù)據(jù)，但數(shù)據(jù)之間存在冗余，導(dǎo)致融合效率低。

2.基于互補(bǔ)特征的融合策略

基于互補(bǔ)特征的融合策略（FSBCF）結(jié)合從相應(yīng)傳感器數(shù)據(jù)中提取的多目標(biāo)特征，然后應(yīng)用融合的多傳感器特征進(jìn)行分類和識別。因?yàn)楫愘|(zhì)傳感器可以捕獲同一目標(biāo)的非相關(guān)尺寸特征，這為目標(biāo)檢測和識別提供了卓越的識別能力。AD系統(tǒng)中提取的特征包括目標(biāo)參數(shù)提取和數(shù)據(jù)特征提?。?/p>

1）目標(biāo)參數(shù)提?。喊◤念A(yù)處理數(shù)據(jù)中提取的目標(biāo)的大小、距離、方向、速度和加速度等目標(biāo)信息。許多研究提取雷達(dá)或激光雷達(dá)目標(biāo)的位置特征，并通過生成感興趣區(qū)域（ROI）來輔助圖像識別，ROI將雷達(dá)檢測目標(biāo)的位置直接轉(zhuǎn)換為圖像以形成區(qū)域。

2） 數(shù)據(jù)特征提?。簲?shù)據(jù)特征是從圖像或其他處理數(shù)據(jù)中提取特征，如目標(biāo)輪廓、紋理、時頻特征和顏色分布，用于分類和識別。在計(jì)算機(jī)視覺中，通常在圖像中生成大量可能包含目標(biāo)的感興趣區(qū)域（ROI），這些ROI通過預(yù)訓(xùn)練的分類模型進(jìn)行分類。此外，具有最高置信度的ROI是目標(biāo)所在的位置。以這種方式確定目標(biāo)的位置需要大量計(jì)算。由于激光雷達(dá)和毫米波雷達(dá)在探測目標(biāo)位置方面的優(yōu)勢，計(jì)算量相對較小。因此，許多研究首先使用雷達(dá)和激光雷達(dá)提取目標(biāo)的距離和方位信息，然后將位置信息映射到圖像數(shù)據(jù)中，以生成較少的ROI。最后，預(yù)訓(xùn)練模型用于進(jìn)一步識別這些感興趣區(qū)域，并對目標(biāo)類別進(jìn)行準(zhǔn)確分類。在提取ROI之后，許多研究將機(jī)器學(xué)習(xí)方法應(yīng)用于進(jìn)一步的感知任務(wù)。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常需要提取標(biāo)準(zhǔn)特征，如Haar算子、HOG算子和灰度共生矩陣（GLCM），以從圖像中提取特征，然后應(yīng)用SVM[20]、Adaboost[104]和其他方法對這些特征進(jìn)行分類。最近的研究傾向于使用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)目標(biāo)分類和識別，參考文獻(xiàn)[104]中，近紅外攝像機(jī)和雷達(dá)的應(yīng)用使得能夠在車載平臺上進(jìn)行可靠的實(shí)時識別。同時，層疊增強(qiáng)的分類有助于將數(shù)據(jù)和圖像信息融合到特征層。

基于深度學(xué)習(xí)的方法在識別精度方面具有更多優(yōu)勢，不需要人工特征提取過程。在沒有人工特征提取過程的情況下，基于互補(bǔ)特征的融合過程需要嵌入到神經(jīng)網(wǎng)絡(luò)架構(gòu)中。因此，隨著深度學(xué)習(xí)的出現(xiàn)，基于多傳感器數(shù)據(jù)的特征融合研究幾乎停止。FSBCF主要利用激光雷達(dá)和毫米波雷達(dá)的位置特性進(jìn)行互補(bǔ)融合，參考文獻(xiàn)[72]提出了一種毫米波雷達(dá)和攝像機(jī)的融合傳感過程。雷達(dá)坐標(biāo)（包括距離和角度信息）被轉(zhuǎn)換為相應(yīng)的圖像區(qū)域，然后通過DPM對圖像進(jìn)行分類，以98.4%的檢測準(zhǔn)確率推斷識別結(jié)果。參考文獻(xiàn)[108]在從點(diǎn)云圖像生成ROI后，應(yīng)用超區(qū)域模型以3D形式描述目標(biāo)形狀，并最終形成3D數(shù)據(jù)分類和目標(biāo)檢測。參考文獻(xiàn)[109]提出了一種基于條件隨機(jī)場模型的融合攝像機(jī)和激光雷達(dá)特征的混合隨機(jī)場模型，以分割車輛前方的道路。在KITTI-ROAD基準(zhǔn)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明該方法優(yōu)于現(xiàn)有方法。值得一提的是，在參考文獻(xiàn)[88]中，通過使用全卷積神經(jīng)網(wǎng)絡(luò)（FCN）進(jìn)行激光雷達(dá)和攝像機(jī)的數(shù)據(jù)。采用三種融合策略組合激光雷達(dá)和攝像機(jī)數(shù)據(jù)，包括早期融合策略（EFS）、后期融合策略（LFS）和交叉融合策略（CFS），并使用FCN生成當(dāng)前道路上的安全駕駛區(qū)域。

FSBCF需要對原始數(shù)據(jù)進(jìn)行一定程度的信息提取，并組合由多個傳感器檢測到的不相關(guān)維度特征或參數(shù)。高維特征在目標(biāo)識別中具有更高的可分辨能力，從而提高了融合的效率，并突破了單個傳感器的固有缺陷[110]，[111]。近年來，由于直接應(yīng)用現(xiàn)有的視覺模式識別神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，對組合多傳感器特征的研究還不夠深入。大多數(shù)研究都是基于目標(biāo)參數(shù)提取的方法來實(shí)現(xiàn)FSBCF融合策略。

3.基于目標(biāo)屬性的融合策略

基于目標(biāo)屬性的融合策略（FSBTA）是一種分布式數(shù)據(jù)處理過程，其中每個傳感器提取目標(biāo)參數(shù)并識別不同的目標(biāo)以形成目標(biāo)列表。將融合多個目標(biāo)列表，以獲取可靠和真實(shí)的目標(biāo)信息，避免誤報(bào)和漏檢。參考文獻(xiàn)[16]中，多個攝像機(jī)、毫米波雷達(dá)組和激光雷達(dá)用于提取交通環(huán)境中的目標(biāo)，并生成相應(yīng)的目標(biāo)列表。生成的目標(biāo)列表可以規(guī)劃為安全駕駛區(qū)域，以避免潛在的碰撞風(fēng)險(xiǎn)。所提取的毫米波雷達(dá)運(yùn)動信息主要為參考文獻(xiàn)[48]中的圖像提供ROI，然后應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來識別ROI中的目標(biāo)。同時，分別對毫米波雷達(dá)和攝像機(jī)感知到的目標(biāo)列表進(jìn)行匹配和合并。融合信息包括目標(biāo)類型、距離、速度、角度和角速度。融合結(jié)果在一定程度上容忍了單個傳感器的漏檢，提高了魯棒性。大約在參考文獻(xiàn)[112]中，二維快速傅立葉變換（2FFT）和稀疏特征檢測分別應(yīng)用于雷達(dá)和視覺子系統(tǒng)，以提取多目標(biāo)的運(yùn)動參數(shù)。此外，高斯逆Wishart概率假設(shè)密度濾波器（GIW-PHD）用于跟蹤分割對象。在參考文獻(xiàn)[113]中，低層信息融合由LiDAR和camera進(jìn)行，并應(yīng)用LiDAR的距離和角度信息在相應(yīng)的圖像中生成ROI，最終它們合并了LiDAR、MMW雷達(dá)和攝像頭生成的目標(biāo)列表。目標(biāo)融合處理傳感器之間的互補(bǔ)性。該相機(jī)提供高水平的二維信息，如顏色、強(qiáng)度、密度和邊緣信息，而激光雷達(dá)提供三維點(diǎn)云數(shù)據(jù)。通過獲得盡可能多的屬性，它促進(jìn)了人機(jī)交互和意圖認(rèn)知。參考文獻(xiàn)[46]中的行人檢測采用了圖像處理飛行傳感器和攝像機(jī)傳感器。此外，本研究還采用三維點(diǎn)云數(shù)據(jù)進(jìn)一步檢測目標(biāo)的形狀，以降低虛警率并解決基于攝像機(jī)的檢測中的目標(biāo)遮擋問題。在本文中，激光雷達(dá)的目標(biāo)信息為圖像生成ROI。同時，將激光雷達(dá)數(shù)據(jù)和圖像識別的目標(biāo)列表進(jìn)行匹配，以最大限度地提高檢測速度，并實(shí)現(xiàn)行人檢測的平均檢測精度99.16%。參考文獻(xiàn)[114]使用立體攝像機(jī)和激光雷達(dá)檢測前方車輛的車道變化行為。他們使用基于粒子的神經(jīng)網(wǎng)絡(luò)模型群優(yōu)化對車輛的距離、徑向速度和水平速度進(jìn)行分類，以識別車道變化行為，最終綜合識別率達(dá)到88%以上。當(dāng)FSBTA集成數(shù)據(jù)時，數(shù)據(jù)的抽象級別介于FSBCF和FSBMD之間。這種融合策略使用多個傳感器停止接收目標(biāo)，并融合提取的目標(biāo)屬性或環(huán)境特征。該融合策略將提高感知系統(tǒng)的穩(wěn)定性和可靠性，以應(yīng)對單個傳感器在獨(dú)立檢測和識別過程中可能出現(xiàn)誤報(bào)或漏檢。

4.基于多源決策的融合策略

基于多源決策的融合策略（FSBMD）通過單傳感器數(shù)據(jù)對目標(biāo)的位置、屬性和類別進(jìn)行初步?jīng)Q策，然后采用特定的融合策略將多傳感器獲得的決策進(jìn)行全面組合，并采用適當(dāng)?shù)姆椒▽?shí)現(xiàn)最終的融合結(jié)果。FSBMD集成直接對特定目標(biāo)進(jìn)行決策，最終決策結(jié)果的準(zhǔn)確性直接取決于融合效果。FSBMD通?？煞譃闆Q策融合、決策制定、可信度融合和概率融合[115]-[118]。FSBMD的方法通常包括主觀貝葉斯概率推理方法、Dempster-Shafer（D-S）、基于證據(jù)理論的推理方法、人工智能（AI）方法和模糊子集理論方法。參考文獻(xiàn)[16]提出了一種多傳感器廣告平臺，用于通過數(shù)據(jù)處理提取道路邊緣、車道標(biāo)志、交通標(biāo)志、障礙物和目標(biāo)的運(yùn)動參數(shù)?；谄脚_中目標(biāo)信息的決策策略有助于控制自動駕駛車輛的運(yùn)動狀態(tài)。參考文獻(xiàn)[113]提出了將綜合模糊理論與神經(jīng)系統(tǒng)相結(jié)合的框架。該框架結(jié)合了卡爾曼分離和精細(xì)處理標(biāo)準(zhǔn)，為目標(biāo)跟蹤框架構(gòu)建了有效的信息組合策略。模糊集為數(shù)據(jù)工程、處理系統(tǒng)、選擇和信息分析的發(fā)展提供了新的思路。自適應(yīng)神經(jīng)模糊推理系統(tǒng)（ANFIS）是最有效的神經(jīng)系統(tǒng)框架之一。ANFIS具有很強(qiáng)的可接受性和預(yù)測能力，是在任何框架中管理經(jīng)驗(yàn)不穩(wěn)定性的有效工具[119]，[120]。此外，參考文獻(xiàn)[90]提出了一種基于D-S證據(jù)理論的證據(jù)融合框架，以應(yīng)對傳感器的易受攻擊性和目標(biāo)的不確定性運(yùn)動。然后，將可靠性函數(shù)與測量值相結(jié)合，以建立分類指數(shù)，對目標(biāo)進(jìn)行分類，尤其是行人檢測。此外，本文中的置信函數(shù)重新分配了傳感器提供的概率，以便在不確定信息準(zhǔn)確時做出可靠決策。參考文獻(xiàn)[91]提出了攝像機(jī)、GPS和車載傳感器的組合，用于車輛的精確定位。通過使用擴(kuò)展卡爾曼濾波算法，他們?nèi)诤狭薌PS信息和視覺里程計(jì)，與傳統(tǒng)GPS定位方法相比，精度提高了40%。FSBMD綜合了不同傳感器做出的多個決策，融合策略的性能決定了最終的融合效果。通過信息融合，最終決策直接產(chǎn)生[121]-[123]。這種方法可以有效地避免依賴單個傳感器的感知結(jié)果作為最終決策而導(dǎo)致的不確定性和不可靠性。然而，F(xiàn)SBMD并不能從數(shù)據(jù)處理層面顯著提高目標(biāo)檢測性能，而且數(shù)據(jù)互補(bǔ)性相對較低。在大多數(shù)研究中，這種策略常常與其他策略相結(jié)合。

5.融合策略和感知結(jié)果分析

不同的研究將不同的策略應(yīng)用于不同的任務(wù)或場景，實(shí)施過程中使用的具體方法也不同，很難比較哪種策略更好。然而，從信息融合的角度來看，F(xiàn)SBDU和FSBCF可以充分利用不同傳感器數(shù)據(jù)的互補(bǔ)性。此外，一些研究還采用多種策略的組合來進(jìn)一步提高融合的可靠性。下表總結(jié)了不同研究中各種傳感器完成的特定任務(wù)。就特定感知任務(wù)而言，當(dāng)前的研究包括兩類：移動目標(biāo)感知和環(huán)境感知。其中，移動目標(biāo)感知包括行人、車輛、自行車和其他障礙物。一些研究僅實(shí)現(xiàn)對該目標(biāo)的檢測和識別，而其他研究則根據(jù)識別結(jié)果進(jìn)一步分析目標(biāo)的移動趨勢。通過分析趨勢，可以避免目標(biāo)跟蹤丟失，因?yàn)楹茈y確保每個幀檢測的一致性。此外，一些研究將車道線檢測與障礙物檢測相結(jié)合，以規(guī)劃AD車輛前方的安全駕駛區(qū)域。同時，一些研究在此基礎(chǔ)上可視化了數(shù)據(jù)。當(dāng)然，信息的可視化對于驗(yàn)證安全區(qū)的正確劃分是必要的，但對于L4或L5水平的AD來說不是必要的。此外，當(dāng)各種傳感器用于目標(biāo)識別和跟蹤時，由于不同傳感器放置的不同空間位置、數(shù)據(jù)采樣率和視場，目標(biāo)對應(yīng)于各種數(shù)據(jù)中的幾個不同坐標(biāo)系。需要統(tǒng)一這些坐標(biāo)系以獲得融合后的目標(biāo)位置信息。當(dāng)前傳感器標(biāo)定主要包括FMMW雷達(dá)和攝像機(jī)標(biāo)定以及激光雷達(dá)和攝像機(jī)的標(biāo)定。目前，在AD過程中，主要依靠攝像機(jī)、激光雷達(dá)和毫米波雷達(dá)來完成目標(biāo)檢測和識別。引入其他傳感器（如通信設(shè)備、GPS/IMU）將進(jìn)一步擴(kuò)大車輛的動態(tài)傳感范圍。當(dāng)然，如表2所示，部分研究開始了相關(guān)研究。此外，RCLUGIV分別指雷達(dá)、攝像機(jī)、激光雷達(dá)、超聲波、GPS、IMU和V2X。

3）目標(biāo)跟蹤和數(shù)據(jù)關(guān)聯(lián)

在駕駛過程中，駕駛員將繼續(xù)觀察交通狀況。除了觀察交通燈外，更重要的是分析和預(yù)測車輛和行人的行為意圖。為了實(shí)現(xiàn)這一目標(biāo)，需要實(shí)時跟蹤多個潛在的安全威脅，并根據(jù)跟蹤結(jié)果分析目標(biāo)的移動趨勢和意圖。這樣，自動駕駛車輛可以提前做出正確的決定，避免危險(xiǎn)的發(fā)生。為了分析目標(biāo)的意圖，需要對不同目標(biāo)的運(yùn)動模式進(jìn)行建模，然后根據(jù)運(yùn)動模式判斷目標(biāo)的運(yùn)動狀態(tài)，如靜止、勻速、加速運(yùn)動和轉(zhuǎn)彎。此外，在復(fù)雜的交通環(huán)境中，由于存在干擾因素，不同傳感器很難確保目標(biāo)檢測前后幀的一致性。對于自主車輛的安全決策和運(yùn)動規(guī)劃，需要確保多個目標(biāo)的精確跟蹤，即使目標(biāo)在當(dāng)前幀中丟失。此外，由于多個傳感器的融合，不同的傳感器為多個目標(biāo)生成不同的跟蹤軌跡。因此，在跟蹤過程中應(yīng)采用特定的融合策略，以確保最終結(jié)果的可靠性。

1.運(yùn)動模型

人類運(yùn)動的時間序列一直是一個相關(guān)的研究課題，行人檢測是自動駕駛中的重要組成部分，近年來開展了相關(guān)研究[133]，[134]。參考文獻(xiàn)[135]–[139]提出了相應(yīng)的車輛運(yùn)動模型。為了便于目標(biāo)跟蹤和狀態(tài)預(yù)測，參考文獻(xiàn)[89]中提出了目標(biāo)的恒速（CV）模型和恒加速度模型（CA）。參考文獻(xiàn)[128]進(jìn)一步提出了車輛模型，包括恒速車道保持（CVLK）模型、恒加速車道保持（CALK）模型，恒速車道改變（CVLC）模型和恒加速車道改變（CALC）模型。一般來說，如果運(yùn)動模型太復(fù)雜，計(jì)算量會急劇增加；反之，如果過于簡單，則會影響跟蹤性能。不同的運(yùn)動模型包括兩類：線性運(yùn)動模型和線性運(yùn)動模型。適當(dāng)?shù)哪Ｐ涂梢燥@著提高車輛跟蹤系統(tǒng)的性能。此外，參考文獻(xiàn)[140]提出了更一般的模型，包括恒定速度（CV）、恒定加速度（CA）、恒定轉(zhuǎn)彎率和速度（CTRV）、恒定轉(zhuǎn)彎速度和加速度（CTRA）、恒定曲率和加速度（CCA）以及恒定轉(zhuǎn)向角和速度（CSAV）。此外，這些運(yùn)動模型的狀態(tài)轉(zhuǎn)換圖如下圖所示，其為轉(zhuǎn)向角速度、加速速度和轉(zhuǎn)向角。基于運(yùn)動模型的跟蹤可以實(shí)現(xiàn)更好的跟蹤性能和準(zhǔn)確性。此外，通過運(yùn)動模型分析目標(biāo)的運(yùn)動狀態(tài)，可以進(jìn)一步確定目標(biāo)的意圖。

2.目標(biāo)跟蹤問題的分類

目標(biāo)跟蹤過程是將傳感器的當(dāng)前測量值與歷史軌跡相匹配。然而，當(dāng)面對多個傳感器和多個目標(biāo)的跟蹤問題時，情況變得復(fù)雜。在不同的場景和應(yīng)用中，目標(biāo)的數(shù)量可能不同于由多個傳感器監(jiān)測的目標(biāo)。多源異構(gòu)數(shù)據(jù)的多目標(biāo)跟蹤問題包括四種情況。

1） 單傳感器跟蹤稀疏目標(biāo)（S2S）

S2S主要考慮稀疏情況下的多目標(biāo)跟蹤，這意味著多目標(biāo)不會相互作用[144]，[145]。如果在多目標(biāo)跟蹤中不存在跟蹤模糊，則適當(dāng)?shù)姆椒òㄗ罱彛∟N）算法、相應(yīng)的改進(jìn)NN算法、卡爾曼濾波和基于貝葉斯濾波的算法，這兩種算法都相對成熟并具有廣泛的應(yīng)用。

2） 單傳感器跟蹤多個目標(biāo)（S2M） 與多個稀疏目標(biāo)相比，S2M中的多個目標(biāo)具有距離分辨率模糊或重疊遮擋等情況，可以采用全局?jǐn)?shù)據(jù)關(guān)聯(lián)算法[146]，[147]。

3） 多個傳感器跟蹤稀疏目標(biāo)（M2S）

類似于S2S，目標(biāo)分布稀疏。然而，對于多傳感器跟蹤的同一目標(biāo)，多個傳感器之間的目標(biāo)位置在時間和空間上存在差異[19]，[113]。此外，不同傳感器的數(shù)據(jù)形式和處理方法不同。M2S通常采用K-最近鄰（K-NN）算法、聯(lián)合卡爾曼濾波（FKF）和聯(lián)合概率關(guān)聯(lián)算法（JPDA）以及相關(guān)改進(jìn)算法。

4） 多傳感器跟蹤多個目標(biāo)（M2M）

以從單個角度捕獲多個目標(biāo)的運(yùn)動信息，M2M中存在數(shù)據(jù)重疊和軌跡交叉問題。在結(jié)構(gòu)化的城市環(huán)境中，目標(biāo)的行為通常與周圍環(huán)境密切相關(guān)，這使得M2M問題特別[89]、[125]、[126]。目前，應(yīng)用的方法包括JPDA及其改進(jìn)算法、多目標(biāo)假設(shè)跟蹤（MHT）、RFS理論。

3.數(shù)據(jù)關(guān)聯(lián)方法

多個傳感器的數(shù)據(jù)關(guān)聯(lián)包括兩種情況：一種是單個傳感器的軌跡關(guān)聯(lián)，其將當(dāng)前跟蹤結(jié)果與歷史跟蹤軌跡相關(guān)聯(lián)；另一種是考慮將多個傳感器的測量值與歷史上多個目標(biāo)的跟蹤軌跡相關(guān)聯(lián)。當(dāng)前研究中常用的基本思想主要分為最近鄰算法、基于卡爾曼濾波的改進(jìn)算法、基于貝葉斯濾波思想的改進(jìn)算法，基于概率數(shù)據(jù)關(guān)聯(lián)的算法和基于隨機(jī)有限集的方法。

1） 最近鄰（NN）算法

最近鄰算法簡單、有效、易于實(shí)現(xiàn)，適用于稀疏多目標(biāo)跟蹤。當(dāng)最近鄰算法用于處理密集群目標(biāo)和多傳感器數(shù)據(jù)關(guān)聯(lián)時，統(tǒng)計(jì)意義上的最優(yōu)解將導(dǎo)致錯誤的關(guān)聯(lián)匹配。在參考文獻(xiàn)[148]中，提出了一種稱為RTK-GPS的數(shù)據(jù)關(guān)聯(lián)方法，并與NN算法和JPDA算法進(jìn)行了比較。NN、RT-GPS和JPDA的運(yùn)行時間分別為0.012193毫秒、0.29354毫秒和2.5毫秒。它們的均方根誤差分別為0.9232、0.3979和0.4378。此外，隨著目標(biāo)數(shù)量的增加，JPDA算法將不適用于AD車輛實(shí)時跟蹤目標(biāo)。在參考文獻(xiàn)[149]中，采用平方馬氏距離來管理傳感器測量和歷史軌跡的關(guān)聯(lián)問題。在參考文獻(xiàn)[89]中，將最近鄰數(shù)據(jù)關(guān)聯(lián)（NNDA）和JPDA方法與交互式多模型（IMM）和擴(kuò)展KF（EKF）相結(jié)合，用于處理目標(biāo)跟蹤和數(shù)據(jù)關(guān)聯(lián)，并對其性能進(jìn)行了比較和分析。結(jié)果表明，JPDA算法在不同方向上獲得的目標(biāo)距離（超過1000m）的均方根誤差比NNDA算法高約5m。此外，JPDA所花費(fèi)的平均時間為5.993115秒，而NNDA為1.342506秒。因此，在處理稀疏目標(biāo)跟蹤問題時，NN具有算法復(fù)雜度低的優(yōu)點(diǎn)，而JPDA的性能較差。

2） 基于卡爾曼濾波的方法

KF是一種遞歸算法，可以通過獲得先前觀察到的目標(biāo)狀態(tài)估計(jì)和當(dāng)前狀態(tài)的測量值來估計(jì)目標(biāo)的當(dāng)前狀態(tài)[150]。FKF可用于解決多傳感器跟蹤多個目標(biāo)的問題。在文獻(xiàn)[5]中，提出了一種結(jié)合模糊自適應(yīng)融合和小波分析的方法，將線性過程模型分解為一系列更簡單的子系統(tǒng)，并應(yīng)用多個KF分別估計(jì)這些子系統(tǒng)的狀態(tài)。結(jié)合參考文獻(xiàn)[113]中的KF和自適應(yīng)神經(jīng)模糊推理系統(tǒng)（ANFIS），為目標(biāo)跟蹤框架構(gòu)建了一種有效的信息組合方法，其精度和性能優(yōu)于傳統(tǒng)的KF算法。類似地，在參考文獻(xiàn)[37]中，根據(jù)預(yù)測狀態(tài)的加權(quán)平均和基于當(dāng)前測量的估計(jì)狀態(tài)更新，在測量更新步驟中，對具有較高不確定性的狀態(tài)賦予較低的權(quán)重。此外，F(xiàn)KF用于處理雷達(dá)、激光雷達(dá)、攝像機(jī)和其他傳感器的測量值，減少統(tǒng)計(jì)噪聲和其他誤差。在參考文獻(xiàn)[148]中，KF用于測量簡單的實(shí)驗(yàn)場景?；綤F的問題是它不能精確估計(jì)非線性系統(tǒng)。KF可以精確估計(jì)線性系統(tǒng)，但在非線性系統(tǒng)中很難達(dá)到最佳估計(jì)。因此，一些研究采用了EKF及其改進(jìn)算法。由于車輛的非線性運(yùn)動過程，參考文獻(xiàn)[125]采用EKF將非線性問題線性化。無跡KF（UKF）是另一種廣泛應(yīng)用的改進(jìn)KF算法。UKF采用統(tǒng)計(jì)線性化技術(shù)，通過先驗(yàn)分布中收集的n個點(diǎn)（也稱為assigma點(diǎn)）的線性回歸來線性化隨機(jī)變量的非線性函數(shù)[151]。由于UKF考慮了隨機(jī)變量的擴(kuò)展，這種線性化比EKF中的泰勒級數(shù)線性化更精確。

3） 基于貝葉斯濾波的方法

貝葉斯跟蹤方法主要跟蹤具有多模式概率密度（PD）的多個目標(biāo)，并用分量PD近似每個模式。粒子濾波（PF）是一種改進(jìn)的貝葉斯算法，可以有效地處理非線性和非高斯貝葉斯估計(jì)問題，適用于求解分量PD估計(jì)問題。當(dāng)貝葉斯算法用于多目標(biāo)跟蹤以遞歸地估計(jì)多個目標(biāo)的狀態(tài)并確定當(dāng)前目標(biāo)數(shù)時，序列最大似然比通常用于驗(yàn)證目標(biāo)是否存在或消失。根據(jù)測試結(jié)果（目標(biāo)的出現(xiàn)或消失），可以確定代表多個目標(biāo)的混合分量進(jìn)行添加或刪除，從而可以更新和維護(hù)多模態(tài)后驗(yàn)概率分布。參考文獻(xiàn)[152]采用貝葉斯網(wǎng)絡(luò)建立了目標(biāo)運(yùn)動學(xué)和類別之間的關(guān)系模型。貝葉斯方法和D-S方法廣泛應(yīng)用于識別和傳感器融合。D-S方法克服了貝葉斯方法不能表達(dá)不完整或不確定證據(jù)的問題。PF是貝葉斯濾波器的一種特殊形式，參考文獻(xiàn)[127]詳細(xì)闡述了用于跟蹤車輛目標(biāo)的PF性能。通過實(shí)際測試，改進(jìn)后的顆粒過濾器性能優(yōu)越。參考文獻(xiàn)[153]結(jié)合混合PF和IMM（IMM-PF），提出了駕駛員意圖算法的前車跟蹤和預(yù)測。然后提出了一種改進(jìn)的PF算法來跟蹤車輛目標(biāo)，以解決數(shù)據(jù)相關(guān)性問題。結(jié)果表明，在極端情況下，改進(jìn)PF的性能提高。參考文獻(xiàn)[154]進(jìn)一步提出了多傳感器航跡融合算法，該算法采用最大似然融合規(guī)則來處理多傳感器和多目標(biāo)測量之間的相關(guān)性。卵巢癌矩陣用于表示融合中心決策更新的多個測量值之間的相關(guān)性。此外，與傳統(tǒng)算法和集中式KF相比，實(shí)驗(yàn)結(jié)果表明，提出的自適應(yīng)算法可以降低均方誤差（MSE）。在參考文獻(xiàn)[128]中，貝葉斯濾波用于完成多目標(biāo)跟蹤，并將道路約束引入算法。由于傳感器和環(huán)境的限制，例如檢測距離短、視野窄、信號噪聲和意外占用的障礙物，導(dǎo)致性能限制，因此將道路幾何信息應(yīng)用于跟蹤算法，以克服基于車輛傳感器的跟蹤限制。隨著未來交通設(shè)施的不斷完善，道路的結(jié)構(gòu)特征將越來越突出。引入結(jié)構(gòu)化約束可以提高算法性能并簡化目標(biāo)運(yùn)動模型。

4） 基于概率數(shù)據(jù)關(guān)聯(lián)的方法

概率數(shù)據(jù)關(guān)聯(lián)（PDA）是一種廣泛應(yīng)用的算法，有許多改進(jìn)。它驗(yàn)證了所有測量，并估計(jì)了目標(biāo)的運(yùn)動狀態(tài)和協(xié)方差，而不僅僅是采用單個測量，[155]提出了JPDA算法來處理多目標(biāo)跟蹤，該算法考慮了多個邊緣分布的聯(lián)合分布概率[156]。在文獻(xiàn)[157]中，提出了一種稱為PDA反饋PF（PDA-FPF）的算法來解決數(shù)據(jù)關(guān)聯(lián)不確定性，這表明PDA-FPF的性能接近理想的JPDA。然而，JPDA面臨大量計(jì)算的問題。此外，還提出了精確最近鄰RPDA（ENNPDA）[158]、聯(lián)合概率數(shù)據(jù)協(xié)會（JIPDA）[159]和其他改進(jìn)的算法，以通過精確計(jì)算來簡化算法。參考文獻(xiàn)[89]和[148]表明，與神經(jīng)網(wǎng)絡(luò)算法相比，JPDA算法具有更高的相關(guān)精度，但同時計(jì)算正常。JIPDaint將目標(biāo)存在的可能性作為目標(biāo)質(zhì)量測量[159]，這在目標(biāo)自動跟蹤中具有明顯的效果，可以在一定程度上應(yīng)對相鄰目標(biāo)或重疊目標(biāo)的跟蹤。然而，它也存在跟蹤聚類的問題。另一方面，JIPDA仍然合并兩個目標(biāo)的軌跡，以應(yīng)對兩個目標(biāo)在短時間內(nèi)相互伴隨的問題。JIPDA filter與JPDA的結(jié)合完美地解決了這個問題[160]。在參考文獻(xiàn)[125]中，JIPDAIS用于管理多個目標(biāo)的出現(xiàn)和消失。然后，應(yīng)用城市交通場景中的真實(shí)數(shù)據(jù)集來證明JIPDAINAD的性能。此外，多目標(biāo)跟蹤（MHT）算法是JPDA算法的進(jìn)一步改進(jìn)。當(dāng)目標(biāo)出現(xiàn)或消失時，可以自動啟動或終止數(shù)據(jù)關(guān)聯(lián)。它的可擴(kuò)展性受到限制，因?yàn)樗蕾囉趯δ繕?biāo)和噪聲的先驗(yàn)知識。參考文獻(xiàn)[126]中，MHT濾波算法用于實(shí)現(xiàn)多目標(biāo)的跟蹤管理。MHT濾波器根據(jù)支持每條軌跡的傳感器數(shù)據(jù)分析每條軌跡并測量值。通過兩個假設(shè)條件對每條軌跡進(jìn)行序貫似然比檢驗(yàn)，并根據(jù)統(tǒng)計(jì)決策函數(shù)順序計(jì)算分?jǐn)?shù)。如果得分超過閾值，則驗(yàn)證測量值并將其更新為跟蹤。參考文獻(xiàn)[161]結(jié)合了RFS理論和JPDA的優(yōu)點(diǎn)，提出了CCJIPDA，同時，詳細(xì)比較了多目標(biāo)跟蹤算法，包括JIPDA、ENNJIPDA，JIPDA*、RFS和CCJIPDA。顯然，改進(jìn)的算法在相鄰或重疊目標(biāo)的跟蹤過?程中具有較好的跟蹤效果，但相關(guān)的AD研究沒有采用。

5） 基于隨機(jī)有限集的方法

RFS理論將單目標(biāo)的貝葉斯濾波框架直接擴(kuò)展到多目標(biāo)跟蹤問題。RFS可以避免復(fù)雜的相關(guān)過程，估計(jì)目標(biāo)的數(shù)量和狀態(tài)，適用于密集多目標(biāo)跟蹤。然而，由于計(jì)算過程涉及一組復(fù)雜的積分運(yùn)算，因此應(yīng)用非常困難。本研究提出了幾種典型的濾波器來改變這種情況。改進(jìn)的算法包括廣義標(biāo)記多伯努利（GLMB）濾波器、基數(shù)化PHD（CPHD）、多目標(biāo)多伯努利濾波器和廣義標(biāo)記多貝努利（GLMB）濾波器。馬勒提出了一種基于RFS[162]、[163]的概率假設(shè)密度（PHD）方法。PHD濾波器可以跟蹤可變數(shù)量的目標(biāo)，并估計(jì)目標(biāo)的數(shù)量和位置。不需要數(shù)據(jù)相關(guān)性，但幀之間的相同目標(biāo)的相關(guān)性是不可能的。參考文獻(xiàn)[127]提出通過將數(shù)據(jù)關(guān)聯(lián)與PHD濾波器相結(jié)合來實(shí)現(xiàn)多目標(biāo)跟蹤。第一步是將目標(biāo)提取階段的數(shù)據(jù)劃分為圍繞每個目標(biāo)的聚類，并在幀之間應(yīng)用這些區(qū)別，以實(shí)現(xiàn)軌道連續(xù)性。第二種是應(yīng)用先前的目標(biāo)狀態(tài)和運(yùn)動模型來估計(jì)下一幀中的目標(biāo)。然而，當(dāng)目標(biāo)運(yùn)動是非線性的時，在實(shí)際中難以建立運(yùn)動模型。此外，在參考文獻(xiàn)[112]中的AD應(yīng)用中，基于毫米波雷達(dá)狀態(tài)估計(jì)的圖像特征軌跡和高斯混合數(shù)據(jù)被用于分割運(yùn)動目標(biāo)，而高斯逆Wishart概率假設(shè)密度濾波器（GIW-PHD）被用于跟蹤分割的目標(biāo)。一般來說，RFS具有完整的理論基礎(chǔ)，沒有復(fù)雜的數(shù)據(jù)關(guān)聯(lián)，可以同時估計(jì)多個目標(biāo)的數(shù)量和狀態(tài)。近年來，它取得了快速發(fā)展。

參考

[1] Multi-Sensor Fusion in Automated Driving: A Survey.

【自動駕駛之心】全棧技術(shù)交流群

自動駕駛之心是首個自動駕駛開發(fā)者社區(qū)，聚焦目標(biāo)檢測、語義分割、全景分割、實(shí)例分割、關(guān)鍵點(diǎn)檢測、車道線、目標(biāo)跟蹤、3D感知、多傳感器融合、SLAM、高精地圖、規(guī)劃控制、AI模型部署落地等方向；

加入我們：自動駕駛之心技術(shù)交流群匯總！

自動駕駛之心【知識星球】

想要了解更多自動駕駛感知（分類、檢測、分割、關(guān)鍵點(diǎn)、車道線、3D感知、多傳感器融合、目標(biāo)跟蹤）、自動駕駛定位建圖（SLAM、高精地圖）、自動駕駛規(guī)劃控制、領(lǐng)域技術(shù)方案、AI模型部署落地實(shí)戰(zhàn)、行業(yè)動態(tài)、崗位發(fā)布，歡迎掃描下方二維碼，加入自動駕駛之心知識星球（三天內(nèi)無條件退款），日常分享論文+代碼，這里匯聚行業(yè)和學(xué)術(shù)界大佬，前沿技術(shù)方向盡在掌握中，期待交流！文章來源地址http://www.zghlxwxcb.cn/news/detail-402239.html