摘要：

本篇為第二部分主要介紹底層計算單元、示例工作負(fù)載

前言

? ? ??

本文檔參考自動駕駛計算聯(lián)盟(Autonomous Vehicle Computing Consortium)關(guān)于自動駕駛和輔助駕駛計算系統(tǒng)的概念系統(tǒng)架構(gòu)。該架構(gòu)旨在與SAE L1-L5級別的自動駕駛保持一致。本文主要介紹包括功能模塊圖，涵蓋了底層計算單元、示例工作負(fù)載和行業(yè)標(biāo)準(zhǔn)。

本篇為第二部分主要介紹底層計算單元、示例工作負(fù)載。

自動駕駛系統(tǒng)架構(gòu)組件

三、 信號描述

圖中的模塊連接在抽象級別上顯示了數(shù)據(jù)從一個功能模塊傳遞到另一個功能模塊的生產(chǎn)者-消費者關(guān)系。但是,為簡化起見,在文檔的其余部分將其稱為信號或數(shù)據(jù)流。功能模塊的輸出可能是系統(tǒng)中一個或多個功能模塊的輸入。

本文描述了系統(tǒng)架構(gòu)圖中各功能模塊之間的數(shù)據(jù)流。本節(jié)中描述的數(shù)據(jù)流在后續(xù)各節(jié)的功能模塊描述中引用。功能模塊只是簡單地引用本節(jié)的數(shù)據(jù)流,并進(jìn)一步闡述數(shù)據(jù)流在其功能、用途和實現(xiàn)方面的作用(輸入和/或輸出)和計算方面的內(nèi)容(作為消費者、作為生產(chǎn)者)。

數(shù)據(jù)流可以分組為通常的行為“配置文件”,概括如下:

? 數(shù)據(jù)流:定期更新的數(shù)據(jù)流;總是有下一個更新

? 事件:指示轉(zhuǎn)變或變化的數(shù)據(jù)流;在發(fā)生變化時周期性發(fā)生

? 狀況:指示狀況的數(shù)據(jù)流;新更新將替換當(dāng)前狀況

? 狀態(tài):類似于狀況,但在生產(chǎn)者失敗或重啟時仍可用(當(dāng)車輛運行時)

? 配置:像狀態(tài)一樣,但在車輛重啟后仍然存在

? 請求:請求服務(wù);可能導(dǎo)致行為改變,也可能無法滿足。每個數(shù)據(jù)流遵循以下模式:

? 名稱:由信號傳達(dá)的數(shù)據(jù)的描述

? 所有權(quán):排他(恰好一個生產(chǎn)者是主要來源)| 共享(所有生產(chǎn)者被視為有效源)

當(dāng)一個數(shù)據(jù)流有多個生產(chǎn)者時,“所有權(quán)”屬性簡單地指示是否有一個排他的生產(chǎn)者應(yīng)該被視為主要來源。如果沒有指定此屬性,則認(rèn)為數(shù)據(jù)流是“共享的”,即數(shù)據(jù)流的所有生產(chǎn)者都被視為有效的輸入源(默認(rèn))。

自動駕駛車輛系統(tǒng)中的信號如下所示,按數(shù)據(jù)流配置文件組織。

3.1 數(shù)據(jù)流

? 自身運動:描述自主車輛相對于世界坐標(biāo)系的運動。

--提供反映自主車輛動態(tài)條件的信息,用于確定機動能力

--提供有關(guān)自主車輛當(dāng)前運動的信息

--與目標(biāo)軌跡一起考慮,共享自主車輛姿態(tài)信息,以生成執(zhí)行器請求

--隨時間變化的姿態(tài),即平移和旋轉(zhuǎn)速度以及加速度

? 執(zhí)行器請求:向自主車輛的制動、轉(zhuǎn)向和加速執(zhí)行器發(fā)送控制輸入。

? 執(zhí)行器反饋:提供來自車輛執(zhí)行器的反饋信號。

--應(yīng)該向系統(tǒng)其他部分公開車輛運動約束,因為此反饋是必要的

--可以與各種外部執(zhí)行模塊接口,此反饋在單位、格式、類型等方面將有所不同

? 底盤傳感器數(shù)據(jù):提供運動相關(guān)信息的車輛內(nèi)部傳感器(例如輪速傳感器、方向盤轉(zhuǎn)角等)。

? IMU數(shù)據(jù):由IMU提供的測量車輛加速度和旋轉(zhuǎn)率。

? 羅盤數(shù)據(jù):由磁力計提供的正北方位。

? GNSS數(shù)據(jù):來自全球?qū)Ш叫l(wèi)星系統(tǒng)(GNSS)的數(shù)據(jù)。包括以WGS84/GPS位置表示的地理參考位置估計(不確定性通常以米測量)。

--基于GNSS的位置信息,可能與校正服務(wù)的信息組合

--包括地理參考位置估計。可能已經(jīng)包括自身運動估計

? 環(huán)境傳感器數(shù)據(jù):來自一個或多個環(huán)境傳感器的規(guī)范數(shù)據(jù)。

--可能包括攝像頭數(shù)據(jù)(可見光和/或紅外波長)、雷達(dá)(飛行時間測量手勢)、聲納(可聽和/或超聲)或其他傳感模式

--注意:可能包括各種傳感器輸入的組合

? 車廂傳感器數(shù)據(jù):來自一個或多個車廂內(nèi)傳感器的數(shù)據(jù)?？梢允褂酶鞣N傳感技術(shù)進(jìn)行乘客監(jiān)測。

--示例可能包括攝像頭(可見光和紅外波長)、雷達(dá)(手勢/心跳檢測)、音頻和各種其他傳感機制。

3.2 事件

? 規(guī)范|特征|對象:描述三種通用的數(shù)據(jù)抽象層次。暗示這三個層次中的任意一個都可以被消費。

? 規(guī)范:感知模塊可以以規(guī)范格式輸出數(shù)據(jù),即指其格式而不是處理狀態(tài)。它可能經(jīng)過感知模塊的某些轉(zhuǎn)換,例如去除陰影。

? 特征:感知模塊可以以特征的形式輸出數(shù)據(jù)。例如,定位模塊用于地圖匹配的特征。

? 對象:一個通用術(shù)語,可以描述各種實體(可能具有動態(tài)/語義狀態(tài))。例如,車道、交通燈、機動車、救護車、交通警察停止信號等。包括動態(tài)和靜態(tài)對象。

? V2X數(shù)據(jù):由V2X系統(tǒng)提供的數(shù)據(jù);可以提供有關(guān)交通燈、收費站等狀態(tài)的實時信息,以使檢測更加可靠。來自基礎(chǔ)設(shè)施或其他車輛關(guān)于感興趣特征位置的信息。

? 交通狀況:關(guān)于自主車輛附近或路線目標(biāo)上的交通狀況的動態(tài)源信息。

3.3 狀況

? 任務(wù)反饋:關(guān)于任務(wù)狀態(tài)的反饋,向車輛乘員/駕駛員提供通信。一個例子是系統(tǒng)請求駕駛員干預(yù)。通過HMI向車輛乘員提供當(dāng)前任務(wù)的反饋。這可以包括諸如路線目標(biāo)的進(jìn)度、警告駕駛員接管控制或類似信息。

? 任務(wù)目標(biāo):可以反映復(fù)雜任務(wù)的用途表達(dá),其目標(biāo)是“到達(dá)目標(biāo)目的地”,或者在更低的自動化級別,是一個更簡單的目標(biāo),如“保持在當(dāng)前車道的中心”。任務(wù)目標(biāo)在行程中可能會改變。

? 路線目標(biāo):自主車輛將要走的路線描述,如果適用包括車道,以實現(xiàn)任務(wù)目標(biāo)。描述每個交叉口的所需車道和轉(zhuǎn)向。

? 機動:提供至少兩個操作的列表,包括一個安全機動。機動表達(dá)為地圖上的新位置,以及該位置的目標(biāo)速度,并描述高層次的車輛運動行為(例如巡航、跟隨、改道、轉(zhuǎn)彎或停止)。

? 目標(biāo)軌跡:是將機動分解為目標(biāo)軌跡(曲線路徑),其中沿軌跡路徑表達(dá)轉(zhuǎn)向、制動和加速的變化。

? 感興趣區(qū)域:是世界空間中一個或多個區(qū)域的描述,感知應(yīng)優(yōu)先處理這些區(qū)域。這可以描述世界空間中感知應(yīng)提供卓越性能(如果可能)的感興趣區(qū)域。例如,這可以允許配置具有非均勻感知分辨率的傳感器,從而特定感興趣的道路/基礎(chǔ)設(shè)施以更高分辨率“看到”。

? 動態(tài)對象:識別所有移動或可移動對象。例如車輛、行人或動物。

? 靜態(tài)對象:識別所有不可移動對象或基礎(chǔ)設(shè)施。靜態(tài)對象仍可能具有與之相關(guān)的可改變狀態(tài)。例如道路表面、路緣、錐桶、路標(biāo)、交通燈、電子標(biāo)志。或者甚至是一個基礎(chǔ)設(shè)施元素,如可移動屏障(如收費站)。

? 動態(tài)對象預(yù)測:預(yù)測動態(tài)對象的路徑。

? 靜態(tài)對象預(yù)測:預(yù)測靜態(tài)對象狀態(tài)的變化,如交通燈變化的時序。

? 場景數(shù)據(jù):提供當(dāng)前場景的相關(guān)描述,用于確定自動駕駛系統(tǒng)是否在操作設(shè)計域內(nèi)運行。一個例子是對自動駕駛系統(tǒng)尚未設(shè)計用以處理的被淹路面的注釋。

? 姿態(tài):描述自主車輛相對于地圖的當(dāng)前位置和方向。與地圖信息一起使用以啟用或改進(jìn)高級駕駛員輔助系統(tǒng)(ADAS)的許多行為。

? 感知能力:給出自動駕駛系統(tǒng)動態(tài)感知能力的描述(例如某類實體的感知范圍)。

? 系統(tǒng)完整性:提供車輛不同組件的運行狀態(tài)報告,這些組件與自動駕駛系統(tǒng)的安全運行相關(guān);來自與硬件和軟件平臺相關(guān)部分的派生。

3.4 狀態(tài)

? 乘客狀態(tài):提供有關(guān)自主車輛每個乘客(包括駕駛員)狀態(tài)的描述。信息可能包括存在、注意力、情緒狀態(tài)、健康等。

--來自乘客監(jiān)控功能的有關(guān)駕駛員和乘客的信息。

--在汽車公司、自動駕駛系統(tǒng)支持級別和系統(tǒng)體系結(jié)構(gòu)之間有所不同?？赡馨◣в邢嚓P(guān)狀態(tài)信息的乘客列表。

--將列出具有相關(guān)狀態(tài)標(biāo)記的乘客。例如<乘客:成人,座位:0,角色:司機,注意力:向前,注視區(qū)域:(34,56,32),司機意圖:左轉(zhuǎn),健康:正常,情緒:正常,轉(zhuǎn)向:是等。

? 基于操作域監(jiān)督的路線約束:對路線進(jìn)行約束以保持在操作設(shè)計域(ODD)內(nèi)。一個例子是由于缺乏路燈照明而在某些時間避免某些路線。

? 基于場景的路線約束:動態(tài)確定路線約束,如封路標(biāo)志、高速公路上封閉的車道或用路障封閉的高速公路入口。

? 基于操作域監(jiān)督的機動約束:由于需要保持在操作域監(jiān)督內(nèi)而對機動施加約束。一個例子是避免超車,因為附近的車輛數(shù)量大于以當(dāng)前速度可以可靠跟蹤的車輛數(shù)量。

? 基于場景的機動約束:動態(tài)檢測機動的約束。例如可能包括迎面而來的救護車、標(biāo)有長載貨物牌的車輛、視野不佳等。

? 基于場景的運動約束:動態(tài)檢測車輛運動的約束。例如檢測到濕滑路面、劣化路面等,可能需要適當(dāng)調(diào)整駕駛風(fēng)格。

? 車輛運動約束:動態(tài)更新自主車輛運動的約束。提供外部執(zhí)行模塊的限制反饋,匯總后呈現(xiàn)給其他自動駕駛系統(tǒng)模塊,如軌跡規(guī)劃(路徑規(guī)劃)。

3.5 配置

? 用戶路線偏好:提供約束路線選擇的偏好或規(guī)則。可能包括乘車服務(wù)或自主車輛本身保持在操作設(shè)計域或優(yōu)化燃料消耗等的約束。首選路線引導(dǎo)與自動駕駛?cè)蝿?wù)相關(guān)。根據(jù)范式,路線偏好可以通過操作域監(jiān)督任務(wù)引導(dǎo)信號路徑反映當(dāng)前操作域的限制。

? 地圖數(shù)據(jù):提供靜態(tài)的和可能的動態(tài)源地圖數(shù)據(jù),包括用于路徑規(guī)劃的路線圖,以及所謂的高清(HD)地圖?？赡馨ㄔ敿?xì)的地理參照標(biāo)志(包括道路標(biāo)志、交通燈等的位置)。

--提供當(dāng)前操作域的地理約束信息。--包括可被檢測/分類算法利用的來自靜態(tài)或動態(tài)更新地圖的先驗信息。例如,可包括期望的車道屬性、交通燈位置等。--提供地圖子系統(tǒng)關(guān)于道路和特征幾何及位置的信息,當(dāng)與其他定位輸入組合時,可用于理解自主車輛的位置和方向(點云、特征位置和方向、道路幾何等)。

3.6 請求

? 操作域監(jiān)督任務(wù)請求:由于車輛使用條件改變或一個或多個未能保持在授權(quán)或當(dāng)前操作域內(nèi)而請求修改當(dāng)前任務(wù)。

? 互聯(lián)任務(wù)請求:由某個遠(yuǎn)程服務(wù)請求設(shè)置/更改當(dāng)前任務(wù)。一個例子是由于在車內(nèi)檢測到醫(yī)療緊急情況而更改目的地。來自連接服務(wù)的修改當(dāng)前任務(wù)的請求。例如,乘車管理服務(wù)設(shè)置/覆蓋目的地,或由于交通擁堵或事故而建議繞行。

? HMI任務(wù)請求:由車輛乘員請求任務(wù)設(shè)置/更改;來自通過HMI注冊的車輛乘員的修改當(dāng)前任務(wù)的請求。任務(wù)請求可能包括自動化水平的更改。

? 行為規(guī)劃任務(wù)請求:行為規(guī)劃(BP)請求修改任務(wù)。如果行為規(guī)劃(BP)確定無法按計劃執(zhí)行任務(wù),則可能需要這樣做。請求的性質(zhì)可以是請求人類駕駛員接管,例如。

? 自主車輛機動假設(shè):提供一個或多個假設(shè)的機動,系統(tǒng)可以為此預(yù)測一個或多個結(jié)果。

四、底層計算元素

?

4.1 典型計算元素特性

現(xiàn)有的計算元素(或處理器)具有不同的特性,這影響它們處理效率。下圖顯示了不同計算元素的處理效率與應(yīng)用程序的處理特性(例如順序與并行)的關(guān)系圖。每個計算元素都有不同的特征來提高其效率和性能。這些特性從更通用到更特定的解決方案有所不同,由這些不同/可選的特征集定義。??

? ? ??

現(xiàn)有處理器的計算特性

中央處理器(CPU)中央處理器是最流行的存儲程序架構(gòu)的處理器(計算元素)。程序被描述為一系列指令,所以通常每個指令會逐步執(zhí)行操作。由于這種逐步執(zhí)行,CPU通常適用于任何順序操作的組合。另一方面,基本CPU不適合并行操作。為了解決這個問題,今天的CPU具有幾個附加的可選功能。

? 單指令多數(shù)據(jù)(SIMD)/向量類型數(shù)據(jù)純CPU不適合數(shù)據(jù)并行,因為內(nèi)部數(shù)據(jù)路徑帶寬限制。為了解決這個限制,一些CPU具有SIMD或向量擴展,可以在一個指令或操作中處理多個(通常是4到16)數(shù)據(jù)流。此外,隨著長數(shù)據(jù)字交易和更大的寄存器文件,與外部資源(如內(nèi)存)的通信也將得到改善,但在處理大量內(nèi)容時,仍會出現(xiàn)瓶頸。

? 多核

由于工藝技術(shù)趨勢,在合理的功耗下提高單個CPU的性能是困難的。多核是解決這個問題的一種方法。如果應(yīng)用程序具有多個(分離的)任務(wù),多核將發(fā)揮很好的作用,但是如果它具有緊密耦合的內(nèi)部通信,有時處理器間通信(IPC)將瓶頸操作。

數(shù)字信號處理器(DSP)DSP旨在加速算術(shù)操作(加法、減法、乘法、除法),例如乘積累加操作。

數(shù)據(jù)壓縮/解壓縮、數(shù)字濾波、控制、識別等都包括在內(nèi),這些算法大量使用乘積累加計算(MAC),這使得DSP能夠高速管理這些過程。

圖形處理單元通用計算(GPGPU)GPGPU是一種將GPU的計算資源應(yīng)用于圖像處理之外目的的技術(shù)。圖形處理單元(GPU)具有成千上萬的算術(shù)核心(著色器單元),并通過并行重復(fù)簡單的數(shù)值計算來實現(xiàn)圖像處理的高速執(zhí)行。利用這一特性,可以以高速執(zhí)行類似圖像處理的處理,其中包括人工智能(AI),如機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)、虛擬貨幣挖礦、科技研究中的數(shù)值計算和模擬以及流體計算。

要利用GPGPU,需要不同于通用處理器的編程開發(fā)環(huán)境。為了充分利用它,需要適合該架構(gòu)的編程技術(shù),編程開發(fā)環(huán)境例如NVIDIA的“CUDA”(統(tǒng)一設(shè)備架構(gòu))、Microsoft的“Direct Compute”和Khronos Group的“OpenCL”等。

專用加速器(例如ISP, xNN)

專用加速器基于為特定應(yīng)用定制的體系結(jié)構(gòu)。例如,數(shù)據(jù)流和存儲器遵循專用方案。加速器甚至可以提供定制邏輯,形成高度專業(yè)化的計算元素。這種專門化極大地增加了計算效率和性能,但以犧牲通用性為代價。使用專用加速器可能需要專用和/或?qū)Ｓ芯幊?甚至需要專用工具和框架。

4.2 在SoC中實現(xiàn)的計算單元

自動駕駛/先進(jìn)駕駛輔助系統(tǒng)芯片

如圖所示,當(dāng)前的自動駕駛/先進(jìn)駕駛輔助系統(tǒng)片上系統(tǒng)(SoC)通過集成不同計算特性的計算元件構(gòu)建了計算組件,以實現(xiàn)對不同應(yīng)用最有效的處理。為此,如下表所示,選擇了具有不同計算特性的計算元件,如通用CPU、SIMD DSP、GPGPU和專用加速器等。

計算元件特性

?通用CPU適合運行順序代碼和有限的數(shù)據(jù)并行。

?SIMD DSP處理更數(shù)據(jù)密集的任務(wù)。

?GPGPU也可以處理高數(shù)據(jù)量和控制順序靈活的任務(wù)。

?專用加速器針對特定操作實現(xiàn)最高執(zhí)行效率,但需在SoC設(shè)計初期確定。

計算元件的特性及適配性分析

為分析上述計算元件,首先從某些正交的計算特性對其進(jìn)行分類。SIMD類型計算元件適合運行處理大量獨立數(shù)據(jù)的應(yīng)用。因此,可以歸納出下表所示的正交計算特性。? ??

??

正交計算特性

? 數(shù)據(jù)并行性：在并行處理不同的數(shù)據(jù)

? 任務(wù)并行性：在并行處理不同的任務(wù)

? 引用局部性：提供數(shù)據(jù)的訪問時間局部性和空間局部性（數(shù)據(jù)局部性）

每個“數(shù)據(jù)并行性”和'引用局部性（數(shù)據(jù)局部性）'的分配數(shù)據(jù)模式的例子如下，任務(wù)并行與數(shù)據(jù)并行非常相似，區(qū)別在于數(shù)據(jù)局部性和上下文處理。

“數(shù)據(jù)并行性”、“引用局部性”和“計算元件”之間的關(guān)系表如表所示。數(shù)據(jù)并行性、引用局部性和計算元件的關(guān)系表

“任務(wù)并行性”和“計算元件”之間的關(guān)系表如下表所示。任務(wù)并行性和計算元件的關(guān)系表

綜合上述計算特性,可以定義用于SoC中高效執(zhí)行AD/ADAS應(yīng)用所需的典型運算類型。運算類型及匹配的計算元件

算法和運算下面我們分享了典型算法對不同運算的影響,這些運算在數(shù)據(jù)和線程并行性上有所不同。計算單元的決策依據(jù)

定位

場景理解

行為規(guī)劃

路徑規(guī)劃

軌跡規(guī)劃

運動控制

自車運動

乘員監(jiān)控

操作域

任務(wù)控制

為便于理解每個自動駕駛算法的處理特點,使用了一個簡單的詞來對其進(jìn)行歸類,即典型運算。需要注意的是,對于某些典型運算如條件分支,可能會選擇多種不同的計算單元,因為它們各有所長。

五、傳感器前處理

?

5.1 攝像頭前處理流程

?自動駕駛HDR:為適應(yīng)自動駕駛所處的高動態(tài)范圍環(huán)境,先進(jìn)的圖像傳感器采用同時多曝光和/或拆分像素設(shè)計。組合不同曝光可將固有動態(tài)范圍(80-100dB)擴展至目標(biāo)動態(tài)范圍(120-140dB或更高)。

?攝像頭或攝像模塊:由圖像傳感器、顏色濾波陣列、鏡頭、外殼及可選前處理組成的傳感器系統(tǒng)。

?色彩濾波陣列(CFA):應(yīng)用于圖像傳感器的光學(xué)元件,形成特定顏色像素模式,通常以2x2單個顏色指定,如紅、綠、藍(lán)、黃、青等。常見例子有RGGB(Bayer)、RCCC、RCCB、RYYCy。

?計算機視覺(CV)前處理:用于增強傳統(tǒng)CV算法效果的具體處理,如光流、Harris角點檢測等。

?圖像傳感器:收集光線并輸出數(shù)字像素樣本的芯片?？刹杉煌ㄩL光線,數(shù)字輸出格式多種多樣。常見波長包括可見光、IR、近紅外(NIR)、短波IR(SWIR)等。

?人類視覺前處理:用于使圖像對人類更易看的具體處理。

?鏡頭:各種鏡頭安裝在圖像傳感器陣列和CFA上。傳統(tǒng)自動駕駛應(yīng)用使用固定焦距/固定鏡頭。

?機器學(xué)習(xí)(ML)前處理:用于增強機器學(xué)習(xí)(ML)和深度神經(jīng)網(wǎng)絡(luò)(DNN)算法效果的具體處理。這取決于所用算法,前處理范圍從無到完整的人類視覺流程不等。詳見成像工作組。

?傳感器上的前處理:用于自動駕駛的先進(jìn)圖像傳感器具有許多增強和壓縮原始樣本的功能。這些傳感器通常具有數(shù)字增益調(diào)整、黑電平調(diào)整、多曝光片段線性組合等。輸出流量仍很大(3~6Gbps),但遠(yuǎn)低于原始樣本流。

?原始像素樣本:來自芯片上ADC的未處理樣本。這些樣本仍受鏡頭、CFA、模擬增益設(shè)定、曝光設(shè)定等的光學(xué)和模擬影響調(diào)整。像素通常以每個曝光10~16位采樣。一個800萬像素的圖像傳感器,使用4次曝光,以每秒30幀的速度,將產(chǎn)生高達(dá)15.36 Gbps的數(shù)據(jù)率。

5.2 雷達(dá)前處理流程

?汽車?yán)走_(dá):由天線陣列、一個或多個微波集成電路(MMIC)和可選前處理組成。大多數(shù)汽車?yán)走_(dá)采用頻率調(diào)制連續(xù)波(FMCW)操作,但也有幾種替代技術(shù)正在開發(fā)。雷達(dá)操作基礎(chǔ)有許多不錯的資料來源。

?雷達(dá)幀:通過一個或多個發(fā)射機發(fā)出的一系列傳輸脈沖序列,以實現(xiàn)場景視野、分辨率/分離度/識別度和期望維度(距離、徑向速度、方位和仰角)的精度設(shè)計目標(biāo)。

?原始雷達(dá)樣本:來自連接特定接收機(Rx)的ADC的樣本。這些ADC通常為10~16位,工作頻率約50MHz(MSps),生成原始流量高達(dá)每Rx通道約800Mbps。高端汽車?yán)走_(dá)通常有4~16個接收通道(3.2~12.8Gbps),先進(jìn)研究使用幾十個接收機。

?雷達(dá)數(shù)據(jù)立方體:通過處理原始雷達(dá)樣本生成的1~4維立方體。通常采用FFT獲得距離和多普勒維度?？捎糜谟嬎惴轿缓?或仰角的數(shù)字波束成形,但也有許多更先進(jìn)的算法以更好的結(jié)果換取額外處理。

?雷達(dá)數(shù)據(jù)立方體壓縮:由于數(shù)據(jù)立方體中大多數(shù)位置沒有返回,存在幾種簡單(通常專有)算法壓縮數(shù)據(jù)立方體以減少傳輸帶寬。

?雷達(dá)檢測/點云:通常對數(shù)據(jù)立方體進(jìn)行閾值處理/CFAR和將相鄰返回合并為單點/檢測。這大大降低了數(shù)據(jù)帶寬,但也損失了數(shù)據(jù)立方體中的目標(biāo)“形狀”。

?雷達(dá)對象:基于檢測結(jié)果,傳統(tǒng)雷達(dá)處理會將附近點集群化并返回目標(biāo)對象“塊”。

?雷達(dá)感知:大類算法,可將雷達(dá)數(shù)據(jù)處理為汽車、人員等分類對象,還有更多基礎(chǔ)設(shè)施對象。這些算法通常對數(shù)據(jù)立方體、點云或?qū)ο筮M(jìn)行操作,但也有基于原始數(shù)據(jù)的研究。

?雷達(dá)輸出數(shù)據(jù)格式:點云,點具有位置、距離、強度、運動信息等屬性。

5.3 激光雷達(dá)前處理流程

?汽車激光雷達(dá)傳感器:激光雷達(dá)系統(tǒng)可以分為幾類基本類別。波長、脈沖/調(diào)制技術(shù)、接收器技術(shù)和掃描技術(shù)等基本變量會帶來許多權(quán)衡取舍。

?Flash與掃描激光雷達(dá):閃光激光雷達(dá)本質(zhì)上是飛行時間(TOF)相機。使用激光閃光和高速2D接收器陣列,可以捕捉到許多“曝光區(qū)間”或“距離分箱”。2D陣列給出x/y位置,對距離分箱的處理可以得到反射或返回的峰值z位置。與Flash激光雷達(dá)不同,掃描激光雷達(dá)一次只在一個x/y方向上“觀察”。發(fā)出脈沖后等待一定時間獲取返回。這使設(shè)計者可以一次關(guān)注發(fā)出能量(在眼安全限制內(nèi))在一個位置上。然后掃描機制移動到下一個“像素”位置。

?脈沖與調(diào)制激光雷達(dá):脈沖激光雷達(dá)需要更高功率來克服陽光的背景噪聲,但系統(tǒng)相對簡單。調(diào)制激光雷達(dá)噪聲水平更低,因為干擾源要么沒有調(diào)制(陽光或其他脈沖激光雷達(dá)),要么與發(fā)射調(diào)制的時間/頻率組合極不可能重合(其他調(diào)制激光雷達(dá))。由于噪聲水平更低,在相似輸出功率下,調(diào)制激光雷達(dá)的范圍遠(yuǎn)超脈沖激光雷達(dá)。更復(fù)雜的發(fā)射器和接收器的代價是主要缺點。根據(jù)調(diào)制方案(如FMCW),它們也有更長的“駐留”時間,因為接收器需要等待完整調(diào)制返回,而不是快速脈沖。這增加的駐留時間導(dǎo)致與其他技術(shù)相比點數(shù)/秒更低。

?原始激光雷達(dá)樣本:激光雷達(dá)樣本測量返回強度對時間的關(guān)系。它們通常每個接收器為1~6 Gbps,不太可能在當(dāng)前汽車網(wǎng)絡(luò)技術(shù)中傳輸。接收強度取決于發(fā)射功率、與物體距離和物體反射率。

?激光雷達(dá)返回波形:對原始樣本進(jìn)行閾值處理形成每個從遠(yuǎn)處物體反射的波形,也稱為返回。

?激光雷達(dá)返回:使用各種算法找到返回波形的強度峰值/時間。對于任 one發(fā)射脈沖,由于波束發(fā)散和目標(biāo)的半透明性,可以有許多不同的返回。這些返回通常包括視場中的x、y位置,返回的距離和強度,以及用于全局同步的時間戳。

?激光雷達(dá)點云:點云是返回列表,可以對視場中的每個x/y位置具有多個返回。大多數(shù)汽車激光雷達(dá)輸出每個x/y位置1~3個返回的點云。研究界有強烈觀點認(rèn)為應(yīng)輸出返回波形,因為它們包含目標(biāo)對象的更多信息。與雷達(dá)處理類似,峰值檢測可有效壓縮所需的數(shù)據(jù)帶寬,但明顯損失目標(biāo)對象信息。

六、ISP接口/連接

具體的傳感器選擇(如攝像頭)不在討論范圍內(nèi)。但是,任何系統(tǒng)功能模塊(如感知)消費的處理后的圖像數(shù)據(jù)在討論范圍內(nèi)。

感知功能模塊

計算平臺必須提供ISP功能以處理輸入的攝像頭數(shù)據(jù)。ISP處理能力必須足以滿足應(yīng)用所需的攝像頭。這取決于許多因素,包括應(yīng)用類別(駕駛場景、自動化水平、ODD)和應(yīng)用實現(xiàn)。不同的自動駕駛應(yīng)用開發(fā)者對于同一場景和ODD的攝像頭使用方式可能有不同方法。

可以觀察到一個大致趨勢:

?一般來說,給定場景所需像素數(shù)受物理定律與檢測算法需求的權(quán)衡限制,因此不同應(yīng)用間可能一致。然而,行業(yè)采用了多種攝像頭數(shù)量和分辨率組合的方法。

?具體應(yīng)用可能選擇較多的1-3MP范圍內(nèi)的低分辨率攝像頭,或少量的高分辨率攝像頭。對于高速自動駕駛場景(如高速公路駕駛),可能使用高達(dá)8MP以上的高分辨率攝像頭以支持遠(yuǎn)距離特征的感知。

在許多計算平臺實現(xiàn)中,ISP處理能力可以靈活配置以支持不同的攝像頭配置。

處理能力可以由所有攝像頭的總像素吞吐量限制,而不是任一單個攝像頭。提供這種靈活性可以支持更多樣化的攝像頭配置。

七、功能模塊圖基準(zhǔn)測試

基準(zhǔn)測試活動主要圍繞兩個方面:

?對應(yīng)于功能模塊圖構(gòu)建模塊的基準(zhǔn)測試。例如深度學(xué)習(xí)推理基準(zhǔn)測試,這是感知和其他模塊的重要構(gòu)建模塊。

?基準(zhǔn)測試框架,關(guān)注橫跨整個計算系統(tǒng)的基準(zhǔn)測試的編排、運行和分析。

八、功能安全和信息安全

功能安全和信息安全無疑是任何汽車系統(tǒng)解決方案的兩個非常重要方面。它們都不會是駕駛自動化系統(tǒng)的簡單附加組件,而是需要進(jìn)行更詳細(xì)的端到端審查,例如調(diào)研可用解決方案和其他組織的活動。

九、示例工作負(fù)載

?

9.1 概述

本節(jié)提供了L1輔助駕駛到L5自動駕駛系統(tǒng)的示例用例;工作負(fù)載配置/感知器設(shè)置和功能類別。目的對可能的硬件解決方案給出粗略方向。

在示例工作負(fù)載中,關(guān)于性能KPI的具體數(shù)字被略去,因為它們一方面是不斷變化的,另一方面是有區(qū)分性的。需要注意,這里示例工作負(fù)載沒有考慮故障操作能力。

示例工作負(fù)載

每個系統(tǒng)主要涵蓋三個方面:

? 感知器套件:為駕駛功能的構(gòu)建奠定基礎(chǔ)。五個導(dǎo)出的系統(tǒng)在感知器套件方面有明顯區(qū)分。

? 功能類別:提供有關(guān)系統(tǒng)可以提供的輔助駕駛和自動駕駛功能的指導(dǎo)。這是靈活的,實際實現(xiàn)可能存在差異。

? 計算指標(biāo):量化硬件性能。行業(yè)內(nèi)認(rèn)為KPI具體值是有區(qū)分性的,因此這里不給出。圖中顯示了示例系統(tǒng)之間的性能和復(fù)雜度趨勢。

9.2 五個示例系統(tǒng)

下面分別介紹從L1輔助駕駛到L4自動駕駛的五個示例系統(tǒng)。??

超低端系統(tǒng)

該系統(tǒng)代表一個示例性感知器配置,包含一個攝像頭(1x3-8.3MP)和一個雷達(dá)。

其目標(biāo)SAE等級為L1,功能類別包括:

? 基本NCAP場景

? 緊急剎車輔助

? 巡航輔助

? 自適應(yīng)巡航控制

如其名稱所示,該系統(tǒng)的計算需求在五個系統(tǒng)中位于范圍底端。?

低端系統(tǒng)

該系統(tǒng)代表一個示例性感知器配置,包含兩個攝像頭(2x8.3MP)、五個雷達(dá)、十個超聲波傳感器,以及一個駕駛員監(jiān)控攝像頭(1x8.3MP)。

其目標(biāo)SAE等級為L2,功能類別包括:

? 高速公路巡航

? 車道內(nèi)交通擁堵(最大50公里/小時)

? 駕駛員確認(rèn)的換道輔助

? 監(jiān)督泊車

該系統(tǒng)的計算需求在五個系統(tǒng)中位于低端。?

中端系統(tǒng)

該系統(tǒng)代表一個示例性感知器配置,包含六個攝像頭(2x 8.3MP + 4x 2.1MP)、五個雷達(dá)、十個超聲波傳感器。

其目標(biāo)SAE等級為L2/L3,功能類別包括:

? 有條件的高速公路自動駕駛

? 有條件的極低速堵車自動駕駛

? 無監(jiān)督泊車(與紅外線配合)

? NCAP場景(包括交叉場景)

該系統(tǒng)的計算需求在五個系統(tǒng)中位于中端。

高端系統(tǒng)

該系統(tǒng)代表一個示例性感知器配置,包含12個攝像頭(3x8.3MP + 9x 2.1MP)、五個雷達(dá)、兩個激光雷達(dá)、十個超聲波傳感器和一個聲學(xué)傳感器。

其目標(biāo)SAE等級為L3/L4,功能類別包括:

? 有條件的高速公路自動駕駛

? 無監(jiān)督泊車

該系統(tǒng)的計算需求在五個系統(tǒng)中位于高端。

超高端系統(tǒng)

該系統(tǒng)代表一個示例性感知器配置,包含15個以上攝像頭(3x8.3MP + 4x 4.9MP + 8x 2.1MP)、十個雷達(dá)、四個激光雷達(dá)、十個超聲波傳感器和一個聲學(xué)傳感器。其目標(biāo)SAE等級為L4,功能類別包括:? 高度自動化高速公路駕駛? 高度自動化城區(qū)低速穿梭(最大50公里/小時)

該系統(tǒng)的計算需求在五個系統(tǒng)中位于頂端。? ?

??

十、開發(fā)接口

除了功能之外,還必須關(guān)注自動駕駛系統(tǒng)(ADS)的開發(fā)過程。下面簡要概述調(diào)試功能,這些功能用于電子控制單元(ECU)的初始開發(fā),以啟動和運行它。

事件記錄部分則概述了從道路檢索數(shù)據(jù)以服務(wù)于開發(fā)、功能改進(jìn)和記錄事件數(shù)據(jù)的其他用途。由于行業(yè)已經(jīng)在汽車安全聯(lián)盟中就這些方面達(dá)成一致,因此這里介紹了他們的工作。?

10.1 調(diào)試功能

一些非侵入式的測量可以使用硬件進(jìn)行,而其他的需要軟件并帶來開銷。系統(tǒng)必須支持?jǐn)?shù)據(jù)的“輔助”(非ADAS)使用。

概念上(如果不是物理上)應(yīng)該有許多一致且不干擾的數(shù)據(jù)探針(或端口):應(yīng)用程序的原始使用、數(shù)據(jù)記錄器、調(diào)試接口和信息娛樂系統(tǒng)。

傳感器數(shù)據(jù)和應(yīng)用程序狀態(tài)在檢查方面是不同的。傳感器數(shù)據(jù)源自處理器外部,可以透明地復(fù)制。應(yīng)用程序數(shù)據(jù)可能只能通過侵入式手段可見。記錄指令流是不同于記錄數(shù)據(jù)流的單獨機制。? ?

對功能模塊的調(diào)試接口應(yīng)考慮以下幾點:

? 探針點

? 每個I/O和所有應(yīng)用程序狀態(tài)變量

? 帶寬?

? 等同于傳感器和應(yīng)用程序?

可能討論的調(diào)試功能項如下:

? 錯誤注入

? 異常捕獲

? 內(nèi)部和外部中斷

? 斷點

? 監(jiān)視點

? 分步執(zhí)行(高低級)

? 讀寫內(nèi)存

? 以完整數(shù)據(jù)速率記錄整個數(shù)據(jù)平面

? JTAG

? 指令跟蹤

? 時間戳

? HIL/SIL仿真

? 遠(yuǎn)程調(diào)試端口訪問

? 計算元素的工作負(fù)載,如CPU/GPU和總線互連

? 計算元素功耗? ?

10.2 事件記錄

在事件期間記錄數(shù)據(jù)出于許多不同原因非常重要,如碰撞調(diào)查、系統(tǒng)性能研究、故障分析、持續(xù)學(xué)習(xí)等。事件分析和調(diào)查將有助于識別經(jīng)驗教訓(xùn),以實現(xiàn)業(yè)界在自動駕駛和駕駛輔助系統(tǒng)方面的整體改進(jìn)。

計算平臺需要以一種可以輕松靈活地收集數(shù)據(jù)的方式進(jìn)行設(shè)計,以實現(xiàn)前述目標(biāo)。

來源 |?智車Robot文章來源地址http://www.zghlxwxcb.cn/news/detail-685554.html

到了這里，關(guān)于自動駕駛和輔助駕駛系統(tǒng)的概念性架構(gòu)(二)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！