原文地址：DriveGPT - Lei Mao's Log Book

自動(dòng)駕駛汽車的核心軟件組件是感知、規(guī)劃和控制。規(guī)劃是指在給定場景或一系列場景的情況下為自動(dòng)駕駛汽車制定行動(dòng)計(jì)劃的過程，以實(shí)現(xiàn)安全和理想的自動(dòng)駕駛。
用于規(guī)劃的場景是從感知軟件組件獲得的。計(jì)劃的行動(dòng)將由控制軟件組件執(zhí)行。
規(guī)劃也可以進(jìn)一步分為三類，任務(wù)規(guī)劃、行為規(guī)劃和地方規(guī)劃。任務(wù)規(guī)劃是旅程的最高級別規(guī)劃。它決定了到達(dá)目的地的路線。例如，我們通常用于導(dǎo)航的谷歌地圖就屬于這一類。行為規(guī)劃是指在給定實(shí)時(shí)動(dòng)態(tài)場景的情況下，決定采取何種高級行動(dòng)的中級規(guī)劃。它決定車輛是否應(yīng)該變道、加速、減速、轉(zhuǎn)彎、停車等。局部規(guī)劃是以平穩(wěn)、安全的方式實(shí)現(xiàn)行為規(guī)劃的低級規(guī)劃。行為規(guī)劃和地方規(guī)劃之間的界限有時(shí)是模糊的。
DriveGPT專注于行為規(guī)劃和本地規(guī)劃。

Drive Language

Drive Language是一種用于描述駕駛實(shí)例的語言。駕駛實(shí)例可以使用駕駛語言來描述，即一個(gè)或多個(gè)駕駛語句。Drive語句由Drive標(biāo)記組成。

Drive Language Tokens

因?yàn)樽鴺?biāo)或?qū)嵵悼梢员涣炕?，所以感知信號表示，例如對象坐?biāo)、對象大小、車道坐標(biāo)、ego-car軌跡坐標(biāo)，可以被量化。根據(jù)如何量化感知信號，我們必須創(chuàng)建的令牌數(shù)量可能會有所不同。如果我們想有更高的令牌化分辨率，我們需要?jiǎng)?chuàng)建的令牌數(shù)量就會增加。例如，如果我們想使用一個(gè)令牌來描述2D對象的坐標(biāo)，那么在2D BEV空間中所需的令牌數(shù)量將是很多。然而，如果我們可以使用兩個(gè)標(biāo)記來分別描述2D對象的x和y坐標(biāo)，則所需的標(biāo)記數(shù)量可以顯著減少。

一旦一個(gè)場景中的感知信號被標(biāo)記化，它們就可以用于描述場景。例如，在天真的場景中，在一個(gè)場景中，如果在特定大小x1、x2和x3的位置有三輛車，在位置和方向y 1、y 2、y 3、y 4有四條車道，而自我汽車的位置是z 1，則Drive語句可能只是，Token x 1、Token x 2、Token x 3、Token y 1、Token y 2、Token y 3、Token y4、Token z 1。描述場景的Drive語句序列也可用于描述場景序列和自我汽車行為。

一系列場景和自我汽車行為可能涉及人類意圖或一系列人類意圖，例如變道和經(jīng)過鄰居的汽車。這些人類意圖也可以使用令牌或令牌序列來描述。根據(jù)令牌工程，人類意圖令牌可以是來自人類自然語言的令牌，也可以是專門的令牌。這樣，Drive語言中的一系列場景描述也可能伴隨著Drive語言中人類的意圖。

Drive Language Model

由于自動(dòng)駕駛制造商擁有大量的人類駕駛數(shù)據(jù)，即場景序列，并且場景通常用感知信號標(biāo)簽、自我汽車行為和人類意圖進(jìn)行了很好的注釋，因此在標(biāo)記這些數(shù)據(jù)后，可以使用驅(qū)動(dòng)語言模型來學(xué)習(xí)作為人類駕駛邏輯后端的驅(qū)動(dòng)語言。
因?yàn)轵?qū)動(dòng)語言模型和其他自然語言處理模型一樣，是一個(gè)生成模型，它可以在先前標(biāo)記化場景和自我汽車行為序列的基礎(chǔ)上生成未來標(biāo)記化場景序列和自我汽車行為。
此外，前面提到的人類意圖注釋自然是語言模型的提示。在用足夠數(shù)量的標(biāo)記化場景、自我-汽車行為和人類意圖訓(xùn)練Drive語言模型之后，在給定人類意圖提示的情況下，Drive語言模型可以遵循人類意圖，生成未來場景和自我-汽車的行為，類似于它從訓(xùn)練數(shù)據(jù)中看到的情況。這類似于OpenAI InstructionGPT和ChatGPT，它們可以在提示中遵循人工指令并生成所需內(nèi)容。

DriveGPT

在驅(qū)動(dòng)語言模型的選擇方面，正如浩默CEO所說，他們以前使用的是Transformer編碼器-解碼器架構(gòu)，但現(xiàn)在他們已經(jīng)完全轉(zhuǎn)向了著名的OpenAI GPT模型所使用的僅Transformer解碼器的架構(gòu)。他們將他們的僅Transformer解碼器架構(gòu)的Drive語言模型命名為DriveGPT。

在上圖中，Haomo使用之前的標(biāo)記化場景、自我汽車行為和人類意圖來預(yù)測未來的標(biāo)記化自我汽車行為，對DriveGPT進(jìn)行預(yù)訓(xùn)練。但在實(shí)踐中，也可以預(yù)先訓(xùn)練DriveGPT，不僅預(yù)測未來的標(biāo)記化自我汽車行為，還預(yù)測未來的符號化場景。通過這種方式，DriveGPT可以生成無限數(shù)量的Drive實(shí)例，郝默稱之為Drive并行宇宙。

Human Feedback In the Loop

與OpenAI InstructGPT和ChatGPT類似，DriveGPT訓(xùn)練也可以在循環(huán)中進(jìn)行人工反饋。它使用人類對未來標(biāo)記化場景和自我汽車行為的質(zhì)量和安全性進(jìn)行排名的數(shù)據(jù)創(chuàng)建了一個(gè)獎(jiǎng)勵(lì)模型，并使用強(qiáng)化學(xué)習(xí)和獎(jiǎng)勵(lì)模型進(jìn)一步微調(diào)預(yù)訓(xùn)練的DriveGPT。

人類反饋在環(huán)獎(jiǎng)勵(lì)模型不僅在普通人類駕駛或自動(dòng)駕駛數(shù)據(jù)上進(jìn)行了訓(xùn)練，而且還使用了自動(dòng)駕駛數(shù)據(jù)，這些數(shù)據(jù)涉及人類參與，通常來自非常困難的駕駛場景。

基本上，當(dāng)自動(dòng)駕駛汽車行駛時(shí)，如果人類選擇在某些場景中接管，這意味著自動(dòng)駕駛模型在這些場景中表現(xiàn)不佳。DriveGPT利用人類接管之前的標(biāo)記化場景和自我汽車行為，可以在未來生成許多標(biāo)記化場景或自我汽車行為。來自真實(shí)數(shù)據(jù)的標(biāo)記化場景和自人類參與以來的自我汽車行為也是與來自相同先前場景和自我汽車行為的其他生成數(shù)據(jù)進(jìn)行比較的非常重要的數(shù)據(jù)點(diǎn)。通常，與DriveGPT生成的DriveGPT獎(jiǎng)勵(lì)模型訓(xùn)練數(shù)據(jù)相比，它排名最高。

Chain of Thoughts

出于安全目的，規(guī)劃的理由非常關(guān)鍵。神經(jīng)網(wǎng)絡(luò)通常是黑匣子。對于非安全應(yīng)用，我們通常不在乎它們是否是黑匣子。然而，對于使用神經(jīng)網(wǎng)絡(luò)進(jìn)行規(guī)劃和決策的安全應(yīng)用，非常有必要了解“神經(jīng)網(wǎng)絡(luò)的實(shí)際想法”。

給定先前的標(biāo)記化場景、自我汽車行為和人類意圖提示，DriveGPT可以生成未來的標(biāo)記化場面和自我汽車行為。如果有一系列場景的人類意圖提示注釋的標(biāo)記化思想鏈，給定一系列標(biāo)記化場景和自我汽車行為，模型也可以學(xué)習(xí)生成標(biāo)記化思想鏈條，使DriveGPT規(guī)劃“不再是黑匣子”。然而，我認(rèn)為有人可能仍然認(rèn)為這仍然是一個(gè)黑匣子，因?yàn)樗季S鏈的生成過程仍然在神經(jīng)網(wǎng)絡(luò)中。這只是神經(jīng)網(wǎng)絡(luò)生成的內(nèi)容似乎是人類可以解釋的。

Critical Review

Haomo的DriveGPT是否真的能有好的表現(xiàn)仍然是個(gè)問題。即使DriveGPT可以在離線設(shè)置的GPU數(shù)據(jù)中心中表現(xiàn)良好，我認(rèn)為在汽車SoC上實(shí)時(shí)運(yùn)行DriveGPT可能太具挑戰(zhàn)性了，因?yàn)闉樯蒅PT模型運(yùn)行推理的成本太高。

常見問題解答

自動(dòng)駕駛可以從人類駕駛員那里端到端學(xué)習(xí)嗎？

從理論上講，我們可以。我們可以構(gòu)建一個(gè)模型，并使用人類駕駛傳感器數(shù)據(jù)和駕駛員行為數(shù)據(jù)對其進(jìn)行端到端的訓(xùn)練（從傳感器到動(dòng)作），即使沒有感知注釋。然而，就目前的技術(shù)而言，這種端到端學(xué)習(xí)的性能還不足以用于生產(chǎn)，因?yàn)樽詣?dòng)駕駛具有極高的安全標(biāo)準(zhǔn)，并且用現(xiàn)有的學(xué)習(xí)算法很難同時(shí)端到端地學(xué)習(xí)多個(gè)組件。這就是為什么大多數(shù)自動(dòng)駕駛制造商將自動(dòng)駕駛解決方案分為感知、規(guī)劃和控制，并試圖將它們完美地構(gòu)建在一起。
haomo也是如此。DriveGPT需要高質(zhì)量的感知信號輸入。

每個(gè)?Drive Language token?都可以用于描述場景嗎？

不太可能，因?yàn)閳鼍疤珡?fù)雜了，無法用一個(gè) token 來描述。即使我們將驅(qū)動(dòng)空間量化為20個(gè)網(wǎng)格，每個(gè)網(wǎng)格都使用一個(gè)二進(jìn)制值來指示是否存在障礙物。一個(gè)場景的可能 token數(shù)量為2^20=1048876，約為一百萬，這對于當(dāng)前的語言模型來說太大了，無法成功學(xué)習(xí)。這甚至沒有考慮其他場景因素，如障礙物類型、大小和車道類型。

References

• OpenAI GPT Models
• Haomo Releases DriveGPT
• Haomo’s self-driving ambitions leap forward with launch of DriveGPT
• Planning and Decision-Making for Autonomous Vehicles
• Haomo 8th AI Day
• Haomo 7th AI Day
• Haomo 6th AI Day
• Haomo 5th AI Day

DriveGPT

DriveGPT - Lei Mao's Log Book

DriveGPT能做到什么？又是如何構(gòu)建的？顧維灝在AI DAY上都做了詳細(xì)解讀。此外，AI DAY還展示了毫末自動(dòng)駕駛數(shù)據(jù)體系MANA的升級情況，主要是其在視覺感知能力上的進(jìn)展。

01.

什么是DriveGPT？能實(shí)現(xiàn)什么？

顧維灝首先講解了GPT的原理，生成式預(yù)訓(xùn)練Transformer模型本質(zhì)上是在求解下一個(gè)詞出現(xiàn)的概率，每一次調(diào)用都是從概率分布中抽樣并生成一個(gè)詞，這樣不斷地循環(huán)，就能生成一連串的字符，用于各種下游任務(wù)。

以中文自然語言為例，單字或單詞就是Token，中文的Token詞表有5萬個(gè)左右。把Token輸入到模型，輸出就是下一個(gè)字詞的概率，這種概率分布體現(xiàn)的是語言中的知識和邏輯，大模型在輸出下一個(gè)字詞時(shí)就是根據(jù)語言知識和邏輯進(jìn)行推理的結(jié)果，就像根據(jù)一部偵探小說的復(fù)雜線索來推理兇手是誰。

而作為適用于自動(dòng)駕駛訓(xùn)練的大模型，DriveGPT雪湖·海若三個(gè)能力：

1.可以按概率生成很多個(gè)這樣的場景序列，每個(gè)場景都是一個(gè)全局的場景，每個(gè)場景序列都是未來有可能發(fā)生的一種實(shí)際情況。

2.是在所有場景序列都產(chǎn)生的情況下，能把場景中最關(guān)注的自車行為軌跡給量化出來，也就是生成場景的同時(shí)，便會產(chǎn)生自車未來的軌跡信息。

3.有了這段軌跡之后，DriveGPT雪湖·海若還能在生成場景序列、軌跡的同時(shí)，輸出整個(gè)決策邏輯鏈。

也就是說，利用DriveGPT雪湖·海若，在一個(gè)統(tǒng)一的生成式框架下，就能做到將規(guī)劃、決策與推理等多個(gè)任務(wù)全部完成。

具體來看，DriveGPT雪湖·海若的設(shè)計(jì)是將場景Token化，毫末將其稱為Drive Language。

Drive Language將駕駛空間進(jìn)行離散化處理，每一個(gè)Token都表征場景的一小部分。目前毫末擁有50萬個(gè)左右的Token詞表空間。如果輸入一連串過去已經(jīng)發(fā)生的場景Token序列，模型就可以根據(jù)歷史，生成未來所有可能的場景。

也就是說，DriveGPT雪湖·海若同樣像是一部推理機(jī)器，告訴它過去發(fā)生了什么，它就能按概率推理出未來的多個(gè)可能。

一連串Token拼在一起就是一個(gè)完整的駕駛場景時(shí)間序列，包括了未來某個(gè)時(shí)刻整個(gè)交通環(huán)境的狀態(tài)以及自車的狀態(tài)。

有了Drive Language，就可以對DriveGPT進(jìn)行訓(xùn)練了。

毫末對DriveGPT的訓(xùn)練過程首先是根據(jù)駕駛數(shù)據(jù)以及之前定義的駕駛嘗試做一個(gè)大規(guī)模的預(yù)訓(xùn)練。

然后，通過在使用過程中接管或者不接管的場景，對預(yù)訓(xùn)練的結(jié)果進(jìn)行打分和排序，訓(xùn)練反饋模型。也就是說利用正確的人類開法來替代錯(cuò)誤的自動(dòng)駕駛開法。

后續(xù)就是用強(qiáng)化學(xué)習(xí)的思路不斷優(yōu)化迭代模型。

在預(yù)訓(xùn)練模型上，毫末采用Decode-only結(jié)構(gòu)的GPT模型，每一個(gè)Token用于描述某時(shí)刻的場景狀態(tài)，包括障礙物的狀態(tài)、自車狀態(tài)、車道線情況等等。

目前，毫末的預(yù)訓(xùn)練模型擁有1200億個(gè)參數(shù)，使用4000萬量產(chǎn)車的駕駛數(shù)據(jù)，本身就能夠?qū)Ω鞣N場景做生成式任務(wù)。

這些生成結(jié)果會按照人類偏好進(jìn)行調(diào)優(yōu)，在安全、高效、舒適等維度上做出取舍。同時(shí)，毫末會用部分經(jīng)過篩選的人類接管數(shù)據(jù)，大概5萬個(gè)Clips去做反饋模型的訓(xùn)練，不斷優(yōu)化預(yù)訓(xùn)練模型。

在輸出決策邏輯鏈時(shí)，DriveGPT雪湖·海若利用了prompt提示語技術(shù)。輸入端給到模型一個(gè)提示，告訴它“要去哪、慢一點(diǎn)還是快一點(diǎn)、并且讓它一步步推理”，經(jīng)過這種提示后，它就會朝著期望的方向去生成結(jié)果，并且每個(gè)結(jié)果都帶有決策邏輯鏈。每個(gè)結(jié)果也會有未來出現(xiàn)的可能性。這樣我們就可以選擇未來出現(xiàn)可能性最大，最有邏輯的鏈條駕駛策略。

可以用一個(gè)形象的示例來解釋DriveGPT雪湖·海若的推理能力。假設(shè)提示模型要“抵達(dá)某個(gè)目標(biāo)點(diǎn)”，DriveGPT雪湖·海若會生成很多個(gè)可能的開法，有的激進(jìn)，會連續(xù)變道超車，快速抵達(dá)目標(biāo)點(diǎn)，有的穩(wěn)重，跟車行駛到終點(diǎn)。這時(shí)如果提示語里沒有其他額外指示，DriveGPT雪湖·海若就會按照反饋訓(xùn)練時(shí)的調(diào)優(yōu)效果，最終給到一個(gè)更符合大部分人駕駛偏好的效果。

02.

實(shí)現(xiàn)DriveGPT毫末做了什么？

首先，DriveGPT雪湖·海若的訓(xùn)練和落地，離不開算力的支持。

今年1月，毫末就和火山引擎共同發(fā)布了其自建智算中心，毫末雪湖·綠洲MANA OASIS。OASIS的算力高達(dá)67億億次/秒，存儲帶寬2T/秒，通信帶寬達(dá)到800G/秒。

當(dāng)然，光有算力還不夠，還需要訓(xùn)練和推理框架的支持。因此，毫末也做了以下三方面的升級。

一是訓(xùn)練穩(wěn)定性的保障和升級。

大模型訓(xùn)練是一個(gè)十分艱巨的任務(wù)，隨著數(shù)據(jù)規(guī)模、集群規(guī)模、訓(xùn)練時(shí)間的數(shù)量級增長，系統(tǒng)穩(wěn)定性方面微小的問題也會被無限放大，如果不加處理，訓(xùn)練任務(wù)就會經(jīng)常出錯(cuò)導(dǎo)致非正常中斷，浪費(fèi)前期投入的大量資源。

毫末在大模型訓(xùn)練框架的基礎(chǔ)上，與火山引擎共同建立了全套訓(xùn)練保障框架，通過訓(xùn)練保障框架，毫末實(shí)現(xiàn)了異常任務(wù)分鐘級捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)月沒有任何非正常中斷，有效地保障了DriveGPT雪湖·海若大模型訓(xùn)練的穩(wěn)定性。

二是彈性調(diào)度資源的升級。

毫末擁有量產(chǎn)車帶來的海量真實(shí)數(shù)據(jù)，可自動(dòng)化的利用回傳數(shù)據(jù)不斷的學(xué)習(xí)真實(shí)世界。由于每天不同時(shí)段回傳的數(shù)據(jù)量差異巨大，需要訓(xùn)練平臺具備彈性調(diào)度能力，自適應(yīng)數(shù)據(jù)規(guī)模大小。

毫末將增量學(xué)習(xí)技術(shù)推廣到大模型訓(xùn)練，構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng)，研發(fā)了任務(wù)級彈性伸縮調(diào)度器，分鐘級調(diào)度資源，集群計(jì)算資源利用率達(dá)到95%。

三是吞吐效率的升級。

在訓(xùn)練效率上，毫末在Transformer的大矩陣計(jì)算上，通過對內(nèi)外循環(huán)的數(shù)據(jù)拆分、盡量保持?jǐn)?shù)據(jù)在SRAM中來提升計(jì)算的效率。在傳統(tǒng)的訓(xùn)練框架中，算子流程很長，毫末通過引入火山引擎提供的Lego算之庫實(shí)現(xiàn)算子融合，使端到端吞吐提升84%。

有了算力和這三方面的升級，毫末可對DriveGPT雪湖·海若進(jìn)行更好的訓(xùn)練迭代升級。

03.

MANA大升級，攝像頭代替超聲波雷達(dá)

毫末在2021年12月的第四屆AI DAY上發(fā)布自動(dòng)駕駛數(shù)據(jù)智能體系MANA，經(jīng)過一年多時(shí)間的應(yīng)用迭代，現(xiàn)在MANA迎來了全面的升級。

據(jù)顧維灝介紹，本次升級主要包括：

1.感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT。

2.計(jì)算基礎(chǔ)服務(wù)針對大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項(xiàng)優(yōu)化，并集成到OASIS當(dāng)中。

3.增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本。

4.針對多種芯片和多種車型的快速交付難題，優(yōu)化了異構(gòu)部署工具和車型適配工具。

前文我們已經(jīng)詳細(xì)介紹了DriveGPT相關(guān)的內(nèi)容，以下主要來看MANA在視覺感知上的進(jìn)展。

顧維灝表示，視覺感知任務(wù)的核心目的都是恢復(fù)真實(shí)世界的動(dòng)靜態(tài)信息和紋理分布。因此毫末對視覺自監(jiān)督大模型做了一次架構(gòu)升級，將預(yù)測環(huán)境的三維結(jié)構(gòu)，速度場和紋理分布融合到一個(gè)訓(xùn)練目標(biāo)里面，使其能從容應(yīng)對各種具體任務(wù)。目前毫末視覺自監(jiān)督大模型的數(shù)據(jù)集超過400萬Clips，感知性能提升20%。

在泊車場景下，毫末做到了用魚眼相機(jī)純視覺測距達(dá)到泊車要求，可做到在15米范圍內(nèi)達(dá)測量精度30cm，2米內(nèi)精度高于10cm。用純視覺代替超聲波雷達(dá)，進(jìn)一步降低整體方案的成本。

此外，在純視覺三維重建方面，通過視覺自監(jiān)督大模型技術(shù)，毫末不依賴激光雷達(dá)，就能將收集的大量量產(chǎn)回傳視頻轉(zhuǎn)化為可用于BEV模型訓(xùn)練的帶3D標(biāo)注的真值數(shù)據(jù)。

通過對NeRF的升級，毫末表示可以做到重建誤差小于10cm，并且對于場景中的動(dòng)態(tài)物體也能做到很好的重建和渲染，達(dá)到肉眼基本看不出差異的程度。

此外，由于單趟重建有時(shí)會受到遮擋的影響，不能完整的還原三維空間，毫末也嘗試了多趟重建的方式，即多輛車在不同時(shí)間經(jīng)過同一地方，可以將數(shù)據(jù)合在一起做多趟重建。

顧維灝表示，目前毫末已經(jīng)實(shí)現(xiàn)了更高的場景還原度，重建效率提升5倍，同時(shí)，還可在重建之后編輯場景合成難以收集的Corner Case。

此外，毫末也訓(xùn)練了一個(gè)可以在靜態(tài)場景做虛擬動(dòng)態(tài)物體編輯的模型，并且可以控制虛擬物體在場景中按照設(shè)定的軌跡運(yùn)動(dòng)，以更加高效的合成各種hardcase，使系統(tǒng)能夠見識到足夠多的corner case，低成本的測試自身的能力邊界，提升NOH應(yīng)對城市復(fù)雜交通環(huán)境的能力。

顧維灝表示，毫末DriveGPT雪湖·海若大模型的成果將在搭載毫末HPilot3.0的新摩卡DHT-PHEV上首發(fā)落地。

同時(shí)，顧維灝也表示，毫末DriveGPT雪湖·海若大模型將對生態(tài)伙伴開放。

隨著汽車智能化趨勢加速，我國智能駕駛賽道迎來爆發(fā)。當(dāng)前高階智駕產(chǎn)品正經(jīng)歷從高速場景到城市場景落地的比拼，而城市輔助駕駛被認(rèn)為是邁向真正自動(dòng)駕駛的最后一個(gè)挑戰(zhàn)。毫末認(rèn)為，決定這場智能駕駛產(chǎn)品躍遷的關(guān)鍵，是自動(dòng)駕駛AI算法在開發(fā)模式和技術(shù)框架的顛覆性變革，而AI大模型則成為引領(lǐng)這場技術(shù)變革的核心變量。

　　2023年10月11日第九屆毫末AI DAY上，顧維灝發(fā)表了主題為《自動(dòng)駕駛3.0時(shí)代：大模型將重塑汽車智能化的技術(shù)路線》的演講，分享了毫末對于自動(dòng)駕駛3.0時(shí)代AI開發(fā)模式和技術(shù)架構(gòu)變革的思考，同時(shí)也公布了毫末DriveGPT大模型的最新進(jìn)展和實(shí)踐。其中，截至目前，毫末型DriveGPT雪湖·海若已累計(jì)計(jì)篩選出超過100億幀互聯(lián)網(wǎng)圖片數(shù)據(jù)集和480萬段包含人駕行為的自動(dòng)駕駛4D Clips數(shù)據(jù)；在通用感知上，進(jìn)一步升級引入多模態(tài)大模型，獲得識別萬物的能力；與NeRF技術(shù)進(jìn)一步整合，渲染重建4D空間；在通用認(rèn)知上，借助LLM（大語言模型），讓自動(dòng)駕駛認(rèn)知決策具備世界知識，能夠做出更好的駕駛策略。

（顧維灝：DriveGPT通用感知與通用認(rèn)知能力全面升級）

　　毫末智行CEO顧維灝提出：“在大數(shù)據(jù)、大模型、大算力的自動(dòng)駕駛3.0時(shí)代，自動(dòng)駕駛技術(shù)框架也會發(fā)生顛覆性的變化。在感知階段，通過海量的數(shù)據(jù)訓(xùn)練感知基礎(chǔ)模型，學(xué)習(xí)并認(rèn)識客觀世界的各種物體；在認(rèn)知階段，則通過海量司機(jī)的駕駛行為數(shù)據(jù)，學(xué)習(xí)駕駛常識，通過數(shù)據(jù)驅(qū)動(dòng)的方式不斷迭代并提升整個(gè)系統(tǒng)的能力水平。毫末一直以數(shù)據(jù)驅(qū)動(dòng)的方式來推動(dòng)自動(dòng)駕駛產(chǎn)品的升級，為進(jìn)入自動(dòng)駕駛3.0時(shí)代做準(zhǔn)備?！?/p>

1

通用感知可識別萬物、通用認(rèn)知學(xué)會世界知識：毫末DriveGPT引領(lǐng)自動(dòng)駕駛大模型新范式

　　顧維灝認(rèn)為，與2.0時(shí)代相比，自動(dòng)駕駛3.0時(shí)代的開發(fā)模式將發(fā)生顛覆性的變革。在自動(dòng)駕駛2.0時(shí)代，以小數(shù)據(jù)、小模型為特征，以Case任務(wù)驅(qū)動(dòng)為開發(fā)模式。而自動(dòng)駕駛3.0時(shí)代，以大數(shù)據(jù)、大模型為特征，以數(shù)據(jù)驅(qū)動(dòng)為開發(fā)模式。

　　相比2.0時(shí)代主要采用傳統(tǒng)模塊化框架，3.0時(shí)代的技術(shù)框架也發(fā)生了顛覆性變化。

　　首先，自動(dòng)駕駛會在云端實(shí)現(xiàn)感知大模型和認(rèn)知大模型的能力突破，并將車端各類小模型逐步統(tǒng)一為感知模型和認(rèn)知模型，同時(shí)將控制模塊也AI模型化。隨后，車端智駕系統(tǒng)的演進(jìn)路線也是一方面會逐步全鏈路模型化，另一方面是逐步大模型化，即小模型逐漸統(tǒng)一到大模型內(nèi)。然后，云端大模型也可以通過剪枝、蒸餾等方式逐步提升車端的感知能力，甚至在通訊環(huán)境比較好的地方，大模型甚至可以通過車云協(xié)同的方式實(shí)現(xiàn)遠(yuǎn)程控車。最后，在未來車端、云端都是端到端的自動(dòng)駕駛大模型

（毫末DriveGPT升級：大模型讓自動(dòng)駕駛擁有世界知識）

　　毫末DriveGPT大模型正是按照3.0時(shí)代的技術(shù)框架要求進(jìn)行升級。在通用感知能力提升上，DriveGPT通過引入多模態(tài)大模型，實(shí)現(xiàn)文、圖、視頻多模態(tài)信息的整合，獲得識別萬物的能力；同時(shí)，通過與NeRF技術(shù)整合，DriveGPT實(shí)現(xiàn)更強(qiáng)的4D空間重建能力，獲得對三維空間和時(shí)序的全面建模能力；在通用認(rèn)知能力提升上，DriveGPT借助大語言模型，將世界知識引入到駕駛策略，從而做出更好的駕駛決策優(yōu)化。

　　具體來講，在感知階段，DriveGPT首先通過構(gòu)建視覺感知大模型來實(shí)現(xiàn)對真實(shí)物理世界的學(xué)習(xí)，將真實(shí)世界建模到三維空間，再加上時(shí)序形成4D向量空間；然后，在構(gòu)建對真實(shí)物理世界的4D感知基礎(chǔ)上，毫末進(jìn)一步引入開源的圖文多模態(tài)大模型，構(gòu)建更為通用的語義感知大模型，實(shí)現(xiàn)文、圖、視頻多模態(tài)信息的整合，從而完成4D向量空間到語義空間的對齊，實(shí)現(xiàn)跟人類一樣的“識別萬物”的能力。

（毫末DriveGPT通用感知大模型：讓自動(dòng)駕駛認(rèn)識萬物）

　　毫末通用感知能力的進(jìn)化升級包含兩個(gè)方面。首先是視覺大模型的CVBackbone的持續(xù)進(jìn)化，當(dāng)前基于大規(guī)模數(shù)據(jù)的自監(jiān)督學(xué)習(xí)訓(xùn)練范式，采用Transformer大模型架構(gòu)，實(shí)現(xiàn)視頻生成的方式來進(jìn)行訓(xùn)練，構(gòu)建包含三維的幾何結(jié)構(gòu)、圖片紋理、時(shí)序信息等信息的4D表征空間，實(shí)現(xiàn)對全面的物理世界的感知和預(yù)測。其次是構(gòu)建起更基礎(chǔ)的通用語義感知大模型，在視覺大模型基礎(chǔ)上，引入圖文多模態(tài)模型來提升感知效果，圖文多模態(tài)模型可以對齊自然語言信息和圖片的視覺信息，在自動(dòng)駕駛場景中就可以對齊視覺和語言的特征空間，從而具備識別萬物的能力，也由此可以更好完成目標(biāo)檢測、目標(biāo)跟蹤、深度預(yù)測等各類任務(wù)。

　　在認(rèn)知階段，基于通用語義感知大模型提供的“萬物識別”能力，DriveGPT通過構(gòu)建駕駛語言（Drive Language）來描述駕駛環(huán)境和駕駛意圖，再結(jié)合導(dǎo)航引導(dǎo)信息以及自車歷史動(dòng)作，并借助外部大語言模型LLM的海量知識來輔助給出駕駛決策。

（毫末DriveGPT認(rèn)知大模型：讓自動(dòng)駕駛具備常識）

　　由于大語言模型已經(jīng)學(xué)習(xí)到并壓縮了人類社會的全部知識，因而也就包含了駕駛相關(guān)的知識。經(jīng)過毫末對大語言模型的專門訓(xùn)練和微調(diào)，從而讓大語言模型更好地適配自動(dòng)駕駛?cè)蝿?wù)，使得大語言模型能真正看懂駕駛環(huán)境、解釋駕駛行為，做出駕駛決策。

　　認(rèn)知大模型通過與大語言模型結(jié)合，使得自動(dòng)駕駛認(rèn)知決策獲得了人類社會的常識和推理能力，也就是獲得了世界知識，從而提升自動(dòng)駕駛策略的可解釋性和泛化性。

　　顧維灝表示：“未來的自動(dòng)駕駛系統(tǒng)一定是跟人類駕駛員一樣，不但具備對三維空間的精確感知測量能力，而且能夠像人類一樣理解萬物之間的聯(lián)系、事件發(fā)生的邏輯和背后的常識，并且能基于這些人類社會的經(jīng)驗(yàn)來做出更好的駕駛策略，真正實(shí)現(xiàn)完全無人駕駛?！?/p>

2

能生成、會解釋、可預(yù)測：毫末DriveGPT大模型升級帶來七大應(yīng)用實(shí)踐

　　在毫末DriveGPT大模型的最新開發(fā)模式和技術(shù)框架基礎(chǔ)上，顧維灝同時(shí)分享了自動(dòng)駕駛大模型的七大應(yīng)用實(shí)踐，包括駕駛場景理解、駕駛場景標(biāo)注、駕駛場景生成、駕駛場景遷移、駕駛行為解釋、駕駛環(huán)境預(yù)測和車端模型開發(fā)。

（毫末DriveGPT應(yīng)用的七大實(shí)踐）

　　顧維灝表示：“毫末DriveGPT大模型的應(yīng)用，在自動(dòng)駕駛系統(tǒng)開發(fā)過程中帶來了巨大技術(shù)提升，使得毫末的自動(dòng)駕駛系統(tǒng)開發(fā)徹底進(jìn)入了全新模式，新開發(fā)模式和技術(shù)架構(gòu)將大大加速汽車智能化的進(jìn)化進(jìn)程。”

　　第一、駕駛場景理解，可實(shí)現(xiàn)秒級數(shù)據(jù)篩選，為圖文多模態(tài)模型發(fā)掘海量優(yōu)質(zhì)數(shù)據(jù)。

（駕駛場景理解：開集語義圖像檢索）

　　原有自動(dòng)駕駛技術(shù)方案在解決Corner case時(shí)，都需要先收集一批與此case相關(guān)的數(shù)據(jù)，然后以標(biāo)簽加人工的方式進(jìn)行數(shù)據(jù)標(biāo)注，即先對圖片打上標(biāo)簽，然后用標(biāo)簽做粗篩選、再人工細(xì)篩選，成本非常高、效率非常低?，F(xiàn)在，毫末采用通用感知大模型，可以利用圖文多模態(tài)模型對海量采集圖片進(jìn)行目標(biāo)級別和全圖級別的特征提取，變成圖片表征向量，并對這些海量的向量數(shù)據(jù)建立向量數(shù)據(jù)庫，可以從百億級別的向量數(shù)據(jù)庫中找到任意文本對應(yīng)的駕駛場景數(shù)據(jù)，實(shí)現(xiàn)秒級搜索。

　　基于這一能力，毫末還構(gòu)建了專有的自動(dòng)駕駛場景多模態(tài)數(shù)據(jù)集，訓(xùn)練了毫末的圖文多模態(tài)模型，來對如魚骨線、雙黃實(shí)線車道線等理解難度較大的駕駛環(huán)境特有場景進(jìn)行專門訓(xùn)練和學(xué)習(xí)。

　　第二、駕駛場景標(biāo)注，實(shí)現(xiàn)更高效的Zero-Shot的自動(dòng)數(shù)據(jù)標(biāo)注，讓萬物皆可被認(rèn)出。

（駕駛場景標(biāo)注：zeroShot自動(dòng)標(biāo)注）

　　原有的自動(dòng)駕駛感知算法，僅僅能識別人工標(biāo)注過的有限個(gè)品類的物體，一般也就幾十類，這些品類之外的物體都無法識別，通常稱之為閉集（Closed-set）數(shù)據(jù)。毫末通過圖文多模態(tài)大模型將原有僅識別少數(shù)交通元素的閉集場景標(biāo)注，升級為開集（Open-set）場景中進(jìn)行Zero-Shot的自動(dòng)標(biāo)注，從而應(yīng)對千變?nèi)f化的真實(shí)世界的各類駕駛場景，實(shí)現(xiàn)對任意物體既快速又精準(zhǔn)的標(biāo)注。

　　通過多模態(tài)技術(shù)對齊圖文表征，再利用大語言模型輔助用于提供開放詞句的表征能力，最終完成Zero-Shot的自動(dòng)標(biāo)注。通過該方案，毫末不僅實(shí)現(xiàn)了針對新品類的Zero-Shot快速標(biāo)注，而且精度還非常高，預(yù)標(biāo)注準(zhǔn)召達(dá)到80%以上。

　　第三、駕駛場景生成，實(shí)現(xiàn)無中生有的可控生成技術(shù)，讓Hardcase不再難找。

（駕駛場景生成：無中生有的可控生成）

　　為應(yīng)對海量數(shù)據(jù)中相關(guān)困難場景（Hardcase）數(shù)據(jù)不足的問題，毫末基于DriveGPT大模型構(gòu)建了AIGC能力，從而生成平時(shí)難以獲取的Hardcase數(shù)據(jù)?；诤聊┴S富的駕駛數(shù)據(jù)，訓(xùn)練了駕駛場景的AIGC模型，可通過輸入標(biāo)注結(jié)果，比如路口、大區(qū)率彎道等車道線，再以這個(gè)標(biāo)注結(jié)果為Prompt來生成對應(yīng)的圖像。基于這樣的可控生成的圖像，一方面可以通過標(biāo)注進(jìn)行更加精細(xì)的位置控制，另一方面也讓新生成的數(shù)據(jù)自帶了標(biāo)注信息，可以直接用于下游任務(wù)的訓(xùn)練。

　　第四、駕駛場景遷移，通過瞬息萬變的場景遷移技術(shù)，實(shí)現(xiàn)全天候駕駛數(shù)據(jù)的同時(shí)獲取。

（駕駛場景遷移：輕松獲取全天候駕駛數(shù)據(jù)）

　　除了基于標(biāo)注結(jié)果的數(shù)據(jù)生成之外，DriveGPT還可以進(jìn)行高效的場景遷移。通過引入文字引導(dǎo)，AIGC生成能力可以用單個(gè)模型實(shí)現(xiàn)多目標(biāo)場景生成。基于毫末的感知大模型，以真實(shí)的采集圖像作為引導(dǎo)，通過文本語言來描述希望生成的目標(biāo)場景，可實(shí)現(xiàn)清晨、正午、黃昏、夜晚等多時(shí)間段光照變換，同時(shí)也可把晴天轉(zhuǎn)換為雨天、雪天、霧天等各種極端天氣。通過這種方式，能將采集到的一個(gè)場景，遷移到該場景的不同時(shí)間、不同天氣、不同光照等各類新場景下，極大地豐富了訓(xùn)練數(shù)據(jù)，提高模型在極端場景下的泛化性。

　　第五、駕駛行為解釋，通過引入大語言模型，讓AI解說駕駛場景和駕駛策略。

　　毫末DriveGPT原本對自動(dòng)駕駛策略解釋的做法是引入場景庫、并對典型場景用人工標(biāo)注的方式給出駕駛解釋，這次升級則是通過引入大語言模型來對駕駛環(huán)境、駕駛決策做出更豐富的解釋，相當(dāng)于讓AI自己解釋自己的駕駛策略。

　　首先，將感知大模型的結(jié)果解碼得到當(dāng)前的感知結(jié)果，再結(jié)合自車信息和駕駛意圖，構(gòu)造典型的Drive Prompt（駕駛提示語），將這些Prompt輸入大語言模型，從而讓大語言模型對當(dāng)前的自動(dòng)駕駛環(huán)境做出解釋。其次，大語言模型也可以對自動(dòng)駕駛系統(tǒng)所做出的駕駛行為給出合理的解釋，掌握例如為什么要加速、為什么要減速、為什么要變道等，讓大語言模型能夠像駕校教練或者陪練一樣，對駕駛行為做出詳細(xì)的解釋。大語言模型的引入，一方面能解決大模型不可解釋的問題，另一方面也能基于這些駕駛解釋來進(jìn)行駕駛決策的優(yōu)化。

（駕駛行為解釋：讓AI解釋自己的駕駛決策）

　　第六、駕駛環(huán)境預(yù)測，讓DriveGPT具備社會常識，從而可以準(zhǔn)確地預(yù)測未來場景。

　　DriveGPT原有采用生成式預(yù)訓(xùn)練的方式，使用海量司機(jī)駕駛行為進(jìn)行預(yù)訓(xùn)練以及引入大量司機(jī)接管數(shù)據(jù)座位人類反饋數(shù)據(jù)進(jìn)行強(qiáng)化學(xué)習(xí)，從而基于已有的BEV場景來更好預(yù)測生成未來幾秒的BEV場景。但是DriveGPT需要具備像人類一樣對社會常識、社會潛規(guī)則的理解，并基于這種潛規(guī)則做出更好的預(yù)測。因此，除了使用駕駛行為數(shù)據(jù)，DriveGPT還需要引入大語言模型，才可以在預(yù)測規(guī)劃中融入人類社會的知識或常識，才能給出更合理的駕駛決策。

　　顧維灝認(rèn)為：“我們相信，必須要引入大語言模型，才能讓自動(dòng)駕駛具備常識，而自動(dòng)駕駛必須具備常識，才能理解人類社會的各種明規(guī)則、潛規(guī)則，才能跟老司機(jī)一樣，與各類障礙物進(jìn)行更好地交互?！?/p>

（駕駛環(huán)境預(yù)測：更像人類一樣預(yù)測未來場景）

　　第七、車端模型開發(fā)，把大模型蒸餾成小模型，從而在有限車端算力上得到更好效果。

　　大模型訓(xùn)練需要依靠云端的海量數(shù)據(jù)和超大算力，短期內(nèi)難以直接部署到車端芯片，而如何讓大模型的能力幫助車端提升效果，可以采用蒸餾的方式。第一種蒸餾方法是使用大模型來輸出各類偽標(biāo)簽，偽標(biāo)簽既可以作為訓(xùn)練語料，來豐富車端小模型的訓(xùn)練數(shù)據(jù)，也可以作為監(jiān)督信號，讓車端小模型來學(xué)習(xí)云端大模型的預(yù)測結(jié)果；第二種蒸餾方法是通過對齊Feature Map的方式，讓車端小模型直接學(xué)習(xí)并對齊云端的Feature Map，從而提升車端小模型的能力。基于蒸餾的方式，可以讓車端的感知效果提升5個(gè)百分點(diǎn)。

（車端模型開發(fā)新模式：把大模型蒸餾成小模型）

3

純視覺泊車、道路全要素識別、小目標(biāo)檢測：毫末DriveGPT

賦能車端

感知提升

　　毫末利用視覺感知模型，使用魚眼相機(jī)可以識別墻、柱子、車輛等各類型的邊界輪廓，形成360度的全視野動(dòng)態(tài)感知，可以做到在15米范圍內(nèi)達(dá)到30cm的測量精度，2米內(nèi)精度可以高于10cm。這樣的精度可實(shí)現(xiàn)用視覺取代USS超聲波雷達(dá)，從而進(jìn)一步降低整體智駕方案成本。

（毫末純視覺泊車）

　　基于DriveGPT基于通用感知的萬物識別的能力，毫末對交通場景全要素識別也有了較大提升，從原有感知模型只能識別少數(shù)幾類障礙物和車道線，到現(xiàn)在可以識別各類交通標(biāo)志、地面箭頭、甚至井蓋等交通場景的全要素?cái)?shù)據(jù)。大量高質(zhì)量的道路場景全要素標(biāo)注數(shù)據(jù)，可以有效幫助毫末重感知的車端感知模型實(shí)現(xiàn)效果的提升，助力城市NOH的加速進(jìn)城。

（毫末城市NOH感知全要素識別）

　　基于DriveGPT的通用語義感知模型能力對通用障礙物的開集場景標(biāo)注，可實(shí)現(xiàn)對道路上小目標(biāo)障礙物檢測也有較好的效果。毫末在當(dāng)前城市NOH的測試中，可以在城市道路場景中，在時(shí)速最高70公里的50米距離外，就能檢測到大概高度為35cm的小目標(biāo)障礙物，可以做到100%的成功繞障或剎停，這樣可以對道路上穿行的小動(dòng)物等移動(dòng)障礙物起到很好地檢測保護(hù)作用。

（毫末城市NOH小目標(biāo)障礙物檢測）

　　歷屆HAOMO AI DAY的核心主題都是聚焦最硬核的自動(dòng)駕駛AI技術(shù)，這次更是專門聚焦AI大模型對于自動(dòng)駕駛技術(shù)的賦能，提出了探索端到端自動(dòng)駕駛技術(shù)路線的一種新可能。

　　正如顧維灝在結(jié)尾說道：“毫末即將成立四周年，一約既定，萬山無阻。毫末人將繼續(xù)用AI連接更廣闊的世界，用技術(shù)叩問更浩遠(yuǎn)的未來?！盚AOMO AI DAY成為中國自動(dòng)駕駛技術(shù)的一面旗幟，同時(shí)也正在成為毫末向年輕的AI人才發(fā)出邀請的最好的一扇窗口。文章來源地址http://www.zghlxwxcb.cn/news/detail-738835.html

到了這里，關(guān)于【DriveGPT學(xué)習(xí)筆記】自動(dòng)駕駛汽車Autonomous Vehicle Planning的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！