目錄

概要

Motivation

整體架構(gòu)流程

技術(shù)細(xì)節(jié)

3D Auto Labeling Pipeline

The static object auto labeling model

The dynamic object auto labeling model

小結(jié)

論文地址：[2103.05073] Offboard 3D Object Detection from Point Cloud Sequences (arxiv.org)

概要

? ? 該論文提出了一種利用點(diǎn)云序列數(shù)據(jù)進(jìn)行離線三維物體檢測的方法，稱為3D Auto Labeling。相比現(xiàn)有的三維物體檢測方法，該方法能夠更好地滿足離線場景下高質(zhì)量的要求。該方法利用點(diǎn)云序列中不同幀所捕獲的物體的互補(bǔ)視角信息，通過多幀物體檢測和新穎的物體中心優(yōu)化模型來利用時(shí)間點(diǎn)云。在Waymo公開數(shù)據(jù)集上的評估結(jié)果表明，該方法相比于現(xiàn)有的三維物體檢測方法和離線基準(zhǔn)有顯著提升，甚至可以與人工標(biāo)簽的效果媲美。該方法還具有半監(jiān)督學(xué)習(xí)和應(yīng)用自動標(biāo)簽的能力。

? ? 關(guān)鍵是使用點(diǎn)云序列數(shù)據(jù)來進(jìn)行物體檢測，并設(shè)計(jì)了一個(gè)新的離線物體檢測管道，利用多幀物體檢測和新的物體中心檢測模型來提高檢測準(zhǔn)確性。同時(shí)，還利用了物體軌跡數(shù)據(jù)來對物體的運(yùn)動狀態(tài)進(jìn)行分類，并引入了一個(gè)動態(tài)物體自動標(biāo)注模型和一個(gè)靜態(tài)物體自動標(biāo)注模型來生成高質(zhì)量的自動標(biāo)注數(shù)據(jù)。這些自動標(biāo)注數(shù)據(jù)可以用于半監(jiān)督學(xué)習(xí)，以提高檢測性能。

Motivation

• 由于有限的輸入和速度限制，現(xiàn)有的3D目標(biāo)檢測器無法滿足機(jī)外使用的高質(zhì)量要求。大多數(shù)3D預(yù)測研究都集中在實(shí)時(shí)車載用例上，只考慮來自當(dāng)前幀或少數(shù)歷史幀的傳感器輸入。
• 4D標(biāo)注數(shù)據(jù)內(nèi)含物體動態(tài)行為信息，為高等級自動駕駛的必要輸入；
• 4D人工標(biāo)注極為耗時(shí)，據(jù)統(tǒng)計(jì)，人工標(biāo)注25秒10Hz的點(diǎn)云序列中物體4D框，平均需要10小時(shí)，成本高，可擴(kuò)展性差。

整體架構(gòu)流程

該方法主要運(yùn)用coarse-to-fine的思想使得檢測結(jié)果更為準(zhǔn)確：

• 第一階段通過現(xiàn)有的檢測、跟蹤方法，生成粗標(biāo)注；
• 第二階段通過匯總跟蹤框內(nèi)的點(diǎn)云，生成精細(xì)標(biāo)注。? ?

技術(shù)細(xì)節(jié)

? ? 為了充分利用時(shí)態(tài)點(diǎn)云，摒棄了基于幀的通用輸入結(jié)構(gòu)，其中點(diǎn)云的整個(gè)幀被合并。轉(zhuǎn)向以目標(biāo)為中心的設(shè)計(jì)。首先利用性能最佳的多幀檢測器來提供初始目標(biāo)定位。然后，通過多目標(biāo)跟蹤鏈接在不同幀中檢測到的目標(biāo)?；跈z測box和原始點(diǎn)云序列，可以提取物體的整個(gè)跟蹤數(shù)據(jù)，包括其所有傳感器數(shù)據(jù)（點(diǎn)云）和檢測box，即4D：3D空間+1D時(shí)間。然后，提出了新的深度網(wǎng)絡(luò)模型來處理這樣的4D目標(biāo)跟蹤數(shù)據(jù)，并輸出時(shí)間已知且高質(zhì)量的目標(biāo)box。

3D Auto Labeling Pipeline

? ? 3D Auto Labeling管道。給定一個(gè)點(diǎn)云序列作為輸入，管道首先利用3D對象檢測器來定位每一幀中的對象。然后跨幀的對象框通過多目標(biāo)跟蹤器鏈接。為每個(gè)對象提取對象跟蹤數(shù)據(jù)（其每幀的點(diǎn)云及其 3D 邊界框），然后通過以對象為中心的自動標(biāo)記（靜態(tài)和動態(tài)軌跡的分而治之）生成最終的“自動標(biāo)簽”，即細(xì)化的 3D 邊界框。

The static object auto labeling model

? ? 靜態(tài)對象自動標(biāo)記模型。將世界坐標(biāo)中合并的對象點(diǎn)作為輸入，模型輸出靜態(tài)對象的單個(gè)框。

? ? 先做前景分割，分割出前景背景點(diǎn)．然后用提取前景點(diǎn)，回歸物體的目標(biāo)框．
1)前景分割的網(wǎng)絡(luò)：PointNet分割網(wǎng)絡(luò)，MLPx5 -> 1024->maxpool -> concat to 1088(1024 + 64)->預(yù)測出２維
2)目標(biāo)框回歸網(wǎng)絡(luò)：PointNet的變體，輸出（3 dim，heading，size，cls）
3)進(jìn)行級聯(lián)微調(diào)，再讓transform過的前景點(diǎn)經(jīng)過一次目標(biāo)框回歸網(wǎng)絡(luò)．
兩個(gè)回歸網(wǎng)絡(luò)共享參數(shù)的效果更好。

The dynamic object auto labeling model

? ? 動態(tài)對象自動標(biāo)記模型。以一系列對象點(diǎn)和一系列對象框，模型以滑動窗口方式運(yùn)行，并為中心幀輸出細(xì)化的 3D 框。輸入點(diǎn)和框顏色表示幀。

? ? 對于點(diǎn)云分支，模型采用目標(biāo)點(diǎn)云的子序列。向每個(gè)點(diǎn)添加時(shí)間編碼通道后，子序列點(diǎn)通過并集合并，并在中心幀處為檢測器box的box坐標(biāo)。接著有一個(gè)基于PointNet的分割網(wǎng)絡(luò)來對前景點(diǎn)進(jìn)行分類，然后通過另一個(gè)點(diǎn)編碼網(wǎng)絡(luò)將目標(biāo)點(diǎn)編碼為一個(gè)embedding。對于長方體序列分支，長方體序列幀將轉(zhuǎn)換為長方體框架處探測器box的坐標(biāo)。長方體子序列可以比點(diǎn)子序列長，以捕獲長的軌跡嵌入，其中每個(gè)box是一個(gè)具有7維幾何和1維時(shí)間編碼的點(diǎn)。然后，將計(jì)算出的目標(biāo)嵌入和軌跡嵌入連接起來，形成聯(lián)合嵌入，然后通過一個(gè)box回歸網(wǎng)絡(luò)預(yù)測幀處的目標(biāo)box。（參考：Offboard 3D Object Detection From Point Cloud Sequences-CSDN博客）文章來源地址http://www.zghlxwxcb.cn/news/detail-739017.html

小結(jié)

1. 制定車載 3D 目標(biāo)檢測問題和特定管道 (3D Auto Labeling) 的提議，該管道利用了我們的多幀檢測器和新穎的以對象為中心的自動標(biāo)記模型；
2. 在具有挑戰(zhàn)性的Waymo開放數(shù)據(jù)集上實(shí)現(xiàn)最先進(jìn)的3D目標(biāo)檢測性能；
3. 3D目標(biāo)檢測的人體標(biāo)簽研究，以及人體標(biāo)簽和自動標(biāo)簽之間的比較；
4. 證明了自動標(biāo)簽對半監(jiān)督學(xué)習(xí)的有效性。

到了這里，關(guān)于論文閱讀：Offboard 3D Object Detection from Point Cloud Sequences的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！