1. Title: 3D Video Object Detection With Learnable Object-Centric Global Optimization

2. Affiliation: 中國科學(xué)院自動(dòng)化研究所 (Institute of Automation, Chinese Academy of Sciences)，中國科學(xué)院大學(xué)人工智能學(xué)院 (School of Artificial Intelligence, University of Chinese Academy of Sciences)，香港中文大學(xué)人工智能與機(jī)器人中心 (Centre for Artificial Intelligence and Robotics, HKISI CAS)，TuSimple

3. Authors: Jiawei He, Yuntao Chen, Naiyan Wang, Zhaoxiang Zhang

4. Keywords: 3D video object detection, correspondence-based optimization, object-centric, bundle adjustment

5. Summary:

• (1): 本文研究的是3D視頻物體檢測(cè)，探索長期時(shí)間上的視覺對(duì)應(yīng)優(yōu)化。而對(duì)于運(yùn)動(dòng)物體的檢測(cè)，基于對(duì)應(yīng)的優(yōu)化在3D場(chǎng)景重建時(shí)很少被研究，因?yàn)橐苿?dòng)的物體違反了多視角幾何約束，被視為離群值。本文有針對(duì)地解決了這個(gè)問題，突破了現(xiàn)有方法的局限性，做到了對(duì) 靜態(tài)物體和動(dòng)態(tài)物體的統(tǒng)一處理。

• (2): 目前的 3D視頻物體檢測(cè)方法可分為三類。第一類采用對(duì)象跟蹤，但這種方法只是將檢測(cè)的結(jié)果進(jìn)行光滑處理，沒有利用視頻豐富的暗示信息。 第二類是采用了包括對(duì) BEV (Bird’s- Eye View) ，multi-frame temporal cross-attention等技術(shù)的綜合性方案，但同樣忽略了顯式的時(shí)間上的對(duì)應(yīng)關(guān)系。第三類是從 stereo-from-video角度出發(fā)進(jìn)行研究，但還是沒有考慮相對(duì)于時(shí)間較長的情況。本文提出的方法不僅突破了上述方法的局限性，而且創(chuàng)新性地解決了運(yùn)動(dòng)物體和靜止物體的處理問題，使得這個(gè)方法更加具有普適性和魯棒性。

• (3): 本文提出了一個(gè)端到端的優(yōu)化目標(biāo)檢測(cè)器BA-Det，它實(shí)現(xiàn)了可學(xué)習(xí)的物體中心時(shí)空對(duì)應(yīng)關(guān)系和特征度量型物體綁定調(diào)整，針對(duì)動(dòng)態(tài)物體和靜態(tài)物體對(duì)應(yīng)關(guān)系引入了不同的約束。此外，該算法的優(yōu)化是一個(gè)非線性最小二乘優(yōu)化問題，可以使得模型非常適合于對(duì)應(yīng)在大規(guī)模的數(shù)據(jù)集上進(jìn)行訓(xùn)練。

• (4): 在大量的實(shí)驗(yàn)中，BA-Det算法的成功應(yīng)用使得其在相應(yīng)的3D檢測(cè)任務(wù)上取得了最先進(jìn)的水平，并且在瓶頸部位的時(shí)間、空間參數(shù)提升也非常顯著。相比較于其他方法，BA-Det在計(jì)算資源上的開銷較低，因此具有一定的推廣價(jià)值。

6. Methods:

• (1): 本文提出一種名為BA-Det的端到端物體優(yōu)化檢測(cè)器，可用于3D視頻物體檢測(cè)問題。該方法主要包括兩個(gè)可學(xué)習(xí)組件：物體中心時(shí)空對(duì)應(yīng)關(guān)系和特征度量型物體綁定調(diào)整。針對(duì)動(dòng)態(tài)物體和靜態(tài)物體對(duì)應(yīng)關(guān)系引入了不同的約束，并將其結(jié)合在一個(gè)非線性最小二乘優(yōu)化問題中。該算法能夠通過對(duì)全局優(yōu)化和局部細(xì)節(jié)校準(zhǔn)相結(jié)合，實(shí)現(xiàn)對(duì)于視頻中物體3D位置估計(jì)的精準(zhǔn)檢測(cè)。

• (2): 本文方法主要解決了運(yùn)動(dòng)物體檢測(cè)問題，對(duì)于長時(shí)間的視覺對(duì)應(yīng)優(yōu)化在3D場(chǎng)景重建中采用對(duì)象跟蹤，并放棄了這種做法對(duì)于動(dòng)態(tài)物體的處理。采用了對(duì) BEV、multi-frame temporal cross-attention等技術(shù)的綜合性方案，但同樣忽略了顯式的時(shí)間上的對(duì)應(yīng)關(guān)系。因此，本文方法中創(chuàng)新地引入了物體中心的概念，建立物體中心和物體外框之間的對(duì)應(yīng)關(guān)系，并將此問題轉(zhuǎn)化為一個(gè)優(yōu)化問題來解決。

• (3): 在實(shí)驗(yàn)中，本文將其方法與多個(gè)先進(jìn)的3D視頻物體檢測(cè)算法進(jìn)行比較。結(jié)果表明，BA-Det算法具有更好的性能，不僅可以檢測(cè)靜態(tài)物體，而且可以處理動(dòng)態(tài)物體，并在3D檢測(cè)任務(wù)上取得了最先進(jìn)的水平。在計(jì)算資源上的開銷也較低，因此具有一定的推廣價(jià)值。

7. Conclusion:

• (1): 本研究提出了一種具有長期時(shí)間上的視覺對(duì)應(yīng)優(yōu)化的3D視頻物體檢測(cè)方法——BA-Det，并取得了很好的效果。此方法突破了現(xiàn)有方法的局限性，同時(shí)能有效地處理靜態(tài)物體和動(dòng)態(tài)物體。

• (2): 創(chuàng)新點(diǎn)：BA-Det算法創(chuàng)新性地引入物體中心的概念，建立物體中心和物體外框之間的對(duì)應(yīng)關(guān)系，從而有效解決運(yùn)動(dòng)物體檢測(cè)問題。文章來源地址http://www.zghlxwxcb.cn/news/detail-608077.html

到了這里，關(guān)于CVPR2023新作：3D視頻物體檢測(cè)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！