Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space
rank：CVPR2022 SoccerNet MOT和ECCV2022 MOTComplex DanceTrack挑戰(zhàn)中排名第二
論文鏈接：https://arxiv.org/pdf/2211.14317.pdf
代碼：目前未開源
論文接收情況：WACV 2023
1、動(dòng)機(jī)
為什么HOTA評(píng)分在DanceTrack上顯著下降？
作者指出兩個(gè)問題，也即本文的動(dòng)機(jī)：
（i）同一目標(biāo)在相鄰幀中的檢測和跟蹤不重疊（比如快速移動(dòng)）導(dǎo)致跟蹤失敗
（ii）運(yùn)動(dòng)估計(jì)不準(zhǔn)確導(dǎo)致檢測和跟蹤不匹配，特別是對(duì)于做不規(guī)則運(yùn)動(dòng)、非線性運(yùn)動(dòng)的目標(biāo)
2、方法
作者的貢獻(xiàn)：
提出了一種級(jí)聯(lián)緩沖聯(lián)合交叉（C-BIoU）跟蹤器，以跟蹤具有不規(guī)則運(yùn)動(dòng)和不可區(qū)分外觀的多個(gè)對(duì)象。
- 采用BIOU代替IOU，在原來box的基礎(chǔ)上進(jìn)行等比放大，增加搜索區(qū)域，使原來關(guān)聯(lián)不上的det和track增加匹配機(jī)會(huì)。（作者說BIoU在兩個(gè)方面減輕不規(guī)則運(yùn)動(dòng)的影響：一是直接匹配相鄰幀中相同但不重疊的檢測和軌跡，二是補(bǔ)償匹配空間中的運(yùn)動(dòng)估計(jì)偏差）
- 采用級(jí)聯(lián)匹配方式：首先，使用小緩沖區(qū)匹配活動(dòng)軌跡和檢測，然后使用大緩沖區(qū)再次匹配未匹配的軌跡和檢測。（為了防止BIOU隨意擴(kuò)展導(dǎo)致誤匹配）
框架
如圖4，整個(gè)跟蹤框架還是比較簡單的，第一次匹配時(shí)將擴(kuò)展因子設(shè)置為0.3，即變?yōu)樵瓉淼?.3倍，代價(jià)函數(shù)為擴(kuò)展后的IOU，對(duì)于未匹配的det和track做二次匹配，這次將擴(kuò)展因子設(shè)置為0.5，再次關(guān)聯(lián)，此時(shí)未匹配的det初始化為track，未匹配的track根據(jù)壽命判斷是否保留。
BIOU
如圖2，緩沖區(qū)域（buffer）就是在原來box基礎(chǔ)上等比擴(kuò)大，通過擴(kuò)展因子b控制，不改變中心點(diǎn)位置、box寬高比。
如圖3，右下角的球員在兩幀中位置偏差很大，IOU為0，采用buffer擴(kuò)充后BIOU>0，就有可能匹配上了。（這個(gè)應(yīng)該不是相鄰兩幀）
運(yùn)動(dòng)模型
沒有采用卡爾曼濾波，采用了更簡單的線性平均運(yùn)動(dòng)（如果每一幀都匹配則直接用det的結(jié)果作為狀態(tài)，如果track在前幾幀未匹配過，即time_since_update>0，則用下面的式子更新狀態(tài)），具體式子為
其中o=(x,y,w,h)表示檢測結(jié)果，s表示估計(jì)的狀態(tài)，△表示失配的幀數(shù)，n是超參數(shù)（用來計(jì)算某個(gè)周期內(nèi)的平均速度）。某目標(biāo)在第t幀獲得更新，之后連續(xù)△幀失配，則第t+△幀后的狀態(tài)s為第t幀檢測結(jié)果加上失配幀數(shù)△*前n幀的平均速度。
可以結(jié)合代碼來看：https://github.com/JackWoo0831/Yolov7-tracker/blob/master/tracker/c_biou_tracker.py
track管理方法
如圖4，基本同sort一樣。
3、實(shí)驗(yàn)
-
在MOT17和DanceTrack上進(jìn)行比較，都取得了SOTA（私以為TBD類的MOT方法檢測結(jié)果嚴(yán)重依賴檢測器的質(zhì)量，自從bytetrack開始就使用yolox-x做檢測器，跟蹤結(jié)果一下子就都上來了，對(duì)于JDT類的方法不太公平）
-
速度測試，在Intel志強(qiáng)CPU上跑到360+fps，比較的都是不使用網(wǎng)絡(luò)推理的方法，這些方法更容易在工業(yè)界落地（比如百度的pp-human和pp-vehicle使用的ByteTrack和OC-SORT）
-
其他數(shù)據(jù)集的結(jié)果
-
與使用其他IOU指標(biāo)的結(jié)果（驗(yàn)證BIOU的有效性），以及消融實(shí)驗(yàn)結(jié)果，其中“C.M.”和“Mo.”分別表示級(jí)聯(lián)匹配和運(yùn)動(dòng)估計(jì)
-
級(jí)聯(lián)匹配中兩階段擴(kuò)展因子的組合，作者在表4中提到完全不使用BIOU，即第一行IOU Tracker的結(jié)果比使用BIOU差（不知道為啥不加一組b1=0的組合）
-
檢測噪聲實(shí)驗(yàn)（獨(dú)一份的實(shí)驗(yàn)），因?yàn)锽IOU需要對(duì)原先的box進(jìn)行擴(kuò)展，必然導(dǎo)致更多的關(guān)聯(lián)（IOU=0,BIOU>0），因此非常依賴檢測器的質(zhì)量，當(dāng)存在誤檢和漏檢時(shí)影響很大，作者這個(gè)實(shí)驗(yàn)也證明了這點(diǎn)
4、個(gè)人總結(jié)
作者另辟蹊徑，提出了一種既簡單粗暴的方法改進(jìn)了MOT方法。
-
簡單是因?yàn)榭傮w方法非常簡單，感覺是在IOUTracker: High-Speed tracking-by-detection without using image information上的改進(jìn)，增加了一個(gè)非常簡單的運(yùn)動(dòng)估計(jì)模型（線性平均運(yùn)動(dòng)），以及非常簡單的增大搜索區(qū)域的BIOU方法。
-
粗暴是因?yàn)楫?dāng)大家都在絞盡腦汁考慮怎么精確估計(jì)目標(biāo)運(yùn)動(dòng)時(shí)，作者說“我不管啦~”，只要把搜索區(qū)域擴(kuò)大，總能關(guān)聯(lián)上，完全不需要考慮怎么運(yùn)動(dòng)，從BIOU到運(yùn)動(dòng)模型都是一種模糊估計(jì)的方法（類比過程噪聲Q很大而觀測噪聲R很小的卡爾曼濾波）。文章來源：http://www.zghlxwxcb.cn/news/detail-812049.html
此外，隨著檢測器質(zhì)量的提高，TBD以及無網(wǎng)絡(luò)推理的模型表現(xiàn)也越來越好，如表1，SORT在yolox-x的加持下也可以取得非常好的結(jié)果，這類速度非?？斓姆椒ㄍ菀茁涞亍?span toymoban-style="hidden">文章來源地址http://www.zghlxwxcb.cn/news/detail-812049.html
到了這里，關(guān)于【MOT】C-BIoU：Hard to Track Objects with Irregular Motions and Similar Appearances?的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
