3D 多目標跟蹤在自動駕駛和機器人領(lǐng)域具有重要應(yīng)用，其意為跟蹤檢測到的物體包圍框位于 3D 空間（點云）而非 2D 平面。
昨日，卡內(nèi)基梅隆大學(xué)開源一個強大的3D多目標跟蹤代碼，在其論文A Baseline for 3D Multi-Object Tracking中，作者詳述了算法思路和實驗結(jié)果。作者稱其為基線baseline，該算法框架簡單，使用的各個模塊算法也是直接使用或者稍微改進現(xiàn)有算法。
盡管算法簡單，但該代碼在著名的KITTI 車輛多目標跟蹤數(shù)據(jù)集上，將3D 多目標跟蹤精度（MOTA）從72.23提高到76.47，可謂改進效果明顯。同時如果將得到的3D跟蹤結(jié)果投影到2D空間，與2D算法比較結(jié)果，其在官方KITTI排行榜上也高達第二名，也是很贊了。
更為難能可貴的是，算法運行速度非?？欤哌_214.7 FPS,跟當前2D 多目標跟蹤的state-of-the-art 相比，速度是其65倍！
該論文作者信息：
兩位作者均來自知名的卡內(nèi)基梅隆大學(xué)機器人研究所。
下圖是提出的算法與其他2D多目標跟蹤算法在KITTI 2D MOT數(shù)據(jù)集上精度與fps的散點圖：
可見，該文算法在速度一騎絕塵的情況下，精度位于所有算法第二名。
算法框架
下圖展示了該文提出的3D 多目標跟蹤算法的系統(tǒng)組成：
3D 目標檢測模塊：負責(zé)在每一幀的點云數(shù)據(jù)中進行目標檢測。作者使用了兩種現(xiàn)有的 state-of-the-art 3D 目標檢測方法：
S. Shi, X. Wang, and H. Li. PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud. CVPR, 2019.
X. Weng and K. Kitani. Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud.arXiv:1903.09847, 2019. URL http://arxiv.org/abs/1903.09847.
3D 卡爾曼濾波模塊：作者將2D卡爾曼濾波簡單擴展到3D ，用于根據(jù)跟蹤歷史數(shù)據(jù)預(yù)測下一幀可能的目標的位置，同時該模塊接收從數(shù)據(jù)關(guān)聯(lián)（Data Association）模塊反饋的結(jié)果進行狀態(tài)更新。
數(shù)據(jù)關(guān)聯(lián)（Data Association）模塊：使用匈牙利算法對3D 目標檢測的結(jié)果和3D卡爾曼濾波預(yù)測的軌跡進行匹配。并將匹配的結(jié)果輸入新生消亡記憶模塊（Birth and Death Memory）和3D卡爾曼濾波模塊。
新生消亡記憶模塊（Birth and Death Memory）：用于對新出現(xiàn)的目標和消失的目標進行記憶和遺忘。
實驗結(jié)果
作者認為現(xiàn)有的評價標準沒有體現(xiàn)出多目標跟蹤結(jié)果的置信度，不能很好的評估3D 目標跟蹤的精度。故作者提出了新的AMOTA（平均多目標跟蹤精度）和AMOTP（平均多目標跟蹤置信度）的評估準則（具體定義請查看論文）。
下表為作者在KITTI 車輛跟蹤驗證集上與已有算法的比較，可見在主要指標上均取得了明顯的效果改進。
下表為將3D 多目標跟蹤的結(jié)果投影到2D，與2D 多目標跟蹤算法的結(jié)果比較，該文提出的算法在速度最快（214.7FPS）的同時（CV君仔細看了論文，作者沒有公布使用的硬件，但可以看出作者指的是CPU上的速度，而非GPU），大部分情況下精度位于第二高。
針對算法各個部分，作者進行了大量的消融實驗：
下圖為該文提出的算法與FANTrack跟蹤結(jié)果的比較：
可見，在FANTrack出錯的時候，該文算法沒有出現(xiàn)目標跟錯和跟丟的情況。
總結(jié)一下，卡內(nèi)基梅隆提出的算法簡單、高效，精度還很高，尤其是在3D 多目標跟蹤方面，是一個強大的baseline，非常值得借鑒。
論文地址：
https://arxiv.org/abs/1907.03961v1
代碼地址：
https://github.com/xinshuoweng/AB3DMOT
有幫助的話，請文末點個好看吧～
