基于激光點(diǎn)云坐標(biāo)系的3D多目標(biāo)跟蹤算法研究

顧立鵬,孫韶媛,劉訓(xùn)華,李 想

(東華大學(xué)信息科學(xué)與技術(shù)學(xué)院,上海 201620)

1 引 言

多目標(biāo)跟蹤屬于計(jì)算機(jī)視覺(jué)領(lǐng)域中的子問(wèn)題,一直以來(lái)是工業(yè)界甚至國(guó)防工業(yè)中的核心技術(shù)之一。近年來(lái),隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,多目標(biāo)跟蹤技術(shù)領(lǐng)域的相關(guān)研究再次在無(wú)人車(chē)、視頻監(jiān)控、智慧城市大腦等領(lǐng)域展現(xiàn)出蓬勃生機(jī)[1-7]。無(wú)人車(chē)?yán)米陨泶钶d的各種傳感器采集車(chē)身周?chē)男畔?并用相關(guān)目標(biāo)檢測(cè)算法提取出車(chē)身周?chē)渌?chē)輛、障礙物、交通標(biāo)志等信息,最后再根據(jù)所提取的信息完成路徑規(guī)劃、駕駛決策等后續(xù)功能。由于無(wú)人車(chē)需要對(duì)車(chē)身周?chē)渌?chē)輛、障礙物、交通標(biāo)志等目標(biāo)進(jìn)行持續(xù)跟蹤,才能完成后續(xù)的路徑規(guī)劃、駕駛決策等功能,因此多目標(biāo)跟蹤算法在無(wú)人車(chē)整體系統(tǒng)中起著“承上啟下”的作用,是最核心的技術(shù)之一[8-10]。

應(yīng)用于無(wú)人車(chē)領(lǐng)域的多目標(biāo)跟蹤算法近年來(lái)取得了許多不錯(cuò)的成果。Jiangmiao Pang等人提出了多目標(biāo)跟蹤算法Quasi-Dense,具體為以目標(biāo)特征建模切入點(diǎn),使用一種稠密相似性學(xué)習(xí)方法,通過(guò)在一對(duì)圖像上密集地抽取數(shù)百個(gè)區(qū)域進(jìn)行對(duì)比學(xué)習(xí),以學(xué)習(xí)出每個(gè)目標(biāo)的特征,然后在推理階段使用最近鄰匹配實(shí)現(xiàn)多目標(biāo)跟蹤[11]。Abhijeet Shenoi等人提取了多目標(biāo)跟蹤算法JRMOT,具體為將2D RGB圖像和3D激光點(diǎn)云一起輸入到一個(gè)聯(lián)合概率關(guān)聯(lián)框架中,以實(shí)現(xiàn)在線3D多目標(biāo)跟蹤[12]。Xinshuo Weng等人在多目標(biāo)跟蹤算法SORT的基礎(chǔ)上進(jìn)行改進(jìn),提出了多目標(biāo)跟蹤算法AB3DMOT,具體為將以二維邊界框表示的目標(biāo)拓展成以三維邊界框表示,然后以目標(biāo)三維邊界框之間的交并比3DIoU為度量指標(biāo),使用匈牙利算法匹配相鄰兩幀之間的目標(biāo)[13]。雖然上述方法均可以對(duì)無(wú)人車(chē)的車(chē)身周?chē)嬖诘能?chē)輛與行人進(jìn)行較好地跟蹤,但仍存在下述問(wèn)題:1)Quasi-Dense算法中目標(biāo)特征提取過(guò)程過(guò)于復(fù)雜；2)JRMOT算法需要多傳感器感知車(chē)身周?chē)男畔?并且需要相關(guān)算法融合多模態(tài)的信息,造成了成本的增加與算法的復(fù)雜度；3)AB3DMOT算法雖然是以激光雷達(dá)作為單獨(dú)傳感器感知車(chē)身周?chē)畔?但仍然將檢測(cè)到的目標(biāo)轉(zhuǎn)換到了車(chē)載相機(jī)坐標(biāo)系下進(jìn)行后續(xù)跟蹤環(huán)節(jié),這必然造成計(jì)算成本的增加。

針對(duì)上述問(wèn)題,提出了基于激光點(diǎn)云坐標(biāo)系的多目標(biāo)跟蹤算法:①使用PointRCNN[14]作為以激光點(diǎn)云輸入的3D目標(biāo)檢測(cè)器,檢測(cè)出車(chē)身周?chē)能?chē)輛；②提出了基于激光點(diǎn)云大場(chǎng)景坐標(biāo)系的級(jí)聯(lián)式匹配策略,對(duì)相鄰兩幀點(diǎn)云中檢測(cè)出的車(chē)輛進(jìn)行匹配關(guān)聯(lián)。實(shí)驗(yàn)結(jié)果表明,與一些公開(kāi)的優(yōu)秀3D多目標(biāo)跟蹤算法相比,本文所提出的3D多目標(biāo)跟蹤算法對(duì)車(chē)輛的跟蹤效果更優(yōu)異。尤其在sAMOTA、AMOTA、AMOTP和MOTA這四個(gè)指標(biāo)上都具有明顯優(yōu)勢(shì)。

2 多目標(biāo)跟蹤算法框架

本文所提出的基于激光點(diǎn)云坐標(biāo)系的多目標(biāo)跟蹤算法,主要是以激光點(diǎn)云作為輸入,然后使用PointRCNN為目標(biāo)檢測(cè)器,檢測(cè)出每幀點(diǎn)云中的車(chē)輛,接著使用所提出的基于激光點(diǎn)云大場(chǎng)景坐標(biāo)系的級(jí)聯(lián)式匹配策略匹配相鄰兩幀之間檢測(cè)出的車(chē)輛,以簡(jiǎn)單高效地完成在激光點(diǎn)云坐標(biāo)下的多目標(biāo)跟蹤任務(wù),并且可以對(duì)在當(dāng)前幀中漏檢的前一幀軌跡進(jìn)行較好地連續(xù)跟蹤,具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 基于激光點(diǎn)云坐標(biāo)系的多目標(biāo)跟蹤算法框圖Fig.1 Block diagram of multi-object tracking algorithmbased on laser point cloud coordinate system

2.1 PointRCNN網(wǎng)絡(luò)

PointRCNN網(wǎng)絡(luò)是以激光點(diǎn)云作為輸入的兩階段3D目標(biāo)檢測(cè)器,其與Faster RCNN[15]為代表的兩階段目標(biāo)檢測(cè)器類(lèi)似,第一步先生成3D建議候選框,然后再對(duì)生成的3D建議候選框進(jìn)行微調(diào),其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。PointRCNN網(wǎng)絡(luò)首先將輸入的每幀激光點(diǎn)云按前景點(diǎn)和背景點(diǎn)進(jìn)行分割,然后從前景點(diǎn)中生成少量的3D建議候選框,最后將建議候選框在規(guī)范坐標(biāo)系中學(xué)習(xí)的局部特征與在對(duì)點(diǎn)云進(jìn)行分割過(guò)程中學(xué)習(xí)的全局特征相融合,進(jìn)一步微調(diào)3D建議候選框。

圖2 PointRCNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network structure of PointRCNN

2.2 卡爾曼濾波器

(1)

(2)

2.3 貪婪算法

在多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)階段,本文使用貪婪算法對(duì)相鄰兩幀之間目標(biāo)進(jìn)行匹配關(guān)聯(lián)。其中,所使用度量指標(biāo)是激光雷達(dá)坐標(biāo)系下的目標(biāo)之間三維體積的交并比與三維坐標(biāo)中心點(diǎn)坐標(biāo)之間的歐式距離。目標(biāo)之間三維體積的交并比3DIoU是作為尋找當(dāng)前幀的每個(gè)目標(biāo)與前一幀目標(biāo)之間存在的潛在匹配關(guān)系的度量指標(biāo),而目標(biāo)之間三維中心點(diǎn)坐標(biāo)之間的歐式距離則是最終確定相鄰兩幀目標(biāo)之間匹配關(guān)系的度量指標(biāo)。關(guān)于這兩個(gè)度量指標(biāo)在本文所提出的多目標(biāo)跟蹤算法中的使用方法在2.4小節(jié)有詳細(xì)說(shuō)明。

本文中所使用的貪婪匹配算法思路具體為:①首先對(duì)當(dāng)前幀中檢測(cè)到的目標(biāo)按置信度進(jìn)行降序排列；②然后從高置信度開(kāi)始,先根據(jù)目標(biāo)之間三維體積的交并比3DIoU尋找到當(dāng)前幀的該目標(biāo)與前一幀中哪些目標(biāo)之間存在的潛在匹配關(guān)系；③接著根據(jù)目標(biāo)之間三維中心點(diǎn)坐標(biāo)之間的歐式距離在有潛在匹配關(guān)系的前一幀目標(biāo)集合中找到最近鄰的目標(biāo)。若最小的距離小于閾值200,則確定這兩個(gè)目標(biāo)為唯一匹配關(guān)系,反之,則認(rèn)為當(dāng)前幀中的該目標(biāo)為新出現(xiàn)的目標(biāo)。

2.4 數(shù)據(jù)關(guān)聯(lián)

在多目標(biāo)跟蹤算法的數(shù)據(jù)關(guān)聯(lián)部分中,本文結(jié)合了CenterTrack[16]將目標(biāo)視為點(diǎn)跟蹤的思想和AB3DMOT使用3D卡爾曼濾波器對(duì)在當(dāng)前幀中消失的前一幀軌跡進(jìn)行一定幀數(shù)內(nèi)連續(xù)跟蹤的思想,提出了基于激光點(diǎn)云大場(chǎng)景坐標(biāo)系的級(jí)聯(lián)式匹配策略。本文所提出的匹配策略擺脫了現(xiàn)有多目標(biāo)跟蹤算法在圖像像素坐標(biāo)系下或相機(jī)三維坐標(biāo)系下進(jìn)行數(shù)據(jù)關(guān)聯(lián)的固有思想,轉(zhuǎn)而在激光點(diǎn)云坐標(biāo)系下直接完成相鄰兩幀之間目標(biāo)的匹配的任務(wù)。這樣不僅可以實(shí)現(xiàn)在激光雷達(dá)坐標(biāo)系下完成目標(biāo)檢測(cè)與多目標(biāo)跟蹤兩項(xiàng)任務(wù),還可以簡(jiǎn)化目標(biāo)特征提取的復(fù)雜度。

圖3 匹配策略流程圖Fig.3 Flow chart of matching strategy

步驟一(Step1):計(jì)算相鄰兩幀之間目標(biāo)擴(kuò)大兩倍后的三維體積(xT,yt,zt,θt,2lt,2wt,2ht)的交并比(3DIoU)矩陣,如公式(3)所示。若前一幀中有目標(biāo)與當(dāng)前幀的目標(biāo)之間的3DIoU不為0,則可認(rèn)為這兩個(gè)目標(biāo)存在潛在的匹配關(guān)系；反之,則不存在匹配關(guān)系。如公式(2)中,矩陣的行和列分別代表前一幀和當(dāng)前幀中的目標(biāo),其數(shù)量分別為4和3。當(dāng)前幀中第一個(gè)目標(biāo),分別與前一幀中第一和二個(gè)目標(biāo)存在潛在匹配關(guān)系,3DIoU分別為0.92和0.12。這樣可以進(jìn)一步縮小前后兩幀之間目標(biāo)的匹配范圍。

(3)

(4)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)配置和數(shù)據(jù)集

實(shí)驗(yàn)所使用的數(shù)據(jù)集為KITTI跟蹤數(shù)據(jù)集,其包含“Car”、“Pedestrain”、“Cyclist”等九個(gè)類(lèi)別。在實(shí)驗(yàn)中僅對(duì)車(chē)輛的跟蹤效果進(jìn)行評(píng)估,且將訓(xùn)練集中21個(gè)視頻序列切分成訓(xùn)練集與驗(yàn)證集。其中,驗(yàn)證集被用于評(píng)估本文所提出的多目標(biāo)跟蹤算法,包含了視頻序列1、6、8、10、12、13、14、15、16、18和19。

表1 實(shí)驗(yàn)配置Tab.1 Experimental configuration

3.2 評(píng)價(jià)指標(biāo)

本文使用了Xingyi Zhou等人提出的3D多目標(biāo)跟蹤評(píng)估工具對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估。不同于KITTI官方提供的2D多目標(biāo)評(píng)估工具,3D多目標(biāo)評(píng)估工具直接以三維體積交并比為度量指標(biāo)將3D跟蹤結(jié)果與真實(shí)標(biāo)注進(jìn)行匹配,來(lái)全面真實(shí)地評(píng)估出3D多目標(biāo)跟蹤系統(tǒng)的性能。另外,Xingyi Zhou等人還在3D多目標(biāo)跟蹤評(píng)估工具中引入了三個(gè)全新的評(píng)價(jià)指標(biāo)sAMOTA、AMOTA和AMOTP。

AMOTA和AMOTP的計(jì)算方式為求多召回率下的MOTA和MOTP的平均值,主要是為了將目標(biāo)的置信度閾值條件也納入了多目標(biāo)跟蹤系統(tǒng)的評(píng)估中。AMOTA計(jì)算如公式(5)所示:

(5)

其中,L是設(shè)定的不同召回率的數(shù)量;Ngt是所有視頻序列中所標(biāo)注的真實(shí)目標(biāo)數(shù)量;FPr、FNr和IDSr分別為召回率為r時(shí)的漏檢目標(biāo)數(shù)量、誤檢目標(biāo)數(shù)量和目標(biāo)身份ID切換次數(shù)。

sAMOTA計(jì)算如公式(6)和(7)所示:

(6)

(7)

3.3 實(shí)驗(yàn)結(jié)果及分析

本文使用AB3DMOT中提供的PointRCNN在KITTI跟蹤數(shù)據(jù)集上的檢測(cè)結(jié)果,這樣是為了更好地與AB3DMOT、mmMOT和FANTrack這三個(gè)優(yōu)秀的3D多目標(biāo)跟蹤算法進(jìn)行比較,實(shí)驗(yàn)結(jié)果如表2所示。另外,還對(duì)基于激光點(diǎn)云坐標(biāo)系下的級(jí)聯(lián)匹配策略做了消融實(shí)驗(yàn),以驗(yàn)證其三個(gè)匹配步驟對(duì)多目標(biāo)跟蹤系統(tǒng)性能的影響,實(shí)驗(yàn)結(jié)果如表3所示。

從表2中可以看出,在3DIoUthres分為0.25,0.5和0.7時(shí),本文提出的基于激光點(diǎn)云坐標(biāo)系下的3D多目標(biāo)跟蹤算法比mmMOT、FANTrack和AB3DMOT在大部分指標(biāo)上都要領(lǐng)先,尤其在sAMOTA、AMOTA、AMOTP和MOTA這四個(gè)指標(biāo)上都要領(lǐng)先許多。這表明了本文所提出的3D多目標(biāo)算法直接在激光點(diǎn)云坐標(biāo)系下對(duì)相鄰兩幀點(diǎn)云中檢測(cè)出的車(chē)輛進(jìn)行簡(jiǎn)單高效的匹配關(guān)聯(lián),就可以取得非常好的多目標(biāo)跟蹤效果。

表2 在KITTI跟蹤驗(yàn)證集上的3D多目標(biāo)跟蹤評(píng)估結(jié)果Tab.2 3D Multi-object tracking evaluation results on KITTI tracking verification set

從表3中可以看出,本文中所提出的基于激光點(diǎn)云大場(chǎng)景坐標(biāo)系的級(jí)聯(lián)匹配策略中三個(gè)匹配步驟都對(duì)3D多目標(biāo)跟蹤系統(tǒng)的整體系統(tǒng)具體提升作用。匹配步驟一通過(guò)確定相鄰兩幀之間可能存在潛在匹配目標(biāo)對(duì),剔除不可能匹配的匹配目標(biāo)對(duì),可以較大提升3D多目標(biāo)跟蹤系統(tǒng)的性能,MOTA指標(biāo)提升了5.81 %。匹配步驟二通過(guò)對(duì)在當(dāng)前幀中消失的前一幀中存在的軌跡進(jìn)行跟蹤,可以進(jìn)一步提升3D多目標(biāo)跟蹤系統(tǒng)的性能,sAMOTA提升了1.93 %。

表3 在KITTI跟蹤驗(yàn)證集上消融實(shí)驗(yàn)結(jié)果(3DIoUthres=0.25)Tab.3 ablation results on KITTI tracking verification set(3DIoUthres=0.25)

另外,連續(xù)4幀激光點(diǎn)云序列的3D多目標(biāo)跟蹤結(jié)果示意圖如圖4所示,從圖中可以看出直接在激光點(diǎn)云坐標(biāo)系下對(duì)車(chē)輛進(jìn)行跟蹤的效果非?？煽壳液?jiǎn)單高效。

圖4 連續(xù)4幀激光點(diǎn)云序列的3D多目標(biāo)跟蹤結(jié)果示意圖Fig.4 Schematic diagram of 3D multi-target tracking resultsof four consecutive frames of laser point cloud sequence

4 總 結(jié)

本文提出了基于激光點(diǎn)云坐標(biāo)系的3D多目標(biāo)跟蹤算法,將數(shù)據(jù)關(guān)聯(lián)任務(wù)直接在激光雷達(dá)坐標(biāo)系下完成。從對(duì)比實(shí)驗(yàn)和消融實(shí)驗(yàn)看,本文所提出的3D多目標(biāo)跟蹤算法性能表現(xiàn)優(yōu)異,多項(xiàng)指標(biāo)均領(lǐng)先一些已經(jīng)公開(kāi)的優(yōu)秀3D多目標(biāo)跟蹤算法,并且所提出的基于激光雷達(dá)大場(chǎng)景坐標(biāo)系的級(jí)聯(lián)匹配策略中每個(gè)匹配步驟都能提高多目標(biāo)跟蹤系統(tǒng)的整體性能。未來(lái)的工作可以集中于如何在激光雷達(dá)坐標(biāo)系下將目標(biāo)檢測(cè)與跟蹤這兩項(xiàng)獨(dú)立的任務(wù)轉(zhuǎn)化成一個(gè)任務(wù)來(lái)完成,這樣可以提升3D多目標(biāo)跟蹤系統(tǒng)整體的效率與性能。