基于3D-MobileNetv2的多目標(biāo)實(shí)時(shí)跟蹤框架

毛仁祥,常建華,2*,張樹(shù)益李紅旭,張露瑤

(1南京信息工程大學(xué)江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心,江蘇 南京 210044;2南京信息工程大學(xué)江蘇省氣象探測(cè)與信息處理重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210044)

0 引言

目標(biāo)跟蹤[1-3]是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究?jī)?nèi)容,在視頻監(jiān)控、虛擬現(xiàn)實(shí)、人機(jī)交互、圖像理解、無(wú)人駕駛等應(yīng)用層面具有很大的發(fā)展?jié)摿Α?0年代,隨著卡爾曼濾波[4]成功應(yīng)用于目標(biāo)跟蹤領(lǐng)域,目標(biāo)跟蹤技術(shù)引起人們的廣泛關(guān)注,擴(kuò)展卡爾曼濾波[5]、粒子濾波[6,7]、多模型算法等濾波方法相繼出現(xiàn)。近年來(lái),單目標(biāo)檢測(cè)與跟蹤技術(shù)趨于成熟,目標(biāo)檢測(cè)技術(shù)與目標(biāo)跟蹤技術(shù)的研究熱點(diǎn)逐漸從單目標(biāo)發(fā)展為多目標(biāo)。當(dāng)前多目標(biāo)跟蹤的主要工作是在視頻的第一幀設(shè)定目標(biāo)矩形框,并緊跟目標(biāo)物體。

由于在目標(biāo)檢測(cè)方面[8-16]取得了很大進(jìn)展,多目標(biāo)跟蹤技術(shù)也發(fā)展迅速。Yu等[17]將在線(xiàn)多目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為馬爾科夫決策中的決策問(wèn)題,利用馬爾科夫決策模型(MDP)跟蹤目標(biāo)。Wang等[18]提出了端到端的框架(LP-SSVM),通過(guò)適當(dāng)?shù)膮?shù)學(xué)習(xí),可以獲得比使用復(fù)雜運(yùn)動(dòng)特征方法更高的精度。Frossard等[19]提出了一種既能利用激光雷達(dá)又能利用攝像機(jī)數(shù)據(jù)的方法。Simon等[20]擴(kuò)展了YOLOv2網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)在回歸網(wǎng)絡(luò)中添加一個(gè)虛分?jǐn)?shù)和一個(gè)實(shí)分?jǐn)?shù)來(lái)估計(jì)物體的姿態(tài)。Weng等[21]設(shè)計(jì)了一個(gè)簡(jiǎn)單的在線(xiàn)實(shí)時(shí)跟蹤系統(tǒng),其速度與有效性都非常高。但在多目標(biāo)跟蹤過(guò)程中,目標(biāo)通常存在相互遮擋的現(xiàn)象,并且跟蹤目標(biāo)在特征上的相似性以及目標(biāo)群體空間拓?fù)涞淖兓蔀槎嗄繕?biāo)跟蹤技術(shù)應(yīng)用的主要挑戰(zhàn)。此外,跟蹤場(chǎng)景的復(fù)雜性和多樣性也是制約多目標(biāo)跟蹤技術(shù)發(fā)展的因素。

本文將傳統(tǒng)的狀態(tài)預(yù)測(cè)與深度學(xué)習(xí)相結(jié)合,使用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)物體在三維空間里的狀態(tài),使用匈牙利算法逐幀進(jìn)行數(shù)據(jù)關(guān)聯(lián),設(shè)計(jì)軌跡管理模塊管理相應(yīng)的軌跡,實(shí)現(xiàn)多目標(biāo)跟蹤。相較于傳統(tǒng)的實(shí)時(shí)跟蹤框架,不需要在圖像空間中執(zhí)行卡爾曼濾波。傳統(tǒng)的實(shí)時(shí)跟蹤框架可以在高幀速率下獲得較好的性能,但其返回的身份切換次數(shù)相對(duì)較多,這是由于其使用的關(guān)聯(lián)度量只有在估計(jì)狀態(tài)不確定度比較低時(shí)才相對(duì)準(zhǔn)確,因此在跟蹤遮擋物體時(shí)存在缺陷。本文使用深度神經(jīng)網(wǎng)絡(luò)代替卡爾曼濾波,通過(guò)神經(jīng)網(wǎng)絡(luò)的集成式學(xué)習(xí)實(shí)現(xiàn)對(duì)遮擋物體的狀態(tài)預(yù)測(cè)。

1 基于深度學(xué)習(xí)的目標(biāo)跟蹤

所提出框架共有3D目標(biāo)檢測(cè)、3D卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)、數(shù)據(jù)關(guān)聯(lián)、狀態(tài)更新以及軌跡管理五個(gè)模塊,其工作流程如圖1所示,使用PointRCNN進(jìn)行目標(biāo)檢測(cè),利用3D-MobileNet V2對(duì)目標(biāo)進(jìn)行預(yù)測(cè),由匈牙利算法進(jìn)行數(shù)據(jù)關(guān)聯(lián),同時(shí)設(shè)計(jì)了狀態(tài)更新模塊以及軌跡管理模塊。狀態(tài)更新模塊對(duì)匹配好的目標(biāo)軌跡進(jìn)行狀態(tài)更新,軌跡管理模塊管理相應(yīng)的軌跡。

圖1 目標(biāo)跟蹤框架流程圖Fig.1 Flow chart of target tracking framework

1.1 3D標(biāo)檢測(cè)模塊

3D目標(biāo)檢測(cè)模塊是實(shí)時(shí)目標(biāo)跟蹤中不可缺失的組成部分,在測(cè)試中發(fā)現(xiàn)3D目標(biāo)檢測(cè)的效果對(duì)跟蹤結(jié)果會(huì)產(chǎn)生較大影響,檢測(cè)到的3D邊界框在整個(gè)跟蹤過(guò)程中發(fā)揮著重要作用。以往目標(biāo)檢測(cè)的主要工作是將3D雷達(dá)點(diǎn)云劃分為等間隔的3D體素,并運(yùn)用3D卷積進(jìn)行3D邊界框的檢測(cè),為了提高檢測(cè)效率,將點(diǎn)云轉(zhuǎn)換為鳥(niǎo)瞰圖,并進(jìn)行2D卷積。此處使用KITTI數(shù)據(jù)集上最先進(jìn)的檢測(cè)器PointRCNN,并直接使用其預(yù)訓(xùn)練模型,最終輸出連續(xù)視頻中每一幀的目標(biāo)邊界框。每個(gè)目標(biāo)邊界框共有8個(gè)參數(shù),包括被檢測(cè)物體的3D坐標(biāo)中心(x,y,z)、長(zhǎng)寬高(l,w,h)、航向角θ以及置信度c。

1.2 3D卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模塊

傳統(tǒng)的3D實(shí)時(shí)跟蹤采用卡爾曼濾波進(jìn)行狀態(tài)預(yù)測(cè),卡爾曼濾波是以最小均方誤差為最佳估計(jì)準(zhǔn)則的遞推估計(jì)算法,其基本思想是采用信號(hào)與噪聲的狀態(tài)空間模型,利用前一時(shí)刻的估計(jì)值和現(xiàn)時(shí)刻的觀(guān)測(cè)值更新?tīng)顟B(tài)變量的估計(jì),得到當(dāng)前時(shí)刻的估計(jì)值。由于卡爾曼濾波比較簡(jiǎn)單,且實(shí)時(shí)性很高,因此大部分跟蹤框架采用此方法進(jìn)行預(yù)測(cè),但是當(dāng)被跟蹤的物體長(zhǎng)時(shí)間被遮擋時(shí)會(huì)出現(xiàn)跟蹤丟失的情況。為了克服以上不足,此處使用3D卷積神經(jīng)網(wǎng)絡(luò)來(lái)代替卡爾曼濾波進(jìn)行狀態(tài)預(yù)測(cè),用一個(gè)8維向量T=(x,y,z,l,w,h,c,θ)來(lái)表示物體的軌跡。為保持3D跟蹤的實(shí)時(shí)性,選用一個(gè)輕量化的網(wǎng)絡(luò)MobilenetV2[22],對(duì)其進(jìn)行3D轉(zhuǎn)換,相較于傳統(tǒng)的MobilenetV2網(wǎng)絡(luò),其使用3D卷積,使網(wǎng)絡(luò)可以提取連續(xù)幀之間的運(yùn)動(dòng)信息,進(jìn)而實(shí)現(xiàn)狀態(tài)預(yù)測(cè),其整體結(jié)構(gòu)見(jiàn)表1。

表1 3D-MobileNet V2結(jié)構(gòu)表Table 1 Structure of 3D-Mobilenet V2

表2為3D-MobileNet V2的Bottleneck卷積層,在原網(wǎng)絡(luò)基礎(chǔ)上對(duì)每一個(gè)Bottleneck的中間卷積層加入了通道混洗來(lái)提升網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確性,每個(gè)Bottleneck共三層,在其輸出后續(xù)單元加入了BatchNorm以及Mish激活函數(shù),提升預(yù)測(cè)效率。實(shí)驗(yàn)測(cè)試表明通道混洗分成16組的準(zhǔn)確性最高。此處使用均方差損失來(lái)訓(xùn)練網(wǎng)絡(luò),選取Test前面4幀的物體軌跡信息作為網(wǎng)絡(luò)的輸入,網(wǎng)絡(luò)直接預(yù)測(cè)Test時(shí)刻的x、y、z、l、w、h、c、θ,由此得到物體當(dāng)前時(shí)刻的狀態(tài)估計(jì)。

表2 Bottleneck結(jié)構(gòu)表Table 2 Bottleneck structure table

1.3 數(shù)據(jù)關(guān)聯(lián)模塊

獲取PointRCNN檢測(cè)到的邊界框Dti與3DMobilenet V2預(yù)測(cè)的物體軌跡Testj后,通過(guò)匈牙利算法將Dti和Testj中的物體進(jìn)行交并比(IOU)匹配。選取2D IOU,使用CPython的計(jì)算過(guò)程進(jìn)行加速匹配,將物體的運(yùn)動(dòng)軌跡對(duì)應(yīng)到正確的運(yùn)動(dòng)軌跡上,確保后續(xù)操作的準(zhǔn)確性。

關(guān)聯(lián)算法的核心是用IOU計(jì)算邊界框之間的距離,使用匈牙利算法選擇出最優(yōu)的關(guān)聯(lián)結(jié)果,匈牙利算法利用增廣路的性質(zhì),由于增廣路中的匹配邊總比未匹配邊多一條,所以如果放棄一條增廣路中的匹配邊,選取未匹配邊作為匹配邊,則匹配的數(shù)量就會(huì)增加。匈牙利算法就是在不斷尋找增廣路,若找不到增廣路,則說(shuō)明達(dá)到了最大匹配。如圖2所示:褐色的邊界框代表物體在Ti幀被檢測(cè)到的情況,紅色和綠色代表被預(yù)測(cè)到的邊界框,在預(yù)測(cè)的基礎(chǔ)上使用匈牙利算法將預(yù)測(cè)的邊界框與檢測(cè)的邊界框進(jìn)行匹配,選擇合適的物體檢測(cè)邊界框作為下一時(shí)刻物體跟蹤的邊界框,若每個(gè)預(yù)測(cè)到的邊界框能夠找到匹配的物體檢測(cè)邊界框,則跟蹤成功;否則說(shuō)明該物體已經(jīng)離開(kāi)了當(dāng)前畫(huà)面。如果檢測(cè)的邊界框找不到對(duì)應(yīng)的預(yù)測(cè)邊界框,則說(shuō)明該物體首次出現(xiàn)在當(dāng)前畫(huà)面。在測(cè)試時(shí),將IOU最小值設(shè)為0.1時(shí),MOTA指標(biāo)最高。因此,將IOU最小值設(shè)為0.1,IOU小于0.1將無(wú)法匹配。

圖2 關(guān)聯(lián)實(shí)例Fig.2 Example of association

在關(guān)聯(lián)度量中,馬氏距離用于計(jì)算物體檢測(cè)的邊界框dj和物體預(yù)測(cè)的邊界框yi之間的距離。馬氏距離的計(jì)算公式可表示為

式中Si為協(xié)方差矩陣,使用

來(lái)確定二者是否關(guān)聯(lián),當(dāng)兩者之間的距離小于等于特定閾值t,則表示二者關(guān)聯(lián),但是馬氏距離依然不能很好地解決物體被長(zhǎng)時(shí)間遮擋后關(guān)聯(lián)不正確導(dǎo)致ID Switch的問(wèn)題。

使用余弦度量距離將物體檢測(cè)邊界框dj通過(guò)表3 CNN網(wǎng)絡(luò)計(jì)算對(duì)應(yīng)的128維feature向量rj,余弦度量距離的計(jì)算公式可表示為

利用(3)式計(jì)算第i個(gè)被跟蹤物體的所有Feature向量和第j個(gè)檢測(cè)物體之間的最小距離,當(dāng)兩者之間的距離滿(mǎn)足(2)式條件時(shí)表示這二者關(guān)聯(lián)。

亞急性甲狀腺炎是一種常見(jiàn)于的內(nèi)分泌腺病變，直接原因?yàn)椴《靖腥?，其發(fā)病率和人們的生活方式和環(huán)境密切相關(guān)，主要是由綜合因素引起的炎癥反應(yīng)，常見(jiàn)的因素包括環(huán)境因素、內(nèi)分泌因素、消化系統(tǒng)因素和精神因素等。臨床發(fā)生亞急性甲狀腺炎的原因通常為內(nèi)外相互作用的結(jié)果，所以亞急性甲狀腺炎的發(fā)病機(jī)制較為復(fù)雜[1]。亞急性甲狀腺在診斷上存在一定的難度，為了提高診斷的準(zhǔn)確率，減少對(duì)亞急性甲狀腺炎診斷的漏診和誤診率，必須提高診斷的準(zhǔn)確率。臨床研究發(fā)現(xiàn)[1]，本文將選取我院2016年5月—2017年5月收治的60例亞急性甲狀腺炎診斷患者的臨床資料進(jìn)行回顧性分析，現(xiàn)報(bào)告如下。

表3 CNN結(jié)構(gòu)Table 3 CNN structure

1.4 狀態(tài)更新模塊

狀態(tài)更新模塊將匹配好的目標(biāo)軌跡進(jìn)行狀態(tài)更新(Tmatch和Dmatch),更新后的值是根據(jù)Tmatch和Dmatch的不確定性加權(quán)平均確定的,其中不確定性為目標(biāo)檢測(cè)中的置信度與估計(jì)值之間的協(xié)方差。

1.5 軌跡管理模塊

在跟蹤過(guò)程中被跟蹤的物體可能不再出現(xiàn),并且會(huì)出現(xiàn)新增被跟蹤的物體。所以添加軌跡管理模塊以更新目標(biāo)跟蹤中消失和新增的軌跡。用Dunmatch代表新增加的物體,即在目標(biāo)檢測(cè)中無(wú)法與當(dāng)前軌跡匹配的物體。為避免出現(xiàn)誤檢的情況,將只有連續(xù)存在4幀的物體定義為新增物體,其軌跡的初始狀態(tài)設(shè)定為當(dāng)前幀物體檢測(cè)狀態(tài)。此外,用Tunmatch代表離開(kāi)檢測(cè)范圍的軌跡。為避免漏檢的情況,需要持續(xù)跟蹤Tunmatch軌跡4幀,如果超過(guò)4幀仍沒(méi)有匹配的目標(biāo)出現(xiàn),則刪除這個(gè)軌跡。

2 實(shí)驗(yàn)數(shù)據(jù)集與指標(biāo)

整個(gè)模型的訓(xùn)練及測(cè)試都是在KITTI MOT基準(zhǔn)上進(jìn)行的,KITTI包含市區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景采集的真實(shí)圖像數(shù)據(jù)。每張圖像中最多包括15輛車(chē)和30個(gè)行人,存在各種程度的遮擋與截?cái)唷Ｕ麄€(gè)數(shù)據(jù)集由389對(duì)立體圖像和光流圖、39.2 km視覺(jué)測(cè)距序列以及超過(guò)20萬(wàn)張3D標(biāo)注物體的圖像組成?；鶞?zhǔn)由21個(gè)訓(xùn)練視頻和29個(gè)測(cè)試視頻序列組成,每個(gè)序列都提供了激光雷達(dá)點(diǎn)云、RGB圖像以及校準(zhǔn)文件,幀數(shù)為8008與11095,分別用于訓(xùn)練和測(cè)試。KITTI數(shù)據(jù)集不向用戶(hù)提供任何測(cè)試分割的注釋,而是直接將注釋保留在服務(wù)器上進(jìn)行MOT的評(píng)估。在訓(xùn)練分割中,標(biāo)注的對(duì)象和軌跡的數(shù)量分別為30601和636,分別包含汽車(chē)、行人。由于KITTI數(shù)據(jù)集沒(méi)有正式的訓(xùn)練分割,僅使用序列1、6、8、10、12、13、14、15、16、18、19進(jìn)行驗(yàn)證。此外,車(chē)輛在所有對(duì)象類(lèi)型中實(shí)例數(shù)量最多,因此只對(duì)車(chē)輛子集求值。

選擇MOT指標(biāo),用MOTA、MOTP、ML、MT來(lái)評(píng)估模型的性能。在眾多ID評(píng)估指標(biāo)中選擇IDS作為評(píng)估標(biāo)準(zhǔn),評(píng)估指標(biāo)所代表的物理意義如下:

1)多目標(biāo)跟蹤準(zhǔn)確度(MOTA):是衡量單攝像頭多目標(biāo)跟蹤準(zhǔn)確度的一個(gè)指標(biāo),可表示為

式中:FP表示預(yù)測(cè)為正樣本,預(yù)測(cè)錯(cuò)誤,即實(shí)際負(fù)樣本,FN同理。IDS為ID轉(zhuǎn)變數(shù),是指跟蹤軌跡中行人ID瞬間轉(zhuǎn)換的次數(shù),ngt指的是所有幀中g(shù)round truth對(duì)象的總數(shù)量。

2)多目標(biāo)跟蹤精確度(MOTP):是衡量單攝像頭多目標(biāo)跟蹤位置誤差的一個(gè)指標(biāo),可表示為

式中:ct表示第t幀物體的匹配個(gè)數(shù),dti表示第t幀下目標(biāo)與其配對(duì)位置之間的距離。

4)多數(shù)丟失數(shù)(MT):指丟失部分大于80%的跟蹤軌跡數(shù),數(shù)值越小越好。

5)ID轉(zhuǎn)變數(shù)(IDS):指跟蹤軌跡中行人ID瞬間轉(zhuǎn)換的次數(shù),通常能反應(yīng)跟蹤穩(wěn)定性,數(shù)值越小越好。

3 實(shí)驗(yàn)結(jié)果與分析

為充分驗(yàn)證系統(tǒng)的性能,補(bǔ)充了受試者工作特征曲線(xiàn)(ROC曲線(xiàn)),如圖3所示。ROC曲線(xiàn)越陡代表性能越高,其理想值為1,即AUC面積為一個(gè)正方形。一般AUC的值介于0.5～1之間,此處AUC面積為0.79,說(shuō)明所提出模型能夠良好地預(yù)測(cè)跟蹤目標(biāo)。

圖3 目標(biāo)跟蹤框架ROC曲線(xiàn)圖Fig.3 ROC curve of target tracking frame

圖3所示曲線(xiàn)的橫坐標(biāo)為FPR,即假正率,可表示為

縱坐標(biāo)為T(mén)PR,即真正率,可表示為

式中:F代表錯(cuò)誤,T代表正確,P代表正樣本,N代表負(fù)樣本。與此對(duì)應(yīng),FP表示預(yù)測(cè)為正樣本,預(yù)測(cè)錯(cuò)誤,即實(shí)際負(fù)樣本,TP、FN以及TN同理。

TPR和FPR分別在實(shí)際的正樣本和負(fù)樣本中觀(guān)察相關(guān)概率問(wèn)題,因此,無(wú)論樣本是否平衡,對(duì)指標(biāo)都無(wú)影響。例如,總樣本中,90%是正樣本,10%是負(fù)樣本,準(zhǔn)確率會(huì)存在誤差。但TPR與FPR不同,TPR只關(guān)注正樣本中有多少是被真正覆蓋的,與其余10%負(fù)樣本毫無(wú)關(guān)系。同理,FPR只關(guān)注負(fù)樣本中有多少是被錯(cuò)誤覆蓋的,也與其余90%正樣本毫無(wú)關(guān)系,因此可以避免樣本不平衡的問(wèn)題,這也是選用TPR和FPR作為AUC指標(biāo)的原因。

圖4為FPS與MOTA指標(biāo)圖,其橫坐標(biāo)代表模型運(yùn)行的速率(FPS),縱坐標(biāo)是MOTA指標(biāo),圖中共展示了10種不同的目標(biāo)跟蹤框架。由圖4可知,與DSM、MDP、FANTrack等框架相比,所提出框架無(wú)論是在速度上還是準(zhǔn)確率上都有明顯優(yōu)勢(shì);與Beyondpixels、JCSTD以及Complexer-YOLO框架相比,所提出框架能較好地平衡速度與準(zhǔn)確度,有著均衡的性能,雖然Beyondpixels框架的跟蹤準(zhǔn)確率達(dá)到了84%,然而其速度還不足5FPS,與之類(lèi)似的是Complexer-YOLO框架,雖然其速度達(dá)到了100PFS,然而其跟蹤準(zhǔn)確率不足76%。所提出框架的準(zhǔn)確率為79.22%,PFS為39,在保證跟蹤精度的同時(shí)速度也較快。

圖4 FPS與MOTA指標(biāo)圖Fig.4 FPS and Mota index chart

將傳統(tǒng)的狀態(tài)預(yù)測(cè)與深度學(xué)習(xí)進(jìn)行結(jié)合,使用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)物體在三維空間里的狀態(tài),通過(guò)神經(jīng)網(wǎng)絡(luò)的集成式學(xué)習(xí)達(dá)到對(duì)遮擋物體的狀態(tài)預(yù)測(cè),跟蹤效果如圖5所示?？梢钥闯鰣D中ID為1的近距離目標(biāo)在跟蹤過(guò)程中被準(zhǔn)確跟蹤,對(duì)于圖中ID為3的較遠(yuǎn)距離目標(biāo),所提出框架也能準(zhǔn)確跟蹤,對(duì)于ID分別為2、4時(shí)跟蹤過(guò)程中靜止不動(dòng)的目標(biāo),其ID并沒(méi)有發(fā)生跳變,并且沒(méi)有丟失目標(biāo),跟蹤依舊準(zhǔn)確。所提出框架可以準(zhǔn)確跟蹤目標(biāo),對(duì)靜止目標(biāo)不會(huì)發(fā)生跳變以及跟蹤丟失的狀況,并且在跟蹤較遠(yuǎn)距離目標(biāo)時(shí)也有良好表現(xiàn)。

使用KITTI MOT評(píng)估方法對(duì)KITTI數(shù)據(jù)集進(jìn)行算法性能比較,如表4所示,所提出框架分別與MDP、LP-SSVM、DSM以及Complexer-YOLO框架進(jìn)行了對(duì)比,可見(jiàn)所提出框架準(zhǔn)確率最高,并且速度也較快,可以較好地平衡速度與準(zhǔn)確度,具有穩(wěn)定的性能。與卡爾曼預(yù)測(cè)框架相比,所提出框架在準(zhǔn)確度、精度以及穩(wěn)定性上都有較大提升。所提出框架IDS僅為16,說(shuō)明其抗遮擋性良好,對(duì)遮擋比較久的物體不會(huì)造成跟蹤丟失,且在對(duì)遠(yuǎn)距離物體的跟蹤上也有優(yōu)異的表現(xiàn)。

圖5 KITTI數(shù)據(jù)集上跟蹤效果展示圖。(a)Frame 12;(b)Frame 22Fig.5 Display of tracking effect on KITTI data set.(a)Frame 12;(b)Frame 22

表4 使用KITTI MOT評(píng)估方法對(duì)KITTI數(shù)據(jù)集進(jìn)行算法性能比較Table 4 Algorithm performance comparison of KITTI dataset using KITTI mot evaluation method

測(cè)試了不同IOU閾值對(duì)MOTA指標(biāo)的影響,結(jié)果如圖6,可見(jiàn)隨著IOU閾值的增加MOTA指標(biāo)在不斷地減小,當(dāng)IOU閾值選取為0.1時(shí),其MOTA最高,故IOU閾值選取為0.1。

圖6 IOU-MOTA測(cè)試圖Fig.6 Test chart of IOU-MOTA

4 結(jié)論

設(shè)計(jì)了一個(gè)多目標(biāo)實(shí)時(shí)跟蹤框架,結(jié)合傳統(tǒng)的狀態(tài)預(yù)測(cè)與深度學(xué)習(xí),利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)在三維空間里的狀態(tài),并使用匈牙利算法逐幀進(jìn)行數(shù)據(jù)關(guān)聯(lián),設(shè)計(jì)軌跡管理模塊管理相應(yīng)的軌跡,實(shí)現(xiàn)多目標(biāo)跟蹤。相較于傳統(tǒng)的實(shí)時(shí)跟蹤框架,所提出框架不需要在圖像空間中執(zhí)行卡爾曼濾波,用深度神經(jīng)網(wǎng)絡(luò)替代傳統(tǒng)的卡爾曼濾波,通過(guò)神經(jīng)網(wǎng)絡(luò)的集成式學(xué)習(xí)達(dá)到對(duì)遮擋物體的狀態(tài)預(yù)測(cè),克服了傳統(tǒng)的實(shí)時(shí)框架在遮擋物體跟蹤上的缺陷。所提出框架不僅平衡了速度與準(zhǔn)確度,具有穩(wěn)定的性能,并且對(duì)于遮擋較久的物體以及遠(yuǎn)距離物體也有良好的跟蹤性能。