基于深度學(xué)習(xí)的車輛跟蹤算法綜述

趙奇慧 劉艷洋

（智慧互通科技有限公司靜態(tài)交通技術(shù)創(chuàng)新中心 河北省張家口市 075000）

計(jì)算機(jī)視覺(jué)技術(shù)使計(jì)算機(jī)能夠像人類一樣“看世界”。它利用攝像機(jī)來(lái)模擬人眼的功能，從而實(shí)現(xiàn)對(duì)目標(biāo)的提取、識(shí)別和跟蹤。視覺(jué)跟蹤是計(jì)算機(jī)視覺(jué)中最具挑戰(zhàn)性的問(wèn)題之一，它可以實(shí)現(xiàn)對(duì)指定目標(biāo)的跟蹤、定位和識(shí)別功能，并將目標(biāo)的參數(shù)提供給控制器供后續(xù)使用。視覺(jué)跟蹤在移動(dòng)機(jī)器人、自動(dòng)駕駛、人機(jī)交互、自動(dòng)監(jiān)控等機(jī)器智能領(lǐng)域有著廣泛的應(yīng)用。

智能交通是“智慧城市”的關(guān)鍵內(nèi)容之一。在城市的主干道，尤其是十字路口，對(duì)車輛、行人等目標(biāo)的自動(dòng)檢測(cè)與跟蹤是智能交通系統(tǒng)的重要任務(wù)。目前基于深度學(xué)習(xí)的目標(biāo)跟蹤借助于云平臺(tái)，能夠及時(shí)有效地實(shí)現(xiàn)對(duì)交通狀態(tài)的感知，從而提高整個(gè)城市的交通效能，因而起著越來(lái)越重要的作用。

1 車輛跟蹤的研究背景

基于計(jì)算機(jī)視覺(jué)的車輛跟蹤任務(wù)主要分為三個(gè)步驟，首先人為確定視頻場(chǎng)景中的感興趣區(qū)域,然后在后續(xù)視頻幀中找出車輛的位置，最后通過(guò)一系列場(chǎng)景分析得出車輛運(yùn)動(dòng)的軌跡。

典型的車輛跟蹤算法主要包括四個(gè)部分:初始化、運(yùn)動(dòng)模型、外觀模型和更新模型。初始化的目的是確定要進(jìn)行跟蹤的車輛的初始位置和大小,通常由人工標(biāo)注獲得,而在實(shí)際應(yīng)用中也可以由目標(biāo)檢測(cè)算法提供。運(yùn)動(dòng)模型是對(duì)車輛的運(yùn)動(dòng)狀態(tài)進(jìn)行建模,用來(lái)預(yù)測(cè)車輛在下一幀可能出現(xiàn)的位置或生成一組候選樣本供車輛外觀模型評(píng)價(jià)。外觀模型是通過(guò)對(duì)車輛外觀進(jìn)行建模,用來(lái)評(píng)價(jià)候選位置或候選樣本。更新模型是根據(jù)跟蹤結(jié)果對(duì)外觀模型和運(yùn)動(dòng)模型進(jìn)行更新,以適應(yīng)目標(biāo)和背景的動(dòng)態(tài)變化。

當(dāng)前許多研究學(xué)者對(duì)車輛跟蹤有研究，莫舒玥[1]提出了通過(guò)構(gòu)建車輛動(dòng)態(tài)目標(biāo)位置的運(yùn)動(dòng)學(xué)模型，研究了車輛彎道保持系統(tǒng)中的動(dòng)態(tài)目標(biāo)位置跟蹤問(wèn)題，實(shí)現(xiàn)了自適應(yīng)預(yù)測(cè)。胥中南[2]提出了一種快速分類尺度空間跟蹤器，在核相關(guān)濾波算法的基礎(chǔ)上融合了卡爾曼濾波器，解決了復(fù)雜路況下車輛多尺度變換的問(wèn)題。王威[3]等人提出考慮控制延時(shí)的MPC控制器，實(shí)現(xiàn)了車輛路徑的追蹤。劉國(guó)輝[4]等人將龐大的VGG-M網(wǎng)絡(luò)模型應(yīng)用到實(shí)時(shí)跟蹤中，并結(jié)合在線觀測(cè)模型，實(shí)現(xiàn)了對(duì)前方車輛穩(wěn)定精準(zhǔn)的跟蹤。楊妍[5]等人提出通過(guò)確定車輛的質(zhì)心位置、最小外接矩形和運(yùn)動(dòng)方向，使用基于匹配特征的方法來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)車輛的跟蹤。范永昆[6]等人提出一種車輛目標(biāo)的尺度搜索算法，通過(guò)比較目標(biāo)區(qū)域上三個(gè)特定尺度相關(guān)濾波響應(yīng)的平均峰值相關(guān)能量，推斷出目標(biāo)尺度的變化方向，有效解決車輛跟蹤過(guò)程中尺度變化導(dǎo)致的模型漂移問(wèn)題。宋士奇[7]等人提出了改進(jìn)YOLOV3 網(wǎng)絡(luò)，其采用了密集連接卷積網(wǎng)絡(luò)的設(shè)計(jì)思想，實(shí)現(xiàn)了車輛的追蹤，改善了雨雪天下車輛追蹤精度不良的情況。

隨著人工智能技術(shù)的不斷發(fā)展，車輛跟蹤算法的性能逐漸改善,但是在復(fù)雜的環(huán)境下對(duì)運(yùn)動(dòng)目標(biāo)實(shí)現(xiàn)實(shí)時(shí)、穩(wěn)定的跟蹤，仍存在很大的挑戰(zhàn),面臨的挑戰(zhàn)主要有四點(diǎn):

（1）形態(tài)變化。姿態(tài)變化是車輛跟蹤中常見的干擾問(wèn)題.運(yùn)動(dòng)目標(biāo)發(fā)生姿態(tài)變化時(shí),容易導(dǎo)致跟蹤失敗。

（2）尺度變化。由于跟蹤框不能自適應(yīng)跟蹤,會(huì)將很多背景信息包含在內(nèi),導(dǎo)致目標(biāo)模型的更新錯(cuò)誤。

（3）遮擋與消失。車輛在運(yùn)動(dòng)過(guò)程中可能出現(xiàn)被遮擋或者短暫的消失情況。

（4）圖像模糊,光照強(qiáng)度變化,車輛快速運(yùn)動(dòng),低分辨率等情況會(huì)導(dǎo)致圖像模糊。

2 適用于車輛跟蹤的深度學(xué)習(xí)模型

但近年來(lái)，為了提高目標(biāo)跟蹤器的跟蹤效率和魯棒性，出現(xiàn)了一些深度學(xué)習(xí)模型。主要包括有CNN、GRU、GAN、Siamese network等。

2.1 CNN（Convolutional Neural Network）

CNN[7]是一種前饋神經(jīng)網(wǎng)絡(luò)，其中每個(gè)神經(jīng)元與前一層感受野范圍內(nèi)的神經(jīng)單元相關(guān)。卷積神經(jīng)網(wǎng)絡(luò)通常包含卷積層、激活函數(shù)、池化層以及全連接層，其中，卷積層由若干卷積單元組成，卷積運(yùn)算是為了對(duì)輸入圖片進(jìn)行特征提取，淺層的卷積神經(jīng)網(wǎng)絡(luò)提取一些低級(jí)的特征如邊緣、輪廓和角點(diǎn)等，深層網(wǎng)絡(luò)從低級(jí)特征中提取更為復(fù)雜的特征。池化層即降采樣層，通常經(jīng)過(guò)卷積層后會(huì)得到維度較大的特征，經(jīng)過(guò)池化層后可得到維度較小的特征。全連接層把所有局部特征結(jié)合變成全局特征，代表性的CNN模型有 AlexNet[8]、VGGNet[9]、GoogLeNet[10]、ResNet[11]等。部分卷積網(wǎng)絡(luò)基本結(jié)構(gòu)單元如圖1所示。

2.2 SNN（Siamese convolutional neural network）

Siamese network[12]是Yann Lecun提出來(lái)的，以兩副圖為輸入，然后分別進(jìn)行特征提取，最后判斷兩幅圖的相似性。孿生網(wǎng)絡(luò)是一種基于相似性度量方法的網(wǎng)絡(luò)，適用于樣本數(shù)少的多類別的識(shí)別和分類等情況。傳統(tǒng)的方法由于類別的樣本太少，所以無(wú)法訓(xùn)練出現(xiàn)有效的神經(jīng)網(wǎng)絡(luò)。SNN在過(guò)去幾年被廣泛用于視覺(jué)跟蹤，所有的基于SNN的方法的目的是為了克服預(yù)訓(xùn)練的速度慢的缺點(diǎn)，充分實(shí)現(xiàn)端到端的學(xué)習(xí)，以達(dá)到實(shí)時(shí)跟蹤的目的。孿生網(wǎng)絡(luò)基本結(jié)構(gòu)如圖2所示。

2.3 GAN（Generative Adversarial Network）

GAN[12]主要包括生成器與判別器兩部分。生成器通過(guò)學(xué)習(xí)真實(shí)圖像從而生成的和真實(shí)圖像極為相似的假圖像，以欺騙判別器，判別器對(duì)接收的圖像進(jìn)行真假判別。在訓(xùn)練過(guò)程中，生成器努力地讓生成的圖像更加真實(shí)，而判別器則努力地去識(shí)別出圖像的真假，隨著訓(xùn)練的迭代，生成器和判別器在不斷地進(jìn)行對(duì)抗，期望網(wǎng)絡(luò)達(dá)到一個(gè)均衡狀態(tài)。最終生成器生成的圖像越來(lái)越接近于真實(shí)的圖像，使得判別器識(shí)別不出真假圖像。GAN網(wǎng)絡(luò)基本結(jié)構(gòu)如圖3所示。

圖1：部分卷積網(wǎng)絡(luò)基本結(jié)構(gòu)單元

圖2：孿生網(wǎng)絡(luò)基本結(jié)構(gòu)

圖3：GAN網(wǎng)絡(luò)基本結(jié)構(gòu)

2.4 RNN（Recurrent Neural Network）

表1：各種基于預(yù)訓(xùn)練模型的視覺(jué)追蹤方法

表2：各種基于在線訓(xùn)練模型的目標(biāo)跟蹤方法

表3：各種基于離線訓(xùn)練模型的目標(biāo)跟蹤方法

由于視覺(jué)跟蹤涉及到視頻幀的空間和動(dòng)態(tài)信息，因此采用基于RNN[14]的方法來(lái)模擬目標(biāo)的運(yùn)動(dòng)。由于訓(xùn)練需要大量的參數(shù)導(dǎo)致訓(xùn)練過(guò)程較為復(fù)雜，因此基于神經(jīng)網(wǎng)絡(luò)的方法數(shù)量有限。此外，使用基于RNN方法的目的是避免對(duì)預(yù)先訓(xùn)練好的CNN模型進(jìn)行微調(diào)，因?yàn)槲⒄{(diào)已經(jīng)訓(xùn)練好的模型需要花費(fèi)大量時(shí)間，而且容易出現(xiàn)過(guò)擬合的問(wèn)題?；赗NN的方法的主要步驟是，首先利用金字塔型多向遞歸網(wǎng)絡(luò)或長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）合并到不同的網(wǎng)絡(luò)中，然后確定目標(biāo)并研究前后目標(biāo)物的時(shí)間依賴關(guān)系。最后，對(duì)目標(biāo)的自結(jié)構(gòu)進(jìn)行編碼，以降低與相似干擾物相關(guān)的跟蹤靈敏度。RNN網(wǎng)絡(luò)基本結(jié)構(gòu)如圖4所示。

3 基于深度學(xué)習(xí)的車輛跟蹤算法

目前基于深度學(xué)習(xí)的跟蹤方法主要是利用深度特征強(qiáng)大的表征能力來(lái)實(shí)現(xiàn)目標(biāo)跟蹤。按照訓(xùn)練方法不同，可分為基于預(yù)訓(xùn)練的目標(biāo)跟蹤、基于離線訓(xùn)練的目標(biāo)跟蹤和基于在線訓(xùn)練的目標(biāo)跟蹤三種類型。

3.1 基于預(yù)訓(xùn)練的目標(biāo)跟蹤

圖4：RNN網(wǎng)絡(luò)基本結(jié)構(gòu)

基于預(yù)訓(xùn)練的目標(biāo)跟蹤方法主要是利用現(xiàn)成的深度神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，是基于深度學(xué)習(xí)的視覺(jué)跟蹤方法中的最簡(jiǎn)單方法。在結(jié)構(gòu)方面，疊加了一個(gè)簡(jiǎn)單的適用于車輛跟蹤的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，如AlexNet[8]，VGGNet[9]?；虔B加了一個(gè)有向無(wú)環(huán)圖拓?fù)洌鏕oogLeNet[10]，ResNet[11]，Siamese convolutional neural network[12]等，可以設(shè)計(jì)出更復(fù)雜的深層結(jié)構(gòu)，包括多個(gè)輸入/輸出層，使用不同的特征模型便可設(shè)計(jì)出不同的方法，這些特征圖和模型主要是在ImageNet數(shù)據(jù)集等大型靜態(tài)圖像上預(yù)先訓(xùn)練過(guò)的，用于目標(biāo)的檢測(cè)和跟蹤任務(wù)。

從表1的對(duì)比數(shù)據(jù)可以看出，基于預(yù)訓(xùn)練模型的跟蹤方法大多運(yùn)行速度較快，該類型方法中預(yù)訓(xùn)練網(wǎng)絡(luò)為大多VGG網(wǎng)絡(luò)，其中運(yùn)行速度最快的方法是TADT，其預(yù)訓(xùn)練模型為孿生匹配網(wǎng)絡(luò)。

其中：置信度圖(CM)，顯著性圖(SM)，邊界框(BB)，目標(biāo)評(píng)分(OS)，特征圖(FM)，分割蒙版(SGM)，旋轉(zhuǎn)邊界框(RBB)，動(dòng)作(AC)，深度外觀特征(DAF)，深度運(yùn)動(dòng)特征(DMF)

采用預(yù)訓(xùn)練的目標(biāo)跟蹤方法有很多優(yōu)點(diǎn):一方面，完全使用預(yù)訓(xùn)練網(wǎng)絡(luò)，節(jié)省了大量的訓(xùn)練時(shí)間，而且無(wú)需在線更新網(wǎng)絡(luò)，可以取得較快的跟蹤速度；另一方面，預(yù)訓(xùn)練網(wǎng)絡(luò)可以利用預(yù)訓(xùn)練樣本中大量圖像分類的標(biāo)注數(shù)據(jù)，解決了目標(biāo)跟蹤中訓(xùn)練樣本不足的問(wèn)題。缺點(diǎn)有兩個(gè)，一是訓(xùn)練的網(wǎng)絡(luò)不能完全適應(yīng)目標(biāo)跟蹤這個(gè)任務(wù); 二是目標(biāo)在跟蹤過(guò)程中會(huì)發(fā)生很多形變，跟蹤精度會(huì)不足。

3.2 基于在線訓(xùn)練的目標(biāo)跟蹤

基于在線訓(xùn)練網(wǎng)絡(luò)的目標(biāo)跟蹤方法能更好的進(jìn)行目標(biāo)跟蹤，其優(yōu)點(diǎn)是可以適應(yīng)目標(biāo)尺度的變化。該訓(xùn)練方法主要分為三步，首先采用預(yù)訓(xùn)練的網(wǎng)絡(luò)對(duì)視頻進(jìn)行初始化，然后用第1幀的標(biāo)注樣本訓(xùn)練目標(biāo)檢測(cè)部分和特征提取部分，最后根據(jù)預(yù)測(cè)結(jié)果，生成一定的正、負(fù)樣本，微調(diào)整個(gè)網(wǎng)絡(luò)。

從表2的對(duì)比數(shù)據(jù)可以看出，基于在線訓(xùn)練模型的跟蹤方法大多在運(yùn)行速度上同樣不是很理想，該類型方法中預(yù)訓(xùn)練網(wǎng)絡(luò)大多為VGG網(wǎng)絡(luò)。

這種方法可以進(jìn)一步提高網(wǎng)絡(luò)的跟蹤精度，較好地適應(yīng)目標(biāo)尺度的變化，顯著提高跟蹤性能。但是，基于在線訓(xùn)練的目標(biāo)跟蹤方法的跟蹤速度十分有限，一般很難達(dá)到實(shí)時(shí)要求。

3.3 基于離線訓(xùn)練的目標(biāo)跟蹤

基于在線訓(xùn)練的目標(biāo)跟蹤方法跟蹤速度十分有限，特征的提取和更新很難做到實(shí)時(shí)。為解決這一問(wèn)題，提出基于離線端到端訓(xùn)練的全卷積孿生網(wǎng)絡(luò)的跟蹤方法 SiamFC。SiamFC 主要學(xué)習(xí)相似度函數(shù)，用于目標(biāo)匹配。SiamFC 主要學(xué)習(xí)相似度函數(shù)，用于目標(biāo)匹配。孿生網(wǎng)絡(luò)分別輸入初始幀模板以及當(dāng)前幀的搜索區(qū)域，分別使用相同的全卷積網(wǎng)絡(luò)提取特征，再用相關(guān)操作進(jìn)行模板匹配，生成響應(yīng)圖。響應(yīng)圖中最大值的位置即是目標(biāo)在搜索區(qū)域內(nèi)的相應(yīng)位置。網(wǎng)絡(luò)訓(xùn)練時(shí)，SiamFC 采用 ImageNet VID的視頻數(shù)據(jù)，選取視頻中相隔不遠(yuǎn)的兩幀輸入網(wǎng)絡(luò)進(jìn)行相似度函數(shù)學(xué)習(xí); 跟蹤時(shí)，訓(xùn)練好的網(wǎng)絡(luò)無(wú)需調(diào)整，目標(biāo)模板也無(wú)需更新，從而實(shí)現(xiàn)實(shí)時(shí)跟蹤。基于離線訓(xùn)練的目標(biāo)跟蹤方法不僅提高了跟蹤的精度，還能通過(guò)改善訓(xùn)練過(guò)程中的過(guò)擬合現(xiàn)象來(lái)達(dá)到較好的跟蹤速度。

從表3的對(duì)比數(shù)據(jù)可以看出，基于離線訓(xùn)練模型的跟蹤方法較在線訓(xùn)練的方法運(yùn)行速度快很多，該類型方法中效果較好的，其特征提取網(wǎng)絡(luò)大多為AlexNet。

基于離線訓(xùn)練的目標(biāo)跟蹤可以很好的平衡準(zhǔn)確率和跟蹤速度，但是基于離線訓(xùn)練的模型應(yīng)用于在線跟蹤的任務(wù)時(shí)仍有困難，因?yàn)樵谔崛√卣鲿r(shí)，非深度學(xué)習(xí)的方法都是人工手動(dòng)提取特征，而SiamFC等深度學(xué)習(xí)方法因?yàn)闆](méi)有使用注意機(jī)制，導(dǎo)致目標(biāo)跟蹤精度不夠。

在現(xiàn)階段，視覺(jué)跟蹤的關(guān)注點(diǎn)主要分為兩大類:第一類關(guān)注于提高準(zhǔn)確性，但是速度非常慢(無(wú)論是CPU還是GPU)，無(wú)法滿足機(jī)器實(shí)時(shí)應(yīng)用的需求。第二類側(cè)重于速度，但是準(zhǔn)確性有所缺陷。目前來(lái)看，跟蹤效果較好是基于ECO-HC的預(yù)訓(xùn)練目標(biāo)跟蹤王法，主要因?yàn)槠涫褂昧司矸e，具有卷積的跟蹤方法性能優(yōu)于僅具有手工特征的跟蹤方法，但該類型跟蹤方法的速度并不理想。雖然隨著深度學(xué)習(xí)的發(fā)展，跟蹤方法的性能越來(lái)越好、越來(lái)越快，但當(dāng)前仍然不能應(yīng)用于移動(dòng)端(基于ARM或CPU)。

4 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

4.1 數(shù)據(jù)集

目標(biāo)跟蹤數(shù)據(jù)集的創(chuàng)建，目的是對(duì)各種跟蹤算法進(jìn)行性能比較。第一個(gè)建立的用于對(duì)象跟蹤數(shù)據(jù)集為OTB2013[14]，包含由51個(gè)經(jīng)過(guò)注釋的視頻序列。OTB2015[15]是OTB2013數(shù)據(jù)集擴(kuò)展而來(lái)，其包括100個(gè)經(jīng)過(guò)注釋的視頻序列。OTB 數(shù)據(jù)集的出現(xiàn)也促進(jìn)了其他視頻數(shù)據(jù)集的發(fā)展。為了評(píng)估基于顏色信息的目標(biāo)跟蹤算法，建立了TempleColor128[16]數(shù)據(jù)集。該數(shù)據(jù)集共包含128個(gè)彩色視頻序列，部分序列與 OTB 數(shù)據(jù)集重合。BDD100K數(shù)據(jù)集在計(jì)算機(jī)視覺(jué)領(lǐng)域，是樣本量和數(shù)據(jù)規(guī)模最大的車輛視頻數(shù)據(jù)集，包括了不同情景的車輛視頻，數(shù)據(jù)集包括了一天中不同時(shí)刻、不同的天氣條件下的圖像，總時(shí)長(zhǎng)超過(guò)1,100小時(shí)?？偟膩?lái)說(shuō)，該數(shù)據(jù)集囊括了接近10萬(wàn)個(gè)視頻，每個(gè)時(shí)長(zhǎng)約40秒，其中樣本圖片是每個(gè)視頻的第10秒截取的，以此來(lái)作為關(guān)鍵幀，總共捕獲了10萬(wàn)張照片。

4.2 評(píng)價(jià)指標(biāo)

為了比較各個(gè)算法的性能,通常使用三種指標(biāo)進(jìn)行度量：第一個(gè)指標(biāo)是精準(zhǔn)度 (Precision)，在圖像中跟蹤目標(biāo)的中心與標(biāo)準(zhǔn)中心的差值小于某一個(gè)閾值所占視頻總幀數(shù)的比例。

其中，N表示一個(gè)視頻序列中的幀數(shù)，CLE表示心位置誤差，d表示一個(gè)特定閾值，dis表示兩點(diǎn)之間的歐氏距離，p1表示檢測(cè)到的跟蹤目標(biāo)的中心，p2表示該目標(biāo)物真實(shí)的目標(biāo)中心。

第二個(gè)指標(biāo)是成功率 (Success rate)。將當(dāng)前幀中跟蹤框和標(biāo)準(zhǔn)框的重疊部分的面積與其覆蓋總面積做比值,得到數(shù)值 (VOR)。成功率是指計(jì)算跟蹤成功的幀數(shù)所占總視頻幀數(shù)的比例。

其中，BT表示生成的跟蹤區(qū)域；BG表示實(shí)際的目標(biāo)區(qū)域；

第三個(gè)指標(biāo)是表示跟蹤算法的速度，采用幀/秒 (FPS)表示。

5 總結(jié)與展望

車輛跟蹤算法發(fā)展至今，在特征表達(dá)、處理尺度變化、解決遮擋問(wèn)題等方面都取得了長(zhǎng)足的進(jìn)步，顯著提升了算法的跟蹤精度和跟蹤速度。目前，車輛跟蹤算法在目標(biāo)跟蹤領(lǐng)域存在的主要問(wèn)題：

（1）如何提升深度特征跟蹤速度。

（2）如何訓(xùn)練出更適合于車輛跟蹤問(wèn)題的端到端模型。