基于卡爾曼濾波的SiamRPN目標(biāo)跟蹤方法

張子龍 王永雄

摘要：基于深度學(xué)習(xí)的視覺跟蹤方法在多個基準(zhǔn)數(shù)據(jù)庫上取得了很好的跟蹤性能，特別是基于Siamese框架的目標(biāo)跟蹤方法取得了突破性的進展。為了提高跟蹤效果，有效解決跟蹤過程中干擾和遮擋問題，本文提出了一種基于卡爾曼濾波的SiamRPN（Siamese+RPN）目標(biāo)跟蹤方法。首先，利用訓(xùn)練好的SiamRPN跟蹤算法和卡爾曼濾波跟蹤模型分別對目標(biāo)物體進行跟蹤，得到2種跟蹤算法跟蹤結(jié)果的置信度，然后，基于置信度加權(quán)融合模型得到最后的跟蹤框?？柭鼮V波器可預(yù)測目標(biāo)在一定遮擋干擾等情況下的位置，SiamRPN算法利用區(qū)域候選網(wǎng)絡(luò)RPN將每一幀的跟蹤轉(zhuǎn)換為一次局部檢測任務(wù)，快速準(zhǔn)確地得到跟蹤框的位置和尺度，提出的算法避免了使用常規(guī)的低效費時的多尺度自適應(yīng)方法，融合了2種優(yōu)秀跟蹤算法的優(yōu)點，不僅跟蹤速度較快，而且抗干擾和遮擋能力明顯提高。在經(jīng)典數(shù)據(jù)庫上的實驗驗證了提出的算法明顯提高了目標(biāo)運動較快、干擾較強和有遮擋情況下的跟蹤效果，在速度沒有明顯下降的前提下，成功率和精度等多個性能指標(biāo)均有較大的提升。

關(guān)鍵詞： 目標(biāo)跟蹤; 卡爾曼濾波; 孿生網(wǎng)絡(luò); 加權(quán)融合

【Abstract】The visual learning method based on deep learning has achieved good tracking performance on multiple benchmark databases. Especially， the object tracking method based on Siamese framework is a breakthrough. In order to improve the tracking effect and solve effectively the interference and occlusion problems in tracking， a SiamRPN （Siamese+RPN） object tracking method based on Kalman filtering is proposed. Firstly， the trained SiamRPN tracking algorithm and the Kalman filter tracking model are used to track the object respectively， and the confidence of the results of the two tracking algorithms is obtained. Then， the final tracking frame is obtained based on the confidence weighted fusion model. The Kalman filter can predict the position of the object under certain occlusion interference. The regional candidate network RPN in SiamRPN algorithm is used to convert the tracking of each frame into a local detection task， and obtain the position and scale of the tracking frame both quickly and accurately. The conventional inefficient and time-consuming multi-scale test and online fine-tuning is abandoned. The new method includes the advantages of two excellent tracking algorithms. Thus， not only the tracking speed is fast， but also the anti-interference and occlusion capabilities are significantly improved. Experimental results on the classical database verify that the proposed algorithm significantly improves the tracking effect in the condition of fast object motion， strong interference and occlusion. The performances such as success rate and accuracy are greatly achieved without decreasing the tracking speed obviously.

【Key words】 ?object tracking; Kalman filter; SiamRPN network; weighted fusion;

0 引 言

視覺目標(biāo)跟蹤是最近幾年計算機視覺領(lǐng)域的主要研究方向之一，也是計算機視覺分析、自動駕駛和姿態(tài)估計等領(lǐng)域的一個基本問題。跟蹤的主要難點是在具有遮擋、干擾、變形、背景雜波等變化的復(fù)雜場景中準(zhǔn)確地檢測和定位目標(biāo)。目前主流的跟蹤方法分為2類。一類基于相關(guān)濾波的跟蹤算法[1-3]，該方法因為速度快、效果好吸引了眾多研究者的目光。相關(guān)濾波器通過將輸入特征回歸為目標(biāo)高斯分布來訓(xùn)練濾波器，Bolme等人[2]提出用相關(guān)濾波器進行目標(biāo)跟蹤，并優(yōu)化傅里葉域中誤差平方和的輸出，使跟蹤速度達到了每秒669幀。Henriques等人[4]通過引入循環(huán)移位矩陣和和技巧（Exploiting the Circulant Structure of Tracking-by-detection with Kernels， CSK）可以在基本不損失計算速度的基礎(chǔ)上極大地擴充訓(xùn)練樣本，但該算法的目標(biāo)框大小是固定的，對發(fā)生尺度變化的目標(biāo)不具有魯棒性。 Henriques 等人[5]在后續(xù)工作中提出了核相關(guān)濾波器（High-Speed Tracking with Kernelized Correlation Filters，KCF）， 該濾波器在CSK的基礎(chǔ)上提出用快速梯度直方圖特征（Fast Histogram of Oriented Gradiend，F(xiàn)HOG）提高跟蹤精度。針對目標(biāo)運動中造成的尺度變化問題，Danelljian等人[6]提出了平移濾波加尺度自適應(yīng)的方法（Discriminative Scale Space Tracking，DSST），并引入多特征融合機制，顯著地提高了跟蹤精度。另一類方法是基于強大的深度學(xué)習(xí)方法，隨著深度學(xué)習(xí)的發(fā)展，其強大的學(xué)習(xí)能力和優(yōu)秀的特征表達能力在視覺跟蹤領(lǐng)域展現(xiàn)了巨大的潛力。學(xué)者們開始用魯棒性更強的卷積神經(jīng)網(wǎng)絡(luò)來提取目標(biāo)特征。Ma等人[7]提出了HCF（Hierarchical Convolutional Features for visual tracking）算法，將傳統(tǒng)的HOG特征替換為深度卷積特征，由于低層特征有較高的分辨率能夠?qū)δ繕?biāo)進行精準(zhǔn)的定位，高層特征包含更多的語義信息，故而提出用分層卷積特征對目標(biāo)進行學(xué)習(xí)。Danelljan等人[8]提出了連續(xù)卷積算子（Continuous Convolution Operators for visual Tracking， CCOT），該算法在特征融合的基礎(chǔ)上，通過在連續(xù)空間域的學(xué)習(xí)，創(chuàng)建時域連續(xù)的相關(guān)濾波器，并將不同分辨率的特征圖輸入濾波器，使傳統(tǒng)特征和深度特征相結(jié)合，顯著地提高了跟蹤的實時性和魯棒性。Danelljan等人[9]針對CCOT處理高維特征需要處理多個濾波器的問題，為了提高時間和空間效率，提出了高效的卷積算子ECO（Efficient Convolution Operators for tracking），利用因式分解構(gòu)造一組更小的濾波器，降低了模型的復(fù)雜度，防止過高的維度而導(dǎo)致的低效率和過擬合問題，同時利用高斯混合模型表示不同的目標(biāo)外觀，降低模型的更新頻率，防止過擬合。

近年來，采用基于Siamese（孿生）網(wǎng)絡(luò)框架進行目標(biāo)跟蹤的孿生網(wǎng)絡(luò)以其優(yōu)良的性能在視覺跟蹤領(lǐng)域受到了廣泛的關(guān)注。經(jīng)典的SiamFC方法首先學(xué)習(xí)構(gòu)建先驗的孿生相似性函數(shù)[10]，然后利用這個相似性函數(shù)比較目標(biāo)模板和搜索區(qū)域的相似度，最后得到搜索區(qū)域的得分圖（score map）。該跟蹤算法在速度方面取得不錯的效果。SiamRPN[11]是在Siamese網(wǎng)絡(luò)的基礎(chǔ)上引入了一個區(qū)域候選網(wǎng)絡(luò)（RPN），將每一幀的跟蹤轉(zhuǎn)換為一次局部檢測任務(wù)，SiamRPN網(wǎng)絡(luò)強大的檢測功能使得跟蹤方法獲得了較高的精度和速度。然而，當(dāng)目標(biāo)運動速度較快或者目標(biāo)周圍有干擾物的時候，跟丟目標(biāo)的概率依然很高。為此，Morimitsu[12]提出用多種上下文特征來擴展SiamFC跟蹤器，從非常深的網(wǎng)絡(luò)中提取多個上下文和語義級別的特征，獲取跟蹤目標(biāo)的更加完備特性描述，從而提高跟蹤效果。該方法能夠有效地從不同層中提取出互補特征，并在融合時顯著提高了模型的抗干擾性能。同樣為了提高模型的抗干擾能力和泛化能力，Wang等人[13]提出了RASNet（Residual Attentional Siamese Network for high performance online visual tracking），該算法在Siamese網(wǎng)絡(luò)的基礎(chǔ)上，通過引入3種注意力機制（Residual Attention、General Attention和Channel Attention），精確描述目標(biāo)的外觀輪廓，優(yōu)先選擇更加強有力的特征通道，再對其進行加權(quán)融合，并把這項注意力機制作為一個layer嵌入Siamese網(wǎng)絡(luò)中，提升了模型的判別能力和抗干擾性能。但是，在長時跟蹤中，Siamese類跟蹤器不能很好地應(yīng)對目標(biāo)全遮擋、目標(biāo)出畫面等挑戰(zhàn)。

為了提高模型抗干擾性和解決短時全遮擋問題，本文提出了一種基于卡爾曼濾波的SiamRPN目標(biāo)跟蹤方法，當(dāng)視頻輸入時，SiamRPN和卡爾曼濾波模塊同時進行跟蹤，SiamRPN模型分支首先利用卷積神經(jīng)網(wǎng)絡(luò)對模板幀和檢測幀進行特征提取，然后經(jīng)過RPN網(wǎng)絡(luò)回歸得到跟蹤目標(biāo)的位置坐標(biāo)和尺度。模型的另一分支利用卡爾曼濾波對檢測幀的目標(biāo)進行預(yù)測，最后通過置信度加權(quán)融合2個子模型的跟蹤結(jié)果，確定最優(yōu)跟蹤框。SiamRPN中的區(qū)域候選網(wǎng)絡(luò)RPN可以快速準(zhǔn)確地計算出跟蹤框的位置和尺度，避免了使用常規(guī)的低效費時的多尺度自適應(yīng)方法。當(dāng)目標(biāo)受到嚴(yán)重干擾或遮擋時，卡爾曼預(yù)測模塊依靠優(yōu)秀的預(yù)測位置能力，相對準(zhǔn)確地跟蹤到目標(biāo)的位置，這是Siamese類跟蹤器不具有的性能。因此，本文的方法不僅跟蹤速度快，而且在抗干擾和解決遮擋問題上表現(xiàn)出明顯的優(yōu)勢。

1 基于卡爾曼濾波的孿生網(wǎng)絡(luò)

1.1 基于Siamese的跟蹤網(wǎng)絡(luò)

近年來，基于Siamese網(wǎng)絡(luò)的跟蹤器因其良好的跟蹤精度和效率而受到廣泛關(guān)注[14-16]。這些跟蹤器將目標(biāo)跟蹤表示為通過學(xué)習(xí)目標(biāo)模板和搜索區(qū)域的特征表示之間的相互關(guān)聯(lián)來學(xué)習(xí)一般的相似性映射，并從具有孿生網(wǎng)絡(luò)結(jié)構(gòu)的深度模型中學(xué)習(xí)跟蹤相似度，一個分支用于學(xué)習(xí)目標(biāo)的特征表示，另一個分支用于學(xué)習(xí)搜索區(qū)域的特征表示。為了從2個分支的相互關(guān)系中生成相似映射，研究中訓(xùn)練了一個全卷積神經(jīng)網(wǎng)絡(luò)，將2個網(wǎng)絡(luò)分支連接起來，一個用于對象模板，另一個用于搜索區(qū)域。目標(biāo)補丁（實例）通常是在第一幀的序列，可以被視為一個范例z。研究的目標(biāo)是在搜索區(qū)域x找到與范例z最相似的目標(biāo)對象。

1.2 SiamRPN網(wǎng)絡(luò)框架

1.2.1 SiamRPN介紹

SiamRPN第一次是在Faster RCNN中使用[17]，專門用來提取候選框，在RCNN和Fast RCNN等物體檢測架構(gòu)中，提取候選框的方法通常是Selective Search，是傳統(tǒng)的方法之一，而且比較耗時，使用CPU需要花費2 s計算一張圖。為提高計算速度，提出了利用RPN提取候選框，一方面RPN耗時少，另一方面RPN可以很容易結(jié)合到Fast RCNN中，合成為一個整體。

在視覺跟蹤中，區(qū)域候選網(wǎng)絡(luò)RPN的引入使得網(wǎng)絡(luò)在跟蹤的時候不需要多尺度測試，通過網(wǎng)絡(luò)回歸可以直接得到更加準(zhǔn)確的目標(biāo)位置，不需要插值等附加計算。[JP2]在網(wǎng)絡(luò)訓(xùn)練中，研究引入了大規(guī)模的視頻數(shù)據(jù)集Youtube-BB進行訓(xùn)練，相比較于原來的VID數(shù)據(jù)集，Youtube-BB在視頻數(shù)量上有大約50倍的提升，這保證了網(wǎng)絡(luò)能夠得到更為充分的訓(xùn)練。

本文采用的SiamRPN網(wǎng)絡(luò)框架如圖1所示。由圖1可知，左邊是用于特征提取的孿生網(wǎng)絡(luò)，上下支路的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)完全相同，上面是輸入第一幀的bounding box，靠此信息檢測候選區(qū)域中的目標(biāo)，即模板幀。下面是檢測幀，顯然，檢測幀的搜索區(qū)域比模板幀的區(qū)域大。中間是區(qū)域提取網(wǎng)絡(luò)，包含分類分支和回歸分支，這里采用兩兩相關(guān)的卷積運算得到2個分支的輸出。在分類分支，輸出的特征圖包含2k個通道，表示k個錨點的前景與背景的分?jǐn)?shù)，在回歸分支上，輸出的特征圖包含4k個通道，分別表示k個錨點坐標(biāo)偏移的預(yù)測值。右側(cè)是輸出結(jié)果。圖1中，表示相關(guān)運算。

2.2 定性分析

選取OTB2015中3組典型的序列 Soccer 、Hu-man6與Bolt2，其中，Soccer序列主要具有平面內(nèi)旋轉(zhuǎn)、快速運動、遮擋等干擾，Human6和Bolt2序列主要具有遮擋與運動模糊等干擾。采用本文算法、SiamRPN和SianFC_3s在3組序列上的跟蹤結(jié)果如圖3所示。在OTB2015測試序列的Human6序列中，當(dāng)目標(biāo)在序列的前350幀之前，即目標(biāo)沒有經(jīng)過紅綠燈桿時，3種算法均能有效跟蹤到行人，并且差異不大，當(dāng)目標(biāo)遇到遮擋時，即在350～370幀之間，由于目標(biāo)部分被遮擋，SianFC_3s算法很快丟失目標(biāo)，SiamRPN算法雖未完全丟失目標(biāo)，但跟蹤效果也已大幅度下降。通過實驗驗證了本文算法在嚴(yán)重遮擋的情況下，依然能準(zhǔn)確跟蹤到目標(biāo)。在圖3（b）中，采用OTB2015測試序列中的Soccer序列，該視頻集具有運動模糊、背景干擾以及遮擋等問題，在前面的序列中，目標(biāo)并未受到大的干擾和遮擋問題，此時實驗采用的3種算法均能很好地跟蹤到目標(biāo)，在第38幀之后，由于目標(biāo)快速運動，期間伴有部分遮擋，導(dǎo)致SiamRPN和SianFC_3s兩種算法很快跟丟目標(biāo)。在圖3（c）中，由于目標(biāo)運動員在快速運動中周圍含有相似干擾運動員，當(dāng)?shù)?1幀時，由于相似干擾運動員與目標(biāo)太近，導(dǎo)致SiamRPN和SianFC_3s算法跟丟。而本文所采用的抗干擾和遮擋的算法很好地解決了這個問題，當(dāng)目標(biāo)遇到遮擋時，由于RPN模塊不能應(yīng)對該問題，本文提出的卡爾曼濾波可以很好地預(yù)測目標(biāo)的位置。綜上分析可知在圖3中，（a）是遮擋問題，（b）和（c）是嚴(yán)重的干擾和遮擋問題，從實驗結(jié)果可以看出，相比于SiamRPN等算法，本文所提出的基于卡爾曼濾波的SiamRPN目標(biāo)跟蹤方法在面對背景干擾問題上具有明顯的優(yōu)勢。

2.3 定量分析

OTB2015包含從常用跟蹤序列中收集的100個序列。評估基于2個指標(biāo)：精度圖和成功率圖。精度圖顯示目標(biāo)跟蹤結(jié)果與目標(biāo)距離在20像素以內(nèi)的幀數(shù)百分比。成功率圖顯示了閾值在0～1之間變化時成功幀的比例，其中成功幀表示其重疊大于給定閾值。曲線下面積（AUC）的成功圖用于排序需要對比的跟蹤算法。在本實驗中，是將本文提出的方法與數(shù)個代表性的跟蹤器進行了比較，包括SiamRPN、PTAV、CREST、SRDCF、SINT、CSR-DCF、SianFC_3s、CFNet、DSST。不同跟蹤算法的成功率圖與精度圖見圖4。從圖4中可以看出，相比于傳統(tǒng)算法SiamFC_3s，加入了區(qū)域候選網(wǎng)絡(luò)RPN后的SiamRPN其成功率和精度分別提高了5.5%和8%。本文算法在SiamRPN上引入了卡爾曼濾波模塊，成功率和精度分別提高了0.8%和2.1%，通過定量分析表明，本文提出的算法具有更好的跟蹤性能。

3 結(jié)束語

本文提出了一種基于卡爾曼濾波的SiamRPN目標(biāo)跟蹤方法，在SiamRPN算法的基礎(chǔ)上，融合了卡爾曼濾波，該算法不僅跟蹤速度塊，而且有效解決了跟蹤過程中的干擾和遮擋問題，實現(xiàn)了跟蹤目標(biāo)在運動較快、干擾較強和有遮擋情況下的高性能跟蹤。其中，SiamRPN算法中的區(qū)域候選網(wǎng)絡(luò)RPN可以快速準(zhǔn)確地計算出跟蹤框的位置和尺度，避免了使用低效費時的多尺度測試來確定跟蹤框的尺度。通過對比實驗可以看出本文提出的基于卡爾曼濾波的SiamRPN目標(biāo)跟蹤方法，在面對目標(biāo)遮擋、背景干擾等傳統(tǒng)目標(biāo)跟蹤問題時，具有更好的跟蹤性能。雖然本文算法與對比算法相比能夠取得較好的效果，但是增加卡爾曼濾波模塊的同時也降低了跟蹤速度。本文算法針對短期的干擾具有優(yōu)良的性能，但在面對長期的遮擋和干擾的跟蹤效果仍不夠理想，還需要進一步的研究工作完善該算法。

參考文獻

[1] BIBI A， MUELLER M， GHANEM B. Target response adaptation for correlation lter tracking[M]// LEIBE B， MATAS J， SEBE N， et al. Computer Vision – ECCV 2016. Lecture Notes in Computer Science. Cham：Springer，2010，9910：2544.

[2]BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation lters[C]//IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， USA： IEEE， 2010：2544.

[3]李麒驥， 李磊民， 黃玉清. 尺度自適應(yīng)的核相關(guān)濾波跟蹤器[J]. 計算機應(yīng)用， 2016， 36（12）：3385.

[4]HENRIQUES J F， CASEIRO R， MARTINS P， et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//European Conference on Computer Vision. Berlin/ Heidelberg：Springer， 2012： 702.

[5]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 37（3）： 583.

[6]DANELLJAN M， HGER G， KHAN F S， et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 39（8）： 1561.

[7]MA Chao， HUANG Jiabin， YANG Xiaokang， et al. Hierarchical convolutional features for visual tracking[C]//Proceedings of the IEEE International Conference on Computer Vision. Santiago， Chile：IEEE，2015： 3074.

[8]DANELLJAN M， ROBINSON A， KHAN F S， et al. Beyond correlation filters： Learning continuous convolution operators for visual tracking[M]// LEIBE B， et al. Proceedings of the 14th European Conference on Computer Vision. Amsterdam， The Netherlands：Springer， 2016： 472.

[9]DANELLJAN M， BHAT G， KHAN F S， et al. ECO： Efficient convolution operators for tracking[C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， HI， USA：IEEE， 2017：6931.

[10]BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully-convolutional siamese networks for object tracking[M]//HUA G， JGOU H.Computer Vision-ECCV 2016 Workshops. Lecture Notes in Computer Science. Cham：Springer， 2016，9914： 850.

[11]LI B， YAN J， WU W， et al. High performance visual tracking with siamese region proposal network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. ?Salt Lake City：IEEE，2018： 8971.

[12]MORIMITSU H. Multiple context features in siamese networks for visual object tracking[C]//Proceedings of the European Conference on Computer Vision （ECCV）. ?Munich， Germany：Diamond，2018： 116.

[13]WANG Q， TENG Z， XING J， et al. Learning attentions： Residual attentional siamese network for high performance online visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City：IEEE， 2018： 4854.

[14]ZHU Z， WANG Q， LI B， et al. Distractor-aware siamese networks for visual object tracking[C]//Proceedings of the European Conference on Computer Vision （ECCV）. Munich， Germany：Diamond， 2018： 101.

[15]HE Anfeng， LUO Chong， TIAN Xinmei， et al. A twofold Siamese network for real-time object tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE， 2018： 4834.

[16]SUN C， WANG D， LU H， et al. Learning spatial-aware regressions for visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City：IEEE，2018： 8962.

[17]REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[C]//International Conference on Neural Information Processing Systems. Cambridge：MIT Press， 2015： 91.

[18]胡波， 陳懇， 徐建瑜， 等. 基于Kalman預(yù)測和Mean-shift算法的視頻目標(biāo)跟蹤[J]. 光電子. 激光， 2009 （11）：1157.

[19]趙廣輝，卓松，徐曉龍. 基于卡爾曼濾波的多目標(biāo)跟蹤方法[J]. 計算機科學(xué)，2018，45（8）：253.

[20]WU Y， LIM J， YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，37（9）：1834.