基于ORB特征點(diǎn)匹配的相關(guān)濾波器車(chē)輛跟蹤算法

嚴(yán)曉波 王林 楊盛毅 張乾

摘要 為了解決KCF核相關(guān)濾波器跟蹤算法在無(wú)人機(jī)航拍視頻中車(chē)輛漂移、遮擋及尺度變化不能繼續(xù)跟蹤的問(wèn)題，本文提出跟蹤過(guò)程中將預(yù)測(cè)位置、檢測(cè)位置分別與學(xué)習(xí)模型計(jì)算相似度和重疊率，與兩者組成權(quán)重來(lái)更新學(xué)習(xí)模型以解決形變問(wèn)題;二是使用檢測(cè)器對(duì)車(chē)輛圖像與學(xué)習(xí)模型進(jìn)行ORB特征點(diǎn)匹配，當(dāng)車(chē)輛被遮擋后重新出現(xiàn)時(shí)能繼續(xù)跟蹤。實(shí)驗(yàn)結(jié)果表明，本文提出跟蹤算法在車(chē)輛遮擋、姿態(tài)變化和位移過(guò)大時(shí)，均能有效跟蹤目標(biāo)車(chē)輛，且具有良好的魯棒性。

【關(guān)鍵詞】KCF算法 相關(guān)濾波 車(chē)輛跟蹤 車(chē)輛檢測(cè) 特征匹配 模式識(shí)別

科技進(jìn)步推動(dòng)了交通運(yùn)輸行業(yè)的變革，隨著國(guó)內(nèi)汽車(chē)數(shù)量逐年上升，交通擁堵、交通事故以及非法車(chē)輛逃逸等問(wèn)題給交通管理部門(mén)帶來(lái)巨大的壓力。無(wú)人機(jī)技術(shù)的出現(xiàn)及廣泛應(yīng)用，為交通管理部門(mén)提供了一種靈活機(jī)動(dòng)且實(shí)時(shí)性高的執(zhí)法工具，為解決監(jiān)控?cái)z像機(jī)未能覆蓋的道路死角、長(zhǎng)時(shí)間跟蹤指定車(chē)輛等問(wèn)題提供了一種新的解決途徑。因此，本文主要研究無(wú)人機(jī)對(duì)運(yùn)動(dòng)車(chē)輛的視覺(jué)檢測(cè)與跟蹤問(wèn)題。

檢測(cè)與跟蹤方法由于外在環(huán)境的影響（如光照變化、陰雨天氣、外物遮擋等因素）使得一種算法難以適用于所有場(chǎng)景。近年來(lái)，出現(xiàn)了許多新穎的目標(biāo)跟蹤算法，主要分為四類(lèi)：基于點(diǎn)的跟蹤、基于核的跟蹤、基于輪廓的跟蹤以及深度學(xué)習(xí)跟蹤算法。其中，基于點(diǎn)的跟蹤方面，2010年Zdenek Kalal等[2]人提出了較有影響力的TLD算法，該算法由跟蹤、學(xué)習(xí)、檢測(cè)及綜合4個(gè)模塊構(gòu)成。而相關(guān)濾波器是跟蹤算法中最為基礎(chǔ)的部分，最早將相關(guān)濾波用于目標(biāo)跟蹤的MOSSE算法，通過(guò)圖像的灰度特征進(jìn)行卷積濾波，提出峰值旁瓣比（PSR），用來(lái)判斷目標(biāo)是否被遮擋或者跟蹤失敗。2012年Henriques提出CSK跟蹤算法，在MOSSE的基礎(chǔ)上引入循環(huán)矩陣和核的概念，針對(duì)傳統(tǒng)算法中稀疏采樣造成樣本冗余問(wèn)題提出了解決方案。2014年又提出KCF跟蹤算法，將圖像多通道的HOG特征與嶺回歸、傅里葉變換、循環(huán)矩陣以及多種高斯核函數(shù)等技術(shù)融合。Martin Danelljan等[6]提出CN算法，先將RGB色彩控制轉(zhuǎn)化到CN空間（11通道），分別對(duì)每個(gè)通道進(jìn)行傅里葉變換，再通過(guò)PCA將11維降到2維。DSST算法[7]提出使用33種不同尺度相關(guān)濾波器，通過(guò)相關(guān)濾波器找到相關(guān)值最大的點(diǎn)對(duì)應(yīng)的圖像作為目標(biāo)，跟蹤效果精度較高，但計(jì)算時(shí)間相對(duì)較長(zhǎng)。Yang Li和Jianke Zhu [8]提出SAMF算法CN特征和HOG特征串聯(lián)，加入7種尺度估計(jì)，取最大值的點(diǎn)對(duì)應(yīng)的圖像即是位置最佳目標(biāo)位置。從VOT2016標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)競(jìng)賽中可以看出排名靠前的基本是深度學(xué)習(xí)跟蹤算法，雖然解決了相關(guān)濾波算法存在的問(wèn)題，提高了精度，但卻是以損失速度為代價(jià)的，尚不能在實(shí)際嵌入式場(chǎng)景中應(yīng)用。

綜上所述，本文在KCF跟蹤算法的基礎(chǔ)上，使用檢測(cè)、預(yù)測(cè)與模型的相似度和重疊率，修正當(dāng)前幀的位置框，實(shí)現(xiàn)對(duì)移動(dòng)車(chē)輛的有效檢測(cè)與跟蹤。最后，使用實(shí)際無(wú)人機(jī)拍攝視頻，將改進(jìn)算法與KCF算法進(jìn)行對(duì)比，驗(yàn)證所提出算法的有效性。

1 傳統(tǒng)KCF跟蹤方法分析

KCF跟蹤器是將真實(shí)目標(biāo)區(qū)域通過(guò)傅里葉變化進(jìn)行循環(huán)移位操作，在目標(biāo)周?chē)鷺?gòu)造不同的分類(lèi)器訓(xùn)練樣本，通過(guò)核函數(shù)來(lái)計(jì)算候選區(qū)域與目標(biāo)的相似程度，選取相似度最高的區(qū)域作為預(yù)測(cè)下一幀的目標(biāo)位置。同時(shí)，循環(huán)矩陣在傅里葉空間可對(duì)角化的性質(zhì)將矩陣的運(yùn)算轉(zhuǎn)化為向量的點(diǎn)乘，降低運(yùn)算量提高運(yùn)算速度，使算法滿(mǎn)足實(shí)時(shí)性要求。

1.1 訓(xùn)練樣本的產(chǎn)生

2 改進(jìn)的跟蹤算法

KCF算法理論上屬于一種密度集抽樣檢測(cè)，利用循環(huán)位移產(chǎn)生大量訓(xùn)練樣本，同時(shí)利用離散傅里葉變換將復(fù)雜的卷積計(jì)算轉(zhuǎn)化為簡(jiǎn)單的頻域相乘，提升了算法整個(gè)跟蹤過(guò)程的性能。但是KCF算法依賴(lài)循環(huán)矩陣，對(duì)于尺度變換的車(chē)輛跟蹤效果并不理想，初始化的矩陣不能夠根據(jù)實(shí)際車(chē)輛位置自適應(yīng)改變大小，難以處理相鄰兩幀車(chē)輛位移過(guò)大的問(wèn)題。這些問(wèn)題都會(huì)產(chǎn)生分類(lèi)器模型的誤差累計(jì)，最終導(dǎo)致跟蹤車(chē)輛漂移。為此，本文引入車(chē)輛檢測(cè)器方法，將檢測(cè)到的車(chē)輛位置和KCF預(yù)測(cè)的車(chē)輛位置分別與學(xué)習(xí)模型作ORB特征[9]匹配，以及計(jì)算位置框的重疊率來(lái)修正當(dāng)前車(chē)輛位置框，如圖l所示。

2.1 特征點(diǎn)匹配

為滿(mǎn)足車(chē)輛跟蹤實(shí)時(shí)性的要求，本文采用ORB特征點(diǎn)作為匹配對(duì)象，因?yàn)镺RB特征結(jié)合了FAST[10]和BRIEF[11]的速度優(yōu)點(diǎn)且作了相應(yīng)改進(jìn)，采用二進(jìn)制對(duì)256bit描述子τ（P;x，y）進(jìn)行存儲(chǔ)且用漢明距離完成特征匹配，所以本文采用ORB算法對(duì)學(xué)習(xí)模型、預(yù)測(cè)位置以及檢測(cè)位置的圖片塊進(jìn)行特征提取。

2.2 學(xué)習(xí)模型更新算法

其中T為特征匹配的數(shù)量閾值，經(jīng)驗(yàn)值為50，n為跟蹤漂移后檢測(cè)到的車(chē)輛數(shù)量。當(dāng)B=O時(shí)停止更新學(xué)習(xí)模型，其中第一種情形是檢測(cè)位置具有高可信度則更新模型，如果不滿(mǎn)足第一種情形進(jìn)入第二種情形，跟蹤器的具有良好的跟蹤效果更新模型，第三種情形是在跟蹤器發(fā)生漂移后，當(dāng)檢測(cè)器檢測(cè)到與學(xué)習(xí)模型具有匹配關(guān)系，且具有高可信度時(shí)繼續(xù)跟蹤，否則停止更新學(xué)習(xí)模型。

3 實(shí)驗(yàn)與分析

本實(shí)驗(yàn)硬件環(huán)境：CPU Intel Core i7-7700HQ，主頻2.8GHz， 內(nèi)存16GB，VisualStudio作為程序開(kāi)發(fā)平臺(tái)，實(shí)驗(yàn)數(shù)據(jù)為駕?？颇慷氒?chē)的兩段航拍視頻（Driving Schooll.avi和Driving Scho012.avi）以及VOT2016數(shù)據(jù)庫(kù)中無(wú)人機(jī)航拍車(chē)輛跟蹤遮擋的視頻（tcCarchasing_cel.avi）。

3.1 系統(tǒng)界面

為了增強(qiáng)程序的人機(jī)交互體驗(yàn)，采用MFC編寫(xiě)窗口界面。系統(tǒng)將視頻第一幀檢測(cè)的車(chē)輛位置直接初始化跟蹤器，根據(jù)選擇的車(chē)輛跟蹤模式進(jìn)行單輛車(chē)跟蹤或多輛車(chē)同時(shí)跟蹤。

3.2 改進(jìn)算法實(shí)驗(yàn)

從圖2可以看出，在視頻2第125幀時(shí)，車(chē)輛為發(fā)生較大的尺度變化，兩個(gè)跟蹤框沒(méi)有太大區(qū)別;視頻2第1330幀時(shí)，因拍攝距離和角度變化，傳統(tǒng)KCF算法跟蹤框不能隨著目標(biāo)車(chē)輛發(fā)生改變，改進(jìn)的跟蹤方法正常框住目標(biāo)車(chē)輛;在視頻2第2161幀時(shí)，傳統(tǒng)KCF跟蹤算法發(fā)生漂移，而改進(jìn)的跟蹤算法依舊能較好的對(duì)車(chē)輛進(jìn)行跟蹤。

如圖3所示，現(xiàn)在VOT2016數(shù)據(jù)庫(kù)視頻中遮擋情形的跟蹤對(duì)比，在140幀數(shù)時(shí)車(chē)輛被橋梁遮擋，而改進(jìn)的方法在173幀時(shí)正確跟蹤到目標(biāo)車(chē)輛，傳統(tǒng)KCF未能跟蹤正確，通過(guò)對(duì)比可以看出我們提出的改進(jìn)方法在處理車(chē)輛發(fā)生遮擋情況下取得了良好的跟蹤效果。

4 結(jié)論

本文在處理航拍視頻中車(chē)輛發(fā)生的姿態(tài)變化時(shí)，針對(duì)傳統(tǒng)KCF跟蹤算法進(jìn)行了相應(yīng)地改進(jìn)。首先將檢測(cè)位置和預(yù)測(cè)位置分別與學(xué)習(xí)模型進(jìn)行ORB特征點(diǎn)匹配，計(jì)算相應(yīng)位置的重疊率，給出學(xué)習(xí)模型的更新機(jī)制并修正跟蹤位置。最后，實(shí)驗(yàn)結(jié)果表明，所提出的算法在車(chē)輛姿態(tài)發(fā)生各類(lèi)變化時(shí)具有較好的跟蹤效果。

參考文獻(xiàn)

[1]胡見(jiàn)蓮，無(wú)人機(jī)技術(shù)應(yīng)用新方向及向往[J].中國(guó)設(shè)備工程，2017 （02）：139-140.

[2] Kalal Z，Mikolajczyk K，Matas J.Tracking-Learning-Detection.[J]. IEEE Transactions onPattern Analysis & MachineIntelligence， 2012， 34 （07）： 1409.

[3] Bolme D S，Beveridge J R，Draper BA， et al. Visual object trackingusing adaptive correlation filters[J].2010，119 （05）： 2544-2550.

[4]Rui C，Martins P，Batista J.Exploitingthe circulant structure of tracking-by-detection with kernels [C].European Conference on ComputerVision. Springer， Berlin， Heidelberg，2012： 702-715.

[5] Henriques J F， Rui C， Martins P， etal. High-Speed Tracking withKernelized Correlation Filters [J].IEEE Transactions on PatternAnalysis & Machine Intelligence，2015，37（03）：583-596.

[6]Danelljan M，Khan F S，F(xiàn)elsberg M，etal. Adaptive Color Attributes forReal-Time Visual Tracking [C]. IEEEConference on Computer Vision andPattern Recognition. IEEE ComputerSociety，2014：1090-1097.

[7]Danelljan M，Khan F S，F(xiàn)elsberg M，etal. Adaptive Color Attributes forReal-Time Visual Tracking [C]. IEEEConference on Computer Vision andPat tern Recognition. IEEE ComputerSociety， 2014：1090-1097.

[8]Danelljan M，Hager G，Khan F S，et al.Accurate Scale Estimation for RobustVisual Tracking [C]. British MachineVision Conference. 2014： 65. 1-65. 11.

[9] Rublee E， Rabaud V， Konolige K， etal. ORB： An efficient alternative toSIFT or SURF [C]. IEEE InternationalConference on Computer Vision.IEEE， 2012： 2564-2571.

[lO]Li H，Manjunath B S，Mitra SK. A contour-based approach tomultisensor image registration[J].IEEE Transactions on ImageProcessing A Publication ofthe IEEE Signal ProcessingSociety，1995，4 （03）： 320-34.

[11] Calonder M， Lepetit V， Strecha C， etal. BRIEF： binary robust independentelementary features [C] . EuropeanConference on Computer Vision.Springer-Verlag， 2010： 778-792.

[12] Lowe D G. Object Recognition fromLocal Scale-Invariant Features [M].Object recognition from local scale-invariant features. IEEE， 1999： 115 0-1157 vol. 2.

[13]Tuytelaars T.SURF：Speeded Up RobustFeatures. [J].Computer Vision & Image Unders tanding， 2006， 110 （03） ： 404-417.