一種融合有效卷積操作子和顏色直方圖的目標(biāo)跟蹤算法

鄭耿峰

摘? 要：基于有效卷積操作子的相關(guān)濾波跟蹤算法能夠自然融合不同特征，并且通過模型降維，達(dá)到良好的跟蹤性能。而基于顏色信息的模型雖對光照變化效果不好，但能很好地對形變進(jìn)行處理?？紤]到上述兩種算法在特性上可互補(bǔ)，文章提出了一種基于顏色直方圖模型和有效卷積操作子的方法，采用加權(quán)求和的方式求得目標(biāo)最終位置。該算法能夠提高目標(biāo)跟蹤的魯棒性，提升跟蹤精度和速度。最后，采用數(shù)據(jù)集的方法驗證了該算法的有效性。

關(guān)鍵詞：目標(biāo)跟蹤;相關(guān)濾波;有效卷積操作子;顏色直方圖

中圖分類號：TP391.4? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號：2095-2945（2020）36-0073-04

Abstract： The correlation filtering tracking algorithm based on effective convolution operators can integrate different features naturally and achieve good tracking performance through model dimensionality reduction. Because the algorithm relies on spatial layout of the object， it is sensitive to deformation. The model based on color statistics is exactly complementary， it can handle deformation well， but not good for illumination changes. This paper presents a method of integrating effective convolution operators and color statistics histogram model. The final position of the target is obtained by weighted summation. The algorithm can improve the robustness of object tracking and improve the precision and speed. Finally， through making datasets， the performance of the improved algorithm is tested and evaluated.

Keywords： object tracking; correlation filtering; effective convolution operator; color histogram

1 概述

目標(biāo)跟蹤是計算機(jī)視覺中的一個重要研究方向，有著廣泛的應(yīng)用，如：視頻監(jiān)控，人機(jī)交互， 無人駕駛等。過去二三十年視覺目標(biāo)跟蹤技術(shù)取得了長足的進(jìn)步。

現(xiàn)在主流的目標(biāo)跟蹤算法有判別式法和生成式法兩類。判別式法也可名為檢測跟蹤法[1]，用在判別式法上的較有代表性的機(jī)器學(xué)習(xí)算法有SVM（結(jié)構(gòu)化支持向量機(jī)）[2]和TLD（跟蹤學(xué)習(xí)檢測）[3]。而生成式法的代表性算法主要有顏色統(tǒng)計直方圖[4]、均值漂移[3-4]和LK法[7-8]等。

近年來，深度學(xué)習(xí)方法[9-10]和基于相關(guān)濾波器的目標(biāo)跟蹤方法[11-12]在目標(biāo)跟蹤領(lǐng)域得到越來越廣泛的應(yīng)用。其中，深度學(xué)習(xí)方法精度高，但計算量大，實時性較差，對硬件要求也相對較高，而相關(guān)濾波器的目標(biāo)跟蹤方法計算量?。ㄍㄟ^傅立葉變換計算）。相關(guān)濾波器的目標(biāo)跟蹤方法中有效卷積操作子是綜合性能最優(yōu)的算法，該算法能兼顧精度和實時性，且能保存樣本，具備模型更新和長時跟蹤能力。但有效卷積操作子同樣存在著缺點(diǎn)，即對形變?nèi)狈︳敯粜?。針對上述問題，本文提出了一種將有效卷積操作子和顏色直方圖模型融合的方法，并用多個數(shù)據(jù)集進(jìn)行實驗，驗證了改進(jìn)算法的有效性。

2 有效卷積操作子算法

有效卷積操作子以C-COT算法[12]為基準(zhǔn)，訓(xùn)練目標(biāo)即為利用之前的樣本訓(xùn)練一個相關(guān)濾波器，對視頻幀進(jìn)行特征提取得到樣本，再利用檢測樣本與濾波器的相關(guān)操作得到目標(biāo)響應(yīng)圖，目標(biāo)位置定為響應(yīng)圖中響應(yīng)值的最大值，然后利用該檢測樣本為訓(xùn)練樣本，進(jìn)而更新濾波器。

在該算法中，采用CNN和CN和HOG特征的全面組合，需要更新的參數(shù)超過八十萬個，容易產(chǎn)生過擬合且跟蹤速度慢。為減少參數(shù)量，本文定義了因式分解的卷積操作子。從全部的D個濾波器中選擇貢獻(xiàn)較多的C個，用該濾波器的線性組合表示每一維特征。如公式（1）所示。

其中，是一個D×C矩陣，每一行代表一組線性系數(shù)，表示用C個濾波器的線性組合表示原來的D個濾波器。矩陣P需要在第一幀中學(xué)習(xí)得到，并在之后跟蹤中保持不變。效果類似主成分分析（Principal Component Analysis，PCA），可以視為用PCA初始化的有監(jiān)督降維。

目標(biāo)函數(shù)中，為約束P，加入一個P的酉不變范數(shù)作為正則化項，如公式（2）所示。

得到新的損失函數(shù)是一個非線性最小二乘（Non-Linear Least Squares，NLLS）問題。其中，函數(shù)第一項具有雙線性（bi-linearity），因此又和矩陣因式分解問題類似，采用高斯-牛頓（Gauss-Newton）和共軛梯度（Conjugate Gradient）優(yōu)化此二次規(guī)劃問題。最終，在不改變特征通道數(shù)的前提下，采用深度特征時，模型參數(shù)減少了80%，濾波器個數(shù)從512降低到64個;采用HOG和CN特征時，濾波器個數(shù)從42降到13個。

以前模型更新策略采用保存新樣本丟棄老樣本的方式，使得在遮擋和相似目標(biāo)污染情況下，會導(dǎo)致模型漂移（Model drift）;保存樣本集也會使空間效率低，增加計算負(fù)擔(dān)。為減少樣本數(shù)量，有效卷積操作子算法采用緊湊的樣本集生成模型。采用高斯混合模型合并相似樣本，建立具有代表性和多樣性的樣本集，將需要保存和優(yōu)化的樣本集數(shù)量降到C-COT算法的1/8，實驗中，樣本數(shù)目從400降到50個。

此外，由于每幀更新容易導(dǎo)致模型漂移。因此采用稀疏更新策略，每隔6幀更新一次模型，提高了算法速度，提高了對突變，遮擋等情況的穩(wěn)定性，防止模型漂移。由于樣本集是每幀都更新的，所以稀疏更新并不會錯過間隔期的樣本變化信息。

3 融合顏色直方圖的有效卷積操作子算法

3.1 顏色直方圖模型

對于該模型，用每個像素均值投票來表示直方圖分?jǐn)?shù)，如公式（3）：

4 實驗與分析

4.1 數(shù)據(jù)集

為模擬較為復(fù)雜和苛刻的環(huán)境，本文選取嘈雜的實驗室環(huán)境作為背景，拍攝獲取目標(biāo)運(yùn)動視頻。針對運(yùn)動模糊、尺度變化、固定遮擋、光照變化4種典型場景，各拍攝70個視頻，且轉(zhuǎn)化為每一幀圖像，并選取其中的70幀作為樣本集，對每個樣本進(jìn)行目標(biāo)邊界框左上角位置、像素坐標(biāo)和邊界框的長、寬等四個數(shù)據(jù)進(jìn)行手工標(biāo)注，形成4組數(shù)據(jù)集，記錄于相應(yīng)的txt文檔。

程序開始運(yùn)行，利用txt文檔中的第一組數(shù)據(jù)對跟蹤算法進(jìn)行初始化;運(yùn)行中，不斷記錄跟蹤框位置，即記錄每個位置的4個數(shù)據(jù);將記錄數(shù)據(jù)與標(biāo)注數(shù)據(jù)結(jié)果進(jìn)行對比，利用中心位置偏移量計算平均精度。

4.2 實驗結(jié)果與分析

本文對使用HOG和CN特征的有效卷積操作子算法，性能較優(yōu)秀的STAPLE-CA算法，以及本文改進(jìn)算法進(jìn)行實驗研究。

采用不同算法，并加入跟蹤速度指標(biāo)，首先在運(yùn)動模糊場景中進(jìn)行性能測試。如表1所示，其中，第二列精度5px、10px和15px表示中心位置誤差跟蹤邊界框與真值框中心位置誤差在5個像素、10個像素和15個像素以內(nèi)的跟蹤成功的視頻幀所占比率;第三列表示精度-定位誤差閾值圖曲線下面積。

其中，有效卷積操作子算法采用的樣本學(xué)習(xí)率λ為0.02，保存樣本數(shù)m為10，尺度因子α為1.08，間隔幀數(shù)n為3;此外，STAPLE-CA算法中，直方圖融合因子α為0.3，學(xué)習(xí)率η為0.3;本文算法中，模型參數(shù)和有效卷積操作子算法相同，直方圖融合因子α為0.1，學(xué)習(xí)率η為0.8。

上述可得，在運(yùn)動模糊場景中，基于相關(guān)濾波算法跟蹤性能優(yōu)越，特別是在15px范圍內(nèi)，跟蹤成功率已完全達(dá)到要求。此外，由于本文提出的算法在有效卷積操作子算法基礎(chǔ)上引入顏色直方圖模型，使得其相比調(diào)參后的有效卷積操作子算法效果更好，AUC值提升了0.011。

然后，運(yùn)動模糊、在尺度變化、固定遮擋、光照變化4個典型場景中，不同算法的目標(biāo)跟蹤性能對比如表2所示。

可以看到，調(diào)參后的有效卷積操作子算法和STAPLE-CA算法，AUC在0.8左右，達(dá)到較高的水平。本文提出的有效卷積操作子改進(jìn)算法在綜合性能精度上最優(yōu)，AUC比有效卷積操作子算法提升0.011，速度比有效卷積操作子算法提升0.13fps。實驗驗證了改進(jìn)算法的有效性。

5 結(jié)束語

本文在有效卷積操作子算法的基礎(chǔ)上，提出了一種改進(jìn)算法，引入顏色直方圖模型，二者進(jìn)行融合，從而減輕模型漂移，提高了算法的魯棒性。對改進(jìn)算法進(jìn)行性能測試，實驗結(jié)果驗證了本文改進(jìn)算法在多種跟蹤場景中的優(yōu)越性能。此外，由于深度學(xué)習(xí)方法對特征提取能力和分類能力較強(qiáng)，將傳統(tǒng)方法、相關(guān)濾波方法和深度學(xué)習(xí)方法結(jié)合是未來可以繼續(xù)研究的方向。

參考文獻(xiàn)：

[1]Yang Han-xuan， Shao Ling，Zheng Feng， et al. Recent advances and trends in visual tracking： A review[J]. Neurocomputing， 2011，74（18）：3823-3831.

[2]S. Hare， A. Saffari， P. H. Torr. Struck： Structured output tracking with kernels. In 2011 International Conference on Computer Vision， pages 263-270. IEEE， 2011.

[3]Z. Kalal， K. Mikolajczyk， and J. Matas. Tracking-learning detection. IEEE transactions on pattern analysis and machine intelligence， 2012，34（7）：1409-1422.

[4]Possegger H， Mauthner T， Bischof H. In defense of color-based model-free tracking[C]// Computer Vision and Pattern Recognition. IEEE， 2015：2113-2120.

[5]Comaniciu D， Ramesh V， Meer P. Real-time tracking of non-rigid objects using mean shift. In： Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head， SC， USA： IEEE， 2000. 142-149.

[6]Vojir T， Noskova J， Matas J. Robust Scale-Adaptive Mean-Shift for Tracking[J]. Pattern Recognition Letters， 2014， 49（3）：250-258.

[7]B. D. Lucas， T. Kanade. An iterative image registration technique with an application to stereo vision. In IJCAI， 1981： 674-679， .

[8]C. Tomasi and T. Kanade. Detection and tracking of point features. Technical Report CMU-CS-91-132， School of Computer Science， Carnegie Mellon Univ. Pittsburgh， 1991.

[9]Wang L， Ouyang W， Wang X， et al. Visual Tracking with Fully Convolutional Networks[C]// IEEE International Conference on Computer Vision. IEEE， 2016：3119-3127.

[10]Held D， Thrun S， Savarese S. Learning to track at 100 fps with deep regression networks[C]//European Conference on Computer Vision. Springer International Publishing， 2016： 749-765.

[11]Henriques J F， Caseiro R， Martins P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.

[12]Bertinetto L， Valmadre J， Golodetz S， et al. Staple： Complementary learners for real-time tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016： 1401-1409.