改進(jìn)的自適應(yīng)核相關(guān)濾波目標(biāo)跟蹤

黃德天， 顧培婷， 柳培忠， 黃煒欽

(1. 華僑大學(xué) 工學(xué)院， 福建 泉州 362021;2. 華僑大學(xué) 機電及自動化學(xué)院， 福建 廈門 361021；3. 廈門大學(xué) 信息與通信工程博士后流動站， 福建 廈門 361005)

改進(jìn)的自適應(yīng)核相關(guān)濾波目標(biāo)跟蹤

黃德天1,2， 顧培婷1， 柳培忠3， 黃煒欽1

(1. 華僑大學(xué) 工學(xué)院， 福建 泉州 362021;2. 華僑大學(xué) 機電及自動化學(xué)院， 福建 廈門 361021；3. 廈門大學(xué) 信息與通信工程博士后流動站， 福建 廈門 361005)

利用核相關(guān)濾波器跟蹤框架，提出一種改進(jìn)的自適應(yīng)顏色屬性的目標(biāo)跟蹤方法.首先，構(gòu)建循環(huán)樣本矩陣，引進(jìn)顏色屬性作為特征描述目標(biāo)；然后，采用流行學(xué)習(xí)局部線性嵌入(LLE)算法自適應(yīng)地對特征向量進(jìn)行降維，得到低維特征空間；最后，根據(jù)正則化最小二乘分類器獲得目標(biāo)位置.實驗結(jié)果表明：文中算法的平均中心位置誤差減少了21.29 px;在閾值為20 px時，平均距離精度提高了27.9%，平均跟蹤速度為38 幀·s-1;與傳統(tǒng)核相關(guān)濾波(KCF)算法相比，文中算法具有良好的光照不敏感性及更高的跟蹤精度和魯棒性.

目標(biāo)跟蹤； 核相關(guān)濾波器； 顏色屬性； 局部線性嵌入

Abstract： An improved adaptive color attribute tracking algorithm is proposed based on the kernel correlation filter. Firstly, the cycle matrix is established, and color attribute is used to describe the target. Secondly, the local linear embedding (LLE) algorithm was applied to reduce the dimension of extracted feature to achieve a low-dimensional feature space. Finally, the position is obtained by learning the regularized least-squares classifiers. Experimental results demonstrate that the proposed algorithm reduces the median center location error by 21.29 px, the average distance precision is increased by 27.9% when the threshold is set 20 px, and the average tracking speed is 38 frames·s-1. Compared with the original kernelized correlation filters (KCF) algorithm, the proposed algorithm not only has well illumination insensitivity, but also has higher tracking accuracy and robustness.

Keywords： target tracking; kernelized correlation filters; color attribute; local linear embedding

視頻目標(biāo)跟蹤是機器視覺領(lǐng)域的一個重要研究方向，廣泛應(yīng)用于人機交互、軍事監(jiān)控等領(lǐng)域.目前，較為普遍的目標(biāo)跟蹤算法是生成模型方法[1-2]和判別模型方法[3-9].在復(fù)雜背景下，目標(biāo)跟蹤易受到各種因素影響，如光照變化、目標(biāo)遮擋、相似目標(biāo)等，如何更精確地跟蹤目標(biāo)成為一個熱門研究課題.Kalal等[3]提出TLD算法，將跟蹤器、檢測器和學(xué)習(xí)相結(jié)合.Zhang等[4]提出的壓縮感知跟蹤算法，首次將壓縮感知引入視頻跟蹤中，構(gòu)造一個投影矩陣，從而獲得目標(biāo)的位置.近年來，出現(xiàn)了系列相關(guān)濾波跟蹤算法，其跟蹤速度快、跟蹤精度高.Henriques等[6]提出了循環(huán)矩陣(CSK)算法，采用循環(huán)移位的方式采集樣本，并利用快速傅里葉變換，快速學(xué)習(xí)分類器，提高了跟蹤速度.在此基礎(chǔ)上，Henriques等[7]又提出了核相關(guān)濾波(kernelized correlation filters，KCF)算法，該算法首先采用循環(huán)位移構(gòu)建樣本，訓(xùn)練分類器時通過離散傅里葉變換(DFT)計算，極大地提高了目標(biāo)跟蹤速度，但目標(biāo)受光照變化影響，使跟蹤不精確，甚至跟丟.因此，本文提出了改進(jìn)的自適應(yīng)核相關(guān)濾波算法.

1 KCF跟蹤算法

KCF跟蹤器[7]所用的分類器為正則化最小二乘(RLS)分類器.假設(shè)x是大小為m×n的圖像塊，并設(shè)定一組訓(xùn)練樣本及其回歸值{(x1，y1)，(x2，y2)，…，(xi，yi)，…}，其訓(xùn)練的最終目標(biāo)是找到一個函數(shù)f(z)=vTz,使得如下殘差函數(shù)最小，即

式(1)中:λ是正則化參數(shù).

式(2)中:K為核函數(shù)矩陣，矩陣元素為Ki，j=k(xi,xj);I為單位矩陣;向量y的元素為yi.由于K是循環(huán)矩陣，則式(2)可轉(zhuǎn)換到DFT域，即

KCF算法利用核函數(shù)法及傅里葉變換極大地提高了算法實時性.但是，KCF算法采用HOG特征,無法正確提取復(fù)雜多變的目標(biāo)特征[7]，跟蹤性能易受光照和目標(biāo)遮擋等因素影響.

2 自適應(yīng)KCF跟蹤算法

在KCF框架上實現(xiàn)自適應(yīng)目標(biāo)跟蹤，利用顏色屬性具有對光照變化及部分遮擋不敏感等優(yōu)點作為目標(biāo)特征[8]，使算法在復(fù)雜背景下能準(zhǔn)確跟蹤目標(biāo)，從而提高算法的跟蹤精確度和魯棒性.通過局部線性嵌入(locally linear embedding，LLE)降維法自適應(yīng)地對高維顏色特征降維，從而在保持特征原始拓?fù)浣Y(jié)構(gòu)的前提下，提高算法運行效率.

2.1顏色屬性

引入顏色屬性表示目標(biāo)特征解決視覺跟蹤的光照問題.Berlin等[9]對其進(jìn)行研究，把顏色分為11類：黑色、藍(lán)色、棕色、灰色、綠色、橙色、粉色、紫色、紅色、白色和黃色.由于文中使用11維的顏色特征表示目標(biāo)，高維的特征表示會影響跟蹤速度，所以采用低維自適應(yīng)方法簡化特征表示，從而提高跟蹤速度.

2.2低維顏色自適應(yīng)屬性

LLE算法[10]利用線性重建反映高維數(shù)據(jù)空間中的非線性結(jié)構(gòu)，能夠使降維的數(shù)據(jù)保持原有的拓?fù)浣Y(jié)構(gòu)，可以有效地降低由于降維引起的大量目標(biāo)信息損失.因此，采用LLE算法對高維顏色特征降維，其主要流程如下.

1) 尋找相對于每個給定的樣本的β個近鄰樣本.

2) 定義一個誤差函數(shù),即

為了求解矩陣W，應(yīng)使式(4)最小，從而構(gòu)建局部最優(yōu)化重建權(quán)值矩陣，即

一般情況下，式(5)中的Qi是一個奇異值矩陣.

3) 由式(5)的wi,j及其近鄰點xi計算出樣本點的輸出向量.為了將所有樣本數(shù)據(jù)映射到低維空間上,需要構(gòu)造一個代價函數(shù)，且映射過程中代價函數(shù)達(dá)到最小值，那么有

式(7)中:M是N×N的對稱矩陣，M=(I-W)T(I-W).由式(7)可知，要使損失函數(shù)值達(dá)到最小，則取U為M的最小d個非零特征值所對應(yīng)的特征向量.

LLE算法中近鄰點個數(shù)β和輸出維數(shù)d決定了算法的性能[11].文中所選的β值應(yīng)盡量使式(4)的誤差函數(shù)值達(dá)到最小，所以取β為7.若d取值高，則選取樣本多會受到噪聲影響；反之，樣本數(shù)據(jù)的特征不能得到體現(xiàn).通過大量實驗，取d為2.在跟蹤過程中，通過LLE算法降維，將11維的特征向量降為2維，提高了算法的實效性，并且保持原目標(biāo)信息不被大量破壞，從而保證跟蹤算法的魯棒性.

2.3目標(biāo)檢測與模型更新

利用滑動窗口形式計算圖像塊z的所有子窗口的響應(yīng)，響應(yīng)值最大的子窗口即為目標(biāo)的真實位置.利用核矩陣是循環(huán)矩陣這一性質(zhì)，分類器的響應(yīng)為

采用文獻(xiàn)[7]提供的高斯核函數(shù)，通過式(8)獲得目標(biāo)的響應(yīng)值，模型更新α和xt為

文中算法的步驟流程如下.

輸入:視頻序列It.

初始目標(biāo)位置p0.

初始化：由初始目標(biāo)位置p0及第一幀的目標(biāo)模型x1，訓(xùn)練分類器得到系數(shù)α.

for i=2…frame

1) 通過上一幀位置獲取圖像塊z，并得到特征矩陣;

2) 根據(jù)式(4)提取圖像的低維顏色屬性特征矩陣 projection_matrix；

3) 將矩陣projection_matrix帶入分類器，通過式(8)計算目標(biāo)的響應(yīng)值;

4) 響應(yīng)最大值arg maxf(z)，為目標(biāo)的真實位置;

5) 根據(jù)式(9),(10)更新模型αt,xt;

輸出：檢測出每幀的目標(biāo)位置pt.

end for

3 實驗結(jié)果與分析

為了驗證文中算法的有效性，選用文獻(xiàn)[12]提供的視頻序列進(jìn)行實驗.同時，與CT算法[4]、CSK算法[6]、原始KCF算法[7]的跟蹤效果進(jìn)行對比.在實驗中,跟蹤算法的所有參數(shù)保持不變，取β=7，本征維數(shù)d=2，高斯核的標(biāo)準(zhǔn)差σ=0.2，學(xué)習(xí)因子γ=0.075.實驗采用MATLAB編程環(huán)境.PC配置為Intel(R) Core(TM) i5-4590M CPU@3.30 GHz ，RAM為8 G.

3.1實驗結(jié)果分析

視頻序列的部分跟蹤結(jié)果，如圖1所示.圖1中：點框表示文中算法；線段框表示CSK算法；點線框表示KCF算法；實線框表示CT算法.

(a) Shaking

(b) Singer1

(c) Dark car

(d) Mountain bike

(e) Soccer1圖1 部分跟蹤結(jié)果Fig.1 Partial tracking result

根據(jù)圖1所提算法的結(jié)果進(jìn)行分析，得到以下3點結(jié)論.

1) 光照變化和尺度變化.由圖1(a)可知：吉他手頭部晃動劇烈，且存在光照變化影響，在目標(biāo)進(jìn)入復(fù)雜背景區(qū)域時受到強光干擾，CT和CSK算法錯誤的跟蹤非目標(biāo)人物，KCF算法也出現(xiàn)很大的偏移，只有文中算法能較好地完成全程跟蹤，能以較高的精度跟蹤整段視頻.因此，與原始的KCF算法相比，文中采用的顏色屬性特征對光照變化不敏感，當(dāng)受到強光干擾時，可實現(xiàn)全程準(zhǔn)確的穩(wěn)定跟蹤.圖1(b)Singer1視頻序列中，存在光照影響和尺度變化，4種算法都有較好的跟蹤結(jié)果，但是文中算法的中心位置誤差明顯優(yōu)于其他算法，體現(xiàn)了更好的跟蹤穩(wěn)定性.

2) 復(fù)雜背景干擾和旋轉(zhuǎn).圖1(c)中，當(dāng)車輛行駛時，目標(biāo)跟蹤易受到周圍復(fù)雜背景及類似目標(biāo)的影響，在第284幀時，CT算法完全跟蹤失敗，KCF正在偏移，累計錯誤信息，導(dǎo)致丟失目標(biāo)；而文中提出的自適應(yīng)顏色屬性特征具有光照不變性和抗噪性能，因此，能有效避免視頻中復(fù)雜背景等情況，完成跟蹤.圖1(d)Mountain bike視頻序列存在目標(biāo)旋轉(zhuǎn)，除了CT算法，其他3種算法均能較好地完成任務(wù)，但是文中算法的精確度更高.

3) 全局、部分遮擋和快速運動.圖1(e)Soccer1視頻序列后半部分出現(xiàn)目標(biāo)遮擋和快速晃動情況.CT和CSK算法的中心誤差較大，當(dāng)出現(xiàn)全部遮擋時，CT算法無法繼續(xù)完成任務(wù)；當(dāng)部分遮擋時，KCF算法能較好地跟蹤；但是當(dāng)全局遮擋時，文中算法體現(xiàn)了其優(yōu)越性，取得了穩(wěn)健的跟蹤結(jié)果.

3.2性能分析

為了測試在不同條件下算法的魯棒性，采用中心位置誤差(CLE)和距離精度(DP)為評價準(zhǔn)則.其中，中心位置誤差表達(dá)式為

DP=m/n.

式中：m為CLE小于某個固定閾值(實驗中均選為20 px)的圖片序列幀數(shù).

4種算法的CLE，DP的實驗數(shù)據(jù)對比，如表1所示.由表1可知：文中算法能達(dá)到最優(yōu)或次優(yōu)性能.相對于其他3種算法，文中算法具有最優(yōu)的中心位置誤差和距離精度，其中，中心位置誤差比KCF算法減少了21.29 px，在閾值為20的距離精度比KCF算法提高了27.9%.在Shaking和Soccer視頻中，文中算法的精確度也遠(yuǎn)遠(yuǎn)高于其他3種算法，證明了文中算法的高精度和不敏感性.因此，對于強光、復(fù)雜背景等干擾，文中算法具有較高的精確度和穩(wěn)定性.

表1 中心位置誤差和距離精度的比較Tab.1 Comparison with center location error and distance precision

(a) Singer1(b) Shaking(c) Dark car

(d) Soccer (e) Mountain bike圖2 視頻序列跟蹤精度曲線圖Fig.2 Tracking accuracy graph of video sequence

4 結(jié)束語

為了解決視頻目標(biāo)跟蹤的光照敏感性和提高跟蹤精度，基于核相關(guān)濾波跟蹤算法提出兩點改進(jìn)：首先，針對核相關(guān)濾波在光照變化下，會影響跟蹤精度，采用顏色屬性特征，使算法具有光照不敏感性；其次，由于高維的顏色屬性會增加運算復(fù)雜度，提出一種自適應(yīng)降維方法，通過一種非監(jiān)督學(xué)習(xí)方法達(dá)到低維特征空間，提高目標(biāo)跟蹤的魯棒性和準(zhǔn)確性.結(jié)果表明：文中算法的中心位置誤差減少了21.29 px，距離精度提高了27.9%，在保留傳統(tǒng)核相關(guān)濾波實時性好、準(zhǔn)確度高等特點的同時，能更好地適應(yīng)光照變化等情況.此外，在復(fù)雜背景下，文中算法能穩(wěn)定準(zhǔn)確地跟蹤目標(biāo)，具有重要的理論研究及應(yīng)用價值.在未來工作中，將進(jìn)一步研究如何提高文中算法的跟蹤速度.

[1] 李靜宇,劉艷瀅,田睿,等.視頻監(jiān)控系統(tǒng)中的概率模型單目標(biāo)跟蹤框架[J].光學(xué)精密工程,2015,23(7)：2093-2099.

[2] YANG Fan,LU Huchuan,YANG M H.Robust superpixel tracking[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,2014,23(4):1639-1651.

[3] KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-learning-detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[4] ZHANG Kaihua,ZHANG Lei,YANG M H.Real-time compressive tracking[C]∥Proceedings of the 12th European conference on Computer Vision.Florence:Springer-Verlag,2012：864-877.

[5] CHEN Zhe,HONG Zhibin,TAO Dacheng.An experimental survey on correlation filter-based tracking[J].Computer Science,2015,53(6025):68-83.

[6] HENRIQUES J F,CASEIRO R,MARTINS P,etal.Exploiting the circulant structure of tracking-by-detection with kernels[C]∥IEEE Conference on European Conference on Computer Vision.Berlin:Springer-verlag,2012:702-715.

[7] HENRIQUES J F，CASEIRO R，MARTINS P,etal.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3)：583-596.

[8] 畢篤彥,庫濤,查宇飛,等.基于顏色屬性直方圖的尺度目標(biāo)跟蹤算法研究[J].電子與信息學(xué)報,2016,38(5):1099-1106.

[9] BERLIN B,KAY P.Basic color terms： Their universality and evolution[M].Berkeley:UC Press,1969:11-25.

[10] ROWEIS S T,SAUL L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,2290(5500)：2323-2326.

[11] 馮海亮,李見為,黃鴻.自組織LLE算法及其在人臉識別的應(yīng)用[J].光學(xué)·精密工程,2008,16(9)：1732-1737.

[12] WU Yi,LIM J,YANG M H.Online object tracking: A benchmark[C]∥IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Computer Society,2013:2411-2418.

(責(zé)任編輯： 黃曉楠英文審校： 吳逢鐵)

ImprovedAdaptiveTargetTrackingBasedonKernelizedCorrelationFilters

HUANG Detian1,2, GU Peiting1, LIU Peizhong3, HUANG Weiqin1

(1. College of Engineering, Huaqiao University, Quanzhou 362021, China;2. College of Mechanical Engineering and Automation, Huaqiao University, Xiamen 361021, China;3. Postdoctoral Research Station of Information and Communication Engineering, Xiamen University, Xiamen 361005, China)

10.11830/ISSN.1000-5013.201606062

2016-06-21

黃德天(1985-)，男，講師，博士，主要從事機器學(xué)習(xí)、圖像處理的研究.E-mail:huangdetian@hqu.edu.cn.

國家自然科學(xué)基金資助項目(61203242); 福建省泉州市科技計劃項目(2014Z113)

TP 391

A

1000-5013(2017)05-0693-06