基于多特征融合的核相關(guān)濾波目標(biāo)跟蹤算法

龔 真，王曉凱+，陳 浩

(1.山西大學(xué) 物理電子工程學(xué)院，山西 太原 030006；2.北京航天航空大學(xué) 宇航學(xué)院，北京 100083)

0 引 言

相關(guān)濾波[1]在跟蹤領(lǐng)域首次使用使得魯棒性有了更高提升[2]，通過第一幀目標(biāo)訓(xùn)練濾波器，再與下一幀目標(biāo)區(qū)域進(jìn)行相關(guān)運(yùn)算，搜索最大響應(yīng)值為目標(biāo)位置，具有高運(yùn)算速度，但準(zhǔn)確度不夠好。接著在此基礎(chǔ)上通過引入循環(huán)矩陣密集采樣目標(biāo)和背景信息[3]，使用核技巧對非線性特征空間進(jìn)行分類，提高了目標(biāo)跟蹤的精度。隨后Henriques等[4]又提出多通道的HOG特征的核相關(guān)濾波跟蹤算法(KCF)。文獻(xiàn)[5]提出了多特征融合的自適應(yīng)相關(guān)濾波器，將HOG特征與顏色特征融合，兩者特征互補(bǔ)，提高了跟蹤的準(zhǔn)確性。

盡管核相關(guān)濾波在跟蹤領(lǐng)域取得較好結(jié)果，但其在目標(biāo)跟蹤中由于單一特征容易造成誤差累積導(dǎo)致跟蹤出現(xiàn)差錯[6]。本文在核相關(guān)濾波跟蹤框架下[4]引入HOG、CN及LBP這4個特征進(jìn)行線性融合，將融合的特征代替KCF中單一的HOG特征；另外，為避免由于遮擋或更新錯誤導(dǎo)致的跟蹤失敗，引入多峰值置信度的更新方式，降低因錯誤幀導(dǎo)致跟蹤失敗的幾率；并且使用5個多特征融合的核相關(guān)濾波，通過魯棒性得分在視頻序列的每一幀中選出最優(yōu)的結(jié)果。

1 核相關(guān)濾波目標(biāo)跟蹤

KCF跟蹤器的關(guān)鍵是循環(huán)矩陣結(jié)構(gòu)在對樣本進(jìn)行密集采樣的同時，利用檢測器方案增加負(fù)樣本以提高跟蹤的分辨能力。并且引入核方法處理非線性分類問題，將相關(guān)濾波快速擴(kuò)展到多通道情況，使得核相關(guān)濾波更加具有魯棒性。

1.1 線性回歸

在目標(biāo)跟蹤模型中，采用嶺回歸可以得到一個簡單的閉環(huán)解，并且達(dá)到與支持向量機(jī)SVM[7]更復(fù)雜方法相近的性能。KCF采用嶺回歸訓(xùn)練的目的是找到一個函數(shù)

f(z)=WTZ

(1)

式中：z為樣本，W為濾波器系數(shù)。為了使樣本xi與yi回歸目標(biāo)的平方誤差最小化

(2)

式中：λ是控制過擬合的正則化參數(shù)，W為濾波器系數(shù)，yi是樣本xi的期望輸出。對式(2)求導(dǎo)，得到閉式解

W=(XTX+λI)-1XTy

(3)

由于在傅里葉域中是復(fù)數(shù)解，式(2)在復(fù)數(shù)情況下為

W=(XTX+λI)-1XHy

(4)

式中：XH為X的共軛轉(zhuǎn)置。

而對于非線性問題，可以引入核函數(shù)從低維度映射到高維度空間，從而實現(xiàn)線性可分，且能大大簡化計算過程。濾波器W表示為

(5)

將優(yōu)化的變量從W轉(zhuǎn)為變量αi，而αi是對偶空間參數(shù)。由高斯核可知

K(x,x)=φT(x)φ(x)

(6)

在N×N核矩陣K中存儲著所有樣本對的點(diǎn)積，其中Ki,j=K(xi,xj)。 所以可以得到

(7)

得到該嶺回歸的核化閉式解

α=(K+λI)-1y

(8)

式中：K是核矩陣，α是αi的矢量，它們表示對偶空間中的解。

1.2 循環(huán)矩陣

與其它跟蹤算法使用隨機(jī)采樣訓(xùn)練樣本方式不同，KCF跟蹤算法使用密集采樣的方式訓(xùn)練得到魯棒性強(qiáng)的濾波模板。使用一個n×1的基本樣本x=(x1,x2,…,xn)，對基樣本進(jìn)行循環(huán)移位得到所有的目標(biāo)的密集采樣

(9)

式中：Pux表示對基樣本移位u次。由循環(huán)矩陣的傅里葉性質(zhì)可得到

(10)

(11)

1.3 快速檢測

Kz是訓(xùn)練樣本x和待選樣本z的核矩陣，而Kz的每個元素由K(Px-1,Pj-1) 組成，即Kz=C(kxz)。 代入式(7)得

f(z)=(Kz)Tα

(12)

由于f(z)是z所有循環(huán)移位的輸出的一個向量，所以可得到完整的檢測響應(yīng)。對式(10)進(jìn)行對角化得

(13)

得到的最大響應(yīng)的位置即為下一幀目標(biāo)的位置。

2 多特征融合的核相關(guān)濾波

2.1 算法流程

本文在核相關(guān)濾波KCF算法下做了改進(jìn)，在一定程度提高了算法的魯棒性。本算法基于核相關(guān)濾波的改進(jìn)算法流程如圖1所示。其步驟如下：

圖1 本文算法整體流程

(1)特征部分采用多特征融合提取樣本特征，將HOG、CN和LBP這3個特征進(jìn)行線性融合，作為核相關(guān)濾波的特征部分；

(2)接著將融合的特征代入核相關(guān)濾波模型中，計算響應(yīng)值；

(3)接著為了避免錯誤幀或遮擋導(dǎo)致的更新失敗，采用多峰值檢測更新機(jī)制對模型進(jìn)行判斷并更新；

(4)使用多個專家系統(tǒng)進(jìn)行評估選擇出最可靠的結(jié)果；

(5)最后，確定目標(biāo)位置，并對視頻下一幀圖像進(jìn)行同樣操作直至結(jié)束。

2.2 特征融合

為解決傳統(tǒng)KCF算法在復(fù)雜場景中使用單一特征而無法準(zhǔn)確精準(zhǔn)跟蹤的問題，本文算法使用多特征融合的方法提升跟蹤的精度。使用多種特征融合的策略對目標(biāo)跟蹤的性能有所提升[8]。利用多種強(qiáng)大的特征發(fā)揮特征融合的優(yōu)勢，本文算法提取了HOG特征、CN特征、原始灰度特征以及LBP特征進(jìn)行融合，用于目標(biāo)跟蹤中。

梯度直方圖(HOG)[9]在視覺領(lǐng)域應(yīng)用中非常有效，計算效率也很高。在目標(biāo)背景復(fù)雜干擾下如幾何與光學(xué)形變能夠具有一定的魯棒性，但是對于遮擋以及圖像模糊場景下，適應(yīng)性較差。該特征在圖像像素單元格中提取梯度信息，對離散方向進(jìn)行計數(shù)以形成直方圖。

顏色命名(CN)是一個用來描述顏色語言的顏色標(biāo)簽。與RGB空間相比，CN特征在空間中的距離更適合。CN特征能夠提供對對象顏色的感知，包含有關(guān)目標(biāo)的重要信息，對于運(yùn)動模糊和光照變化強(qiáng)能夠很好適應(yīng)，但對于顏色相似無法排除干擾。為在對象檢測和識別取得更好的結(jié)果[10,11]，本文采用文獻(xiàn)[12]中所述的映射方法將RGB空間轉(zhuǎn)為顏色名稱空間，使用11維顏色表示，并且對非彩色視頻序列，使用HOG與LBP聯(lián)合特征代替單一的灰度像素值。

局部二值模式(LBP)是一個描述局部空間結(jié)構(gòu)的算子，常應(yīng)用于圖像紋理特征，具有光照不敏感、灰度不變性和選擇不變性等特點(diǎn)。在核相關(guān)濾波目標(biāo)跟蹤使用LBP特征，可以降低光照對特征提取的影響，在復(fù)雜光照的情況下的跟蹤性能有明顯提升[13]。

HOG、CN以及LBP特征功能互補(bǔ)，能夠在跟蹤過程中提高對目標(biāo)信息的采集精準(zhǔn)度。本文使用多特征線性融合的機(jī)制，使用多個通道應(yīng)用于圖像特征[5]。設(shè)數(shù)據(jù)表示多個通道串聯(lián)到一個向量X=[β1x1,β2x2,…,βcxc]，進(jìn)行如下融合

(14)

2.3 多峰值置信度更新方式

在實際跟蹤過程中，由于背景復(fù)雜多變，目標(biāo)會不可避免地受到外界干擾，會導(dǎo)致目標(biāo)跟蹤效果不好，這時再去更新模型會導(dǎo)致干擾信息不斷積累，最終導(dǎo)致模型跟蹤失敗，出現(xiàn)模型漂移問題。Wang等[14]提出一種新的更新機(jī)制APCE如下

(15)

式中：ymax表示響應(yīng)最大值，ymin表示響應(yīng)最小值，yw,h表示該位置(w,h)的響應(yīng)值。該判據(jù)可以反映響應(yīng)的整體振蕩情況，當(dāng)APCE值減小時，表明該目標(biāo)受到周圍干擾較大，此時為避免更新錯誤信息，對模型不進(jìn)行更新。本文算法采用此種更新方式，當(dāng)前幀的APCE值大于等于APCE歷史值的μ1倍時，且當(dāng)前響應(yīng)最大值大于等于歷史最大值μ2時，對模型進(jìn)行如下更新，否則不進(jìn)行更新

(16)

式中：η1表示學(xué)習(xí)率，ατ表示當(dāng)前幀系數(shù)向量，ατ-1表示上一幀系數(shù)向量。

2.4 多專家系統(tǒng)

為了解決單一特征追蹤性能的不穩(wěn)定性，Wang等[15]利用多個特征的跟蹤器進(jìn)行決策得到的最佳結(jié)果作為最終結(jié)果，可以有效地提高算法的魯棒性。本文算法利用多特征線性融合的優(yōu)勢分別作為各專家系統(tǒng)，共有5個專家系統(tǒng)進(jìn)行決策。其中進(jìn)行各多特征組合的特征均有原始灰度像素值作為其特征融合，本文算法中的CN特征當(dāng)檢測到為1通道的灰度視頻序列時，不再使用灰度像素值作為特征而是使用HOG與LBP進(jìn)行線性融合取代單一的灰度像素值。具體各專家特征組成見表1。

(17)

表1 各專家系統(tǒng)特征組成

(18)

為了避免其性能變化，進(jìn)一步考慮了時間穩(wěn)定性，使用平均加權(quán)和標(biāo)準(zhǔn)差進(jìn)行計算

(19)

(20)

(21)

其中，K為專家個數(shù)，Δt為相鄰幀數(shù)，wτ為相鄰幀的權(quán)重分?jǐn)?shù)，N為所有相鄰幀的wτ之和，為避免零分母的一個小常數(shù)。一般情況下，值越大表明與其它專家有更好的一致性和目標(biāo)預(yù)測穩(wěn)定性

(22)

(23)

最終通過選擇最高的魯棒性得分Rt(Ei)作為最終選擇的專家Ei追蹤目標(biāo)的位置作為當(dāng)前幀的結(jié)果。

3 實驗結(jié)果與分析

3.1 參數(shù)設(shè)置與評價標(biāo)準(zhǔn)

本文算法的所有實驗在CPU為Intel Pentium@2.16 GHZ、內(nèi)存為8 G的PC機(jī)上使用 Matlab2016a開發(fā)平臺進(jìn)行測試。對OTB-2013所有視頻序列進(jìn)行跟蹤性能測試，并將本文算法MCMF與SAMF算法[5]、DSST算法[16]、KCF算法[4]、CSK算法[3]、MOSSE算法[2]及OTB-2013數(shù)據(jù)集中的DFT算法比較。其它算法參數(shù)均使用默認(rèn)值，本文參數(shù)取值如下：HOG特征單元尺寸使用4×4，且取9個方向；高斯函數(shù)中使用的σ=0.5,η1=0.02,μ1=0.42,μ2=0.52,β1=1,β2=0.8,β3=0.18；λ1=1,λ2=0.8,λ3=0.2；γ1=1,γ2=2.8,γ3=2.5；θ1=1,θ2=3,θ3=0.5。

在所有實驗中，使用了兩個評估標(biāo)準(zhǔn)，分別是精確度和成功率。精確度的評估標(biāo)準(zhǔn)是使用了平均中心位置誤差(CLE)，CLE是指算法跟蹤結(jié)果的中心位置與目標(biāo)真實位置之間的距離

(24)

(x,y)為當(dāng)前目標(biāo)中心位置坐標(biāo)，(xc,yc)為實際的中心位置坐標(biāo)。精確度是計算CLE小于某一閾值(本文算法閾值為20個像素值)的視頻幀數(shù)與該視頻序列總幀數(shù)的百分比。

成功率使用的是帕斯卡爾重疊率，即目標(biāo)的重疊率大于重疊率閾值(本文算法閾值為0.5)的視頻幀數(shù)占總幀數(shù)的百分比

(25)

式中：BT為目標(biāo)邊界框，BG為目標(biāo)標(biāo)注真實邊界框。

3.2 實驗結(jié)果與分析

3.2.1 定量分析與討論

根據(jù)以上評價指標(biāo)繪制本文算法的精確率和成功率如圖2所示，對比各個算法性能見表2。

圖2 各算法精確度和成功率曲線

表2 算法性能對比

從圖2及表2可以看出，本文算法MCMF與其它6種算法相比較，精確度和成功率均排名第一。與核相關(guān)濾波KCF算法相比，精確度上提高了7.7%，成功率上提升了6.9%；與SAMF算法比較在精確度和成功率分別提高了2.9%和3.0%；與DSST算法比較在精確度和成功率分別提高了7.9%和2.4%。兩項指標(biāo)均有明顯上升，提高了算法的魯棒性與有效性，但是隨著精確度和成功率的提升，本文算法使用多專家系統(tǒng)的多特征融合策略使得運(yùn)算速度有所下降。

為更加進(jìn)一步驗證本文算法MCMF的跟蹤性能，利用OTB-2013測試平臺中視頻數(shù)據(jù)集旋轉(zhuǎn)、運(yùn)動模糊、快速運(yùn)動、形變、光照變化和超出視野等11個屬性評估本文算法。精確度和成功率如圖3和圖4所示，本文算法在此方面有較大的改善，且表現(xiàn)優(yōu)于其它對比算法，相對于KCF算法在形變、快速運(yùn)動、平面內(nèi)旋轉(zhuǎn)、運(yùn)動模糊和尺度變化場景下精確度分別提升了11.6%，5.0%，5.2%，0.8%，5.5%；在背景雜亂、形變、快速運(yùn)動、運(yùn)動模糊、平面外旋轉(zhuǎn)和超出視野場景下成功率分別提升了2.8%，11.3%，6.7%，4.2%，7.6%，0.6%。

圖3 不同屬性的精確度

圖4 不同屬性的成功率

3.2.2 特征對比分析

為了驗證本文所提出的多特征線性融合方法對于追蹤效果有所提升，討論不同特征方法對于跟蹤效果的影響，表3為不同特征方法在OTB-2013中的性能比較。下面各個方法均在本文算法整體框架不變的情況下進(jìn)行對比，其中HC算法使用HOG與CN特征直接融合；HCG表示使用HOG特征、CN特征和灰度像素直接融合；HCGL表示將HOG特征、CN特征、BP特征和灰度像素直接融合；而本文算法MFKCF使用HOG特征、CN特征、BP特征和灰度像素進(jìn)行線性融合，為其中的一個專家系統(tǒng)即Expert 2?？梢钥闯鍪褂镁€性融合的算法MCKCF相對于HC、HCG、HCGL及各單特征性能均有所提升，并且比HCGL直接融合有了較大提升。使用線性融合的算法相對于各單特征或者各個特征直接進(jìn)行串聯(lián)組合性能均有所提升，且越多的特征若是直接融合不但跟蹤性能不會有較大提升，而且反而導(dǎo)致特征過多造成數(shù)據(jù)冗余，大大降低了跟蹤效果。在一定范圍內(nèi)多特征直接融合可以一定程度提升算法跟蹤性能，如果越多特征采用直接融合方式效果往往會比少量特征進(jìn)行線性融合的方式差。雖然多特征一定程度可以提升算法性能，但是直接進(jìn)行特征串聯(lián)操作效果往往比少數(shù)特征組合魯棒性更弱，而采取權(quán)重分配的方式可以避免這種現(xiàn)象，并且可以提升算法魯棒性。

3.2.3 定性分析與討論

為了進(jìn)一步驗證本文算法MCMF的跟蹤性能，實驗選取了OTB-2013數(shù)據(jù)集其中5組視頻進(jìn)行分析說明，結(jié)果如圖5所示。其中方框?qū)嵕€代表MCMF算法跟蹤結(jié)果，方框雙劃線代表KCF算法的跟蹤結(jié)果，方框虛線代表CSK算法跟蹤結(jié)果，方框點(diǎn)劃線代表MOSSE算法跟蹤結(jié)果，橢圓框?qū)嵕€代表DFT算法跟蹤結(jié)果，橢圓框雙劃線代表DSST算法跟蹤結(jié)果，橢圓框虛線代表SAMF算法跟蹤結(jié)果。

表3 各特征性能比較

圖5 各算法定性對比

在圖5(a)中，shaking序列中挑戰(zhàn)因素有光照變化、遮擋、快速運(yùn)動、平面旋轉(zhuǎn)、背景雜亂等情況。在第10幀時，各算法都能有效的跟蹤；當(dāng)?shù)降?35幀時，目標(biāo)出現(xiàn)旋轉(zhuǎn)且光照變化較大情況下，SAMF、KCF、MOSSE、DFT都跟蹤目標(biāo)失敗，此時CSK、DSST和本文算法 MCMF 能夠跟蹤目標(biāo)，但CSK跟蹤出現(xiàn)模型漂移；第365幀時，目標(biāo)發(fā)生旋轉(zhuǎn)，且伴隨著尺度變化和光照變化情況，此時DSST和本文算法MCMF能夠有效跟蹤。

在圖5(b)中，girl序列中，在第387幀時，DFT、CSK、MOSSE、KCF不能正確跟蹤目標(biāo)，而DSST也出現(xiàn)了跟蹤目標(biāo)不準(zhǔn)確的情況；到第470幀時，目標(biāo)發(fā)生了遮擋以及旋轉(zhuǎn)，DSST徹底跟蹤失敗；第488幀時，僅有本文算法MCMF和SAMF跟蹤未發(fā)生偏移。

在圖5(c)中，couple序列第10幀時，各算法都具有一定跟蹤能力；在第45幀時，目標(biāo)出現(xiàn)尺度變化和快速運(yùn)動，伴隨形變和尺度變化場景，此時只剩本文算法MCMF和SAMF能夠跟蹤目標(biāo)，剩余其它算法均跟丟目標(biāo)；當(dāng)?shù)?16幀時，目標(biāo)出現(xiàn)尺度變化和快速運(yùn)動，伴隨形變和尺度變化場景，各算法依然未能有效跟蹤目標(biāo)，且SAMF丟掉跟蹤目標(biāo)，僅剩下本文算法MCMF能夠跟蹤目標(biāo)。

在圖5(d)和圖5(e)中，freeman1序列及freeman4序列中，在剛開始各算法均有一定程度的跟蹤性能，直到跟蹤目標(biāo)在遇到各場景情景下，除本文算法外，均丟失跟蹤目標(biāo)，僅剩下本文算法MCMF最終能夠跟蹤目標(biāo)。

4 結(jié)束語

本文在核相關(guān)濾波算法下進(jìn)行研究，針對該算法在單一特征以及目標(biāo)干擾情況下出現(xiàn)跟蹤失敗的問題，提出了對多特征進(jìn)行線性融合的方法，解決了單一特征對目標(biāo)跟蹤不準(zhǔn)確的問題；利用多峰值檢測更新機(jī)制解決目標(biāo)因遮擋或?qū)W習(xí)錯誤幀信息造成的錯誤累積問題；使用多專家系統(tǒng)魯棒性評分選擇最優(yōu)的跟蹤結(jié)果。對OTB-2013整體數(shù)據(jù)集進(jìn)行實驗，取得較好的效果，與KCF算法相比有了較大的改善，有較強(qiáng)的魯棒性，整體綜合性能較好。未來作者將核相關(guān)濾波在尺度變化場景下的穩(wěn)定跟蹤方法展開進(jìn)一步研究，并對使用多特征的核相關(guān)濾波算法在實現(xiàn)上進(jìn)行優(yōu)化，達(dá)到在相關(guān)平臺上實時運(yùn)行的目標(biāo)。