尺度方向自適應(yīng)的相關(guān)濾波跟蹤算法

單玉剛，郝 峰

(湖北文理學(xué)院教育學(xué)院，湖北襄陽(yáng) 441053)

1 引言

視覺目標(biāo)跟蹤一直是計(jì)算機(jī)視覺方向研究的一個(gè)熱點(diǎn)，它被廣泛地應(yīng)用在視頻監(jiān)控、無人駕駛、醫(yī)學(xué)診斷以及人機(jī)交互等領(lǐng)域[1-2]。盡管研究人員已經(jīng)提出了許多跟蹤算法[3-4]，有些已在工程中應(yīng)用。但是如何有效解決跟蹤過程中的目標(biāo)尺度和方向變化問題仍是一個(gè)難點(diǎn)。在VOT2015[5]時(shí)提出使用旋轉(zhuǎn)矩形框來標(biāo)識(shí)目標(biāo)，可見尺度和方向自適應(yīng)目標(biāo)跟蹤已成為今后目標(biāo)跟蹤研究趨勢(shì)。

針對(duì)目標(biāo)旋轉(zhuǎn)變化問題，國(guó)內(nèi)外學(xué)者提出了大量算法。董蓉[6]和趙欽君[7]等人通過配對(duì)SIFT角點(diǎn)進(jìn)行仿射變換來計(jì)算被跟蹤目標(biāo)的尺度和旋轉(zhuǎn)角度，Comaniciu[8]和馬偉[9]利用多次Meanshift 迭代方法實(shí)現(xiàn)尺度方向自適應(yīng)跟蹤。Soamst[10]和Camshift[11]算法通過計(jì)算二階中心矩并構(gòu)成協(xié)方差矩陣來估計(jì)目標(biāo)的尺度和方向。文獻(xiàn)[12]應(yīng)用貝葉斯理論實(shí)現(xiàn)基于粒子濾波的尺度和方向自適應(yīng)運(yùn)動(dòng)目標(biāo)跟蹤。

基于相關(guān)濾波和深度學(xué)習(xí)的目標(biāo)跟蹤是當(dāng)前視覺目標(biāo)跟蹤研究的兩個(gè)熱點(diǎn)[13]。深度學(xué)習(xí)跟蹤更注重跟蹤精度，通常無法滿足實(shí)時(shí)性[14]；而相關(guān)濾波跟蹤算法在跟蹤精度和跟蹤速度方面都表現(xiàn)良好[15]。自從2010年，Bolme[16]等提出相關(guān)濾波基本框架以后，相繼出現(xiàn)了CSK、CN、KCF(kernelized correlation filter)、DSST (Discriminative Scale Space Tracking)、SRDCF、SAMF、LADCF等優(yōu)秀相關(guān)濾波跟蹤算法[17-20]。但這些算法都沒有考慮目標(biāo)方向變化，在目標(biāo)旋轉(zhuǎn)場(chǎng)景跟蹤效果不佳。KCF算法使用核函數(shù)和循環(huán)移位等方法構(gòu)造多通道的相關(guān)濾波器，具有劃時(shí)代意義。盡管KCF算法有較好的跟蹤性能，但沒有考慮目標(biāo)尺度和方向變化問題。DSST算法使用尺度池方法估計(jì)目標(biāo)尺度，并沒有解決在目標(biāo)旋轉(zhuǎn)時(shí)目標(biāo)的表觀特征變化導(dǎo)致跟蹤失敗問題。

為解決跟蹤過程中目標(biāo)方向變化問題，本文提出一種改進(jìn)DSST算法，使跟蹤器適應(yīng)目標(biāo)尺度和方向變化。算法首先用多特征描述目標(biāo)，使用目標(biāo)HOG特征[21]結(jié)合HSV顏色特征來構(gòu)造二維定位濾波器以提高目標(biāo)定位的準(zhǔn)確性。然后，采用方向池提取多方向一維特征向量構(gòu)造一維核相關(guān)濾波器，實(shí)現(xiàn)對(duì)目標(biāo)方向的自適應(yīng)跟蹤。之后，改進(jìn)尺度濾波器尺度池以減少尺度搜索時(shí)間。最后通過峰值旁瓣比(Peak to Sidelobe Ratio，PSR)值變化情況更新相關(guān)濾波模型。為驗(yàn)證本文算法的有效性，挑選出典型意義的8組視頻測(cè)試本文算法的整體性能，并與KCF、CSK、CN、DSST等4種相關(guān)濾波算法進(jìn)行對(duì)比。

2 相關(guān)濾波模型

設(shè)f表示從輸入圖像提取出的特征，g表示響應(yīng)輸出，需要找到一個(gè)相關(guān)濾波器模板h，使其在目標(biāo)圖像上響應(yīng)最大，則有

g=f?h

(1)

其中，?表示卷積卷積運(yùn)算，卷積運(yùn)算會(huì)消耗大量時(shí)間。采用快速傅立葉變換FFT將(1)式變?yōu)辄c(diǎn)乘操作可極大地減少計(jì)算量

F(g)=F(f?h)=F(f)·F(h)*

(2)

可寫成G=F·H*，因此跟蹤任務(wù)就是尋找相關(guān)濾波器

(3)

正負(fù)訓(xùn)練樣本可以通過將f沿垂直和水平方向上循環(huán)移位獲得，m，n是f中每個(gè)元素的索引，根據(jù)誤差最小平方和ε

(4)

可以求出濾波器

(5)

相關(guān)濾波算法的優(yōu)越性表現(xiàn)在使用定制的置信圖g進(jìn)行訓(xùn)練，極大地減少了目標(biāo)丟失的可能性。

3 自適應(yīng)方向和尺度相關(guān)濾波跟蹤算法

3.1 基于多通道相關(guān)濾波的目標(biāo)定位

(6)

這里特征f∈RM×N×D采用色度信息(HSV 顏色空間的H分量)與HOG組合特征，信息量比僅使用HOG特征更大，在跟蹤過程中可減小光照影響，有效提高定位精度。在第t+1幀中從目標(biāo)候選區(qū)域提取多維特征圖z與訓(xùn)練好的二維定位濾波器進(jìn)行相乘運(yùn)算，可以得到候選區(qū)域二維相關(guān)響應(yīng)值：

(7)

E的最大值即可為當(dāng)前跟蹤目標(biāo)的中心位置：

(8)

圖1 特征提取過程圖

3.2 基于方向?yàn)V波器的目標(biāo)方向估計(jì)

選用方向池方法對(duì)目標(biāo)方向進(jìn)行估計(jì)，設(shè)視頻序列第t幀當(dāng)前目標(biāo)方向?yàn)棣?，目?biāo)圖像為G。設(shè)定方向池為O={o1，o2，…，on}，通過仿射變換獲取目標(biāo)各方向圖像特征。G上點(diǎn)x，y繞中心點(diǎn)逆時(shí)針旋轉(zhuǎn)β=θ+on角度得到點(diǎn)x′，y′，即圖像G(θ)旋轉(zhuǎn)后的圖像為G(β)。矩陣表示為

(9)

(10)

在第t+1幀中目標(biāo)的多方向HOG特征Fo(t)與訓(xùn)練好的一維尺度濾波器相乘，可以得到其一維相關(guān)響應(yīng)值

(11)

通過尋找Eo中的最大響應(yīng)值，即可得到當(dāng)前跟蹤目標(biāo)的最優(yōu)方向估計(jì)為

(12)

方向變化采用等差變化的方法，可減少方向搜索范圍，設(shè)定方向池為O={10，-9，-8，-7，-6，-5，-4，-3，-2，-1，0，1，2，3，4，5，6，7，8，9，10}，共21個(gè)方向。

3.3 基于尺度濾波器的目標(biāo)尺度估計(jì)

(13)

在第t+1幀中候選區(qū)的多尺度HOG特征Fs(t)與訓(xùn)練好的一維尺度濾波器相乘，可以得到其一維相關(guān)響應(yīng)值

(14)

通過獲取Es中的最大響應(yīng)值，就可得到跟蹤目標(biāo)的最優(yōu)尺度估計(jì)

(15)

3.4 模型更新

模型更新是目標(biāo)跟蹤關(guān)鍵一環(huán)，可確保長(zhǎng)時(shí)間跟蹤穩(wěn)定性。本文使用自適應(yīng)更新方法以確定跟蹤器的模型更新率。目標(biāo)在不同因素影響下PSR值會(huì)有較大區(qū)別[22]，因此，PSR值大小可以反映目標(biāo)受上面干擾影響的程度。響應(yīng)圖R的峰值強(qiáng)度可表示為

(16)

圖2 MountainBike數(shù)據(jù)集的PSR值分布及分析

圖2顯示了MountainBike數(shù)據(jù)集的PSR分布情況，PSR值越高目標(biāo)位置的置信度越高。MountainBike序列從第到190幀到第199幀目標(biāo)形變較小，相應(yīng)的PSR值上升到峰點(diǎn)，如圖2中A點(diǎn)。隨著目標(biāo)形變變大，PSR值逐漸減小，當(dāng)目標(biāo)在第211幀時(shí)，相應(yīng)的PSR值下降到谷點(diǎn)，如圖2(a)中B點(diǎn)所示。目標(biāo)模型更新權(quán)重wt根據(jù)每一幀的PSR值來確定。當(dāng)PSR值很大，認(rèn)為目標(biāo)明顯出現(xiàn)在檢測(cè)范圍；當(dāng)PSR值減小時(shí)，認(rèn)為目標(biāo)受到干擾，模型更新減緩；當(dāng)PSR值小于閾值時(shí)，認(rèn)為目標(biāo)受到遮擋或者丟失，停止模型更新，這樣可避免模型發(fā)生漂移。三個(gè)濾波器模型更新機(jī)制為

其中，Rmin表示所有幀中PSR的最小值，Rmax表示所有幀中PSR的最大值，η表示學(xué)習(xí)率，閾值Rth=μ(R)-σ(R)。

4 跟蹤算法

在第一幀目標(biāo)初始位置訓(xùn)練三種相關(guān)濾波器，然后在下一幀執(zhí)行三個(gè)濾波器，順序是：定位濾波器，方向?yàn)V波器和尺度濾波器。由方向?yàn)V波器獲取目標(biāo)方向后，把當(dāng)前幀繞目標(biāo)中心點(diǎn)逆時(shí)針旋轉(zhuǎn)目標(biāo)的方向角度，這樣做可確保接下來的尺度濾波在目標(biāo)方向?yàn)?度角進(jìn)行，使得尺度估計(jì)不會(huì)出現(xiàn)偏差。旋轉(zhuǎn)后，目標(biāo)在當(dāng)前圖位置也會(huì)相應(yīng)變化，要及時(shí)更新目標(biāo)位置。本文算法的流程如圖3所示，算法主要跟蹤步驟如表1所示。

圖3 跟蹤算法流程圖

表1 跟蹤步驟

5 實(shí)驗(yàn)結(jié)果與分析

硬件環(huán)境為Intel Celeron E3300 CPU，主頻2.5GHz，內(nèi)存2GB，采用MATLAB 2017a進(jìn)行編程實(shí)現(xiàn)。算法參數(shù)設(shè)置如下：目標(biāo)ROI區(qū)域大小為目標(biāo)的2倍，即padding=1；正則化參數(shù)λp=10-4，λo=10-2，λs=10-2；高斯核寬σp=1/16，σo=0.25，σs=0.25；學(xué)習(xí)率ηp=0.01，ηo=0.025，ηs=0.025。本文在OTB2013[23]數(shù)據(jù)集中選取了7組視頻，并選取了1組交通場(chǎng)景[24]進(jìn)行實(shí)驗(yàn)，與其它4種相關(guān)跟蹤算法進(jìn)行比較。此外，為了表明算法在方向和尺度處理上的優(yōu)越性，選取尺度和方向變化明顯的6組視頻進(jìn)行中心誤差精度、成功率和單幀處理時(shí)間方面的比較。選取的對(duì)比算法有KCF、DSST、CN和CSK等。

5.1 定性分析

尺度變換、目標(biāo)旋轉(zhuǎn)、光照變化、部分遮擋、目標(biāo)形變和快速運(yùn)動(dòng)等因素嚴(yán)重影響跟蹤性能，甚至導(dǎo)致跟蹤丟失目標(biāo)。本文選取具有8個(gè)視頻圖像序列，從下面6個(gè)方面對(duì)算法進(jìn)行定性分析。圖4給出了實(shí)驗(yàn)中5種算法的部分跟蹤效果。其中，不同跟蹤算法用不同的顏色表示，紅色為本文算法，淺藍(lán)色為KCF算法、深藍(lán)色為DSST、綠色為CN算法和黃色為CSK算法，圖片中左上角數(shù)字為當(dāng)前圖像序列的幀號(hào)。

1)尺度變化。在Vase、Boy、Dog1視頻中的目標(biāo)均出現(xiàn)較明顯的尺度變化， 5種算法都能始終跟蹤目標(biāo)，但只有本文算法和DSST算法能夠很好地適應(yīng)目標(biāo)的尺度變化。特別是在有1300多幀視頻的Dog1中，目標(biāo)尺度大小交替變化，本文算法能長(zhǎng)時(shí)間適應(yīng)目標(biāo)尺度的變化。

圖4 5種算法跟蹤結(jié)果對(duì)比

2)旋轉(zhuǎn)變化。在Vase、Skate2，Dog1、Motorolling、Boy、Traffic等6組視頻中都存在目標(biāo)方向變化。在Vase、Skate2，Dog1視頻中，其它算法跟蹤偏差較大，而本文算法都能夠較好地跟蹤目標(biāo)。視頻序列Traffic是交通監(jiān)控錄像，一輛大巴正左轉(zhuǎn)彎通過某十字路口，期間方向逐漸發(fā)生變化。由圖4(d) 可見，由于跟蹤目標(biāo)逐漸旋轉(zhuǎn)，其它算法的跟蹤漸漸偏離真實(shí)目標(biāo)。在Motorolling視頻中摩托車手旋轉(zhuǎn)同時(shí)兼有尺度變化，無論是旋轉(zhuǎn)角度還是尺度，本文算法都能準(zhǔn)確適應(yīng)，其它算法丟失了目標(biāo)。

3)光照變化、目標(biāo)形變。在Motorolling視頻中，背景光照隨時(shí)間進(jìn)行發(fā)生劇烈變化，同時(shí)目標(biāo)外觀也發(fā)生了形變，CSK、KCF、CN、DSST 算法發(fā)生跟蹤漂移直至丟失目標(biāo)，而本文算法使用了HOG特征和HSV顏色信息作為目標(biāo)特征，對(duì)光照和形變具有良好的穩(wěn)健性。

4)快速運(yùn)動(dòng)。在Boy視頻中，男孩的頭部快速移動(dòng)導(dǎo)致KCF、CSK等算法失效，而本文算法和DSST算法始終保持對(duì)目標(biāo)跟蹤，對(duì)于運(yùn)動(dòng)模糊的快速運(yùn)動(dòng)目標(biāo)具有較好的魯棒性。

5)部分遮擋。在視頻Suv中目標(biāo)發(fā)生了多次部分遮擋。到第678幀時(shí)，當(dāng)目標(biāo)再次被部分遮擋時(shí)，KCF、CSK和CN等算法丟失了目標(biāo)。DSST算法和本文算法因?yàn)榫哂谐叨忍幚砗吞卣髅枋錾系膬?yōu)勢(shì)，能夠適應(yīng)部分遮擋，始終準(zhǔn)確地跟蹤目標(biāo)。

5.2 定量分析

圖5 中心位置誤差圖

表2 成功率(閾值0.5)對(duì)比

表2 給出了算法在測(cè)試視頻中的成功率對(duì)比，覆蓋率閾值設(shè)為0.5。由表可見本文算法較其它算法在各類視頻中獲得了較優(yōu)性能，目標(biāo)旋轉(zhuǎn)角度變化越大性能越佳，平均跟蹤成功率比DSST算法提高了20.1%。算法實(shí)時(shí)性也是目標(biāo)跟蹤的一項(xiàng)重要的評(píng)估指標(biāo)，用每秒處理幀數(shù)來表示。表3列出了5種算法在不同視頻序列上的單幀處理時(shí)間，并在最后一行給出了算法的平均跟蹤速度。由于增加了一個(gè)方向?yàn)V波器，本文算法單幀耗時(shí)略高于DSST算法，這是因?yàn)樗惴ú捎枚嗑S特征構(gòu)建定位濾波器模型，和構(gòu)建方向空間進(jìn)行了方向估計(jì)，并且模型更新引入了PSR判斷，但在這個(gè)軟硬件配置下10.9 frame/s的平均跟蹤速度基本上滿足實(shí)時(shí)性的要求。

表3 各算法單幀耗時(shí)和平均跟蹤速度

圖5給出了不同算法在Traffic、Dog1、MotorRolling、Skater2、Vase、MountainBike等6段視頻中的中心位置誤差對(duì)比，本文算法跟蹤誤差基本保持在15pixels以內(nèi)?？梢姳疚乃惴ǖ亩ㄎ粶?zhǔn)確度高于KCF、CSK、DSST、CN等算法。

圖6 目標(biāo)方向隨時(shí)間變化圖

圖7 目標(biāo)尺度隨時(shí)間變化圖

圖6給出了本文算法在6段視頻中的方位角隨時(shí)間變化圖，可以看出，跟蹤過程中跟蹤框的方位角隨時(shí)間變化而發(fā)生較平滑變化，平緩變化符合目標(biāo)運(yùn)動(dòng)規(guī)律，表明本文算法在全過程跟蹤的準(zhǔn)確性，同時(shí)表明本文算法對(duì)跟蹤目標(biāo)的方向變化處理的有效性。圖7給出本文算法的尺度隨時(shí)間變化圖，可以看出，跟蹤過程中尺度因子隨時(shí)間變化而較平滑變化，說明了全過程跟蹤的準(zhǔn)確性，同時(shí)表明本文算法對(duì)跟蹤目標(biāo)的尺度變化處理的有效性。

6 結(jié)束語(yǔ)

本文提出一種改進(jìn)的DSST算法。算法通過選擇HOG與HSV顏色相結(jié)合特征構(gòu)建二維定位濾波器來提高定位精度。接下來，使用方向池構(gòu)建一維方向?yàn)V波器，并改進(jìn)尺度濾波器尺度池實(shí)現(xiàn)目標(biāo)的精確方向和尺度估計(jì)。最后，通過計(jì)算PSR值指導(dǎo)更新相關(guān)濾波器模型。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法對(duì)跟蹤目標(biāo)的尺度和方向變化具有魯棒性和有效性。

為了提高目標(biāo)在長(zhǎng)時(shí)間遮擋時(shí)的跟蹤性能，遮擋處理方法將是下一步研究方向。另外，嘗試著將相關(guān)濾波與深度學(xué)習(xí)方法結(jié)合起來以進(jìn)一步提高算法跟蹤精度。