基于特征鑒別性分析的變尺度核相關(guān)濾波跟蹤算法*

曹 潔， 解博江， 李 偉， 王進(jìn)花

(1.蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院,甘肅 蘭州 730050；2.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院,甘肅 蘭州 730050)

0 引 言

相關(guān)濾波是一種典型的判別式跟蹤方法[1～3]，其在對(duì)目標(biāo)建模時(shí)同時(shí)考慮了目標(biāo)與背景信息，故有較高的跟蹤魯棒性[4]。Mosse方法將相關(guān)濾波概念引入目標(biāo)跟蹤領(lǐng)域中。時(shí)空上下文(spatio-temporal context,STC)[5]方法以概率論的方式對(duì)相關(guān)濾波方法進(jìn)行了封裝，并在模板更新中對(duì)目標(biāo)尺度進(jìn)行了估計(jì)。碼移鍵控(code shifting keying,CSK)[6]方法通過(guò)核化嶺回歸的方式訓(xùn)練濾波器模板，增強(qiáng)了模板在非線性情況下的有效性。由于相關(guān)濾波原理在特征使用上的限制，故上述各種方法均采用了單一的灰度特征。核相關(guān)濾波(kernelized correlation filtering,KCF)[7]方法在CSK的基礎(chǔ)上，運(yùn)用高斯核函數(shù)將單通道相關(guān)濾波器擴(kuò)展為多通道，使其能夠使用較為復(fù)雜的梯度方向直方圖(histogram of gradient,HOG)特征進(jìn)行建模。Danelljan M[8]等人將顏色名(color name,CN)特征成功應(yīng)用于核相關(guān)濾波框架中，使之對(duì)彩色視頻序列的跟蹤效果得到了有效提升。但上述僅使用單一特征的跟蹤器很難適應(yīng)復(fù)雜多變的場(chǎng)景如目標(biāo)遮擋、光照變化、尺度放縮等，為此許多學(xué)者展開了相關(guān)研究工作[9～11]。但這些改進(jìn)方法均采用多特征對(duì)目標(biāo)進(jìn)行建模，雖然提高了跟蹤精度，但各特征被等價(jià)看待，未能針對(duì)不同場(chǎng)景以及跟蹤情況分析選擇出合適的特征進(jìn)行描述，顯然是不合理的。此外，相關(guān)濾波類算法本身并不具備目標(biāo)的尺度估計(jì)能力，研究者們提出了相應(yīng)的解決方案[11～13]但仍有提升空間。

為此，本文在核相關(guān)濾波器的基礎(chǔ)上，利用目標(biāo)圖像的多特征的互補(bǔ)性，通對(duì)各特征樣本訓(xùn)練過(guò)程中的最小均方損失函數(shù)分別設(shè)定權(quán)重，鑒別性的選擇最優(yōu)和次優(yōu)的兩種特征進(jìn)行決策級(jí)融合；在尺度估計(jì)上，借鑒在MOSSE基礎(chǔ)上改進(jìn)的DSST(discriminative scale space tracker)[12]方法，加入了一維尺度相關(guān)濾波器實(shí)現(xiàn)對(duì)最佳尺寸樣本的篩選。

1 核相關(guān)濾波跟蹤原理

1.1 濾波模板訓(xùn)練過(guò)程

KCF方法采用了核化嶺回歸方式對(duì)濾波模板進(jìn)行訓(xùn)練求解，主要是尋找一個(gè)最優(yōu)的函數(shù)f(x)=wTφ(x)使得(1)式中的代價(jià)函數(shù)最小

(1)

式中x為輸入大小為M×N的圖像樣本，φ(x)為樣本x通過(guò)核函數(shù)向高維空間映射所得到的結(jié)果,w為所要訓(xùn)練求解的濾波模板,yi為輸入樣本xi所對(duì)應(yīng)的擬合目標(biāo)，λ為為了防止過(guò)出現(xiàn)過(guò)擬合現(xiàn)象而添加的懲罰項(xiàng)。

文獻(xiàn)[8]利用循環(huán)矩陣的性質(zhì)及快速傅里葉變換，在頻域中對(duì)濾波模板進(jìn)行訓(xùn)練求解，可以得到模板如式(2)的解析解。

(2)

(3)

1.2 目標(biāo)位置響應(yīng)過(guò)程

當(dāng)新一幀的圖像獲取后，首先以上一幀目標(biāo)所在坐標(biāo)為中心提取樣本z，再經(jīng)由快速傅里葉變換到頻域后，與已訓(xùn)練好的相關(guān)濾波模板w進(jìn)行響應(yīng)，生成當(dāng)前幀目標(biāo)所在位置的置信圖C，其最大值處即為目標(biāo)所在位置。響應(yīng)過(guò)程如式

(4)

2 本文方法

2.1 特征鑒別性分析與融合

本文使用三種互補(bǔ)性的特征即顏色名(CN)、局部二值(local binary patterns,LBP)及方向梯度直方圖(HOG)建立目標(biāo)樣本特征集合Xf，則用特征樣本訓(xùn)練濾波模板的過(guò)程(式(1))可改寫為

(5)

(6)

(7)

(8)

2.2 尺度響應(yīng)濾波器

為解決尺度問(wèn)題，本文參考DSST方法，獨(dú)立增加一組一維尺度核相關(guān)濾波器，具體方法如下：

在當(dāng)前第T幀目標(biāo)位置處利用高斯金字塔對(duì)目標(biāo)進(jìn)行s層多尺度采樣并用雙線性插值變換將其恢復(fù)成與原跟蹤框尺度相同的M×N大小圖像，提取其HOG特征作為多尺度樣本集xsi，利用式(5)對(duì)尺度響應(yīng)濾波器進(jìn)行訓(xùn)練，可得到尺度濾波器模板Ws的解析解為

(9)

(10)

尺度濾波器更新過(guò)程如下

(11)

(12)

2.3 模板差異性更新

在相關(guān)濾波框架內(nèi)，文獻(xiàn)[14]發(fā)現(xiàn)相關(guān)響應(yīng)峰值的主旁瓣比(peak to sidelobe ratio,PSR)大小能夠反映出目標(biāo)的跟蹤效果。但受到不同視頻背景雜波的影響，PSR幅值存在差異，因此很難統(tǒng)一定義去判定跟蹤效果。本文在PSR的基礎(chǔ)上通過(guò)參考視頻歷史信息所構(gòu)造出的主旁瓣均值比(peak to sidelobe average ratio,PAR)能夠在一定程度上克服該問(wèn)題。PAR統(tǒng)計(jì)方法如下

(13)

式中pt為融合后的置信圖Ct的峰值，其周圍區(qū)域定義為旁瓣，μ和δ分別為旁瓣區(qū)域的均值和標(biāo)準(zhǔn)差。當(dāng)融合所得置信圖Ct的PARt小于遮擋判定閾值U時(shí)，表明當(dāng)前幀圖像與目標(biāo)模板間相關(guān)性較弱，目標(biāo)被遮擋的可能性越高，此時(shí)應(yīng)該停止模板更新，反之則正常更新模板。差異化模板更新過(guò)程如式

(14)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)參數(shù)與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)部分所依托的硬件平臺(tái)為：3.8 GHz四核Core i7，16 GB內(nèi)存；參數(shù)設(shè)置為：尺度響應(yīng)濾波器參數(shù)與DSST一致；核相關(guān)濾波器與KCF參數(shù)相同；融合權(quán)重更新 取0.2，跟蹤質(zhì)量評(píng)判閾值U為1.5。

實(shí)驗(yàn)所采用的視頻序列均來(lái)自Benchmark[4]測(cè)試集。算法評(píng)估方面以國(guó)際通用的距離精度(distance precision,DP)、重疊精度(overlap precision,OP)為指標(biāo)進(jìn)行評(píng)價(jià)。

3.2 特征選擇與融合權(quán)重分析

實(shí)驗(yàn)一為了驗(yàn)證本文算法在特征選擇及融合權(quán)重分配階段的有效性，以Deer視頻為例對(duì)其進(jìn)行分析。結(jié)果如圖1所示。圖1(b)為依據(jù)本文算法在候選特征集合中選擇出的最優(yōu)和次優(yōu)特征，以及其所對(duì)應(yīng)的自適應(yīng)融合權(quán)重。

從圖1(a)中可以明顯看出在第24幀及43幀處，三種特征所對(duì)應(yīng)的均方損失出現(xiàn)不同程度的波動(dòng)，最優(yōu)及次優(yōu)特征的選取也出現(xiàn)了更替，如圖1(b)所示。

圖1 特征選擇與融合權(quán)重

結(jié)合圖2，第24幀目標(biāo)因運(yùn)動(dòng)模糊造成邊緣結(jié)構(gòu)信息缺失而且存在目標(biāo)與背景間顏色相似，此時(shí)邊緣HOG特征及CN特征均不能很好區(qū)分?jǐn)?shù)據(jù)，表現(xiàn)為對(duì)應(yīng)特征的跟蹤置信圖在目標(biāo)真實(shí)位置附近出現(xiàn)不同程度的噪聲，其中HOG特征置信圖較為發(fā)散，部分位置因受噪聲影響大于真實(shí)位置的置信度，如果選用該特征會(huì)造成目標(biāo)中心位置的誤判，CN特征的置信圖能夠反映出真實(shí)位置，但在真實(shí)位置附近及顏色相似的背景區(qū)域出現(xiàn)多個(gè)偽峰值，而LBP特征表現(xiàn)最好，從最優(yōu)特征(LBP)和次優(yōu)特征(CN)自適應(yīng)融合的結(jié)果可以看出，融合后的置信圖能夠有效抑制CN特征因背景相似引起的周邊偽峰值區(qū)域，且提高了目標(biāo)真實(shí)位置的置信度。

圖2 各特征置信圖

3.3 算法定性分析

實(shí)驗(yàn)二采用定性分析是將本文所提算法與改進(jìn)前的方法在同一視頻中進(jìn)行對(duì)比分析，對(duì)比結(jié)果如圖3。

圖3 不同場(chǎng)景中算法跟蹤效果對(duì)比

1)遮擋場(chǎng)景分析：Coke和Lemming視頻中目標(biāo)均出現(xiàn)不同程度的遮擋273，368幀。其中，Coke中第269幀，目標(biāo)受到遮擋物的干擾，KCF和CN-KCF跟蹤框均出現(xiàn)不同程度偏移，鎖定在邊緣及顏色特征較為明顯的綠葉上。當(dāng)目標(biāo)出現(xiàn)長(zhǎng)時(shí)間遮擋時(shí)，由于KCF容易將遮擋物錯(cuò)誤的引入模板中；而本文算法實(shí)現(xiàn)了模板的差異化更新，有效抑制了目標(biāo)漂移現(xiàn)象的發(fā)生；如Lemming中的368～385幀。

2)光照?qǐng)鼍胺治觯篠haking和Tiger2視頻類似，目標(biāo)均受到了背景光照變化的影響。其中Shaking視頻因光照陰影及光照突變，造成目標(biāo)顏色信息改變及紋理細(xì)節(jié)缺失，導(dǎo)致LBP-KCF和CN-KCF跟蹤框偏移，但此時(shí)目標(biāo)仍具有較好的邊緣輪廓特征，使用多特征建模的本文方法能夠有效彌補(bǔ)次優(yōu)特征細(xì)節(jié)的損失，從而實(shí)現(xiàn)對(duì)目標(biāo)穩(wěn)定的跟蹤。

圖4 尺度變化場(chǎng)景中算法跟蹤效果對(duì)比

3)尺度變化場(chǎng)景分析：圖4中CarScale和Women視頻，目標(biāo)存在明顯的尺度變化KCF算法因缺乏目標(biāo)尺度估計(jì)能力，當(dāng)目標(biāo)縮小時(shí)，容易引入過(guò)多的背景噪聲導(dǎo)致跟蹤框滯留；STC只采用了簡(jiǎn)單的灰度特征進(jìn)行建模，容易受到相似灰度的遮擋物干擾，從而導(dǎo)致跟蹤精度的下降，如CarScale中的170幀；本文算法和DSST均采用了高斯金字塔構(gòu)建目標(biāo)多尺度模型，在尺度估計(jì)上具有一定優(yōu)勢(shì)，但在目標(biāo)被大面積遮擋時(shí)，DSST目標(biāo)模板因引入遮擋物從而降低尺度估計(jì)效果，本文方法對(duì)跟蹤質(zhì)量進(jìn)行評(píng)價(jià)從而實(shí)現(xiàn)了模板的差異化更新，有效避免了遮擋物的影響，如CarScale的240幀及Women的288幀所示。

3.3 算法定量分析

實(shí)驗(yàn)三將本文算法與近些年來(lái)提出的典型跟蹤方法在Benchmark視頻集中進(jìn)行充分評(píng)估，以檢驗(yàn)所提跟蹤算法的性能，對(duì)比所選跟蹤算法具體屬性如表1。

表1 所選算法屬性

圖5為本文算法與所選算法間定量對(duì)比分析結(jié)果。本文算法相比未融合前方法(KCF，CN-KCF，LBP-KCF，DSST)在跟蹤精度與重疊率上有著明顯提升，與僅采用HOG，CN特征串聯(lián)的SAMF方法相比跟蹤精度有一定提高，覆蓋域方面則與SAMF相差不大。

圖5 算法定量對(duì)比分析

4 結(jié) 論

算法定性定量對(duì)比實(shí)驗(yàn)表明:本文所提算法對(duì)部分遮擋及光照變化場(chǎng)景具有一定的魯棒性。但目標(biāo)在因完全遮擋而無(wú)法被連續(xù)檢測(cè)的情況下，本文方法仍存在不足，此問(wèn)題有待進(jìn)一步研究解決。