一種基于多相關(guān)濾波器組合的目標(biāo)跟蹤方法

潘迪夫 李耀通 韓錕

摘 ???要：針對(duì)復(fù)雜跟蹤環(huán)境條件下目標(biāo)的跟蹤失敗問題，提出一種基于多相關(guān)濾波器組合的目標(biāo)跟蹤方法.首先2個(gè)分別采用顏色屬性（Color Name，CN）特征和方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征的核相關(guān)濾波器（Kernelized Correlation Filter，KCF）通過自適應(yīng)融合手段進(jìn)行響應(yīng)圖信息融合，確定目標(biāo)的預(yù)測(cè)位置;然后通過以目標(biāo)區(qū)域?yàn)榛A(chǔ)進(jìn)行多尺度采樣，提取CN-HOG拼接特征構(gòu)建尺度相關(guān)濾波器，得到目標(biāo)的最佳尺度;最后設(shè)計(jì)了模型的自適應(yīng)更新策略，通過判斷目標(biāo)是否發(fā)生遮擋來決定是否在當(dāng)前幀進(jìn)行模型更新.在50組視頻序列上對(duì)所提算法與6種當(dāng)前主流的相關(guān)濾波跟蹤算法進(jìn)行了實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，在復(fù)雜的跟蹤環(huán)境條件下，所提算法取得了最好的跟蹤精度和成功率，能夠有效處理目標(biāo)遮擋和尺度變化等問題，且具有較快的跟蹤速度.

關(guān)鍵詞：目標(biāo)跟蹤;相關(guān)濾波;尺度評(píng)估;模型自適應(yīng)更新

中圖分類號(hào)：TP391 ???????????????????????????文獻(xiàn)標(biāo)志碼：A

A Target Tracking Method Based on Multi-correlation Filter Combination

PAN Difu，LI Yaotong，HAN Kun

（School of Traffic and Transportation Engineering，Central South University，Changsha 410075，China ）

Abstract： To cope with the problem of object tracking failure in the challenging environment， a target tracking method based on multi-correlation filter combination was proposed. Firstly， two kernelized correlation filters（KCF） based on color name（CN） features and histogram of oriented gradient（HOG） features， respectively， integrated the map information through adaptive fusion method， and were used to determine the prediction position of the target. Then， through the multi-scale sampling based on the target region， CN-HOG compositive feature was extracted to construct a scale correlation filter to obtain the optimal scale of target. Finally， the adaptive updating strategy of the model was designed to determine whether the model was updated in the current frame through determining whether the target was occluded. The proposed algorithm and 6 state-of-the-art methods were tested on 50 video sequences. The experiment results indicate that the proposed algorithm gains the best precision and success rate in the challenging environment， it can effectively deal with the problem of object occlusion and scale change， and it has a fast tracking speed.

Key words： object tracking;correlation filter;scale estimate;model adaptive updating

視覺跟蹤在計(jì)算機(jī)視覺應(yīng)用領(lǐng)域中扮演著重要的角色[1-3]，例如視頻監(jiān)控、人機(jī)交互、機(jī)器人技術(shù)和增強(qiáng)現(xiàn)實(shí)等.目前，基于相關(guān)濾波（Correlation Filters，CF）的跟蹤算法因其高精度、高魯棒性、速度快的特點(diǎn)[4]，引起了相關(guān)學(xué)者們的廣泛關(guān)注和研究.針對(duì)目標(biāo)表征建模的相關(guān)濾波跟蹤算法主要分為兩類：?jiǎn)文Ｐ秃投嗄Ｐ?單模型是指采用單特征來訓(xùn)練分類器的相關(guān)濾波跟蹤算法，主要包括采用灰度特征的核循環(huán)結(jié)構(gòu)跟蹤器（CSK）[4]、使用CN特征擴(kuò)展稠密采樣跟蹤器（CN）[5]、采用HOG特征的核相關(guān)跟蹤器（KCF）[6]、采用HOG特征的尺度自適應(yīng)跟蹤器（DSST）[7].多模型是指采用多特征來訓(xùn)練分類器的相關(guān)濾波跟蹤算法，主要包括通過串接CN特征和HOG特征的尺度自適應(yīng)跟蹤器（SAMF）[8]、基于CN特征和HOG特征貢獻(xiàn)度進(jìn)行加權(quán)組合的尺度自適應(yīng)跟蹤器（Staple）[9]、根據(jù)CN特征和HOG特征的響應(yīng)圖進(jìn)行加權(quán)融合的模型自適應(yīng)更新跟蹤器（FAUT）[10]、CN特征和HOG特征串接的多尺度跟蹤器（FMFPSA）[11]、CN特征和HOG特征自適應(yīng)融合的跟蹤器（FAKCF）[12].經(jīng)過大量的實(shí)驗(yàn)結(jié)果分析可知，由于多模型相關(guān)濾波跟蹤算法采用多特征描述目標(biāo)，提高了跟蹤算法的判別力，其跟蹤性能高于單模型.

盡管上述的跟蹤算法已取得較好的跟蹤效果，但現(xiàn)實(shí)環(huán)境中依然存在很多挑戰(zhàn)性問題，主要包括光照變化、背景復(fù)雜、目標(biāo)旋轉(zhuǎn)以及目標(biāo)遮擋等情況造成目標(biāo)表征發(fā)生變化而導(dǎo)致目標(biāo)跟蹤失敗.還有在上述的多模型相關(guān)濾波跟蹤算法中，對(duì)于多特征的使用方法仍然存在一些不合理之處，并且關(guān)于目標(biāo)尺度評(píng)估的準(zhǔn)確性也有待提高.

基于上述分析，本文提出一種基于多相關(guān)濾波器組合的目標(biāo)跟蹤方法（Multi-Correlation Filter Combination based Tracking Method，MCFC），其中2個(gè)分別采用單特征訓(xùn)練的KCF跟蹤器用于目標(biāo)定位，通過本文提出的以歷史響應(yīng)峰值的均值為基礎(chǔ)的響應(yīng)圖信息融合判斷機(jī)制進(jìn)行響應(yīng)圖融合，得到最終的目標(biāo)位置，以提高算法的定位精度;然后1個(gè)采用組合特征訓(xùn)練的相關(guān)濾波器用于目標(biāo)尺度評(píng)估，以增加算法尺度估計(jì)的準(zhǔn)確性;最后設(shè)計(jì)一種以歷史響應(yīng)峰值的均值和峰值旁瓣比為基礎(chǔ)的模型自適應(yīng)更新策略，以提升算法的魯棒性.在若干視頻序列上進(jìn)行對(duì)比實(shí)驗(yàn)，證明了本文所提算法具有較高的整體跟蹤性能.

1 ??KCF跟蹤器基本原理

KCF跟蹤器是一種通過引入核函數(shù)對(duì)相關(guān)濾波理論進(jìn)行改進(jìn)的核相關(guān)濾波方法，核心思想是通過對(duì)圖像塊進(jìn)行循環(huán)密集采樣構(gòu)造循環(huán)矩陣，利用循環(huán)矩陣的性質(zhì)與傅里葉域建立關(guān)系，通過離散傅里葉變換在頻域中快速實(shí)現(xiàn)分類器訓(xùn)練和目標(biāo)檢測(cè)，以達(dá)到快速跟蹤目標(biāo)的目的[6].相關(guān)濾波目標(biāo)跟蹤方法采用嶺回歸分類器來預(yù)測(cè)目標(biāo)位置[4-6，13].對(duì)循環(huán)采樣得到的訓(xùn)練樣本X和高斯函數(shù)得到的理想輸出Y構(gòu)造目標(biāo)優(yōu)化函數(shù)模型

求解分類器系數(shù)W.通過映射函數(shù)φ（·） 將低維空間的特征x映射到Hilbert空間得到φ（x），此時(shí)分類器的解可表示為W = （αi φ（xi）），則f（xj） = 〈w，φ（xi）〉=i 〈φ（xi）T，φ（xj）〉，引入核函數(shù)k（xi，xj） = 〈φ（xi）T，φ（xj）〉，構(gòu)造循環(huán)矩陣K，矩陣K中元素kij = k（xi，xj），對(duì)式（1）進(jìn)行求解可得

α = （K + λI）-1Y ???????????????（2）

式中：I為單位矩陣，λ為防止過擬合的正則項(xiàng)[14].利用循環(huán)矩陣K的性質(zhì)通過離散傅里葉變換（DFT）將問題變換到頻域進(jìn)行求解

式中xx表示樣本特征x的自相關(guān)核向量，y為樣本x對(duì)應(yīng)的標(biāo)簽向量，符號(hào)^表示向量的離散傅里葉變換（此表示方法應(yīng)用于全文）.對(duì)于核函數(shù)，本文選擇圖像處理中常用的高斯核，其計(jì)算公式為

（4）

中：kxz表示訓(xùn)練樣本特征x和檢測(cè)樣本特征z的互相關(guān)核向量，可通過式（4）計(jì)算獲得.輸出響應(yīng)y中的峰值位置即為當(dāng)前幀圖像中的目標(biāo)位置.根據(jù)計(jì)算的檢測(cè)結(jié)果對(duì)分類器參數(shù)α和目標(biāo)模板x進(jìn)行更新

αt = （1 - η）αt-1 + ηαt′xt = （1 - η）xt-1 + （1 - η）zt ??????????（6）

其中，η為學(xué)習(xí)率，以適應(yīng)目標(biāo)外觀表征變化，提高跟蹤器的魯棒性和準(zhǔn)確性.

2 ??MCFC目標(biāo)跟蹤方法

2.1 ??位置跟蹤的相關(guān)濾波器組合

MCFC方法將采用基于顏色屬性（Color Name，CN）特征和基于方向梯度直方圖（Histogram of oriented Gradients，HOG）特征的兩個(gè)相關(guān)濾波器分別對(duì)目標(biāo)進(jìn)行位置跟蹤，兩個(gè)濾波器的訓(xùn)練和檢測(cè)過程均獨(dú)立完成，兩者所輸出的響應(yīng)圖會(huì)根據(jù)本文提出的判斷機(jī)制進(jìn)行有效融合，得到最終的目標(biāo)位置.

2.1.1 ??目標(biāo)特征選擇分析

在視覺跟蹤的應(yīng)用中，CN特征[15]是一種比灰度特征更具判別能力的多通道全局表征特征[5]，其在運(yùn)動(dòng)物體快速運(yùn)動(dòng)和變形的情況下取得很好的跟蹤效果，但在光照劇烈變化下處理效果不理想;而HOG特征[16]作為描述圖像局部區(qū)域輪廓、形狀的局部特征，光照變化對(duì)其檢測(cè)效果影響不大，但在目標(biāo)快速運(yùn)動(dòng)和變形環(huán)境下跟蹤能力有所下降.不同環(huán)境下兩種特征單獨(dú)使用的跟蹤效果見圖1.因此，本文分別選擇CN特征和HOG特征構(gòu)建獨(dú)立的相關(guān)濾波器，并將兩者所輸出的響應(yīng)圖進(jìn)行有效融合，以此彌補(bǔ)在不同環(huán)境下單一濾波器跟蹤性能的不足之處.

2.1.2 ??響應(yīng)圖信息融合判斷機(jī)制

由2.1.1節(jié)分析可知，基于CN特征和基于HOG特征的兩個(gè)相關(guān)濾波器是互補(bǔ)的，兩者結(jié)合能夠適應(yīng)更多復(fù)雜的跟蹤場(chǎng)景，但是如何有效地將它們所輸出的響應(yīng)圖信息融合仍然是值得深究的一個(gè)問題.目前，在視覺跟蹤領(lǐng)域中基于特征信息融合的手段主要有兩大方面，一是特征層面上的特征串接，即將提取的CN特征與HOG特征轉(zhuǎn)化為二維空間大小相同的多通道特征矩陣，然后兩個(gè)矩陣串接起來訓(xùn)練和更新濾波器，如Li等[8]的SAMF方法和楊源等[11]的FMFPSA方法，該種手段并沒有對(duì)特征的貢獻(xiàn)度進(jìn)行分析，只是將兩種特征簡(jiǎn)單疊加，易將錯(cuò)誤的特征信息引入到模型中，從而導(dǎo)致跟蹤失敗;另一方面是決策層面的響應(yīng)圖融合，即根據(jù)顏色特征和HOG特征的響應(yīng)值比值來給兩者分配權(quán)重，兩種特征的響應(yīng)值與權(quán)重相乘再相加得到最終的響應(yīng)圖，如王■等[10]的FAUT方法和Bertinetto

等[9]的Staple方法，該種手段對(duì)特征信息的權(quán)重占比進(jìn)行了分析，但也只是簡(jiǎn)單地對(duì)兩種特征的峰值進(jìn)行比較或者是以兩者的理想輸出與實(shí)際輸出的差值之和的比值作為判斷依據(jù)，當(dāng)出現(xiàn)偽峰值或兩種特征的響應(yīng)峰值差異較大時(shí)，上述的判斷依據(jù)便會(huì)失去準(zhǔn)確性，如圖2所示.

圖2（a）中CN特征對(duì)應(yīng)的峰值較HOG特征的小，但是CN特征定位精度比HOG特征的高，此時(shí)若以兩者峰值的比值作為權(quán)重的分配依據(jù)則會(huì)帶來較大的定位誤差;圖2（b）中CN和HOG特征對(duì)應(yīng)的響應(yīng)圖分布情況相似，但此時(shí)HOG特征定位精度遠(yuǎn)高于CN特征，若以理想輸出與實(shí)際輸出的差值之和的比值作為特征融合依據(jù)，也會(huì)導(dǎo)致目標(biāo)定位誤差;圖2（c）中CN特征出現(xiàn)偽峰值，此時(shí)若采用上述任一判斷依據(jù)均會(huì)造成目標(biāo)定位失敗.基于上述分析可知，決策層面的響應(yīng)圖信息融合更具有合理性，但是其融合判斷手段的可靠性和準(zhǔn)確性不足.經(jīng)過大量實(shí)驗(yàn)分析可知響應(yīng)峰值、定位精度以及歷史峰值的均值存在一定的關(guān)系.因此，本文以歷史峰值的均值為基礎(chǔ)提出一種新的響應(yīng)圖信息融合判斷機(jī)制，步驟如下.

Step 1. 已知信息：第t-1幀圖像的CN濾波器和HOG濾波器參數(shù)、目標(biāo)模板以及目標(biāo)位置pt-1;兩個(gè)濾波器從第1幀到第t-1幀歷史峰值的均值A(chǔ)Fcnt-1 和AF hog t-1 ?;還有相應(yīng)的閾值T cnl ??，T cnu ??，T hogl ???，T hogu ???，其中

T cnl

Step 2. 分別求取第t幀圖像CN濾波器和HOG濾波器的響應(yīng)圖R cnt ??、R hogt ???，響應(yīng)峰值MF cnt ??、MF hogt ???，并以式（7）求取參數(shù)wcnt ??，whogt ???.

Step 3. 按以下式（8）確定第t幀圖像的響應(yīng)圖Rt.

（8）

由上述步驟得到的響應(yīng)圖Rt中的最大值處即為目標(biāo)位置pt，當(dāng)式（8）中所有的條件均不能滿足時(shí)，那么取第t - 1幀圖像的目標(biāo)位置作為第t幀圖像的目標(biāo)位置，即pt = pt - 1.

2.2 ??尺度評(píng)估的相關(guān)濾波器

目前，在視覺跟蹤領(lǐng)域中針對(duì)目標(biāo)尺度變化問題的主要解決方法是對(duì)目標(biāo)建立尺度金字塔搜索模型，在跟蹤過程中通過尋找金字塔模型中輸出響應(yīng)最高的尺度來作為目標(biāo)的真正尺度[7-8，11，17]，其中最具代表性的是Li等[8]SAMF方法和Danelljan等[7]的DSST方法.SAMF方法是將位置跟蹤與尺度評(píng)估結(jié)合起來同時(shí)計(jì)算，即在設(shè)定的所有尺度中尋找最大的輸出響應(yīng)值對(duì)應(yīng)的位置作為目標(biāo)位置，同時(shí)該最大響應(yīng)值所在的尺度作為目標(biāo)尺度;DSST方法是首先確定目標(biāo)的位置，在該位置上再通過尺度搜索來確定目標(biāo)的尺度.這兩種方法均取得了很好的跟蹤效果，但DSST方法的跟蹤速度要比SAMF方法的更快.因此，本文借鑒DSST方法中的尺度評(píng)估手段，并對(duì)其加以改進(jìn).尺度評(píng)估采用的是線性相關(guān)濾波器，其構(gòu)建方式與KCF相似，只是將高斯核替換為線性核，在這里不再贅述其基本原理，只給出相應(yīng)的計(jì)算公式，如式（9）和式（10）所示，具體細(xì)節(jié)請(qǐng)參考文獻(xiàn)[7].

式中：式（9）求取尺度評(píng)估濾波器的輸出響應(yīng)ys;ys中最大響應(yīng)值對(duì)應(yīng)的尺度即為目標(biāo)尺度.式（10）更新尺度評(píng)估濾波器參數(shù)Al和B. f為具有d通道的訓(xùn)練樣本特征，g為高斯函數(shù)產(chǎn)生的理想輸出，zs為檢測(cè)樣本特征，λs和ηs分別為正則項(xiàng)和學(xué)習(xí)速率.

DSST方法的尺度濾波器采用的特征是HOG特征，由2.1.1節(jié)分析可知，HOG特征在目標(biāo)快速運(yùn)動(dòng)和變形情況下跟蹤效果并不理想，CN特征在光照劇烈變化環(huán)境下會(huì)造成定位誤差，同樣在尺度評(píng)估中兩種特征遇到相同的問題也會(huì)導(dǎo)致尺度估計(jì)偏差，具體情形見圖3.

由圖3分析可知，在不同環(huán)境下僅使用單一特征對(duì)目標(biāo)進(jìn)行尺度評(píng)估會(huì)造成一定的尺度偏差甚至跟蹤漂移.因此，本文結(jié)合兩種特征對(duì)目標(biāo)進(jìn)行尺度評(píng)估，即將CN和HOG特征拼接起來，增加目標(biāo)的表征信息，以此代替DSST方法尺度濾波器的HOG特征.如圖3所示，本文尺度濾波器對(duì)目標(biāo)尺度的評(píng)估結(jié)果在圖3（a）和（b）中均為最優(yōu)，在圖3（c）中次優(yōu)，比僅使用單一特征尺度濾波器的性能有了較大的提升，同時(shí)其對(duì)跟蹤環(huán)境的適用性更加廣泛.

2.3 ??模型自適應(yīng)更新

在目標(biāo)跟蹤過程中，由于跟蹤環(huán)境的多樣性和復(fù)雜性，常常會(huì)遇到一些挑戰(zhàn)性問題，如光照劇烈變化、背景復(fù)雜和目標(biāo)遮擋等，特別是在發(fā)生目標(biāo)遮擋時(shí)，若此時(shí)還是繼續(xù)以式（5）對(duì)濾波器參數(shù)和目標(biāo)模板進(jìn)行更新，則會(huì)將錯(cuò)誤的目標(biāo)表征信息引入到目標(biāo)模板中，同時(shí)濾波器參數(shù)會(huì)出現(xiàn)偏差，最終導(dǎo)致后續(xù)的跟蹤失敗.因此必須制定一個(gè)更新策略，讓跟蹤算法自行判斷是否發(fā)生目標(biāo)遮擋，若是則不進(jìn)行模型更新.經(jīng)過實(shí)驗(yàn)分析可知，濾波器輸出的響應(yīng)圖能夠有效反映目標(biāo)當(dāng)前的環(huán)境狀態(tài)，如背景復(fù)雜或發(fā)生遮擋等，見圖4.

圖4（a）顯示在初始背景下濾波器輸出的響應(yīng)圖是單峰的，且峰值很大，分布情況與理想高斯函數(shù)輸出響應(yīng)接近;圖4（b）顯示在復(fù)雜背景下濾波器輸出的響應(yīng)圖雖然還是單峰的，但是峰值已經(jīng)明顯減小;圖4（c）顯示當(dāng)目標(biāo)發(fā)生部分遮擋時(shí)，濾波器輸出的響應(yīng)圖是多峰的，且峰值已經(jīng)降到很低，但依然能夠成功定位目標(biāo);圖4（d）顯示當(dāng)目標(biāo)發(fā)生完全遮擋時(shí)，濾波器輸出的響應(yīng)圖是多峰的，峰值很低，此時(shí)最大峰值位置可能并不是目標(biāo)位置，即出現(xiàn)偽峰值，導(dǎo)致后續(xù)的跟蹤失敗.

由圖4分析可知，在目標(biāo)跟蹤過程中，可以根據(jù)濾波器輸出響應(yīng)圖的分布情況來判斷目標(biāo)是否發(fā)生遮擋.為了將響應(yīng)圖的分布情況轉(zhuǎn)化為一個(gè)量化指標(biāo)，本文參考文獻(xiàn)[13]，引入峰值旁瓣比（Peak to Sidelobe Ratio，PSR）對(duì)響應(yīng)圖的分布情況進(jìn)行統(tǒng)計(jì)，并將PSR作為模型更新的一個(gè)置信度指標(biāo)，PSR的計(jì)算方法如下：

PSRt? ? ? ? ? ?（11）

式中： p為響應(yīng)圖最大值（峰值），峰值周圍的區(qū)域定義為旁瓣區(qū)域;μ和σ分別為旁瓣區(qū)域所有響應(yīng)值的均值和標(biāo)準(zhǔn)差.實(shí)驗(yàn)中旁瓣區(qū)域定義為峰值周圍 11×11的區(qū)域.PSR越大，表明跟蹤質(zhì)量越好.為了使模型更新策略更可靠，本文將響應(yīng)圖輸出的最大值 Fmax作為另一個(gè)置信度指標(biāo)，只有當(dāng)這兩個(gè)指標(biāo)均大于其歷史均值A(chǔ)PSR 和AFmax的一定比例β1和β2，如式（12）所示，才認(rèn)為是高置信度，并以式（6）對(duì)濾波器參數(shù)和目標(biāo)模板進(jìn)行更新，具體過程見圖5及其分析結(jié)果.

由圖5分析可知，Coke序列的第254幀和260幀分別發(fā)生目標(biāo)部分遮擋和完全遮擋，此時(shí)響應(yīng)圖的PSR和最大響應(yīng)值均小于其歷史均值的β1和β2 倍，因此不對(duì)模型進(jìn)行更新，避免將錯(cuò)誤的目標(biāo)表征信息引入到模型中;第275幀中，當(dāng)目標(biāo)不被遮擋，由于模型沒有被污染，則又能重新正確跟蹤目標(biāo)，此時(shí)其響應(yīng)圖的PSR和最大響應(yīng)值均大于其歷史均值的β1和β2倍，可以對(duì)模型進(jìn)行更新.

2.4 ??方法整體流程

綜合上述，MCFC方法的整體流程圖如圖6所示，方法的主要跟蹤步驟如下.

輸入：第t幀圖像It;第t-1幀圖像的目標(biāo)位置pt-1和尺度大小st-1，CN和HOG特征位置跟蹤濾波器參數(shù) αcn ?t-1，αlog ?t-1和目標(biāo)模板xcn ?t-1，xlog ?t-1，尺度評(píng)估濾波器參數(shù)At-1，Bt-1;

輸出： 第t幀圖像目標(biāo)位置pt和目標(biāo)尺度st，CN和HOG特征位置跟蹤濾波器參數(shù)αcn ?t ??，αlog ?t ???和目標(biāo)模板 xcn ?t ???，xlog ?t ???，尺度評(píng)估濾波器參數(shù)At，Bt.

目標(biāo)定位：

Step 1. 以第t-1幀的目標(biāo)位置pt-1和尺度st-1為基礎(chǔ)，在圖像It中提取CN和HOG特征檢測(cè)樣本

zcn ?t ???，zlog ?t ???;

Step 2. 利用zcn ?t ???和zlog ?t ???通過式（4）分別計(jì)算CN和HOG特征位置跟蹤濾波器的輸出響應(yīng)ycn ?t ???，ylog ?t ???，并根據(jù)式（7）將ycn ?t ???和ylog ?t ???融合為yt;

Step 3. 確定yt中最大值位置即為目標(biāo)位置pt.

尺度評(píng)估：

Step 4. 以第t幀目標(biāo)位置pt和第t-1幀目標(biāo)尺度 st-1為基礎(chǔ)，在圖像It中分別提取CN和HOG特征，并將兩者拼接為CN-HOG特征檢測(cè)樣本zs，t;

Step 5. 利用zs，t通過式（8）計(jì)算尺度評(píng)估濾波器的輸出響應(yīng)ys，t;

Step 6. 確定ys，t中最大值對(duì)應(yīng)的尺度即為目標(biāo)尺度st.

模型更新：

Step 7.以第t幀目標(biāo)位置pt和尺度st為基礎(chǔ)，在圖像It中分別提取CN和HOG特征位置跟蹤濾波器的訓(xùn)練樣本xcn ?t ???，xlog ?t ???，尺度評(píng)估濾波器的訓(xùn)練樣本ft;

Step 8. 根據(jù)式（10），利用xcn ?t ???和zcn ?t ???，xlog ?t ???和zlog ?t ???通過式（5）分別將CN和HOG特征位置濾波器參數(shù)更新為αcn ?t ???和αlog ?t ???，目標(biāo)模板更新為xcn ?t ???和xlog ?t ???;

Step 9. 根據(jù)式（10），利用ft通過式（9）將尺度評(píng)估濾波器參數(shù)更新為At，Bt.

3 ??實(shí) ??驗(yàn)

本文的仿真實(shí)驗(yàn)均在CPU為Intel Corei5-6400、主頻為2.70 GHz、8 GB內(nèi)存的計(jì)算機(jī)環(huán)境下通過MATLAB2016a軟件平臺(tái)進(jìn)行實(shí)現(xiàn).算法的參數(shù)設(shè)置具體如下：目標(biāo)特征提取區(qū)域的大小設(shè)置為目標(biāo)大小的2.5倍;相關(guān)濾波器的正則化參數(shù)λcnp ?=10-2，λhogp ????= 10-4，λs = 10-2;高斯核寬σcnp ??= 0.2，σhogp ????= 0.5;學(xué)習(xí)速率ηcnp ??= 0.075，ηhogp ????= 0.02，ηs = 0.02;尺度步長(zhǎng)a = 1.02和尺度采樣個(gè)數(shù)S = 33.通過大量的實(shí)驗(yàn)對(duì)比分析，當(dāng)響應(yīng)圖融合判斷閾值T cnl ??= 0.3，T cnu ??=0.75，T hogl ????= 0.25，T hogu ????= 0.65，模型自適應(yīng)更新比例系數(shù)β1 = 0.3，β2 = 0.45時(shí)，算法能得到最好的跟蹤性能.在實(shí)驗(yàn)過程中，所有的參數(shù)設(shè)置固定不變.

為了充分驗(yàn)證本文MCFC跟蹤方法的跟蹤魯棒性和準(zhǔn)確性，我們將使用OTB2013[19]測(cè)試數(shù)據(jù)集50個(gè)視頻序列，其中包括具有尺度變化的28組視頻和目標(biāo)遮擋的27組視頻等，并與當(dāng)前主流的相關(guān)濾波跟蹤算法進(jìn)行對(duì)比.選取的算法有：CSK[4]、KCF[6]、CN[5]、Staple[9]、SAMF[8]、DSST[7].其中，使用單特征的有：CSK（灰度特征）、KCF（HOG特征）、CN（CN特征）、DSST（HOG特征）;使用特征融合的有：Staple（顏色統(tǒng)計(jì)特征+HOG特征）、SAMF（CN特征+HOG特征）;考慮目標(biāo)尺度評(píng)估的有：Staple、SAMF、DSST.接下來，我們將根據(jù)實(shí)驗(yàn)結(jié)果從定性和定量?jī)蓚€(gè)方面分析7種跟蹤算法的性能.

3.1 ??定性分析

圖7展示的是實(shí)驗(yàn)中7種跟蹤算法的部分跟蹤結(jié)果.根據(jù)視頻序列中不同的跟蹤環(huán)境條件，我們將從以下6個(gè)方面對(duì)算法的性能進(jìn)行定性分析：

1）光照變化：以“Shaking”和“Human7”為例.由圖7（a）和（b）分析可知，當(dāng)運(yùn)動(dòng)目標(biāo)所處環(huán)境發(fā)生劇烈的光照變化時(shí)，大部分的跟蹤算法都發(fā)生了跟蹤漂移，而MCFC方法卻始終能夠穩(wěn)定地跟蹤目標(biāo)，表明該算法對(duì)光照變化具有較好的魯棒性.

2）尺度變化：以“Skating1”和“Board”為例.由圖7（c）和（d）可知，在跟蹤過程中，當(dāng)運(yùn)動(dòng)目標(biāo)的尺度發(fā)生變化時(shí)，大部分的跟蹤算法都能成功定位目標(biāo)，并且SAMF、DSST、Staple和MCFC算法都能實(shí)現(xiàn)目標(biāo)尺度的自適應(yīng)變化，但本文的MCFC算法的尺度評(píng)估方法更加準(zhǔn)確.

3）目標(biāo)旋轉(zhuǎn)：目標(biāo)旋轉(zhuǎn)包括平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn).平面內(nèi)旋轉(zhuǎn)以“BlurOwl”和“Shaking”為例，在圖7（a）和（e）中，目標(biāo)發(fā)生了平面內(nèi)旋轉(zhuǎn)，此時(shí)要求算法采用的特征具有高度的旋轉(zhuǎn)不變性，而本文采用的CN特征具有旋轉(zhuǎn)不變性，所以能夠很好適應(yīng)這種情況;平面外旋轉(zhuǎn)以“Board”和“Football”為例，在圖7（d）和（f）中，目標(biāo)發(fā)生平面外旋轉(zhuǎn)，此前建立的目標(biāo)模型會(huì)失效，而本文加入了模型自適應(yīng)更新策略，當(dāng)目標(biāo)恢復(fù)之前狀態(tài)，僅有本文MCFC算法成功定位目標(biāo).

4）背景復(fù)雜：以“Couple”和“Football”為例.在背景復(fù)雜的跟蹤環(huán)境下，如圖7（f）和（h）所示，要求跟蹤算法具有較高的準(zhǔn)確性，而在這兩個(gè)視頻序列的整個(gè)跟蹤過程中，只有MCFC算法能準(zhǔn)確跟蹤目標(biāo).

5）目標(biāo)遮擋：以“Girl2”和“Box”為例.在圖7（i）和（j）中，目標(biāo)分別發(fā)生了部分遮擋和完全遮擋，由于本文的MCFC算法引入了模型自適應(yīng)更新策略，有效減少了將錯(cuò)誤的目標(biāo)信息更新到目標(biāo)模型中，對(duì)目標(biāo)遮擋情況具有較高的魯棒性，因此始終能準(zhǔn)確跟蹤目標(biāo).

6）運(yùn)動(dòng)模糊：以“BlurOwl”和“BlurBody”為例.由圖7（e）和（h）可知，當(dāng)目標(biāo)發(fā)生運(yùn)動(dòng)模糊時(shí)，由于本文有效的響應(yīng)圖信息融合判斷機(jī)制，在兩個(gè)視頻序列的整個(gè)跟蹤過程中，只有本文的MCFC算法能一直正確跟蹤目標(biāo).

3.2 ??定量分析

本文將采用以下幾個(gè)評(píng)價(jià)指標(biāo)[19]對(duì)跟蹤算法進(jìn)行定量分析.

1）中心位置誤差（center location error，CLE）：跟蹤算法檢測(cè)的目標(biāo)中心位置與標(biāo)定的目標(biāo)中心位置之間的平均歐式距離;

2）距離精度（distance precision，DP）：視頻中CLE小于某一設(shè)定距離閾值的幀數(shù)與總幀數(shù)的百分比;

3）重疊精度（overlap precision，OP）：跟蹤算法預(yù)測(cè)的目標(biāo)框與標(biāo)定的目標(biāo)框之間的重疊面積與總面積的比值超過某一設(shè)定重疊閾值的視頻幀數(shù)與總幀數(shù)的百分比;

4）精度曲線：橫軸為給定的距離閾值，縱軸為對(duì)應(yīng)的DP，通常取閾值為20個(gè)像素時(shí)精度曲線值（P20）為典型值;

5）成功率曲線：橫軸為給定的重疊閾值，縱軸為對(duì)應(yīng)的OP，將曲線下方的面積（AUC）作為該曲線的典型值.

本文共設(shè)置了三組實(shí)驗(yàn)，第一組是7種算法的單個(gè)視頻跟蹤性能的定量分析;第二組是7種算法的綜合性能的定量分析;第三組是對(duì)比7種算法的平均跟蹤速度.

實(shí)驗(yàn)1：?jiǎn)蝹€(gè)視頻跟蹤性能的定量分析

針對(duì)上述的10組視頻序列，采用CLE、DP和OP三個(gè)評(píng)價(jià)指標(biāo)對(duì)7種算法的跟蹤性能進(jìn)行對(duì)比分析.表1為7種跟蹤算法在10組視頻中的CLE、DP和OP結(jié)果.表中有下劃線的數(shù)據(jù)表示最優(yōu)結(jié)果，有點(diǎn)式下劃線的數(shù)據(jù)為次優(yōu)結(jié)果（下文采取同樣表述方式）.取每種算法在10組視頻中的平均CLE、DP（距離閾值為20像素）和OP（重疊閾值為0.5）的平均值作為判斷依據(jù)，在這三個(gè)評(píng)價(jià)指標(biāo)中，MCFC算法均取得最優(yōu)結(jié)果，表明本文算法能夠很好地適應(yīng)不同的跟蹤環(huán)境，具有較好的跟蹤性能.

實(shí)驗(yàn)2：算法綜合跟蹤性能的定量分析

為了綜合評(píng)比7種算法的跟蹤性能，選用OTB2013的50組視頻序列進(jìn)行測(cè)試分析，采用精度曲線和成功率曲線兩個(gè)評(píng)價(jià)指標(biāo)來進(jìn)行綜合跟蹤性能的定量分析.

圖8為7種算法在50組視頻中的整體精度曲線和成功率曲線.由圖8分析可知，采用多特征的MCFC、Staple和SAMF算法的精度和成功率明顯高于采用單特征的KCF、DSST、CN和CSK算法.這表明對(duì)目標(biāo)使用多特征描述能夠增強(qiáng)跟蹤算法的判別能力，提高跟蹤性能.在MCFC、Staple和SAMF三種算法中，MCFC的精度（P20）和成功率（AUC）均是最高的，比第二名的Staple分別提高7.5%和4.4%，證明本文MCFC算法的有效性.

為了進(jìn)一步對(duì)比7種算法在不同的跟蹤環(huán)境條件下的跟蹤性能，在50組視頻中分別求取每種算法在11種跟蹤環(huán)境條件[19]下的DP和OP，結(jié)果如表2和表3所示.11種跟蹤環(huán)境包括：光照變化（Illumination Variation，IV）、平面外旋轉(zhuǎn)（Out-of-Plane Rotation，OPR）、尺度變化（Scale Variation，SV）、遮擋（Occlusion，OCC）、變形（Deformation，DEF）、運(yùn)動(dòng)模糊（Motion Blur，MB）、快速運(yùn)動(dòng)（Fast Motion，F(xiàn)M）、平面內(nèi)旋轉(zhuǎn)（In-Plane Rotation，IPR）、不在視野內(nèi)（Out-of-View，OV）、背景復(fù)雜（Background Clutters，BC）、低分辨率（Low Resolution，LR）.

由表2數(shù)據(jù)可知，MCFC算法的距離精度除了在LR跟蹤環(huán)境下的結(jié)果為次優(yōu)，其余的均為最優(yōu)結(jié)果，如SV、OCC等;由表3數(shù)據(jù)可知，MCFC算法的重疊精度在大部分跟蹤環(huán)境下均為最優(yōu)結(jié)果，如SV、OCC等，其余也為次優(yōu)結(jié)果.綜合表3和表4的數(shù)據(jù)，結(jié)果表明了MCFC跟蹤方法在目標(biāo)遮擋、目標(biāo)變形等跟蹤環(huán)境下具有較高的魯棒性和準(zhǔn)確性，充分驗(yàn)證了本文所提的響應(yīng)圖信息融合判斷機(jī)制、尺度評(píng)估方法以及模型自適應(yīng)更新策略的有效性.

實(shí)驗(yàn)3：7種算法的平均跟蹤速度對(duì)比

為了驗(yàn)證本文MCFC方法的實(shí)時(shí)性，分別求取7種算法在50組視頻中的平均跟蹤速度，結(jié)果如表4所示.MCFC算法在取得最好跟蹤精度和成功率的同時(shí)，其平均跟蹤速度值為15.6幀/s，仍具有較快的跟蹤速度.

4 ??結(jié) ??論

本文提出了一種多相關(guān)濾波器組合的目標(biāo)跟蹤方法，位置跟蹤相關(guān)濾波器用于目標(biāo)的準(zhǔn)確定位，尺度評(píng)估相關(guān)濾波器用于目標(biāo)的尺度估計(jì).主要改進(jìn)的地方有3處：提出一種以歷史響應(yīng)峰值的均值為基礎(chǔ)的響應(yīng)圖信息融合判斷機(jī)制，提高了目標(biāo)跟蹤算法的定位精度;將CN和HOG拼接作為尺度評(píng)估濾波器的使用特征，提高了跟蹤算法尺度估計(jì)的準(zhǔn)確性;結(jié)合歷史響應(yīng)峰值的均值和PSR的模型自適應(yīng)更新策略，有效解決目標(biāo)遮擋、目標(biāo)平面外旋轉(zhuǎn)等問題，提高了跟蹤算法的魯棒性.

由于本文MCFC算法在目標(biāo)定位和尺度評(píng)估上均使用了CN和HOG特征，造成了跟蹤速度下降，但在獲得更高跟蹤性能的同時(shí)，仍具有較快的跟蹤速度.將來可以通過特征降維等手段減少算法的計(jì)算量，在保證跟蹤性能的基礎(chǔ)上提高跟蹤速度.同時(shí)可以結(jié)合深度學(xué)習(xí)方法來融合多分辨率的特征圖，以此提高本文MCFC算法的跟蹤性能.

參考文獻(xiàn)

[1] ???高文，朱明，賀柏根，等. 目標(biāo)跟蹤技術(shù)綜述[J]. 中國(guó)光學(xué)，2014，7（3）：365—375.

GAO W，ZHU M， HE B G，et al. Overview of target tracking technology [J]. Chinese Optics，2014，7（3）：365—375.（In Chinese）

[2] ???LI X，HU W，SHEN C，et al. A survey of appearance models in visual object tracking[J]. ACM Transactions on Intelligent Systems & Technology，2013，4（4）：1—58.

[3] ???SMEULDERS A W M，CHU D M，CUCCHIARA R，et al. Visual tracking： An experimental survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2013，36（7）：1442—1468.

[4] ???RUI C，MARTINS P，BATISTA J. Exploiting the circulant structure of tracking-by-detection with kernels[C]//European Conference on Computer Vision. Springer-Verlag，2012：702—715.

[5] ???DANELLJAN M，KHAN F S，F(xiàn)ELSBERG M，et al. Adaptive color attributes for real-time visual tracking[C] //IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2014： 1090—1097.

[6] ???HENRIQUES J F，CASEIRO R，MARTINS P，et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，37（3）：583—596.

[7] ???DANELLJAN M，HAGER G，KHAN F S. Accurate scale estimation for robust visual tracking[C]//British Machine Vision Conference. 2014：65.1—65.11.

[8] ???LI Y，ZHU J K. A scale adaptive kernel correlation filter tracker with feature integration[C]//European Conference on Computer Vision. Springer，Cham，2014：254—265.

[9] ???BERTINETTO L，VALMADRE J，GOLODETZ S，et al. Staple： complementary learners for real-time tracking[C] //Computer Vision and Pattern Recognition. IEEE，2016：1401—1409.

[10] ?王，王春平，李軍，等. 特征融合和模型自適應(yīng)更新相結(jié)合的相關(guān)濾波目標(biāo)跟蹤[J]. 光學(xué)精密工程，2016，24（8）：2059-2066.

WANG W，WANG C P，LI J，et al. Correlation filter tracking based on feature fusing and model adaptive updating[J]. Optics and Precision Engineering，2016，24（8）：2059—2066.（In Chinese）

[11] ?楊源，庫(kù)濤，查宇飛，等. 快速多特征金字塔的尺度目標(biāo)跟蹤方法[J]. 西安交通大學(xué)學(xué)報(bào)，2016，50（10）：49-56.

YANG Y，KU T，ZHA Y F，et al. Fast multi-feature pyramids for scale-adaptive object tracking[J]. Journal of Xi′an Jiaotong University，2016，50（10）：49—56.（In Chinese）

[12] ?熊昌鎮(zhèn)，趙璐璐，郭芬紅. 自適應(yīng)特征融合的核相關(guān)濾波跟蹤算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（6）：1068—1074.

XIONG C Z，ZHAO L L，GUO F H. Kernelized correlation filters tracking based on adaptive feature fusion[J]. Journal of Computer-Aided Design & Computer Graphics，2017，29（6）：1068—1074.（In Chinese）

[13] ?BOLME D S，BEVERIDGE J R，DRAPER B A，et al. Visual object tracking using adaptive correlation filters[C] //Computer Vision and Pattern Recognition. IEEE，2010： 2544—2550.

[14] ?CORTIS C，VAPNIK V. Support-vector networks[J]. Machine Learning，1995，20（3）：273—297.

[15] ?WEIJER J V D，KHAN F S. An overview of color name applications in Computer Vision[C]//Computational Color Imaging. Springer International Publishing，2015：16—22.

[16] ?DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C] // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE，2005： 886—893.

[17] ?沈秋，嚴(yán)小樂，劉霖楓，等. 基于自適應(yīng)特征選擇的多尺度相關(guān)濾波跟蹤[J]. 光學(xué)學(xué)報(bào)，2017，37（5）：166—175.

SHEN Q，YAN X L，LIU L F，et al. Multi-scale correlation filtering tracker based on adaptive feature selection[J]. Acta Optica Sinica，2017，37（5）：166—175.（In Chinese）

[18] ?馬曉楠，劉曉利，李銀伢. 自適應(yīng)尺度的快速相關(guān)濾波跟蹤算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（3）：450—458.

MA X N，LIU X L，LI Y Y. Fast scale-adaptive correlation tracking[J]. Journal of Computer-Aided Design & Computer Graphics，2017，29（3）：450—458.（In Chinese）

[19] ?WU Y，LIM J，YANG M. Online object tracking： a benchmark[C]//IEEE Conference on Computer Vision and PatternRecognition.

2013：2411—2418.