特征融合和模型自適應(yīng)更新相結(jié)合的相關(guān)濾波目標(biāo)跟蹤

王　暐,王春平,李　軍,張　偉

(1. 軍械工程學(xué)院2系，河北 石家莊 050003；2. 中國(guó)人民解放軍 63813 部隊(duì)，海南 文昌 571339；3. 中國(guó)人民解放軍 66285 部隊(duì)，河北 懷來(lái) 571339)

?

特征融合和模型自適應(yīng)更新相結(jié)合的相關(guān)濾波目標(biāo)跟蹤

王暐1*,王春平1,李軍2,張偉3

(1. 軍械工程學(xué)院2系，河北 石家莊 050003；2. 中國(guó)人民解放軍 63813 部隊(duì)，海南 文昌 571339；3. 中國(guó)人民解放軍 66285 部隊(duì)，河北 懷來(lái) 571339)

提出了一種基于自適應(yīng)特征融合和自適應(yīng)模型更新的相關(guān)濾波跟蹤算法(CFT)。該算法在跟蹤的訓(xùn)練階段利用損失函數(shù)計(jì)算特征的自適應(yīng)權(quán)重，在檢測(cè)階段對(duì)不同特征的響應(yīng)圖進(jìn)行加權(quán)求和，從而實(shí)現(xiàn)了響應(yīng)圖層面的自適應(yīng)特征融合。設(shè)計(jì)了自適應(yīng)的模型更新策略，采用響應(yīng)圖的峰值旁瓣比判斷是否發(fā)生遮擋或錯(cuò)誤跟蹤，據(jù)此決定是否在當(dāng)前幀更新目標(biāo)模型。在11個(gè)視頻序列上對(duì)所提算法進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了所采用的自適應(yīng)特征融合策略和自適應(yīng)模型更新策略的有效性。與多個(gè)傳統(tǒng)的采用單特征的相關(guān)濾波跟蹤算法進(jìn)行了比較，結(jié)果顯示，所提算法的跟蹤精度和成功率典型值分別提升了18.2%和11.5%。實(shí)驗(yàn)結(jié)果驗(yàn)證了特征融合和自適應(yīng)模型更新對(duì)跟蹤算法的改進(jìn)具有指導(dǎo)意義。

視覺(jué)跟蹤；相關(guān)濾波跟蹤；特征融合；模型自適應(yīng)更新

*Correspondingauthor,E-mail:wang_wei.buaa@163.com

1　引　言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的基礎(chǔ)性研究，在精密控制、自動(dòng)駕駛、安全監(jiān)控等場(chǎng)景有著廣泛的應(yīng)用[1-2]。自上世紀(jì)80年代，跟蹤算法的研究主要經(jīng)歷了光流法[3]、基于mean shift的跟蹤[4]和基于粒子濾波的跟蹤[5]等。近十年來(lái)，許多學(xué)者采用機(jī)器學(xué)習(xí)方法設(shè)計(jì)魯棒的跟蹤算法，使視覺(jué)跟蹤的研究有了長(zhǎng)足進(jìn)步[1]，特別是最近比較熱的一類(lèi)是基于相關(guān)濾波的跟蹤算法(Correlation Filter based Tracking, CFT)，它具有精度高、速度快、魯棒性好的特點(diǎn)[6]，已成為了新的研究熱點(diǎn)。

相關(guān)研究表明，特征表達(dá)對(duì)CFT的跟蹤性能有非常重要的影響[7]。原始CFT僅利用灰度特征進(jìn)行跟蹤，Henriques等[7]對(duì)CFT特征進(jìn)行了多通道擴(kuò)展，利用角度梯度直方圖(Histogram of Oriented Gradient, HOG)[8]進(jìn)行跟蹤，使算法的跟蹤精度有了大幅提升。MARTIN等[9]采用顏色名[9]特征(Color Name, CN)，并通過(guò)奇異值分解來(lái)提升跟蹤速度，對(duì)彩色視頻序列的跟蹤取得了較大的提升。MA等[10]結(jié)合分層深度特征對(duì)CFT進(jìn)行了改進(jìn)。但是，每種特征是從不同方面對(duì)目標(biāo)進(jìn)行表達(dá)的，對(duì)各不同視頻序列的跟蹤性能差異較大。Yang等[11]將CN和HOG進(jìn)行組合后用于CFT框架，提出了MF跟蹤算法，實(shí)驗(yàn)結(jié)果表明特征融合能夠有效提高跟蹤性能。但文獻(xiàn)[11]采用串接方式將CN和HOG進(jìn)行組合，無(wú)法針對(duì)每個(gè)視頻序列進(jìn)行最優(yōu)的特征融合。此外，CFT在跟蹤時(shí)只采用線性累加的方式更新濾波器模型[6,7]，易將不正確的目標(biāo)表觀更新到濾波器模型中，從而引起漂移。

為此，本文提出一種基于特征融合和模型自適應(yīng)更新的相關(guān)濾波跟蹤算法(Feature Fusing and model Adaptive Updating based Tracking method, FAUT)。首先，利用相關(guān)濾波響應(yīng)圖評(píng)估各特征的跟蹤性能，在跟蹤過(guò)程中自適應(yīng)地對(duì)特征響應(yīng)圖進(jìn)行加權(quán)，以提升跟蹤性能。其次，設(shè)計(jì)了一種自適應(yīng)的濾波器模型更新策略，根據(jù)響應(yīng)圖的峰值旁瓣比決定是否更新跟蹤模型，提高了更新的可靠性。在若干視頻序列上的對(duì)比實(shí)驗(yàn)驗(yàn)證了所提算法的有效性。

2　FAUT

本節(jié)將對(duì)所提算法進(jìn)行詳細(xì)描述：首先簡(jiǎn)要介紹CFT的基本原理，然后對(duì)特征在響應(yīng)圖層面的自適應(yīng)融合進(jìn)行具體描述，在2.3節(jié)給出自適應(yīng)更新策略，最后對(duì)所提算法進(jìn)行總結(jié)。

2.1CFT的基本原理

視覺(jué)跟蹤的任務(wù)為：在視頻序列的第一幀由人工或檢測(cè)算法給定目標(biāo)狀態(tài)(一般為目標(biāo)的最小外接矩形，需要指定矩形中心坐標(biāo)和邊長(zhǎng))的情況下，由跟蹤算法估計(jì)目標(biāo)在后續(xù)每一幀中的狀態(tài)。

與大多數(shù)跟蹤算法相同，CFT在每一幀的跟蹤中包括兩個(gè)階段：目標(biāo)檢測(cè)和濾波器模型訓(xùn)練(更新)。第一幀時(shí)，由于目標(biāo)狀態(tài)已知，可直接根據(jù)目標(biāo)狀態(tài)訓(xùn)練濾波器模型，濾波器模型由濾波器系數(shù)α和目標(biāo)模板x構(gòu)成，目標(biāo)模板x即目標(biāo)區(qū)域的特征表達(dá)，濾波器系數(shù)α采用嶺回歸方法訓(xùn)練[6]。對(duì)于第t(t>1)幀圖像，CFT首先根據(jù)第t-1幀訓(xùn)練的濾波器模型(αt-1,xt-1)進(jìn)行相關(guān)濾波，得到濾波響應(yīng)圖，響應(yīng)圖的最大值處即對(duì)應(yīng)檢測(cè)到的目標(biāo)狀態(tài)；然后根據(jù)檢測(cè)結(jié)果訓(xùn)練濾波器(αt′,xt′)，接著采用線性插值更新濾波器，

(1)

其中，η為插值系數(shù)，實(shí)驗(yàn)中取固定值0.015。圖1(彩圖見(jiàn)期刊電子版)所示為CFT跟蹤流程，具體細(xì)節(jié)請(qǐng)參考文獻(xiàn)[6, 7]。

圖1　CFT的一般跟蹤流程圖Fig.1　Flowchart of traditional CFT

圖2　CN和HOG特征的特點(diǎn)示意圖Fig.2　Characteristics sketch of CN, HOG features

2.2自適應(yīng)特征融合

圖2(彩圖見(jiàn)期刊電子版)為當(dāng)存在復(fù)雜背景+劇烈光照變化或目標(biāo)存在連續(xù)姿態(tài)變化時(shí)，單獨(dú)使用CN和HOG特征的結(jié)果。雖然CN和HOG特征都能有效提升CFT的跟蹤性能[7,9]。但是，如圖2上所示，當(dāng)背景光照發(fā)生劇烈變化時(shí)，單獨(dú)采用CN的CFT均不能有效地從背景中判別出目標(biāo)；而如圖2下所示，當(dāng)目標(biāo)發(fā)生較大形變時(shí)，單獨(dú)采用HOG的CFT跟蹤失敗，表明HOG特征無(wú)法較好地處理目標(biāo)變形、旋轉(zhuǎn)等問(wèn)題[11]。

事實(shí)上，CN和HOG的特征是互補(bǔ)的。如果在原始圖像上進(jìn)行差分操作(求梯度)，將差分操作的次數(shù)稱(chēng)為階次，則CN和HOG分別為圖像的0階和1階特征，它們可從不同方面對(duì)圖像進(jìn)行表達(dá)。顏色和梯度對(duì)應(yīng)視覺(jué)系統(tǒng)中不同層面的神經(jīng)元，它們從不同的層面對(duì)圖像進(jìn)行抽象和特征提取，顏色對(duì)目標(biāo)形狀、尺度等具有較好的不變性，而梯度對(duì)光照等具有較好的不變性[12]。單個(gè)特征的表達(dá)能力有限，制約了CFT跟蹤性能的提升，考慮到顏色和梯度特征的互補(bǔ)性，本文提出從濾波響應(yīng)圖層面進(jìn)行特征融合，并從不同的方面對(duì)目標(biāo)進(jìn)行表達(dá)，以提升跟蹤性能。同時(shí)，為了增加融合的適應(yīng)性，在對(duì)不同視頻序列進(jìn)行跟蹤時(shí)對(duì)特征進(jìn)行自適應(yīng)加權(quán)，以突出視頻幀中更具判別力的特征。

在跟蹤訓(xùn)練階段計(jì)算和更新特征權(quán)重。CFT采用嶺回歸方法訓(xùn)練濾波器，訓(xùn)練中采用如下的損失函數(shù)：

(2)

第t幀訓(xùn)練中，損失差的計(jì)算簡(jiǎn)寫(xiě)如下，

(3)

其中：sum(·)表示對(duì)矩陣內(nèi)每一項(xiàng)求和，F(xiàn)={CN,HOG}表示特征的集合。特征f對(duì)應(yīng)的歸一化的權(quán)重為：

(4)

其中：{F-f}表示F中不同于f的另一特征。

(5)

(6)

2.3自適應(yīng)更新策略

由于跟蹤過(guò)程中目標(biāo)及背景是動(dòng)態(tài)變化的，因此跟蹤算法要對(duì)目標(biāo)表觀模型進(jìn)行實(shí)時(shí)更新。傳統(tǒng)的CFT采用式(1)的線性插值方法進(jìn)行更新，能夠保留目標(biāo)在之前幀的濾波器模型，同時(shí)也可以及時(shí)將最新的表觀加入到模型中。但是當(dāng)跟蹤出現(xiàn)偏差，或者目標(biāo)被遮擋時(shí)，式(1)會(huì)將錯(cuò)誤的目標(biāo)表觀信息引入到模型中，從而使跟蹤誤差不斷累積，導(dǎo)致后續(xù)幀中引入的誤差增大，最終導(dǎo)致跟蹤失敗，即產(chǎn)生所謂的漂移。為了避免上述問(wèn)題，需要設(shè)計(jì)自適應(yīng)的模型更新策略。

為了正確更新目標(biāo)的表觀模型，大多數(shù)跟蹤算法[13]都通過(guò)對(duì)跟蹤質(zhì)量的評(píng)價(jià)實(shí)現(xiàn)，即檢測(cè)跟蹤中是否發(fā)生遮擋或較大誤差。而跟蹤質(zhì)量評(píng)價(jià)方法應(yīng)與具體的跟蹤算法相結(jié)合。對(duì)于相關(guān)濾波跟蹤，其濾波響應(yīng)圖的形狀能夠有效反映跟蹤質(zhì)量。當(dāng)目標(biāo)被遮擋或跟蹤出現(xiàn)偏差時(shí)，濾波的響應(yīng)峰值較小，當(dāng)背景復(fù)雜或存在干擾物體時(shí)，濾波響應(yīng)圖的峰值附近會(huì)產(chǎn)生偽峰值，這兩種情況均會(huì)使目標(biāo)相對(duì)于背景的響應(yīng)值不夠突出。針對(duì)響應(yīng)圖的這種性質(zhì)，參考文獻(xiàn)[14]，本文引入響應(yīng)圖的峰值旁瓣比(Peak to Sidelobe Ratio，PSR)對(duì)跟蹤結(jié)果進(jìn)行評(píng)價(jià)，PSR的計(jì)算方法如下，

(7)

其中：p為響應(yīng)圖Rt的最大值(峰值)，峰值周?chē)膮^(qū)域定義為旁瓣，μ和σ分別為旁瓣區(qū)域的均值和標(biāo)準(zhǔn)差。實(shí)驗(yàn)中，將峰值周?chē)鷆×γ的區(qū)域定義為旁瓣區(qū)域，以避免背景區(qū)域?qū)SRt值計(jì)算的干擾。PSRt越大，表明跟蹤結(jié)果越可靠。本文預(yù)定義更新閾值U，只有當(dāng)PSRt>U時(shí)，更新濾波器模型和權(quán)重，否則不更新。

2.4所提算法

綜上所述，F(xiàn)AUT算法的流程如下。

初始化:第一幀中目標(biāo)狀態(tài),更新閾值U=1.5 初始峰值旁瓣比PSR1=1.8fort=1toT(T為序列的總幀數(shù))檢測(cè) if tthen步驟1根據(jù)目標(biāo)狀態(tài),采樣圖像塊,分別采用CN和HOG特征表達(dá);步驟2(αCNt-1,xCNt-1)、(αHOGt-1,xHOGt-1)分別對(duì)CN、HOG特征表達(dá)的圖像塊進(jìn)行相關(guān)濾波,求出響應(yīng)圖RCNt+1、RHOGt+1;步驟3根據(jù)式(6)計(jì)算融合響應(yīng)圖,估計(jì)當(dāng)前幀的目標(biāo)狀態(tài);步驟4根據(jù)式(7)計(jì)算峰值旁瓣比PSRt.end訓(xùn)練/更新ifPSRt>Uthen步驟5根據(jù)檢測(cè)結(jié)果,分別訓(xùn)練CN和HOG特征的濾波器模型(αt',xt');步驟6根據(jù)式(1)更新兩個(gè)特征各自對(duì)應(yīng)的濾波器模型;步驟7由式(3)計(jì)算CN和HOG對(duì)應(yīng)的損失差;步驟8根據(jù)式(4)和式(5)計(jì)算并更新濾波器響應(yīng)層面的特征權(quán)重;else步驟9將濾波器模型和權(quán)重直接傳遞至下一幀. endend

3　實(shí)　驗(yàn)

為評(píng)估所提算法的性能，本文進(jìn)行了兩組實(shí)驗(yàn)分析：一、對(duì)所提算法進(jìn)行了詳細(xì)的分析實(shí)驗(yàn)，以驗(yàn)證特征融合和更新策略的有效性；二、與其它7種算法在11個(gè)序列上進(jìn)行了對(duì)比實(shí)驗(yàn)。

實(shí)驗(yàn)中，旁瓣區(qū)域的邊長(zhǎng)c和r為目標(biāo)邊長(zhǎng)的0.1倍，預(yù)定義更新閾值U取為1.5，HOG特征提取參數(shù)的設(shè)置與文獻(xiàn)[7]相同。

3.1FAUT算法分析

本文在視頻序列Soccer上對(duì)提出的自適應(yīng)特征融合策略和更新策略進(jìn)行了實(shí)驗(yàn)分析。

3.1.1自適應(yīng)特征融合

圖3為CN和HOG特征在每幀的自適應(yīng)權(quán)重值，可見(jiàn)在整個(gè)跟蹤過(guò)程中特征權(quán)重不斷變化。第31幀，目標(biāo)存在快速運(yùn)動(dòng)，運(yùn)動(dòng)模糊導(dǎo)致目標(biāo)結(jié)構(gòu)信息丟失，表現(xiàn)為該幀的HOG特征響應(yīng)圖在非目標(biāo)中心出現(xiàn)較大響應(yīng)，而CN特征的響應(yīng)較為集中，融合后的響應(yīng)圖能夠確定目標(biāo)中心。第210幀時(shí)，目標(biāo)存在尺度變化，使得CN特征在距離目標(biāo)中心較遠(yuǎn)處出現(xiàn)了高響應(yīng)，而HOG特征的峰值響應(yīng)則明顯降低。但由于特征權(quán)重的自適應(yīng)變化，融合后的響應(yīng)圖抑制了CN特征響應(yīng)圖中背景的高響應(yīng)，使其具有了更明顯的峰值。

3.1.2自適應(yīng)更新策略

圖4為跟蹤中每幀的峰值旁瓣比PSR。在Soccer序列第44、156幀，目標(biāo)處于候選區(qū)域中心，且較為清晰，故PSR值遠(yuǎn)大于自適應(yīng)閾值U。第54、106、112幀，目標(biāo)出現(xiàn)運(yùn)動(dòng)模糊或被嚴(yán)重遮擋，如果在這幾幀更新濾波器模型，則會(huì)導(dǎo)致漂移。而本文由于采用自適應(yīng)更新策略，上述幀的PSR值均小于閾值U，故不對(duì)濾波器模型進(jìn)行更新。該序列的目標(biāo)尺度在200幀以后逐漸變小，而所提FAUT采用的PSR能夠在這種情況下保持較大的值，如第287幀，通過(guò)不斷更新濾波器模型，實(shí)現(xiàn)了穩(wěn)定跟蹤。這也驗(yàn)證了所提自適應(yīng)更新策略的有效性。

圖4　峰值旁瓣比PSR結(jié)果(Soccer序列上)Fig.4　Results of PSR

實(shí)時(shí)性分析算法運(yùn)行平臺(tái)為配置2.6 GHz i5處理器、4 GB內(nèi)存的普通電腦，仿真環(huán)境為Matlab 2014b。對(duì)于視頻序列Soccer，本文算法、KCF和CNT每秒跟蹤的幀數(shù)分別17.5、55.2和24.1，所提算法基本能滿足實(shí)時(shí)性要求。

3.2算法對(duì)比分析

對(duì)所提FAUT算法進(jìn)行了定量的對(duì)比分析。對(duì)比算法包括4種CFT框架下的算法：原始CSK[6](采用灰度特征)、CNT[9](采用CN特征)、KCF[7](采用HOG特征)、MF[11](采用CN和HOG直接組合的特征)，以及其它3種近幾年提出的跟蹤算法：Struck[14]、CXT[15]、MIL[16]。采用的11個(gè)序列均來(lái)自于文獻(xiàn)[1]，包括：Bolt、Couple、Deer、Fish、Football、Football1、Freeman1、Matrix、MountainBike、Soccer、Tiger2。這些序列包含了光照變化、遮擋、變形、快速運(yùn)動(dòng)、旋轉(zhuǎn)、背景干擾等跟蹤中常見(jiàn)的挑戰(zhàn)性場(chǎng)景，保證了公平對(duì)比。

在分析中采用精度曲線和成功率曲線進(jìn)行定量對(duì)比。某一幀圖像中，跟蹤算法的跟蹤框與標(biāo)注的真實(shí)目標(biāo)框的中心距離稱(chēng)為距離精度，兩個(gè)框的重疊面積與總面積之比為重疊率。精度曲線的橫軸為給定的距離精度閾值，縱軸為跟蹤的距離精度大于給定閾值的圖像幀占所有圖像幀的比例。通常取閾值為20個(gè)像素時(shí)的精度曲線值(P20)為典型值。成功率曲線的橫軸為給定的重疊率閾值，當(dāng)跟蹤的重疊率大于給定閾值時(shí)認(rèn)為該幀跟蹤成功。成功率曲線的縱軸為跟蹤成功的幀占所有圖像幀的比例，將曲線下方的面積(AUC)作為該曲線的典型值。

圖5(彩圖見(jiàn)期刊電子版)為本文算法和其它7種算法在11個(gè)序列上的精度曲線和成功率曲線。由圖5可見(jiàn)，F(xiàn)AUT算法的跟蹤精度和成功率明顯高于Struck、CXT和MIL。在5種CFT框架下的跟蹤算法中，3種采用單獨(dú)特征的算法(即KCF、CNT和CSK)性能差異較大，這驗(yàn)證了特征對(duì)CFT跟蹤算法的重要性。實(shí)驗(yàn)結(jié)果還顯示，采用特征融合算法(即所提FAUT和MF)的性能明顯優(yōu)于KCF、CNT和CSK。相比于單特征中性能最優(yōu)的KCF算法，所提FAUT的P20和AUC分別提高了18.2%(0.849 vs 0.667)和11.5%(0.587 vs 0.472)，這是因?yàn)槎嗵卣魅诤夏軌驈牟煌矫鎸?duì)目標(biāo)進(jìn)行表達(dá)，從而提高了跟蹤算法的判別力，驗(yàn)證了本文特征融合策略的有效性。相比于通過(guò)串接HOG和CN特征直接進(jìn)行融合的MF算法，F(xiàn)AUT避免了錯(cuò)誤的濾波器模型更新，P20和AUC最大分別提高了9%和2.4%，驗(yàn)證了更新策略的有效性。

圖5　所提FAUT算法與其它7種算法的性能對(duì)比結(jié)果Fig.5　Tracking results of proposed FAUT method and other 7 tracking methods

圖6(彩圖見(jiàn)期刊電子版)為FAUT與其他7種算法的定性分析結(jié)果，本文主要對(duì)FAUT、CNT、KCF、MF等4種算法進(jìn)行對(duì)比分析。

Couple序列：第18幀中，背景車(chē)輛與目標(biāo)顏色相似，導(dǎo)致本文FAUT和CNT出現(xiàn)跟蹤偏差，但由于PSR小于預(yù)定義的閾值，F(xiàn)AUT未更新目標(biāo)模型，且由于FAUT采用了目標(biāo)的紋理信息(即HOG特征)進(jìn)行跟蹤，使目標(biāo)更易于從背景中區(qū)分出來(lái)，所以在第23幀中FAUT又重新捕獲了目標(biāo)。第39幀中，目標(biāo)與背景的顏色差異較大而具有類(lèi)似的紋理信息，導(dǎo)致KCF跟蹤失敗，而FAUT和MF能夠繼續(xù)跟蹤目標(biāo)。

Fish序列：該序列為灰度序列，所以僅采用顏色信息的CNT跟蹤失敗。目標(biāo)具有明顯的紋理，所以FAUT、KCF和MF均能成功跟蹤目標(biāo)。

Football1序列：該序列中目標(biāo)快速運(yùn)動(dòng)且背景變化較大，導(dǎo)致多數(shù)算法在第67幀中跟蹤失敗，只有所提FAUT能夠準(zhǔn)確跟蹤運(yùn)動(dòng)員頭部，這進(jìn)一步驗(yàn)證了特征融合和自適應(yīng)更新的有效性。

Freeman1和Football序列：在這兩個(gè)灰度序列上CNT依然最早丟失目標(biāo)，而其他3種算法則能夠?qū)崿F(xiàn)準(zhǔn)確跟蹤，且FAUT的跟蹤結(jié)果最準(zhǔn)確。

Deer序列：第25幀，由于目標(biāo)的快速運(yùn)動(dòng)出現(xiàn)了模糊，導(dǎo)致HOG特征的判別力下降，KCF丟失目標(biāo)。第29幀，MF由于錯(cuò)誤的模型更新發(fā)生漂移，而所提算法依然能準(zhǔn)確跟蹤目標(biāo)。

MountainBike序列：該序列中目標(biāo)與背景在顏色和紋理上差別均較為明顯，且不存在遮擋現(xiàn)象，所以CFT框架下的幾種算法均能準(zhǔn)確跟蹤目標(biāo)。

Tiger2序列：第227幀中，目標(biāo)被強(qiáng)光照射，顏色特征失效，MF和CNT跟蹤發(fā)生偏差，KCF和所提FAUT則能夠準(zhǔn)確跟蹤。第343幀中，由于旋轉(zhuǎn)目標(biāo)紋理發(fā)生較大變化，KCF跟蹤失敗，而其它3種采用了顏色特征的CFT算法則可穩(wěn)定跟蹤目標(biāo)。

上述定性分析進(jìn)一步表明本文所采用的自適應(yīng)特征融合和更新策略有效提升了跟蹤效果。

圖6　所提FAUT與其它7種算法的跟蹤結(jié)果展示。圖2、圖3和圖4已經(jīng)對(duì)序列Bolt、Matrix、Soccer進(jìn)行了分析，故此處不再列出。Fig.6　Screenshots of tracking results for FAUT and other 7 methods

4　結(jié)　論

本文從自適應(yīng)特征融合和自適應(yīng)模型更新兩個(gè)方面對(duì)CFT進(jìn)行了研究。首先，將CN和HOG兩種互補(bǔ)的特征在濾波響應(yīng)圖層面進(jìn)行融合，并利用訓(xùn)練過(guò)程中的損失函數(shù)自適應(yīng)地計(jì)算特征權(quán)重。其次，針對(duì)原始CFT在每一幀中無(wú)差別地更新濾波器模型，會(huì)導(dǎo)致錯(cuò)誤跟蹤或發(fā)生遮擋時(shí)濾波器模型性能惡化，利用濾波響應(yīng)圖的峰值旁瓣比對(duì)遮擋和錯(cuò)誤跟蹤進(jìn)行評(píng)估，實(shí)現(xiàn)了自適應(yīng)更新。通過(guò)對(duì)所提FAUT算法的詳細(xì)分析和與其他算法的對(duì)比實(shí)驗(yàn)，得出FAUT較其它CFT框架下的跟蹤算法性能更優(yōu)，驗(yàn)證了特征融合和自適應(yīng)模型更新對(duì)跟蹤算法的重要性，對(duì)后續(xù)跟蹤算法的研究有一定的指導(dǎo)意義。

[1]WU Y, LIM J, and YANG M H. Online object tracking: A benchmark[C].2013IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Portland,USA, 2013: 1354-1362.

[2]YILMAZ A, JAVED O, SHAH M. Object tracking: a survey[J].ACMComputingSurveys, 2006, 38(4):1-45.

[3]DECARLO D, METAXAS D. Optical flow constraints on deformable models with applications to face tracking [J].InternationalJournalofComputerVision, 2000, 38(2): 99-127.

[4]COMANICIU D, RAMESH V, MEER P. Kernel-based object tracking[J].IEEETransactiononPatternAnalysisandMachineIntelligence, 2003, 25(5):564 -577.

[5]MEI X,LING H B. Robust visual tracking and vehicle classification via sparse representation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2011, 33(11): 2259 -2272.

[6]HENRIQUES J F,CASEIRO R, MARTINS P,etal.. Exploiting the circulant structure of tracking-by-detection with kernels[C].EuropeanConferenceonComputerVision,Florence,Italy, 2012: 702-715.

[7]HENRIQUES J F,CASEIRO R,MARTINS P,etal..High-speed tracking with kernelized correlation filters[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2015, 32(9): 1627-1645.

[8]FELZENSZWALB P F,GIRSHICK R B,MCALLESTER D,etal..Object detection with discriminatively trained part-based models[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2010, 32(9): 1627-1645.

[9]MARTIN D, FAHAD S K, MICHAEL F,etal.. Adaptive color attributes for real-time visual tracking[C].IEEEConferenceonComputerVisionandPatternRecognition,Columbus,USA, 2014: 1090-1097.

[10]MA C, HUANG J B, YANG X K,etal.. Hierarchical convolutional features for visual tracking [C].InternationalConferenceonComputerVision,Santiago,Chile, 2015: 3038-3046.

[11]YANG L, ZHU J K. A scale adaptive Kernel correlation filter tracker with feature integration[C].EuropeanConferenceonComputerVision,Zurich,Switzerland, 2014: 254-265.

[12]JIANG Y S, MA J W. Combination features and models for human detection[C].IEEEConferenceonComputerVisionandPatternRecognition,Boston,USA, 2015: 240-248.

[13]WANG N Y, SHI J, YEUNG D,etal.. Understanding and diagnosing visual tracking systems[C].InternationalConferenceonComputerVision,Santiago,Chile, 2015: 3101-3109.

[14]BOMLE D S, BEVERIDGE J R, DRAPER B A,etal.. Visual object tracking using adaptive correlation filters[C].IEEEConferenceonComputerVisionandPatternRecognition,SanFrancisco,USA, 2010: 2544-2550.

[15]SAM H, AMIR S,PHILIP H. Struck: Structured output tracking with kernels[C].InternationalConferenceonComputerVision,Barcelona,Spain, 2011: 263-270.

[16]THANG B, NAM V, GERARD G M. Context tracker: Exploring supporters and distracters in unconstrained environments[C].IEEEConferenceonComputerVisionandPatternRecognition,ColoradoSprings,USA, 2011: 1177-1184.

[17]BORIS B, YANG M H, SERGE J B. Visual tracking with online multiple instance learning[C].IEEEConferenceonComputerVisionandPatternRecognition,Miami,USA, 2009: 983-990.

王暐(1989-)，男，甘肅靖遠(yuǎn)人，博士研究生，主要從事計(jì)算機(jī)視覺(jué)、嵌入式系統(tǒng)設(shè)計(jì)方面的研究。E-mail：wang_wei.buaa@163.com

王春平(1965-)，男，陜西漢中人，教授，博士生導(dǎo)師，主要從事圖像處理、火力控制理論與應(yīng)用方面的研究。E-mail：wchp17@139.com

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Correlation filter tracking based on feature fusing and model adaptive updating

WANG Wei1*,WANG Chun-ping1, LI Jun2, ZHANG Wei3

(1.The2ndDepartment,OrdnanceEngineeringCollege,Shijiazhuang050003,China; 2.The63813UnitoftheChinesePeople′sLiberationArmy,Wenchang571339,China; 3.The66285UnitoftheChinesePeople′sLiberationArmy,Huailai571339,China)

A Correlation Filter based Tracking(CFT) method based on adaptive feature fusing and model adaptive updating is proposed. The proposed method computes the adaptive feature weights by using the loss function of a filter model in training stage, and performs the weighted summing for response maps with multiple features in detection stage. Then it realizes the adaptive feature fusing of response maps. Furthermore, an adaptive model updating strategy is designed to estimate the occlusions and wrong tracking results by utilizing the Peak to Sidelobe Ratio (PSR) of the response maps. The model is updated only when the PSR is small enough. The proposed method is tested on 11 video sequences to verify the validity of the proposed adaptive feature fusing and model adaptive updating strategies. Comparing with other CFT methods by using single feature, the proposed tracker has significantly improvements, by 18.2% in representative precision score and 11.5% in representative success score. Experimental results demonstrate that the adaptive feature fusing strategy and model updating strategy are all effective for improving tracking performance.

vision tracking; correlation filter tracking; feature fusion; model adaptive updating

2016-06-06；

2016-06-24.

國(guó)家自然科學(xué)基金資助項(xiàng)目(No.61141009)

1004-924X(2016)08-2059-08

TP391

A

10.3788/OPE.20162408.2059