融合檢測機制的魯棒相關濾波視覺跟蹤算法

侯志強，王 帥，余旺盛，李宥謀，馬素剛

(1. 西安郵電大學 計算機學院，陜西 西安 710121；2.西安郵電大學 陜西省網(wǎng)絡數(shù)據(jù)分析與智能處理重點實驗室，陜西 西安 710121；3. 空軍工程大學 信息與導航學院，陜西 西安 710077)

引言

在計算機視覺領域中，目標跟蹤一直是研究的難點與熱點[1-3]，目前其已廣泛應用于視頻監(jiān)控、成像制導、智能交通等領域。近年來，隨著計算機軟硬件性能的提升以及目標跟蹤算法研究的不斷深入，視覺跟蹤的效果得到了顯著提高。但在現(xiàn)實中，目標往往面臨形變、光照、尺度變化以及目標遮擋等問題[1]。因此，實現(xiàn)高精度的跟蹤仍然是一項具有挑戰(zhàn)性的任務。

目前，視覺跟蹤算法可以分為生成式模型[2-3](generative model)和判別式模型[4](discriminative model)兩大類。生成式模型跟蹤算法通過對初始幀內(nèi)所選目標區(qū)域建立模型，并在下一幀中找到與所建立模型最相似的區(qū)域位置作為跟蹤結果，代表性算法有meanshift[5]、粒子濾波[6]以及L1跟蹤[7]等算法；判別式模型跟蹤算法把目標的跟蹤問題轉化為分類問題，將目標區(qū)域劃分為正樣本，背景區(qū)域劃分為負樣本，訓練分類器，使分類器可將目標從圖像背景中分離出來，從而獲得目標的位置，代表算法有支持向量機(support vector machine, SVM)[8]、MOSSE(minimum output sum of squared error)[9]以及MIL( multi-instance learning)[10]跟蹤等算法。近年來，基于相關濾波(correlation filter，CF)的跟蹤方法因其優(yōu)異的性能成為研究的熱點。Blome等在文獻[9]中首次將相關濾波的方法用到視覺跟蹤領域，提出了MOSSE算法，該算法在灰度圖像上學習到一個相關濾波器使其平方誤差和最小，跟蹤速度可達600 fps。Henriques等[11]提出CSK(circulant structure kernel)跟蹤算法，通過對原始圖像進行循環(huán)移位操作得到大量樣本，利用循環(huán)結構的性質(zhì)以及傅里葉變換在頻域內(nèi)的快速計算，從而訓練出更加穩(wěn)定和精確的濾波器。Danelljan等[12]提出了CN(color-name)算法，在CSK跟蹤基礎上引入顏色屬性特征，提高了算法在彩色圖像序列跟蹤上的魯棒性。Ma[13]提出長時相關濾波跟蹤算法(LCT)，通過引入SVM分類器，當跟蹤可能出現(xiàn)丟失時，提出對目標重新檢測。循環(huán)采樣的相關濾波器在視覺跟蹤中是很高效的，但會受到邊界效應的影響。為了有效解決這一問題，Danelljan[14]提出空間正則化DCF(spatially regularized discriminative correlation filter ,SRDCF)，通過對核濾波器增加空間懲罰項，有效抑制了邊界效應，提高了跟蹤性能，但為了解決在線更新問題，該算法在多幅圖像上建立模型，提高了算法復雜度，影響了跟蹤實時性。Wang Dong等[15]將多濾波器融合應用于紅外的小目標檢測，該算法在不同場景下均有較高檢測精度。Chao Ma等[16]提出一種基于檢測的跟蹤算法LCT+，該算法使用了三個濾波器，分別用于平移檢測、尺度估計和再檢測。當跟蹤結果低于閾值使用支持向量機進行再檢測，提高了跟蹤性能。為解決跟蹤過程中目標被遮擋導致丟失的問題，Li Chao[17]等提出了一種記憶跟蹤狀態(tài)，在目標丟失后進入記憶跟蹤狀態(tài)，提高了跟蹤算法的魯棒性。Feng Li[18]等提出時空正則化濾波器(spatial-temporal regularized correlation filter,STRCF)，通過將時間正則項引入到單樣本SRDCF中，使STRCF在抑制邊界效應的同時，避免了效率的損失，提升了跟蹤速度。但STRCF算法在跟蹤過程中使用較大搜索窗口在當前幀進行目標響應計算，由于搜索窗口增大，導致更多的背景加入響應計算中，造成背景干擾問題。

針對STRCF算法的上述不足，本文基于STRCF算法提出一種“檢測-跟蹤-檢測”的雙濾波器跟蹤算法，首先訓練時空正則化濾波器(STRCF)和線性核相關濾波器(DCF)[19]兩個濾波器，將STRCF作為跟蹤器用于跟蹤過程中，每當新來一幀圖像時，通過跟蹤器獲取響應圖，由于目標候選區(qū)域存在背景干擾等問題，響應圖有可能出現(xiàn)多個峰值。當響應圖出現(xiàn)多個峰值時，本文提出將線性核濾波器作為檢測器，對響應圖進行檢測，當檢測到的響應值大于原響應值時，檢測響應值是可以被信賴的；跟蹤器將會使用檢測到的目標響應值，精確目標位置，提高了算法的精度。同時加入平均峰值相關能量[20]判斷目標是否被遮擋，提供選擇性的模板更新，防止模板被污染，提高算法的魯棒性。為驗證所提算法的有效性，本文利用OTB2015[21]、Temple color 128[22]和VOT2016 數(shù)據(jù)集作為測試數(shù)據(jù)，分別與不同的主流跟蹤算法進行了對比實驗。

1 STRCF跟蹤模型

在相關濾波跟蹤算法中，首先利用循環(huán)矩陣獲得大量樣本訓練濾波器，但通過循環(huán)矩陣會將邊界效應引入到樣本中，這樣會降低濾波器的判別能力。所以SRDCF[ 14]在核相關濾波器的基礎上通過增加空間懲罰項抑制邊界效應，但其為了解決在線更新問題，在跟蹤過程中不得不使用過去的多幀樣本，增加了計算消耗。為了減少計算消耗，STRCF[18]在SRDCF的基礎上添加了時間正則項，跟蹤過程中只使用上一幀的信息，使STRCF的目標函數(shù)是凸的，所求解的子問題都有閉式解，故STRCF在大多數(shù)跟蹤序列上可以在較少的迭代次數(shù)內(nèi)收斂，在提高算法精度的同時，保證了速度。

STRCF的目標函數(shù)[18]為

(1)

為求解(1)式，首先引入一個輔助變量g(f=g)和步長γ，則(1)式的增廣拉格朗日形式可表述為

(2)

其中s、μ為拉格朗日系數(shù)以及正則化系數(shù)。

(3)

通過對(3)式部分的子問題分開求解，得到濾波器Pt。

STRCF在兩個方面做了在線被動攻擊算法(PA)[25]的延伸：1) STRCF不是分類器，而是線性回歸的在線學習；2) STRCF中的樣本在每一輪都是批處理級別(即圖像的所有移位樣本)。因此STRCF在積極模型學習和被動模型學習之間自適應平衡，使出現(xiàn)較大外觀變化下，模型依然具有很強的魯棒性。STRCF是多訓練圖像上SRDCF形式的合理近似，也可用于同時進行DCF學習和模型更新。

(4)

2 本文算法

針對STRCF在視覺跟蹤中所存在的相似背景干擾、快速運動模糊等情況下跟蹤失敗的問題，本文基于STRCF跟蹤算法提出一種跟蹤與檢測結合的雙濾波器視覺跟蹤魯棒算法。如圖1所示，本文算法首先提取目標的HOG和顏色信息特征，訓練兩個濾波器分別進行跟蹤與檢測；然后使用STRCF算法作為跟蹤濾波器，獲取當前幀目標響應圖；最后，判斷其是否為多峰值情況，若是，使用核相關濾波器與多個峰值點即目標潛在的位置逐一進行匹配，得到響應值；若不是，則不激活檢測機制；最后響應值的最高點即為目標的最終位置。算法通過利用兩個濾波器在跟蹤過程中的融合檢測機制，提高了跟蹤的成功率和準確度。

圖1 融合多峰檢測的算法示意圖Fig.1 Schematic diagram of algorithm fused with multi-peak detection

2.1 融合多峰檢測的跟蹤器

2.1.1 基于STRCF的跟蹤響應計算

在相關濾波跟蹤過程中，首先對大小為a×b的感興趣區(qū)域(ROI)進行循環(huán)采樣，得到a×b個圖像樣本，之后提取圖像樣本的顏色特征和方向梯度直方圖(histogram of oriented gradient, HOG)特征作為訓練濾波器的樣本XT，其中XT為一個循環(huán)矩陣。根據(jù)(2)式以及上一節(jié)對(3)式的求解，可以訓練出濾波器PT。

本文以訓練出的濾波器Pt做跟蹤器，在第t幀圖像中，基于上一幀目標中心位置post-1和目標大小以及背景區(qū)域填充Padding，可以得出ROI的中心位置post和搜索區(qū)域的大小，之后得到圖像塊S，對圖像塊S進行HOG特征和顏色屬性特征的提取，得到特征xt，通過(6)式以及循環(huán)采樣，得到整張響應圖Response map。如圖2所示。

Ft=f(xt;pt)

(6)

其中：t為幀數(shù)；pt為訓練好的濾波器參數(shù)。

圖2 響應圖獲取過程Fig.2 Response graph acquisition process

2.1.2 融合多峰提取和核相關濾波的檢測機制

文獻[16]提出了再檢測機制，當跟蹤置信度小于該文提出的閾值時激活檢測模塊，然而該方法使其檢測性能過于依賴閾值的選取，因此本文使用融合多峰提取和核相關濾波的檢測機制。

對于現(xiàn)有的a×b個訓練樣本，可以通過最小正則化風險訓練一個分類濾波器作為檢測器。一個線性的分類濾波器通?？梢员硎緸?/p>

f(x)=δTx+ψ

(5)

其中：δ=(δ1,δ2,…,δn)T表示分類器參數(shù)；ψ表示預測值和真實值的偏差，通常服從標準正態(tài)分布ψ～N(0,σ2)。因此，本文使用樣本XT進行檢測濾波器的訓練，最終獲得檢測濾波器δT。

在第t幀的跟蹤過程中，本文利用跟蹤濾波器PT與當前幀圖像特征進行相關計算，得到響應圖。但由于背景干擾、目標運動模糊等因素，響應圖可能出現(xiàn)多個峰值，而最高峰值有可能不是目標的真實位置[17]。如圖3所示：圖3(a)、(c)表示當前幀圖像，當前幀圖像中的綠色框為跟蹤結果，黃色框為目標的真實位置；圖3(b)、(d)表示當前幀通過STRCF相關計算得到的響應圖，響應圖為多個峰值的情況。圖3中綠色虛線表示跟蹤結果與響應圖最高峰對應，紅色虛線表示真實目標位置在響應圖中對應位置，由此可見多峰響應中很可能出現(xiàn)最高點不是目標的情況(彩圖見電子版)。

圖3 多峰情況的響應圖與原圖像關系Fig.3 Relationship between response diagram of multi-peak case and original image

針對上述多峰問題，本文提出在得到響應圖后引入一種檢測機制，當響應圖出現(xiàn)多個峰值的情況時，使用線性核相關濾波器(DCF)與多個峰值逐一計算響應，進一步確定目標真實位置。首先對響應圖矩陣進行遍歷搜索并結合(7)式提取多個峰值點。設置閾值υ，當峰值fmn大于fmax·υ時，保留其峰值。當峰值fmn小于fmax·υ時，其響應值置為0，保留下來的幾個峰值才具有研究意義，即這些峰值中可能存在目標真實位置。

(7)

其中(m,n)為響應圖fT中的元素位置。

對于保留下來的多個峰值點fmn，使用訓練好的檢測濾波器δT對這些位置進行檢測，取得各個峰值點對應的響應值，最終取其中最大值為檢測響應值。當檢測響應值大于原響應值時，經(jīng)過檢測所得響應點為可信賴響應，否則使用原響應點。最終，通過響應點的值計算得到目標位置。

2.2 模型更新策略

相關濾波算法中，模型更新策略的選擇對算法跟蹤性能影響很大。在實際跟蹤過程中，存在長時間誤差積累及目標形狀、顏色變化等因素，難免會出現(xiàn)跟蹤失敗問題。當出現(xiàn)跟蹤失敗情況時，使用失敗的跟蹤結果更新模板，更加容易出現(xiàn)跟蹤漂移問題。

針對上述模型更新問題，本文在保證跟蹤速度的同時引入了一種有效的模型更新策略，通過已獲得信息對跟蹤是否出現(xiàn)錯誤做判斷。計算平均峰值相關能量(APCE)，該指標可反映出響應圖峰值水平和響應波動程度，該指標按(8)式[20]計算：

(8)

其中：fmin、fmax分別代表響應圖的最小值、最大值；F為當前響應圖。APCE可以表示響應圖峰值水平和響應波動程度。當峰值起伏越小，APCE會越大。當目標被完全遮擋或者跟蹤錯誤時，APCE值將急劇下降。

跟蹤濾波器參數(shù)保持原有的更新策略，檢測濾波器只在APCE高于閾值時進行更新，為減少目標快速運動所造成的運動模糊、噪聲干擾以及遮擋等因素影響，檢測器采用線性插值法進行更新，即在第t幀時，檢測濾波器的模型更新表示為

(9)

2.3 算法流程

綜合上述，本文算法流程如表1所示。

3 實驗結果

為充分驗證本文算法的有效性，采用MATLAB 2016a進行編程實現(xiàn)。將本文算法在Intel(R)core(TM)i5-8400 2.8 GHz處理器上進行測試。實驗參數(shù)設置如下：目標的搜索窗口為4.52倍目標大小，懲罰因子ρ=0.05，多峰提取閾值μ=0.75，檢響應值閾值λ=0.8，尺度池為S={1.03,1.02,1.01,1,0.99,0.98,0.97},高斯核帶寬σ=1，參數(shù)均經(jīng)過大量實驗得出效果較好的經(jīng)驗值。本文算法實驗參數(shù)均保持固定不變。

利用OTB-2015數(shù)據(jù)集[20]測試本文算法，其中共有100組視頻序列。為了更充分說明本文算法的有效性，本文算法與8種流行算法進行比較：STRCF(spatial-temporal regularized correlation filters)[18]、Staple(complementary learners)[26]、Siamese FC(fully-convolutional siamese networks)[27]、MEEM(multiple experts using entropy minimization)[28]、KCF(kernelized correlation filters)[16]、SAMF(scale adaptive kernel correlation Filter)[29]、MCPF(multi-task correlation filter)[30]、HCF(hierarchical convolutional features)[23]。其中STRCF、Staple、KCF、SAMF、MCPF、HCF和SiameseFC為基于深度學習的跟蹤算法；MEEM加入了模板更新策略。

3.1 OTB100實驗

3.1.1 定性分析

1) 尺度變化。尺度變化是目標跟蹤中常見問題，目標尺度的變化致使固定大小的跟蹤框無法取得完整目標，影響跟蹤結果甚至丟失目標，如圖4所示，在“Board”、“Lemming”這2組視頻中，目標均有一定程度的尺度變化，SAMF、STRCF等算法都具有尺度適應能力可以有效地跟蹤目標。針對尺度變化的目標，目標顏色屬性信息對于跟蹤過程中尺度估計具有重要作用，本文算法采用尺度估計模塊并融合顏色信息特征，故能夠適應目標的尺度變化。

2) 光照變化。光照變化常使得目標的顏色屬性信息發(fā)生變化，因此跟蹤可能出現(xiàn)丟失和誤差。如圖4所示，以“Singer”和“Matirx”為例，視頻序列里背景光照發(fā)生劇烈變化，因而要求算法對于顏色信息劇烈變化有較強的魯棒性。

3) 目標形變。目標的表觀改變會使當前幀特征信息與模板匹配的程度下降，在一定程度上增加跟蹤難度。如圖4所示，以“Diving”和“MotorRolling”為例，目標的外形發(fā)生明顯變化。本文算法跟蹤特征中包含了多個特征的融合以及多峰檢測模塊，使算法可以較好地跟蹤目標。

4) 目標快速運動?？焖龠\動常導致目標圖像模糊，跟蹤算法難以取得目標特征信息，使得跟蹤難以準確進行。如圖4所示，以“Basketball”和“Matrix”為例，當目標快速運動時，部分算法的跟蹤尺度和跟蹤準確性出現(xiàn)偏差，本文由于引入檢測機制，故而對目標位置的估計具有良好的穩(wěn)健性。

5) 目標遮擋。目標被遮擋問題讓跟蹤算法不能完全獲取目標信息甚至獲取錯誤信息污染模板，致使跟蹤漂移。如圖4所示，以“Skating”和“Lemming”為例，針對目標遮擋和跟錯目標問題，本文算法提出更新策略進行判斷，避免劣質(zhì)樣本對好模板的污染，因此本文算法對目標遮擋問題有較好的魯棒性，能準確跟蹤目標。

3.1.2 定量分析

為綜合評價本文算法對于所有測試視頻的跟蹤性能，對OTB2015的100組測試視頻進行分析。表2、表3分別列出了11種不同屬性的跟蹤序列里算法的跟蹤精度和成功率。表格第1行代表了不同屬性的縮寫，括號里為該屬性視頻序列的個數(shù)，第1列為進行測試的算法名稱，表格里的數(shù)據(jù)是不同算法在不同屬性的視頻序列下的精確度和成功率，其中同一屬性下最優(yōu)算法由加粗的形式表示，次優(yōu)算法結果由實下劃線表示。11種屬性分別為：尺度變化(SV)、離面旋轉(OPR)、平面內(nèi)旋轉(IPR)、遮擋(OCC)、目標形變(DEF)、快速運動(FM)、光照變化(IV)、背景變化(BC)、運動模糊(MB)、目標超出視野(OV)、低分辨率(LR)。

表2 不同屬性下算法的跟蹤成功率對比結果

表3 不同屬性下算法的精確度對比結果

圖5 OTB100測試視頻結果(彩圖見網(wǎng)上)Fig.5 OTB100 testing video results(colour online)

由表2和表3可知，本文算法對各種屬性視頻的跟蹤精度和成功率均為前列。另外，從圖5可以看到，本文算法對100組視頻序列整體跟蹤進度以及成功率均優(yōu)于其他算法。與原始算法STRCF相比，本文算法在精確率上有1.5%的提升，在成功率上有1.1%的提升，而且本文算法速度為14.96 fps，相較于STRCF算法的跟蹤速度16.78 fps，沒有明顯下降。由此表明，對于各種屬性的視頻序列，以及100組視頻整體而言，本文算法均有很好的跟蹤性能。

3.2 Temple color 128實驗

本文算法在Temple color 128數(shù)據(jù)集上與C-COT[24]、STRCF[15]、MCPF[30]、DeepSRDCF[14]、MEEM[28]、CF2[31]、Struck[32]和KCF[16]算法做對比實驗。如圖6所示(彩圖見網(wǎng)上)，本文算法在Temple color 128數(shù)據(jù)集上表現(xiàn)較優(yōu)，與STRCF算法相比，跟蹤平均成功率和平均精度均有提高，因此本文提出的融合檢測的算法可有效提高算法精度和成功率。

圖6 Temple color 128測試視頻結果Fig.6 Temple color 128 testing video results

3.3 VOT2016 實驗

本文算法在VOT2016數(shù)據(jù)集上與C-COT[24]、STRCF[15]、DSST[33]、DeepSRDCF[14]、SiamRPN[34]、Staple[26]、Struck[32]和KCF[16]算法做對比實驗。如圖7所示(彩圖見網(wǎng)上)，本文算法在VOT2016數(shù)據(jù)集上表現(xiàn)較優(yōu)，與STRCF算法相比，平均重疊率有提升，因此本文提出的融合檢測的算法可有效提高算法性能。

圖7 VOT2016 測試視頻的平均重疊率Fig.7 Average overlap rate of VOT2016 testing videos

4 結論

本文在STRCF算法的基礎上提出了一種融合濾波檢測的跟蹤算法。該算法使用STRCF跟蹤濾波器進行跟蹤，并在跟蹤結果處加入了檢測機制，將檢測與跟蹤相融合，提高了算法的精度。同時，為了保證跟蹤速度，基于平均峰值相關能量判斷目標跟蹤結果，選擇性的對模板進行更新，一定程度上保證了跟蹤速度。實驗結果表明，在復雜跟蹤環(huán)境下，本文算法能夠準確跟蹤目標，在運動模糊、相似背景等視頻序列上有較大的提高，同時速度沒有嚴重影響。在實驗中還發(fā)現(xiàn)，當目標出現(xiàn)嚴重形變時，本文算法容易出現(xiàn)跟蹤丟失、漂移的情況。為解決這一問題，在下一步工作中，考慮結合深度特征，以此提高跟蹤器對于目標形變的魯棒性。