結合置信度評估與再檢測的目標長時跟蹤

王英先，馬社祥

(天津理工大學 集成電路科學與工程學院，天津 300384)

0 引 言

近年來，基于DCF的目標跟蹤算法[1-5]以其實時的速度而受到研究者的關注。但是，很多挑戰(zhàn)性因素對算法的性能有很大的影響，如遮擋、出視野和變形等。STRCF[6]算法以迭代的方式求解濾波器，Staple[7]算法將相關濾波響應與顏色直方圖響應加權融合，MCCT[8]算法集成多個DCF跟蹤器，可以有效解決變形和遮擋問題。但是隨著目標跟蹤時間的增長，具有短期記憶的相關濾波很容易丟失目標。長時目標跟蹤算法[9,10]可以準確檢測到跟蹤失敗，當目標再次出現(xiàn)時恢復魯棒跟蹤，但是支持向量機遍歷整個搜索區(qū)域來再檢測目標，浪費計算資源和時間。近年來，一些算法[11-13]將深度特征與相關濾波相結合，在精度和穩(wěn)定性方面取得了長足的進步，但深度特征的提取具有高度復雜性。

針對以上問題，本文提出一種結合置信度評估與再檢測的目標長時跟蹤算法。本文在Staple算法基礎上，根據(jù)濾波響應的平均峰值相關能量值[14]與顏色直方圖得分評估跟蹤結果的可靠性，并由此決定是否啟動再檢測模塊，同時自適應更新模型。再檢測模塊通過DIOU[15]約束篩選掉不可靠的候選位置，增加懲罰項計算候選框得分。最后經(jīng)過判斷選擇機制，決定是否將跟蹤結果替換為檢測結果。實驗結果表明，本文算法在目標長期被遮擋或出視野的情況下，可以保持較好的時效性和魯棒性。

1 相關濾波算法

本文將Staple作為基本跟蹤器，跟蹤任務分解為目標的平移估計與尺度估計兩部分。圖像特征塊x的大小為M×N， 將圖像特征塊的循環(huán)移位xi作為樣本去訓練分類器，通過最小化目標函數(shù)得到最優(yōu)的濾波器模型w*

(1)

式中：第一項表示訓練樣本xi與回歸目標yi之間的均方誤差，yi為高斯型標簽，wT表示濾波器系數(shù)w的轉(zhuǎn)置。第二項中的λ是正則化參數(shù)，用于防止過擬合。

對于輸入圖像塊z，利用核函數(shù)k將非線性問題轉(zhuǎn)化為線性問題

(2)

式中：φ(xi) 表示樣本xi在對偶空間的映射。在頻域中計算對偶空間系數(shù)α

(3)

(4)

式中：F-1表示傅里葉反變換，δ為高斯核函數(shù)參數(shù)。

測試圖像z與濾波器的響應圖計算公式為

(5)

式中：⊙表示兩個矩陣之間的元素相乘。

對當前濾波器模型進行插值處理，實現(xiàn)在線更新

(6)

HOG特征取決于目標的空間結構，對形變和運動模糊比較敏感，但是對顏色變化可以有效地進行跟蹤。直方圖特征對顏色比較敏感，不足以區(qū)分背景與目標，但是不考慮像素的位置，不受邊界效應影響，可以有效地處理目標形變和運動模糊的問題。通過最小化回歸函數(shù)得到最優(yōu)的直方圖權重向量β

(7)

式中：φx?Rl表示圖像塊x在有限域H?Z2中的l通道特征圖像，y為相應的標簽。脊回歸的解為

(8)

式中：pj(O) 表示第j個直方柱元素總和在目標區(qū)域O的像素比例，pj(S) 表示第j個直方柱元素總和在周圍背景區(qū)域S的像素比例，j為特征的維度數(shù)量。測試圖像z的顏色直方圖響應計算公式為

RC=βTφz(u)

(9)

對顏色直方圖模型進行在線更新

(10)

基于全局顏色直方圖的響應與基于模板的相關濾波響應是互補的，將顏色直方圖響應RC和基于Hog的相關濾波響應RCF以固定的系數(shù)相結合

R=(1-γ)RCF+γRC

(11)

式中：γ為融合互補因子。根據(jù)目標融合響應最大值所在位置和尺度濾波器得到最優(yōu)尺度大小，確定為基本跟蹤器目標估計位置Pd。

2 算法設計

2.1 算法流程

本文在相關濾波Staple算法的基礎上進行改進，總體框架如圖1和表1所示，該算法主要分為3部分：自適應更新的基本跟蹤器、實現(xiàn)跟蹤性能判斷的置信度評估模塊和高效的再檢測模塊。當面對遮擋和出視野等干擾時，基本跟蹤器的結果是不可靠的，這時置信度評估模塊會激活檢測器。為了避免背景信息使模型污染，檢測器是自適應更新的，大大提高了檢測器的性能與速度。

表1 本文算法具體流程

圖1 算法總體框架

2.2 置信度評估與自適應更新機制

為提高目標跟蹤的魯棒性，需要判斷跟蹤結果的可靠性，對跟蹤結果的準確評估可以有效激活再檢測模塊。并且當跟蹤結果不可靠時，停止更新模型，提高了跟蹤效率，保證了跟蹤質(zhì)量。本文受LMCF[14]算法啟發(fā)，為了衡量響應的波動程度，將相關濾波響應的APCE值作為一項置信度得分

(12)

式中：Rmax和Rmin分別表示濾波響應的最大值和最小值，Ri,j表示響應圖第i行第j列的元素，m和n分別表示響應圖的寬和高。

對于不同的跟蹤序列，響應圖的置信得分往往差異很

第i幀的顏色直方圖得分表示為

(13)

激活再檢測模塊的條件為

(14)

為了進一步說明兩種置信度評估策略的有效性，以Couple視頻序列進行分析說明，如圖2和圖3所示，虛線表示可靠幀歷史平均值與系數(shù)的乘積，以此作為閾值評估每一幀的可靠性。目標在第90到94幀之間發(fā)生形變且快速運動，基本跟蹤框漂移到相似背景區(qū)域，顏色直方圖得分與APCE值急劇下降，激活再檢測模塊；第103幀到107幀背景復雜，基本跟蹤框不能準確定位到目標區(qū)域，APCE值低至閾值以下，有效激活再檢測模塊。

圖2 Couple序列的基本跟蹤框

圖3 在Couple序列中置信度評估

傳統(tǒng)的方法是在每幀中更新模型，模板容易被背景信息和其它噪聲污染，小誤差的累計會導致模型漂移，而且實時的更新會降低算法的運行速度。本文從每幀的跟蹤結果中提取訓練樣本，根據(jù)自適應更新方案決定是否丟棄樣本，相關濾波器和顏色直方圖模型僅在高置信度的視頻幀中進行更新。相關濾波模型的學習率隨著融合響應的APCE值與可靠幀APCE平均得分的比值自適應變化，相關濾波模型與顏色直方圖模型的學習率分別表示為

(15)

(16)

其中，P和Q為預設的常數(shù)，υ為懲罰系數(shù)，χ為功率指數(shù)，HCF和HC表示比例閾值。

2.3 再檢測模塊

一般來說，目標的移動是平滑的，目標丟失后再次出現(xiàn)在視野，通常位于丟失位置的周圍區(qū)域。為了避免滑動窗口搜索的復雜性以及擴大的搜索區(qū)域引入干擾，當跟蹤失敗時，在前一幀跟蹤位置進行高斯分布隨機擾動，搜索半徑為20像素，在每一個采樣點所在位置選取樣本，將基本跟蹤器確定的目標尺度作為樣本的長與寬，生成多個候選跟蹤框Bi來粗略預測目標位置

Bi=G(Bgt,σ2)

(17)

式中：G表示高斯函數(shù)，Bgt表示上一幀跟蹤結果，σ為標準差。

評估每一個樣本跟蹤框會增加算法計算量，在實際應用中對實時性要求高。本文提出用DIOU約束減少候選數(shù)量，同時表征預測位置與前一幀可靠位置之間的重疊率與距離特性，在預測候選框與上一幀跟蹤框之間沒有重疊或者完全包含條件下，仍然可以作為不同預測候選框的度量標準，計算公式為

(18)

式中：IOU和ρ(B,Bgt) 分別表示候選預測框與上一幀跟蹤框的交并比和中心點之間歐氏距離，c表示兩個框最小包圍框的對角線長度。計算候選框的DIOU值并進行降序排列，保留前65%的候選框。

由式(11)計算剩余候選位置的相關濾波響應與顏色直方圖響應的融合，最終候選跟蹤框得分表示為Si

(19)

式中：Ri表示第i個候選的融合響應，第二項為過大位移懲罰項。得分最高的候選跟蹤框確定為檢測器預測位置Pt，具體過程如圖4所示。在DragonBaby序列中的第5幀，目標跟蹤位置置信度較低，激活再檢測模塊，首先在前一幀跟蹤結果周圍生成50個稀疏候選框。其次，計算50個候選位置的DIOU值并進行排序，保留前33個候選框。最后計算候選框的融合響應值與懲罰項，將得分最高位置作為再檢測結果。

圖4 在DragonBaby序列中目標丟失再檢測

通過比較候選得分和可靠幀歷史得分均值，評估檢測器預測位置Pt的可靠性，預測位置可靠則將基本跟蹤器跟蹤結果替換為檢測結果，預測位置不可靠則保留跟蹤結果，確定最終的目標位置為P*

(20)

式中：CAPCE(R) 和CC分別表示檢測器預測位置Pt的APCE得分與顏色直方圖得分，TCF和TC表示將跟蹤結果替換為檢測結果的閾值，確保只有當檢測結果優(yōu)于可靠幀跟蹤結果時才進行替換。

3 實驗與分析

3.1 實驗設置

在該算法中，通過大量實驗比較參數(shù)的不同設置對于性能的影響，得出表現(xiàn)效果最佳的參數(shù)值，融合互補因子γ為0.3，比例閾值LCF和LC分別為0.4和0.7，HCF和HC分別為0.6和0.7。參數(shù)P和Q分別為0.02和0.01，懲罰系數(shù)υ為0.8，功率指數(shù)χ為3次。再檢測模塊初始候選位置為50，高斯隨機擾動半徑為20，TCF和TC分別為0.6和0.8，其它參數(shù)按照Staple算法中的建議進行初始化。

將本文算法與5種先進的跟蹤器進行比較：MCCT[8]、PDCF[16]、SRDCF[17]、Staple[7]和SAMF[18]，對比跟蹤器均使用人工獲取的特征，且都基于相關濾波算法。算法開發(fā)平臺為Matlab R2016b，硬件環(huán)境為2.80 GHz CPU，Inter(R) Celeron(R) G1840，8 GB內(nèi)存，Windows7操作系統(tǒng)，所有實驗保持參數(shù)固定。

3.2 基于OTB-2015數(shù)據(jù)集評估

OTB-2015數(shù)據(jù)集[19]包含100組標注屬性的視頻序列，數(shù)據(jù)集使用一次評估OPE評估算法性能，包括速度、精度圖和成功圖。精度圖計算預測的中心位置與真值之間誤差e在一系列像素閾值內(nèi)的幀百分比，成功圖計算預測的包圍框與真值之間的重疊率o，計算公式分別為

(21)

(22)

其中， (xt,yt) 表示第t幀預測目標位置中心， (xg,yg) 表示當前幀真實目標位置中心；Rt表示第t幀預測跟蹤框，Rg表示當前幀真實跟蹤框。在圖例中，評估了每種跟蹤算法在20像素閾值處的精度得分(PS)和成功圖的曲線下面積(AUC)。圖5為6種算法在OTB-2015數(shù)據(jù)集下的精度圖與成功圖，MCCT集成多個DCF跟蹤器，具有高性能，PS得分83.3%，AUC得分77.7%。PDCF通過可靠性和不可靠評估標準增強了算法的魯棒性，PS得分82.2%，AUC得分77.2%。SRDCF擴大了搜索區(qū)域，利用豐富的負樣本增加了跟蹤器的魯棒性，但同時計算量很大，PS得分78.8%，AUC得分72.8%。Staple以KCF為基礎，充分利用空間分布和顏色統(tǒng)計特性形成互補學習，實現(xiàn)實時跟蹤，因為顏色特征的非剛體性質(zhì)，算法在一定程度上可以適應顯著的外形變化，PS得分78.4%，AUC得分69.9%。SAMF在性能和速度上均表現(xiàn)較差。當目標被長時間完全遮擋或出視野時，上述跟蹤器會丟失目標，本文算法Ours精確度與成功率均實現(xiàn)了最佳的結果，PS得分85.5%，AUC得分79.8%。與基本跟蹤器Staple算法相比，PS得分提高9.1%，AUC得分提高14.2%。與先進跟蹤器MCCT相比，PS得分提高2.6%，AUC得分提高2.7%。

圖5 6種算法在OTB-2015數(shù)據(jù)集的測試結果

計算時間是跟蹤算法的關鍵指標，表2為6種算法的平均跟蹤速度，加粗表示最優(yōu)算法，下劃線表示次優(yōu)算法。本文算法在Staple算法的基礎上增加置信度評估與再檢測模塊，提高了算法的魯棒性，但一定程度上增加了計算量，因此跟蹤速度慢于Staple算法。但是不同于滑動窗口的復雜性，本文再檢測模塊采用簡單高效的候選預測方式，通過DIOU進行粗略篩選，最后通過相關濾波模型在頻域快速求解嶺回歸問題，實現(xiàn)對目標的精確定位，速度優(yōu)于MCCT算法和PDCF算法，滿足25 FPS的實時性要求。

表2 6種算法在OTB-2015數(shù)據(jù)集的平均跟蹤速度

基于屬性的分析可以評估算法對于不同挑戰(zhàn)性因素的適應性，OTB-2015數(shù)據(jù)集包含了跟蹤過程中描述不同場景的11種屬性：光照變化(IV)、平面外旋轉(zhuǎn)(OPR)、尺度變化(SV)、遮擋(OCC)、變形(DEF)、運動模糊(MB)、快速運動(FM)、平面內(nèi)旋轉(zhuǎn)(IPR)、出視野(OV)、背景雜波(BC)和低分辨率(LR)。表3和表4以百分比的數(shù)據(jù)形式分別表示6種算法在不同屬性中的精確度和成功率。本文所提算法在精確度和成功率方面均表現(xiàn)出優(yōu)異的性能。遮擋和出視野是長時跟蹤中最具有挑戰(zhàn)性的場景，在遮擋方面，PS得分優(yōu)于MCCT跟蹤器2.8%，AUC得分優(yōu)于MCCT跟蹤器4.1%；在出視野方面，PS得分優(yōu)于MCCT跟蹤器3.3%，AUC得分優(yōu)于MCCT跟蹤器7.1%。本文算法相比于基本跟蹤器Staple算法在遮擋、出視野和變形場景下精確度分別提高了10.1%、17.2%和7.4%，在遮擋、出視野和變形場景下成功率分別提高了17.3%、31.9%和10.7%。自適應更新策略可以使濾波器模型在面對嚴重的遮擋和出視野時避免受到污染，但是跟蹤器無法及時地適應目標外形和背景的變化，因此在面對目標外形變化和復雜背景干擾時，跟蹤性能較差于MCCT跟蹤器。另一方面，人工特征的提取一定程度上會影響算法的整體性能，之后的工作會考慮深度特征的引用。

表3 6種算法在OTB-2015數(shù)據(jù)集屬性評估中的精確度/%

表4 6種算法在OTB-2015數(shù)據(jù)集屬性評估中的成功率/%

為了進一步驗證置信度評估與DIOU約束的有效性，本文在OTB-2015數(shù)據(jù)集上進行相應的消融實驗，如表5所示，展示了本文在Staple算法基礎上依次增加置信度評估、再檢測模塊與DIOU約束對跟蹤性能的影響，結果包括精確度、成功率與運行速度。結果顯示，基本跟蹤器Staple算法沒有置信度評估模塊與再檢測模塊，PS和AUC得分分別為0.784和0.699，速度高達55.8 FPS。將相關濾波響應APCE值與顏色得分作為置信度進行模板自適應更新，有效防止模型污染，PS得分與AUC得分分別提升4.6%和8.9%。當置信度評估跟蹤性能較差時，增加再檢測模塊，高效獲取50個預測候選框，將置信度得分最高的候選框作為檢測結果，對目標進行重新定位，可以顯著提升跟蹤性能，與Staple基礎算法相比，PS得分與AUC得分分別提升7.9%和13.0%，但是同時大大增加計算量，速度降為Staple跟蹤器的36.7%。使用DIOU約束有效限制候選位置數(shù)量，只保留DIOU得分前33個預測候選框，并引用懲罰項增加再檢測準確性與成功率，大大減少了檢測所需要的時間，速度提升為28.6 FPS。具有完整模塊的算法實現(xiàn)了最佳的結果，各個模塊不同程度上提升了跟蹤器的性能，保證算法實時運行的同時，可以對目標進行魯棒跟蹤。

表5 各模塊消融實驗

3.3 定性分析

圖6包含5組具有各種挑戰(zhàn)性因素的視頻序列，為了清晰可見，將排名前4的本文算法Ours、MCCT算法、PDCF算法和SRDCF算法的跟蹤結果可視化，5組視頻序列的屬性見表6。

表6 跟蹤序列及屬性

圖6 4種算法在5組視頻序列中的跟蹤結果

在Lemming序列中，目標被完全遮擋后重新出現(xiàn)在視野，SRDCF算法在第383幀跟蹤失敗，其它算法均可以重新定位到目標；在第1018幀SRDCF算法重新定位到目標，但由于長期的錯誤模板累積，尺度發(fā)生較大偏差，準確度較低；在第1046幀目標發(fā)生平面外旋轉(zhuǎn)，且背景較復雜，SRDCF算法再次丟失目標，MCCT跟蹤框漂移，只有本文算法Ours和PDCF算法穩(wěn)定地跟蹤到目標。

在DragonBaby序列中，目標在第29幀進行平面外旋轉(zhuǎn)，SRDCF算法至此丟失目標；目標在第43幀快速運動，并產(chǎn)生運動模糊，MCCT算法無法定位目標，PDCF算法跟蹤框逐漸偏離目標；在第86幀目標進行快速運動，只有本文算法Ours可以及時定位到目標。

在Shaking序列中，背景復雜且光照變化較大，目標進行一系列旋轉(zhuǎn)動作，SRDCF算法和PDCF算法在第193幀發(fā)生跟蹤框漂移；SRDCF算法和PDCF算法在第296幀已經(jīng)完全跟蹤到錯誤的目標上，MCCT算法也發(fā)生跟蹤框漂移；在第355幀，只有本文算法Ours穩(wěn)定跟蹤目標。

在Couple序列中，MCCT跟蹤框在第96幀漂移到相似背景區(qū)域；受背景雜波干擾，MCCT算法和PDCF算法在第110幀均丟失目標；在第111幀，只有本文算法Ours和MCCT算法能夠準確定位到目標。

在Box序列中，目標被部分遮擋，在第499幀重新出現(xiàn)在視野，只有本文算法Ours可以快速定位到目標；目標在第512幀產(chǎn)生運動模糊，只有本文算法Ours可以穩(wěn)定跟蹤目標；在第683幀，PDCF算法和MCCT算法再次定位到目標，但由于長時間的失敗跟蹤，已經(jīng)無法恢復原有的精確度，而本文算法Ours可以進行魯棒跟蹤。

為了更好地說明本文算法在平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、遮擋和光照變化場景下的跟蹤性能，圖7分別給出2種算法在3組不同視頻屬性下的跟蹤軌跡，視頻序列屬性見表6。

圖7 2種算法在3組視頻序列中的跟蹤軌跡

在Rubik序列中，目標在第312幀進行平面內(nèi)與平面外旋轉(zhuǎn)，造成MCCT算法丟失目標，在整個序列不同時間段(第300幀～400幀、第1000幀～1100幀和第1930幀～1997幀)，本文算法具有穩(wěn)定性，實現(xiàn)目標的長時跟蹤。

在Walking2序列中，目標在第198幀被相似行人遮擋，MCCT算法跟蹤框漂移到相似目標，最終跟蹤失敗。

在Skating1序列中，目標進行旋轉(zhuǎn)動作，舞臺背景較為復雜，MCCT算法在第358幀難以適應光照的變化，跟蹤軌跡逐漸偏離目標，而本文算法未發(fā)生偏移。

4 結束語

本文基于相關濾波算法，針對目標在遮擋和出視野等場景下跟蹤失敗問題，提出一種結合置信度評估策略與再檢測機制的長時跟蹤算法。利用相關濾波響應的APCE值與顏色直方圖得分評估基本跟蹤器與再檢測結果性能，高置信度的評估標準可以高效地啟動再檢測模塊，并且防止濾波器和模板被污染。再檢測模塊通過DIOU約束在跟蹤失敗的情況下生成較高質(zhì)量的候選位置，提高算法的魯棒性與實時性。本文算法使用Staple作為基本跟蹤器，在頻域中進行計算，實現(xiàn)了優(yōu)越的效率。在OTB-2015數(shù)據(jù)集上的實驗結果表明，該算法可以有效地處理目標長時跟蹤中發(fā)生的遮擋和出視野等問題，在實時運行時的性能優(yōu)于許多先進跟蹤器。