基于多特征融合的相關(guān)濾波跟蹤算法?

茅正沖 沈雪松

（江南大學(xué)輕工過程先進(jìn)控制教育部重點實驗室 無錫 214122）

1 引言

目標(biāo)跟蹤是計算機視覺的重要組成部分，它在監(jiān)控、人機交互、機器人和醫(yī)療圖像等領(lǐng)域應(yīng)用廣泛［1］。

近年來基于相關(guān)濾波的目標(biāo)跟蹤受到了較大地關(guān)注。Bolm等［2］將相關(guān)濾波器引入目標(biāo)跟蹤中，取得了良好的效果。Henrique 等［3］將單通道的相關(guān)濾波器擴(kuò)展到多通道，提出了核化相關(guān)濾波器（KCF），取得了良好的性能。Danelljan 等［4］提出了空間正則化判別相關(guān)濾波器（SRDCF），它通過引入空間權(quán)重函數(shù)對目標(biāo)邊界框外的非零濾波器值施加懲罰，可以有效的抑制背景區(qū)域的響應(yīng)，從而可以擴(kuò)大搜索區(qū)域。Galoogahi 等［5］提出的背景感知相關(guān)濾波器（BACF），算法在循環(huán)采樣地基礎(chǔ)上進(jìn)行裁剪，獲得了更大的搜索區(qū)域和真實的背景，取得了良好的效果。

雖然上述算法已經(jīng)取得了很好的效果，但是在具有光照變化、遮擋、運動模糊等情況時，算法容易跟蹤失敗。本文在BACF 算法的基礎(chǔ)上，提出了一種改進(jìn)的算法，算法引入了時間正則化，并進(jìn)行了自適應(yīng)多特征融合，在模型更新時采用自適應(yīng)更新策略，有效地解決了BACF 算法在光照變化、遮擋、變形等因素下跟蹤失敗的問題。

2 BACF跟蹤算法

傳統(tǒng)的相關(guān)濾波跟蹤利用大量訓(xùn)練樣本來學(xué)習(xí)相關(guān)濾波器，其目標(biāo)函數(shù)可表示為

其中h 表示濾波器模板，x 為目標(biāo)特征，L 為目標(biāo)特征通道數(shù)，y為目標(biāo)期望響應(yīng)，λ 為正則化系數(shù)。

由于相關(guān)濾波跟蹤使用循環(huán)結(jié)構(gòu)來提高效率，導(dǎo)致其存在邊界效應(yīng)的問題［3］，只能使用相對有限的搜索區(qū)域，影響了訓(xùn)練結(jié)果。為了解決此問題，Galoogahi 等［5］提 出 的 背 景 感 知 相 關(guān) 濾 波 器（BACF），算法通過對循環(huán)樣本進(jìn)行裁剪，獲得了更多真實的負(fù)樣本，而這些樣本中具有更大的搜索區(qū)域和真實的背景。通過對樣本進(jìn)行裁剪，BACF 算法最終的目標(biāo)函數(shù)為

其中T 為訓(xùn)練樣本的數(shù)量，H 為矩陣共軛轉(zhuǎn)置，P 為裁剪矩陣。

在頻域計算可以提高效率，所以將上式轉(zhuǎn)換到頻域就可以得到：

其中g(shù) 是一個輔助變量，X 為訓(xùn)練樣本，?表示Kronecker積操作，F(xiàn)為傅里葉矩陣。

利用增廣拉格朗日乘子法（ALM）［6］可以得到：

其中ζ 表示拉格朗日系數(shù)，μ 表示懲罰因子。

由于式（4）無封閉解，可以通過交替方向乘子法（ADMM）［］來優(yōu)化求解，原問題可以轉(zhuǎn)化成求解以下子問題：

其中i 為迭代次數(shù)。

在目標(biāo)跟蹤階段，通過訓(xùn)練的目標(biāo)模板g?與特征x?求取濾波器響應(yīng)，響應(yīng)最大處即為目標(biāo)中心所在位置。

目標(biāo)模型的更新策略為

其中η 為學(xué)習(xí)率，i 為幀數(shù)。

3 本文算法

BACF 算法僅使用目標(biāo)的HOG 特征作為判別特征，對目標(biāo)的表達(dá)能力不足。在目標(biāo)運動模糊時，容易跟蹤失敗，而且缺少自適應(yīng)的模型更新策略，當(dāng)目標(biāo)跟蹤失敗時，模型會繼續(xù)更新，導(dǎo)致跟蹤漂移。為了解決上述問題，本節(jié)引入了自適應(yīng)多特征融合來進(jìn)行跟蹤，并在此基礎(chǔ)上加入了時間正則化和自適應(yīng)更新策略。

3.1 時間正則化

在在線分類中，當(dāng)新的實例出現(xiàn)時，算法首先預(yù)測其標(biāo)簽，然后根據(jù)新的實例標(biāo)簽來更新分類器。一方面，學(xué)習(xí)算法應(yīng)該是被動的，使更新的分類器與更新前類似；另一方面，學(xué)習(xí)算法應(yīng)該是積極的，以保證新的實例能夠被校正分類［8］。受此啟發(fā)，我們將時間正則化引入到目標(biāo)函數(shù)（2）中，并轉(zhuǎn)換到頻域可得：

其中g(shù)為輔助變量，ht-1為上一幀濾波器模板，t 為幀數(shù)，最后一項為時間正則化項，λ、γ 為正則化系數(shù)。

加入時間正則化項的目標(biāo)函數(shù)是凸的，可以通過交替方向乘子算法（ADMM）來得到全局最優(yōu)，最終求解得到：

3.2 多特征融合

BACF 僅采用HOG 特征作為判別特征，對目標(biāo)的表達(dá)能力不足，無法適應(yīng)復(fù)雜多變的環(huán)境。Danelljan 等［9］將顏色空間特征（CN）引入到目標(biāo)跟蹤中，取得了很好的效果，它將顏色劃分成11 種，分別是紅、橙、黃、綠、藍(lán)、紫、灰、白、黑、棕、粉，在背景較為復(fù)雜時，具有較強的目標(biāo)分辨能力。事實上，HOG 和CN 特征是互補的，所以本文采用HOG、CN 特征進(jìn)行自適應(yīng)加權(quán)融合，從而增強在復(fù)雜情況下的特征判別力。

文獻(xiàn)［10］提出了一種衡量檢測可靠性的指標(biāo)，通過計算次峰值和主峰值之比，比值越小，響應(yīng)圖越干凈，跟蹤效果越好，同時為了防止相似目標(biāo)的干擾，比率被限制在0.5。則檢測的可靠性表示為

在用HOG 和CN 特征跟蹤得到各自的響應(yīng)圖時，分別計算對應(yīng)的可靠性指標(biāo)wh、wc，當(dāng)wh大于wc時，說明使用HOG 特征跟蹤的更可靠，因此，HOG 特征應(yīng)該被賦予更大的權(quán)重；相反，則說明使用CN特征跟蹤的更可靠，CN特征應(yīng)該被賦予更多的權(quán)重。在第t幀，兩種特征的權(quán)重計算如下：

權(quán)重的更新策略為

其中τ 為更新系數(shù)，初始幀兩種特征權(quán)重初始化為wt，HOG=wt，CN=0.5。

在t+1 幀，分別求取HOG、CN 兩種特征得到的響應(yīng)圖Mt，h、Mt，c，融合后的響應(yīng)圖為

融合后響應(yīng)圖最大值處即為目標(biāo)的中心。

3.3 自適應(yīng)更新策略

傳統(tǒng)的相關(guān)濾波算法在目標(biāo)模型更新時，無論跟蹤結(jié)果好壞，每一幀都進(jìn)行模型更新，當(dāng)目標(biāo)跟蹤出現(xiàn)偏差時，如果模型繼續(xù)更新，跟蹤誤差會逐漸積累，最終導(dǎo)致模型漂移［11～13］。為了解決上述問題，本文設(shè)計了一種自適應(yīng)更新策略。更新策略有兩個指標(biāo)，其中一個是前面所述檢測可靠性指標(biāo)：

第二個就是平均峰值相關(guān)能量（APCE）［14］，它所反映的是響應(yīng)圖的振蕩程度，其定義如下：

其中Fmax、Fmin、F（x，y）分別表示響應(yīng)最大值、最小值和（x，y）位置上的響應(yīng)。APCE 反映了響應(yīng)圖的波動程度和目標(biāo)的置信度，當(dāng)APCE 減小時，說明目標(biāo)被遮擋，這時就應(yīng)該不更新模型。只有當(dāng)APCE和w分別以比例α、β 大于歷史均值的時候，模型才進(jìn)行更新。這樣一來大大減少了模型漂移的情況，二來減少了模型更新的次數(shù)，達(dá)到了加速的效果。

4 實驗結(jié)果與分析

為了驗證本文算法的有效性，本文對OTB數(shù)據(jù)集中50 組視頻進(jìn)行跟蹤測試，這些視頻中包含了光照變化、顏色變化、快速移動、遮擋、尺度變化等一些跟蹤過程中常見的問題，采用文獻(xiàn)［15］的方法作為跟蹤算法的評價指標(biāo)，除本文算法外，我們將與核相關(guān)濾波跟蹤（KCF）［3］、BACF［5］、Staple［16］、空間正則化相關(guān)濾波跟蹤（SRDCF）［4］進(jìn)行比較實驗。

4.1 實驗環(huán)境與參數(shù)設(shè)置

本文實驗仿真平臺為Matlab2014a，所有實驗都在Intel（R）Core（TM）i5-7200U CPU，主頻 為2.5GHz，內(nèi)存為4G 的筆記本電腦上進(jìn)行。正則化參數(shù)λ 為0.001，懲罰因子μ 為1，學(xué)習(xí)率η 為0.013等。本文算法中γ 為15，α、β 分別為0.6、0.45。

4.2 定性分析

為了直觀地看出本文算法的性能，我們將不同算法的跟蹤結(jié)果進(jìn)行對比，圖1 為OTB 數(shù)據(jù)集中不同算法的視頻跟蹤結(jié)果。

圖1（a）為Skating1 視頻序列的跟蹤結(jié)果。在Skating1視頻中，目標(biāo)除了存在光照變化，還存在遮擋和背景干擾等問題。在第79 幀時，由于光照、快速運動等因素，BACF 算法出現(xiàn)了誤跟，在第363 幀時，SRDCF 也出現(xiàn)了跟蹤失敗，本文算法能夠持續(xù)進(jìn)行跟蹤。

圖1 不同算法的跟蹤結(jié)果對比

圖1（b）為Soccer 視頻序列跟蹤結(jié)果。在此視頻序列中，目標(biāo)存在光照變化、背景干擾及遮擋等因素，由圖可知，在第126 幀，由于光照變化、背景干擾，Staple 和BACF 算法都出現(xiàn)了跟蹤漂移，本文算法能夠持續(xù)保持跟蹤。圖1（c）為Basketball跟蹤結(jié)果，在第492 幀，目標(biāo)出現(xiàn)快速移動和變形，BACF 開始出現(xiàn)漂移，在第532 幀時，除了BACF 算法，其它算法都能保持跟蹤。

圖1（d）為Jogging-2 視頻序列跟蹤結(jié)果。在Jogging-2 視頻中，目標(biāo)存在遮擋、出視野等情況，在第49 幀時，目標(biāo)發(fā)生了遮擋，在第61 幀時，目標(biāo)重新出現(xiàn)在視野時，本文算法和SRDCF 算法能夠繼續(xù)跟蹤，而其它算法都跟蹤失敗。

4.3 定量分析

為了驗證本文算法的有效性，采用文獻(xiàn)［15］的評價方法對OTB 數(shù)據(jù)庫中50 組視頻進(jìn)行成功率和距離精度的評估，并與KCF、DSST、BACF、SRDCF、Staple 算法進(jìn)行對比實驗。圖2 為不同算法評估曲線圖。

圖2（a）、（d）分別為本文算法和對比算法在所有視頻序列跟蹤結(jié)果的平均距離精度和成功率曲線圖，本文算法的距離精度為0.883，成功率為0.845，分別比BACF 提了4.7%、2.1%。圖3（b）、（e）分別具有光照變化情況的視頻序列的距離精度和成功率曲線圖，本文算法的距離精度為0.862，成功率為0.803，分別比BACF提高了4.7%、2.1%。

圖2 跟蹤結(jié)果評估曲線

圖2（c）、（d）分別為具有遮擋情況的視頻序列的距離精度和成功率曲線圖。本文算法在遮擋情況下，距離精度為0.829，成功率為0.774，分別比BACF 提高了8.1%、3.4%。從各種算法的對比曲線可以看出本文算法的有效性。表1 為不同算法的平均跟蹤速度，在加入了相關(guān)策略后，本文算法雖然較BACF 算法跟蹤速度有所下降，但仍然滿足實時性。

表1 不同算法跟蹤的平均速度

5 結(jié)語

針對背景感知相關(guān)濾波算法在光照變化、遮擋、快速運動等情況效果很差的問題，本文算法在原算法基礎(chǔ)上加入了時間正則化和自適應(yīng)更新策略，并進(jìn)行了多特征融合，通過與現(xiàn)有的多個跟蹤算法進(jìn)行對比實驗，算法整體性能有所提升，雖然速度有所下降，但仍然滿足實時性，同時驗證了本文算法在光照變化、部分遮擋、背景干擾等情況下的有效性。