一種多特征融合的目標(biāo)跟蹤算法

梁慧慧，何秋生，賈偉振，張衛(wèi)峰

(太原科技大學(xué) 電子信息工程學(xué)院，山西 太原 030024)

1 引 言

目標(biāo)跟蹤在視頻處理中有很多實際的用處，是經(jīng)典的計算機(jī)視覺問題。在實際生活中，視頻監(jiān)控、人機(jī)交互界面、機(jī)器人感知、動作識別、醫(yī)學(xué)成像、無人機(jī)[1]等都用到了目標(biāo)跟蹤。在目標(biāo)跟蹤過程中，遮擋、外觀變化、光照變化、運動模糊、背景相似干擾、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、尺度變化、出視野、快速運動等一系列的外界環(huán)境干擾都會導(dǎo)致目標(biāo)跟蹤失敗或者跟蹤效果不理想[2]。

目標(biāo)跟蹤方法可分為傳統(tǒng)方法、相關(guān)濾波和深度學(xué)習(xí)3種?；谙嚓P(guān)濾波器的方法計算具有高效性，得到了廣泛的研究。誤差最小平方和(MOSSE)[3]算法使用誤差最小平方和濾波器，為濾波器在目標(biāo)跟蹤算法的使用奠定了基礎(chǔ)。CSK(Circulant Structure Kernel)[4]使用循環(huán)密集采樣的方法使樣本數(shù)量增加，循環(huán)矩陣以及核函數(shù)的引入簡化了計算過程。KCF[5]提出一種基于HOG特征的目標(biāo)跟蹤算法。CN[6]在CSK的基礎(chǔ)上加入了顏色特征，同時使用PCA降維方法進(jìn)行降維，對光照變化有一定的魯棒性。SAMF[7]提出多尺度搜索方法，使用金字塔對樣本降采樣來加速計算，將最后得到的響應(yīng)進(jìn)行插值得到原尺度。SRDCF[8]通過引入空間正則化分量，根據(jù)空間位置懲罰相關(guān)濾波器的系數(shù)，解決周期性假設(shè)帶來的邊界效應(yīng)。C-COT[9]算法加入多特征CNN+HOG+CN，允許多分辨率特征圖的自然整合，將位置估計轉(zhuǎn)化到連續(xù)的時域，但算法速度太慢。ECO[10]從模型參數(shù)、樣本數(shù)量以及更新策略3方面進(jìn)行改進(jìn)，高效的卷積操作加上每隔6幀更新一次的更新策略使算法在速度和精度上都得到了改善。CSR-DCF[11]在C-COT的基礎(chǔ)上利用空間置信圖對每個通道增加了權(quán)重，可以擴(kuò)大搜索區(qū)域并改善非矩形對象的跟蹤，加快了計算速度，但精度較低。王民等[12]提出的一種融合Vibe前景檢測和時空上下文的運動手勢跟蹤算法，利用時空上下文信息提高了算法的魯棒性。韓亞君等[13]對紅外目標(biāo)提取HOG特征和運動特征進(jìn)行線性融合，算法精度有所提高，但不適用于低分辨率和光照變化場景。Bertinetto[14]等分別訓(xùn)練顏色直方圖和 HOG 特征分類器并在決策層進(jìn)行融合，在一定程度上緩解了目標(biāo)變形問題，但其跟蹤精度不夠高，對于目標(biāo)遮擋、尺度變化魯棒性不強(qiáng)。

以上算法從預(yù)測目標(biāo)可靠性和濾波器更新策略方面進(jìn)行了改進(jìn)，能使濾波器實時獲得更新以適應(yīng)目標(biāo)外觀變化，也取得了一定的效果，但還不能有效解決目標(biāo)形變、遮擋、尺度變化時跟蹤性能不穩(wěn)定的問題。HOG和CN作為模板特征，可以保留目標(biāo)局部區(qū)域的位置信息；顏色直方圖作為全局特征，不受目標(biāo)形狀、姿態(tài)等變化的影響。結(jié)合這些特征的優(yōu)點，本文提出多特征融合算法，并采用不同的融合策略對特征進(jìn)行融合。最后根據(jù)融合后目標(biāo)響應(yīng)的可靠性對位置相關(guān)濾波器和尺度相關(guān)濾波器的學(xué)習(xí)速率進(jìn)行動態(tài)調(diào)整。

2 Staple跟蹤算法

2.1 相關(guān)濾波算法

在相關(guān)濾波框架的基礎(chǔ)上，Staple算法使用了位置濾波器和尺度濾波器[15]，目標(biāo)模型參數(shù)由最小化損失函數(shù)求得：

θt=argminθ∈{L(θ;χt)+λR(θ)}，

(1)

根據(jù)前一幀目標(biāo)位置和尺度大小裁剪得到的圖像xt，將目標(biāo)響應(yīng)值最大值的位置作為目標(biāo)在第t幀時的位置pt:

pt=argmaxp∈Stf(T(xt,p);θt-1)，

(2)

其中：T為特征提取函數(shù)，St為目標(biāo)可能出現(xiàn)的位置集合，θt-1是t-1幀時的目標(biāo)模型參數(shù)。

2.2 特征響應(yīng)

Staple算法結(jié)合HOG特征和顏色直方圖特征，兩個特征的特征響應(yīng)計算如下:

(3)

其中：h為HOG模型參數(shù)，Γ為圖像x中有限的網(wǎng)格，φx[u]為圖像提取的HOG特征。

(4)

其中：β為顏色直方圖模型參數(shù)，Η為圖像x中有限的網(wǎng)格，ψx[u]為圖像提取的顏色直方圖特征。

2.3 最終響應(yīng)

Staple算法采用HOG特征和顏色直方圖線性結(jié)合的方式計算目標(biāo)響應(yīng)

f(x)=γtmplftmpl(x)+γhistfhist(x)，

(5)

其中：ftmpl和fhist分別為HOG和顏色直方圖特征得到的響應(yīng)值，γtmpl和γhist分別為HOG和顏色直方圖特征響應(yīng)值權(quán)重。

3 多特征融合

本文多特征融合算法采用HOG(Histogram of gradient)、CN(Color Names)和顏色直方圖3種特征。HOG屬于模板特征，對快速運動和形變等情況下跟蹤效果不理想；顏色直方圖作為統(tǒng)計類特征，對形變以及運動模糊不敏感。當(dāng)目標(biāo)出現(xiàn)遮擋時，跟蹤質(zhì)量不佳，顏色直方圖作為一種全局特征無法區(qū)分出目標(biāo)和干擾物，這兩種特征已經(jīng)不能滿足跟蹤需求，所以本文在Staple算法的基礎(chǔ)上加入CN特征，利用特征之間的互補(bǔ)性有效提高目標(biāo)跟蹤的魯棒性。由于不同的特征描述目標(biāo)的能力和判別力不一樣，要根據(jù)不同的特征采取不同的融合策略。本文先將HOG和CN這兩種特征的響應(yīng)值進(jìn)行自適應(yīng)融合，提高目標(biāo)特征的判別性，然后在HOG-CN特征結(jié)合的基礎(chǔ)上與顏色直方圖特征的響應(yīng)值進(jìn)行融合，提高跟蹤精度。

3.1 HOG與CN特征自適應(yīng)融合

為了計算HOG和CN特征在目標(biāo)跟蹤過程中的不同判別力，本文采用特征響應(yīng)相鄰兩幀的PSR差值衡量特征的可信度，差值越小，說明特征波動越小，對應(yīng)特征的可信度越高，跟蹤效果越好，在特征融合時權(quán)重越大。

峰值旁瓣比(Peak-to-Sidelobe Ratio, PSR)[16]是模板與圖像區(qū)域之間的相關(guān)程度，可用來預(yù)測跟蹤質(zhì)量。PSR的定義為

(6)

其中:gmax(yi)為特征響應(yīng)的峰值，μs1(yi)為特征響應(yīng)的旁瓣的均值，σs1(yi)為特征響應(yīng)旁瓣的標(biāo)準(zhǔn)差。

不同特征的判別力用P來表示：

(7)

其中：Rt和Rt-1分別為對應(yīng)特征在第t幀和t-1幀時的PSR值。δ為防止分母為0設(shè)置的參數(shù)。所以HOG特征權(quán)重為

(8)

其中：PHOG和PCN分別為HOG和CN的P值。

在第t幀時，對權(quán)重w進(jìn)行更新，更新公式為

w=(1-υ)wt-1+υwt，

(9)

其中：υ為HOG權(quán)重更新速率，wt-1和wt分別為第t幀和t-1幀時的權(quán)重值。

在計算模板特征響應(yīng)時進(jìn)行融合，融合后的輸出為yH-C，融合公式為

yH-C=wHOG*yHOG+(1-wHOG)*yCN，

(10)

其中：wHOG為HOG特征的權(quán)重，yHOG和yCN分別為HOG和CN特征的響應(yīng)值。

3.2 全局特征融合

由于顏色直方圖屬于全局特征，本文借鑒Staple算法中的融合策略，融合公式為

y=τ*yH-C+(1-τ)yHist，

(11)

其中：τ為融合系數(shù)，yH-C為HOG和CN融合后的響應(yīng)值，yHist為顏色直方圖的響應(yīng)值。

最終融合后，響應(yīng)值最大處位置即目標(biāo)中心位置。

4 濾波器的自適應(yīng)更新

在目標(biāo)跟蹤過程中，濾波器的更新過程對最終的跟蹤結(jié)果影響很大。更新機(jī)制不同，目標(biāo)跟蹤的成功率和精度相差很大。傳統(tǒng)的相關(guān)濾波器算法一般采用固定的更新率，隨著幀數(shù)的增加會帶來誤差積累，并不能應(yīng)對實際跟蹤過程中復(fù)雜的情況，因此需要根據(jù)目標(biāo)跟蹤的情況以及所處的環(huán)境對位置濾波器和尺度濾波器進(jìn)行動態(tài)調(diào)整。

本文以目標(biāo)前t-1幀響應(yīng)值PSR的平均值與第t幀響應(yīng)值PSR的差作為判斷算法第t幀跟蹤好壞的一個指標(biāo)，用T來表示

(12)

濾波器的更新公式為

(13)

At=(1-η)At-1+ηAt，

(14)

Bt=(1-η)Bt-1+ηBt，

(15)

其中：H為濾波器模板，F(xiàn)為訓(xùn)練的圖像，G為濾波器的高斯輸出，λ為正則項，η為濾波器更新率。

本文根據(jù)式(12)中的T值為標(biāo)準(zhǔn)對濾波器進(jìn)行自適應(yīng)更新。根據(jù)經(jīng)驗對濾波器的更新率進(jìn)行設(shè)置，其中位置濾波器的更新率為

(16)

尺度濾波器的更新率為

(17)

當(dāng)T≤0.35時，表示跟蹤器跟蹤效果較好；當(dāng)0.350.45時，此時響應(yīng)值的PSR值已遠(yuǎn)低于平均值，表示目標(biāo)丟失或定位目標(biāo)失敗，跟蹤質(zhì)量不佳。

通過對目標(biāo)跟蹤的可靠性進(jìn)行分析，分別給予位置濾波器和尺度濾波器不同的更新速率，從而實現(xiàn)濾波器的自適應(yīng)更新。

5 實驗與分析

5.1 實驗平臺及參數(shù)設(shè)置

為了驗證本算法的有效性，本文均在軟件為MATLAB 2014a，硬件配置為Intel Core i5-4200CPU，主頻1.6 GHz，內(nèi)存2 GB的計算機(jī)上進(jìn)行實驗。實驗中對所有的測試視頻采用相同的參數(shù)，具體設(shè)置為：防止分母為零系數(shù)δ=0.01，權(quán)重更新系數(shù)υ=0.15，固定權(quán)重系數(shù)τ=0.7，正則化系數(shù)λ=0.001。

5.2 性能分析

為有效地評估本算法性能，本文利用 OTB50數(shù)據(jù)集[17]的50個視頻進(jìn)行測試，將本文算法與近年來比較流行的9個算法(CSK、KCF、DCF[8]、DSST、SAMF、KCFDP[18]、Staple、DCF_CA[19]、CSRDCF)進(jìn)行對比。

5.2.1 實驗一：視頻序列定量分析

本文從OTB50數(shù)據(jù)集中選取12組視頻序列，這些視頻中的目標(biāo)都帶有一定程度上的形變、遮擋和尺度變化，用來驗證本算法的有效性。采用文獻(xiàn)的評價指標(biāo)：重疊精度(Overlap Precision, OP)、距離精度(Distance Precision, DP)[20]、中心位置誤差 (Center Location Error, CLE)進(jìn)行評價。其中，CLE 為預(yù)測目標(biāo)的中心位置與標(biāo)注的準(zhǔn)確位置之間的歐式距離，DP為CLE小于預(yù)設(shè)閾值20 像素的百分比，OP 為重疊率大于預(yù)設(shè)閾值 0.5 的百分比。CLE越小，OP、DP越大，算法跟蹤效果越好。實驗結(jié)果如表1～3所示。

表1 中心位置誤差(CLE)結(jié)果匯總表(最優(yōu)結(jié)果用粗體表示)Tab.1 Summary of center position error (CLE) results (the optimal results are shown in bold)

續(xù) 表

表2 距離精度(DP)結(jié)果匯總表(最優(yōu)結(jié)果用粗體表示)Tab.2 Summary of distance precision (DP) results (optimal results are shown in bold) (%)

表3 重疊精度(OP)結(jié)果匯總表(最優(yōu)結(jié)果用粗體表示)Tab.3 Summary of overlap precision (OP) results (optimal results are shown in bold) (%)

續(xù) 表

表1～3對10種不同算法在12個視頻序列上的CLE、DP和OP值做出了精準(zhǔn)的計算。通過表格中的數(shù)據(jù)可以看出本文算法結(jié)果在很多序列中都處于最優(yōu)，Car4、FleetFace、Girl序列本文算法的CLE雖然不是最優(yōu)，但接近于最優(yōu)結(jié)果，且其DP和OP都是算法中最高。

5.2.2 實驗二：視頻序列定性分析

實驗一中對OTB50數(shù)據(jù)集中的12組視頻序列進(jìn)行了定量分析，實驗二將針對這12組視頻序列給出10種算法在跟蹤過程中的部分視頻截圖，可以直觀地反映每個算法的跟蹤效果。實驗結(jié)果如圖1～3所示。

圖1 10種算法在目標(biāo)形變視頻幀上的跟蹤結(jié)果Fig.1 Tracking results of ten algorithms on target deformation video frames

圖2 10種算法在目標(biāo)遮擋視頻幀上的跟蹤結(jié)果Fig.2 Tracking results of ten algorithms on target occlusion video frames

圖3 10種算法在目標(biāo)尺度變化視頻幀上的跟蹤結(jié)果Fig.3 Tracking results of ten algorithms on target scale variation video frames

在圖1所示的視頻幀中，第一行Basketball視頻中第16幀目標(biāo)發(fā)生形變，本文算法跟蹤正常，其他算法的跟蹤框已經(jīng)開始漂移。第642幀時目標(biāo)受到顏色基本相似的隊員遮擋，Staple算法跟蹤失敗，而本文算法可以一直成功跟蹤目標(biāo)。第二行的FleetFace視頻幀中，目標(biāo)發(fā)生不僅發(fā)生形變，還有一定程度的旋轉(zhuǎn)，本文算法相比于其他算法，跟蹤良好。Football1視頻中目標(biāo)主要發(fā)生了形變、遮擋以及快速運動，隨著跟蹤幀數(shù)的增加，其他算法已經(jīng)慢慢偏離目標(biāo)，本文算法不僅可以成功跟蹤，還以100%的精度和成功率優(yōu)于所有算法。Ironman視頻中目標(biāo)受到形變以及光照變化的影響，部分算法已經(jīng)完全跟蹤失敗，只有本文算法成功跟蹤到的幀數(shù)較多。

圖2中Freeman4、Girl 、Jogging-2視頻中遮擋是主要的因素，當(dāng)目標(biāo)重新出現(xiàn)時，本文算法沒有跟隨遮擋物移動，還可以成功跟蹤到目標(biāo)。最后一行的Walking2視頻幀中，目標(biāo)由近到遠(yuǎn)勢必會帶來尺度變化，而且第377幀時還受到了其他行人的遮擋，相比于其他算法本文算法可以很好地適應(yīng)尺度變化，發(fā)生遮擋時還可以重新檢測到目標(biāo)并成功跟蹤。

圖3的4個視頻幀中目標(biāo)主要受到尺度變化的影響。雖然每個算法都基本跟蹤成功，但是跟蹤框的大小不能很好地隨尺度變化而變化，導(dǎo)致跟蹤成功率下降。從圖中可以看出，本文算法可以完全適應(yīng)目標(biāo)尺度的變化。

5.2.3 實驗三：平均跟蹤性能分析

實驗三分析算法的平均跟蹤性能以及不同跟蹤條件下的跟蹤性能。采用OPE (One-Pass Evaluation)、根據(jù)距離精度值與閾值之間的距離精度曲線圖(Precision Plot)以及目標(biāo)框重疊率與閾值之間的成功率曲線圖(Success Plot)對算法進(jìn)行評估，不同算法的跟蹤結(jié)果見圖4、圖5。

圖4 10種算法在OTB50上的跟蹤結(jié)果Fig.4 Tracking results of ten algorithms on OTB50

圖4為本文算法與其他9種算法在OTB50上的跟蹤結(jié)果圖。從跟蹤精度與成功率曲線可以看出本文算法均高于其他算法，具有較高的準(zhǔn)確性和魯棒性。與Staple算法相比，本文算法的距離精度和成功率都提高了很多，說明3個特征的融合起到了互補(bǔ)的作用，增加了特征的判別力，同時濾波器根據(jù)跟蹤質(zhì)量進(jìn)行自適應(yīng)更新，減少了跟蹤過程中的誤差積累。

圖5為本文算法與其他9種算法在OTB50中6個屬性的跟蹤距離精度與成功率曲線圖，分別為形變、遮擋、尺度變化、出視野以及平面內(nèi)外旋轉(zhuǎn)。從圖中可以看出本文算法在不同屬性的測試結(jié)果上始終保持最優(yōu)。

(a)形變(a) Deformation

(b)遮擋(b) Occlusion

(c)尺度變化(c) Scale variation

(d) 出視野(d) Out-of-view

(e) 平面內(nèi)旋轉(zhuǎn)(e) In-plane-rotation

(f) 平面外旋轉(zhuǎn)(f) Out-plane-rotation圖5 10種算法在OTB50中6個屬性的跟蹤精度與成功率曲線Fig.5 Tracking accuracy and success rate of six attributes in ten algorithms in OTB50

5.2.4 實驗四：算法平均跟蹤速度

實驗四分析算法的平均速度。通過算法總的幀數(shù)除以時間計算得出每個算法的FPS(frame/s)，不同算法的平均跟蹤速度見表4。

表4 算法平均跟蹤速度結(jié)果匯總表(最優(yōu)結(jié)果用粗體表示)Tab.4 Algorithm average tracking speed results summary table (optimal results are shown in bold) (frame/s)

表4為10種不同的跟蹤算法在OTB50數(shù)據(jù)集上的平均跟蹤速度，從表中可以看出本文算法相比Staple算法速度有所下降，但速度仍大于SAMF、DSST、KCFDP、CSRDCF跟蹤算法的速度，在保持高精度的同時，也滿足了跟蹤算法的實時性需求。

6 結(jié) 論

本文提出的多特征融合目標(biāo)跟蹤算法，將HOG、CN和顏色直方圖3種特征通過不同的融合策略融合在一起，利用特征之間的互補(bǔ)性提高了跟蹤算法的魯棒性。在濾波器更新方面，根據(jù)跟蹤的可靠性，將位置濾波器和尺度濾波器以分段更新的方式實現(xiàn)了濾波器的自適應(yīng)更新。最后采用OTB50 數(shù)據(jù)集驗證本文算法的跟蹤性能，其中為精度81.9%，成功率為61.1%，并與其他9種主流算法進(jìn)行對比分析。從實驗結(jié)果可以證明本文算法的有效性，在形變、遮擋以及尺度變化場景下的目標(biāo)跟蹤具有更高的跟蹤精度和魯棒性。