自適應多尺度顏色特征目標跟蹤算法研究

李曉云， 何秋生*， 張衛(wèi)峰， 梁慧慧， 陳 偉

(1.太原科技大學 電子信息工程學院，山西 太原030024; 2.中國礦業(yè)大學 計算機科學與技術(shù)學院，江蘇 徐州221116)

1 引 言

視覺目標跟蹤是一項具有挑戰(zhàn)性的任務(wù)，在光照和尺度變化、遮擋、背景雜亂以及快速運動、運動模糊的影響下，跟蹤會變得非常困難。

跟蹤算法由早期的均值偏移算法(Mean Shift)[1-3]、粒子濾波算法[4-6]、支持向量機(SVM)[7-9]到多示例學習[10-12]，之后相關(guān)濾波器算法在跟蹤過程中的快速性被大家關(guān)注。Bolme 等[13]是最早提出將相關(guān)濾波用于目標跟蹤，將設(shè)計的最小平方誤差和輸出(Minimum output sum of squared error, MOSSE)采用簡單的灰度特征訓練濾波器，然后根據(jù)響應的最大值確定跟蹤目標位置，雖然跟蹤速度很快，但是跟蹤精度略有欠缺。之后大家開始致力于提高跟蹤算法的精度，并取得了不錯的效果。Henriques等[14]提出CSK算法，在相關(guān)濾波的基礎(chǔ)上引入循環(huán)矩陣，解決脊回歸問題，提高了算法的精確度，但是由于仍然采用灰度特征，對目標變形、尺度變化、背景雜亂以及快速運動等問題的魯棒性較弱。文獻[15]提出的KCF算法，將HOG特征應用到跟蹤算法中，使得跟蹤精度提高，但是當目標快速運動、尺度發(fā)生變化及運動模糊時，容易導致目標跟蹤失敗。 Bertinetto等[16]提出Staple算法，將顏色直方圖特征和HOG特征以一定的融合因子進行融合，然后利用融合后的特征訓練濾波器，跟蹤精度提高，但是跟蹤速度大幅度降低。Galoogahi等[17]提出BACF算法，在跟蹤過程中考慮背景信息，解決了目標遮擋、快速運動等問題，且提高了跟蹤精度，但對目標尺度變化的適應性不強，跟蹤速度也有所下降。文獻[18]和文獻[19]將深度特征應用到跟蹤算法中，雖然深度特征對跟蹤精度有一定的提高，但是跟蹤速度大幅降低。

上文列舉的跟蹤算法及現(xiàn)存的大多數(shù)跟蹤算法都沒有解決目標尺度變化的問題。如果目標縮小，濾波器就會學習到大量的背景信息，如果目標擴大，濾波器就會受到目標局部紋理的影響，這兩種情況都有可能出現(xiàn)非預期的結(jié)果，導致跟蹤漂移和失敗[20]。Danelljan等[21]首次將CN(Color name)應用到目標跟蹤中，通過將11 維特征用PCA 進行降維抽取，再采用CSK 跟蹤算法實現(xiàn)跟蹤，跟蹤精度相對較高，但它在目標尺度變化、部分遮擋以及發(fā)生形變時，效果不太理想[22]。本文提出基于顏色屬性的多尺度目標跟蹤算法，解決尺度變化問題，實現(xiàn)自適應顏色特征的多尺度目標跟蹤。

2 顏色視覺跟蹤

顏色特征擁有豐富的表現(xiàn)力和較高的辨識度，CN算法將原始的RGB顏色空間映射到11維顏色屬性空間[23]，對目標在跟蹤過程中易受環(huán)境變化的問題具有一定魯棒性。算法融合了灰度特征和顏色特征，對每一個特征通道，都經(jīng)過Hann窗做預處理，最終得到灰度和顏色的綜合特征表示[24]。

顏色特征提取完成后，然后對特征進行處理，實現(xiàn)跟蹤[10]。CN算法是判別式跟蹤方法，根據(jù)分類器響應最大值確定新一幀目標的位置。所以跟蹤問題最主要的就是分類器設(shè)計[25]。

(1)

式(1)的解可表示為輸入的線性組合，即

(2)

損失函數(shù)最小時應滿足：

(3)

(4)

3 改進的CN跟蹤算法

原始的CN算法是在CSK算法上進行的改進，但是沒有解決尺度變化的問題。文獻[26]提出一種基于 MOSSE濾波器的尺度估計方法，本文受其啟發(fā)在CN跟蹤算法的框架下，增加了尺度估計策略，以實現(xiàn)自適應尺度目標跟蹤。

3.1 尺度估計策略

在跟蹤過程中，目標因運動其尺度經(jīng)常發(fā)生變化，如果算法不能適應目標的尺度變化，那么分類器的輸出就會受到一定的影響，從而使得跟蹤效果不佳。本文所采取的方法是，首先對目標位置進行估計，其次根據(jù)估計位置區(qū)域的信息進行尺度估計，最后根據(jù)尺度估計結(jié)果更新目標的跟蹤結(jié)果。而尺度估計是通過相關(guān)濾波器去檢測目標尺度的變化，從而能夠依據(jù)目標尺度變化合理地限定搜索區(qū)域。尺度估計的特征提取過程如圖1所示。

圖1 尺度估計的特征提取過程Fig.1 Feature extraction process of scale estimation

3.2 快速尺度跟蹤

考慮到特征提取過程中計算量大的問題，本文采用雙線性插值的方法將3.1節(jié)中得到的33個特征矩陣的維數(shù)統(tǒng)一為初始目標區(qū)域特征的維數(shù)，然后對雙線性插值后的33個特征矩陣進行整合，得到目標的尺度特征矩陣xscale。此外，采用正交三角分解對特征進行降維，減少計算量。

3.2.1 降維

(5)

3.2.2 降維尺度跟蹤

(6)

(7)

在目標跟蹤中，由于相鄰兩幀中目標的尺度變化很小，為此先利用位置核相關(guān)濾波器檢測出目標位置，然后在周圍采集樣本，利用尺度核相關(guān)濾波器檢測出目標尺度，這樣就完成了目標位置和尺度的檢測。

3.3 本文算法流程

本文跟蹤算法中在進行位置濾波和尺度濾波時，均采用高斯函數(shù)輸出，目標特征選用多通道的顏色特征和灰度值。首先對特征通道采用Hann窗進行預處理，然后提取目標特征，進行降維處理，計算響應值，最后更新目標位置和尺度。具體的算法流程如下所示：

Input:輸入圖像patch It ;上一幀的位置Pt-1和尺度St-1;位置模型APt-1、xPt-1和尺度模型ASt-1、xSt-1。Output:估計的目標位置Pt和尺度St;更新位置APt、xPt和尺度模型ASt、xSt。

其中：

位置評估:(1)根據(jù)視頻前一幀的位置,在當前幀中按照前一幀目標尺度的2倍提取顏色特征Z;(2)利用Z和APt-1、xPt-1,計算y;(3)計算max(y),得到目標準確的位置Pt。尺度評估:(4)以目標當前位置為中心,提取33中不同尺度的顏色特征Z’;(5)降維到17維,再使用Z′和ASt-1、xSt-1計算出yS∧;(6)計算max(yS∧),得到目標準確的尺度St。模型更新:(7)提取樣本fP和fS;(8)更新位置模型APt、xPt;(9)更新尺度模型ASt、xSt。

4 實驗評估及結(jié)論

為了驗證本文算法的跟蹤效果，選取了OTB2015數(shù)據(jù)集中13個挑戰(zhàn)性的視頻進行測試，此數(shù)據(jù)集提供精準的Ground truth和初始框的位置和大小，以便計算跟蹤精度。本文與近幾年來跟蹤性能優(yōu)異的10個算法進行對比，包括CSK、KCF、SAMF 、SRDCF、DCF_CA、MOSSE_CA、STAPLE_CA和SAMF_CA以及CN。

本文主要從跟蹤的準確性和尺度變化上對算法的跟蹤效果進行評估，為了方便對比，選取的對比算法均采用默認參數(shù)。本次實驗機器配置是：中央處理器為Intel Pentium CPU G3250 @3.20 GHz，運行內(nèi)存4 GB，64位操作系統(tǒng)。軟件環(huán)境為：Win7 + Matlab2014。

4.1 快速尺度估計

在3.2節(jié)中，對原始的尺度估計進行降維處理，下面將具體分析尺度相關(guān)濾波器的維數(shù)對跟蹤性能的影響。

圖2 尺度濾波器維數(shù)與跟蹤精度的關(guān)系Fig.2 Relationship between dimension of scale filter and tracking accuracy

如圖2所示，當維數(shù)從33維逐漸減小的過程中，一段范圍內(nèi)跟蹤性能基本保持一致。Y軸的跟蹤精度表示在跟蹤過程中的成功率，即算法計算所得的目標區(qū)域與真實目標區(qū)域的比值。結(jié)果表明，當維數(shù)設(shè)置為17時，不僅能夠保證跟蹤性能，而且還可以顯著降低特征的維數(shù)，提高計算速度。

4.2 性能分析

性能分析主要分為 3 個部分：中心位置誤差、跟蹤成功率和距離精度。

4.2.1 中心位置誤差

4.2.2 距離精度

4.2.3 跟蹤成功率

表1 中心位置誤差結(jié)果匯總表(最優(yōu)結(jié)果用粗體顯示)Tab.1 Summary of central position error results (the optimal results are shown in bold)

表2 跟蹤精度結(jié)果匯總表(最優(yōu)結(jié)果用粗體顯示)Tab. 2 Summary of tracking accuracy results (optimal results shown in bold)

表3 跟蹤成功率結(jié)果匯總表(最優(yōu)結(jié)果用粗體顯示)Tab.3 Summary of track success rate results (best results shown in bold)

4.3 實驗結(jié)果

從表1～3可以看出，在跟蹤性能方面，本文提出的算法優(yōu)于其他算法，在隨后的圖3～5中將給出本算法在跟蹤過程中的部分視頻幀截圖，能更直觀地體現(xiàn)跟蹤效果。

4.3.1 尺度變化

在跟蹤過程中，目標會發(fā)生尺度變化，影響跟蹤精度。在圖3所示的視頻幀中，Dog1視頻在跟蹤過程中尺度變化明顯，從圖1的第一行可以看到，運行到第590幀，所有算法基本跟蹤正確，但是到了第908幀，目標尺度變大，可以看到，只有本文的算法以及算法STAPLE_CA、SRDCF能夠自適應尺度的變化，尤其在第1 039幀表現(xiàn)最為明顯。在后續(xù)幀中，目標尺度變小，本文算法也能自適應其尺度的變化，成功跟蹤目標。在第2行視頻幀Doll中，第886幀目標變大，已有大部分算法不能自適應其尺度的變化。在第1 637幀及之后，算法CSK和MOSSE_CA就已經(jīng)開始偏離目標，跟蹤失敗。在第3行Fleetface視頻幀中，第614幀，目標不僅尺度發(fā)生變化，而且目標具有一定程度的旋轉(zhuǎn)，本文算法表現(xiàn)出良好的跟蹤效果。在第663幀和第693幀中，算法CN已跟丟目標。第四行視頻幀Dudek中，大部分算法雖然成功跟蹤，但未能很好的自適應目標尺度的變化，從而影響其跟蹤成功率，而本文算法在該視頻中仍能達到100%的跟蹤成功率。

4.3.2 快速運動與運動模糊

在跟蹤過程中，目標運動速度快，會使目標產(chǎn)生模糊的畫面，對于跟蹤是一個巨大的挑戰(zhàn)。在圖4所示的視頻中，第1行是Jumping視頻的跟蹤結(jié)果截圖，因目標范圍小，運動速度快，運動過程中畫面模糊，所以很多算法在此視頻幀中跟蹤失敗。從圖中可以看到，在第25幀、36幀、48幀、86幀以及186幀中，除了SRDCF和本文的算法之外，其他算法均不能準確跟蹤目標。SRDCF在算法中對尺度做了相應的處理，并在算法中加入懲罰項，能夠準確跟蹤目標。第2行的Deer視頻中，從第25幀可以看到，DCF_CA和SAMG已經(jīng)偏離目標，在第28幀時，KCF算法也已跟蹤失敗，雖然之后又成功跟蹤，但是跟蹤成功率下降。第3行Boy1視頻中，目標不僅具有快速運動的特點，而且在尺度方面也有一定程度的變化，第508幀中CSK開始偏離目標，第513幀已完全偏離。在第4行Fish視頻中，大部分算法跟蹤準確，但是CSK和CN算法偏離目標。本文算法在這組視頻中，跟蹤效果均優(yōu)于其他算法，在Jumping視頻中表現(xiàn)最為明顯，取得了99.8%的跟蹤成功率。

4.3.3 光照變化與背景雜亂

視頻中經(jīng)常會有光照變化明顯以及雜亂的背景信息，在跟蹤過程中處理這些干擾是一個很大的難題。圖5所示的第一行是Shaking視頻，該視頻光照變化大，而且目標與背景顏色相似，背景也非常雜亂，僅在第5幀中，MOSSE_CA已經(jīng)偏離目標，第22幀中，只有CSK、SAMF_CA和本文算法跟蹤成功。第69幀、162幀和239幀中，DCF_CA也表現(xiàn)出良好的跟蹤效果，除此之外，其他算法均跟蹤失敗。第2行的Skating1視頻中，不僅光照變化明顯，背景復雜，而且目標還有一定程度的尺度變化，對于不能自適應尺度變化的算法來說，跟蹤成功率不高。第82幀時，SAMF_CA就已經(jīng)開始偏離目標，第30幀已完全偏離目標。在第267幀、291幀和362幀中，本文算法能夠自適應其尺度的變化，跟蹤效果優(yōu)于其他算法。在第3行的Trellis視頻中，第128幀MOSSE_CA開始偏離目標，第430幀MOSSE_CA、CSK和CN都跟蹤失敗。第四行的CarDark視頻中，大部分算法都成功跟蹤。在這組視頻中，本文算法均取得了很好的跟蹤效果，尤其在Shaking和Skating1視頻中表現(xiàn)最為明顯，以96.4%和89.5%的跟蹤成功率優(yōu)于其他算法。

圖3 部分尺度變化的跟蹤結(jié)果截圖Fig.3 Screenshots of partial scale changes tracking results

圖5 部分光照變化與背景雜亂的跟蹤結(jié)果截圖Fig.5 Screenshots of light variations and background clutter tracking results

5 結(jié) 論

本文提出自適應顏色特征的多尺度目標跟蹤算法，將原始RGB圖像映射到11維的顏色屬性特征空間，從而實現(xiàn)了顏色特征的魯棒表示。利用基于顏色特征的核跟蹤方法對目標進行快速準確地跟蹤。在尺度估計上，通過在目標周圍矩形區(qū)域計算顏色特征，設(shè)計尺度相關(guān)濾波器，解決跟蹤過程中目標尺度變化的問題。本文提出的自適應顏色特征多尺度跟蹤算法擁有以下幾個優(yōu)點：

(1)對于目標尺度變化具有較強的適應性(如Dog和Doll序列的結(jié)果)；

(2)對于快速運動與運動模糊的視頻，本算法運算速度快，能夠以高精度成功跟蹤；

(3)對于光照變化和背景雜亂具有較好的抵抗能力，這是因為將原始的 RGB 顏色映射到 CN 特征空間，提高了顏色表示的魯棒性。

實驗結(jié)果表明，本文算法既保持了顏色特征跟蹤快速準確的優(yōu)點，又很好地實現(xiàn)了尺度變化、快速運動以及背景干擾下的魯棒跟蹤。