ECO跟蹤算法中CNN分層插值及加權策略改進①

陳志旺 王昌蒙 王 瑩 宋 娟 彭 勇

(燕山大學工業(yè)計算機控制工程河北省重點實驗室 秦皇島 066004)(燕山大學國家冷軋板帶裝備及工藝工程技術研究中心 秦皇島 066004)

0 引 言

目標跟蹤的主要任務是給定視頻序列中的第一幀目標的初始狀態(tài)(目標位置、目標框尺度)，在后續(xù)的視頻序列中去估計目標新的運動軌跡或狀態(tài)，它是計算機視覺中的一個基礎問題。目標跟蹤技術已經(jīng)廣泛應用在安防監(jiān)控、人機交互、機器人、軍事偵查、智能交通[1]等領域，其實用價值日益增強。經(jīng)過多年的研究，目標跟蹤技術已經(jīng)有了長足的發(fā)展和進步，但依舊面臨著很多復雜環(huán)境下的挑戰(zhàn)，如目標外形變化、光照變化、遮擋、背景復雜等，這些因素都將導致目標漂移甚至跟蹤失敗。

跟蹤方法可以分為基于生成模型的跟蹤和基于判別模型的跟蹤。生成模型跟蹤方法應用特征空間來描述目標，學習一個有代表性的目標模型，利用該模型去搜索圖像區(qū)域，按照模式匹配的方法，在圖像中找到和該模型最匹配的區(qū)域即為目標。比較典型的例子有均值漂移Meanshif[2]、粒子濾波Particle Filter[3]和L-K光流算法[4]。判別模型將跟蹤看成一個二分類問題，由構建的正負樣本訓練最優(yōu)分類面，把目標和背景在圖片中區(qū)分開來，將分類器置信度最大的位置作為檢測到的目標位置?；谥С窒蛄繖C[5](support vector machines，SVM)的方法，基于隨機森林[6](random forest，RF)分類器的方法都是判別模型跟蹤方法的代表。近幾年，相關濾波理論被應用于判別模型跟蹤算法中，取得了較好的跟蹤效果。

2010年，Bolme等人[7]提出了最小均方誤差輸出和(minimum output sum of squared error, MOSSE)相關濾波器，首次將相關濾波應用到目標跟蹤算法上，應用灰度等級圖像提取單通道特征圖，在訓練和檢測過程中利用相關濾波的性質(zhì)，將時域的卷積操作轉(zhuǎn)化為頻域的點乘，使計算效率大大提高。2014年，Henriques等人[8]把核技巧引入到脊回歸中，提出了核相關濾波器(kernelized correlation filters,KCF)目標跟蹤算法，應用核函數(shù)把低維空間不可分地映射到高維核空間變?yōu)榫€性可分，應用循環(huán)矩陣進行正負樣本采集，由于循環(huán)矩陣在傅里葉空間可對角化，所以可將復雜的矩陣運算轉(zhuǎn)化為元素的點乘，提高了運算速度，同時利用脊回歸訓練目標檢測器，進一步提升了跟蹤算法的性能。此后，很多研究者基于KCF跟蹤算法進行了改進，大量論文相繼發(fā)表出來。胥方等人[9]針對核相關濾波(KCF)算法對快速移動目標跟蹤中由于邊界效應導致誤差跳動與跟蹤丟失的問題，提出了基于核相關濾波的自適應跟蹤算法。Danelljan等人[10]利用顏色(color-names,CN)特征來構建目標外觀特征，將RGB三通道的顏色轉(zhuǎn)換成11 種顏色特征，使用主成分分析[11](principal components analysis，PCA)將11維特征降至2維，得到目標低維顏色特征，然后選擇最為明顯的顏色作為目標特征進行跟蹤。文獻[12]設計了2個相關濾波器，一個2維的位置濾波器和一個1維的尺度濾波器，分別實現(xiàn)目標的位置跟蹤和目標尺度變換，STAPLE算法[13]提出一種融合算法，用方向梯度方圖(HOG)特征和顏色直方圖特征2種互補的特征因子對目標進行學習，融合跟蹤算法，在跟蹤速度有所提高的同時，也保證了跟蹤效果。張立國等人[14]考慮到應用環(huán)境復雜，跟蹤算法對光照變化魯棒性不強，導致目標跟蹤時數(shù)據(jù)丟失、實時跟蹤時檢測速度不夠等問題，結合哈希指紋特征對光照變化魯棒性強的特點，提出一種多尺度(multi-scale)感知哈希(Hash)特征的目標跟蹤算法，即Mhash算法。

隨著深度學習在視覺分類和檢測領域獲得突破性的進展，由于其強大的特征學習能力使其在跟蹤領域也逐漸得到重視。DLT[15](deep learning tracking)是第一個在目標跟蹤算法中引入深度學習的方法 。隨后，越來越多的深度神經(jīng)網(wǎng)絡模型，如自動編碼機[16]、卷積神經(jīng)網(wǎng)絡[17](convolutional neural networks ,CNN)、循環(huán)神經(jīng)網(wǎng)絡[18](recurrent neural network,RNN)、孿生(siamese)網(wǎng)絡[19]等都被應用到了目標跟蹤領域，并在跟蹤效果上取得了較好的績。用于跟蹤的高效卷積運算符(efficient convolution operators for tracking，ECO)[20]是C-COT[21]的改進版本，C-COT在OTB100[22]上獲得了較好的效果，并且在VOT2016[23]獲得了第1名，ECO在C-COT的框架上旨在通過解決計算復雜度和過擬合問題來同時提高速度和跟蹤效果。文獻 [24]在ECO的基礎上，只用CNN提取的特征，將CNN的淺層特征和深層特征進行融合，使追蹤器具有較好的性能。Bhat等人[25]通過分析淺層特征和深層特征的特征差異，提出兩種特征分而治之，深層特征部分加入了數(shù)據(jù)增強，增加訓練樣本數(shù)量，兩部分響應圖自適應融合，得到最優(yōu)的目標定位結果。STRCF算法[26]將空間正則化和時間正則化應用到判別相關濾波(discriminative correlation filter，DCF)框架中，使算法對目標遮擋具有很強的魯棒性，并且能很好地適應目標較大的外觀變化，應用交替方向乘子法(alternating direction method of multipliers，ADMM)，在不降低效率的情況下提高了跟蹤的準確性和速度。

本文在ECO算法的基礎上，為了提高算法的跟蹤速度，CNN提取的特征圖進行插值處理時采取分層插值，分辨率較高的淺層特征不插值，分辨率低的深層特征插值，以此降低插值操作帶來的復雜運算，提高跟蹤速度；在生成樣本空間策略上，保留了所有的樣本信息，使訓練樣本集有更豐富的多樣性，并且考慮到每個特征層的權重不同對樣本的分類會產(chǎn)生影響從而影響跟蹤效果，為不同特征層分配了不同的權重；為了能更好地應對目標尺度的變換，應用文獻[12]提出的1維尺度濾波器對目標尺度變換進行估計，把尺度的候選數(shù)從ECO算法中的5個增加到33個，使尺度估計更加魯棒。

1 ECO算法介紹

1.1 連續(xù)卷積算子

(1)

通過學習一個線性卷積算子Sf{xj}，該算子通過尋找圖片區(qū)域中最大置信分數(shù)來估計新一幀目標位置，在連續(xù)域方程中，算子Sf{xj}是由一系列卷積濾波器f=(f1,f2,…,fd,…,fD)構造出的，定義卷積算子為

(2)

這里*表示卷積運算，下同。每個特征通道首先用式(1)進行插值操作，然后和對應的濾波器卷積，最后所有卷積響應加起來產(chǎn)生最終的置信函數(shù)Sf{xj}。

每個訓練樣本xj由卷積算子的期望輸出yj所標定，所以相關濾波器的損失函數(shù)公式為

(3)

式中，αj表示每個訓練樣本的權重，w是空間正則化懲罰項，M表示訓練樣本的個數(shù)，通過最小化函數(shù)式(3)來訓練濾波器f。

雖然C-COT算法在跟蹤效果上取得了非常好的效果，但是該算法模型參數(shù)多，需更新的參數(shù)達800 000個，這么多參數(shù)除了速度慢，還容易引起過擬合；C-COT生成訓練樣本集的方法是把每一幀的跟蹤結果放在一個訓練集中，這樣隨著視頻越來越長，訓練集就會越大，在更新模型時還是容易過擬合。

1.2 因式分解卷積操作

=f*PTJ{xj}

(4)

式(4)可以看作2步，首先把插值的特征圖乘以PT，得到C維的特征圖，然后再和相應的濾波器f進行卷積。因為C

1.3 樣本空間模型生成

在ECO中，作者應用高斯混合模型來生成訓練樣本集，目的在于消除冗余和增加訓練樣本集的多樣性。通過樣本x和目標輸出y的聯(lián)合概率分布p(x,y)，應用高斯混合模型將目標損失函數(shù)式(3)進一步完善，用下式來訓練濾波器：

(5)

式中，L是高斯分組的個數(shù)，θl是第l個分組的權重，ul是期望。從式(5)可以發(fā)現(xiàn)，高斯期望ul和權重θl直接替換了式(3)中的xj和αj，在L個分組中，每個組內(nèi)樣本高度相似，代表某種特定場景，組與組間差異較大，增加了訓練樣本的多樣性，減小了訓練樣本集的大小，用式(5)代替式(3)來訓練濾波器。

2 改進方法

2.1 CNN特征層分層插值

從第1節(jié)的介紹可以知道，C-COT和ECO跟蹤算法提出一種用于學習連續(xù)空間域中的卷積算子的新公式，利用插值模型從預訓練好的深度網(wǎng)絡中提取出多分辨率特征圖。式(1)中利用了雙立方插值對提取的特征圖進行插值處理。

雙立方插值的本質(zhì)是把圖像某個像素點最近的16個像素點權重卷積之和作為新的像素值。雙立方插值能得到精確的插補圖形，但也計算復雜，所以速度也很慢。在ECO算法中，應用了CNN卷積神經(jīng)網(wǎng)絡提取的特征和人工設計的HOG特征進行融合，CNN卷積神經(jīng)網(wǎng)絡選用的是VGGNet模型。圖1是應用VGGNet網(wǎng)絡對輸入的圖片通過不同的卷積層提取的特征圖的可視化過程，本文里使用的是16層的VGGNet，應用第3個卷積層(對應圖1中的Layer1)提取的特征作為淺層特征和第14個卷積層(對應圖1中的Layer5)提取的特征作為深層特征。

圖1 VGGNet各層卷積特征圖

ECO應用雙立方插值把特征圖變?yōu)檫B續(xù)域來提高分辨率，由于雙立方插值計算比較復雜，如果對每層特征圖像都進行插值無疑增加了計算的復雜度，從而影響跟蹤的速度。對于卷積神經(jīng)網(wǎng)絡提取的特征來說，淺層特征更有利于目標的精確定位，而且淺層特征包含了較復雜的視覺信息，分辨率比較高，深層特征更能表達圖像的語義信息，能夠提高跟蹤器的魯棒性，但是分辨率會比較低。所以，為了提高跟蹤算法的速度，提出了對提取的特征進行分層插值的改進方法，對于分辨率較高的淺層特征不進行插值，對包含較多語義信息的深層特征進行插值。從圖1可以看出，隨著卷積層的增加，提取的特征越抽象，而且特征圖的分辨率也越來越低，對深層特征進行插值來提高其分辨率非常有必要，圖2是對深層特征圖插值與不插值進行的對比。

圖2 插值對比

圖2中，左圖是提取的未進行插值處理的深層特征圖，右圖是對左圖進行雙立方插值處理后的特征圖，可以看到直接提取的深層特征圖的分辨率非常低，在經(jīng)過插值處理后，深層特征圖的分辨率大大提高，對提高跟蹤器的魯棒性有很大的作用。插值的特征圖的公式可以用下式表示：

(6)

式(6)是對特征層進行插值的公式，和式(1)一樣，bd(t)是插值函數(shù)，c2∈{1,…,c2,…,C2}是深層特征第c2個通道，ch∈{1,…,ch,…,Chog}表示HOG特征的第ch個通道，那么卷積算子的公式為

(7)

2.2 樣本空間分類策略

第1節(jié)介紹了樣本空間模型的生成方法，利用概率密度分布和高斯混合模型(GMM)把訓練樣本集的個數(shù)分成L個，更新GMM時采用Declercq和Piater提出的在線更新算法。給定一個新樣本xj，首先用θm=γ，um=xj初始化一個新的分組m，如果所分的組數(shù)超過設定的值，則對GMM進行簡化；如果某一分組的權重θl低于預先設置好的閾值，則用新樣本替換該組，否則合并2個距離最近的組k和l為一組，合并后的權重和均值由下式得到。

(8)

隨著視頻幀的不斷讀取，這種生成訓練樣本集合的策略會把一些圖片從組中剔除掉，用新的一幀代替，這些被替換掉的圖片與分組中的圖片也存在著很高的相似性，這樣直接替換掉會使在訓練樣本時可能會丟掉一些信息，使訓練不充分，對后面進行模型更新時會產(chǎn)生影響。基于上面的分析和研究，本文在樣本集合分組上進行了改進，把所有的圖片都進行保留，不進行替換，只進行合并。后面的實驗結果也驗證了改進策略的有效性。

在應用高斯混合模型(GMM)進行訓練樣本集合分組時，要用到提取的所有特征層的信息進行計算來決定最終當前幀圖片的分組情況。由于每種提取的特征在跟蹤時對跟蹤效果影響不同，簡單的等權值融合在一起可能會導致不好的結果，所以應給不同的特征層分配不同的權重來提高分組的效果。不同特征層的權重分配可以用下式來表示：

(9)

2.3 多尺度估計濾波器

針對目標運動過程中出現(xiàn)的尺度變化問題，一個理想的尺度估計方法可以精確有效地對目標的大小進行檢測提高跟蹤準確率。判別尺度空間跟蹤(discriminative scale space tracker，DSST)算法是一種精確有效的尺度估計方法，采用1維的相關濾波器進行尺度估計，稱為尺度濾波器，它可以將所提出的尺度估計的方法移植到任意算法中去，以下對DSST尺度估計濾波器的原理進行介紹。

尺度濾波器是為適應目標尺度的變化設計的一維濾波器，用來估計目標的尺度變化，算法中尺度評估的原則為

(10)

其中，W和R分別為前一幀目標的寬和高，a為尺度因子，用來對目標大小的控制，S為估計尺度的個數(shù)。

設輸入樣本xj中某一圖像塊的維度為D，為了得到最佳尺度相關濾波器fscale，最小化代價函數(shù)：

(11)

其中，*表示卷積，g為期望輸出，d表示特征的某一維度，φ為權重系數(shù)。將其轉(zhuǎn)換到復頻域中采用帕斯瓦爾(Parseval’s formula)定理求解可得：

(12)

(13)

(14)

其中，η是學習率。

設Zj為以上一幀預測的目標位置為中心的圖像塊，Zj為其經(jīng)離散傅里葉變換得到的變量，即選定的正樣本區(qū)域，在新的一幀中可通過求解離散傅里葉變換(DFT)：

(15)

3 實 驗

3.1 結果分析

本文實驗硬件環(huán)境為Intel Core(TM) i7-8700K 3.70 GHz CPU，內(nèi)存(RAM)16 GB，算法開發(fā)平臺Matlab 2016b。為了更好地評估跟蹤方法的性能，在實驗中，采用OTB100數(shù)據(jù)集對跟蹤算法進行跟蹤性能評估。首先對本文算法和ECO算法在跟蹤速度上進行了實驗對比，從OTB100中選擇了10個具有代表性的視頻序列對其跟蹤速度進行了測試，測試結果如表1所示。從表1中可以看出，本文的方法在跟蹤速度上比ECO算法有非常大的提高。這也說明在對提取的特征圖進行分層插值的方法是可行的，可以提高跟蹤速度。

表1 部分視頻跟蹤速度對比結果

圖3是在OTB100測試集上跟蹤算法的成功率曲線圖，其中，圖3(a)為距離精度曲線圖，圖3(b)為重合度成功率曲線圖。從圖3中可以看出，在整體的跟蹤效果上，本文算法(Ours)無論是在距離精度上還是在重合度成功率上都比ECO算法要好，而且還超過了其他目前比較流行的算法，比如核相關濾波(KCF)跟蹤算法。在精確度上，本文算法(Ours)的結果為89.6%，ECO算法為87.8%，提高了2.05%，在成功率上，本文算法(Ours)的結果為81.6%，ECO算法為81.2%。

本文中使用多尺度濾波器，把目標的尺度估計從ECO算法中的5個改進為DSST算法中提出的33個。圖4是針對目標尺度變化進行的測試對比，從圖4中可以看到，在OTB100測試集中，有45個視頻序列目標的尺度是不斷在發(fā)生變化的。曲線圖的結果顯示，本文的算法在面對目標尺度變化時跟蹤的精確度為85.2%，成功率為78.0%，ECO算法的跟蹤精確度為84.2%，成功率為77.9%，可以看出，本文的算法在精確度和成功率上都比ECO中的尺度估計要好，也表明本文提出的尺度估計方法能較好地應對目標尺度的變化，在一定程度上同時提高了目標的精確度和成功率。

圖3 總體成功率

3.2 樣本空間分類策略實驗

在第2.2節(jié)中，對ECO的樣本空間生成進行了改進，改進方法有2點：(1)不替換，所有樣本都保留分到不同組中；(2)在分組時給不同特征層分配不同的權重。針對不替換策略來生成樣本空間模型，在OTB100上做了單獨測試，測試結果如表2所示。為了找到最合適的權重分配，在OTB100上也做了大量實驗，實驗結果如表3所示。

圖4 尺度變化曲線

表2中加粗的數(shù)據(jù)是2種算法中表現(xiàn)最佳的數(shù)據(jù)，從表2中可以看出，當對生成樣本空間采用不替換策略時，本文的算法在快速移動、運動模糊、平面內(nèi)旋轉(zhuǎn)、低分辨率、遮擋、尺度變化屬性下精確度和成功率都超過了ECO算法；在形變和平面外旋轉(zhuǎn)屬性下，精確度超過了ECO，成功率略低或持平；在出視野屬性下，精確度和ECO持平，成功率高于ECO；但在背景復雜和光照變化下，略低于ECO。但是從整體的效果上看，在成功率上雖然與ECO持平，但是在精確度上好于ECO算法，說明本文提出的不替換策略在一定程度上是能夠提升跟蹤效果的。

從表3中給CNN提取的淺層和深層特征分配權重不同所得到的結果可以看到，當淺層特征分配的權重為0.8，深層特征權重為0.2時，所得到的結果最好，其中成功率為81.6%，高于ECO，在精確度上為87.6%，略低于ECO。

表2 不替換策略精確度與成功率對比

表3 不同特征層權重分配精確度與成功率對比

4 結 論

在基于深度特征加人工特征與相關濾波相結合ECO目標跟蹤算法的基礎上，對其進行了3方面的改進。在跟蹤速度上，采取對CNN提取的特征層進行分層插值的方法，對其進行了改進，改進后算法的跟蹤速度比原來的速度有了很大的提高；在生成樣本空間時，為了能保留訓練樣本更多的信息，保留了所有圖片，并且在分組時，考慮到各層權重不同會影響分組情況，即訓練樣本集，從而影響跟蹤效果，所以給淺層和深層特征分配了不同的權重；為了能更好地估計目標的尺度變化，對ECO的尺度估計進行了改進，把DSST提出的尺度估計方法引入到本文中。在OTB100上的實驗結果表明，本文算法無論是在跟蹤速度上還是在跟蹤效果上，都比ECO算法有所提升。