基于模板更新的深層孿生網(wǎng)絡跟蹤算法

陳麗萍，苑侗侗，楊文柱，陳向陽，王思樂

(河北大學 網(wǎng)絡空間安全與計算機學院，河北 保定 071002)

視覺目標跟蹤一直以來都是一項具有挑戰(zhàn)性的工作，也是計算機視覺領域研究的熱點方向，其任務就是在給定特定視頻序列初始幀的目標位置的情況下，預測后續(xù)幀中該目標的準確位置及目標狀態(tài)，從而得到目標完整的運動軌跡.目標跟蹤在現(xiàn)實生活中有著廣泛的應用，如視頻監(jiān)控、智能人機交互、跟蹤系統(tǒng)的設計[1].由于目標在運動過程中的背景復雜、運動模糊、外觀形變等問題，使得跟蹤器很難對目標進行準確定位.雖然深度學習的發(fā)展和計算能力的增強使得目標跟蹤算法在效果上有了顯著的提升，但仍有許多難題亟待解決.近年來，隨著人工智能技術的發(fā)展，眾多的研究者將深度學習算法應用到目標跟蹤中，取得了較好的跟蹤性能，其中基于孿生卷積神經(jīng)網(wǎng)絡的目標跟蹤算法在目標跟蹤國際大賽中取得了優(yōu)異的成績[2].

基于孿生卷積神經(jīng)網(wǎng)絡的目標跟蹤算法采用互相關操作來計算目標模板和搜索區(qū)域的特征表示圖的相似度，將相似度最大的區(qū)域作為跟蹤目標區(qū)域.首次將孿生神經(jīng)網(wǎng)絡結(jié)構運用到目標跟蹤領域的是全卷積孿生網(wǎng)絡算法(fully-convolutional siamese network，SiamFC)[3]. SiamFC的網(wǎng)絡結(jié)構足夠簡單，采用端到端的離線訓練，跟蹤速度很快，但在遇到復雜背景及劇烈的背景變化時跟蹤效果不佳. SiamRPN[4]將SiamFC結(jié)構與目標檢測任務中的候選區(qū)域網(wǎng)絡(region proposal network，RPN)串聯(lián)在一起，進行端到端的離線訓練，然后將在線跟蹤任務轉(zhuǎn)換為one-shot檢測任務，避免了多尺度測試，在保證了準確率的同時達到了實時檢測的速度要求.孿生級聯(lián)RPN網(wǎng)絡(siamese cascaded RPN，C-RPN)[5]通過正負樣本抽樣，解決了訓練樣本失衡問題，當出現(xiàn)與目標相似的干擾物時，算法不易出現(xiàn)目標丟失；同時融合了多層次特征，得到了更好的特征表達. SiamRPN++[4]通過均勻分布的采樣方式，緩解深層網(wǎng)絡對平移不變性的破壞，進而將深層次網(wǎng)絡結(jié)構應用到跟蹤任務中. SiamDW (deeper and wider siamese networks for real-time visual tracking)算法[6]使用CIResNet網(wǎng)絡作為跟蹤器的主干網(wǎng)絡，同時使用CIR單元減弱網(wǎng)絡填充對跟蹤性能的影響，有效解決了深度模型應用到目標跟蹤上的退化問題. SiamAttn(deformable siamese attention networks)算法[7]提出一種新的孿生注意力機制，包括可變形的自注意力機制和互注意力機制，該算法在各個數(shù)據(jù)集上的實驗結(jié)果均達到了先進水平.

盡管基于孿生卷積神經(jīng)網(wǎng)絡的跟蹤算法效果顯著，但仍存在一些尚未解決的問題，如：為應對跟蹤過程中的目標模糊、尺度變化問題，模型需要強大的特征表達能力和目標判別能力.因此，為提高特征圖質(zhì)量，增強模型在復雜背景下的判別能力，文章在SiamFC的跟蹤算法框架之下，將深層殘差網(wǎng)絡ResNet-50[8]引入孿生網(wǎng)絡，提出了一種融合多層特征圖進行目標預測的深層孿生網(wǎng)絡跟蹤算法(fully convolutional siamese network with ResNet-50，SiamFC-50)，并設計了高置信度模板更新機制以避免模板更新過程中的錯誤累積導致的模板漂移.

1 全卷積孿生網(wǎng)絡跟蹤算法SiamFC

如圖1所示，SiamFC算法的網(wǎng)絡結(jié)構由上下2個結(jié)構相同、參數(shù)共享的子網(wǎng)絡構成.Z為輸入的模板圖像，即第1幀圖像中的目標框，大小為127×127×3；X表示搜索區(qū)域，大小為255×255×3.2個輸入分別送入2個子網(wǎng)絡進行特征提取后，得到大小分別為6×6×128和22×22×128的特征圖.然后再對提取的特征進行互相關操作，得到1張大小為17×17×1的響應圖，響應圖值最高的位置即為Z可能的位置.互相關操作如下：

f(z,x)=φ(z)*φ(x)+b∏，

(1)

其中，b∏為響應圖中每個位置對應的值，φ為特征提取操作，*為卷積運算，通過卷積運算提取X中與Z最為相近的部分.

圖1 SiamFC結(jié)構Fig.1 Architecture of SiamFC

SiamFC的特征提取網(wǎng)絡采用的是改進后的AlexNet.改進后的主干網(wǎng)絡去掉了全連接層，并在Conv2、Conv4、Conv5中將卷積核進行分組，以提升模型的計算速度.

2 基于模板更新的深層孿生網(wǎng)絡跟蹤算法SiamFC-50

2.1 網(wǎng)絡模型的構建

在SiamFC的基礎上，本文構建的深層孿生網(wǎng)絡結(jié)構如圖2所示.該網(wǎng)絡結(jié)構分為前后2部分:前半部分是特征提取網(wǎng)絡，用ResNet-50深層殘差網(wǎng)替換SiamFC的AlexNet淺層網(wǎng)絡；后半部分是模板更新機制，通過以模板特征為卷積核，在檢測特征圖上進行卷積操作得到模板與檢測特征圖的相似度響應圖，然后通過計算響應圖的平均峰值相關能量(average peak-to correlation energy，APCE)[9]衡量跟蹤的穩(wěn)定性及結(jié)果的有效性，當滿足更新條件時，利用高置信度的跟蹤結(jié)果對模板進行更新.

2.2 特征提取網(wǎng)絡

隨著深度學習的不斷發(fā)展，深層網(wǎng)絡結(jié)構逐步被應用于目標檢測和目標分割任務中.但是，當用深層網(wǎng)絡直接替換孿生網(wǎng)絡跟蹤模型的淺層主干網(wǎng)后，跟蹤效果并未得到提升.對此，SiamRPN++算法進行了詳細的分析和實驗，得出了以下結(jié)論：1)降低主干網(wǎng)絡的有效步長有利于提升孿生網(wǎng)絡的跟蹤效果；2)填充操作導致深層網(wǎng)絡喪失了平移不變性.為降低位置偏差對跟蹤效果帶來的影響，訓練中可以將正樣本均勻分布在目標中心點周圍.

依據(jù)以上分析，對ResNet-50主干網(wǎng)的網(wǎng)絡步長和感受野進行了調(diào)整.在原有的網(wǎng)絡結(jié)構中，步長為32像素，輸出的特征圖大小為7×7.由于特征圖變小，相似度響應圖中保留的目標信息就很少，不利于對目標的準確定位.針對此問題，將殘差塊layer3和layer4的步長縮短為單位步長，同時通過空洞卷積操作增大感受野，最后有效步長從16像素、32像素縮減為8像素，使得后3層殘差塊輸出的特征圖大小保持一致.為降低后續(xù)卷積操作的運算量及模型復雜度，通過1×1卷積操作將特征圖通道數(shù)降至統(tǒng)一維度，同時對模板特征圖中心位置進行裁剪，將模板特征圖大小變?yōu)?×7.調(diào)整后的網(wǎng)絡結(jié)果如表1所示.

圖2 SiamFC-50網(wǎng)絡結(jié)構Fig.2 Architecture of SiamFC-50 network

表1 ResNet-50網(wǎng)絡結(jié)構

2.3 特征圖的融合

(2)

然后，以模板分支得到的特征圖為卷積核，在檢測分支輸出的特征圖上卷積，公式如下：

(3)

2.4 高置信度模板更新機制

SiamFC算法在跟蹤時沒有設置模板在線更新機制，雖然速度快，但要求特征必須對各種干擾和目標形變都具有非常強的魯棒性.引入模板在線更新機制雖然能隨時適應目標和背景的變化，而且對特征的要求較低，但是如果模板被頻繁更新則很難應對跟蹤過程中出現(xiàn)的目標尺度變化及形變等問題.因此，文中算法利用平均峰值相關能量APCE[9]作為判別目標模板是否更新的標準，其定義為

(4)

其中，F(xiàn)max、Fmin和Fw,h分別表示響應圖的最大值、最小值和點(w,h)處的響應值.

APCE通過判斷目標遮擋程度來衡量當前跟蹤情況的穩(wěn)定性.當目標未被遮擋時，APCE值較高，響應圖出現(xiàn)明顯的單峰狀態(tài)，接近正太分布；當目標被遮擋時，APCE值較低，響應圖呈現(xiàn)多峰狀態(tài).根據(jù)不同場景設置閾值，當APCE值超過閾值時，表示跟蹤結(jié)果可信度較高，此時對模板進行更新；反之，則不更新.模板更新公式為

RT=RT*η+(1-η)*RX，

(5)

其中η表示更新比例，RT表示模板特征，RX表示高置信度的跟蹤結(jié)果特征.

3 實驗結(jié)果與分析

3.1 實驗說明

采用YouTube-BB(YouTube-Bounding Boxes)[10]、COCO[11]、ImageNet VID[12]數(shù)據(jù)集進行離線訓練.從數(shù)據(jù)集中隨機選擇一幀包含目標的圖像后，再隨機選擇一幀不包括相同目標的圖像組成負樣本對；選擇同一視頻序列中相隔不超過100幀且都包含目標的2幀圖像作為正樣本訓練對.在訓練和測試過程中，使用單張大小為127×127像素的圖像作為搜索模板，大小為255×255像素的圖像作為搜索區(qū)域.訓練時，前5個周期設置學習率為0.001，之后的15個周期以端到端方式訓練網(wǎng)絡.采用隨機梯度下降法來調(diào)整網(wǎng)絡參數(shù)，將動量置為0.9、權重衰減系數(shù)置為0.000 5.整體迭代次數(shù)為50次，每次迭代60 000個樣本對.為得到更適用于跟蹤任務的特征提取網(wǎng)絡參數(shù)，在后40次迭代中更新主干網(wǎng)絡參數(shù)且學習率設為預測網(wǎng)絡的十分之一.

實驗用電腦配置：Windows10操作系統(tǒng)，英特爾i7-8700K CPU和GTX1080Ti顯卡.

3.2 實驗結(jié)果分析

為評估所提算法的有效性，選擇在OTB2015[13]視頻基準庫上進行實驗，同時與多種最新算法和經(jīng)典算法進行了對比實驗.OTB2015數(shù)據(jù)集是視覺跟蹤領域廣泛使用的基準庫，包含了100個人工標注的視頻序列，并涵蓋了跟蹤過程中的11種挑戰(zhàn)性因素，如：尺度變化、光照變化、運動模糊、平面內(nèi)旋轉(zhuǎn)等.為準確、公平、全面地評估跟蹤器的性能，本文使用一次評估(OPE)法，分別從成功率和精確度2個性能指標來衡量目標跟蹤精準度.成功率是跟蹤成功的視頻幀數(shù)占視頻序列總幀數(shù)的百分比，當重合率得分大于給定閾值后即視為跟蹤成功；精確度指預測目標中心位置誤差小于給定閾值的視頻幀數(shù)占比，誤差是預測位置中心與標注中心位置間的歐氏距離.重合率定義為

(6)

其中，Grec、Prec分別表示人工標注的目標邊界框和預測得出的邊界框；∩和∪分別表示交集、并集運算.

OTB100數(shù)據(jù)集上不同算法的成功率、精確度對比如圖3所示,其中包括本文算法SiamFC-50和7個具有代表性的算法SiamFC[4]、Staple[14]、LCT[15]、CFNet[16]、MEEM[17]、DSST[18]、KCF[1].從圖3中可以看出，文中所提算法SiamFC-50在成功率和精確度上都排在第1位，對比基準算法SiamFC，成功率提高了3.4%，精確度提高了2.6%，驗證了算法的有效性.

為全面驗證文中算法的有效性，對不同跟蹤器在不同挑戰(zhàn)因素下的跟蹤成功率進行了對比.由表2所知，只有在低分辨率時所提算法成功率低于其他算法，在剩余的場景中都高于其他算法.實驗結(jié)果表明，SiamFC-50算法在跟蹤過程中能夠很好地處理目標的快速運動、遮擋和運動模糊等問題，所提模型有較好的魯棒性.

a.成功率對比;b.精確度對比.圖3 不同算法在OTB100上的對比結(jié)果Fig.3 Comparisons of different algorithms on OTB100

表2 多種挑戰(zhàn)因素下的跟蹤結(jié)果對比

為了對比各個算法在不同環(huán)境下的跟蹤效果，將SiamFC-50與SiamFC、CFNet、Staple這3種算法在OTB100上進行了對比，實驗效果如圖4所示.

1)圖4a中，目標在運動過程中發(fā)生了形變，同時伴有運動模糊狀態(tài).對比基準算法SiamFC，文中算法SiamFC-50面對目標旋轉(zhuǎn)，能夠更快、更精準地實現(xiàn)目標定位.在第118幀時，SiamFC丟失了目標，而SiamFC-50成功定位出目標位置；第398和435幀時，目標出現(xiàn)了模糊狀態(tài)，所提算法也較為精準地定位出目標.由此說明更深層的特征有助于提升跟蹤精度.

2)圖4b中，盒子不斷旋轉(zhuǎn)，第517幀時，圖像出現(xiàn)盒子的2個面，此時只有SiamFC-50可以較完整地框出盒子，說明高置信度模板更新機制能夠幫助模型篩選出更為有效的信息，使用可信度高的跟蹤結(jié)果更新模板后，學習到了盒子多個面的特征.同樣，序列(f)Sylvester中目標也頻繁發(fā)生旋轉(zhuǎn)，所提算法表現(xiàn)也優(yōu)于其他算法.

3)圖4c中的汽車發(fā)生了明顯的尺度變化，隨著車輛的行駛，SiamFC-50不僅能夠?qū)囕v尺度變大做出迅速反應，而且對比其他算法框出的邊界框，SiamFC-50的邊界框更貼合車輛.

4)序列Dudek(圖4d)和序列Lemming(圖4g)中出現(xiàn)了不同程度的目標遮擋情況.在序列(圖4d)中的第212幀人臉被輕微遮擋，所有算法跟蹤效果都比較穩(wěn)定；序列(圖4g)中第345幀時目標被嚴重遮擋，各個算法都未定位到目標，之后目標緩慢出現(xiàn)，當?shù)?68幀時，SiamFC-50最先定位到目標.

5)序列Matrix(圖4e)中環(huán)境光照出現(xiàn)變化，對目標識別和定位都有嚴重影響.第82幀時，環(huán)境變亮，只有SiamFC-50定位到目標，其他算法都出現(xiàn)了目標丟失，這說明深度特征對目標有更加強大的表達能力.

通過上述分析，所提算法SiamFC-50可以較好地抵抗目標形變、遮擋、運動模糊、光照變化等多種復雜因素帶來的影響，有較好的魯棒性.

a.Board;b.Box;c.CarScale;d.Dudek;e.Matrix;f.Sylvester;g.Lemming.圖4 不同場景下的跟蹤結(jié)果對比Fig.4 Tracking results in different video scenes

4 總結(jié)與展望

通過改進SiamFC框架提出了一種基于模板更新的深層孿生網(wǎng)絡目標跟蹤算法.1)用深度殘差網(wǎng)絡ResNet-50替代SiamFC的淺層主干網(wǎng)，使網(wǎng)絡能提取到更具有表征能力的深層網(wǎng)絡特征；2)為應對背景干擾、運動模糊等問題，對高、中、低層特征進行融合，提高了跟蹤的準確度；3)通過對響應圖進行置信度評估，選取高置信度的結(jié)果對模板進行更新，減少模板更新次數(shù)，避免了跟蹤過程中的模板漂移.實驗結(jié)果表明，所提算法相較于其他經(jīng)典算法在成功率、準確度和魯棒性方面表現(xiàn)更好.下一步將探索更有效的特征提取方法來描述對象，并改進模板更新模塊以完善跟蹤器.