基于孿生網(wǎng)絡(luò)的雙分支目標跟蹤算法

施 立，許建龍

（浙江理工大學(xué) 信息學(xué)院，浙江 杭州 310018）

0 引言

在計算機視覺領(lǐng)域，實時目標跟蹤是一個極具挑戰(zhàn)性的難題。區(qū)別于目標檢測問題，目標跟蹤給出一組圖像序列初始幀任意目標的邊界框，需要在后續(xù)幀中標出目標位置。高性能跟蹤算法在視頻監(jiān)控、自動駕駛、人機交互等多個領(lǐng)域都有重要作用，然而真實場景中往往存在尺度變化、遮擋、背景雜亂等復(fù)雜條件干擾，設(shè)計一個能應(yīng)用于工業(yè)領(lǐng)域的強魯棒性實時跟蹤算法具有很大難度［1，2］。

目前有兩種目標跟蹤算法框架受到普遍認可。基于相關(guān)濾波（Correlation Filter，CF）的跟蹤算法在2010 年由Bolme 等［3］提出，其通過計算最小平方誤差濾波（Minimum Output Sum of Squared Error filter，MOSSE），根據(jù)輸入圖像訓(xùn)練相關(guān)濾波器，在后續(xù)幀中通過計算圖像與濾波器的響應(yīng)確定跟蹤目標所在位置?？紤]到MOSSE 沒有充分利用樣本結(jié)構(gòu)信息，同時缺乏高效密集采樣策略，Henriques等［4］提出循環(huán)位移密集采樣策略，同時使用核函數(shù)將問題映射到高維空間，并使用核戲法簡化計算。為增強特征表達能力，Henriques 等［5］利用多通道HOG 進行特征表達，并利用對角化技術(shù)進一步優(yōu)化計算過程；Danelljan 等［6］引入多通道顏色特征（Color Name，CN）并使用PCA 降維提取有效特征，提升了算法對形變目標的魯棒性。

近年來，得益于深度學(xué)習領(lǐng)域的快速發(fā)展，深度特征憑借其優(yōu)秀的表達能力逐漸取代手工特征，但深度特征在提升模型準確度的同時也增加了計算量，為基于深度學(xué)習的目標跟蹤算法達到實時標準增加了難度。一種新穎的孿生網(wǎng)絡(luò)使用共享權(quán)值的兩個神經(jīng)網(wǎng)絡(luò)分別學(xué)習目標特征與搜索圖特征，然后將跟蹤視作相似性匹配問題，基于孿生網(wǎng)絡(luò)的目標跟蹤算法憑借其優(yōu)異的跟蹤性能吸引了大量業(yè)內(nèi)學(xué)者關(guān)注。Tao 等［7］提出利用孿生網(wǎng)絡(luò)模型離線學(xué)習匹配函數(shù)，然后對初始幀目標與后續(xù)幀候選樣本進行相似度計算；Bertinetto 等［8］將互相關(guān)引入全卷積孿生網(wǎng)絡(luò)，該算法不需要選取與模板同樣大小的候選塊，而是直接通過較大尺寸的搜索圖特征與較小尺寸的模板特征進行互相關(guān)產(chǎn)生響應(yīng)圖以求得目標位置。最近，文獻［9-13］利用孿生網(wǎng)絡(luò)提取目標特征，然后利用目標檢測領(lǐng)域的區(qū)域生成網(wǎng)絡(luò)（Region Proposal Network，RPN）［14］確定最終目標邊界框。文獻［15］研究了深層與淺層特征的特性，以及它們對跟蹤準確性和魯棒性的影響，并指出深層特征能有效描述具有外觀和雜亂不變性的高級語義信息，增強算法魯棒性，而淺層特征能有效描述用于目標精準定位的低級外觀信息。全卷積孿生網(wǎng)絡(luò)目標跟蹤算法SiamFC 未考慮深層與淺層特征各自的特點，僅使用網(wǎng)絡(luò)最終輸出對目標進行表達，難以發(fā)揮深度網(wǎng)絡(luò)的全部價值。其簡單地將目標跟蹤視作相似性學(xué)習問題，忽視了不同跟蹤場景下目標的變化，難以平衡特征表達的魯棒性與判別性。

為解決上述問題，本文提出一種基于孿生網(wǎng)絡(luò)的雙分支目標跟蹤算法，兩個分支分別利用深度網(wǎng)絡(luò)深層、淺層的特征優(yōu)勢，對目標語義信息和外觀信息進行描述。此外，語義分支還通過引入注意力模塊加強對目標區(qū)域的編碼，降低背景區(qū)域干擾，最終融合獨立訓(xùn)練外觀分支與語義分支的響應(yīng)結(jié)果以提升跟蹤算法性能。

1 算法建立

本文提出一種基于孿生網(wǎng)絡(luò)的雙分支目標跟蹤框架，網(wǎng)絡(luò)包含提取淺層低級信息的外觀分支與提取深層高級信息的語義分支。兩個分支均使用VGG-16［16］作為主干網(wǎng)絡(luò)，其中語義分支通過引入殘差注意力模塊增強目標表達，同時減少背景雜亂影響，最終通過加權(quán)融合兩個分支生成的響應(yīng)圖實現(xiàn)魯棒的目標跟蹤。

1.1 雙分支網(wǎng)絡(luò)結(jié)構(gòu)

雙分支網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。網(wǎng)絡(luò)輸入分別為從初始幀裁剪的目標圖像z和從當前待跟蹤幀裁剪的搜索區(qū)域圖像X，其中目標圖像z的尺寸為Wz×Hz×C，搜索區(qū)域圖像X的尺寸為Wx×Hx×C。

Fig.1 Two-branch network structure圖1 雙分支網(wǎng)絡(luò)結(jié)構(gòu)

1.1.1 外觀分支

將圖像對(z,X)輸入外觀分支，外觀分支對圖像提取特征得到特征圖(φɑ(z),φɑ(X))，其中φɑ(·)表示外觀分支的特征映射，然后通過相似度計算得到外觀分支響應(yīng)圖為：

式中，g(·)為相似性度量。

然后使用logistic 損失表示訓(xùn)練樣本的分類誤差：

式中，v為候選位置響應(yīng)值，y表示真實標簽，取值為{+1,-1}?；诰W(wǎng)絡(luò)全卷積特性，僅對模板和搜索圖求響應(yīng)就能得到每個候選位置的響應(yīng)值，然后對所有候選位置損失求平均得到響應(yīng)圖損失為：

每個候選位置的真實標簽y[u]取值為{+1,-1}，u∈D表示響應(yīng)圖上每個點的位置，其中u與響應(yīng)圖中心的距離小于一定閾值時，標記該樣本為正樣本；如果距離大于該閾值，則標記為負樣本。通過隨機梯度下降（SGD）求解外觀分支的網(wǎng)絡(luò)參數(shù)θα為：

1.1.2 語義分支

將(z,X)輸入語義分支，語義分支對圖像提取特征得到特征圖(φs(z),φs(X))，其中φs(·)表示語義分支特征提取模塊的特征映射?？紤]到使用高級特征信息的語義分支對外觀變化有強魯棒性，但面對背景雜亂的復(fù)雜場景時效果較差，因此在語義分支中添加殘差注意力模塊以增強該分支的判別能力［17］。傳統(tǒng)殘差結(jié)構(gòu)直接與掩膜進行點乘，會導(dǎo)致特征值損失。為此，本文以恒等映射方式構(gòu)建軟掩膜部分，避免了注意力模塊中目標特征值的損失。得到的殘差注意力模塊輸出為：

式中，M(z)為掩膜部分輸出，大小在0～1 之間。當掩膜部分輸出M(z)接近于0 時，H(z)近似等于特征提取模塊輸出特征φs(z)。通過添加上述殘差注意力模塊，使得初始特征的良好結(jié)構(gòu)得以保持，同時有效增強了語義分支對目標的注意力。得到語義分支注意力感知特征后，通過相似度計算得到語義分支響應(yīng)圖為：

通化最小化損失計算得到最終語義分支的網(wǎng)絡(luò)參數(shù)為：

式中，θs表示語義分支待訓(xùn)練的網(wǎng)絡(luò)參數(shù)。

在跟蹤階段，通過對外觀分支和語義分支各自輸出的響應(yīng)加權(quán)融合得到最終響應(yīng)圖：

式中，參數(shù)λ為平衡外觀分支與語義分支的加權(quán)參數(shù)，λ越接近1 表示跟蹤過程中目標外觀越趨于穩(wěn)定，λ越接近0 表示跟蹤過程中目標外觀越趨于發(fā)生較大變化。通過求得最終響應(yīng)圖h(z,X)中最大值對應(yīng)的坐標，即可確定跟蹤目標在搜索圖像中的位置。

1.2 殘差注意力結(jié)構(gòu)

殘差注意力結(jié)構(gòu)的輸入為主干網(wǎng)絡(luò)從跟蹤目標中提取的深層特征。在殘差注意力結(jié)構(gòu)中，掩膜分支首先通過前饋網(wǎng)絡(luò)結(jié)構(gòu)掃描并整合圖片全局信息，快速增大感受野；然后通過自頂而下的網(wǎng)絡(luò)結(jié)構(gòu)將全局信息與原始特征圖結(jié)合；最后通過softmax 層將輸出歸一化到（0，1），通過掩膜分支對主分支的加權(quán)，得到注意力感知的目標特征。由于注意力感知模塊僅應(yīng)用于初始幀，實驗過程中對后續(xù)幀目標跟蹤的速度不受計算復(fù)雜度的影響。

2 實驗結(jié)果與分析

實驗平臺的處理器為Inter Core i7-8750H，主頻為2.20GHz，內(nèi)存為8GB。實驗時使用CUDA 進行GPU 加速，GPU 型號為NVIDIA GeForce GTX 1060。程序?qū)崿F(xiàn)語言為Python，使用PyTorch 作為深度學(xué)習框架。

為驗證算法有效性，選擇在流行跟蹤數(shù)據(jù)集OTB2015上進行實驗。OTB2015 包含100 個目標跟蹤圖像序列，每個圖像序列被標記了不同屬性，對應(yīng)目標跟蹤領(lǐng)域的不同難點，包括光照變化（Illumination Variation，IV）、尺度變化（Scale Variation，SV）、遮擋（Occlusion，OCC）、變形（Deformation，DEF）、運動模糊（Motion Blur，MB）、快速移動（Fast Motion，F(xiàn)M）、平面內(nèi)旋轉(zhuǎn)（In-Plane Rotation，IPR）、平面外旋轉(zhuǎn)（Out-of-Plane Rotation，OPR）、離開視野（Out-of-View，OV）、背景雜亂（Background Clutters，BC）和低分辨率（Low Resolution，LR）。通過在不同屬性圖像序列上進行算法驗證，可評估跟蹤算法在不同復(fù)雜場景時的跟蹤效果。

將本文算法模型與近年熱門的6 種跟蹤算法進行比較，包 括SAMF［18］、DSST［19］、KCF［5］、Staple［20］、SiamFC［8］、BACF［21］。以下從定性、定量兩個方面進行對比分析。

2.1 定性分析

圖2（彩圖掃OSID 碼可見）給出了本文算法與6 種對比算法在OTB2015 數(shù)據(jù)集上的部分跟蹤結(jié)果。表1 列出了本文測試圖像序列中包含的影響因素。

Fig.2 Comparison of partial tracking results between algorithm of this article and other six algorithms圖2 本文算法與6 種對比算法部分跟蹤結(jié)果比較

Table 1 Influencing factors included in the test image sequence表1 測試圖像序列包含的影響因素

圖像序列Basketball 展示的是籃球比賽。跟蹤目標為一名球員，攝像機拍攝的籃球比賽視頻中球員間經(jīng)常出現(xiàn)互相遮擋或粘連的情況，這也是跟蹤難點。從第606 幀開始，跟蹤目標周圍相似擾亂增多，在631～665 幀之間，目標與相似擾亂之間發(fā)生了嚴重重疊，DSST、Staple 和SiamFC算法出現(xiàn)了誤跟現(xiàn)象，而本文算法仍能準確框定目標，表明其判別性增強，在面對雜亂背景時仍能確保準確跟蹤。

圖像序列Human9 展示的是攝像頭下步行的行人。行人從鏡頭前向遠離鏡頭的方向運動，并多次經(jīng)過樹陰，跟蹤難點主要在于目標尺度與光照變化。由于目標在攝像場景中的相對位置沒有發(fā)生很大改變，大部分算法計算出的邊界框都能框住目標。但相較于其他算法，本文算法計算出的邊界框與人工標注真實邊界框之間的交并比更大，跟蹤結(jié)果更為精確，表明本文跟蹤算法對目標尺度變換具有更好的處理能力。

圖像序列Ironman 展示的是運動攝像頭下機甲頭部的運動。由于圖像分辨率較低，且場景多次發(fā)生強烈的光照變化，加之跟蹤目標多次發(fā)生平面內(nèi)外旋轉(zhuǎn)，對跟蹤算法的魯棒性提出了較高要求。從圖2 中可以看到，在目標發(fā)生多次旋轉(zhuǎn)變換后，大部分跟蹤器都丟失了跟蹤目標，而本文算法不僅成功跟蹤了目標，還保證了較高準確性。本文算法中的語義分支對魯棒性有很大提升，在跟蹤目標外觀發(fā)生變化時仍能實現(xiàn)較好跟蹤效果。

圖像序列MotorRolling 展示的是山地車比賽項目。在圖像序列中，隨著目標運動，背景亮度不斷發(fā)生變化，加之目標一直處于高速運動狀態(tài)，導(dǎo)致圖片序列出現(xiàn)嚴重模糊，加大了跟蹤難度。在該條件下，傳統(tǒng)濾波類算法無法生成有效濾波器，而本文算法通過殘差注意力模塊提取的目標感知特征成功對目標外觀進行了表達，最終得到的跟蹤結(jié)果明顯優(yōu)于其他算法。

2.2 定量分析

使用一次性通過評估（OPE）方法在OTB2015 數(shù)據(jù)集上對本文算法與其余6 種對比算法的性能進行了整體評估，根據(jù)實驗數(shù)據(jù)繪制的成功率曲線和精度曲線如圖3 所示。從圖中可以看出，本文算法的性能明顯優(yōu)于其他算法，與基準算法SiamFC 相比，成功率提升了8.2%，精度提升了10.2%。為進一步分析本文算法的優(yōu)缺點，表2、表3 列出了基于不同屬性圖像序列下各種算法的跟蹤精度與成功率。結(jié)果表明，本文算法在除背景雜亂屬性以外的復(fù)雜跟蹤場景中跟蹤成功率與準確率均為最佳，具有較好的目標跟蹤性能。

Fig.3 Success rate and accuracy curve on OTB2015 dataset圖3 OTB2015 數(shù)據(jù)集上的成功率與精度曲線

Table 2 Comparison of tracking success rate of algorithms under different attributes表2 不同屬性下算法跟蹤成功率對比

Table 3 Comparison of tracking accuracy of algorithms under different attributes表3 不同屬性下算法跟蹤精度對比

3 結(jié)語

本文針對復(fù)雜場景下跟蹤魯棒性差的問題，提出一種融合注意力機制的雙分支孿生網(wǎng)絡(luò)結(jié)構(gòu)，通過利用不同層次特征充分發(fā)揮深度特征的能力，同時在語義分支中嵌入殘差注意力結(jié)構(gòu)進一步提升算法的特征表達能力。然后，在流行跟蹤數(shù)據(jù)集OTB2015 上對算法跟蹤性能進行評估，結(jié)果表明，本文算法能有效提高跟蹤成功率與準確率，跟蹤性能優(yōu)秀。但本文算法在背景干擾的復(fù)雜場景下跟蹤性能還有待提高，如何將背景信息納入考慮范圍，以減少跟蹤過程中相似目標的干擾，將是下一步的研究重點。