梯度導(dǎo)向的通道選擇目標(biāo)跟蹤算法

程世龍，謝林柏，彭 力

物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心（江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院），江蘇 無錫214122

視覺目標(biāo)跟蹤在人機(jī)交互、視頻監(jiān)控、自動(dòng)駕駛等領(lǐng)域有著廣泛的應(yīng)用需求。由于目標(biāo)物體在實(shí)際環(huán)境中會(huì)受到光照、形變、遮擋和背景干擾等不利因素的影響，因此準(zhǔn)確定位目標(biāo)物體仍然是跟蹤研究領(lǐng)域的難點(diǎn)。

近年來，基于深度網(wǎng)絡(luò)的目標(biāo)跟蹤方法在跟蹤領(lǐng)域得到了很大的發(fā)展。深度目標(biāo)跟蹤方法主要分為兩類：相關(guān)濾波類（correlation filter，CF）和孿生網(wǎng)絡(luò)類（siamese network，SN）。相關(guān)濾波類算法將深度網(wǎng)絡(luò)提取到的目標(biāo)特征和相關(guān)濾波器結(jié)合在一起，利用傅里葉域中循環(huán)相關(guān)的特征訓(xùn)練回歸器，使跟蹤精度和速度得到了提升。Ma 等認(rèn)為卷積網(wǎng)絡(luò)不同層特征有不同的空間信息和語義信息，提取網(wǎng)絡(luò)不同層特征（hierarchical convolutional features，HCF）訓(xùn)練各自的相關(guān)濾波器，在跟蹤時(shí)按各響應(yīng)圖權(quán)重相加得到最終的目標(biāo)位置。Zhu 等提出光流追蹤（flow track，F(xiàn)T）思想，通過光流技術(shù)建立前后幀目標(biāo)之間的時(shí)序關(guān)系，利用注意力機(jī)制將前后幀特征融合到一起。劉芳等提出一種自適應(yīng)特征模板更新算法（adaptive template updating，ATU），通過特征融合和模型更新等方法，確保模型對(duì)目標(biāo)跟蹤的準(zhǔn)確性。

孿生網(wǎng)絡(luò)類算法主要由兩條結(jié)構(gòu)相似的深度網(wǎng)絡(luò)分支組成，分別是目標(biāo)模板分支和搜索區(qū)域分支。Bertinetto 等最先建立基于孿生網(wǎng)絡(luò)端到端的全卷積網(wǎng)絡(luò)（fully-convolutional siamese networks，SiamFC）目標(biāo)跟蹤方法，離線訓(xùn)練相似性學(xué)習(xí)深度卷積網(wǎng)絡(luò)。Li 等在孿生網(wǎng)絡(luò)后面接入?yún)^(qū)域提取網(wǎng)絡(luò)（region proposal networks，RPN），提出區(qū)域提取孿生網(wǎng)絡(luò)（siamese region proposal networks，SiamRPN）。該網(wǎng)絡(luò)包括分類和邊框回歸兩部分。仇祝令等為提高網(wǎng)絡(luò)對(duì)相似目標(biāo)的判別能力，提出在線更新網(wǎng)絡(luò)參數(shù)策略（online feature discrimination with siamese network，OFDSiamNet），使網(wǎng)絡(luò)能夠?qū)W習(xí)到實(shí)時(shí)的目標(biāo)特征，增強(qiáng)跟蹤算法的魯棒性。

以上基于深度網(wǎng)絡(luò)的跟蹤算法取得了良好的跟蹤效果，但是仍然存在一些問題需要解決：（1）不同場景下待跟蹤目標(biāo)具有任意性，在構(gòu)建跟蹤模型時(shí)會(huì)使用冗余的特征通道盡量使網(wǎng)絡(luò)模型具有通用性；（2）待跟蹤目標(biāo)周圍存在干擾物體，而干擾物體會(huì)影響目標(biāo)的識(shí)別和定位；（3）在以孿生網(wǎng)絡(luò)為框架的算法中，大部分用均權(quán)通道響應(yīng)分?jǐn)?shù)圖確定目標(biāo)的位置，沒有考慮各組互相關(guān)操作對(duì)物體的貢獻(xiàn)情況。

綜上所述，本文提出梯度導(dǎo)向的通道選擇目標(biāo)跟蹤算法（gradient-guided object tracking algorithm，GGOT）。針對(duì)特征通道冗余問題，本文在孿生網(wǎng)絡(luò)框架基礎(chǔ)上，將梯度導(dǎo)向模塊嵌入到預(yù)訓(xùn)練網(wǎng)絡(luò)后面，根據(jù)反向傳播時(shí)特征通道的梯度信息剔除多余的特征通道。本文利用開關(guān)-懲罰損失函數(shù)削弱干擾物體對(duì)目標(biāo)的影響，提高算法抗干擾能力。最后通過逐通道互相關(guān)操作進(jìn)一步提高跟蹤精度。

1 相關(guān)理論

1.1 梯度和注意力模型關(guān)系

Pu 等研究了梯度和注意力模型的關(guān)系，表明梯度信息可以用來表示對(duì)物體的關(guān)注程度，并將其應(yīng)用到跟蹤網(wǎng)絡(luò)中，關(guān)系表示為：

其中，f()是網(wǎng)絡(luò)輸出分?jǐn)?shù)圖；為網(wǎng)絡(luò)的輸入；表示輸入的某個(gè)樣本；A表示中對(duì)應(yīng)像素的重要性圖，即網(wǎng)絡(luò)輸出分?jǐn)?shù)圖對(duì)輸入樣本的注意力圖。Selvaraju 等在研究CNN（convolutional neural networks）網(wǎng)絡(luò)模型視覺解釋性問題時(shí)，用梯度加權(quán)類激活映射函數(shù)Grad-CAM 代替Zhou 等提出的類激活映射（class activation maps，CAM），通過對(duì)歸一化后的梯度值進(jìn)行全局平均池化（global average pooling，GAP）可以獲得某類目標(biāo)對(duì)應(yīng)的特征通道權(quán)值系數(shù)，權(quán)值系數(shù)高的特征通道對(duì)當(dāng)前類的貢獻(xiàn)大。

1.2 卷積回歸網(wǎng)絡(luò)

目標(biāo)跟蹤中常用回歸方法對(duì)目標(biāo)的邊框位置和尺寸進(jìn)行回歸，如SiamRPN 等。基本卷積回歸問題可以通過優(yōu)化嶺回歸函數(shù)解決，表示為：

其中，*表示回歸網(wǎng)絡(luò)中的卷積操作；表示回歸網(wǎng)絡(luò)的權(quán)值矩陣；是網(wǎng)絡(luò)正則化參數(shù)，該參數(shù)可以防止網(wǎng)絡(luò)在訓(xùn)練過程中發(fā)生過擬合現(xiàn)象；表示卷積網(wǎng)絡(luò)的輸入樣本；表示樣本標(biāo)簽。

2 本文算法

本文提出的跟蹤算法主要由特征提取網(wǎng)絡(luò)、梯度導(dǎo)向模塊（gradient-guided module，G-GM）和通道互相關(guān)模塊（multi-channel cross correlation，M-C）三部分組成，如圖1 所示。

圖1 目標(biāo)跟蹤算法框架圖Fig.1 Framework of object tracking algorithm

2.1 梯度導(dǎo)向模塊

預(yù)訓(xùn)練網(wǎng)絡(luò)中的參數(shù)是在多種類別數(shù)據(jù)集中訓(xùn)練獲得的，相對(duì)于當(dāng)前要跟蹤的目標(biāo)存在許多冗余的特征通道參數(shù)。為了減少冗余特征通道對(duì)當(dāng)前跟蹤目標(biāo)的不利影響，需要采用一系列方法剔除冗余特征通道。

借鑒已有的梯度和注意力模型關(guān)系以及卷積回歸網(wǎng)絡(luò)理論，本文在預(yù)訓(xùn)練網(wǎng)絡(luò)后面連接了卷積回歸網(wǎng)絡(luò)，通過嶺回歸函數(shù)計(jì)算目標(biāo)特征通道的梯度信息，經(jīng)由梯度重要性權(quán)值選擇特征通道。

在本文跟蹤任務(wù)中，由于視頻幀中的語義信息除了目標(biāo)外都是背景區(qū)域，且在訓(xùn)練時(shí)輸入的視頻幀都是以目標(biāo)為中心的正方形感興趣域（region of interest，ROI）。因此嶺回歸函數(shù)中的樣本標(biāo)簽可以構(gòu)造成高斯軟標(biāo)簽(,)，其中心與目標(biāo)中心對(duì)齊如式（3）所示：

其中，(,)表示相對(duì)于目標(biāo)的偏移位置；是高斯核的寬度值。由式（2）和式（3），可以通過優(yōu)化如下嶺回歸函數(shù)解決本文算法中網(wǎng)絡(luò)回歸問題：

其中，表示卷積網(wǎng)絡(luò)的第個(gè)輸入通道的特征；表示輸入的總通道數(shù)。

由1.1 節(jié)可知在注意力模型中，對(duì)特征通道的梯度圖A進(jìn)行全局平均池化操作可以獲得每個(gè)通道的梯度平均值。本文對(duì)式（1）加以拓展，將梯度和特征通道的關(guān)系引入目標(biāo)跟蹤中對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)提取的特征通道進(jìn)行選擇。通過嶺回歸函數(shù)回歸到高斯軟標(biāo)簽后的梯度和特征通道關(guān)系表示為：

對(duì)式（5）中所得梯度平均值進(jìn)行min-max 標(biāo)準(zhǔn)化，可以得出輸入的每個(gè)特征通道重要性權(quán)值：

其中，δ是每個(gè)特征通道的重要性權(quán)值，min(·) 和max(·)函數(shù)分別用于求取特征通道梯度的最小值和最大值。

在對(duì)視頻中目標(biāo)進(jìn)行跟蹤之前，將提取到的初始目標(biāo)特征作為回歸網(wǎng)絡(luò)的輸入，然后通過回歸損失計(jì)算特征通道的反向梯度，對(duì)特征通道權(quán)值δ排序，從而選擇排名靠前的表達(dá)能力強(qiáng)的特征通道參與后續(xù)的互相關(guān)操作。

圖2 中顯示了本文算法在兩組典型跟蹤場景下運(yùn)用梯度導(dǎo)向模塊對(duì)選擇出的特征通道進(jìn)行特征融合的情況。在選擇的第一組場景中，目標(biāo)背景相對(duì)簡單，周圍沒有相似性干擾物體，融合后的特征通道熱力圖焦點(diǎn)集中在目標(biāo)物體上。在第二組場景中，目標(biāo)周圍背景雜亂，包含許多相似性物體。由于存在干擾物體，融合后的特征熱力圖中有些焦點(diǎn)落在周圍物體上，但是主要的焦點(diǎn)仍然集中在目標(biāo)上。

圖2 特征熱力圖Fig.2 Heat maps of features

2.2 開關(guān)-懲罰損失函數(shù)

2.1 節(jié)分析了在目標(biāo)背景雜亂，包含干擾物體時(shí)應(yīng)用傳統(tǒng)嶺回歸損失函數(shù)選擇出的特征通道融合后焦點(diǎn)不能完全集中在目標(biāo)物體上，選擇的特征通道將不能準(zhǔn)確描述當(dāng)前需要跟蹤的目標(biāo)。

為了抑制干擾物體，基于原始的嶺回歸損失函數(shù)，本文提出開關(guān)-懲罰損失函數(shù)（switch-penalty，S-P）：

其中，⊙為哈達(dá)瑪積（Hadamard product）；(,)為懲罰函數(shù)；(,)在回歸過程中對(duì)結(jié)果預(yù)測圖中異常值進(jìn)行抑制，使回歸網(wǎng)絡(luò)參數(shù)調(diào)節(jié)重點(diǎn)位于跟蹤目標(biāo)上，懲罰函數(shù)具體表示如下：

由于結(jié)果預(yù)測圖中異常值主要由干擾物體引入，(,)為負(fù)指數(shù)冪形式，懲罰力度從中心到邊緣依次增大，逐步降低背景干擾所占總損失的比例。

其中，為調(diào)節(jié)因子，用于調(diào)節(jié)對(duì)干擾物體的懲罰力度；(,)是開關(guān)函數(shù)，用于控制施加懲罰的時(shí)機(jī)，具體形式表示為：

其中，是設(shè)定的誤差閾值，(,)是預(yù)測響應(yīng)和高斯標(biāo)簽的誤差函數(shù)：

綜上所述，S-P 損失函數(shù)表示為：

在上述S-P 函數(shù)中，只有當(dāng)誤差值(,)大于設(shè)定的閾值時(shí)，才會(huì)按照負(fù)指數(shù)冪形式對(duì)干擾物體施加懲罰。背景簡單時(shí)的懲罰力度小，從而使得懲罰函數(shù)不會(huì)過于敏感，具有良好的適應(yīng)能力。如圖2所示，應(yīng)用S-P 函數(shù)代替嶺回歸損失函數(shù)后，提取到的特征通道具有很強(qiáng)的表達(dá)能力，第二組包含復(fù)雜背景的場景中特征熱力圖焦點(diǎn)集中在當(dāng)前要跟蹤的物體上，很好地避免了背景的干擾。

2.3 逐通道互相關(guān)操作

互相關(guān)操作是孿生網(wǎng)絡(luò)類跟蹤算法的重要組成部分。類似于網(wǎng)絡(luò)中的卷積操作，該層將模板分支最后一層特征看作卷積核，將搜索分支特征看作待卷積特征，通過互相關(guān)操作獲取目標(biāo)分?jǐn)?shù)響應(yīng)圖，從而得到目標(biāo)在待搜索部分最可能的位置。如圖3（1）所示，常規(guī)的基于孿生網(wǎng)絡(luò)結(jié)構(gòu)的跟蹤算法只是單純地獲得分?jǐn)?shù)響應(yīng)圖，沒有考慮每個(gè)特征通道和目標(biāo)物體的相關(guān)性。由2.1 節(jié)分析可知，不同的目標(biāo)物體會(huì)激活特定的特征通道。被激活的通道有效提取了目標(biāo)的特征，而那些被抑制的通道會(huì)給目標(biāo)物體的定位帶來干擾。此外，每個(gè)特征通道對(duì)不同物體的貢獻(xiàn)程度也不一樣。為了有效利用各個(gè)特征通道，本文提出逐通道互相關(guān)算法，簡稱為M-C：

2.4 跟蹤過程

如圖1 所示，本文采用離線訓(xùn)練的CNN 網(wǎng)絡(luò)提取目標(biāo)特征。給定視頻序列第一幀中目標(biāo)的初始狀態(tài)，包括中心坐標(biāo)和目標(biāo)尺寸，然后裁剪出模板圖像作為預(yù)訓(xùn)練網(wǎng)絡(luò)的輸入。梯度導(dǎo)向模塊接收提取到的目標(biāo)特征，利用回歸網(wǎng)絡(luò)和損失函數(shù)計(jì)算每次迭代過后特征通道的梯度信息。選擇正梯度信息對(duì)應(yīng)的特征通道作為當(dāng)前目標(biāo)的特征表示，并對(duì)特征通道進(jìn)行重要性排序，獲得的重要性分?jǐn)?shù)作為逐通道互相關(guān)部分各通道互相關(guān)的權(quán)重系數(shù)。

圖3 逐通道互相關(guān)比較圖Fig.3 Comparison of multi-channel cross correlation

圖4 搜索分支特征通道選擇Fig.4 Selection of feature channels in search branch

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)細(xì)節(jié)與參數(shù)

本文使用Python 語言和Pytorch 框架在Ubuntu 18.04 操作系統(tǒng)上實(shí)現(xiàn)了本文提出的目標(biāo)跟蹤算法。實(shí)驗(yàn)硬件配置為主頻3.6 GHz Intel Core?i7-7700 的CPU，8 GB 顯存的GTX1080GPU，32 GB 運(yùn)行內(nèi)存，平均跟蹤速度為43 frame/s。ImageNet 中的ILSVRC 2015訓(xùn)練集包含3 862個(gè)視頻片段，總共超過100萬幀標(biāo)注圖片，驗(yàn)證集包含555 個(gè)視頻片段，總共超過10 萬幀標(biāo)注圖片。本文中使用的離線訓(xùn)練網(wǎng)絡(luò)為在ILSVRC2015 大規(guī)模數(shù)據(jù)集上訓(xùn)練的VGG16 卷積網(wǎng)絡(luò)，在跟蹤數(shù)據(jù)集上沒有進(jìn)行優(yōu)化網(wǎng)絡(luò)參數(shù)（finetune）操作。淺層特征包含較多的空間信息，而深層特征包含較多的語義信息。特征的空間信息可以提高目標(biāo)定位的準(zhǔn)確性，語義信息具有較強(qiáng)的抗干擾能力。因此，本文使用VGG16 網(wǎng)絡(luò)中Conv4_1和Conv4_3 層特征作為基本的深度特征。在特征通道選取時(shí)凍結(jié)預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)，跟蹤時(shí)針對(duì)當(dāng)前目標(biāo)，利用損失函數(shù)和回歸網(wǎng)絡(luò)對(duì)特征通道進(jìn)行選擇，后續(xù)幀沿用初始幀選擇出的特征通道。初始學(xué)習(xí)率設(shè)置為10，隨著迭代的進(jìn)行最終下降為10。高斯軟標(biāo)簽中設(shè)定為3，正則化參數(shù)設(shè)置經(jīng)驗(yàn)值為10。在跟蹤階段，本文所用參數(shù)和SiamFC類似，輸入的模板圖像尺寸為127×127，搜索圖像尺寸為255×255。本文在3 個(gè)尺度上搜索目標(biāo)1.05，以應(yīng)對(duì)目標(biāo)的尺寸變化。

在S-P 函數(shù)中，懲罰函數(shù)(,)在一個(gè)坐標(biāo)維度隨懲罰調(diào)節(jié)因子的變化情況如圖5 所示，可以看出在相對(duì)距離不變時(shí)，隨著增大，對(duì)應(yīng)的干擾比重減小，降低了干擾物體在結(jié)果預(yù)測圖中的權(quán)重，對(duì)干擾物體的懲罰力度增大。在實(shí)驗(yàn)中，為了不至于過分降低背景干擾所占損失比例，設(shè)置為0.8。

圖5 懲罰函數(shù)隨α 的變化情況Fig.5 Curve of penalty function with α

值在實(shí)驗(yàn)過程中逐步確定。固定懲罰調(diào)節(jié)因子=0.8，在實(shí)驗(yàn)中誤差閾值從0 變化到1.0，在值為0.1 時(shí)跟蹤表現(xiàn)最好，因此開關(guān)閾值值設(shè)置為0.1。

3.2 對(duì)比實(shí)驗(yàn)分析

OTB 數(shù)據(jù)集主要的評(píng)測指標(biāo)是平均像素誤差（average pixel error）和平均重疊率（average overlap rate）。平均像素誤差以跟蹤到的目標(biāo)中心位置與真實(shí)位置的像素距離作為誤差，差值越大，表明跟蹤誤差越大。平均重疊率表明預(yù)測目標(biāo)區(qū)域與真實(shí)目標(biāo)區(qū)域之間的重疊百分比，重疊率越高表示跟蹤結(jié)果越接近真實(shí)情況。像素誤差和重疊率可視化為精度圖（precision plots）和成功率圖（success plots），曲線下的面積（area under curve，AUC）表示對(duì)算法的性能評(píng)價(jià)情況。本文比較了10 種主流跟蹤算法，包含空間正則相關(guān)濾波器（spatially regularized discriminative correlation filters，SRDCF）、基于卷積特征的相關(guān)濾波（DeepSRDCF）、實(shí)時(shí)跟蹤的互補(bǔ)學(xué)習(xí)器（Staple）、區(qū)別性的尺度空間跟蹤（fast discriminative scale space tracking，fDSST）以及基于相關(guān)濾波的端到端表示學(xué)習(xí)（CFNet）5 種相關(guān)濾波算法和SiamFC、SiamRPN、干擾感知孿生網(wǎng)絡(luò)跟蹤算法（DaSiamRPN）、更深更寬實(shí)時(shí)跟蹤孿生網(wǎng)絡(luò)（SiamDWfc）以及梯度導(dǎo)引跟蹤網(wǎng)絡(luò)（GradNet）5 種孿生網(wǎng)絡(luò)類算法。

如表1 和圖6 所示，本文算法在OTB50上獲得了最好的跟蹤性能。在OTB100上，本文算法超過了所對(duì)比的5 種相關(guān)濾波算法。和孿生網(wǎng)絡(luò)算法進(jìn)行對(duì)比，在跟蹤精度方面僅次于DaSiamRPN 算法，在成功率方面仍然獲得了最好的表現(xiàn)。并且相對(duì)于最初的SiamFC 算法，在跟蹤成功率方面，本文由0.519（OTB50）和0.629（OTB100）提高到0.619（OTB50）和0.659（OTB100）。

圖6 算法在OTB50 和OTB100 數(shù)據(jù)集上的評(píng)測結(jié)果Fig.6 Evaluation results of algorithms on OTB50 and OTB100 datasets

表1 OTB 數(shù)據(jù)集上各算法的AUC 值Table 1 AUC of algorithms on OTB dataset

VOT Benchmark是一個(gè)評(píng)測視覺目標(biāo)跟蹤算法性能的測試平臺(tái)，其主要評(píng)測指標(biāo)包括精度（A）、魯棒性值（R）和預(yù)期平均重疊值（EAO）。精度表示跟蹤算法預(yù)測的邊界框和標(biāo)定的邊界框之間的重疊率，魯棒性值表示算法在視頻序列中的失敗情況，預(yù)期平均重疊值是跟蹤算法的綜合性能指標(biāo)。精度和預(yù)期平均重疊值越大表示算法的跟蹤準(zhǔn)確度越好。魯棒性值越小表示跟蹤失敗的次數(shù)越少，泛化性能越好。本文在VOT2018 測試平臺(tái)上比較了一些算法，包括實(shí)時(shí)跟蹤聯(lián)合卷積網(wǎng)絡(luò)算法（unified convolutional tracking，UCT）、模型更新跟蹤算法（UNet-SiamFC）、SiamRPN、有效卷積算子跟蹤算法（ECO_HC）、實(shí)時(shí)跟蹤雙層孿生網(wǎng)絡(luò)算法（SASiam）和遞推最小二乘估計(jì)目標(biāo)跟蹤算法（SimpleRTMDNet）。VOT2018數(shù)據(jù)集上各跟蹤算法性能比較如表2 所示。

表2 VOT2018 數(shù)據(jù)集上各跟蹤算法性能比較Table 2 Performance comparison of tracking algorithms on VOT2018 dataset

由表2 可以看出，在VOT2018 數(shù)據(jù)集上本文算法獲得了較好的性能，在所對(duì)比跟蹤算法中跟蹤精度和期望平均重疊率最高。在魯棒性方面比SASiam 算法略差，這是因?yàn)镾A-Siam 算法構(gòu)造了語義和外觀雙孿生網(wǎng)絡(luò)，并且加入了注意力機(jī)制，使得跟蹤魯棒性較好。但是本文算法根據(jù)不同目標(biāo)選取對(duì)應(yīng)的特征通道，剔除冗余特征，并且加入了逐通道互相關(guān)操作，從而使得精度值和期望平均重疊值優(yōu)于SA-Siam。總體來講，本文算法在VOT2018 數(shù)據(jù)集上的評(píng)測結(jié)果達(dá)到了主流算法的要求。

3.3 跟蹤效果分析

為了直觀地展示本文算法跟蹤情況，選擇6 種主流算法和本文算法進(jìn)行比較，在OTB100 部分視頻序列上的可視化跟蹤結(jié)果如圖7 所示。選擇的視頻序列包含遮擋、旋轉(zhuǎn)、尺度變化等復(fù)雜場景屬性，具體挑戰(zhàn)情況如表3 所示。

表3 OTB100 上部分視頻序列屬性Table 3 Some video properties on OTB100

圖7 不同算法在OTB100 部分視頻序列上可視化跟蹤結(jié)果Fig.7 Visualization tracking results on partial video sequences of OTB100 by different algorithms

Matrix 和Soccer 視頻序列存在運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、背景混亂等屬性挑戰(zhàn)。可以看出在Matrix 第48幀～第96 幀，Staple、DeepSRDCF、SiamFC、SiamRPN和GradNet 算法窗口出現(xiàn)嚴(yán)重漂移；在Soccer 第266幀～第304 幀，Staple、SiamFC、SiamRPN 算法未跟蹤到目標(biāo)，而本文算法依舊能夠準(zhǔn)確地跟蹤到目標(biāo)，說明本文算法具有良好的適應(yīng)運(yùn)動(dòng)模糊和快速運(yùn)動(dòng)的能力。

Bird1 視頻序列存在遮擋、形變、超出視野等屬性挑戰(zhàn)?？梢钥闯?，目標(biāo)被云彩遮擋后，在第297 幀～第375 幀，Staple、DeepSRDCF、DaSiamRPN、SiamFC、SiamRPN 和GradNet 均發(fā)生漂移。而本文算法在遮擋后仍然能夠準(zhǔn)確地定位到目標(biāo)，說明本文算法具有較好的抗遮擋能力。

Box 和MotorRolling 視頻序列存在旋轉(zhuǎn)、尺度變化、運(yùn)動(dòng)模糊等屬性挑戰(zhàn)。在Box 中，本文算法能夠準(zhǔn)確地跟蹤到目標(biāo)。在MotorRolling 第47 幀～第129幀，摩托車落地后本文算法能夠正確定位目標(biāo)，相較于其他算法，本文算法完整地標(biāo)識(shí)出了目標(biāo)的外觀輪廓。

圖8 中定量地顯示了本文算法在OTB100 數(shù)據(jù)集中應(yīng)對(duì)常見挑戰(zhàn)的綜合表現(xiàn)情況。從圖8 中可以看出，在光照變化、遮擋、快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊指標(biāo)中，本文算法表現(xiàn)最好。在物體形變和復(fù)雜背景中本文算法也排在前列。

圖8 OTB100 上6 種不同屬性視頻序列跟蹤成功率Fig.8 Success rate of video sequences with 6 different attributes on OTB100

綜上所述，本文算法能夠較好地應(yīng)對(duì)遮擋、形變、快速運(yùn)動(dòng)和背景混亂等復(fù)雜場景的挑戰(zhàn)。

3.4 算法有效性分析

為了說明本文算法的有效性，分別對(duì)算法中各組件在OTB100 數(shù)據(jù)集上的性能表現(xiàn)做了對(duì)比實(shí)驗(yàn)。

由表4 和圖9 可以看出，在未應(yīng)用S-P 和M-C 之前跟蹤精度和成功率較低，在應(yīng)用S-P 函數(shù)后將精度和成功率分別提升到0.860 和0.648，在綜合應(yīng)用S-P和M-C 后，精度和成功率提高到0.865 和0.659。各模塊對(duì)比實(shí)驗(yàn)說明S-P 損失函數(shù)可以使選擇的特征通道具有很強(qiáng)的表達(dá)能力，很好地避免了背景的干擾，并且逐通道互相關(guān)操作的加入又進(jìn)一步地提高了跟蹤的精準(zhǔn)度。通過3.2 節(jié)在不同數(shù)據(jù)集上不同算法之間的對(duì)比和算法內(nèi)部組件之間的對(duì)比可以充分說明本文算法在跟蹤精度和泛化性方面表現(xiàn)良好，各模塊的有效性得到了驗(yàn)證。

圖9 OTB100 上各模塊表現(xiàn)情況Fig.9 Performance of each module on OTB100

表4 OTB100 數(shù)據(jù)集上算法各模塊跟蹤精度和跟蹤成功率對(duì)比Table 4 Tracking accuracy and success rate of each module on OTB100 dataset

Siamese 類跟蹤算法中的互相關(guān)操作如下：

其中，為相似度圖，(·)是共享的卷積網(wǎng)絡(luò)，和分別是目標(biāo)模板和搜索區(qū)域。

本文算法和GradNet 算法都引入了梯度信息指導(dǎo)目標(biāo)跟蹤。不過本文算法和GradNet 算法側(cè)重點(diǎn)和優(yōu)勢各不相同。

GradNet 旨在通過更新模板（第一幀目標(biāo)物體）以適應(yīng)目標(biāo)在每一幀的外觀，以獲得更高的模板相似度。GradNet 訓(xùn)練時(shí)計(jì)算損失函數(shù)對(duì)模板特征通道的梯度，并將該梯度連同剛開始提取的模板特征求和后送入共享的卷積網(wǎng)絡(luò)中再一次求取梯度更新網(wǎng)絡(luò)的權(quán)值，相當(dāng)于求取二階梯度，由此得到更新后的模板。

許多Siamese 類跟蹤網(wǎng)絡(luò)使用冗余的特征通道盡量使網(wǎng)絡(luò)模型具有通用性，并且目標(biāo)周圍的干擾物體會(huì)進(jìn)一步影響目標(biāo)的識(shí)別和定位。與GradNet不同，本文致力于解決特征通道冗余和存在干擾物體問題。本文通過計(jì)算損失函數(shù)對(duì)特征通道的反向梯度信息，基于Selvaraju 等提出的方法對(duì)特征通道進(jìn)行排序以剔除冗余通道。此外，本文提出S-P 損失函數(shù)對(duì)干擾物體加以抑制，進(jìn)一步提高跟蹤的精度。

4 結(jié)束語

本文在孿生網(wǎng)絡(luò)框架下，提出了梯度導(dǎo)向的目標(biāo)跟蹤算法，通過梯度導(dǎo)向模塊實(shí)現(xiàn)了針對(duì)不同跟蹤目標(biāo)選擇特定特征通道的目的。同時(shí)針對(duì)目標(biāo)周圍相似干擾物體，利用S-P 損失函數(shù)對(duì)干擾施加懲罰，排除了背景干擾。在獲取分?jǐn)?shù)響應(yīng)圖時(shí)應(yīng)用逐通道互相關(guān)操作，使目標(biāo)物體最終定位更加準(zhǔn)確。在公開數(shù)據(jù)集上測試結(jié)果表明，本文提出的跟蹤算法能夠較好地應(yīng)對(duì)環(huán)境中的光照變化、物體形變、遮擋等不利因素。和當(dāng)前主流算法比較結(jié)果顯示本文算法在跟蹤精度、成功率和魯棒性方面表現(xiàn)良好，達(dá)到了主流算法的性能要求。通過比較算法內(nèi)部各模塊對(duì)總體的貢獻(xiàn)情況，驗(yàn)證了所提出的S-P 損失函數(shù)和M-C 模塊的有效性。本文跟蹤算法基于目標(biāo)初始幀，后續(xù)工作重點(diǎn)是在跟蹤網(wǎng)路中加入時(shí)序模塊，提取視頻序列之間的時(shí)序信息，建立初始幀和后續(xù)幀之間的關(guān)系，進(jìn)一步提高視頻跟蹤的精度。