融合時空上下文信息的雙分支孿生網(wǎng)絡(luò)跟蹤算法

李 旭，譚欽紅

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

1 引 言

目標(biāo)蹤技術(shù)是計算機領(lǐng)域的基礎(chǔ)研究課題之一，在工程實踐中有著廣泛的應(yīng)用，如人機交互、監(jiān)控安防、無人駕駛及軍事戰(zhàn)爭等[1].目標(biāo)跟蹤指的是在給定第一幀圖像和待跟蹤目標(biāo)大小和位置的情況下預(yù)測后續(xù)幀中感興趣目標(biāo)的大小和運動軌跡，實時分析跟蹤目標(biāo)狀態(tài)的一門計算機視覺任務(wù).

目標(biāo)跟蹤算法可以分為兩大類：生成式模型方法和判別式模型方法[2，3].生成式模型方法在當(dāng)前幀中對跟蹤目標(biāo)的外觀進行建模，在后續(xù)視頻幀中尋找與模型最為相似的區(qū)域作為預(yù)測的位置.比較著名的生成類方法有STC[4]、粒子濾波、mean-shift[5]等方法.與生成類方法不同的是，判別類方法將跟蹤問題看做分類問題，使用機器學(xué)習(xí)方法訓(xùn)練一個分類器用于在每一幀中判別目標(biāo)和背景.由于判別類方法訓(xùn)練分類器的過程中加入了背景信息，因此算法魯棒性和準確性更高，跟蹤效果普遍優(yōu)于生成類方法.

基于深度學(xué)習(xí)方法的目標(biāo)跟蹤算法屬于判別類方法的一種.在過去的幾年中，深度學(xué)習(xí)模型已經(jīng)被廣泛應(yīng)用于各種計算機視覺任務(wù)中，如目標(biāo)檢測、目標(biāo)識別等.卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)方法中的一種，由于其提取到的深度特征相較傳統(tǒng)的手工特征具有更強大的特征表征能力，近幾年很多研究者將其引入到目標(biāo)跟蹤任務(wù)中，用于提高跟蹤算法的魯棒性和準確性.隨著計算機視覺在無人駕駛、智能安防等領(lǐng)域中的廣泛應(yīng)用，很多學(xué)者正致力于目標(biāo)跟蹤算法的研究和改進，在這期間涌現(xiàn)出大量優(yōu)秀的目標(biāo)跟蹤算法.

文獻[6]提出一種SINT++目標(biāo)跟蹤算法，SINT++使用變分自編碼方法生成模糊樣本并且使用強化學(xué)習(xí)豐富訓(xùn)練數(shù)據(jù)從而增加跟蹤器在目標(biāo)產(chǎn)生運動模糊情況下的魯棒性，但是SINT++目標(biāo)跟蹤算法計算復(fù)雜性較大，同時需要使用隨機梯度下降算法在線微調(diào)網(wǎng)絡(luò)權(quán)重，算法跟蹤效率較低，難以保證跟蹤任務(wù)的實時性.SiamFC[7]目標(biāo)跟蹤算法將目標(biāo)跟蹤任務(wù)看做相似性學(xué)習(xí)問題，該算法采用一種端到端的全卷積孿生網(wǎng)絡(luò)模型，將目標(biāo)圖片和搜索圖片作為網(wǎng)絡(luò)的輸入以提取目標(biāo)特征，通過互相關(guān)操作計算搜索圖片與目標(biāo)圖片之間的相似度，將相似度最高的區(qū)域作為跟蹤結(jié)果.文獻[8]在SiamFC的基礎(chǔ)上提出了SiamRPN算法，該算法將Faster-RCNN[9]算法提出的區(qū)域推薦網(wǎng)絡(luò)(Region Proposal Network，RPN)整合到孿生網(wǎng)絡(luò)框架中，將用于區(qū)分目標(biāo)和背景的分類分支與用于微調(diào)候選區(qū)域的回歸分支相結(jié)合，使得算法可以同時計算目標(biāo)的位置和形狀，有效地提高了跟蹤算法的跟蹤性能.SiamFC和SiamRPN采用網(wǎng)絡(luò)層數(shù)較淺的AlexNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)簡單，跟蹤速度快，但是淺層網(wǎng)絡(luò)限制了目標(biāo)特征的信息表征能力，導(dǎo)致復(fù)雜條件下的跟蹤效果較差.針對上述問題，Zhang[10]等人在SiamFC和SiamRPN的基礎(chǔ)上提出SiamDW算法，該算法使用較深層次的卷積網(wǎng)絡(luò)作為跟蹤器的主干網(wǎng)絡(luò)，同時使用CIR單元以減弱網(wǎng)絡(luò)填充對跟蹤性能的影響，進一步提高目標(biāo)跟蹤算法的精度.

盡管現(xiàn)有的目標(biāo)跟蹤算法已經(jīng)取得了優(yōu)秀的跟蹤效果，但是依然存在以下問題：現(xiàn)有的跟蹤算法不能有效地對全局空間上下文關(guān)系進行建模，跟蹤算法在快速運動、相似物干擾等復(fù)雜場景下的跟蹤效果較差；同時，現(xiàn)有的大多數(shù)跟蹤算法只使用跟蹤序列第一幀給定的目標(biāo)作為目標(biāo)模板，在后續(xù)跟蹤過程中不進行模板更新操作，這就使得跟蹤器無法很好地適應(yīng)跟蹤目標(biāo)在跟蹤過程中發(fā)生的外觀變化.

本文針對上述問題，提出一種融合時空上下文信息的雙分支孿生網(wǎng)絡(luò)跟蹤算法，該算法由語義分支和外觀分支組成.通過在語義分支中使用全局空間上下文對圖像上距離較遠的像素點進行建模，在有效利用跟蹤目標(biāo)周圍的空間上下文信息的同時，也能夠充分利用不同通道之間的相互依賴關(guān)系，提高網(wǎng)絡(luò)的特征提取能力；在外觀分支中使用時間上下文模塊對目標(biāo)模板特征進行更新，從歷史模板特征中選擇出適合用于模板更新的時間上下文信息，充分利用了跟蹤序列在時間上的相關(guān)性.

2 SiamFC目標(biāo)跟蹤算法

SiamFC網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 SiamFC網(wǎng)絡(luò)示意圖Fig.1 Network diagram of SiamFC

SiamFC[7]跟蹤算法的網(wǎng)絡(luò)結(jié)構(gòu)由兩個分支組成，一個是作為基準的模板分支x，另一個則是待搜索圖片的候選分支z.將目標(biāo)模板圖片x和搜索圖片z輸入進共享權(quán)重的卷積神經(jīng)網(wǎng)絡(luò)φ提取的卷積特征分別為φ(x)和φ(z)，將提取出的卷積特征進行互相關(guān)操作用于計算跟蹤目標(biāo)與待搜索圖片區(qū)域的相似性，相似性的計算公式如下：

f(x，z)=φ(x)*φ(z)+b

(1)

其中*表示互相關(guān)操作，b表示偏置項.

在跟蹤任務(wù)中，作為基準的模板是我們要跟蹤的對象，通常選取視頻序列第一幀中的目標(biāo)作為待跟蹤的對象，搜索圖片則是后續(xù)視頻序列的每一幀圖片.SiamFC目標(biāo)跟蹤算法采用AlexNet網(wǎng)絡(luò)作為特征提取的主干網(wǎng)絡(luò)，首先將大小為127×127×3的模板圖片z和大小為255×255×3的搜索圖片x輸入進共享權(quán)重的卷積神經(jīng)網(wǎng)絡(luò)φ分別得到卷積特征φ(x)和φ(z)，卷積特征φ(x)和φ(z)的大小分別為6×6×128和222×222×128，接著通過對卷積特征φ(x)和φ(z)進行互相關(guān)操作得到特征響應(yīng)圖，最后在特征響應(yīng)圖中尋找響應(yīng)值最高的點，該點在搜索圖片中對應(yīng)的位置則是跟蹤任務(wù)預(yù)測的目標(biāo)位置.

SiamFC目標(biāo)跟蹤算法采用判別式方法對正、負樣本對進行訓(xùn)練，其邏輯損失定義如下：

l(y，v)=log(1+e(-yv))

(2)

其中y∈{+1，-1}，表示樣本標(biāo)簽，正樣本取值為+1，負樣本取值為-1；v表示訓(xùn)練樣本對的真實得分.該算法使用隨機梯度下降方法最小化如下?lián)p失函數(shù)來求解網(wǎng)絡(luò)的權(quán)重θ，損失函數(shù)和優(yōu)化函數(shù)如下所示：

(3)

(4)

其中，L(*)表示單個樣本的平均損失函數(shù)，D表示特征圖上所有像素點的集合，u表示得分集合D中的任意像素點，y[u]∈{+1，-1}表示像素點u的樣本標(biāo)簽值，v[u]表示像素點u的真實得分，N為正樣本數(shù)，θ表示網(wǎng)絡(luò)權(quán)重.通過離線訓(xùn)練，SiamFC能夠?qū)W習(xí)到兩個相似目標(biāo)之間的共性.

圖2 SiamFC跟蹤結(jié)果Fig.2 Tracking results of SiamFC

SiamFC目標(biāo)跟蹤算法使用改進的AlexNet[11]網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，該網(wǎng)絡(luò)層次較淺，特征提取能力不足，容易導(dǎo)致跟蹤器在復(fù)雜跟蹤跟蹤場景下的跟蹤準確性較低，甚至出現(xiàn)丟失目標(biāo)的現(xiàn)象.圖2展示了SiamFC跟蹤算法在Basketball和Bird1序列中的跟蹤結(jié)果，其中虛線為SiamFC跟蹤器的預(yù)測結(jié)果，實線為目標(biāo)的真實位置.從圖2中可以看出，當(dāng)跟蹤場景中存在相似干擾物或者跟蹤目標(biāo)出現(xiàn)外觀變化時，SiamFC跟蹤器的跟蹤效果明顯下降.為了進一步說明問題，本文對SiamFC跟蹤器輸出的響應(yīng)圖進行可視化，可視化圖如圖3所示，第1列和第3列為待跟蹤序列中的某幀圖片，第2列和第4列為左側(cè)視頻幀對應(yīng)得分圖的可視化效果圖.從圖3中可以看出，在復(fù)雜背景情況下，SiamFC跟蹤器輸出的響應(yīng)圖在跟蹤目標(biāo)周圍物體處也有較高的響應(yīng)值，無法有效地區(qū)分跟蹤目標(biāo)和周圍物體.

圖3 響應(yīng)圖可視化Fig.3 Visualization of score maps

3 本文算法

3.1 問題描述

SiamFC目標(biāo)跟蹤算法使用改進的AlexNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，該網(wǎng)絡(luò)網(wǎng)絡(luò)層次較淺，特征提取能力較弱.常規(guī)的卷積操作都是對局部區(qū)域進行的操作，這類局部操作只注重目標(biāo)局部區(qū)域之間的聯(lián)系，無法有效建模兩個長距離像素點之間的相互關(guān)系.同時，在一張圖片中，不同目標(biāo)對深度特征中不同特征通道的敏感性不同，傳統(tǒng)的卷積特征無法有效利用不同通道之間依賴關(guān)系.原始的SiamFC算法使用第一幀圖片給出的跟蹤目標(biāo)作為目標(biāo)模板，在目標(biāo)跟蹤過程中不進行模板更新操作，當(dāng)跟蹤目標(biāo)的外觀因光照變化、形變等復(fù)雜跟蹤場景而發(fā)生變化時，無法有效地捕獲跟蹤目標(biāo)的外觀變化信息.針對上述問題，本文提出了一種融合時空上下文信息的雙分支孿生網(wǎng)絡(luò)跟蹤算法，該算法包括了基于全局空間上下文模塊的語義分支和基于時間上下文模塊的外觀分支，具體的網(wǎng)絡(luò)結(jié)構(gòu)將在后面章節(jié)進行詳細介紹.

本文提出了一種融合時空上下文信息的雙分支孿生網(wǎng)絡(luò)跟蹤算法，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，整個網(wǎng)絡(luò)由語義分支和外觀分支組成，語義分支用于獲取跟蹤目標(biāo)的語義信息，外觀分支負責(zé)獲取跟蹤目標(biāo)的外觀信息.

圖4 網(wǎng)絡(luò)總體結(jié)構(gòu)圖Fig.4 Overall network structure

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

原始的SiamFC網(wǎng)絡(luò)的特征提取部分采用改進的AlexNet網(wǎng)絡(luò)，將AlexNet網(wǎng)絡(luò)的全連接層去除，并且去除第5個卷積層后的ReLU函數(shù)和池化層，在前2個卷積層后采用最大池化操作.然而AlexNet的網(wǎng)絡(luò)層次較淺，無法有效地提取出跟蹤目標(biāo)的高層語義信息，這就使得跟蹤器在復(fù)雜場景下的魯棒性較差.針對這一問題，本文在原始SiamFC跟蹤算法的基礎(chǔ)增加了語義分支.因VGG16[12]網(wǎng)絡(luò)良好的遷移性，增加的語義分支使用改進的VGG16網(wǎng)絡(luò)來提高網(wǎng)絡(luò)的特征提取能力.VGG16網(wǎng)絡(luò)較小的卷積核在保證神經(jīng)網(wǎng)絡(luò)的感受域不變的情況下，能夠增加網(wǎng)絡(luò)的深度，從而使得網(wǎng)絡(luò)能夠提取出更多的語義信息.為了使網(wǎng)絡(luò)既能夠?qū)W習(xí)到圖片的局部信息，又能夠充分利用圖片的全局信息、建模不同通道之間的依賴關(guān)系，本文算法在改進的VGG16網(wǎng)絡(luò)中引入全局空間上下文模塊.全局空間上下文模塊不僅能夠建立圖像中兩個長距離像素點之間的聯(lián)系，充分利用圖像的空間上下文關(guān)系，而且也可以有效地利用不同通道之間的依賴關(guān)系，提高跟蹤算法在復(fù)雜跟蹤場景下的穩(wěn)健性.

外觀分支的網(wǎng)絡(luò)結(jié)構(gòu)與原始SiamFC跟蹤器相同，都使用改進的AlexNet網(wǎng)絡(luò)作為主干網(wǎng)絡(luò).原始SiamFC跟蹤算法僅使用第一幀給定的目標(biāo)圖片作為模板，在后續(xù)跟蹤過程中不進行模板更新，這就使得跟蹤目標(biāo)可能因后續(xù)跟蹤過程中出現(xiàn)的形變、光照變化等復(fù)雜跟蹤場景而造成強烈的外觀變化，最終導(dǎo)致跟蹤器無法正常定位跟蹤目標(biāo).為了緩解跟蹤算法在后續(xù)跟蹤過程中因外觀變化而導(dǎo)致的跟蹤性能下降的問題，本算法在外觀分支中引入了時間上下文模塊用于更新目標(biāo)模板特征，進一步提高跟蹤器在光照、形變等復(fù)雜跟蹤場景下的跟蹤性能.時間上下文模塊通過學(xué)習(xí)的方式從歷史模板特征中有選擇性地提取出適合用于模板更新的時間上下文信息，充分利用了跟蹤序列在時間上的相關(guān)性.我們將在后續(xù)章節(jié)中詳細介紹本文算法的細節(jié).

3.3 外觀分支

外觀分支使用與SiamFC相同的改進AlexNet網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò).為了使跟蹤器能夠適應(yīng)跟蹤目標(biāo)的外觀變化，本文使用一種時間上下文模塊用于更新跟蹤目標(biāo)的模板特征，其能夠自適應(yīng)地從歷史模板特征中學(xué)習(xí)到有用的歷史模板特征，有效地對跟蹤序列的時間上下文信息進行建模，進而為后續(xù)跟蹤幀估計出最優(yōu)模板.

當(dāng)跟蹤目標(biāo)周圍存在相似干擾物或者跟蹤目標(biāo)被遮擋時，歷史目標(biāo)模板中存在大量背景噪聲，如果此時更新目標(biāo)模板，眾多的背景雜波將造成目標(biāo)模板被嚴重污染.因此，在更新歷史目標(biāo)模板時需要對跟蹤結(jié)果的可靠性進行判定，平均峰值相關(guān)能量(Average Peak-to-Correlation Energy，APCE)值可以體現(xiàn)跟蹤結(jié)果的可靠性，其定義如下所示：

(5)

其中，F(xiàn)max表示響應(yīng)圖的最大值，F(xiàn)min表示響應(yīng)圖的最小值，F(xiàn)i，j表示響應(yīng)圖中第i行第j列的響應(yīng)值，mean(*)表示取平均操作.

理想情況下的響應(yīng)圖呈現(xiàn)單峰狀態(tài)，此時最大響應(yīng)值和APCE值較大；當(dāng)跟蹤目標(biāo)出現(xiàn)背景雜波或者跟蹤目標(biāo)被周圍物體遮擋時，響應(yīng)圖中存在多個峰值位置，此時最大響應(yīng)值和APCE值將會減小.本文使用響應(yīng)圖峰值和APCE值的變化趨勢來判斷跟蹤結(jié)果得可靠性，其判別式如式(6)所示：

(6)

其中APCEcur表示當(dāng)前幀響應(yīng)圖的APCE值，APCEi表示第i幀響應(yīng)圖的APCE值，(Fmax)cur表示當(dāng)前幀響應(yīng)圖中的峰值，(Fmax)i表示第i幀響應(yīng)圖中的峰值，N表示總歷史圖像幀數(shù).當(dāng)響應(yīng)圖滿足式(6)時，表示當(dāng)前幀中的跟蹤結(jié)果較可靠，此時可以將當(dāng)前幀中的模板加入到歷史模板庫中用于更新目標(biāo)模板；否則，表示當(dāng)前幀中的跟蹤結(jié)果不可靠，停止模板更新操作.

本文使用一種時間上下文模塊對目標(biāo)模板進行更新，其通過學(xué)習(xí)的方式自適應(yīng)地從歷史模板特征中獲得適合用于更新模板的時間上下文信息.時間上下文模塊的結(jié)構(gòu)示意圖如圖5所示.

圖5 時間上下文模塊示意圖Fig.5 Network diagram of temporal context module

假設(shè)首幀模板特征為X∈RC×H×W，歷史模板特征為Y={Y1，Y2，…，YT}∈RT×C×H×W，其中C表示特征維度，H表示特征圖高度，W表示特征圖寬度，T表示時間維度.首先將首幀模板特征X輸入進卷積核大小為1×1的卷積層得到卷積特征Xk∈RC/4×H×W，將每一個時間維度的歷史模板特征輸入進兩個1×1大小的卷積層，并將得到的卷積特征按時間維度連接起來，得到卷積特征Yk={Yk1，Yk2，…，YkT}∈RT×C/4×H×W和Yv={Yv1，Yv2，…，YvT}∈RT×C/4×H×W.

使用首幀模板特征Xk和歷史模板特征Yk計算相似性矩陣，相似性矩陣用于對歷史模板特征進行篩選，從而選擇出適合用于更新模板的歷史信息.

Xattn=Xk·Yk∈RHWT×HW

(7)

使用計算得到的相似性矩陣從歷史模板特征中選擇適合用于更新目標(biāo)模板的歷史特征，具體來說就是將得到的相似性權(quán)重矩陣按列進行softmax操作，然后將其與歷史模板特征Yv進行點乘，從歷史模板特征中得到重要性較高的時間上下文信息.

(8)

其中，softmaxcol(*)表示按列進行softmax操作.

最后將提取出的時間上下文信息輸入進卷積核大小為1×1的卷積層進行升維，并將輸出的特征與首幀模板特征逐像素相加，最終得到包含了時間上下文信息的模板特征.

(9)

其中，conv1×1表示卷積核大小為1×1的卷積操作.

整個時間上下文模塊中包含了很多必要的矩陣轉(zhuǎn)換操作，外觀分支中特征提取網(wǎng)絡(luò)的訓(xùn)練與原始SiamFC跟蹤算法相同.為了優(yōu)化時間上下文模塊，本文使用L2損失函數(shù)進行訓(xùn)練，損失函數(shù)如式(10)所示，其表示更新后的目標(biāo)模板特征與下一幀中真實框的目標(biāo)模板之間的歐式距離.

(10)

3.4 語義分支

在語義分支中，使用改進的VGG16作為特征提取的主干網(wǎng)絡(luò)，在VGG16網(wǎng)絡(luò)的基礎(chǔ)上引入全局空間上下文[13]模塊，使得網(wǎng)絡(luò)在建?？臻g上下文信息的同時，也能夠很好地建模不同通道之間的相互關(guān)系，從而提高深度特征的表征能力.空間上下文模塊如圖6所示.

圖6 空間上下文模塊示意圖Fig.6 Network diagram of spatio context module

(11)

使用一種擴展的矩陣加法操作融合輸入特征與全局注意力向量，即將全局注意力向量每一個通道的特征值與原始矩陣對應(yīng)通道上所有位置的特征值進行相加，得到最終的全局上下文矩陣XG.

(12)

其中，⊕表示擴展的矩陣加法操作.

全局空間上下文是一個輕量級的模塊，在建模空間上下文信息、有效利用不同通道之間相互依賴關(guān)系的同時，只增加的少量的計算量，沒有增加網(wǎng)絡(luò)的負載.語義分支的訓(xùn)練與原始SiamFC算法相同.

3.5 響應(yīng)圖加權(quán)融合

本文在SiamFC跟蹤算法的基礎(chǔ)上進行改進，網(wǎng)絡(luò)結(jié)構(gòu)包括了外觀分支和語義分支，將兩個分支各自生成的響應(yīng)圖進行加權(quán)平均操作，得到改進跟蹤算法最終的響應(yīng)圖.

h=μha+(1-μ)hs

(13)

其中，ha、hs分別表示外觀分支和語義分支各自的響應(yīng)圖，h表示改進跟蹤算法最終的響應(yīng)圖.經(jīng)過實驗，融合系數(shù)μ取值為0.4時跟蹤效果最佳.

4 實 驗

4.1 實驗說明

本文在windows7系統(tǒng)上使用Pytorch[14]深度學(xué)習(xí)框架實現(xiàn)本文算法，在Intel i3-9100F 3.60GHz的處理器上對本文網(wǎng)絡(luò)結(jié)構(gòu)進行訓(xùn)練和測試，并采用GTX1080Ti GPU進行加速.采用ILSRVC2015[15]數(shù)據(jù)集訓(xùn)練語義分支和外觀分支中的特征提取網(wǎng)絡(luò)，語義分支與外觀分支獨立進行訓(xùn)練，訓(xùn)練方式與SiamFC相同.采用LaSOT[16]數(shù)據(jù)集中隨機選擇的10個類型的視頻序列訓(xùn)練外觀分支中的時間上下文模塊.為了驗證本文算法的性能，本文采用OTB50[16]評測工具對本算法構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)進行測試.

在本文實驗中，我們選擇7個具有代表性的目標(biāo)跟蹤算法進行對比分析，這些算法包括本文算法的基準SiamFC以及SiamRPN、SiamDW、CFNet[17]、DaSiamRPN[18]、KCF[19]、Staple[20]、DSST[21]、DCFNet[22].

4.2 定量分析

為了定量分析本文提出的改進孿生網(wǎng)絡(luò)跟蹤算法的性能，本文使用一次評估(OPE)方法作為跟蹤效果的評價指標(biāo).一次評估方法主要考慮中心位置誤差和重疊率兩方面的因素從而繪制出成功率圖和精確度圖.在OTB50基準上，不同算法的成功率對比結(jié)果圖和精確度對比圖如圖7所示.

圖7 OPE結(jié)果示意圖Fig.7 Results of OPE

從圖7可以看出，得益于時空上下文信息的有效利用，本文算法在OTB50標(biāo)準數(shù)據(jù)集上的精確度和成功率分別達到86.0% 和81.7%，優(yōu)于大部分參與對比的跟蹤算法，比基準算法SiamFC分別提高了5.1個百分點和3.4個百分點，顯著提高了跟蹤性能.相比于同樣使用SiamFC目標(biāo)跟蹤算法作為基礎(chǔ)算法進行改進的CFNet和SiamRPN目標(biāo)跟蹤算法，由于本文算法利用了更多的時空上下文信息，具有更強的上下文感知能力，同時本文算法在利用跟蹤目標(biāo)的淺層表觀信息的同時，也有效利用了跟蹤目標(biāo)的深層語義信息，因此跟蹤性能進一步提高，在精確度上分別高于CFNet和SiamRPN目標(biāo)跟蹤算法5個百分點和0.6個百分點，在成功率上分別高于CFNet和SiamRPN目標(biāo)跟蹤算法3.7個百分點和2.0個百分點，充分驗證了本文算法的有效性.

為了進一步驗證本文改進算法的有效性，本小節(jié)對雖有對比算法在OTB50數(shù)據(jù)集中11個不同跟蹤屬性下的準確率和成功率進行統(tǒng)計，統(tǒng)計結(jié)果如表1～表4所示.

表1 不同屬性下的準確率表Table 1 Accuracy tableunder different attributes

從表1～表4中可以看出，本文算法雖然在綜合性能上較DaSiamRPN和SiamDW跟蹤算法要低，但是在快速運動、運動模糊、平面內(nèi)旋轉(zhuǎn)和背景雜波等多個跟蹤場景下的準確率均比DaSiamRPN和SiamDW跟蹤算法高，在快速運動和運動模糊跟蹤場景下得成功率也比DaSiamRPN和SiamDW跟蹤算法高.由于本文算法充分利用了跟蹤目標(biāo)的空間上下文信息，因此在背景雜波場景下，本文算法準確率和成功率較基準算法SiamFC分別提高了3.8和8.3個百分點.得益于時間上下文信息的利用，本文算法能夠很好地適應(yīng)跟蹤過程中跟蹤目標(biāo)的外觀變化，在光照變化、形變等跟蹤場景下，本文算法較基準算法SiamFC有較大的性能提升，比大部分對比算法的跟蹤性能都要好.總體來說，本文算法在快速運動、運動模糊、背景雜波、光照變化、形變等復(fù)雜跟蹤場景下的跟蹤性能優(yōu)于大部分對比算法.

表2 不同屬性下的準確率表Table 2 Accuracy tableunder different attributes

表3 不同屬性下的成功率表Table 3 Success rate tableunder different attributes

表4 不同屬性下的成功率表Table 4 Success rate tableunder different attributes

4.3 定性分析

為了更進一步驗證本文算法得有效性，我們分別從Diving、Soccer和Matrix這3個視頻序列中截取了3組圖片，如圖8所示.通過對各種算法的跟蹤結(jié)果進行對比，發(fā)現(xiàn)本文的算法在運動模糊、形變和背景雜波等復(fù)雜情況下比較穩(wěn)健.本小節(jié)結(jié)合測試數(shù)據(jù)集的不同難點屬性以及各個算法的可視化結(jié)果，對不同的跟蹤算法進行對比分析.

圖8 跟蹤結(jié)果示意圖Fig.8 Schematic diagram of tracking results

在Diving視頻中，跳水運動員在跳水運動過程中，跟蹤目標(biāo)的的外形在發(fā)生連續(xù)變化.從第171幀開始，除了DaSiamRPN、DCFNet和本文算法外，其余算法均無法正常定位目標(biāo).DaSiamRPN和DCFNet算法雖然能夠定位到跟蹤目標(biāo)，但是對跟蹤目標(biāo)邊框的預(yù)測效果比本文算法差.由于使用了時間上下文模塊以更新目標(biāo)模板，本文算法能夠很好地適應(yīng)運動員在跳水過程中的形體變化，對跟蹤目標(biāo)邊框的預(yù)測效果更佳.

在Soccer視頻中，跟蹤目標(biāo)所處的環(huán)境存在運動模糊、背景雜波的干擾，且跟蹤物體的外觀也在發(fā)生連續(xù)變化.在第342幀時，由于跟蹤目標(biāo)周圍存在背景雜波且發(fā)生運動模糊現(xiàn)象，除本文算法和CFNet外，其余跟蹤算法均無法很好地定位跟蹤目標(biāo).與CFNet跟蹤結(jié)果相比，本文算法對跟蹤目標(biāo)尺寸的預(yù)測效果要優(yōu)于CFNet.得益于語義信息的利用和空間上下文模塊的引入，本文算法在背景雜波、運動模糊等復(fù)雜場景下依然能夠有效地預(yù)測跟蹤目標(biāo)的位置和大小.

在Matrix視頻中，跟蹤目標(biāo)處于快速移動狀態(tài)下，同時跟蹤目標(biāo)的外形發(fā)生變化且周圍存在背景雜波.第42幀中，由于跟蹤目標(biāo)自身形變的影響，除了DaSiamRPN、SiamRPN和本文算法外，其余對比跟蹤算法均出現(xiàn)跟蹤丟失現(xiàn)象.第91幀中，本文算法雖然對跟蹤目標(biāo)邊框的預(yù)測效果有所下降，但是依然能夠有效地定位跟蹤目標(biāo)的位置.相較于其他算法，本文算法能夠很好地適應(yīng)視頻序列中出現(xiàn)的快速運動、背景雜波、形變等多種跟蹤場景.

5 結(jié) 論

本文提出的模型是在SiamFC目標(biāo)跟蹤算法的基礎(chǔ)上，創(chuàng)造性地引入時空上下文模塊來提升在快速運動、運動模糊、背景雜波、形變等復(fù)雜場景下的模型的跟蹤性能，該算法包含基于空間上下文模塊的語義分支和基于時間上下文模塊的外觀分支.將VGG16網(wǎng)絡(luò)作為語義分支的主干網(wǎng)絡(luò)，通過在語義分支主干網(wǎng)絡(luò)中嵌入全局空間上下文模塊，使得網(wǎng)絡(luò)在有效建模空間上下文關(guān)系的同時也有效利用了不同通道之間的依賴關(guān)系，有助于提升圖像特征的表征能力.使用時間上下文模塊以更新外觀分支的模板特征，使得跟蹤器能夠適應(yīng)跟蹤目標(biāo)在跟蹤過程中的外觀變化，進一步提升目標(biāo)跟蹤的性能.經(jīng)過在OTB50數(shù)據(jù)集上的實驗驗證，跟蹤性能相較于基準跟蹤算法SiamFC有顯著提高，尤其是當(dāng)目標(biāo)處于快速運動、運動模糊、形變、背景雜波等復(fù)雜場景時，本文算法的性能明顯優(yōu)于對比的其他算法.但是本文算法在目標(biāo)發(fā)生遮擋、目標(biāo)出視野等跟蹤場景下，跟蹤效果仍有待提高，這些問題都是未來需要進一步研究的工作重點.