基于距離加權(quán)重疊度估計與橢圓擬合優(yōu)化的精確目標跟蹤算法

王 寧，宋慧慧，張開華

（1.江蘇省大數(shù)據(jù)分析技術(shù)重點實驗室（南京信息工程大學），南京 210044；2.江蘇省大氣環(huán)境與裝備技術(shù)協(xié)同創(chuàng)新中心（南京信息工程大學），南京 210044）

0 引言

目標跟蹤是計算機視覺領(lǐng)域中一項關(guān)鍵的基礎(chǔ)性任務(wù)，其難點在于無法事先預(yù)知目標信息，僅在跟蹤時定義目標，并要求推理出后續(xù)視頻中目標的位置及其尺度信息，這是一種典型的訓練樣本少、待推理樣本多的小樣本學習任務(wù)（Few-Shot-Learning）。目標跟蹤技術(shù)廣泛應(yīng)用于人機交互、自動駕駛、智能安防、交通監(jiān)控、警務(wù)偵查和國防安全等重要場景。盡管此類技術(shù)的相關(guān)研究［1］已取得顯著進展，但跟蹤算法在處理非剛性形變、快速運動、目標干擾等復雜情況時仍存在嚴重不足，因此，視頻目標跟蹤問題依然具有極高的研究價值。

本文主要討論短時的單目標跟蹤問題。解決單目標跟蹤問題的算法主要有三類：基于檢測的算法、基于孿生網(wǎng)絡(luò)的算法以及基于相關(guān)濾波的跟蹤算法。隨著目標檢測領(lǐng)域的快速發(fā)展，涌現(xiàn)出了一系列優(yōu)秀的檢測相關(guān)跟蹤算法［2-3］，此類跟蹤算法利用檢測器檢測視頻中的感興趣目標，并對視頻圖像之間的時序關(guān)系進行建模，來獲得感興趣目標的運動軌跡。此類算法在一定程度上解決了目標遮擋、目標消失重現(xiàn)問題；但由于檢測速度受限，基于檢測的跟蹤算法難以滿足實際應(yīng)用場景的需求。近幾年受全卷積孿生網(wǎng)絡(luò)（Fully-Convolutional Siamese Network，Siam-FC）［4］跟蹤算法的啟發(fā)，研究人員提出了一系列的基于孿生網(wǎng)絡(luò)的跟蹤算法［5-6］，其原理是利用卷積神經(jīng)網(wǎng)絡(luò)將目標和搜索區(qū)域的圖像映射到高維的特征空間中，并在特征空間中計算目標向量與搜索區(qū)域向量之間的特征相似程度，從而尋找到相似程度最大向量的空間位置，從而實現(xiàn)跟蹤定位。此類算法采用第一幀圖像作為模板進行匹配，避免了在線訓練更新模型，從而顯著提高了算法運行速度，推動了跟蹤算法領(lǐng)域的進一步發(fā)展。然而孿生網(wǎng)絡(luò)的算法也存在明顯不足：首先，因其采用“以圖搜圖”的機制，僅利用第一幀的目標區(qū)域作為模板進行匹配，難以處理相似物體較多的場景；其次，由于缺乏完備的在線更新機制，孿生網(wǎng)絡(luò)算法應(yīng)對目標外觀劇烈變化場景的泛化能力不足；最后，孿生網(wǎng)絡(luò)跟蹤算法模型在離線訓練時需要海量的數(shù)據(jù)，并預(yù)設(shè)較多人工設(shè)計的超參數(shù)，對計算資源需求較大，在處理未知物體的跟蹤場景中表現(xiàn)不佳，遇到了發(fā)展瓶頸。

基于相關(guān)濾波的跟蹤算法明顯區(qū)別于前述兩種類型。此類算法同時利用圖像目標和背景區(qū)域訓練一個分類器（相關(guān)濾波器），用以對新視頻幀的目標和背景區(qū)域進行分類，從而實現(xiàn)定位。伴隨著卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，此類算法從傳統(tǒng)手工特征提取逐漸向深度神經(jīng)網(wǎng)絡(luò)特征提取過渡，出現(xiàn)了一系列相關(guān)濾波與深度特征結(jié)合的跟蹤算法［7-11］，此類跟蹤算法需定時重新優(yōu)化分類器的參數(shù)，以保證其強判別能力。但相較于基于孿生網(wǎng)絡(luò)的最新算法，相關(guān)濾波類的算法在估計目標尺度的準確度方面依然存在巨大的差距。準確地估計目標物體的尺度對于衡量算法的性能至關(guān)重要，因此本文從改進相關(guān)濾波類算法的尺度估計方面進行深入研究。

針對相關(guān)濾波類跟蹤算法中的跟蹤漂移和尺度估計精度低的問題，本文提出了一種基于距離加權(quán)的重疊度估計和橢圓擬合優(yōu)化的精確目標跟蹤算法（Accurate object tracking algorithm based on Distance Weighting Overlap Prediction and Ellipse Fitting Optimization，DWOP-EFO），此算法考慮了跟蹤過程中的空間位置信息以提高算法穩(wěn)定性；同時，引入目標分割思想優(yōu)化目標的輪廓，以得到最佳旋轉(zhuǎn)矩形框，提升精度，進而提升算法整體性能。將本文算法應(yīng)用在基線算法上，并在兩個通用標準數(shù)據(jù)集上進行了對比實驗，實驗結(jié)果驗證了本文算法的有效性。

1 本文算法

本文跟蹤算法主要包括兩個部分：距離加權(quán)的重疊度估計和橢圓擬合優(yōu)化輸出。如圖1 所示：前者包含動態(tài)錨框生成模塊、特征提取網(wǎng)絡(luò)、特征調(diào)制信息提取器、目標定位分類器、距離加權(quán)的錨框質(zhì)量評價器（Distance weighted Intersection Over Union Predictor，DIOU）和錨框優(yōu)化模塊；后者包括目標分割模塊、橢圓擬合模塊和狀態(tài)輸出模塊。該算法主要思想是從跟蹤任務(wù)的角度看待動態(tài)錨框的空間位置信息對跟蹤性能的影響，從而提出將錨框的中心與目標中心之間的距離因素作為評價錨框的質(zhì)量分數(shù)的因素之一。與此同時，隨著視頻內(nèi)容分析應(yīng)用的快速發(fā)展，復雜場景對跟蹤器的跟蹤精度提出了新要求，為了進一步提升跟蹤器的性能，本文提出一種將目標跟蹤與目標分割相結(jié)合的算法，并采用橢圓擬合的方式對分割結(jié)果進行優(yōu)化，以進一步提升算法的精度。本文算法的簡要步驟是：定位、優(yōu)化最佳的動態(tài)矩形框、分割目標區(qū)域、橢圓擬合輸出旋轉(zhuǎn)矩形框、根據(jù)置信度的狀態(tài)輸出最佳結(jié)果。

圖1 本文算法框架Fig.1 Framework of proposed algorithm

1.1 基于相關(guān)濾波的跟蹤算法

基于相關(guān)濾波的跟蹤任務(wù)可分解為兩個子任務(wù)：第一是目標定位任務(wù)，第二是尺度估計任務(wù)。采用深度特征網(wǎng)絡(luò)的相關(guān)濾波算法展現(xiàn)出了較強判別能力，在跟蹤器穩(wěn)定性上實現(xiàn)了大幅提升。此類算法利用參考幀圖像及其標簽在線訓練一個具有前、背景判別能力的相關(guān)濾波器，進而對目標執(zhí)行定位操作，訓練濾波器時的目標函數(shù)表達如式（1）：

其中：xj表示提取模板圖像所得訓練樣本特征；ω表示相關(guān)濾波器參數(shù)；f(xj；ω)表示變量執(zhí)行互相關(guān)操作；yj是樣本的標簽信息，是由標注信息矩形框轉(zhuǎn)化得到的高斯偽標簽；γj是第j個樣本權(quán)重表示樣本對相關(guān)濾波器的影響程度；λk是權(quán)重參數(shù)ωk的正則化系數(shù)。通過最小化目標函數(shù)L(ω)的值，來優(yōu)化相關(guān)濾波器ω的參數(shù)，經(jīng)過一定次數(shù)的迭代即可訓練優(yōu)化得到高判別性的相關(guān)濾波器參數(shù)，從而可實現(xiàn)對后續(xù)圖像中的目標的定位。

為了準確地估計出目標的最佳矩形框，ATOM［9］借鑒了基于獲取定位置信度的準確目標檢測算法IOU-Net［13］的思想，在目標定位點（錨點）附近隨機生成n個動態(tài)錨框，通過預(yù)測動態(tài)錨框的質(zhì)量分數(shù)的方式優(yōu)化出質(zhì)量分數(shù)最大的目標預(yù)測框，使跟蹤器性能得到了大幅提升。但這種評價錨框的質(zhì)量分數(shù)的算法僅考慮了重疊度這一因素，無法處理以下情況，如圖2 所示：實線框為目標真實標簽，虛線框是在定位點附近隨機生成一個動態(tài)錨框。當圖2 中的動態(tài)錨框（圖中虛線框）尺寸相同即重疊度值相同，如式（2）所表達，但空間位置不同，如圖2（a）、（b）、（c）中情況。

其中：IOU為實線框與虛線框交集面積與并集面積之比值。目前現(xiàn)有的錨框質(zhì)量評價網(wǎng)絡(luò)認為圖中的三個虛線框的質(zhì)量是相同的，此時無法選出最優(yōu)的結(jié)果。但實際上在視頻跟蹤過程中，越靠近目標中心的錨框的質(zhì)量應(yīng)該越高，原因在于跟蹤器在線更新過程中會將預(yù)測結(jié)果作為新的樣本信息進行訓練，偏離目標中心位置的錨框信息容易使得分類器累積過多誤差，導致跟蹤定位漂移到其他目標上。設(shè)動態(tài)錨框的實際質(zhì)量為Q，那么圖2 中動態(tài)錨框的客觀質(zhì)量應(yīng)為：Qa＜Qb＜Qc。由此可見，僅采用區(qū)域重疊度指標來評價動態(tài)錨框質(zhì)量的方式，存在指標單一，不適應(yīng)于跟蹤任務(wù)的問題。

圖2 IOU相同但空間位置不同對比Fig.2 Comparison of same IOU with different spatial location

1.2 距離加權(quán)的重疊度估計網(wǎng)絡(luò)

通常目標尺度估計算法有：尺度金字塔搜索［12］、區(qū)域推薦網(wǎng)絡(luò)［13］和區(qū)域重疊度估計法［14］。此三種尺度估計方式在目標檢測領(lǐng)域得到了成熟應(yīng)用，并且尺度金字塔搜索和區(qū)域推薦網(wǎng)絡(luò)技術(shù)也廣泛應(yīng)用在跟蹤領(lǐng)域中，目標尺度估計的性能得到了提升?；谥丿B度最大化的準確跟蹤（Accurate Tracking by Overlap Maximization，ATOM）算法［9］首次將重疊度估計［14］的思想應(yīng)用于跟蹤領(lǐng)域，并顯著提升了目標尺度估計的性能指標。

區(qū)域重疊度估計算法是通過預(yù)測動態(tài)錨框的質(zhì)量分數(shù)來篩選出目標最佳矩形框。其中動態(tài)錨框是在定位點周圍隨機生成的多個不同尺度的矩形框。其質(zhì)量分數(shù)采用預(yù)測框與標注框之間的區(qū)域重疊度交并比（Intersection Over Union，IOU）表示。通過對各動態(tài)錨框的質(zhì)量分數(shù)進行排序即可優(yōu)化得到目標的最佳尺度。這種預(yù)測動態(tài)錨框質(zhì)量分數(shù)的算法，相較于尺度金字塔搜索［11］和區(qū)域推薦網(wǎng)絡(luò)［12］，具有尺度搜索空間小、尺度比例變化靈活、計算量少、搜索速度快的優(yōu)點。

但上述錨框質(zhì)量分數(shù)的計算算法僅僅考慮了矩形框集合之間的關(guān)系，并未考慮視頻跟蹤任務(wù)的定位需求，忽略了錨框與真實目標空間上的相對位置對跟蹤性能的重要影響。在跟蹤任務(wù)中，早期的定位誤差會隨視頻流而放大，導致跟蹤過程中發(fā)生模型漂移、跟蹤失敗等問題。

為了解決現(xiàn)有錨框質(zhì)量評價方式單一、不適合跟蹤任務(wù)的問題，本文改進原有錨框質(zhì)量評價網(wǎng)絡(luò)，設(shè)計了一個考慮區(qū)域中心距離的新的錨框質(zhì)量評價網(wǎng)絡(luò)。如圖3所示，矩形S表示目標區(qū)域，矩形框R表示動態(tài)錨框，圖3（a）表示僅采用重疊度分數(shù)值作為計算指標，其值為兩個集合的交集與這兩個集合并集的商，計算方式如式（3）：

為了將空間距離因素考慮到目標的質(zhì)量評價中來，受目標檢測算法［15］啟發(fā)，在目標跟蹤算法中引入空間距離d，其中d表示目標區(qū)域S與矩形框區(qū)域R的區(qū)域中心點之間歐氏距離，從而形成新的錨框的質(zhì)量評價器：距離加權(quán)的錨框質(zhì)量評價器（DIOU），如圖3（b）、（c）所示為IOU 和DIOU 分數(shù)計算算法示意圖，其中DIOU計算如式（4）所示：

其中：c2表示兩框并集的最小閉包框的對角線歐氏距離的平方，用來歸一化不同尺度的矩形框；d2(S，R)表示計算區(qū)域S和區(qū)域R中心點之間的歐氏距離d的平方?？梢园l(fā)現(xiàn)DIOU是在IOU 的基礎(chǔ)上增加了距離因素的懲罰項，用來衡量動態(tài)錨框的空間位置對其質(zhì)量分數(shù)的影響。經(jīng)過離線訓練的DIOU 預(yù)測網(wǎng)絡(luò)能夠從跟蹤算法的角度對動態(tài)錨框的質(zhì)量進行客觀準確評價，最終優(yōu)化出重疊度高同時又處于目標中心附近的結(jié)果。

圖3 IOU和DIOU分數(shù)計算算法示意圖Fig.3 Schematic diagram of computing algorithm for IOU and DIOU scores

1.3 集成輕量目標分割網(wǎng)絡(luò)的跟蹤框架

隨著人工智能技術(shù)快速發(fā)展，高性能計算設(shè)備快速迭代，為性能更好的跟蹤器提供了硬件基礎(chǔ)。視覺目標跟蹤領(lǐng)域的競賽（Video Object Tracking，VOT）［16］每年都會提出非常具有挑戰(zhàn)性的評測數(shù)據(jù)，來評判算法的跟蹤性能。其數(shù)據(jù)集人工標注的效果如圖4（a）所示，從早期標注的邊長垂直坐標軸的正矩形框演變?yōu)槿缃褡钚聵俗⒌男D(zhuǎn)矩形框。數(shù)據(jù)集標注形式越精細，對跟蹤算法的性能要求就越高，給跟蹤器的設(shè)計帶來了巨大挑戰(zhàn)。能否輸出高精度的旋轉(zhuǎn)矩形框成為提升算法性能的關(guān)鍵。受孿生網(wǎng)絡(luò)系列算法［17］啟發(fā)，本文提出在相關(guān)濾波跟蹤網(wǎng)絡(luò)框架中增加輕量化的離線訓練的目標分割網(wǎng)絡(luò)分支［18］來實現(xiàn)對跟蹤目標鄰域前、背景的分割，借助分割算法獲取目標的精確輪廓，實現(xiàn)精度進一步提升。

圖4 本文算法在不同階段的跟蹤結(jié)果。Fig.4 Tracking results of proposed algorithm in different stages

網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，目標分割網(wǎng)絡(luò)對跟蹤器可以表示如式（5）：

其中：Icroped表示所裁剪的跟蹤目標及其附近范圍的圖像；Fθ()表示提取圖像特征的骨架網(wǎng)絡(luò)；Mask()是分割網(wǎng)絡(luò)模型，用來對目標前、背景進行分割；Output表示網(wǎng)絡(luò)輸出的分割結(jié)果，如圖4（b）所示中的汽車，分割蒙板（mask）將汽車覆蓋住，呈現(xiàn)淺色。目標分割網(wǎng)絡(luò)分支將目標從背景區(qū)域內(nèi)分割出來為后續(xù)進一步獲取目標輪廓、優(yōu)化目標尺度、輸出目標的旋轉(zhuǎn)矩形框提供了可能。

1.4 橢圓優(yōu)化估計目標尺度的最佳尺度

分割蒙版（mask）經(jīng)過形態(tài)學處理可以直接得到目標輪廓以及輪廓的最小閉包框，如一種快速在線目標跟蹤與分割的統(tǒng)一算法SiamMask［17］。但由于受到分割噪聲的干擾，直接求最小閉包框的方式容易導致目標矩形框尺度變化過快、抖動劇烈、無法正確反映目標的真實外觀姿態(tài)，對跟蹤器的性能產(chǎn)生不利影響。而基于旋轉(zhuǎn)矩形框的快速跟蹤算法SiamMask-E［19］中提出的旋轉(zhuǎn)矩形框估計的算法需要復雜的矩陣變換優(yōu)化操作，會嚴重影響算法的運行速度，不利于跟蹤器實時快速跟蹤。為實現(xiàn)快速輸出穩(wěn)定目標尺度，本文采用基于最小二乘法的橢圓擬合算法［20］，對目標輪廓進行優(yōu)化。具體步驟如下：

1）對分割得到的蒙版執(zhí)行形態(tài)學操作，即可找到其連通域面積最大的輪廓，該輪廓上的點組成集合D。

2）利用集合D優(yōu)化出一個最佳的橢圓E，使得集合D中的所有的點到橢圓曲線上的距離之和最短，算法原理如下：

已知橢圓方程（式（6））：

其中：集合D中的點Pi=(xi，yi)到二次曲線F(A，X)=0 的歐氏距離為F(Ai，Xi)。擬合橢圓問題簡化為動態(tài)優(yōu)化出所有觀測點到橢圓曲線上的距離之和的最小橢圓解，依據(jù)最小二乘原理，可利用圖像處理工具包OpenCV 中的函數(shù)快速優(yōu)化出最佳橢圓，如圖4（c）所示。優(yōu)化結(jié)果將輸出橢圓的中心點坐標、長短軸值及其旋轉(zhuǎn)角度，進而可以得到該橢圓狀態(tài)所對應(yīng)的旋轉(zhuǎn)矩形框的頂點坐標。

1.5 置信度門控輸出與目標尺度更新策略

由于跟蹤視頻中常存在運動模糊、劇烈的光照變化等極端情況，這對目標分割網(wǎng)絡(luò)分支的輸出極為不利，容易導致橢圓優(yōu)化輸出的蒙版存在一定噪聲，為此本文專門設(shè)計了尺度置信度門控輸出模塊。定義尺度置信度分數(shù)為旋轉(zhuǎn)矩形框與DIOU-Net 網(wǎng)絡(luò)輸出的垂直矩形框之間的重疊度，并根據(jù)計算得到的尺度置信度分數(shù)來決定是否采信橢圓估計輸出的旋轉(zhuǎn)矩形框結(jié)果。當尺度置信度分數(shù)IOUR&A＞0.3，并且旋轉(zhuǎn)矩形框的像素面積與垂直矩形框的面積之比時，輸出旋轉(zhuǎn)矩形框結(jié)果，用BoxR表示；否則輸出正矩形框，用BoxA表示。

根據(jù)式（9）中控制結(jié)果Output的數(shù)值，從而達到門控輸出跟蹤狀態(tài)的目的。

基于相關(guān)濾波的算法通常每隔一定周期會利用定位效果較好的樣本對相關(guān)濾波器進行更新參數(shù)。本文算法得到的旋轉(zhuǎn)矩形框結(jié)果如圖5 所示，在生成高斯標簽時需要將旋轉(zhuǎn)矩形框轉(zhuǎn)換為邊長平行于坐標軸的正矩形框，為了盡可能地減少背景區(qū)域?qū)V波器訓練的干擾，本文算法采用保守的標簽生成策略：對目標的外接正矩形框進行尺度上的縮放?？s放比例為旋轉(zhuǎn)矩形框與外接正矩形框面積之比的平方根。縮放比例計算方式如式（10）：

圖5 矩形框之間的轉(zhuǎn)換Fig.5 Transformation between bounding boxes

2 實驗設(shè)置及結(jié)果分析

實驗在Ubuntu16.04、Inter Core i7-8700CPU @3.20 GHz、64 GB 內(nèi)存、2*RTX2080Ti顯卡平臺上進行訓練和測試。將本文算法應(yīng)用在18 層的殘差特征提取骨架網(wǎng)（Deep Residual Learning for Image Recognition，ResNet18）［20］上得到算法命名為OURS-18，應(yīng)用到50 層的殘差特征提取骨架網(wǎng)絡(luò)ResNet50［21］上得到的算法命名為OURS-50，兩者均借助深度跟蹤算法框架Pytracking［9，11］進行代碼實現(xiàn)。為了公平比較，在訓練“考慮空間距離的動態(tài)錨框質(zhì)量評價網(wǎng)絡(luò)DIOU-Net”時，實驗參數(shù)與ATOM 算法保持一致，在跟蹤框架中集成目標分割網(wǎng)絡(luò)DeepMask［18］以實現(xiàn)在線跟蹤過程中的對目標快速分割。算法采用Python 語言、PyTorch 框架以及OpenCV 等工具包實現(xiàn)，并采用流行的PySot-toolkit［5-6］工具對跟蹤結(jié)果進行評估。

為了評估本文算法的有效性，在兩個廣泛使用的具有挑戰(zhàn)性標準評測數(shù)據(jù)集VOT2018（the sixth Visual Object Tracking challenge results）［16］和 OTB100（Object Tracking Benchmark）［22］上進行實驗，并與基于孿生網(wǎng)絡(luò)和相關(guān)濾波的代表性算法進行了比較。

2.1 VOT2018評測數(shù)據(jù)集上的對比

VOT2018 評測數(shù)據(jù)集是視覺目標跟蹤比賽的標準數(shù)據(jù)集，包含60 個人工精細標注的極具挑戰(zhàn)性的視頻序列。相較于其他的評估數(shù)據(jù)集，具有相似目標多、目標非剛性形變大、目標物體尺度小、運動失真多等特點。其特有的跟蹤失敗再重啟的機制，能夠提高數(shù)據(jù)的利用率，全方位評估算法的性能。VOT 競賽官方規(guī)定的跟蹤器性能評價指標為魯棒性（Robustness）和精度（Accuracy）。魯棒性反映了跟蹤器跟蹤目標的穩(wěn)定程度，其指標值與評測過程中跟蹤器丟失目標次數(shù)正相關(guān)。丟失次數(shù)越少，該指標值越低，反映算法魯棒性越好，穩(wěn)定程度越高。精度反映了跟蹤算法估計物體尺度的精確程度，其分值為預(yù)測矩形框與標簽矩形框之間的平均區(qū)域重疊度，分值越高，反映算法性能越好。VOT競賽官方將兩個指標融合為平均期望重疊率（Expected Average Overlap，EAO）指標來綜合評價跟蹤器的性能。由此可知，跟蹤器性能比較時，魯棒性值越低，精度值越高，EAO值越高，跟蹤器性能越好。

圖6顯示了本文算法在VOT2018數(shù)據(jù)集的短時單目標跟蹤賽道上的平均期望重疊率排名。從圖6 中排名可以發(fā)現(xiàn)，在同一特征提取網(wǎng)絡(luò)前提下，本文OURS-50 算法以EAO 值為0.459 排名第一，超過第二名基于可學習的判別模型跟蹤器DiMP-50（learning Discriminative Model Prediction for Tracking）［11］的結(jié)果1.9個百分點；OURS-18以EAO指標0.423排名第三，超過第四名ATOM［9］的結(jié)果2.2 個百分點。同時OURS-50 和OURS-18 分別超過VOT2018 的冠軍SiamRPN（High performance visual tracking with Siamese Region Proposal Network）［6］的結(jié)果7.6 和4.0 個百分點，證明了本文算法的競爭力。

圖6 VOT2018數(shù)據(jù)集上的平均期望重疊分數(shù)排名Fig.6 Excepted average overlap score ranking on VOT2018 dataset

如表1 所示，給出了本文算法與幾個性能領(lǐng)先的跟蹤器各指標的對比，其中包括孿生網(wǎng)絡(luò)系列算法SiamMask［5］、SiamPRN++（Evolution of Siamese visual tracking with very deep networks）［23］、SiamMask-E［19］以及相關(guān)濾波算ATOM［9］和DiMP［11］實驗結(jié)果表明，本文算法OURS-18的跟蹤精度指標比ATOM 算法高1.0 個百分點，OURS-50 比DiMP［11］高2.0 個百分點，精度得到了顯著提升。對比相關(guān)濾波算法和孿生網(wǎng)絡(luò)算法，當算法的精度水平相當時，相關(guān)濾波類的算法比孿生網(wǎng)絡(luò)判別能力更強，具有更強魯棒性，綜合性能更優(yōu)。表1 中：箭頭向上表示其值越高，性能越好；箭頭向下表示其值越低，性能越好。

表1 不同算法在VOT2018數(shù)據(jù)集上的對比Tab.1 Comparison of different algorithms on VOT2018 dataset

2.2 OTB100評測數(shù)據(jù)集上的對比

OTB100［22］是視覺跟蹤領(lǐng)域廣泛使用的標準評測數(shù)據(jù)庫，包含100 個人工標注的視頻序列，并包含不同的難度屬性，例如尺度變換、非剛性形變、平面內(nèi)旋轉(zhuǎn)、遮擋等11 種情況。在OTB100數(shù)據(jù)集中，算法性能主要由成功率衡量。成功率表示數(shù)據(jù)集中重疊度IOU 得分超過閾值0.5 的幀數(shù)占視頻總幀數(shù)的百分比。OTB100 數(shù)據(jù)集標注形式不同于前述的VOT 數(shù)據(jù)集，OTB100 采用正矩形框的方式對目標進行標注，評測方式中無重啟機制，僅在視頻的第一幀提供標簽，然后運行跟蹤算法得到成功率，采用一次通過測試（One Pass Evaluation，OPE）的方式進行評估算法性能。表2 分別顯示了本文所提OURS-18 跟蹤算法和9 個先進算法在OTB100 數(shù)據(jù)集上跟蹤結(jié)果對比，表2中粗體部分表示該列指標最好。對比的9個算法分別是：ATOM、ECO-HC（Efficient Convolution Operators for tracking with Hand-Crafted features）［7］、SiamRPN［6］、DeepSRDCF（Deep Spatially Regularized Discriminative Correlation Filter）［24］、Staple［25］、HDT（Hedged Deep Tracking）［26］、CNN-SVM（Convolutional Neural Network-Support Vector Machine）［27］、DSST（Discriminative Scale Space Tracker）［28］和具有3種尺度估計框的SiamFC-3s［4］。表2 展示了總成功率、非剛性形變成功率和平面內(nèi)旋轉(zhuǎn)成功率三個屬性的性能指標。觀察可知，本文算法成功率指標0.677 超過ATOM 算法［9］1.3 個百分點；超過ECO-HC［7］3.2 個百分點；超過SiamRPN 算法［6］3.8 個百分點，綜合性能提升顯著。非剛性形變和平面內(nèi)旋轉(zhuǎn)場景對于跟蹤器來難度較大，本文算法在這兩個屬性上效果顯著，非剛性形變成功率上相較于第二名ATOM［9］提升了2個百分點，達到0.653；平面內(nèi)旋轉(zhuǎn)屬性上相較于第二名ATOM［9］高4.8 個百分點，達到0.685。

表2 不同算法在OTB100數(shù)據(jù)集上的對比Tab.2 Comparison of different algorithms on OTB100 dataset

2.3 本文算法的可視化效果展示

為了直觀展現(xiàn)本文所提算法的效果，對跟蹤結(jié)果進行了可視化，如圖7 所示。本文算法在跟蹤第一行的籃球運動員時，盡管有多個相似目標的干擾，仍能準確地將其從背景中分割出來，體現(xiàn)了所提算法的魯棒性和精度。跟蹤第二行的騎自行車的孩子時，盡管受到灌木叢遮擋，但仍能準確地跟蹤并分割，體現(xiàn)了跟蹤的魯棒性。在跟蹤第三行的賽馬時，跟蹤器能夠?qū)ⅠR與人準確地區(qū)分，不容易發(fā)生模型漂移?？梢暬瘜嶒烌炞C了本文所提算法有效性。

圖7 本文算法的跟蹤效果示例Fig.7 Examples of tracking results of proposed algorithm

3 結(jié)語

本文從跟蹤算法的魯棒性和精度兩個方面對現(xiàn)有的相關(guān)濾波類的算法進行了改進：一是指出空間位置信息在跟蹤任務(wù)的重要作用，突破了既有算法僅考慮重疊率的局限性；二是在跟蹤算法中引入分割的思想，以此提高跟蹤器對目標的估計精度。實驗結(jié)果表明，空間位置加權(quán)重疊度與分割網(wǎng)絡(luò)結(jié)合的方法能夠顯著提升跟蹤器的綜合性能。

隨著計算機性能的逐步提高，視覺跟蹤任務(wù)將逐步從“矩形框”級別跟蹤，逐漸過渡到“像素”級別跟蹤。本文提出的方法縮小了目標跟蹤任務(wù)與目標分割任務(wù)之間的差距，后續(xù)可基于本文，將視覺目標跟蹤與視覺目標分割兩個任務(wù)統(tǒng)一結(jié)合起來進行深入研究，有望進一步提升算法的性能。