自適應(yīng)模板更新的魯棒目標(biāo)跟蹤算法*

劉 芳，黃光偉，路麗霞，王洪娟，王 鑫

北京工業(yè)大學(xué) 信息學(xué)部，北京 100124

1 引言

目標(biāo)跟蹤技術(shù)是計算機視覺研究領(lǐng)域中最重要的研究方向之一，廣泛應(yīng)用于軍事偵查、交通監(jiān)控、人群分析、動作識別等軍事和民用領(lǐng)域。傳統(tǒng)目標(biāo)跟蹤算法分為自底向上和自頂向下的處理方法[1]。自底向上的處理方法又稱為基于判別式模型的跟蹤方法，它不依賴于先驗知識，直接從圖像序列中獲得目標(biāo)的運動信息并進行跟蹤。自頂向下的處理方法又稱為基于生成式模型的跟蹤方法，依賴于所構(gòu)建的模型或先驗知識，在圖像序列中進行匹配運算或求解后驗概率。近年出現(xiàn)了一系列具有代表性的目標(biāo)跟蹤算法，其中基于判別式模型的方法包括多示例學(xué)習(xí)法（multiple instance learning，MIL）[2]、基于在線Boosting算法的實時跟蹤（on-line ada-boosting tracker，OAB）[3]、跟蹤學(xué)習(xí)檢測算法（tracking learning detection，TLD）[4]、結(jié)構(gòu)化輸出跟蹤（struck）[5]等?；谏墒侥Ｐ偷姆椒ㄓ性隽恳曈X跟蹤算法[6]、粒子濾波跟蹤算法[7]、循環(huán)結(jié)構(gòu)的檢測跟蹤（circulant structure of tracking by detection with kernel，CSK）[3]、雙相關(guān)濾波器（dual correlation filter，DCF）跟蹤器[8]等。

上述跟蹤算法幾乎都是采用人為手工設(shè)計的特征（例如直方圖、方向梯度直方圖（histogram of oriented gradient，HOG)、尺度不變特征變換（scaleinvariant feature transform，SIFT）特征等）。大量實驗表明手工設(shè)計的特征具有局限性，不適用于所有被跟蹤目標(biāo)。深度學(xué)習(xí)的發(fā)展為自動學(xué)習(xí)特征提供了可能。深度學(xué)習(xí)跟蹤（deep learning tracker，DLT）[9]使用自動編碼器[10]把深度模型運用在單目標(biāo)跟蹤任務(wù)上的跟蹤算法，提出了“離線預(yù)訓(xùn)練＋在線微調(diào)”的思路，很大程度地解決了跟蹤中訓(xùn)練樣本不足的問題。文獻[11]深度網(wǎng)絡(luò)通過大量訓(xùn)練集進行離線訓(xùn)練得到，利用離線的方式訓(xùn)練深度網(wǎng)絡(luò)，然后使用訓(xùn)練好的模型在線跟蹤目標(biāo)；文獻[12]使用ImageNet數(shù)據(jù)集離線訓(xùn)練多層的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN），學(xué)習(xí)得到可以反映圖像一般性特征的卷積核，而后通過遷移學(xué)習(xí)在線特征提取，使用粒子濾波算法進行目標(biāo)跟蹤。文獻[13]中利用離線訓(xùn)練好的CNN在線提取目標(biāo)的顯著性圖，其跟蹤系統(tǒng)在線維護一個外觀模型，通過相關(guān)匹配實現(xiàn)定位目標(biāo)。近年來，基于深度學(xué)習(xí)的跟蹤算法使得跟蹤算法性能大幅提升，但其在應(yīng)對目標(biāo)遮擋、尺度變化等使目標(biāo)表觀發(fā)生變化的情況下，目前的跟蹤算法性能還有待提升。

為了解決上述情形下跟蹤算法性能不足的問題，將深度學(xué)習(xí)與模板更新結(jié)合，從而更好地應(yīng)對目標(biāo)表觀的變化，然后進行目標(biāo)跟蹤。當(dāng)目標(biāo)發(fā)生外觀等變化，跟蹤模板需要作出相應(yīng)的改變。因此，深度學(xué)習(xí)與模板更新結(jié)合，能夠提高目標(biāo)跟蹤算法的準(zhǔn)確性，從而提高視頻目標(biāo)跟蹤性能。

模式匹配跟蹤算法大多是先提取目標(biāo)的某些特征（如SIFT、HOG）作為模板，然后在當(dāng)前幀內(nèi)尋找其特征和這個模板最相似的區(qū)域，因此模板是目標(biāo)的唯一表示[14]。在目標(biāo)運動過程中會不可避免地出現(xiàn)各種問題導(dǎo)致跟蹤失敗，如被障礙物遮擋、目標(biāo)從背光處運動到強光處或者拍攝鏡頭的拉伸等，為使在這些復(fù)雜情況下準(zhǔn)確跟蹤目標(biāo)，除了需要學(xué)習(xí)到目標(biāo)良好的特征，目標(biāo)模板也需要作出相應(yīng)改變。因此,模板更新問題是目標(biāo)跟蹤的核心問題之一。模板更新策略[15]通常有以下三種：固定模板策略、固定幀模板更新策略、逐幀更新策略。傳統(tǒng)更新策略方法較為簡單，跟蹤算法會由于遮擋或前些幀的跟蹤誤差積累，而導(dǎo)致跟蹤失敗。

文獻[16]提出了一種加權(quán)模板更新策略，該策略是根據(jù)當(dāng)前的跟蹤質(zhì)量產(chǎn)生一個權(quán)值，對預(yù)測模板和目標(biāo)模板加權(quán)產(chǎn)生一個新模板，該新模板作為新的目標(biāo)模板。但是該策略不能改變模板的大小，因此該策略并不能很好地應(yīng)對目標(biāo)的姿態(tài)和大小變化；文獻[17]提出了一種基于卡爾曼濾波殘差來更新模板的策略，當(dāng)濾波殘差小于閾值時，進行模板更新；當(dāng)濾波殘差大于閾值時，則認為目標(biāo)受到遮擋，不更新模板。該策略對于非機動目標(biāo)進行跟蹤時，效果較好，但對機動目標(biāo)的跟蹤性能欠佳。

當(dāng)目標(biāo)發(fā)生尺度變化或受到遮擋時，已有的這些方法仍存在一些不足，往往容易丟失目標(biāo)，導(dǎo)致跟蹤失敗。這主要是因為已有方法沒有充分利用到目標(biāo)本身的深度特征信息，不能合理地更新模板。深度學(xué)習(xí)很好地解決了這一問題，通過深度學(xué)習(xí)網(wǎng)絡(luò)可以提取到目標(biāo)更深層次的特征表達，充分利用目標(biāo)本身的特征信息；高效的目標(biāo)模板更新策略增加了目標(biāo)跟蹤過程中目標(biāo)估計的準(zhǔn)確性，目標(biāo)的深度特征和自適應(yīng)模板更新策略結(jié)合可以使得跟蹤算法的魯棒性和跟蹤精度更高。

綜上所述，本文提出一種基于深度特征和模板更新的自適應(yīng)粒子濾波目標(biāo)跟蹤算法，深度特征使用卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)特征，與粒子濾波跟蹤算法結(jié)合，把目標(biāo)的仿射運動模型引入到粒子濾波的模板更新過程中，設(shè)計了一種自適應(yīng)的模板更新策略，進而提出一種在復(fù)雜條件下具有較高跟蹤準(zhǔn)確率和成功率的目標(biāo)跟蹤算法。

本文結(jié)構(gòu)安排如下：首先敘述相關(guān)研究內(nèi)容；其次提出基于CNN特征和模板更新的改進的粒子濾波算法；再次給出實驗結(jié)果及分析；最后為本文結(jié)論。

2 基于CNN的自適應(yīng)粒子濾波跟蹤算法

2.1 基于CNN的特征提取

研究表明，在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的第3個卷積層的卷積特征保留目標(biāo)更多的空間細節(jié)，如目標(biāo)的位置信息等，因此利用第3層卷積特征可以對目標(biāo)進行準(zhǔn)確定位[18]。隨著網(wǎng)絡(luò)越來越深，空間信息越來越稀釋，這會使圖像中目標(biāo)定位不精準(zhǔn)[19]。由于卷積運算復(fù)雜耗時，考慮到跟蹤算法的實時性，圖像經(jīng)過3個卷積層得到的特征保留了目標(biāo)的空間位置信息，滿足跟蹤需求。因此本文設(shè)計一個包括3個卷積結(jié)構(gòu)的深度網(wǎng)絡(luò)，每個卷積結(jié)構(gòu)包含1個卷積層、修正線性單元（rectified linear units，ReLU）層和池化層，由此構(gòu)建了一個12層的卷積神經(jīng)網(wǎng)絡(luò)進行特征提取。整體框架圖如圖1所示[20]。

Fig.1 Structure of CNN圖1 CNN網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)共12層，包括1個輸入層、3個卷積層、3個ReLU層、3個下采樣層、1個全連接層和1個輸出層，每一層的輸出都作為下一層的輸入，下面將介紹各層的功能及參數(shù)個數(shù)情況。

輸入層，向網(wǎng)絡(luò)輸入128×128的目標(biāo)圖像。

卷積層，使用卷積核對輸入圖像進行卷積操作，得到輸入圖像的特征圖。conv1使用32個7×7的卷積核，得到32個122×122大小的特征圖。conv2使用64個5×5的卷積核，得到64個58×58大小的特征圖。conv3使用128個3×3的卷積核，得到128個27×27大小的特征圖。

ReLU層，通過ReLU激活函數(shù)給網(wǎng)絡(luò)加入非線性的因素，使得卷積神經(jīng)網(wǎng)絡(luò)更好地解決復(fù)雜的問題，其公式為f(x)=max(0,x)。

下采樣層，通常跟隨在卷積層之后，依據(jù)一定的下采樣規(guī)則對特征圖進行下采樣。下采樣層的功能主要有兩點：

（1）對特征圖進行降維；

（2）在一定程度上保持特征的尺度不變特性。

全連接層，128個9×9的卷積核對第3個下采樣層的輸出特征圖進行卷積操作，得到1個128維的目標(biāo)特征。

輸出層，對目標(biāo)特征進行分類。

文獻[21]指出使用大規(guī)模數(shù)據(jù)集訓(xùn)練CNN網(wǎng)絡(luò)模型提取到的特征對其他任務(wù)也同樣具有普適性。因此，本文所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)預(yù)先在VOC2012數(shù)據(jù)集[22]上離線訓(xùn)練，使之能夠提取通用目標(biāo)特征，解決跟蹤目標(biāo)特征訓(xùn)練樣本不足的問題。在跟蹤過程中，對網(wǎng)絡(luò)參數(shù)進行在線微調(diào)，將卷積層參數(shù)固定，僅對全連接層和輸出層參數(shù)進行更新，提高了CNN參數(shù)調(diào)整的效率。利用所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)的第三層卷積特征圖保留了更多的空間細節(jié)的優(yōu)勢，與粒子濾波算法結(jié)合進行視頻目標(biāo)跟蹤，提高跟蹤目標(biāo)的精度。

網(wǎng)絡(luò)的輸入為原始圖像X。Hi表示卷積神經(jīng)網(wǎng)絡(luò)第i層的特征圖(H0=X)。

其中，W表示第i層卷積核的權(quán)值向量；運算符號“?”表示卷積操作，卷積的輸出與第i層的偏移向量bi相加，最終通過ReLU非線性的激勵函數(shù)f(x)得到第i層的特征圖Hi。

經(jīng)過多個卷積層和下采樣層的交替?zhèn)鬟f，卷積神經(jīng)網(wǎng)絡(luò)依靠全連接網(wǎng)絡(luò)針對提取的特征進行分類，得到基于輸入的概率分布Y（li表示第i個標(biāo)簽類別）。如式（2）所示，卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是使原始矩陣(H0)經(jīng)過多個層次的數(shù)據(jù)變換或降維，映射到一個新的特征表達(Y)的數(shù)學(xué)模型。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最小化網(wǎng)絡(luò)的損失函數(shù)L(W,b)。輸入H0經(jīng)過前向傳導(dǎo)后通過損失函數(shù)計算出與期望值之間的差異，稱為“殘差”。常見損失函數(shù)有均方誤差函數(shù)、負對數(shù)似然函數(shù)等。

訓(xùn)練過程中，卷積神經(jīng)網(wǎng)絡(luò)常用的優(yōu)化方法是梯度下降方法，殘差通過梯度下降進行反向傳播，逐層更新卷積神經(jīng)網(wǎng)絡(luò)的各個層的可訓(xùn)練參數(shù)（W和b）。學(xué)習(xí)速率參數(shù)(η)用于控制殘差反向傳播的強度：

2.2 粒子濾波

為了解決非線性非高斯情況下的目標(biāo)跟蹤問題，將粒子濾波應(yīng)用到視頻目標(biāo)跟蹤過程中，它采用蒙特卡羅方法來求解貝葉斯估計中的積分運算。基本思想是在狀態(tài)空間中尋找一組隨機樣本對條件后驗概率密度進行近似，用樣本均值代替原先需要依據(jù)后驗概率密度函數(shù)進行的積分運算，從而獲得最小的方差估計。

假定非線性動態(tài)過程如下：

粒子集初始化，由先驗分布P(x0)中采樣粒子，設(shè)置權(quán)值為1/N，則狀態(tài)預(yù)測方程為：

重要性采樣，將重要性函數(shù)q(x0:k|y1:k)改寫成：

計算粒子重要性權(quán)值ωk，并進行歸一化ω?k。

判斷重采樣，使權(quán)值大的粒子被復(fù)制，而權(quán)值小的粒子被舍棄，得到新的粒子集，且粒子的權(quán)值被重新設(shè)置為1/N。

計算時刻的狀態(tài)估計值：

2.3 仿射變換

仿射變換是一種二維坐標(biāo)到二維坐標(biāo)之間的線性變換，即具有將平行線變換為平行線、有限點映射到有限點的一般特性。圖像在二維空間中的旋轉(zhuǎn)、尺度變化和位移可以通過仿射變換實現(xiàn)。仿射變換具有平移、旋轉(zhuǎn)和縮放不變性。圖2表示了一幅圖像的幾種仿射變換情況，可以體現(xiàn)目標(biāo)跟蹤中目標(biāo)的某些運動情況。

Fig.2 Affine transformation example圖2 仿射變換實例

2.4 自適應(yīng)模板更新

2.4.1 傳統(tǒng)模板更新策略

目標(biāo)模板更新策略是目標(biāo)跟蹤過程中的關(guān)鍵環(huán)節(jié)，模板更新策略的準(zhǔn)確度直接影響跟蹤性能。固定模板策略是傳統(tǒng)目標(biāo)模板更新策略中的最簡單的一種策略，該策略是以目標(biāo)區(qū)域的顏色直方圖模板作為目標(biāo)模板，通過粒子濾波對目標(biāo)狀態(tài)進行估計位置區(qū)域，并計算該區(qū)域的顏色直方圖模板作為預(yù)測模板，如圖3所示。以Ht與Hp之間的Bhattacharyya距離[23]（巴氏系數(shù)）作為相似性，通過相似性進而確定目標(biāo)狀態(tài)進行跟蹤，其中巴氏系數(shù)定義如下：

當(dāng)在運動過程中跟蹤目標(biāo)發(fā)生如圖3所示的尺度變化時，可以看出預(yù)測模板Hp與目標(biāo)模板Ht相差很大，利用巴氏系數(shù)計算目標(biāo)模板和預(yù)測模板的相似性，巴氏系數(shù)變小，導(dǎo)致跟蹤失敗，因此固定模板策略在應(yīng)對尺度變化時顯得有些乏力，需要進一步的研究來完善。逐幀更新策略是根據(jù)前一幀目標(biāo)的狀態(tài)，用后一幀的預(yù)測模板來更新目標(biāo)模板。這種更新策略的優(yōu)點是能夠?qū)崟r反映目標(biāo)狀態(tài)變化，但是逐幀更新也存在誤差逐漸累積，從而造成模板漂移，甚至可能使跟蹤算法跟蹤錯誤的目標(biāo)模板，導(dǎo)致跟蹤失敗。

Fig.3 Several target motion diagrams圖3 幾種目標(biāo)運動示意圖

2.4.2 基于仿射變換的自適應(yīng)模板更新策略

在視頻目標(biāo)跟蹤過程中，若跟蹤目標(biāo)保持某種特定的狀態(tài)運動，則該目標(biāo)狀態(tài)具有顯著的記憶性，只需將預(yù)測模板與目標(biāo)模板進行匹配，確定目標(biāo)狀態(tài)進行跟蹤；若目標(biāo)的狀態(tài)不斷變化，就會使候選模板和目標(biāo)模板的相似度逐漸降低，可能導(dǎo)致目標(biāo)跟蹤失敗。為了提高目標(biāo)跟蹤的準(zhǔn)確性，本文提出一種基于仿射變換的自適應(yīng)模板更新策略。通過仿射變換構(gòu)建候選模板庫，使在目標(biāo)跟蹤過程中自適應(yīng)更新模板。

通過觀察 OTB2013[3]、TC128[24]、UAV123[25]中視頻序列中跟蹤目標(biāo)運動過程中的變化，可以看出，當(dāng)跟蹤目標(biāo)發(fā)生旋轉(zhuǎn)時，在相鄰幀之間跟蹤目標(biāo)的旋轉(zhuǎn)變化在1°～3°；當(dāng)目標(biāo)發(fā)生尺度變化（縮放）時，在相鄰幀之間跟蹤目標(biāo)的縮小倍數(shù)是0.95～0.85倍，放大倍數(shù)是1.05～1.15倍。因此，通過上述觀察結(jié)果，進行相應(yīng)的仿射變換，存入候選模板庫中，可以使目標(biāo)在跟蹤過程中得到準(zhǔn)確的目標(biāo)模板更新，防止跟蹤目標(biāo)丟失，提高目標(biāo)跟蹤的準(zhǔn)確性。

仿射變換可以描述3D空間中的目標(biāo)到2D平面的成像過程，具體表現(xiàn)可以是各個方向的尺度變換、系數(shù)一致的均勻尺度變換或變換系數(shù)不一致的非均勻尺度變換及剪切變換等。仿射變換具有平移、旋轉(zhuǎn)和縮放不變性。對于一個目標(biāo)模板，分別進行左右旋轉(zhuǎn)2°、放大1.1倍、縮小0.9倍的仿射變化，同時模擬目標(biāo)光照變化，定義候選模板庫如下：

對粒子權(quán)值排序，選擇前60%的粒子，計算它們的權(quán)值和ω，若ω≥v（閾值，一般選擇0.6～0.7），則使用跟蹤輸出位置作為候選目標(biāo)模板；否則，從候選模板庫重新確定候選目標(biāo)模板。

在粒子濾波跟蹤框架下，提出一種跟蹤狀態(tài)判定模型更新的方法。通過選擇粒子權(quán)值作為模型更新的判斷依據(jù)，通過判決反饋信息選擇合適的候選模板作為匹配目標(biāo)模板，然后通過模板更新模型進行目標(biāo)模板更新，確定新的目標(biāo)模板。模板更新模型為：

其中，m0為初始目標(biāo)模板；m′為基于仿射變換的候選模板庫中的某候選目標(biāo)模板；α為平衡因子，取值依據(jù)目標(biāo)的跟蹤狀態(tài)。在目標(biāo)模型更新中，采取粒子權(quán)值分布前60%的預(yù)測結(jié)果來判定目標(biāo)的跟蹤狀態(tài)，進而確定α的取值，即：

其中，T1和T2為閾值，依據(jù)先驗知識獲得，T1=0.8和T2=0.2；ω為粒子權(quán)值分布前60%的權(quán)值和；v為粒子權(quán)值判定的參數(shù)。

在模板更新時，融入不同程度的初始目標(biāo)模板和候選目標(biāo)模板可以使目標(biāo)在跟蹤過程中得到準(zhǔn)確的目標(biāo)模板，防止跟蹤目標(biāo)漂移，提高目標(biāo)跟蹤的準(zhǔn)確性。圖4是自適應(yīng)模板更新框圖。

Fig.4 Adaptive template update framework圖4 自適應(yīng)模板更新框架圖

目標(biāo)模板更新策略的具體步驟如下：

（1）對粒子濾波算法中每個粒子位置與目標(biāo)模板的巴氏系數(shù)進行歸一化，得到每個粒子的權(quán)值。

（2）選擇權(quán)值分布前60%的粒子，計算它們的權(quán)值和ω，使用式（14）判斷α的取值。

（3）將候選模板庫中的某一候選模板的深度特征和所有粒子的深度特征進行比較，重新給每個粒子賦予權(quán)值，并計算其權(quán)值前60%的粒子的權(quán)值和。

（4）對候選模板庫中的所有候選模板分別進行步驟（3）的操作，選擇其中權(quán)值和最大的候選模板作為m′。

（5）通過式（13）進行模板更新，確定新的目標(biāo)模板。

（6）將預(yù)測目標(biāo)位置及其仿射變換放入候選模板庫中。

2.5 基于CNN的自適應(yīng)粒子濾波目標(biāo)跟蹤算法流程

本文算法整體流程如圖5所示。

（1）使用數(shù)萬張通用目標(biāo)圖像離線預(yù)訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練好的網(wǎng)絡(luò)用于提取目標(biāo)特征。

（2）將視頻轉(zhuǎn)化圖像幀輸入系統(tǒng)。

（3）在初始幀或選定幀中手動標(biāo)定預(yù)跟蹤目標(biāo)位置，作為初始目標(biāo)模板，引入仿射運動模型對目標(biāo)圖像進行仿射變換，建立候選模板庫。將初始目標(biāo)模板和候選模板輸入卷積神經(jīng)網(wǎng)絡(luò)計算其深度特征。

Fig.5 Robust target tracking algorithm for adaptive template updating flow chart圖5 自適應(yīng)模板更新的魯棒目標(biāo)跟蹤算法流程圖

（4）在待搜索區(qū)域里以高斯分布的方式放入大量粒子，計算每個粒子所在區(qū)域的深度特征，與模板進行比較，給每個粒子賦予權(quán)值。通過調(diào)整各粒子的權(quán)重大小和樣本位置來近似實際的概率分布，以樣本期望作為系統(tǒng)估計值。然后進行重采樣，重新分布粒子的位置。

（5）模板更新，選擇權(quán)值分布前50%的粒子，計算它們的權(quán)值和ω，如使用式（14）判斷α的取值，將某一候選模板的深度特征和所有粒子的深度特征進行比較，重新給每個粒子賦予權(quán)值，并計算其權(quán)值前60%的粒子的權(quán)值和，對所有候選模板分別進行上述操作，選擇其中權(quán)值和最大的候選模板作為m′。然后通過式（13）將原始目標(biāo)模板和候選目標(biāo)模板融合得到新的目標(biāo)模板。

3 仿真實驗

本算法在Matlab 2016a上實現(xiàn)，計算機配置為Intel Core i5-2410M 2.3 GHz，內(nèi)存為8 GB。實驗選用目前主流的跟蹤平臺OTB2013、TC128、UAV123上的18個視頻序列進行實驗驗證，這里使用了8個視頻序列 Jogging、Liquor、SUV、Tiger1、Plane_ce2、Bike1、Skyjumping_ce、Girlmov進行實驗結(jié)果展示。為驗證本文算法的有效性，與當(dāng)前多種主流跟蹤算法進行對比分析，包括尺度自適應(yīng)與多特征融合跟蹤器（scale-adaptive and multi feature integration tracker，SAMF）[26]、多專家的熵最小化（multiple experts using entropy minimization，MEEM）跟蹤[27]、強判別性尺度空間跟蹤器（discriminative scale space tracker，DSST）[28]、DCF、OAB、TLD、CSK等。其中，MEEM、OAB、TLD屬于判別式模型的方法，SAMF、DSST、DCF、CSK為基于相關(guān)濾波的跟蹤算法。SAMF、DSST、DCF算法是針對目標(biāo)的尺度變化問題的改進算法，MEEM、CSK考慮了目標(biāo)遮擋情況，SAMF、OAB、CSK考慮了目標(biāo)光照變化問題，TLD在背景復(fù)雜情況下跟蹤效果較好。

圖6表示8種跟蹤算法對18組測試視頻的整體精度曲線和成功率曲線，可以看出對于18組測試視頻中的目標(biāo)，本文算法的跟蹤成功率最高，相比于SAMF算法提高了4%，相比于DCF算法提高了22%。

Table 1 Success rate of tracking表1 跟蹤成功率

Fig.6 Tracking precision and tracking success rate plots of 18 sequences圖6 18個測試序列的跟蹤精度曲線和跟蹤成功率曲線

圖7給出了8種跟蹤算法的部分序列跟蹤結(jié)果，左上角顯示圖像序列的當(dāng)前幀數(shù)，不同算法的跟蹤結(jié)果用不同顏色的跟蹤框顯示，紅色為本文算法。圖8顯示了8個序列的中心位置誤差曲線，可知本文算法保持了較低的中心誤差，跟蹤精度高。

圖9是算法跟蹤精度曲線圖，括號內(nèi)的數(shù)值是當(dāng)閾值d=20時對應(yīng)的跟蹤精度，平均值隨著中心誤差閾值的增大，顯然本文算法的性能提高最快，且算法精度最高。圖10是算法跟蹤成功率曲線圖，括號內(nèi)的數(shù)值代表成功率曲線下的面積，隨著所給重疊率閾值t的增大，顯然本文算法的跟蹤魯棒性最強，成功率衰減緩慢。

（1）目標(biāo)遮擋，Girlmov、Jogging、SUV視頻序列中，被跟蹤目標(biāo)在運動過程中被不同物體不同程度遮擋。Jogging的第86幀，目標(biāo)被完全遮擋，直至目標(biāo)重新出現(xiàn)，只有本文算法、MEEM、SAMF很好地跟蹤到目標(biāo)；SUV的第517幀，目標(biāo)被部分遮擋時，SAMF、OAB等都出現(xiàn)了跟蹤漂移，本文算法使用深度特征和自適應(yīng)模板更新策略應(yīng)對遮擋情況有較好的魯棒性，始終正確跟蹤目標(biāo)。

（2）目標(biāo)旋轉(zhuǎn)，Plane_ce、Skyjumping_ce2、Tiger1視頻序列中被跟蹤目標(biāo)都發(fā)生了明顯的旋轉(zhuǎn)變化。在目標(biāo)發(fā)生旋轉(zhuǎn)時，DSST、TLD、CSK都出現(xiàn)了明顯的跟蹤偏移，本文算法使用候選模板庫更新模板，使算法對目標(biāo)旋轉(zhuǎn)具有高度魯棒性。

Fig.7 Comparison of tracking results圖7 跟蹤結(jié)果對比

（3）尺度變化，Bike1、Plane_ce視頻序列中，目標(biāo)發(fā)生了相對較快的尺度變化。Plane_ce中MEEM、TLD、CSK算法先后丟失跟蹤目標(biāo)，其余算法基本能跟蹤到目標(biāo)。由圖10可知8種算法中This paper在兩個序列上的跟蹤成功率是最高的，說明本文算法很好地適應(yīng)了目標(biāo)的尺度變化。

（4）光照變化，Skyjumping_ce2、Tiger1、Liquor視頻序列中背景出現(xiàn)劇烈的光照變化。SAMF、DCF、OAB能夠成功跟蹤目標(biāo)，但都伴隨有不同程度的跟蹤誤差，本文算法在目標(biāo)發(fā)生光照變化時，在保證目標(biāo)模板可靠性基礎(chǔ)上，采用候選模板庫匹配，保存目標(biāo)光照變化條件下的模板，保證了光照變化時的精確跟蹤，在光照回到初始狀態(tài)時，利用候選模板庫中正常光照下的目標(biāo)模板進行匹配，實現(xiàn)穩(wěn)定的跟蹤。

（5）相似目標(biāo)，Girlmov、Jogging、Liquor視頻序列中，背景中存在一個或多個與目標(biāo)相似的運動物體，在目標(biāo)或背景中物體發(fā)生運動時，本文算法能準(zhǔn)確跟蹤目標(biāo)并且自適應(yīng)地調(diào)整跟蹤框的尺寸大小，較其他7種算法有更強的適應(yīng)性。

4 結(jié)束語

本文提出了一種基于深度特征和模板更新的自適應(yīng)粒子濾波目標(biāo)跟蹤的方法，將一幅目標(biāo)模板及其仿射變換得到的圖像放入候選模板庫中，然后通過預(yù)測結(jié)果的深度特征與目標(biāo)模板及其仿射變換的深度特征進行對比，確定新的目標(biāo)模板，并將新的目標(biāo)模板及其仿射變換放入候選模板庫中，進一步提高了對目標(biāo)表觀變化的適應(yīng)性。最后，在粒子濾波算法框架下完成對目標(biāo)的定位。在遮擋、光照變化、目標(biāo)旋轉(zhuǎn)、尺度變化和存在相似目標(biāo)條件下，仿真實驗表明本文算法是有效的。

Fig.8 Tracking accuracy graphs圖8 中心位置誤差曲線

Fig.9 Tracking precision plots圖9 跟蹤精度曲線

Fig.10 Tracking success plots圖10 跟蹤成功率曲線