基于全卷積神經(jīng)網(wǎng)絡(luò)和稀疏表示的跟蹤算法

習(xí)茜

(中國電子科技集團(tuán)公司第二十研究所,陜西 西安710068)

目標(biāo)跟蹤算法是設(shè)計出一個魯棒性高的跟蹤算法需要應(yīng)對各種不確定的因素,精確地預(yù)估目標(biāo)位置。本文深度模型提取的視覺特征利用熱力圖模型進(jìn)行挑選,挑選出在目標(biāo)區(qū)域響應(yīng)值最大的特征圖。然后結(jié)合稀疏表示,對目標(biāo)外觀進(jìn)行稀疏重構(gòu),將初次篩選的候選粒子與目標(biāo)模版進(jìn)行相似度匹配,從而預(yù)測出被跟蹤目標(biāo)的位置。

1 基于粒子濾波和稀疏表示的跟蹤框架介紹

我們的特征圖選擇方法基于目標(biāo)的熱力圖回歸模型[1],利用VGG-16 網(wǎng)絡(luò)[2]結(jié)構(gòu)上第四層和第五層的最后一層卷積特征,然后將粒子濾波[3]生成的候選粒子輸入第四層與第五層網(wǎng)絡(luò)分別選取每層響應(yīng)值最高的前5 個候選粒子,認(rèn)為是可靠的候選粒子。將兩層網(wǎng)絡(luò)中的10 個可靠候選粒子使用基于局部的稀疏表示方法中加入顏色信息魯棒的粒子驗證算法進(jìn)行粒子驗證。

利用反向傳播模型收斂進(jìn)行模型參數(shù)的學(xué)習(xí),對模型參數(shù)進(jìn)行修正。固定參數(shù)后,根據(jù)特征圖對損失函數(shù)的影響選擇特征圖,影響越大,說明特征越重要。首先將輸入特征矢量化為一個向量,fi代表特征圖第i 個部分向量。對熱力圖損失函數(shù)求二階泰勒展開,公式如下：

其中,gi和hij分別是δl 的一階和二階關(guān)于特征圖向量的偏導(dǎo)。在通過反向傳播求得gi和hij后,特征圖向量的重要性計算公式為：

其中,P 為位置(x,y)在特征圖上所有特征向量的重要性之和。對δl 影響最大特征向量就是與目標(biāo)最為相關(guān)的。

通過目標(biāo)的熱力圖回歸模型在Conv4_3 和Conv5_3 層特征上分別進(jìn)行特征圖挑選,在特征圖挑選后,通過第一幀最小化平方損失函數(shù)：

基于最高層與較低層的特征屬性的不同,各自具有優(yōu)勢,在每個卷積層根據(jù)熱度值分別挑選前k 個最大的候選粒子,我們認(rèn)為這些候選粒子是與目標(biāo)最為相關(guān)的區(qū)域。

2 稀疏表示的視覺跟蹤目標(biāo)驗證

Tian 等[4]人提出一種局部的稀疏表示[5]模型,將顏色表示機(jī)制融入局部的稀疏模型中,用候選粒子與目標(biāo)模板之間的顏色相似性調(diào)節(jié)局部稀疏表示模型的候選粒子與目標(biāo)模板的相似性度量,我們將此方法用于篩選候選粒子的驗證。

2.1 稀疏生成模型

在初始幀,目標(biāo)跟蹤框分成K 個相互重疊的圖像目標(biāo)塊,將圖像塊灰度值轉(zhuǎn)化成矢向量y,圖像目標(biāo)塊的矢向量通過字典D與稀疏表示系數(shù)β 線性表示:

其中,||·||1代表了L1范數(shù),||·||2表示L2范數(shù),λ 為平衡參數(shù)。

在求得稀疏系數(shù)β 后,我們將圖像目標(biāo)塊對應(yīng)位置將相應(yīng)的稀疏系數(shù)排列成矩陣α,就可以表示完整的目標(biāo)。

我們在跟蹤階段有個誤差項ε,衡量外觀上表達(dá)的退化,誤差ε 若大于閾值,將該圖像目標(biāo)塊通過一個指導(dǎo)項τ 置為0；其它情況下表示為1。

2.2 融合顏色信息的局部稀疏表示

顏色信息在目標(biāo)的外觀表達(dá)上有很重要的作用,在局部的稀疏表示模型中將CN 顏色信息加入目標(biāo)外觀的表達(dá)機(jī)制中。在融入顏色信息時,是將候選樣本與目標(biāo)模版對應(yīng)局部塊間通過哈希編碼矢量距離進(jìn)行顏色的相似度度量。

距離表示是基于Hamming 距離,Hamming 距離值為0 時,候選樣本與目標(biāo)模版對應(yīng)局部塊顏色相似度為1,其余情況下顏色相似度均為0.5。在目標(biāo)跟蹤中,相鄰視頻幀中目標(biāo)不會有很大的變化,目標(biāo)顏色幾乎不變,將上一幀定位的目標(biāo)顏色和初始幀的目標(biāo)顏色共同加入到局部的稀疏表示模版中,進(jìn)行候選樣本與目標(biāo)模版的對應(yīng)局部塊間顏色的相似度度量。

將顏色的相似度度量機(jī)制融入候選粒子與目標(biāo)模版相似度計算中,公式如下：

T 表示通過深度特征挑選的候選粒子,St表示目標(biāo)模版與第t 個候選粒子的相似度,在跟蹤過程中將St最大的候選粒子作為跟蹤目標(biāo)。

3 跟蹤模型的更新機(jī)制

為了避免更新過程中引入背景噪聲,我們在第一幀初始化之后只更新第四層網(wǎng)絡(luò)參數(shù),固定第五層網(wǎng)絡(luò)。為了提高區(qū)分目標(biāo)與背景的能力,我們將中間幀中可靠的跟蹤結(jié)果每20 幀對第四層網(wǎng)絡(luò)進(jìn)行微調(diào),公式如下：

4 實(shí)驗結(jié)果與分析

本章的數(shù)據(jù)庫為OTB-100[6]中去除灰度視頻序列的75 個彩色序列,我們稱之為OTB-75。實(shí)驗中我們選擇FCNT、MEEM[7]、STRUCK[8]、TLD、SMS 五個經(jīng)典的目標(biāo)跟蹤算法與我們算法Our(s)進(jìn)行對比實(shí)驗。

為了更加全面的對比分析算法性能,我們分別在OPE,TRE,SRE 標(biāo)準(zhǔn)下對重合精度和距離精度進(jìn)行測評。我們用曲線下面積(AUC)表示跟蹤算法效果,曲線下面積越大說明跟蹤結(jié)果越好。實(shí)驗結(jié)果圖1 顯示,Ours 算法在OPE 標(biāo)準(zhǔn)下的距離精度和重合精度明顯優(yōu)于其他算法。

5 結(jié)論

圖1 多個方法在三種評價標(biāo)準(zhǔn)下的平均距離精度和重合精度

本文是基于全卷積深度特征對候選粒子進(jìn)行篩選,選出與目標(biāo)最為相關(guān)的可靠度最高的粒子與加入顏色信息的局部稀疏表示模版進(jìn)行最小重構(gòu)誤差分析進(jìn)行跟蹤。實(shí)驗結(jié)果表明OPE標(biāo)準(zhǔn)下的距離精度和重合精度明顯優(yōu)于其它算法。