判別相關(guān)濾波融合深度信息的目標(biāo)跟蹤算法

楊海清，唐怡豪，許倩倩，孫道洋

(浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023)

1 引 言

在計(jì)算機(jī)視覺領(lǐng)域，目標(biāo)跟蹤在最近幾年已經(jīng)成為重要的課題和研究熱點(diǎn).面臨著多種挑戰(zhàn)，例如，尺度變換、遮擋、形變和旋轉(zhuǎn)等.在本文中，考慮短時(shí)單目標(biāo)無模型的跟蹤[1]，在第一幀中用矩形框表示被跟蹤的目標(biāo)，跟蹤過程中沒有目標(biāo)形狀和類別等先驗(yàn)信息.

在過去的幾十年里，已經(jīng)提出許多跟蹤方法，主要分為生成類和判別類方法[2，3].生成類方法是根據(jù)初始視頻幀中的目標(biāo)建立模型，然后在后續(xù)幀中尋找相似度最高的區(qū)域.判別類方法是根據(jù)初始視頻幀中的目標(biāo)和背景訓(xùn)練分類器，通過在后續(xù)幀中的搜索和判別實(shí)現(xiàn)目標(biāo)和背景的區(qū)分.近年來，基于判別相關(guān)濾波的跟蹤方法在標(biāo)準(zhǔn)的數(shù)據(jù)集中速度和精度方面均表現(xiàn)出良好的性能.

但是，對(duì)于RGB圖像，具有相似紋理特征的圖像塊難以區(qū)分.在另一方面，深度傳感器近來已經(jīng)成功應(yīng)用到許多計(jì)算機(jī)視覺應(yīng)用中.可以根據(jù)深度傳感器采集的深度信息提高RGB跟蹤算法的性能.

Song等人[4]為RGBD跟蹤提出第一個(gè)公開的數(shù)據(jù)集，普林斯頓跟蹤數(shù)據(jù)集.作者提出將深度信息作為額外的維度加入到梯度方向直方圖特征空間中和基于3D點(diǎn)云進(jìn)行跟蹤.對(duì)支持向量機(jī)進(jìn)行訓(xùn)練，用來區(qū)分目標(biāo)和背景.由目標(biāo)的深度直方圖進(jìn)行遮擋檢測(cè)，遮擋期間用光流法對(duì)遮擋物進(jìn)行跟蹤直到目標(biāo)重新出現(xiàn).它們的方法計(jì)算量較大，難以達(dá)到實(shí)時(shí)(0.26 FPS).Hannuna等人[5]提出一種在核相關(guān)濾波器框架中結(jié)合深度和顏色特征的跟蹤算法，深度信息用來處理遮擋、尺度和形狀變化，同樣對(duì)遮擋區(qū)域進(jìn)行了跟蹤.Leng等人[6]提出一種基于核相關(guān)濾波的實(shí)時(shí)RGBD目標(biāo)跟蹤算法.利用深度信息的空間連續(xù)性和相機(jī)的成像原理進(jìn)行尺度估計(jì)，通過將目標(biāo)劃分為區(qū)域并結(jié)合核相關(guān)濾波器在每個(gè)區(qū)域的最大響應(yīng)來處理遮擋.An等人[7]提出檢測(cè)學(xué)習(xí)分割(Detection-Learning-Segmentation)跟蹤框架，RGBD跟蹤任務(wù)被DLS分解為檢測(cè)、學(xué)習(xí)和分割，同時(shí)構(gòu)建目標(biāo)2D外觀模型和3D分布模型.大多數(shù)的跟蹤方法在訓(xùn)練相關(guān)濾波器時(shí)將深度信息作為顏色通道，構(gòu)建更加魯棒的外觀模型.

傳統(tǒng)判別相關(guān)濾波由于對(duì)輸入樣本進(jìn)行循環(huán)假設(shè)和所有像素對(duì)于濾波器學(xué)習(xí)同樣可靠而遭受邊界效應(yīng).可通過為相關(guān)濾波器提出有效的空間可靠性圖來解決這個(gè)問題[8].

Kart等人[9]提出DM-DCF(Depth Masked Discriminative Correlation Filter)將2D的空間可靠性圖運(yùn)用到3D的跟蹤中，在深度圖中根據(jù)前景和背景的概率表示構(gòu)建可靠性圖.在本文中，引入深度圖分割進(jìn)行可靠性圖計(jì)算、遮擋檢測(cè)和尺度估計(jì).首先，對(duì)通道檢測(cè)響應(yīng)值進(jìn)行可靠性加權(quán)，得到目標(biāo)的位置，根據(jù)目標(biāo)區(qū)域的深度分布和相關(guān)濾波器無通道加權(quán)的最大響應(yīng)檢測(cè)遮擋，在遮擋期間不更新濾波器模型，減少模型漂移問題.其次，通過深度圖分割獲得比顏色分割更精確的可靠性圖，計(jì)算約束濾波器避免傳統(tǒng)相關(guān)濾波的邊界效應(yīng).最后，根據(jù)相機(jī)模型計(jì)算連續(xù)的尺度因子，提高尺度估計(jì)準(zhǔn)確性，同時(shí)降低計(jì)算量.在普林斯頓數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)驗(yàn)證了本文算法的有效性.

2 基于判別相關(guān)濾波的目標(biāo)跟蹤

相關(guān)濾波將跟蹤轉(zhuǎn)化為嶺回歸問題，通過最小化通道相關(guān)輸出與期望輸出之差的平方和計(jì)算，在學(xué)習(xí)階段獲得多通道的相關(guān)濾波器.

(1)

(2)

檢測(cè)階段:

(3)

(4)

在學(xué)習(xí)階段，判別相關(guān)濾波器訓(xùn)練樣本通過循環(huán)移位獲得，利用循環(huán)矩陣的性質(zhì)在頻域進(jìn)行高效計(jì)算，但是也帶來了邊界效應(yīng)的問題[11].

3 本文算法

CSR-DCF[8](Discriminative Correlation Filter with Channel and Spatial Reliability)利用2D先驗(yàn)和顏色分割獲得空間可靠性圖，減少邊界效應(yīng).但是，當(dāng)目標(biāo)出現(xiàn)遮擋或前景和背景顏色相似時(shí)，CSR-DCF算法學(xué)習(xí)的相關(guān)濾波器會(huì)偏離目標(biāo)而發(fā)生漂移.在另一方面，深度信息可以用于區(qū)分相似紋理的前景和背景以及檢測(cè)遮擋.為了獲得更準(zhǔn)確的二值掩膜，對(duì)深度圖進(jìn)行分割得到可靠性圖，利用可靠性圖計(jì)算約束濾波器.同時(shí)，利用深度分布進(jìn)行遮擋和尺度處理.本文算法的流程如圖1所示，目標(biāo)跟蹤算法如表1所示.

圖1 算法流程Fig.1 Algorithm pipeline

表1 目標(biāo)跟蹤算法Table 1 Object tracking algorithm

3.1 獲得空間可靠性圖

第一階段用K均值聚類方法在深度圖目標(biāo)圖像塊的一維深度直方圖上進(jìn)行處理.深度直方圖由圖像塊內(nèi)的深度分布計(jì)算.在目標(biāo)未被遮擋時(shí)，目標(biāo)是最近的對(duì)象，K均值聚類算法收斂后，目標(biāo)區(qū)域?qū)?yīng)具有最小平均深度的簇，如圖2所

示.第二階段是在相同的深度平面區(qū)分物體，去除對(duì)應(yīng)小區(qū)域的簇.

圖2 深度圖分割Fig.2 Depth image segmentation

目標(biāo)的空間分布由對(duì)應(yīng)目標(biāo)區(qū)域深度值的均值μobj和σobj標(biāo)準(zhǔn)差表征.一旦新的目標(biāo)位置被估計(jì)，用兩步深度分割算法重新估計(jì)目標(biāo)物體的深度，得到目標(biāo)的深度分布信息.選擇深度值在目標(biāo)區(qū)域范圍內(nèi)的所有點(diǎn)作為目標(biāo)二值掩膜的候選點(diǎn)，目標(biāo)和背景分別為1和0.

3.2 計(jì)算約束濾波器

空間可靠性圖用于減少循環(huán)位移假設(shè)帶來的邊界效應(yīng)問題，由于通道間濾波器的學(xué)習(xí)相互獨(dú)立，考慮單個(gè)通道.m∈[0,1]標(biāo)識(shí)濾波器在學(xué)習(xí)中被忽略的像素，可以表示為h≡m⊙h，⊙表示元素點(diǎn)乘.引入變量hd，定義約束:

hd-m⊙h≡0

(5)

根據(jù)目標(biāo)函數(shù)(2)，以及augmented Lagrangian方法構(gòu)建Lagrange表達(dá)式:

(6)

ξ表示Lagrange乘數(shù)，hm=m⊙h，字母上—表示共軛矩陣，＾表示傅里葉變換，μ>0.Lagrange表達(dá)式可以通過ADMM(alternating direction method ofmultipliers)迭代求解，將目標(biāo)轉(zhuǎn)化為在每次迭代中依次求解兩個(gè)子問題.

(7)

(8)

Lagrange乘數(shù)更新:

(9)

公式(7)中的最小化具有封閉解:

(10)

(11)

3.3 通道可靠性估計(jì)

假設(shè)特征通道是相互獨(dú)立，響應(yīng)是所有特征通道之和.DCF跟蹤中加入通道可靠性權(quán)重wk，最終響應(yīng)由加權(quán)后的特征通道和計(jì)算.

(12)

fk*hk表示特征通道響應(yīng)，wk表示對(duì)應(yīng)權(quán)重,wk由通道學(xué)習(xí)可靠權(quán)重和通道檢測(cè)可靠權(quán)重計(jì)算.通道學(xué)習(xí)可靠權(quán)重在濾波器學(xué)習(xí)階段由通道濾波器最大響應(yīng)計(jì)算.

(13)

通道檢測(cè)可靠權(quán)重在檢測(cè)階段由響應(yīng)圖中兩個(gè)最大峰值比值計(jì)算.當(dāng)相似物體出現(xiàn)在目標(biāo)附近時(shí)，會(huì)出現(xiàn)多峰，在這種情況下將比率約束為0.5.

(14)

ρmax1,ρmax2表示響應(yīng)圖中兩個(gè)最大的峰值.

3.4 尺度估計(jì)

3.5 遮擋檢測(cè)處理

(15)

(16)

如果發(fā)生遮擋則不進(jìn)行尺度和模型更新，在后續(xù)幀中繼續(xù)搜索.當(dāng)目標(biāo)重新出現(xiàn)在跟蹤框內(nèi)時(shí)，遮擋消失，滿足公式(17).

(17)

4 實(shí) 驗(yàn)

為了評(píng)價(jià)跟蹤器的性能，在具有RGB和深度數(shù)據(jù)的普林斯頓數(shù)據(jù)集(Princeton RGBD Tracking Benchmark)中進(jìn)行實(shí)驗(yàn).普林斯頓數(shù)據(jù)集包含5個(gè)驗(yàn)證序列和95個(gè)測(cè)試序列，其中驗(yàn)證序列中包含標(biāo)注好的信息.使用成功率圖和精度圖來評(píng)估跟蹤器的總體表現(xiàn)[14].

中心位置誤差是跟蹤目標(biāo)的中心位置與標(biāo)注位置之間的平均歐氏距離.精度圖顯示了估計(jì)位置在標(biāo)注位置給定閾值距離內(nèi)的幀數(shù)所占的百分比.使用閾值等于20像素(P20)作為跟蹤器的代表精度分?jǐn)?shù).為了測(cè)量幀序列的性能，我們計(jì)算重疊大于給定的閾值的成功幀數(shù)所占的百分比，并計(jì)算成功率曲線與坐標(biāo)軸圍成的面積(AUC)，表示成功分?jǐn)?shù).通過每秒處理幀的數(shù)量(FPS)來評(píng)價(jià)跟蹤器的計(jì)算量.

實(shí)驗(yàn)在64位Win7操作系統(tǒng)，Matlab 2016a上進(jìn)行，電腦配置參數(shù)為Intel(R)i7-4510U(2.60GHz)，內(nèi)存配置4GB.正則化參數(shù)λ=0.01，濾波器更新率η=0.02，augmented Lagrangian優(yōu)化參數(shù)β=3，μ0=5，與文獻(xiàn)[8]設(shè)置相同.λ1=0.65，λ2=0.35，根據(jù)經(jīng)驗(yàn)值進(jìn)行設(shè)定，參數(shù)在實(shí)驗(yàn)中保持固定.

表2 本文方法與基準(zhǔn)算法對(duì)比
Table 2 Comparision of our proposed method with the baseline

方法基準(zhǔn)方法深度圖掩膜深度圖掩膜和尺度估計(jì)深度圖掩膜和遮擋檢測(cè)深度圖掩膜、遮擋檢測(cè)和尺度估計(jì)P2070.982.682.696.696.1AUC56.363.266.774.477.1FPS5.811.37.310.111.4

表2是深度圖分割計(jì)算掩膜、尺度估計(jì)和遮擋檢測(cè)對(duì)結(jié)果的影響.CSR-DCF為基準(zhǔn)方法，尺度估計(jì)用DSST中的尺度濾波器.深度圖分割計(jì)算掩膜比基準(zhǔn)方法中RGB圖顏色分割更準(zhǔn)確，在精度上提升11.7%，AUC提升6.9%.深度圖掩膜和尺度估計(jì)，AUC提升3.5%.深度圖掩膜和遮擋檢測(cè)，減少遮擋時(shí)更新模型導(dǎo)致的模型漂移，精度提升14.0%，AUC提升11.2%.深度圖掩膜、遮擋檢測(cè)和尺度估計(jì)組合與基準(zhǔn)方法相比，總體的精度和AUC都有較大提升，精度提升25.2%,AUC提升20.8%.FPS是在普林斯頓數(shù)據(jù)集中較長(zhǎng)的跟蹤序列bear_front上進(jìn)行估計(jì)的，其中遮擋占25%左右.在具有尺度估計(jì)沒有遮擋檢測(cè)的組合中，每一幀都更新濾波器模型，因此跟蹤過程中速度下降較大.同時(shí)具有遮擋檢測(cè)和尺度估計(jì)時(shí)，雖然尺度估計(jì)增加一些計(jì)算時(shí)間，但是遮擋檢測(cè)在模型更新方面減少計(jì)算量.

表3 本文算法與其他算法的對(duì)比
Table 3 Comparision between our and other trackers

算法CSR-DCFKCFCNSAMFOURP2070.981.067.181.796.1AUC56.362.250.866.777.1FPS5.874.716.513.411.4

進(jìn)一步驗(yàn)證算法的有效性，將提出的方法與其他算法CSR-DCF，KCF[11]，CN[15]，SAMF[16]進(jìn)行對(duì)比.表3是不同跟蹤算法在普林斯頓數(shù)據(jù)集中的結(jié)果.CSR-DCF算法使用Hog[17]和ColorNames[18]特征.SAMF算法(Scale Adaptive Kernel Correlation Filter Tracker)，特征采用矢量相加的原始像素、Hog和ColorNames，尺度池方法進(jìn)行尺度估計(jì).本文算法使用的特征與CSR-DCF特征相同，在精度方面，AUC和P20均高于其他算法.速度方面，利用深度信息計(jì)算尺度與基準(zhǔn)算法相比，計(jì)算量更小，能基本達(dá)到實(shí)時(shí)處理.圖3表示了成功率圖和精度圖，從成功率圖和精度圖可以看到本文方法高于其他算法.

圖3 成功率圖和精度圖 Fig.3 Precision plot and success plot

圖4 定性評(píng)估Fig.4 Qualitative evaluation

圖4對(duì)本文所提的算法進(jìn)行效果演示，bear_front(a)和new_ex_occ4(b)兩個(gè)視頻序列具有遮擋.在bear_front序列中，本文算法能夠在目標(biāo)面臨短時(shí)間的遮擋后重新跟蹤到目標(biāo)，其他算法丟失跟蹤目標(biāo).在new_ex_occ4序列中，在出現(xiàn)遮擋后，SAMF和OUR算法能繼續(xù)跟蹤目標(biāo).zcup_move_1(c)和child_no1(d)兩個(gè)視頻序列具有尺度變化.SAMF和CSR-DCF在面臨較長(zhǎng)時(shí)間跟蹤和目標(biāo)尺度快速變化時(shí)，跟蹤精度有所降低.本文算法能夠較精確的估計(jì)目標(biāo)的位置和尺寸.

5 結(jié) 論

本文提出了一種在判別相關(guān)濾波框架中融合深度信息對(duì)目標(biāo)進(jìn)行深度圖分割、遮擋檢測(cè)和尺度估計(jì)的跟蹤算法.對(duì)深度圖進(jìn)行分割構(gòu)建空間可靠性圖，利用可靠性圖計(jì)算約束濾波器，避免傳統(tǒng)判別相關(guān)濾波器的邊界效應(yīng).提高判別相關(guān)濾波跟蹤的魯棒性.同時(shí)結(jié)合深度信息進(jìn)行遮擋檢測(cè)和尺度估計(jì).利用深度圖的距離信息估計(jì)目標(biāo)的尺寸，減少計(jì)算量.根據(jù)目標(biāo)區(qū)域的深度分布和無通道加權(quán)的濾波器最大響應(yīng)檢測(cè)遮擋.在遮擋期間，不更新濾波器模型.在訓(xùn)練階段，根據(jù)通道響應(yīng)值計(jì)算可靠權(quán)重.在定位階段，對(duì)通道檢測(cè)響應(yīng)值進(jìn)行可靠加權(quán)后得到目標(biāo)的位置，提高跟蹤精度.算法的自身對(duì)比實(shí)驗(yàn)表明，與基準(zhǔn)算法相比速度和精度均有提升.與其他算法進(jìn)行定性與定量的對(duì)比，本文提出的算法，在遮擋和尺度變化等挑戰(zhàn)中能表現(xiàn)較好的跟蹤效果.