雙向多軌跡判定方法在目標(biāo)跟蹤中的應(yīng)用研究

李 孟 庭

(廣東外語外貿(mào)大學(xué) 廣東 廣州 510420)

?

雙向多軌跡判定方法在目標(biāo)跟蹤中的應(yīng)用研究

李 孟 庭

(廣東外語外貿(mào)大學(xué) 廣東 廣州 510420)

針對(duì)視頻跟蹤中存在的目標(biāo)飄移問題，提出基于雙向多軌跡判定的跟蹤方法。首先，在一定時(shí)間間隔中分別使用紋理、顏色，以及光照不變量特征的三種組件跟蹤器，對(duì)目標(biāo)進(jìn)行正向跟蹤。然后，以正向跟蹤結(jié)果作為初始位置，進(jìn)行相應(yīng)反向跟蹤。通過分析成對(duì)正向反向軌跡，提取幾何相似性、循環(huán)量和外觀相似性，并計(jì)算各跟蹤器軌跡準(zhǔn)確性分?jǐn)?shù)。最后，選擇準(zhǔn)確性分?jǐn)?shù)最高的跟蹤器的正向跟蹤軌跡作為最終的跟蹤結(jié)果。實(shí)驗(yàn)結(jié)果表明：與幾種傳統(tǒng)跟蹤方法相比，提出的雙向多軌跡判定跟蹤方法通過融合不同的特征信息，跟蹤性能顯著提升。

目標(biāo)跟蹤 反向跟蹤 雙向多軌跡判定 幾何相似性

0 引 言

近年來，視頻目標(biāo)跟蹤在人們的生活中得到廣泛應(yīng)用，為此提出了大量視頻跟蹤算法[1-2]。大多數(shù)跟蹤算法均由于不同原因遇到目標(biāo)飄移問題，包括特征描述符辨識(shí)力低、遮擋、光照突變等[3]。為了達(dá)到更穩(wěn)定準(zhǔn)確地跟蹤目的，如何克服目標(biāo)飄移問題成為研究的熱點(diǎn)。

由于不同特征描述符，表達(dá)不同的信息，所以某種特定的特征類型不能完全從視頻背景中辨別出跟蹤目標(biāo)[4-5]。如文獻(xiàn)[4]提出了一種自適應(yīng)特征融合AFF(Adaptive Feature Fusion)的魯棒跟蹤方法，通過比較多種跟蹤器的跟蹤位置，估算目標(biāo)的大體位置；然后，使用估算出位置的信息更新所有跟蹤器。然而，如果多種跟蹤器由于干擾無法找到某一幀中跟蹤目標(biāo)的位置，那么錯(cuò)誤跟蹤會(huì)延伸到剩余的幀中。其他自適應(yīng)方法，有自適應(yīng)稀疏表達(dá)ASR(Adaptive Sparse Representation)跟蹤方法[6]和自適應(yīng)實(shí)時(shí)壓縮ARTC(Adaptive Real-Time Compressive)跟蹤方法[7]。ASR[6]主要是為了克服光照和陰影變化，目標(biāo)采用稀疏表達(dá)模板；ARTC[7]的自適應(yīng)主要體現(xiàn)在參數(shù)學(xué)習(xí)的自適應(yīng)。然而，這兩種方法在復(fù)雜背景下進(jìn)行目標(biāo)跟蹤，目標(biāo)容易發(fā)生漂移現(xiàn)象。

為解決錯(cuò)誤延伸問題，文獻(xiàn)[8-10]提出了有記憶的跟蹤系統(tǒng)，這種跟蹤系統(tǒng)可以提煉跟蹤器的軌跡。如文獻(xiàn)[8]提出一種基于人類記憶模型HMM(Human Memory Model)的跟蹤方法，HMM[8]長(zhǎng)期跟蹤器能夠儲(chǔ)存每一幀中目標(biāo)的可能位置，用動(dòng)態(tài)規(guī)劃估算跟蹤目標(biāo)的軌跡，這樣可以考慮到位置的置信度和連續(xù)幀中位置之間的時(shí)序關(guān)系。然而，有記憶的跟蹤器采用了固定特征描述符，這些描述符不能有效地將跟蹤目標(biāo)從一些序列的背景中分離出來。

基于學(xué)習(xí)的跟蹤器運(yùn)用非常廣泛，如文獻(xiàn)[11]的STRUCK跟蹤器，采用SVM判別式函數(shù)，將學(xué)習(xí)與跟蹤結(jié)合在一起，有效避免了樣本標(biāo)記的不明確性，本文組件跟蹤也采用了STRUCK[11]。文獻(xiàn)[12]提出一種基于王-朗蒙特卡洛MLMC(W-L Monte Carlo)的跟蹤方法，將新的抽樣方法融入到蒙特卡洛跟蹤框架，緩解了運(yùn)動(dòng)平滑約束和跟蹤的突然運(yùn)動(dòng)。為了增加學(xué)習(xí)的魯棒性，文獻(xiàn)[13]提出了多高斯不確定性MGU(Multiple Gaussian Uncertainty)方法。根據(jù)在線學(xué)習(xí)框架的局部運(yùn)動(dòng)，提高跟蹤的魯棒性。

本文提出了一種新的雙向多軌跡判定跟蹤算法BMPD(Bidirectional Multiple Trajectory Determination)，其將“多種跟蹤器的跟蹤”和“有記憶的跟蹤”結(jié)合起來。采用了三種使用不同特征的正向跟蹤器，它們分別基于紋理信息、顏色信息和光照不變量信息。通過計(jì)算三種跟蹤器的準(zhǔn)確性分?jǐn)?shù)(幾何相似性、循環(huán)量和外觀相似性)，選出最佳跟蹤結(jié)果。本文的主要工作為：

(1) 采用新型多軌跡判定方法從多種跟蹤器中提取最佳軌跡。

(2) 基于幾何相似性、循環(huán)量和外觀相似性定義成對(duì)正向和反向軌跡的準(zhǔn)確性分?jǐn)?shù)。

1 STRUCK跟蹤器

該部分對(duì)STRUCK跟蹤器原理進(jìn)行簡(jiǎn)要介紹[11]。假定X表示跟蹤目標(biāo)的跟蹤框位置，d表示跟蹤框從先前幀移到當(dāng)前幀的位移矢量。STRUCK使用了形式為f(x,d)=wtφ(x,d)的判別式函數(shù)，其中φ(x,d)是x和d的聯(lián)合特征圖，w是超平面的標(biāo)準(zhǔn)矢量。判別式函數(shù)可以簡(jiǎn)化為：

(1)

式中，x(i)和d(j)是支持矢量，k(·)是用于將線性分類器轉(zhuǎn)換為非線性的聯(lián)合基函數(shù)。β(i,j)>0是正支持矢量，β(i,j)<0是負(fù)支持矢量。

(2)

估算xt之后，從幀t中生成標(biāo)記好的訓(xùn)練樣本，并將其利用實(shí)時(shí)SVM算法更新判別式函數(shù)。STRUCK跟蹤器采用有結(jié)構(gòu)的SVM分類器，將學(xué)習(xí)與跟蹤很好地結(jié)合起來，避免了樣本標(biāo)記中的不明確性。

2 雙向多軌跡判定方法

當(dāng)跟蹤目標(biāo)改變其外觀或跟蹤目標(biāo)被其他物體遮擋時(shí)，跟蹤就會(huì)失敗。這種外觀改變很難從目標(biāo)外觀的自身變化中辨別出來。為了克服這一難題，本文提出的雙向多軌跡判定跟蹤器，采用了反向跟蹤器，它能在相反的時(shí)間順序中檢測(cè)出某一特定目標(biāo)。通過比較反向軌跡與正向軌跡，可以判定正向跟蹤器檢測(cè)是否正確。此外，還采用了多種正向跟蹤器，能提供多種軌跡假設(shè)?；谡蚝头聪蚍治?，選出最佳正向軌跡，以提升跟蹤的精準(zhǔn)性和魯棒性。

2.1 組件跟蹤器

本文采用了三種組件跟蹤器：Γ1、Γ2、Γ3，其均基于STRUCK跟蹤器。這些跟蹤器使用不同的特征描述符，并獨(dú)立確定目標(biāo)軌跡。其特征表示符分別如下所述：

Γ1：第一種跟蹤器使用Haar-like特征來表示跟蹤目標(biāo)的紋理特征[6]。Haar-like特征的包圍盒被分為4×4塊，每塊中包含六種不同類型的特征，特征矢量的維度為192，矢量中的所有元素的范圍均為[-1,1]。

Γ2：第二種跟蹤器使用顏色直方圖來表示跟蹤目標(biāo)的局部顏色分布。包圍盒也被分為4×4塊，從每塊中提取48個(gè)色彩空間的顏色直方圖。該特征矢量的維度為768。

Γ3：第三種跟蹤器采用光照不變特征。首先，從L通道圖像中獲得圖像梯度幅值。隨后，從幅值中獲取累積直方圖。通過使用累積直方圖，將幅值圖像轉(zhuǎn)化為等級(jí)圖像，其中每個(gè)幅值都用相應(yīng)的累積直方圖的值來代替。將單級(jí)圖像與三通道色彩空間圖像整合成一種四通道圖像。最后，將四通道包圍盒進(jìn)行空間下采樣變?yōu)?6×16塊，以獲得1 024維的特征矢量。

為測(cè)量特征矢量u和v的相似性，本文使用交叉核將其結(jié)合起來，如式(3)所示：

(3)

式中，D表示特征維度。

2.2 準(zhǔn)確性測(cè)量

三種組件跟蹤器，生成了三種跟蹤軌跡。本文測(cè)量每種跟蹤器的準(zhǔn)確性，并選出最穩(wěn)健的跟蹤器的軌跡結(jié)果作為最終軌跡。本節(jié)對(duì)跟蹤器的準(zhǔn)確性測(cè)量方法進(jìn)行詳細(xì)描述。

(4)

(5)

本文通過三種測(cè)量標(biāo)準(zhǔn)(幾何相似性、循環(huán)量和外觀相似性)來檢驗(yàn)正向軌跡的可靠性。首先，幀t的幾何相似性gt定義如式(6)所示：

(6)

圖1 軌跡分析

為了評(píng)價(jià)該種情況，本文首先計(jì)算兩種相對(duì)應(yīng)包圍盒的重疊比ζt，如式(7)所示：

(7)

(8)

(9)

最后，本文結(jié)合幾何相似性、循環(huán)量和外觀相似性來確定在[t1,t2]期間跟蹤器的準(zhǔn)確性，如式(10)所示：

(10)

2.3 通過最優(yōu)軌跡選擇跟蹤

本文通過分析多種跟蹤器獲得的成對(duì)正向反向軌跡實(shí)現(xiàn)跟蹤。為了減輕計(jì)算成本，本文對(duì)連續(xù)τ幀的集合進(jìn)行了軌跡分析，兩個(gè)連續(xù)集共享一個(gè)邊界幀。即間隔[t-τ,t]的軌跡分析和下一個(gè)間隔[t,t+τ]的軌跡分析共享幀t。因此，軌跡分析路徑只能分析τ的倍數(shù)的幀。

本文首先利用組件跟蹤器Γ1、Γ2、Γ3對(duì)間隔[t-τ,t]進(jìn)行分析，得到三個(gè)正向軌跡和相應(yīng)的反向軌跡。然后，利用式(10)計(jì)算三種跟蹤器的準(zhǔn)確性分值，選出分值最高的跟蹤器為最優(yōu)跟蹤器。定義式(11) 表示最優(yōu)跟蹤器的正向軌跡，并將其視為最終跟蹤結(jié)果。

(11)

當(dāng)有非目標(biāo)物體在目標(biāo)物體附近時(shí)，不能在短期間隔τ中有效地選出最優(yōu)跟蹤器。此時(shí)應(yīng)增大間隔，保證能從目標(biāo)物體中將非目標(biāo)物體分離出來。但是另一方面，間隔τ較長(zhǎng)時(shí)，某次錯(cuò)誤跟蹤的影響就會(huì)更加嚴(yán)重。因此，選擇合適的τ顯得重要。不同τ情況下平均成功率ASR(Average Success Rate)和平均準(zhǔn)確率AAR(Average Accuracy Rate)的曲線如圖2所示，其中ASR表示識(shí)別成功時(shí)的曲線區(qū)域，AAR表示正確幀的百分比[14]，這些幀中目標(biāo)的真實(shí)位置在20個(gè)像素內(nèi)?？梢钥闯?，當(dāng)τ=30時(shí)，ASR和AAR有最大值。因此本文取τ為30。

圖2 不同τ情況下ASR和AAR結(jié)果

2.4 錯(cuò)誤處理

當(dāng)式(8)中最優(yōu)跟蹤器的循環(huán)量χ為1時(shí)，當(dāng)前間隔[t-τ,t]中就出現(xiàn)了跟蹤錯(cuò)誤。當(dāng)所有組件跟蹤器在連續(xù)幀中g(shù)tφt≤δ2長(zhǎng)達(dá)2/3τ時(shí)，也可以判定跟蹤錯(cuò)誤。本文中δ2=0.004。當(dāng)檢測(cè)到跟蹤錯(cuò)誤時(shí)，本文就不更新所有組件跟蹤器的分類器。同時(shí)，發(fā)生跟蹤錯(cuò)誤時(shí)，目標(biāo)有可能會(huì)超出正常搜索范圍。因此，本文將搜索范圍從R擴(kuò)大至4×R，但是在已增加的搜索范圍內(nèi)從每64個(gè)樣本中檢查一個(gè)樣本，以降低計(jì)算復(fù)雜性。

3 實(shí)驗(yàn)結(jié)果及分析

本文利用基準(zhǔn)數(shù)據(jù)集[15]測(cè)試所提出的雙向多軌跡判定算法的性能，該數(shù)據(jù)集中包含在復(fù)雜背景下的測(cè)試序列，如光照變量、遮擋等情形。實(shí)驗(yàn)分為兩個(gè)部分，為了驗(yàn)證本文算法多特征軌跡判定的優(yōu)勢(shì)，對(duì)不同特征軌跡組合的結(jié)果進(jìn)行比較；同時(shí)，為了驗(yàn)證本文算法的性能，與其他傳統(tǒng)的跟蹤方法進(jìn)行比較。

3.1 不同特征軌跡比較

本部分實(shí)驗(yàn)中，不同特征軌跡組合的跟蹤方法的ASR和AAR結(jié)果如表1所示。其中BMPD表示使用了所有組件跟蹤器Γ1、Γ2、Γ3，BMPDi表示只使用了一種跟蹤器Γi(i=1,2,3)，BMPDi,j表示使用了兩種跟蹤器Γi和Γj(i=1,2,3;j=1,2,3)。本文測(cè)試了每一種可能的結(jié)合。當(dāng)只采用一種跟蹤器時(shí)，BMPD2采用顏色特征的Γ2跟蹤器，其跟蹤結(jié)果比其他兩種跟蹤器更精準(zhǔn)。當(dāng)聯(lián)合使用兩種跟蹤器時(shí)，BMPD2,3的效果較好。但通過聯(lián)合三種跟蹤器Γ1、Γ2、Γ3，BMPD的結(jié)果最佳。所以，本文提出的多軌跡判定方法，通過融合不同的特征信息，可進(jìn)一步提高跟蹤準(zhǔn)確性。

表1 不同特征組合方法的ASR和AAR結(jié)果

3.2 不同算法比較

為了進(jìn)一步驗(yàn)證本文BMPD算法的有效性，將BMPD方法與7種跟蹤器方法進(jìn)行比較：AFF[4]、ASR[6]、ARTC[7]、HMM[8]、STRUCK[11]、WLMC[12]和MGU[13]。如表2所示。

表2 各算法ASR與AAR比較結(jié)果

表2給出各種算法的ASR和AAR的結(jié)果。與表1一樣，最后四行與本文提出算法相對(duì)應(yīng)：BMPD使用了所有組件分類器，BMPDi表示只使用了一種分類器Γi(i=1,2,3)。該四種方法均利用2.4節(jié)的錯(cuò)誤處理方法以抑制跟蹤錯(cuò)誤的延伸，各組件分類器均基于STRUCK，其中粗體字表示最佳結(jié)果。

可以看出，即使只使用了單一組件跟蹤器，由于添加了跟蹤錯(cuò)誤處理器，所提算法優(yōu)于傳統(tǒng)的STRUCK方法。此外，本文的雙向多軌跡判定方法BMPD的性能優(yōu)于其他所有傳統(tǒng)算法，其ASR和AAR結(jié)果分別比STRUCK高出11.7%和19.4%。

為了進(jìn)一步分析驗(yàn)證本文方法的有效性，利用各種跟蹤方法對(duì)常見的幾組非基準(zhǔn)測(cè)試序列進(jìn)行比較。其中非基準(zhǔn)測(cè)試序列來自文獻(xiàn)[12]。對(duì)于不同測(cè)試序列，各算法的ASR和AAR結(jié)果如表3所示?？梢钥闯?，本文提出的BMPD方法具有最佳的跟蹤效果。ASR和AAR的平均值分別比STRUCK方法高出28%和42%，比MGU方法高出11%和12%。

表3 對(duì)于非基準(zhǔn)序列各算法的跟蹤結(jié)果

4 結(jié) 語

本文提出雙向多軌跡判定跟蹤器對(duì)視圖進(jìn)行跟蹤，使用了三種組件跟蹤器。在指定時(shí)間間隔內(nèi)，每個(gè)組件跟蹤器均計(jì)算正向軌跡和反向軌跡；通過分析正向和反向軌跡，提取幾何相似性、循環(huán)量和外觀相似性，并將它們聯(lián)合起來定義跟蹤器的準(zhǔn)確性分?jǐn)?shù)；選出準(zhǔn)確性分?jǐn)?shù)最高的跟蹤器的正向跟蹤軌跡作為最優(yōu)跟蹤結(jié)果；如果各組件跟蹤器的準(zhǔn)確性分?jǐn)?shù)均較低，則進(jìn)行錯(cuò)誤處理，抑制錯(cuò)誤累積情況。通過在基準(zhǔn)測(cè)試序列和非基準(zhǔn)測(cè)試序列的實(shí)驗(yàn)，結(jié)果表明，本文提出的BMTD方法比傳統(tǒng)跟蹤器具有更準(zhǔn)確的效果。

本文使用的三種跟蹤器均是基于STRUCK[11]的組件跟蹤器。將來的研究方向可將多軌跡判定應(yīng)用到其他組件跟蹤器中，并且使用更多的特征跟蹤器進(jìn)行判定，進(jìn)一步提高跟蹤準(zhǔn)確性。

[1] 王保憲.復(fù)雜背景下的視頻目標(biāo)跟蹤算法研究[D].北京:北京理工大學(xué),2016.

[2] 劉定通.復(fù)雜背景下視頻運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究[D].成都:電子科技大學(xué),2016.

[3] Djamal M,Rabah Iguernaissi,Kheir E A,et al.Tracking Multiple Persons under Partial and Global Occlusions:Application to Customers’ Behavior Analysis[J].Pattern Recognition Letters,2016,81(10):11-20.

[4] 郇二洋,李睿.基于自適應(yīng)特征融合的粒子濾波目標(biāo)跟蹤算法[J].計(jì)算機(jī)科學(xué),2015,42(2):316-318.

[5] 李維維,張陳斌,陳宗海,等.基于特征學(xué)習(xí)與體征記憶模塊更新機(jī)制的粒子濾波跟蹤[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào),2014,44(4):292-302.

[6] Nhat V Q,Lee G.Illumination Invariant Object Tracking with Adaptive Sparse Representation[J].International Journal of Control Automation and Systems,2014,12(1):195-201.

[7] Zhang W Z,Ji J G,Jing W F,et al.Adaptive Real-Time Compressive Tracking [C]//IEEE International Conference on Network and Information Systems for computers,2015,9:236-240.

[8] 齊玉娟,王延江.基于人類記憶模型的粒子濾波魯棒性目標(biāo)跟蹤算法[J].模式識(shí)別與人工智能,2012,25(5):810-816.

[9] 郭強(qiáng),孫鵬,趙迎春,等.基于記憶梯度追蹤的高效稀疏跟蹤算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(4):565-572.

[10] 吳世東.基于視覺顯著性的粒子濾波跟蹤算法研究[D].北京:中國科學(xué)技術(shù)大學(xué),2015.

[11] Hare S,Golodetz S,Saffari A,et al.Struck: Structured Output Tracking with Kernels[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,23(5):263-270.

[12] Kwon J,Lee K M.Wang-Landau Monte Carlo-based tracking methods for abrupt motions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(4):1011-1024.

[13] Zhang B,Perina A,Li Z,et al.Bounding Multiple Gaussians Uncertainty with Application to Object Tracking[J].International Journal of Computer Vision,2016,118(3):364-379.

[14] Wu Y,Lim J,Yang M H.Online Object Tracking:A Benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition,2013:2411-2418.

[15] Zhang W Z,Ji J G,Jing W F,et al.Adaptive Real-Time Compressive Tracking[C]//IEEE International Conference on Network and Information Systems for computers,2015,9:236-240.

APPLICATION OF BIDIRECTIONAL MULTIPLE TRAJECTORY DETERMINATION IN OBJECT TRACKING

Li Mengting

(GuangdongUniversityofForeignStudies,Guangzhou510420,Guangdong,China)

Regarding the problem that most tracking algorithms experience object drift, we proposed a new tracking method based on bidirectional multiple trajectory determination. Firstly, we used the three component trackers of texture, color, and illumination invariant characteristics in a certain time interval to track the target forward. Then, we took the results of forward trace as the initial location to perform a corresponding reverse trace. After that, we extracted geometric similarity, the circulation volume, the appearance similarity, and calculate the tracker accuracy score of each tracker by analyzing the forward and backward trajectories. Finally, the forward tracking trajectory of the tracker with the highest accuracy score was selected as the final tracking result. Compared with traditional tracking methods, the experimental results show the proposed bidirectional multiple trajectory determination method improves the tracking accuracy through fusing different features.

Object tracking Backward tracking Bidirectional multiple trajectory determination Geometry similarity

2016-10-26。廣東省科技廳軟科學(xué)項(xiàng)目(2015A070704053)；廣東外語外貿(mào)大學(xué)大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目(2016 11846068)。李孟庭，講師，主研領(lǐng)域：多媒體技術(shù)，圖像處理，管理智能化。

TP391

A

10.3969/j.issn.1000-386x.2017.07.026