自適應(yīng)更新時(shí)空方向能量目標(biāo)跟蹤算法研究

摘 要： 為降低遮擋對(duì)目標(biāo)跟蹤性能的影響，提出了一種基于自適應(yīng)更新時(shí)空方向能量的目標(biāo)跟蹤算法。首先依據(jù)目標(biāo)外觀模型進(jìn)行初步跟蹤，計(jì)算目標(biāo)平均運(yùn)動(dòng)矢量；然后，求取運(yùn)動(dòng)目標(biāo)的時(shí)空方向能量特征，構(gòu)建運(yùn)動(dòng)模型；依據(jù)運(yùn)動(dòng)模型和狀態(tài)機(jī)檢測(cè)目標(biāo)狀態(tài)，生成遮擋掩膜；最后，對(duì)不同狀態(tài)和遮擋情況的目標(biāo)采用不同的參數(shù)自適應(yīng)更新其外觀和運(yùn)動(dòng)模型。實(shí)驗(yàn)采用國(guó)際通用的CAVIAR和York兩個(gè)公共測(cè)試數(shù)據(jù)集，并用平均跟蹤誤差和多目標(biāo)跟蹤精確度兩個(gè)指標(biāo)評(píng)測(cè)了跟蹤性能。實(shí)驗(yàn)結(jié)果表明該方法的目標(biāo)跟蹤性能好，尤其是對(duì)目標(biāo)遮擋的魯棒性強(qiáng)。

關(guān)鍵詞： 目標(biāo)跟蹤算法； 目標(biāo)識(shí)別； 時(shí)空方向能量； 外觀模型； 運(yùn)動(dòng)模型

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）13?0041?05

Abstract： To reduce the impact of occlusion on target tracking performance， a target tracking algorithm based on spatiotemporal oriented?energy of adaptive update is proposed. With the algorithm， the moving target is tracked in preliminary according to its appearance model to compute the average motion vector， and then obtain the spatiotemporal oriented?energy feature of the target and construct the motion model. After that the target state is detected according to the motion model and state machine to generate the occlusion mask. For the target with different status and occlusion conditions， the appearance model and motion model of the target are self?adaptively updated by means of different parameters. In the experiment， two testing datasets （CAVIAR and York） commonly used in the world were adopted， and the indexes of average tracking error and multi?object tracking precision were employed to evaluate the tracking performance. The experimental results show that the proposed method has good target tracking performance， especially for strong robustness to target occlusion.

Keywords： target tracking algorithm； target identification； spatiotemporal oriented?energy； appearance model； motion model

0 引 言

運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)，在制導(dǎo)導(dǎo)航、人工智能、視頻監(jiān)控等領(lǐng)域應(yīng)用廣泛[1]。文獻(xiàn)[2]提出的均值漂移（Meanshift）方法是目標(biāo)跟蹤領(lǐng)域的經(jīng)典方法，其基本思想是利用概率密度的梯度爬升尋找局部最優(yōu)，通過(guò)不斷迭代跟蹤目標(biāo)的最優(yōu)匹配點(diǎn)，實(shí)現(xiàn)目標(biāo)跟蹤。然而，該方法對(duì)目標(biāo)遮擋和光線變化的魯棒性較弱。如何提高目標(biāo)跟蹤算法對(duì)光線變化和目標(biāo)遮擋及姿態(tài)變化的適應(yīng)性是當(dāng)前目標(biāo)跟蹤領(lǐng)域的難題之一。文獻(xiàn)[3]提出了一種基于顏色紋理直方圖的帶權(quán)分塊均值漂移目標(biāo)跟蹤方法，將目標(biāo)劃分為互不重疊的矩形分塊，提取顏色直方圖和局部二元模式特征，執(zhí)行基于背景權(quán)重的Meanshift算法，提高M(jìn)eanshift方法對(duì)姿態(tài)變化和部分目標(biāo)遮擋的魯棒性。文獻(xiàn)[4]提出了一種基于SIFT特征和粒子濾波的目標(biāo)跟蹤方法，依據(jù)SIFT特征對(duì)光照、尺度以及仿射變換的不變性，提高目標(biāo)跟蹤對(duì)光照變化和部分遮擋的魯棒性。文獻(xiàn)[5]提出了一種增量視覺(jué)跟蹤（Incremental Visual Tracker，IVT）方法，在目標(biāo)跟蹤過(guò)程中，采用增量主成分分析算法自適應(yīng)更新目標(biāo)整體外觀模型，適應(yīng)光照和姿態(tài)變化；在構(gòu)建低維子空間過(guò)程中，引入一個(gè)遺忘因子，降低新數(shù)據(jù)對(duì)子空間構(gòu)建的作用，從而降低短時(shí)部分遮擋對(duì)目標(biāo)跟蹤性能的影響。該方法對(duì)目標(biāo)短時(shí)部分遮擋的跟蹤性能較好，但對(duì)于全遮擋狀態(tài)的跟蹤結(jié)果并不理想。

針對(duì)部分遮擋和全遮擋條件下的目標(biāo)跟蹤難題，本文提出一種基于時(shí)空方向能量（Spatiotemporal Oriented Energies，SOE）和模型自適應(yīng)更新的目標(biāo)跟蹤方法。SOE特征可以有效表征視頻中連續(xù)時(shí)空方向結(jié)構(gòu)的動(dòng)態(tài)模式，已被成功用于動(dòng)態(tài)紋理識(shí)別與場(chǎng)景理解、行為識(shí)別和視覺(jué)跟蹤等計(jì)算機(jī)視覺(jué)領(lǐng)域[6]。本文將歸一化的SOE特征作為跟蹤線索，檢測(cè)遮擋和進(jìn)行跟蹤。在現(xiàn)有基于外觀模型和運(yùn)動(dòng)模型進(jìn)行目標(biāo)跟蹤的基礎(chǔ)上，提出了模型的自適應(yīng)更新策略，避免非剛性目標(biāo)在目標(biāo)跟蹤過(guò)程中模型受損；另外，本文利用狀態(tài)機(jī)區(qū)分目標(biāo)的遮擋部分和非遮擋部分，便于在跟蹤過(guò)程中僅使用非遮擋部分的目標(biāo)數(shù)據(jù)，而且還可以區(qū)分目標(biāo)的部分遮擋和全遮擋狀態(tài)，從而對(duì)不同狀態(tài)采用不同的模型更新和跟蹤策略，提升目標(biāo)跟蹤性能。

1 視頻序列的SOE描述

2 基于SOE的目標(biāo)跟蹤

基于SOE的目標(biāo)跟蹤過(guò)程如圖1所示，感興趣目標(biāo)采用外觀和運(yùn)動(dòng)兩個(gè)模型獨(dú)立進(jìn)行描述，外觀模型用于像素跟蹤器計(jì)算目標(biāo)運(yùn)動(dòng)矢量，運(yùn)動(dòng)模型用于檢測(cè)遮擋和構(gòu)建遮擋掩膜，并估計(jì)目標(biāo)狀態(tài)。跟蹤器基于像素亮度計(jì)算整個(gè)目標(biāo)的平均運(yùn)動(dòng)矢量，由此提取SOE特征對(duì)目標(biāo)的時(shí)空運(yùn)動(dòng)進(jìn)行描述和建模。遮擋檢測(cè)和遮擋掩膜用于定位遮擋區(qū)域，在模型更新時(shí)阻止遮擋區(qū)域的更新，從而避免目標(biāo)模板的破壞，降低漂移現(xiàn)象對(duì)目標(biāo)跟蹤的影響。狀態(tài)機(jī)用于估計(jì)跟蹤過(guò)程中目標(biāo)的運(yùn)動(dòng)狀態(tài)，對(duì)于不同的運(yùn)動(dòng)狀態(tài)采用不同的模型更新策略。目標(biāo)模型在跟蹤過(guò)程中自適應(yīng)更新，降低遮擋引起的目標(biāo)丟失或破壞問(wèn)題。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的目標(biāo)跟蹤性能，選用國(guó)際上通用的CAVIAR[10]和York[11]兩個(gè)監(jiān)控視頻數(shù)據(jù)庫(kù)作為實(shí)驗(yàn)數(shù)據(jù)庫(kù)，并與經(jīng)典的Meanshift方法[2]和目前對(duì)目標(biāo)短時(shí)部分遮擋性能最優(yōu)的IVT方法[5]進(jìn)行實(shí)驗(yàn)對(duì)比，從定性和定量?jī)蓚€(gè)層面評(píng)價(jià)本文方法的跟蹤性能。

3.1 定性評(píng)價(jià)

限于篇幅，本文僅列舉在York數(shù)據(jù)庫(kù)的Pop?Machines視頻中的部分目標(biāo)跟蹤結(jié)果，如圖3所示。由圖可見(jiàn)，三種方法在目標(biāo)未遮擋前的跟蹤結(jié)果基本一致，但目標(biāo)遮擋后，本文方法的跟蹤結(jié)果與目標(biāo)實(shí)際位置誤差明顯最小，尤其是目標(biāo)被全部遮擋之后，其他兩種方法跟蹤誤差非常大，而本文仍能保持較小的跟蹤誤差?？梢?jiàn)本文提出的目標(biāo)跟蹤方法對(duì)目標(biāo)遮擋的魯棒性強(qiáng)。

3.2 定量評(píng)價(jià)

本文采用目標(biāo)跟蹤領(lǐng)域常用的平均跟蹤誤差和多目標(biāo)跟蹤精確度兩個(gè)指標(biāo)來(lái)定量評(píng)價(jià)算法的跟蹤性能[12]。

平均跟蹤誤差（Average Tracking Error，ATE）：所有跟蹤目標(biāo)中，跟蹤到的目標(biāo)中心點(diǎn)位置與目標(biāo)中心點(diǎn)實(shí)際位置之間的歐氏距離的平均值。值越小性能越好。

4 結(jié) 語(yǔ)

本文提出了一種基于SOE和模型自適應(yīng)更新的目標(biāo)跟蹤方法，可以有效解決部分遮擋和全遮擋條件下的目標(biāo)跟蹤難題。主要設(shè)計(jì)思路包括兩個(gè)方面：一是在遮擋檢測(cè)方面，依據(jù)歸一化的SOE特征檢測(cè)遮擋和構(gòu)建遮擋掩膜，結(jié)合狀態(tài)機(jī)的思想?yún)^(qū)分目標(biāo)的不同狀態(tài)，便于在跟蹤過(guò)程中避免使用遮擋部分的目標(biāo)數(shù)據(jù)引起的漂移現(xiàn)象；二是在模型自適應(yīng)更新方面，對(duì)于目標(biāo)的外觀模型和運(yùn)動(dòng)模型，結(jié)合遮擋掩膜和目標(biāo)狀態(tài)，采用不同的策略進(jìn)行更新，有效避免模型在目標(biāo)跟蹤過(guò)程中受損，進(jìn)而提高跟蹤精度。通過(guò)在國(guó)際上通用的CAVIAR和York兩個(gè)公共測(cè)試數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn)，證實(shí)本文方法對(duì)目標(biāo)部分遮擋和全遮擋狀態(tài)都有較小的跟蹤誤差，總體跟蹤性能指標(biāo)優(yōu)于傳統(tǒng)目標(biāo)跟蹤方法。然而，本文方法使用了多個(gè)經(jīng)驗(yàn)參數(shù)和閾值，有可能影響算法對(duì)復(fù)雜環(huán)境的適應(yīng)能力，有待后續(xù)深入研究。

參考文獻(xiàn)

[1] 楊威，付耀文，龍建乾，等.基于有限集統(tǒng)計(jì)學(xué)理論的目標(biāo)跟蹤技術(shù)研究綜述[J].電子學(xué)報(bào)，2012，40（7）：1440?1448.

[2] COMANCIU D， RAMESH V， MEER P. Kernel?based object tracking [J]. IEEE transactions on pattern analysis machine intelligence， 2003， 25（5）： 564?575.

[3] 李冠彬，吳賀豐.基于顏色紋理直方圖的帶權(quán)分塊均值漂移目標(biāo)跟蹤算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23（12）：2059?2066.

[4] 牛長(zhǎng)鋒，陳登峰，劉玉樹(shù).基于SIFT特征和粒子濾波的目標(biāo)跟蹤方法[J].機(jī)器人，2010，32（2）：241?247.

[5] ROSS D A， LIM J， LIN R S， et al. Incremental learning for robust visual tracking [J]. International journal of computer vision， 2008， 77（1/3）： 125?141.

[6] CANNONS K J， WILDES R P. The applicability of spatiotemporal oriented energy features to region tracking [J]. IEEE tran?sactions on pattern analysis machine intelligence， 2014， 36（4）： 784?796.

[7] FREEMAN W T， ADELSON E H. The design and use of stee?rable filters [J]. IEEE transactions on pattern analysis machine intelligence， 1991， 13（9）： 891?906.

[8] DERPANIS K G， WILDES R P. Dynamic texture recognition based on distributions of spacetime oriented structure [C]// Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 191?198.

[9] BLACK M J， ANANDAN P. The robust estimation of multiple motions： parametric and piecewise?smooth flow fields [J]. Computer vision image understanding， 1996， 63（1）： 75?104.

[10] Anon. Context aware vision using image?based active recognition [EB/OL]. [2001?06?11]. http：//homepages.inf.ed.ac.uk/rbf/CAVIAR/.

[11] Anon. Visual tracking datasets and groundtruth [EB/OL]. [2010?03?14]. http：//www.cse.yorku.ca/vision/research/visual?tracking/.

[12] FüHR G， JUNG C R. Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras [J]. Advances in pattern recognition and computer vision， 2014， 39（4）： 11?20.