利用行人運(yùn)動(dòng)特性的TLD快速檢測(cè)算法

楊大偉，郭 超，呂伊鵬，程 凡

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

利用行人運(yùn)動(dòng)特性的TLD快速檢測(cè)算法

楊大偉，郭 超，呂伊鵬，程 凡

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

針對(duì)TLD目標(biāo)檢測(cè)時(shí)需全局窮舉搜索耗時(shí)較高的問題，提出一種基于行人運(yùn)動(dòng)特性的區(qū)域優(yōu)化算法。該算法可有效預(yù)測(cè)行人在圖像中的可能區(qū)域，從而減小檢測(cè)計(jì)算復(fù)雜度，提高算法效率。經(jīng)仿真分析表明，該算法在原有目標(biāo)檢測(cè)性能不變的情況下，檢測(cè)耗時(shí)較原算法平均降低81.54 %，跟蹤速率平均提升4倍，跟蹤實(shí)時(shí)性明顯提高。

行人檢測(cè)；運(yùn)動(dòng)特性；TLD算法；區(qū)域優(yōu)化

TLD(Tracking Learning Detection)算法是一種單目標(biāo)長(zhǎng)時(shí)性跟蹤算法[1]，相較于一般目標(biāo)跟蹤方法運(yùn)行速度更快。但TLD目標(biāo)檢測(cè)始終進(jìn)行全局搜索，大量非目標(biāo)特征占用絕大多數(shù)計(jì)算時(shí)間和資源，導(dǎo)致算法實(shí)時(shí)性不高，也會(huì)增加相似目標(biāo)的分析風(fēng)險(xiǎn)。

由于TLD利用簡(jiǎn)單的特征即可實(shí)現(xiàn)較好的跟蹤效果，所以一直吸引著許多專家學(xué)者的關(guān)注。文獻(xiàn)[2]在TLD的基礎(chǔ)上加入Kalman濾波算法來預(yù)測(cè)運(yùn)動(dòng)目標(biāo)軌跡以縮小圖像檢測(cè)范圍，使得TLD的運(yùn)算速度和適應(yīng)性有所提高，但遇行人目標(biāo)運(yùn)動(dòng)靜止或轉(zhuǎn)向時(shí)則極易失效。文獻(xiàn)[3]通過在TLD算法的跟蹤模塊中加入粒子濾波，使得TLD在目標(biāo)非線性運(yùn)動(dòng)或是存在較大面積遮擋的情況下跟蹤魯棒性提高，但粒子濾波跟蹤算法本身計(jì)算量大，采樣效率低，增加了算法的負(fù)擔(dān)。文獻(xiàn)[4]通過將TLD跟蹤器的改為復(fù)雜度較高的多重實(shí)例學(xué)習(xí)算法來提高TLD的跟蹤器準(zhǔn)確性。文獻(xiàn)[5]通過改進(jìn)TLD的歸一化互相關(guān)匹配算法以提高TLD的實(shí)時(shí)性。TLD算法的復(fù)雜度主要集中在檢測(cè)模塊[6]，文獻(xiàn)[4-5]只對(duì)跟蹤器進(jìn)行改進(jìn)，雖然跟蹤準(zhǔn)確性提升，但實(shí)時(shí)性提升并不明顯。

本文提出一種利用行人運(yùn)動(dòng)特性的TLD快速檢測(cè)MOP算法(Motion characteristic of Pedestrian)。通過分析行人運(yùn)動(dòng)方式，在TLD中加入Kalman濾波算法進(jìn)行目標(biāo)區(qū)域預(yù)估，對(duì)檢測(cè)器進(jìn)行優(yōu)化，從而調(diào)整TLD檢測(cè)器的檢測(cè)區(qū)域，使其能夠快速鎖定目標(biāo)，有效降低原有算法的復(fù)雜度，提高實(shí)時(shí)應(yīng)用能力。

1 行人運(yùn)動(dòng)特性算法

原TLD的目標(biāo)跟蹤算法并不考慮實(shí)際目標(biāo)的運(yùn)動(dòng)規(guī)律，本文所提出的MOP算法引入基于行人行為運(yùn)動(dòng)特性的決策機(jī)制，極大地減小了檢測(cè)框數(shù)量，改善了原有TLD算法檢測(cè)環(huán)節(jié)計(jì)算量大、效率低的問題。

1.1 Kalman 濾波器數(shù)學(xué)模型

本文使用TLD跟蹤目標(biāo)框中心信息來初始化Kalman濾波算法，Kalman濾波器數(shù)學(xué)模型如下：

狀態(tài)方程

xk=Axk-1+ωk-1，

(1)

觀測(cè)方程

zk=Hxk+νk，

(2)

式中，xk為系統(tǒng)在k時(shí)刻的狀態(tài)向量，zk為同一時(shí)刻下系統(tǒng)的觀測(cè)向量。

1.2 行人運(yùn)動(dòng)特性(MOP)算法原理

MOP算法的核心是TLD加行人運(yùn)動(dòng)特性分析，這里行人運(yùn)動(dòng)具有很強(qiáng)的隨機(jī)性，其行為受身體的生物特性以及所屬物理空間慣性約束，具體表現(xiàn)為位移的不可突變性[7-8]，且在單位時(shí)間內(nèi)行人目標(biāo)移動(dòng)距離的分布符合距離均值μd,標(biāo)準(zhǔn)差δd的高斯分布特性。受慣性影響，目標(biāo)行人可能存在區(qū)域由運(yùn)動(dòng)方向往非運(yùn)動(dòng)方向收縮。設(shè)行人加速度的最大值為A/s2(A∈[0,11],R+)，采樣時(shí)間t。行人在時(shí)間t內(nèi)不同初速下以最大加速度改變當(dāng)前運(yùn)動(dòng)狀態(tài)的最大可能區(qū)域仿真示意圖如圖1。

圖1 行人初速度分別在0 m·s-1， 2 m·s-1， 5 m·s-1，和 11 m·s-1時(shí)中心范圍示意圖

圖2 實(shí)際搜索區(qū)域框示意圖

1.3 算法實(shí)現(xiàn)

據(jù)上述算法原理，MOP算法具體實(shí)現(xiàn)步驟如下：

第1步，初始化TLD目標(biāo)框生成正負(fù)樣本并進(jìn)行原TLD檢測(cè)器與跟蹤器的訓(xùn)練，初始化Kalman濾波器的xk和zk并產(chǎn)生下一幀的預(yù)測(cè)點(diǎn)pt+1。

第3步，對(duì)第2步所確定的目標(biāo)區(qū)域進(jìn)行檢測(cè)。

第4步，結(jié)合TLD原算法的分析方法判斷第3步是否找到目標(biāo)，未找到進(jìn)入第5步，找到進(jìn)入第6步。

第6步，更新Kalman濾波器的xk和zk，將新的預(yù)測(cè)值賦予pt+1進(jìn)入下一幀。

第7步，重復(fù)第2步到第6步直至跟蹤結(jié)束。

2 測(cè)試結(jié)果與分析

為驗(yàn)證本文所提MOP算法的有效性，與原有TLD算法的仿真結(jié)果進(jìn)行對(duì)比分析，以獲取其性能改善效果。彷真環(huán)境為64位CENTOS6.5操作系統(tǒng)，硬件參數(shù)：內(nèi)存4G，CPU酷睿i5，頻率3.2GHz；行人最大加速度11m·s-2，采樣時(shí)間1/24s下對(duì)23個(gè)行人視頻進(jìn)行了仿真分析。限于篇幅，本文以行人折返和變向變速作為典型場(chǎng)景進(jìn)行分析。測(cè)試視頻參數(shù)：視頻格式AVI，視頻幀率24，視頻尺寸640×480，視頻色值24bit，行人變向變速視頻124幀，行人折返視頻159幀。行人變向變速初始目標(biāo)框大小36×124像素，行人折返初始目標(biāo)框大小17×82像素，其余參數(shù)見文獻(xiàn)[9]，部分視頻跟蹤效果截圖如圖3。

圖3 MOP算法跟蹤效果截圖

可以看出，MOP算法適用于室內(nèi)外多種不同場(chǎng)景，在考慮到光照變化、相似目標(biāo)干擾的情形下，也能較好地實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤。行人折返和變向變速場(chǎng)景的軌跡跟蹤仿真結(jié)果如圖4-5。

圖4 折返視頻MOP與TLD跟蹤軌跡對(duì)比圖

圖5 變向視頻MOP與TLD跟蹤軌跡對(duì)比圖

對(duì)比MOP算法與原有TLD算法可以看出，TLD算法在行人目標(biāo)跟蹤中出現(xiàn)目標(biāo)中心點(diǎn)跳變的現(xiàn)象，這說明TLD存在相似目標(biāo)干擾問題，而MOP算法因在檢測(cè)時(shí)有效地限定了檢測(cè)區(qū)域，從而使得跟蹤軌跡呈現(xiàn)平滑的穩(wěn)定狀態(tài)，且能夠顯著減小檢測(cè)目標(biāo)中心和實(shí)際目標(biāo)中心的偏差。通過仿真測(cè)試進(jìn)一步證明MOP算法相較于原TLD算法，具有更高的穩(wěn)定性和檢測(cè)精度，其跟蹤幀速率及檢測(cè)用時(shí)對(duì)比結(jié)果見表1。

表1 典型視頻跟蹤結(jié)果對(duì)比

本文對(duì)包含表1在內(nèi)的23個(gè)測(cè)試數(shù)據(jù)進(jìn)行分析，得出跟蹤準(zhǔn)確性不變的情況下，優(yōu)化的MOP算法使得原算法目標(biāo)檢測(cè)搜索框數(shù)量大幅降低，平均降低了79.46 %，檢測(cè)耗時(shí)平均降低81.54 %，跟蹤速率提升約4倍，算法的實(shí)時(shí)性明顯提升。

本算法在行人目標(biāo)突然加速或遮擋消失時(shí)，搜索框在原尺寸的基礎(chǔ)上以1.2的指數(shù)倍放大，擴(kuò)大到原圖像尺寸大小。若在同一幀的檢測(cè)中搜索框擴(kuò)大次數(shù)過多或搜索框尺寸等于圖像尺寸時(shí)，稱此幀為失效檢測(cè)幀，此時(shí)應(yīng)使用原TLD檢測(cè)算法進(jìn)行全局搜索。

3 結(jié) 論

TLD是一種較新的高性能單目標(biāo)跟蹤方法，只需較少的先驗(yàn)信息便能實(shí)現(xiàn)對(duì)目標(biāo)的長(zhǎng)期在線跟蹤，廣泛吸引著研究者對(duì)其進(jìn)行改進(jìn)。現(xiàn)有的TLD算法改進(jìn)主要從算法本身入手，專注于研究行人輪廓與顏色的特征，改進(jìn)重心多為采用更為準(zhǔn)確的行人特征表達(dá)和尋找精度更高的跟蹤器，部分檢測(cè)區(qū)域優(yōu)化的改進(jìn)方法也只是憑經(jīng)驗(yàn)進(jìn)行一個(gè)最可能的行人區(qū)域劃定。本文從行人的運(yùn)動(dòng)特性出發(fā)，通過對(duì)行人基本尺寸及速度信息進(jìn)行統(tǒng)計(jì)分析，得出行人在圖像空間中的可能區(qū)域分布概率，引入Kalman濾波器使用其預(yù)估參數(shù)作為目標(biāo)中心預(yù)判點(diǎn)，從理論上在保證行人目標(biāo)區(qū)域全涵蓋的同時(shí)使檢測(cè)器運(yùn)算資源得以最大化節(jié)省。該算法還根據(jù)行人目標(biāo)運(yùn)動(dòng)的不確定性大小，對(duì)Kalman濾波器參數(shù)進(jìn)行實(shí)時(shí)更新，有效避免了Kalman濾波器在目標(biāo)非線性運(yùn)動(dòng)情況下易失效的情況。對(duì)使用該方法優(yōu)化的TLD算法進(jìn)行仿真測(cè)試，測(cè)試視頻包括原有行人測(cè)試視頻及新采集的行人目標(biāo)在不同場(chǎng)景、光照、移動(dòng)速度、局部遮擋、消失再出現(xiàn)、相似目標(biāo)干擾等情況下的總計(jì)23個(gè)行人測(cè)試視頻。測(cè)試結(jié)果為改進(jìn)后的TLD目標(biāo)檢測(cè)框數(shù)量平均降低80 %，跟蹤幀速率平均提升4倍且跟蹤穩(wěn)定性更好。該算法的跟蹤速率可以滿足移動(dòng)視覺機(jī)器人在視頻目標(biāo)跟蹤及行人運(yùn)動(dòng)目標(biāo)跟隨上的工程應(yīng)用需求，并且更高的跟蹤速率也意味著在交通、安保、司法取證、娛樂等領(lǐng)域具有更為廣泛的工程應(yīng)用價(jià)值。

[1]KALALZ,MKOLAJCZYKK,MATASJ．TrackingLearningDetection[J]．PatternAnalysisandMachineIntelligence, 2012, 34(7):1409-1422.

[2] 周鑫, 錢秋朦, 葉永強(qiáng),等. 改進(jìn)后的TLD視頻目標(biāo)跟蹤方法[J]. 中國(guó)圖像圖形學(xué)報(bào), 2013, 18(9):1115-1123.

[3] 谷文華, 蔣念平, 李振興. 基于粒子濾波的TLD目標(biāo)跟蹤算法[J]. 電子科技, 2015, 28(12):45-47.

[4] 高帆, 吳國(guó)平, 刑晨,等.TLD目標(biāo)跟蹤算法研究[J]. 電視技術(shù), 2013, 37(11):70-74.

[5] 邢藏菊, 溫蘭蘭, 何蘇勤.TLD視頻目標(biāo)跟蹤器快速匹配的研究[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2015, 36(5):1113-1116.

[6] 龔小彪. 基于TLD框架的目標(biāo)跟蹤算法研究[D]. 成都:西南交通大學(xué), 2014, 6-14.

[7] 湯澄清. 步長(zhǎng)與身高相關(guān)關(guān)系的統(tǒng)計(jì)研究[J]. 中國(guó)刑警學(xué)院學(xué)報(bào), 2009(3):35-36.

[8] 馬云龍, 熊輝, 蔣曉蓓,等. 行人特性對(duì)步行行為影響分析[J]. 交通與運(yùn)輸, 2009(1):98-101.

[9]KALALZ,MATASJ,MIKOLAJCZYKK.P-Nlearning:Bootstrappingbinaryclassifiersbystructuralconstraints[J].ComputerVisionandPatternRecognition(CVPR), 2010IEEEConferenceonSanFrancisco, 2010, 238(6):49-56.

(責(zé)任編輯 鄒永紅)

An Improved TLD Algorithm Based on Motion Characteristics of Pedestrian

YANG Da-wei, GUO Chao, LV Yi-peng, CHENG Fan

(School of Electromechanical Engineering, Dalian Minzu University, Dalian Liaoning 116605, China)

For the huge time-waste problem in original TLD algorithm with full-search object-detection, this paper proposes a regional optimization algorithm which is based on the motion characteristics of pedestrian. It can effectively predict the pedestrian’s position in the image so as to reduce object-detection computational complexity and improve efficiency of original TLD algorithm. Simulation analysis shows that the proposed algorithm can reduce 81.54 % detection time-cost in average and increase 4 times tracking-speed in average on the basis of the original TLD algorithm object-detection process, which obviously improved the real-time performance of object tracking compared with the original TLD algorithm.

pedestrian detection; motion characteristics of pedestrian; TLD algorithm; regional optimization

2016-10-24；最后

2016-11-16

大連金州新區(qū)科技創(chuàng)新主體支持計(jì)劃(KJCX-ZTPY-2014-0005)；中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金自主項(xiàng)目(DC201501089)。

楊大偉(1978-)，男，黑龍江哈爾濱人，副教授，博士，主要從事機(jī)器人視覺圖像處理研究。

2096-1383(2017)01-0036-04

TP242.6

A