基于TLD改進(jìn)的自動(dòng)人體檢測(cè)與實(shí)時(shí)跟蹤算法*

毛家順，張汝波，楊大偉（大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116600）

基于TLD改進(jìn)的自動(dòng)人體檢測(cè)與實(shí)時(shí)跟蹤算法*

毛家順，張汝波，楊大偉
（大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116600）

首先提出一種運(yùn)動(dòng)人體檢測(cè)算法，通過(guò)圖像序列識(shí)別出運(yùn)動(dòng)人體作為跟蹤目標(biāo)，然后在TLD算法中引入目標(biāo)軌跡預(yù)測(cè)，利用該信息來(lái)輔助空間搜索。運(yùn)動(dòng)人體檢測(cè)算法首先采用背景減除和邊緣檢測(cè)算法獲得完整目標(biāo)輪廓，然后使用HU仿射不變矩檢測(cè)出運(yùn)動(dòng)人體，該特征能適應(yīng)目標(biāo)旋轉(zhuǎn)、尺度、仿射等變化場(chǎng)合。為提高跟蹤實(shí)時(shí)性，在TLD框架中引入卡爾曼軌跡預(yù)測(cè)，并先在預(yù)測(cè)位置鄰域搜索。實(shí)驗(yàn)結(jié)果表明，該運(yùn)動(dòng)人體檢測(cè)算法能夠在靜態(tài)和動(dòng)態(tài)背景下準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)人體；改進(jìn)后的TLD算法與原始算法相比，在準(zhǔn)確率不降低情況下，降低了計(jì)算復(fù)雜度。

背景減除；人體檢測(cè)；邊緣檢測(cè)；卡爾曼濾波器；TLD

0 引言

近幾年，行人目標(biāo)跟蹤成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)之一，在智能監(jiān)控、無(wú)人駕駛等領(lǐng)域有著重要應(yīng)用。由于姿態(tài)變化、局部遮擋等問(wèn)題未被徹底解決，該方向仍然具有很大的挑戰(zhàn)性。

對(duì)于目標(biāo)檢測(cè)，DALAL N和TRIGGS B［1］提出一種HOG特征結(jié)合支持向量機(jī)（SVM）進(jìn)行分類(lèi)方法，具有較高準(zhǔn)確率，但僅適用于無(wú)遮擋且姿態(tài)變化較小的場(chǎng)景。FELZENSZWALBP等人提出 Deformable Part Models（DPM）［2-3］算法，用根及部件模型描述目標(biāo)，能夠解決姿態(tài)變化和遮擋，但其計(jì)算復(fù)雜度高，實(shí)時(shí)性有待改善。由KALAL Z等人［4］提出的 TLD跟蹤算法將跟蹤與檢測(cè)分離并融合二者結(jié)果，在線更新模板，解決目標(biāo)重入且魯棒性較好，但漂移和遮擋問(wèn)題未解決，僅適用于目標(biāo)姿態(tài)漸變較慢的場(chǎng)景。

本文首先提出一種運(yùn)動(dòng)人體檢測(cè)算法初始化跟蹤目標(biāo)，然后在TLD框架中引入卡爾曼濾波器［5］進(jìn)行目標(biāo)位置預(yù)測(cè)，優(yōu)先在預(yù)測(cè)位置鄰域內(nèi)搜索，從而減少搜索空間。

1 運(yùn)動(dòng)人體檢測(cè)

本文首先使用混合高斯模型（GMM）［6］獲得前景運(yùn)動(dòng)目標(biāo)，然后提取輪廓區(qū)域特征進(jìn)行目標(biāo)判斷。處理流程如圖1所示。

圖1 自動(dòng)檢測(cè)人體目標(biāo)流程

按照?qǐng)D1的流程，在使用GMM處理后，僅尋找滿(mǎn)足面積和寬高比（0.4）且符合上下文空間關(guān)系的輪廓，結(jié)果如圖2所示。

圖2 GMM處理后的目標(biāo)輪廓

1.1 獲得完整輪廓

為去掉影子干擾，對(duì)目標(biāo)區(qū)域使用中值濾波、開(kāi)閉操作、Canny［7］檢測(cè)，對(duì)圖 2處理后，結(jié)果如圖 3所示。

圖3 Canny重檢測(cè)后的目標(biāo)輪廓

1.2 計(jì)算目標(biāo)輪廓特征

為適應(yīng)目標(biāo)輪廓各種變化，選取基于HU不變矩［8］得到 F1、F3特征，用于判斷是否為人體。

其中，ηjk=μjk/（μ00）r，r=（j+k）/2+1，j+k=2，3，…，n。

本文選擇7張人體（包括正面、背面、側(cè)面、不同尺度）與7張非人體圖做輪廓特征對(duì)比，結(jié)果如圖4所示，其中橫坐標(biāo)為樣本編號(hào)，縱坐標(biāo)為其特征值。

圖4 人體輪廓與非人體輪廓F1、F3特征值對(duì)比

圖4中直線代表該特征均值，人體輪廓特征為圖中懸浮最上折線，另一條為非人體特征。從圖4中看到人體輪廓 F1、F3特征值集中于某個(gè)區(qū)間，與非人體輪廓特征值有明顯差異，本文選取其均值作為判斷條件。

2 軌跡預(yù)測(cè)

結(jié)合TLD給出的目標(biāo)位置和圖像采樣頻率，卡爾曼濾波器可預(yù)測(cè)出目標(biāo)下一個(gè)位置，在下一幀TLD先在預(yù)測(cè)位置鄰域進(jìn)行搜索，從而避免無(wú)用搜索。具體步驟如下：

（1）用本文提出的目標(biāo)檢測(cè)算法獲得目標(biāo)初始位置，并初始化TLD和卡爾曼模型；

（2）利用卡爾曼預(yù)測(cè)法首先在目標(biāo)鄰域內(nèi)搜索，再進(jìn)行其他區(qū)域搜索；

（3）判斷 TLD目標(biāo)檢測(cè)是否有效，無(wú)效進(jìn)入步驟（4），有效進(jìn)入步驟（2）迭代計(jì)算；

（4）進(jìn)行全局搜索，判斷是否為目標(biāo)，如果是進(jìn)入步驟（2）進(jìn)行迭代，否則繼續(xù)本步驟。

3 實(shí)驗(yàn)結(jié)果與分析

本文在硬件參數(shù)為4 GB內(nèi)存、CPU 3.2 GHz頻率下進(jìn)行實(shí)驗(yàn)。首先使用運(yùn)動(dòng)人體檢測(cè)算法確定跟蹤目標(biāo)，如圖5所示。

圖5 運(yùn)動(dòng)人體檢測(cè)

從圖5中可以看出，該方法正確檢測(cè)出人體目標(biāo)，使用矩形框標(biāo)出并作為目標(biāo)。

初始化目標(biāo)后，使用TLD開(kāi)始跟蹤。為測(cè)試改進(jìn)前后搜索空間減少效果，采集靜態(tài)和動(dòng)態(tài)背景下各三種場(chǎng)景。場(chǎng)景1、2、3、4、5、6分別為200、430、1001、456、495、859幀，且都有640×480和1280×960兩個(gè)尺寸，如表1和表2所示。

表1 靜態(tài)背景下三種不同場(chǎng)景改進(jìn)前后效果對(duì)比

表2 動(dòng)態(tài)背景下三組不同場(chǎng)景效果對(duì)比

在靜態(tài)背景下，通過(guò)引入非線性卡爾曼濾波器進(jìn)行軌跡預(yù)測(cè)，通過(guò)表1可以看出，其檢測(cè)時(shí)間縮短，原因是引入卡爾曼進(jìn)行位置預(yù)測(cè)，而兩幀之間目標(biāo)運(yùn)動(dòng)幅度較小，因此能夠正確預(yù)測(cè)，避免了全局空間搜索。在動(dòng)態(tài)背景攝像頭運(yùn)動(dòng)軌跡較為平滑的情況下，仍然能正確預(yù)測(cè)目標(biāo)下一刻位置，如場(chǎng)景4、5；但當(dāng)攝像頭運(yùn)動(dòng)較為劇烈時(shí)則失效，如場(chǎng)景6。這是由于非線性卡爾曼無(wú)法處理這種高度非線性情況。

4 結(jié)論

本文提出了一種運(yùn)動(dòng)人體檢測(cè)算法用于自動(dòng)獲得跟蹤目標(biāo)，然后在TLD中引入目標(biāo)軌跡預(yù)測(cè)指導(dǎo)目標(biāo)空間搜索，實(shí)驗(yàn)證明該思想能夠減少搜索空間。運(yùn)動(dòng)人體檢測(cè)通過(guò)結(jié)合Canny邊緣檢測(cè)和混合高斯模型提取較完整的目標(biāo)輪廓，使用HU仿射不變矩檢測(cè)出人體目標(biāo)，該方法只需幾幀即可自動(dòng)找到人體目標(biāo)，適用于靜態(tài)和動(dòng)態(tài)背景下單一運(yùn)動(dòng)目標(biāo)實(shí)時(shí)場(chǎng)景。實(shí)驗(yàn)結(jié)論：在攝像頭靜止和緩慢運(yùn)動(dòng)情況下，該卡爾曼預(yù)測(cè)法能夠減少搜索空間；在攝像頭運(yùn)動(dòng)較為劇烈情況下，則需要將攝像頭運(yùn)動(dòng)信息加入卡爾曼模型，以正確預(yù)測(cè)目標(biāo)位置。

［1］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［J］.Computer Vision and Pattern Recognition（CVPR），2005（1）：886-893.

［2］FELZENSZWALB P，MCALLESTER D，RAMANAN D.A discriminatively trained，multiscale，deformable part model［C］.Computer Vision and Pattern Recognition（CVPR），2008：1-8.

［3］FELZENSZWALB P，GIRSHICK R，MCALLESTER D，et al.Object detection with discriminatively trained part-based models［J］.Pattern Analysis and Machine Intelligence，2010，32（9）：1627-1645.

［4］KALAL Z，MIKOLAJCZYK K，MATAS J，et al.Tracking-Learning-detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，34（7）：1409-1422.

［5］WENG S，KUO C，TU S.Video object tracking using adaptive Kalman filter［J］.Journal of Visual Communication and Image Representation，2006（17）：1190-1208.

［6］岳佳，王士同.雙重高斯混合模型的 EM算法的聚類(lèi)問(wèn)題研究［J］.計(jì)算機(jī)仿真，2007，24（11）：110-113.

［7］CANNY J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679-698.

［8］M.K.H.Visual pattern recognition by moment invariants［J］.IRE Transactions on Information Theory，1962，8（2）：179-187.

An automatic human detection and real-time tracking algorithm based on TLD

Mao Jiashun，Zhang Rubo，Yang Dawei
（College of Mechanical and Electrical Engineering，Dalian National University，Dalian 116600，China）

In this paper，firstly，we propose an automatic human detection algorithm，which is used to detect the moving human body from image sequence as tracking target，and then predict the target motion state and use this information to assist target search.The Calman filter is introduced into the TLD frame.The automatic human detection algorithm uses background subtraction and edge detection to obtain complete contour of the moving object from image sequence，then discriminates this object according to the contour region features，which can adapt to the change of the object′s rotation，scale，affine，etc.In order to improve the realtime performance of tracking algorithm，the object trajectory prediction is introduced into the TLD tracking algorithm.To simplify search space，the detector firstly searches the object within predicted position.Experimental results show that the proposed human detection algorithm can accurately detect human object，and compared with the original TLD algorithm，the improved TLD algorithm can reduce the computational complexity in the case of constantaccuracy and track in real-time under static and dynamic background.

background subtraction；human detection；edge detection；Calman filter；TLD

TP391.41

A

1674-7720（2015）22-0047-03

毛家順，張汝波，楊大偉.基于TLD改進(jìn)的自動(dòng)人體檢測(cè)與實(shí)時(shí)跟蹤算法［J］.微型機(jī)與應(yīng)用，2015，34（22）：47-49.

2015-07-23）

毛家順（1991-），男，碩士研究生，主要研究方向：計(jì)算機(jī)視覺(jué)、圖像處理。

張汝波（1963-），男，博士，教授，主要研究方向：智能機(jī)器人與智能控制。

楊大偉（1978-），男，博士，副教授，主要研究方向：機(jī)器人視覺(jué)處理。

大連金州新區(qū)科技計(jì)劃項(xiàng)目（KJCX-ZTPY-2014-0005）；大連民族大學(xué)中央高校自主基金（DC201502010304）