基于可變形部件模型的粒子濾波快速行人檢測與跟蹤

王傳旭 郝艷婷

(青島科技大學信息科學技術(shù)學院 山東 青島 266061)

基于可變形部件模型的粒子濾波快速行人檢測與跟蹤

王傳旭 郝艷婷

(青島科技大學信息科學技術(shù)學院 山東 青島 266061)

針對視頻中的行人檢測和跟蹤問題，提出一種基于可變形部件模型的快速行人檢測、改進粒子濾波的行人跟蹤算法。在行人檢測階段，為了改善非剛體行人的檢測精度，采用了混合多尺度可變形部件模型；同時為了加速行人底層特征的計算，采用了基于預(yù)測算法的快速特征金字塔計算行人特征,代替?zhèn)鹘y(tǒng)的計算圖像特征金字塔的每一個尺度特征。在行人跟蹤階段，采用時變的狀態(tài)空間模型和基于顏色梯度直方圖的觀測模型對檢測到的行人進行跟蹤。實驗證明，改進的行人檢測算法可以在性能損失忽略不計的條件下，大大提高檢測速度，并且相對于傳統(tǒng)的行人跟蹤，改進的粒子濾波算法對行人這一非剛性目標能實現(xiàn)較好的跟蹤。

行人檢測 行人跟蹤 可變形部件模型 快速特征金字塔 粒子濾波

0 引 言

近年來，基于視頻的行人檢測和跟蹤受到了國內(nèi)外研究學者的廣泛關(guān)注。雖然現(xiàn)在已經(jīng)有了豐碩的研究成果，但是還存在很多難點，如：行人自身的非剛性和運動的隨機性[1-3]，觀測模型魯棒性，多人跟蹤的復(fù)雜性和行人跟蹤系統(tǒng)實時性的問題[13]等，導(dǎo)致視頻行人跟蹤成為一個相當復(fù)雜的問題。針對這些難點，本文主要做了如下改進。

在行人檢測階段，采用Felzenszwalb等人提出的混合多尺度可變形部件模型[1]，在PascalVOC數(shù)據(jù)集上訓練得到混合人體模型。比較傳統(tǒng)的行人檢測，該模型大大提高了非剛性行人的檢測精度。除此之外，采用基于預(yù)測算法的快速特征金字塔計算行人特征[1]，代替?zhèn)鹘y(tǒng)的計算每一個尺度的特征[8]，比較傳統(tǒng)方法與快速計算方法的運算量，結(jié)果表明快速特征金字塔計算方法具有明顯的優(yōu)勢。

檢測到待跟蹤行人后，采用基于粒子濾波的原理[5]對行人進行跟蹤。由于傳統(tǒng)粒子濾波的狀態(tài)空間模型是時不變的，難以適應(yīng)非勻速運動的行人目標，因此跟蹤效果不佳。對此，跟蹤階段采用非勻速的狀態(tài)空間模型代替?zhèn)鹘y(tǒng)的勻速運動模型，使其隨著行人目標運動速度變化的情況不斷調(diào)整，以適應(yīng)在不同時間段內(nèi)的運動狀況，從而使該模型對行人目標運動情況的描述更為準確；同時，行人跟蹤的觀測模型采用顏色梯度方向直方圖，這種觀測模型不僅包含行人的顏色信息，還包含行人的紋理信息，使兩幀之間的行人匹配更精確。

1 快速行人檢測

1.1 混合多尺度可變形部件模型

相對于傳統(tǒng)的行人檢測器，可變形部件模型可適應(yīng)行人目標的很多外表變化，如行人較多且間距較近、不同姿勢變化、觀察視角變化等，因此，在復(fù)雜場景下可以得到更高的檢測精度。為了提高檢測模型的魯棒性，本文采用混合多尺度可變形部件模型來適應(yīng)變化豐富的非剛性行人檢測。

圖1為行人檢測階段使用的人體模型，每一行是一個DPM。DPM為星型結(jié)構(gòu)，包括一個粗糙的根濾波器和一系列高分辨率的部件濾波器以及相應(yīng)的可變形模型構(gòu)成。

圖1 含有3個組件的混合人體模型

其中，第一列為粗糙的根濾波器，第二列為高分辨率的部件濾波器，第三列為每個部件相對于根濾波器的空間位置模型。前兩列的可視化濾波器表示特征在不同方向的正權(quán)重，第三列的空間位置模型的可視化圖表示將部件濾波器的中心放置到相對根濾波器的不同位置時產(chǎn)生的變形損耗，越白則變形損耗越高，即部件濾波器偏離其理想位置越遠。

該行人模型的訓練環(huán)境包括：Matlab版本Matlab2012b，c++編譯器VS2010，訓練數(shù)據(jù)集PascalVOC(包括訓練驗證集VOCtrainval_06-Nov-2007和測試集VOCtest_06-Nov-2007)，VOC開發(fā)包VOCdevkit_08-Jun-2007。該模型在訓練之前需要在VS2010中生成learn.exe。

1.2 快速特征金字塔原理

基于混合多尺度可變形部件模型的行人檢測系統(tǒng)采用HOG特征金字塔計算行人特征,為了提高檢測速度，本文采用快速特征金字塔計算行人特征，代替DPM檢測系統(tǒng)中計算圖像特征金字塔每一個尺度的特征。具體原理描述如下：

(1)

圖2 快速特征金字塔原理圖

只計算每組一個尺度，為速度與精確度之間提供了一個好的權(quán)衡，而且計算量顯著減少。假設(shè)，計算Ω的運算量與n×n圖像像素數(shù)量呈線性關(guān)系。構(gòu)造每組m個尺度的特征金字塔的運算量是：

(2)

本文的行人檢測系統(tǒng)采用FHOG表征行人特征，近似計算特征FHOG的λΩ的估計結(jié)果如圖3所示。

圖3 FHOG特征縮放的冪次定律

圖3描繪了在行人與自然圖像集(選用INRIA數(shù)據(jù)集)中FHOG特征縮放的冪次定律，括號內(nèi)的值為預(yù)測值和觀測值的期望誤差。從圖中可以看出，μs與s′在對數(shù)坐標空間中呈線性關(guān)系，并且λΩ=0.084。

2 改進粒子濾波的行人跟蹤

2.1 狀態(tài)空間模型

傳統(tǒng)的基于粒子濾波行人跟蹤包括兩個模型：狀態(tài)空間模型和觀測模型。其中，狀態(tài)空間模型是時不變的，難以適應(yīng)跟蹤行人的運動變化情況。對此提出改進措施，用時變的狀態(tài)空間模型代替?zhèn)鹘y(tǒng)的時不變模型，以適應(yīng)行人在不同時間段內(nèi)運動速度的變化，提高了粒子傳播的有效性和指導(dǎo)性。具體原理介紹如下：

當行人運動加速度加快時，ax、ay相應(yīng)增大，粒子傳播范圍增大，反之亦然。改進后的狀態(tài)空間模型隨著行人目標運動速度的變化趨勢而改變，更加貼近行人的實際運動狀況，從而為粒子在t+1時刻的傳播提供更精確的預(yù)測。

2.2 觀測模型

傳統(tǒng)粒子濾波的觀測模型采用顏色直方圖對行人進行建模，由于顏色直方圖沒有包含行人的空間信息和紋理信息，因此無法精確地跟蹤行人。對此，本文采用顏色梯度方向直方圖表征行人特征，即在梯度方向上結(jié)合梯度強度和顏色值。具體原理介紹如下：

首先將快速算法檢測到行人或粒子傳播跟蹤到的行人轉(zhuǎn)換為灰度圖，計算每個像素點的梯度幅值M和方向θ，然后將不同的梯度幅值劃分到直方圖級數(shù)中，最后結(jié)合行人的顏色信息，建立顏色梯度方向直方圖：

(3)

其中，D為要劃分的直方圖級數(shù)，L為要劃分的顏色級數(shù)，δ為Kroneckerdelta函數(shù)，C為歸一化系數(shù)，C=∑(x,y)M(x,y)。

本文采用Bhattacharyya距離作為行人模型的相似度度量。Bhattacharyya系數(shù)ρ越大越相似。

ρ=ρ[H(d,l),HC(d,l)]

(4)

2.3 行人跟蹤的算法框架

圖4 行人跟蹤算法框架

3 實驗結(jié)果與分析

本文基于Matlab2012b平臺，選擇PETSBenchmark數(shù)據(jù)集(測試長度92幀)和hockey視頻序列(測試長度540幀)來進行實驗。實驗設(shè)計分為兩部分，分別是基于快速特征金字塔的DPM行人檢測，以及跟蹤算法驗證和實驗比較。

3.1 基于快速特征金字塔的DPM行人檢測

為了證明快速行人檢測的有效性，將快速HOG特征金字塔應(yīng)用到DPM算法中。在10個PASCAL2007分類上，用標準的HOG金字塔方法和快速特征金字塔方法(每組10個尺度，9個用近似方法得到)來測試預(yù)訓練好的DPM模型。兩種方法(分別用DPMs和～DPM表示)的平均查準率(AP)得分如表1所示。10個分類的平均AP分別是,DPM為37.4%，～DPM為35%。用快速HOG特征金字塔，平均AP僅僅減少了2.4%，證明了提出的方法的有效性。

表1 平均查準率得分

在PETSBenchmark數(shù)據(jù)集(前3幀)上，分別用HOG+SVM算法和基于DPM的快速算法對行人進行檢測，結(jié)果對比如圖5所示。其中，圖5(a)中檢測所用的分類器是在INRIA數(shù)據(jù)集上訓練得到。通過對比效果可以看出，DPM算法的檢測精度明顯高于傳統(tǒng)的方法，并且引入快速特征金字塔后，在運算量大大降低的基礎(chǔ)上，檢測性能并沒有損耗，表明該檢測算法具有明顯的優(yōu)勢。

圖5 行人檢測結(jié)果

在PETSBenchmark數(shù)據(jù)集(413幀)上，分別計算提取傳統(tǒng)HOG特征和快速HOG特征的時間，實驗結(jié)果如表2所示。通過對比可以看出，在相同的運行環(huán)境下，提取FHOG特征的時間是提取HOG特征的時間的5.2倍。由此表明本文的快速算法大大降低了運算量，降低了檢測時間。

表2 本文特征與傳統(tǒng)特征的提取時間

3.2 改進跟蹤算法與傳統(tǒng)算法的比較

在PETSBenchmark數(shù)據(jù)集上，分別用本文跟蹤算法(基于時變狀態(tài)空間模型和基于顏色梯度方向直方圖的觀測模型 的粒子濾波跟蹤算法)、基于時變狀態(tài)空間模型的粒子濾波跟蹤算法和傳統(tǒng)跟蹤算法三種跟蹤算法對行人跟蹤進行實驗，結(jié)果對比如圖6所示。其中，粒子集N=100，各圖中第一行依次為第1、15、42幀，第二行依次為第64、78、91幀，紅色框為概率最大的粒子框，即跟蹤結(jié)果。

圖6 PETS數(shù)據(jù)集部分單人跟蹤結(jié)果

通過對比效果可以看出，從第15幀開始，傳統(tǒng)跟蹤算法和基于時變狀態(tài)空間模型的粒子濾波跟蹤算法雖然可以定位行人的大體位置，但是匹配精度開始下降。由于本文算法的觀測模型采用顏色梯度直方圖對行人建模，不僅包含傳統(tǒng)方法的顏色信息，還加入了行人的空間信息和紋理信息，因此可以準確地跟蹤行人。即使行人被短時的部分遮擋后，也能迅速地鎖定跟蹤行人。

因為PETS Benchmark數(shù)據(jù)集中的行人運動速度相對穩(wěn)定，所以，基于時變狀態(tài)空間模型的粒子濾波跟蹤算法和傳統(tǒng)算法相比，并沒有體現(xiàn)其優(yōu)越性。因此，為了進一步驗證改進跟蹤算法的有效性，選擇行人目標運動速度變化比較大的hockey視頻做實驗，跟蹤結(jié)果對比如圖7所示。其中，第一行依次為第38、93、183幀，第二行依次為第260、389、500幀。通過對比效果可以看出基于時變狀態(tài)空間模型的粒子濾波跟蹤算法可以較準確地定位行人的位置，但是匹配精度較低；本文跟蹤算法在準確定位行人位置的同時，采用基于顏色梯度方向直方圖的觀測模型，匹配精度提高，因此可以跟蹤非勻速運動的行人目標。此外，該視頻序列中存在相同的人體外表和服飾，說明該算法在跟蹤目標的外表干擾下也能較好地跟蹤行人。

圖7 hockey視頻序列部分單人跟蹤結(jié)果

在PETS數(shù)據(jù)集和hockery視頻序列中，三種算法跟蹤結(jié)果的平均均方根誤差如表3所示。可以看出本文跟蹤算法的平均均方根誤差較小，具有較好的跟蹤精度。

表3 平均均方根誤差

4 結(jié) 語

對于非線性、非高斯分布的視頻序列跟蹤，本文選擇基于粒子濾波原理的跟蹤方法。其中，在檢測行人時，為了解決制約檢測算法的實時性和行人的非剛體性等問題算法，在混合多尺度DPM基礎(chǔ)上，采用快速特征金字塔計算行人特征，加速多尺度特征的計算；在跟蹤行人時，為了克服粒子傳播的盲目性，提高粒子集的使用效率，采用時變的狀態(tài)空間模型適應(yīng)行人不同的運動狀況變化，同時觀測模型采用顏色梯度直方圖對行人建模。實驗證明，改進后的檢測算法和跟蹤算法提高了行人的檢測準確率和跟蹤魯棒性。下一步將主要研究在提高跟蹤算法的魯棒性的同時，提高算法的實時性，使其滿足復(fù)雜環(huán)境下的實時行人跟蹤。

[1] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[2] Dollár P, Appel R, Belongie S, et al. Fast feature pyramids for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1532-1545.

[3] Tang S, Andriluka M, Schiele B. Detection and tracking of occluded people[J]. International Journal of Computer Vision, 2014, 110(1): 58-69.

[4] Shenoy A V, Prakash J, Prasad V, et al. Practical issues in state estimation using particle filters: Case studies with polymer reactors[J]. Journal of Process Control, 2013, 23(2): 120-131.

[5] Hess R, Fern A. Discriminatively trained particle filters for complex multi-object tracking[C]//Computer Vision and Pattern Recognition, 2009 IEEE Conference on. IEEE, 2009: 240-247.

[6] Hu Y, Baraldi P, Maio F D, et al. A particle filtering and kernel smoothing-based approach for new design component prognostics[J]. Reliability Engineering & System Safety, 2015, 134: 19-31.

[7] Yin S, Zhu X. Intelligent particle filter and its application on fault detection of nonlinear system[J]. IEEE Transactions on Industrial Electronics, 2015, 62(6): 3852-3861.

[8] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2005, 1: 886-893.

[9] Dollár P, Wojek C, Schiele B, et al. Pedestrian detection: An evaluation of the state of the art[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743-761.

[10] Sonka M, Hlavac V, Boyle R. Image processing, analysis, and machine vision[M]. 4th edition. USA: Cengage Learning, 2014.

[11] Khan Z H, Gu I Y H. Online domain-shift learning and object tracking based on nonlinear dynamic models and particle filters on Riemannian manifolds[J]. Computer Vision and Image Understanding, 2014, 125: 97-114.

[12] Bera A, Galoppo N, Sharlet D, et al. Adapt: real-time adaptive pedestrian tracking for crowded scenes[C]//Robotics and Automation (ICRA), 2014 IEEE International Conference on. IEEE, 2014: 1801-1808.

[13] Li K, Feng R. Multiple feature fusion video pedestrian tracking algorithm based on particle filter[J]. Computer Engineering, 2012, 38(24): 141-145.

[14] Li H, Xiong S, Duan P, et al. Multitarget tracking of pedestrians in video sequences based on particle filters[J]. Advances in Multimedia, 2012, 2012: 1-14.

RAPID PARTICLE FILTER PEDESTRIAN DETECTION AND TRACKING BASED ONDEFORMABLE PART MODELS

Wang Chuanxu Hao Yanting

(CollegeofInformationScienceandTechnology,QingdaoUniversityofScienceandTechnology,Qingdao266061,Shandong,China)

Aiming at the problem of pedestrian detection and tracking, a new fast pedestrian detection based on deformable part models and an improved tracking algorithm based on particle filter are proposed. In the pedestrian detection stage, the mixtures of multiscale deformable part models is adopted to improve the detection accuracy of non-rigid pedestrian; meanwhile, the fast feature pyramids based on the prediction algorithm is adopted to reduce the computing time of multi-scale pedestrian features instead of traditional calculation of each scale characteristics of the pyramid. In the pedestrian tracking stage, the state space model of time-varying and the observation model based on color gradient histogram are used to track the pedestrian. Experiments show that the modified pedestrian detection algorithm yields considerable speedups with negligible loss in detection accuracy, and the modified particle filter algorithm can achieve a better tracking for the non-rigid pedestrian compared with the traditional pedestrian tracking.

Pedestrian detection Pedestrian tracking Deformable part models Fast feature pyramids Particle filter

2015-12-28。國家自然科學基金項目(61472196)；山東省自然科學基金項目(ZR2015FM012)。王傳旭，教授，主研領(lǐng)域：圖像處理，計算機視覺。郝艷婷，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2017.01.029