基于混合高斯模型與聯(lián)合特征的行人檢測方法

鄭 銳， 邵宗凱

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500)

?

基于混合高斯模型與聯(lián)合特征的行人檢測方法

鄭 銳， 邵宗凱

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500)

針對視頻環(huán)境下行人檢測多數(shù)采用窗口滑動方法識別慢、不能快速找到行人窗口的缺點，提出了一種基于組合算法的行人目標(biāo)識別方法，利用高斯混合模型方法提取視頻中的運動前景，劃定一個泛目標(biāo)窗口，再使用HOG-l bp聯(lián)合特征訓(xùn)練的分類器對泛目標(biāo)窗口進(jìn)行分類，得到分類結(jié)果，對行人目標(biāo)進(jìn)行標(biāo)記。經(jīng)實驗驗證:該方法相對于當(dāng)前行人檢測方法，檢測速度和正確率都取得了很好的效果。

行人檢測； 混合高斯模型； HOG-l bp 前景

0 引 言

近年來,機器視覺中的物體檢測得到了極大的關(guān)注度，行人檢測由于其廣泛的應(yīng)用成為機器視覺領(lǐng)域的一個研究熱點[1]。機器視覺在交通與工業(yè)輔助方面應(yīng)用廣泛，如基于視覺傳感器的運動目標(biāo)跟蹤[2]，基于視覺信息的儀表讀數(shù)[3]，軌道的變形檢測[4]等，而基于深度信息的Kinect等傳感器還可更進(jìn)一步針對細(xì)節(jié)信息進(jìn)行分析[5]。

運動的行人檢測按照使用傳感器類型來說可以分為兩類:一類是基于多傳感器信息[6];另一類是單攝像頭。當(dāng)前流行的行人檢測方法是Dalal N等人提出的基于梯度方向直方圖特征結(jié)合支持向量機(SVM)訓(xùn)練分類器進(jìn)行行人檢測[7]。經(jīng)過發(fā)展，檢測方法在聯(lián)合特征融合上尋找提高行人檢測正確率的方法。例如:Wang X等人[8]提出了一種基于梯度方向直方圖特征與圖像紋理特征相結(jié)合的檢測方法。為了減小特征維度高在檢測準(zhǔn)確性與實時性方面造成的損失，黃茜等人[9]引進(jìn)積分圖方法提高了計算梯度直方圖(HOG)特征的速度，節(jié)省了特征提取的時間；汪成亮[10]、Jiang J等人[11]通過主成分分析(PCA)方法對HOG描述子進(jìn)行降維處理，提高待分類窗口的偵測速度。文獻(xiàn)[10]和文獻(xiàn)[12]使用改進(jìn)的背景建模的方法構(gòu)造實時更新的背景幀，利用當(dāng)前幀與背景幀差分得出視頻序列中的運動前景目標(biāo)，此方法兼具準(zhǔn)確性與實時性的優(yōu)點[13]。

本文以固定攝像機近距離道路監(jiān)控為前提，提出了一種行人檢測方法，針對固定安裝的監(jiān)控視頻，拍攝的場景為一般道路與室內(nèi)場景，監(jiān)控設(shè)備處在目標(biāo)近距離處，人體目標(biāo)在攝像畫面中占有一定的大小，人體較清晰。

1 運動目標(biāo)區(qū)域提取

本文采用基于改進(jìn)的混合高斯模型的背景建模方法[14]，建立背景模板并實時更新。

1.1 改進(jìn)的高斯背景模型的一般形式

假設(shè)視頻圖像的序列每個像素點在時間上表示為

{X1，X2，X3…Xt}={I(x0,y0,i):1≤i≤t}

(1)

式中I為視頻幀圖片；t為幀的具體編號；Xt為某一幀在(x,y)位置的像素值，一般混合高斯的表示即為針對每一像素值進(jìn)行建模，所用的混合高斯模型[14]為

(2)

式中 k為混合高斯模型中高斯分布的個數(shù)；wi,t為各高斯分布t時刻的權(quán)值；ui,t為第i個高斯分布t時刻的高斯分布均值；∑i,t為t時刻第i個高斯分布的協(xié)方差；p(Xt)為高斯背景模型的概率函數(shù)。

針對混合高斯背景模型對所有的圖像像素點采用不加區(qū)別的相同分布數(shù)和相同的采樣周期計算像素的概率密度的問題，將模型分成短期模型和長期模型[15]，對于一般的非疑似行人區(qū)域的像素點使用短期模型建模，對于疑似的運動區(qū)域通過調(diào)整系數(shù)擴大后使用長期模型，以改進(jìn)模型采樣時間長造成占用內(nèi)存大，運算時間長的問題。

對于圖像上的包含前景的樣本，設(shè)置一系列的對應(yīng)指示器b(1),b(2),b(3)，…，b(m),指示器b(m)為0時表示樣本被判定為前景；指示器b(m)值為1時，被判定為背景，并對其采用不同的建模方式[13]。

在模式被判定為1時高斯背景模型的更新公式為

μi←(1-βi)μi+βix

(3)

(4)

權(quán)重的更新公式為

wi,t←(1-α)wi,t-1+αb(m)

(5)

分別對短期模型和長期模型建立不同的方差模型，更新公式如下

(6)

(7)

選取的改進(jìn)高斯混合模型背景建模方法對于組合方法的性能提升主要表現(xiàn)在以下2方面：

1)一般道路攝像機的拍攝特點，拍攝的角度固定，受光線影響較大，混合高斯模型背景更新相對幀差等方法提取的背景具有較好的魯棒性；

2)針對道路場景下行人移動速度較低的特點，使用改進(jìn)高斯背景建模的長期和短期模式能夠更好適應(yīng)背景更新的要求。

1.2 提取疑似目標(biāo)區(qū)域

背景差法，即將當(dāng)前圖像幀像素與通過混合高斯背景模型建立的背景幀像素差分，差分圖像即為待檢測區(qū)域，

P(x,y)=I(x,y)-B(x,y)

(8)

式中 P(x,y)為前景待處理圖像；I(x,y)為當(dāng)前圖像；B(x,y)為高斯背景建模圖像。針對由于重建的背景圖像相對于真實背景存在差異造成差分圖像存在誤差的問題，采用圖像處理中的形態(tài)學(xué)處理方法，對差分圖像先進(jìn)行腐蝕操作，去除圖像中的噪點信息，再進(jìn)行膨脹處理，連通可能的運動區(qū)域，采用閾值化與二值化等處理方法得到干凈的二值化圖像，如圖1所示。

圖1 待檢測窗口的提取

2 運動人體的檢測

2.1 HOG特征[16]

采用的HOG特征方法使用dalal的方法[7]，將8像素×8像素組成一個單元，將2單元×2單元組成一個塊，將檢測窗口設(shè)置為128×64，HOG特征具體的計算過程[7]：

1)輸入大小為128×64的圖片，對圖片進(jìn)行灰度化處理；采用伽馬校正方法對輸入的圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化(歸一化)，降低圖片陰影和光照的影響，同時抑制噪音干擾；

2)計算每個像素的梯度在水平方向和垂直方向的梯度，得出該像素點的梯度幅值和方向特征，如下

(9)

(10)

3)將8像素×8像素點組成一個單元，將每個單元的梯度方向按照0°～180°劃分為9個通道，每個像素點根據(jù)方向權(quán)值為其所在的通道投票，每2單元×2單元組成一個塊，每個塊中的梯度直方圖相串聯(lián)即為塊的直方圖向量；

4)塊的梯度直方圖特征即為每個塊的特征的串聯(lián)。選取高128像素、寬64像素的窗口作為檢測窗口。

文中實驗采用HOG特征維度為3 780維。

2.2 局部二值化模式特征與HOG特征的訓(xùn)練

局部二值化模式(LBP)特征通過設(shè)立采樣點與相鄰像素灰度相對比得出相鄰像素點取0或取1來表示像素點的局部的紋理特征，由于表示的紋理特征采用二進(jìn)制格式，像素編碼方式不同，所得到的像素特征維數(shù)也不相同，本文采用LBP特征模式中的平均模式進(jìn)行編碼[8]。窗口大小同樣采取128×64，以適應(yīng)HOG特征的窗口。

由于HOG特征和LBP特征分別有3 780維和1 888維，為避免模型維數(shù)過多對運算速度和識別準(zhǔn)確率造成不利影響，采用PCA對HOG和LBP的特征維數(shù)進(jìn)行降維處理[17]。將降維后的HOG和LBP串聯(lián)輸入線性支持向量機學(xué)習(xí)模型中進(jìn)行學(xué)習(xí)，得出學(xué)習(xí)后的模型，本文參考文獻(xiàn)[10]的經(jīng)驗，將PCA降維后的HOG特征設(shè)置為100維，LBP特征設(shè)置為50維，經(jīng)實驗驗證：采用此特征維數(shù)的特征在保證準(zhǔn)確率合理的情況下可以取得最大的識別速度。

3 實驗與仿真

3.1 實驗平臺與樣本集

實驗平臺為一臺筆記本，CPU為Intel品牌i3處理器主頻為2.3 GHz的，操作系統(tǒng)為Win7，軟件系統(tǒng)為VS2010搭配OpenCV2.9版本。選用INRIA行人數(shù)據(jù)庫(圖2)作為訓(xùn)練樣本，數(shù)據(jù)庫中包括正樣本(含行人的照片)2 146張和3 654張不含人體的負(fù)樣本圖片，正負(fù)樣本的大小均為寬高64×128。INRIA行人數(shù)據(jù)庫的所有正樣本圖片的人體都經(jīng)過鏡像處理，故對于行人的形態(tài)具有良好旋轉(zhuǎn)不變性。

圖2 INRIA行人數(shù)據(jù)庫

測試數(shù)據(jù)為使用手機拍攝的4段像素為640×480的視頻，均為辦公樓內(nèi)部場景，由于在室內(nèi)場景下會出現(xiàn)走廊欄桿遮擋等不利因素，對于視頻分析不利，對于這部分幀圖像在統(tǒng)計時予以忽略。視頻為外部場景的情境下，由于拍攝的情景對于行人角度存在一定偏移，會對實驗的結(jié)果產(chǎn)生不利影響，經(jīng)過統(tǒng)計，在所有的4段視頻圖片幀中一共11 841張圖片中出現(xiàn)符合要求的行人約為32 453。

3.2 實驗結(jié)果對比與分析

實驗中，綜合考慮到漏檢率與行人窗口可能的大小，檢測窗口滑動步長設(shè)置為16像素，實驗結(jié)果表明:文中使用的混合高斯背景差與聯(lián)合特征的行人檢測方法的識別正確率和基于未降維的HOG-LBP特征方法正確率相近，但是本文方法在檢測速度上提升較大，對比使用PCA-HOG特征訓(xùn)練分類器的方法，在準(zhǔn)確率方面有提升，在應(yīng)對群行人遮擋方面有更好的效果。同時,與文獻(xiàn)[7]HOG的方法對比，本文使用的方法相對于該經(jīng)典方法在準(zhǔn)確率與運算速度方面均有較大的提升。

表1列出了各種方法在所選測試集上按照上文設(shè)定的統(tǒng)計規(guī)則得出的效果。

表1 4種不同方法的實驗數(shù)據(jù)對比

由于在檢測時加入了運動信息，減小了搜索窗口的搜索面積，給識別工作帶來了一定的實時性改進(jìn)，此外，對于特征識別模型進(jìn)行了降維處理，減小了單位像素面積的識別速度。因為PCA-HOG的檢測方法與本文的算法有一定的相似度，與其對比，由于在文獻(xiàn)[10]中采用了50維的模型，所以本文方法運算速度與其對比不具有優(yōu)勢，但是相對其他沒有加入視頻運動信息的行人檢測方法，本文方法則具有明顯優(yōu)勢。如表2所示。

表2 4種方法的運算速度對比 ms

4 結(jié) 論

根據(jù)靜止攝像頭下的近景行人監(jiān)控的環(huán)境特點，提出了一種基于混合高斯模型背景差分與聯(lián)合特征相結(jié)合的行人檢測方法，將改進(jìn)的混合高斯背景方法與多特征的機器學(xué)習(xí)相結(jié)合的方法運用在行人檢測中。通過與文獻(xiàn)[7]和文獻(xiàn)[8]的方法對比，得出本文方法在目標(biāo)檢測的準(zhǔn)確率與目標(biāo)識別的實時性方面，具有一定的優(yōu)勢。但是本文算法也存在該類算法通有的缺陷[18,19]，因為在背景差分法中是基于行人的移動來劃定目標(biāo)待檢測窗口的，造成對靜止的行人漏檢的現(xiàn)象，要解決這一問題則可能采用的方法是在檢測方法的第二段對檢測出的目標(biāo)實行跟蹤[20]，以在行人停留在視頻范圍內(nèi)時繼續(xù)得出背景差分的目標(biāo)區(qū)域。這將是下階段的研究問題。

[1] Zhang S,Benenson R,Omran M,et al.How far are we from solving pedestrian detection[C]∥CVPR, 2016:1259-1267.

[2] 鞠升輝,李楊民.基于運動分析的運動目標(biāo)實時跟蹤系統(tǒng)[J].傳感器與微系統(tǒng),2016,35(7):58-61.

[3] 郭永彩,劉麗君,高 潮.基于圖像傳感器的儀表自動讀數(shù)系統(tǒng)[J].傳感器與微系統(tǒng),2012,31(11):115-121.

[4] 趙 炯,朱海濤,屈劍平,等.基于OpenCV的圓心定位在地鐵隧道變形檢測中的應(yīng)用[J].傳感器與微系統(tǒng),2013,32(11):139-145.

[5] 戰(zhàn)萌偉,張 昊.基于Kinect傳感器的人體行為分析算法[J].傳感器與微系統(tǒng),2015,34(1):142-144.

[6] 周 林,雷麗平.基于多傳感器的人體行為識別系統(tǒng)[J].傳感器與微系統(tǒng),2016,35(3):89-95.

[7] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]∥IEEE Conference on Computer Vision & Pattern Recognition,2013:886-893.

[8] Wang X,Han T X,Yan S.An HOG-LBP human detector with partial occlusion handling[C]∥IEEE Intermational Conference on Computer Vision,IEEE,2010:32-39.

[9] 黃 茜,顧杰峰,楊文亮.基于梯度向量直方圖的行人檢測[J].科學(xué)技術(shù)與工程,2009,9(13):3646-3651.

[10] 汪成亮,周 佳,黃 晟.基于高斯混合模型與PCA-HOG的快速運動人體檢測[J].計算機應(yīng)用研究,2012,29(6):2156-2160.

[11] Jiang J,Xiong H.Fast pedestrian detection based on HOG-PCA and gentle adaBoost[C]∥International Conference on Computer Science & Service System,2012:1819-1822.

[12] Ojala T,Pietik?inen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,24(7):971-987.

[13] 趙子博.基于混合高斯改進(jìn)算法的視頻背景建模研究[D].南京：南京郵電大學(xué).2013:23-25.

[14] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,Washington DC:IEEE Computer Society,1999:246-252.

[15] Parzen E.On estimation of a probability density function and mode[J].Annals of Mathematical Statistics,1962,33(3):1065-1076.

[16] Ojala T,Pietikainen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-988.

[17] 于成龍.基于PCA 的特征選擇算法[J].計算機技術(shù)與發(fā)展,2011,21(4):123-125.

[18] Zhang X,Gao Y,Wang X,et al.A method for detecting pedes-trians in video surveillance scenes[C]∥International Conference on Systems and Informatics,IEEE,2012:2016-2019.

[19] 李 剛,邱尚斌,林 凌,等.基于背景差法和幀間差法的運動目標(biāo)檢測方法[J].儀器儀表學(xué)報,2006,27( 8):961-964.

[20] 張驚雷,姜松濤.基于改進(jìn)壓縮感知的運動目標(biāo)跟蹤[J].傳感器與微系統(tǒng),2016,35(6):120-123.

Pedestrian detection method based on Gaussian mixture model and combined feature

ZHENG Rui, SHAO Zong-kai

(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)

Aiming at shortcomings of pedestrian detecting methodes mostly use window slipping, and the method can’t quickly find suspected pedestrian windows in video environment,propose a method to detect pedestrian based on combination algorithms.Firstly sports foreground in video is extracted by Gaussian mixture model(GMM)method,delimit a suspected pedestrian windows.Then,use classifier based on hog-lbp combined feature training to classify generic target window,and get classification,label pedestrian target result.Through verification of experiment,the method get a good result on detecting speed and accuary compared with current pedestrian detection method.

pedestrian detection; Gaussian mixture model(GMM); HOG-lbp foreground

10.13873/J.1000—9787(2017)07—0150—04

2016—08—22

TP 319.4

A

1000—9787(2017)07—0150—04

鄭 銳(1992-),男，碩士研究生，主要研究方向為機器視覺，機器學(xué)習(xí)研究。

邵宗凱(1973-),男，博士，副教授，主要從事智能交通系統(tǒng)的研究工作，E—mail：798181081@qq.com。