一種基于滑動(dòng)窗口優(yōu)化算法的行人檢測(cè)算法

邵奇可，李　路，周　宇，顏世航

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

一種基于滑動(dòng)窗口優(yōu)化算法的行人檢測(cè)算法

邵奇可，李路，周宇，顏世航

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

摘要：行人檢測(cè)是計(jì)算機(jī)視覺(jué)中的關(guān)鍵技術(shù)之一，在智能交通領(lǐng)域有大量實(shí)際應(yīng)用，如何在提高行人檢測(cè)精度的同時(shí)提高檢測(cè)速度一直是研究的熱點(diǎn).首先采用基于高斯混合模型的背景建模方法分離出運(yùn)動(dòng)目標(biāo)，將原始視頻序列轉(zhuǎn)換為二值圖片，得到大量固定大小的訓(xùn)練樣本;然后提取樣本圖片的HOG特征,通過(guò)SVM訓(xùn)練得到分類器;接著用固定大小的滑動(dòng)窗口檢測(cè)行人,并提出了一種滑動(dòng)窗口優(yōu)化算法來(lái)篩選檢測(cè)結(jié)果;進(jìn)而用前景像素密度估算方法調(diào)整檢測(cè)結(jié)果，輸出最終統(tǒng)計(jì)人數(shù)，最后實(shí)驗(yàn)表明方法的有效性。

關(guān)鍵詞：行人檢測(cè)；高斯混合模型；HOG；背景建模

Pedestrian detection in videos based on optimization

algorithm using sliding window

SHAO Qike, LI Lu, ZHOU Yu, YAN Shihang

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:Pedestrian detection is one of the key technologies in computer vision. It has applied in intelligent transportation field widely. How to improve the detection precision as well as the detection speed is a hot research topic. Background modeling method based on Gauss mixture model is used in this paper to separate the moving target from the background. Then the original video sequence can be converted into binary image for training. Then the HOG feature in the sample images are extracted through the Support Vector Machines. A size-fixed sliding window is used to detect pedestrians. Here an optimization algorithm using sliding window is proposed to screen the test results. Then the foreground pixel density estimation method is used to adjust the detection result. Finally the experimental results show the proposed method is effective。

Keywords:pedestrian detection; Gaussian mixture model; HOG; background modeling

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，基于行人檢測(cè)技術(shù)的應(yīng)用給人們的生活和出行帶來(lái)了諸多便利[1-2],尤其是在城市智能交通領(lǐng)域中的應(yīng)用，對(duì)開(kāi)展交通規(guī)劃和控制人流起著至關(guān)重要的作用[3].近年來(lái)，行人檢測(cè)技術(shù)的應(yīng)用領(lǐng)域也在不斷擴(kuò)展[4-6]，這對(duì)行人檢測(cè)技術(shù)提出了更高的要求，復(fù)雜的環(huán)境(如光照變化，遮擋，天氣變化等)下，如何提高行人檢測(cè)的速度以及精度一直困擾著眾多研究者[7].目前行人檢測(cè)方法主要有基于運(yùn)動(dòng)特性的方法、基于模版匹配的方法以及基于機(jī)器學(xué)習(xí)的方法等.大多數(shù)基于運(yùn)動(dòng)特性的方法為了提取運(yùn)動(dòng)節(jié)奏特征要求一些重要部位(如腿、腳)是可見(jiàn)的，這對(duì)檢測(cè)目標(biāo)有了過(guò)高的要求，在復(fù)雜場(chǎng)景下很難得到保證.Pedro F. Felzenszwalb等提出的圖形結(jié)構(gòu)匹配算法是基于模版匹配的典型代表，該算法能較準(zhǔn)確地檢測(cè)出復(fù)雜的行人姿態(tài)，但是匹配算法過(guò)于復(fù)雜，匹配速度過(guò)慢，且對(duì)復(fù)雜環(huán)境下的匹配精度無(wú)法保障[8].文獻(xiàn)[9]中Broggi等人提出了一種基于形狀的局部匹配算法，以大量不同大小的二值圖像為模板，對(duì)人的頭肩部分進(jìn)行建模用于匹配和識(shí)別行人，提高了檢測(cè)速度，但這個(gè)方法過(guò)于依賴模版的質(zhì)量.Mohan和Poggio提出的通過(guò)檢測(cè)人體部位來(lái)檢測(cè)行人的算法是基于機(jī)器學(xué)習(xí)的方法，能兼顧檢測(cè)速度和檢測(cè)精度，但訓(xùn)練階段工作量過(guò)于龐大[10].針對(duì)訓(xùn)練工作量大且耗時(shí)的問(wèn)題，文獻(xiàn)[11]中提出了一種基于場(chǎng)景模型與統(tǒng)計(jì)學(xué)習(xí)的魯棒行人檢測(cè)算法，利用GMM(Gaussian mixture model)來(lái)建模[12]，用Haar-like特征描述行人特征，以AdaBoost級(jí)聯(lián)結(jié)構(gòu)作為分類器，并提出一種改進(jìn)的弱分類器選擇算法，提高了弱分類器選擇和分類器重新訓(xùn)練的速度.Dalal和Triggs提出的HOG(Histogram of oriented gradients)行人檢測(cè)算法有很好的檢測(cè)效果[13]，為之后的行人檢測(cè)算法建立了良好的基礎(chǔ)，但HOG行人檢測(cè)算法對(duì)于檢測(cè)場(chǎng)景與訓(xùn)練樣本有較高要求，場(chǎng)景的變化會(huì)對(duì)檢測(cè)精度和檢測(cè)穩(wěn)定性造成影響，并且檢測(cè)速度過(guò)慢。

鑒于目前的研究狀況，筆者提出了一種基于滑動(dòng)窗口優(yōu)化的行人檢測(cè)算法，前期通過(guò)高斯混合模型的背景建模方法提取目標(biāo)[14]，降低背景因素的干擾，減少負(fù)樣本的訓(xùn)練量，同時(shí)縮減檢測(cè)區(qū)域，提高檢測(cè)速度；然后提取目標(biāo)的HOG特征[15]，用SVM(Supportvector machines)訓(xùn)練大量樣本得到自己的分類器[16]，再用固定大小的滑動(dòng)窗口檢測(cè)行人；并提出了滑動(dòng)窗口距離優(yōu)化算法對(duì)檢測(cè)到的行人進(jìn)行篩選，最后通過(guò)特定的前景像素密度估計(jì)方法調(diào)整檢測(cè)結(jié)果[17]，進(jìn)一步提高檢測(cè)精度，輸出最終統(tǒng)計(jì)人數(shù)。

1總體概述

文中行人檢測(cè)算法是基于機(jī)器學(xué)習(xí)的行人檢測(cè)研究方法，前期需要對(duì)攝像機(jī)進(jìn)行標(biāo)定，檢測(cè)距離在3~7 m之間。

具體步驟如下：

Step 1：讀入特點(diǎn)區(qū)域視頻序列，用基于高斯混合模型的背景建模方法處理，得到大量二值圖片。

Step 2：從處理后圖片中截取固定大小為64×128像素的樣本圖片，提取正負(fù)樣本圖片的HOG特征，訓(xùn)練自己的分類器。

Step 3：讀取待測(cè)區(qū)域的視頻序列，結(jié)合自己訓(xùn)練的分類器，用固定大小的滑動(dòng)窗口遍歷圖片，檢測(cè)行人目標(biāo)，將檢測(cè)到的目標(biāo)存入內(nèi)存。

Step 4：用滑動(dòng)窗口距離優(yōu)化算法篩選檢測(cè)到的目標(biāo)，調(diào)節(jié)閾值，去除一個(gè)目標(biāo)重復(fù)檢測(cè)和一個(gè)檢測(cè)窗口多個(gè)分離目標(biāo)的情況。

Step 5：用前景像素密度估計(jì)的方法調(diào)整檢測(cè)結(jié)果，輸出最終人數(shù)。

系統(tǒng)的總體流程圖如圖1所示。

圖1　系統(tǒng)總體流程圖Fig.1　The overall flow chart

Step 2中圖片的HOG特征計(jì)算公式如下：

圖像某點(diǎn)(x,y)水平方向梯度值Gx(x,y)方程式為

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

垂直方向梯度值Gy(x,y)為

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

式中H(x,y)為圖像原始點(diǎn)像素值。

梯度值G(x,y)為

(3)

梯度方向?(x,y)為

(4)

Step 3的檢測(cè)結(jié)果為固定大小的滑動(dòng)窗口檢測(cè)到的所有目標(biāo)，其中包括很多重復(fù)檢測(cè)，Step 4是筆者提出的優(yōu)化算法用于去除重復(fù)檢測(cè)的目標(biāo)，并保證一個(gè)檢測(cè)窗口中不存在多個(gè)分離的目標(biāo)，Step 5是針對(duì)一個(gè)窗口中有多個(gè)重疊的目標(biāo)而加入的人數(shù)調(diào)整方法，具體內(nèi)容將在下節(jié)展開(kāi)。

2滑動(dòng)窗口距離優(yōu)化算法和前景像素密度估計(jì)方法

用固定大小的滑動(dòng)窗口檢測(cè)出所有對(duì)象W，定義一個(gè)變量i(0≤i

圖2　滑動(dòng)窗口優(yōu)化算法流程圖Fig.2　The flow chart of optimization algorithm using sliding window

測(cè)試可知：在當(dāng)前場(chǎng)景下，閾值取值為410~600時(shí)，檢測(cè)效果最佳，誤檢和漏檢率最低，在研究過(guò)程中，為了能檢測(cè)到完整行人，為后續(xù)用前景像素密度估計(jì)的方法調(diào)整檢測(cè)結(jié)果作鋪墊，將閾值D設(shè)置為510.另外，由于對(duì)滑動(dòng)窗口間距離的優(yōu)化，有效去除了兩個(gè)人不互相遮擋但在一個(gè)檢測(cè)窗口的情況，筆者對(duì)1 000張不同圖片進(jìn)行測(cè)試，都不存在此類情況，證明了算法的可靠性。

在前后兩人出現(xiàn)遮擋的情況下，由于無(wú)法通過(guò)距離優(yōu)化算法將兩人分開(kāi)檢測(cè)，采用了前景像素密度估計(jì)的方法來(lái)調(diào)整檢測(cè)結(jié)果[17].將經(jīng)過(guò)距離優(yōu)化算法檢測(cè)后的結(jié)果取出來(lái)，遍歷整個(gè)窗口，統(tǒng)計(jì)所有像素值為255的點(diǎn)，將統(tǒng)計(jì)數(shù)量記為N,檢測(cè)到的矩形窗口大小記為S，并將N/S的值作為調(diào)節(jié)閾值，記為T(mén)H，經(jīng)檢測(cè)，當(dāng)TH<0.28,檢測(cè)窗口內(nèi)只有一個(gè)人，當(dāng)0.280.7的情況，將調(diào)整數(shù)記為0，取下一幀視頻序列重新檢測(cè)，避免因突變引起誤差。

3分類器的訓(xùn)練與檢測(cè)結(jié)果

樣本主要來(lái)自校園人行道，公路人行道以及公交站臺(tái)等行人較多的場(chǎng)合，攝像機(jī)需要提前標(biāo)定.為了得到檢測(cè)目標(biāo)并盡量減少背景因素的干擾，筆者采用基于混合高斯模型的背景建模來(lái)處理視頻序列。

對(duì)于視頻幀中的某一點(diǎn)p(x,y)，在一段時(shí)間內(nèi)，它的像素值序列{X1,…,Xt}可以用K個(gè)混合高斯分布來(lái)描述.其中Xt表示t時(shí)刻點(diǎn)p的像素值.點(diǎn)p在t時(shí)刻的概率分布為

(5)

式中：K為該模型中高斯分布的個(gè)數(shù)；ωi,t為t時(shí)刻第i個(gè)高斯分布的權(quán)重；μi,t為t時(shí)刻第i個(gè)高斯分布的均值；∑i,t為t時(shí)刻第i個(gè)高斯分布的協(xié)方差矩陣；η為一個(gè)高斯概率密度函數(shù)，即

(6)

這里采用OnlineK-means算法初始化參數(shù)μ、ω和∑，具體如下：

1) 猜測(cè)每一類別的均值，標(biāo)記為{m1,m2,…,mk}。

2) 為每一個(gè)類別設(shè)置一個(gè)計(jì)數(shù)變量，標(biāo)記為n1,n2,…,nk，并且初始化為0。

4) 用各類的均值作為μ，并計(jì)算協(xié)方差∑，樣本的比例作為ω。

每個(gè)新到達(dá)的像素值Xt+1，都會(huì)與K個(gè)高斯分布進(jìn)行比較，直到找到匹配的分布為止.匹配的條件為

(7)

式中k普遍認(rèn)為取值為2.5時(shí)效果最佳。

當(dāng)匹配過(guò)程結(jié)束時(shí)，若匹配到某個(gè)高斯分布時(shí)，更新如下：

ωi,t+1=(1-α)ωi,t+α

(8)

μi,t+1=(1-ρ)μi,t+ρ·Xt+1

(9)

(10)

式中：α為學(xué)習(xí)率，取值范圍為0~1，初始化背景時(shí)若α過(guò)大，雖然有利于背景模型的建立，但是背景模型建立后會(huì)導(dǎo)致模型不穩(wěn)定，而過(guò)小則不利于模型的建立，此處取值為0.02；ρ=α·η(Xt+1,μi,∑i)為權(quán)值更新率.每次更新完成后，重新對(duì)高斯混合分布按從高到低的順序進(jìn)行排序。

當(dāng)未匹配到某個(gè)高斯分布時(shí)，用新的高斯分布代替最小的高斯分布，參數(shù)作相應(yīng)修改。

經(jīng)過(guò)基于混合高斯模型的背景建模方法處理視頻序列后，得到大量二值化圖片，從中提取正負(fù)樣本來(lái)訓(xùn)練得到自己的分類器。

筆者共訓(xùn)練了5 000張正樣本，2 115張負(fù)樣本.其中正樣本是形態(tài)各異的行人，負(fù)樣本是各種帶有噪聲點(diǎn)的背景圖片以及正樣本中誤檢的圖片，圖3是部分正樣本圖片示例，圖4是部分負(fù)樣本圖片示例。

圖3　部分正樣本圖片F(xiàn)ig.3　Part of the positive samples

圖4　部分負(fù)樣本圖片F(xiàn)ig.4　Part of the negative samples

采用大小為64×128像素的樣本圖片來(lái)訓(xùn)練分類器，每8×8個(gè)像素為一個(gè)單元，梯度方向(0~180度)分為9個(gè)，每個(gè)20度，再對(duì)單元內(nèi)各個(gè)像素所屬方向做一個(gè)投票統(tǒng)計(jì)，得到的票數(shù)就是該像素的邊緣強(qiáng)度.每2×2個(gè)單元構(gòu)成一個(gè)塊，塊每次滑動(dòng)的步長(zhǎng)為一個(gè)單元(即8個(gè)像素)，如此，每個(gè)塊中有4×9=36個(gè)特征，水平方向有7個(gè)步長(zhǎng)，豎直方向有15個(gè)步長(zhǎng)，共36×7×15=3 780個(gè)特征，對(duì)各個(gè)塊的梯度方向加權(quán)直方圖進(jìn)行統(tǒng)計(jì)后，得到每個(gè)塊的特征，把檢測(cè)窗口內(nèi)所有的塊的特征串聯(lián)起來(lái)，就構(gòu)成了人體特征向量。

利用SVM訓(xùn)練得到分類器后，用固定大小的滑動(dòng)窗口遍歷整個(gè)待檢圖片，檢測(cè)窗口中是否有目標(biāo)，若檢測(cè)到目標(biāo)則存儲(chǔ)到內(nèi)存，再用滑動(dòng)窗口距離優(yōu)化算法對(duì)檢測(cè)到的行人進(jìn)行篩選，將篩選結(jié)果傳遞，最后通過(guò)特定的前景像素密度估計(jì)方法調(diào)整檢測(cè)結(jié)果，輸出最終統(tǒng)計(jì)人數(shù)。

筆者共測(cè)試了1 000張行人圖片并與原始HOG算法檢測(cè)效果進(jìn)行比較，原始HOG算法檢測(cè)效果如圖5所示，筆者方法的檢測(cè)效果如圖6所示。

圖5　HOG檢測(cè)算法檢測(cè)效果Fig.5　The effect of HOG algorithm

圖6　筆者方法的檢測(cè)效果Fig.6　The effect of this method

在1 000張測(cè)試圖片中，同樣的訓(xùn)練樣本，檢測(cè)的結(jié)果如表1所示。

表1　檢測(cè)效果比較

從以上檢測(cè)結(jié)果可知：當(dāng)兩個(gè)檢測(cè)目標(biāo)分離較遠(yuǎn)時(shí)，原始HOG算法能有效地檢測(cè)出運(yùn)動(dòng)目標(biāo)，但當(dāng)兩個(gè)目標(biāo)距離接近時(shí)，原始HOG算法會(huì)出現(xiàn)漏檢或誤檢現(xiàn)象.而提出的算法在兩個(gè)目標(biāo)靠近時(shí)仍能精確地檢測(cè)出目標(biāo)，在檢測(cè)精度上有了很大的改進(jìn)。

同時(shí)，檢測(cè)結(jié)果顯示檢測(cè)一幀視頻序列的時(shí)間一般在140~260 ms(已將前期用混合高斯建模處理視頻時(shí)間約3 ms/幀計(jì)入)之間，而普通HOG算法檢測(cè)行人需要1 s以上的時(shí)間，可見(jiàn)在檢測(cè)速度上也有明顯的提升，符合實(shí)時(shí)性的要求。

4結(jié)論

提出了一種高效且較精確的行人檢測(cè)算法，用基于混合高斯模型的背景建模方法削弱背景的干擾，用HOG來(lái)描述行人特征并訓(xùn)練自己的分類器，用固定大小的滑動(dòng)窗口來(lái)檢測(cè)行人，同時(shí)提出了一種滑動(dòng)窗口優(yōu)化算法來(lái)篩選檢測(cè)結(jié)果，提高檢測(cè)精度，最后用前景像素密度估計(jì)的方法調(diào)整檢測(cè)結(jié)果，進(jìn)一步提高檢測(cè)精度.在理論上分析和實(shí)際應(yīng)用中，都具有良好的檢測(cè)效果.下一步研究工作主要是在確保檢測(cè)精度的基礎(chǔ)上，進(jìn)一步提升高密度人群的檢測(cè)精度。

參考文獻(xiàn)：

[1]湯一平,陸海峰.基于計(jì)算機(jī)視覺(jué)的電梯內(nèi)防暴力智能視頻監(jiān)控[J].浙江工業(yè)大學(xué)學(xué)報(bào),2009,37(6):591-597。

[2]陳敏智,湯一平.基于支持向量機(jī)的針對(duì)ATM機(jī)的異常行為識(shí)別[J].浙江工業(yè)大學(xué)學(xué)報(bào),2010,38(5):546-551。

[3]王為,姚明海.基于計(jì)算機(jī)視覺(jué)的智能交通監(jiān)控系統(tǒng)[J].浙江工業(yè)大學(xué)學(xué)報(bào),2010,38(5):574-579。

[4]SILBERSTEIN S, LEVI D, KOGAN V, et al. Vision-based pedestrian detection for rear-view cameras[C]//Intelligent Vehicles Symposium Proceedings. Dearborn： IEEE publisher，2014：853-860。

[5]PRIOLETTI A, MOGELMOSE A, GRISLIERI P, et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms and evaluation[J]. IEEE Transactions on Intelligent Transportation Systems,2013,14(3):1346-1359。

[6]OLMEDA D, PREMEBIDA C, NUNES U, et al. Pedestrian detection in far infrared images[J]. Integrated Computer-Aided Engineering,2013,20(4):347-360。

[7]DOLLAR P, WOJEK C, SCHIELE B, et al. Pedestrian detection: an evaluation of the state of the art[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on,2012,34(4):743-761。

[8]FELZENSZWALB P F, HUTTENLOCHER D P. Efficient matching of pictorial structures[C] //Computer Vision and Pattern Recognition. Hilton Head Island: IEEE publisher，2000:66-73。

[9]BROGGI A, BERTOZZI M, FASCIOLI A, et al. Shape-based pedestrian detection[C]//IEEE Intelligent Vehicles Symp. Dearborn： IEEE publisher，2000:215-220。

[10]MOHAN A, PAPAGEORGIOU C, POGGIO T. Example-based object detection in images by components[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on,2001,23(4):349-361。

[11]楊濤,李靜,潘泉，等.基于場(chǎng)景模型與統(tǒng)計(jì)學(xué)習(xí)的魯棒行人檢測(cè)算法[J].自動(dòng)化學(xué)報(bào),2010,36(4)：499-508。

[12]STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]//Computer Vision and Pattern Recognition. Fort Collins： IEEE publisher,1999：1063-1069。

[13]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition. San Diego： IEEE publisher,2005:886-893。

[14]STAUFFER C, GRIMSON W E L. Learning patterns of activity using real-time tracking[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on,2000,22(8):747-757。

[15]ZHU Qiang, YEH M C, CHENG K T, et al. Fast human detection using a cascade of histograms of oriented gradients[C]//Computer Vision and Pattern Recognition. New York: IEEE publisher,2006:1491-1498。

[16]CHAPELLE O, HAFFNER P, VAPNIK V N. Support vector machines for histogram-based image classification[J]. Neural Networks, IEEE Transactions on,1999,10(5):1055-1064。

[17]ZIVKOVIC Z, FERDINAND V D H. Efficient adaptive density estimation per image pixel for the task of background subtraction[J]. Pattern Recognition Letters,2006,27(7):773-780。

[18]原春鋒,王傳旭,張祥光，等.光照突變環(huán)境下基于高斯混合模型和梯度信息的視頻分割[J].中國(guó)圖象圖形學(xué)報(bào),2007,12(11):2068-2072。

(責(zé)任編輯：陳石平)

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1006-4303(2015)02-0212-05

作者簡(jiǎn)介：邵奇可(1976—)，男，浙江舟山人，副教授，博士，研究方向?yàn)榫W(wǎng)絡(luò)控制系統(tǒng)，E-mail：sqk@zjut.edu.cn。

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61104095)

收稿日期：2014-11-20