基于改進(jìn)DPM模型的行人檢測(cè)方法研究

張亞須 ，龍 暉，云利軍，3*

（1.云南師范大學(xué)信息學(xué)院，昆明 650500；2.云南省委辦公廳信息技術(shù)中心，昆明 650021；3.云南省光電信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，昆明 650500）

在行人檢測(cè)中，由于行人的胖瘦、高矮不一，服飾顏色、樣式不一，拍攝角度不同，又有背景以及光照等影響，這些都增加了行人檢測(cè)的難度。行人檢測(cè)過程分為兩個(gè)步驟，外觀特征提取以及分類學(xué)習(xí)。其中，外觀特征主要有梯度方向直方圖（HOG）特征〔1〕，輪廓特征，局部特征sift、surf等，局部二值特征（LBP）等；分類學(xué)習(xí)主要使用AdaBoost分類器、支持向量機(jī)（SVM）分類器〔2〕，以及它們的各種變形組合。自從HOG特征應(yīng)用于外觀特征提取以來，很多基于HOG特征的行人檢測(cè)算法被提出。例如：文獻(xiàn)〔3〕用SVM對(duì)提取的HOG特征分類訓(xùn)練，利用訓(xùn)練得到的分類器對(duì)行人檢測(cè)，HOG特征基于梯度方向信息并且塊與塊之間重疊50%，因此能減弱光照變化和小量偏移的影響，有效地刻畫行人的外觀特征。文獻(xiàn)〔4〕結(jié)合圖像文理特征和梯度方向直方圖特征來描述行人外觀，兼顧了行人形狀和文理特征。文獻(xiàn)〔5〕為了提高提取HOG特征的速度，引進(jìn)積分圖方法，節(jié)省了特征提取的時(shí)間；文獻(xiàn)〔6〕通過主成分分析（PCA）方法對(duì)HOG特征降維，提高了待分類窗口的檢測(cè)速度。文獻(xiàn)〔7〕通過非負(fù)矩陣分解法對(duì)提取的HOG特征進(jìn)行分解降維，提高了行人檢測(cè)速度。文獻(xiàn)〔8〕提出的基于可變形部件的檢測(cè)方法，對(duì)復(fù)雜環(huán)境中多樣變化的行人進(jìn)行檢測(cè)，得到較高的識(shí)別率，但檢測(cè)速度慢。文獻(xiàn)〔9-12〕基于可變形部件方法進(jìn)行改進(jìn)，雖然提高了檢測(cè)速度，但是降低了識(shí)別率。

針對(duì)上述方法存在的問題，本文提出一種基于改進(jìn)可變形部件（DPM）模型的行人檢測(cè)算法，通過改進(jìn)HOG特征方向離散區(qū)間數(shù)量、歸一化特征降維方法，減少行人特征的維數(shù)，在檢測(cè)時(shí)使用Cascade方法代替?zhèn)鹘y(tǒng)的動(dòng)態(tài)規(guī)劃進(jìn)行行人檢測(cè)，提高行人檢測(cè)的速度。

1 本文算法

DPM模型是基于模板方法改進(jìn)的模型，其思路是將行人分成多個(gè)部件模塊，對(duì)行人以及各個(gè)部件模塊訓(xùn)練分類得到部件模型，同時(shí)記錄部件模型的空間結(jié)構(gòu)關(guān)系。該方法在很好地描述行人外觀的同時(shí)描述了各部件的空間關(guān)系。DPM方法使用圖像HOG特征訓(xùn)練分類器模型，在訓(xùn)練過程中，首先根據(jù)SVM訓(xùn)練行人模型，再根據(jù)行人模型將行人各模塊的位置與模塊類別視為隱含變量，通過Latent SVM訓(xùn)練得到各個(gè)模塊模型。檢測(cè)時(shí)使用模型計(jì)算行人和各個(gè)模塊的得分，行人和各個(gè)模塊總得分如果大于閾值則判定其為行人。

1.1 HOG特征提取

1.1.1 圖像方向特征 文獻(xiàn)〔1〕提出HOG特征描述子，它通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖得到圖像特征，在圖像處理、檢測(cè)中得到廣泛應(yīng)用。

1）計(jì)算每個(gè)像素水平方向和垂直方向上的梯度值，最終得到該點(diǎn)的梯度值與幅度值；一般利用模版[- 1,0,1]和[- 1,0,1]T對(duì)圖像進(jìn)行卷積運(yùn)算，分別計(jì)算出圖像在水平和垂直方向的梯度分量。

分別表示圖像像素點(diǎn)(x,y)處的水平梯度、垂直梯度以及像素點(diǎn)。像素點(diǎn)(x,y)處的梯度幅值計(jì)算如下：

梯度方向計(jì)算如下：

如果輸入的是彩色圖像，分別計(jì)算圖像3個(gè)通道中像素的梯度方向α(x,y)，以及梯度幅值G(x,y)；則(x,y)處像素點(diǎn)的梯度值就是梯度幅值最大值對(duì)應(yīng)通道的梯度方向。

2）將每個(gè)cell單元中像素梯度方向根據(jù)公式（4）、公式（5）分別離散到2p、p個(gè)值上，B1是把梯度方向劃分到[0,2π]上，得到對(duì)比度比較敏感的HOG特征；B2是把梯度方向劃分到[0,π] ，因?yàn)棣?x,y)和α(x,y)+π在同一個(gè)bin區(qū)間，得到了對(duì)比度不敏感的HOG特征。

1.1.2 HOG特征歸一化處理 歸一化能夠降低光照對(duì)局部特征的影響，使HOG特征具有更好的魯棒性。如果直接對(duì)每一點(diǎn)進(jìn)行歸一化，計(jì)算量大。把梯度特征分成小單元cell，每張圖片的大小為W×H，cell大小為k×k，則圖像特征映射到W/k×H/k個(gè)cell單元中。每個(gè)cell的特征直方圖記為C(i,j)。

求歸一化因子，如圖1，與A相鄰的cell單元分為4組；即A與對(duì)角的B、C、D、E構(gòu)成4組，然后求歸一化因子。計(jì)算公式如下：

其中，根據(jù)對(duì)C(i,j)歸一化，計(jì)算公式如下：

為了防止向量中有些值過大，對(duì)向量進(jìn)行切斷，使向量中的值不大于λ。則cell特征歸一化后得到特征H如下：

本文選擇p=9，k=8。因?yàn)槊總€(gè)cell對(duì)周圍4個(gè)cell有影響，若根據(jù)公式（5）計(jì)算，每個(gè)cell的HOG特征為36維；若根據(jù)公式（4）計(jì)算，每個(gè)cell的HOG特征為72維。原始的DPM方法把公式（4）和（5）結(jié)合起來，歸一化得到108維特征，本文根據(jù)公式（5），把cell單元的梯度方向劃分到9個(gè)區(qū)間內(nèi)，歸一化后得到36維特征。

1.2 特征解析降維 研究發(fā)現(xiàn)，主成分分析得到主要成分，它們對(duì)特征的貢獻(xiàn)大，對(duì)特征區(qū)分能力較強(qiáng)，原始DPM中用主成分分析對(duì)HOG特征降維，特征縮減到32維。文獻(xiàn)〔13〕中提出解析降維的方法，本文根據(jù)公式（8）把cell單元的特征歸一化得到36維，圖1給出降維流程，36維向量按照矩陣排列，然后各行各列相加得到13維特征；簡(jiǎn)單加法代替乘法，計(jì)算速度快。

圖1 解析降維流程

1.3 圖像特征金字塔 在圖像分析處理時(shí)，是把圖像信息轉(zhuǎn)變成矩陣，根據(jù)矩陣中的數(shù)值來了解分析圖像；不能預(yù)先得知圖片中行人的尺度，而且不同圖像中行人大小不同，即使同一張圖像中的行人因與攝像頭距離不同顯示的大小也不同。為了檢測(cè)圖像中不同大小的行人，DPM采用圖像特征金字塔，使檢測(cè)模型可以對(duì)不同分辨率下的圖像進(jìn)行檢測(cè)。

特征金字塔是通過有限的尺度來映射構(gòu)成，首先對(duì)圖像進(jìn)行平滑和下采樣構(gòu)成圖像金字塔，然后提取每一層的特征構(gòu)成特征圖，所有特征圖構(gòu)成圖像特征金字塔。特征金字塔從下到上分辨率逐漸降低，一般為30～60層。

1.4 DPM模型結(jié)構(gòu) 行人不是一個(gè)固定的物體，隨著人的行為表觀、姿勢(shì)等不斷發(fā)生改變，這些改變影響檢測(cè)的準(zhǔn)確性；DPM把行人分為多個(gè)部件，如頭、肩、腿等多個(gè)部件模塊。分別訓(xùn)練行人根模型、各個(gè)模塊模型和模塊變形花費(fèi)模型。根模型用來捕獲行人邊界這些粗糙信息，是在行人整體尺度上進(jìn)行檢測(cè)，模塊模型可以捕獲各個(gè)部件的細(xì)節(jié)信息，在行人部件的尺度上進(jìn)行檢測(cè)。一般提取模塊特征圖層的分辨率是行人圖層分辨率的兩倍，圖2是根據(jù)文獻(xiàn)〔8〕把行人分為8個(gè)模塊進(jìn)行訓(xùn)練得到的可視化模型。可以看出，部件模型比根模型清晰，變形花費(fèi)模型是部件模塊相對(duì)行人位置發(fā)生變形時(shí)的消耗代價(jià)。

圖2 可視化模型

1.5 訓(xùn)練模型參數(shù) 模型初始化和訓(xùn)練如下。

Latent SVM是基于線性SVM的改變，SVM的表達(dá)式為f(x)=ω·x，以0作為分類點(diǎn)?，F(xiàn)有如下分類器：

β為分類器參數(shù)，x為樣本向量，?(x,z)是樣本的描述，z為隱變量，Z(x)是樣本x對(duì)應(yīng)隱變量z的取值空間。使用訓(xùn)練樣本對(duì)應(yīng)正負(fù)樣本標(biāo)號(hào)，∈{-1,+1}訓(xùn)練得到最優(yōu)參數(shù)β。

1.6 行人檢測(cè) 行人檢測(cè)是整個(gè)算法中關(guān)鍵的一步，因?yàn)镈PM行人檢測(cè)方法在檢測(cè)時(shí)需要對(duì)行人、部件模塊在圖像金字塔上進(jìn)行檢測(cè)，采集到大量的窗口；傳統(tǒng)的動(dòng)態(tài)規(guī)劃法檢測(cè)速度慢，本文采用Cascade方法代替?zhèn)鹘y(tǒng)的動(dòng)態(tài)規(guī)劃方法進(jìn)行行人檢測(cè)。Cascade方法是指使用一系列弱分類器快速篩選出少數(shù)可能含行人的樣本，達(dá)到快速檢測(cè)的目的?；诨瑒?dòng)窗口的方法，從圖像金字塔中采集到大量樣本，使用簡(jiǎn)單分類器進(jìn)行分類，一般把簡(jiǎn)單分類器的閾值設(shè)置得比較寬松，使它不會(huì)漏檢行人。只有前一級(jí)分類器分類為行人，才能進(jìn)入下一級(jí)分類器進(jìn)行分類。在級(jí)聯(lián)分類器中，分類器的應(yīng)用是從簡(jiǎn)單分類器到復(fù)雜分類器，這樣既提高檢測(cè)速度，又保證檢測(cè)準(zhǔn)確率。

每一個(gè)模型也是一個(gè)濾波器，使用模型濾波器對(duì)目標(biāo)區(qū)域進(jìn)行濾波處理，根據(jù)得分進(jìn)行分類。在本文中，把訓(xùn)練好的根模型、部件模型作為弱分類器。首先對(duì)模型濾波器進(jìn)行排序，作為弱分類進(jìn)行逐級(jí)檢測(cè)，每一級(jí)的分類器都有相應(yīng)個(gè)數(shù)的模型構(gòu)成，下一級(jí)包含上一級(jí)分類器中的模型。每一級(jí)中計(jì)算模型濾波器累計(jì)得分，并與閾值比較排除假設(shè)。

如圖3，首先將根模型作為第一級(jí)弱分類器對(duì)金字塔圖層中的行人窗口假設(shè)進(jìn)行分類篩選，篩選通過的行人假設(shè)進(jìn)行第二級(jí)分類篩選。在第二級(jí)篩選時(shí)，增加一個(gè)模塊模型，對(duì)通過篩選的行人窗口假設(shè)的二倍分辨率圖層中對(duì)應(yīng)的模塊進(jìn)行分類，把模塊得分與上一級(jí)得分累加與閾值比較，篩選通過則進(jìn)入下一級(jí)，繼續(xù)增加模塊模型。就這樣經(jīng)過第N+1級(jí)分類仍判斷為真者，就是真正的行人窗口。雖然每增加一級(jí)分類器模型就增加一個(gè)，但分類時(shí)每一級(jí)只使用了此級(jí)新增加的模型進(jìn)行計(jì)算，因?yàn)榍皫准?jí)已經(jīng)分別使用增加的模塊模型濾波器對(duì)對(duì)應(yīng)的模塊進(jìn)行了濾波計(jì)算。因此，Cascade方法能提高檢測(cè)速度。

圖3 Cascade分類器流程

1.7 非極大值抑制 在行人檢測(cè)時(shí)，由于真實(shí)的行人附近區(qū)域也能得到較大的得分，被判定為行人，就出現(xiàn)了一個(gè)行人被多次檢測(cè)到；這時(shí)需要對(duì)檢測(cè)窗口進(jìn)行處理，首先根據(jù)行人框得分進(jìn)行從高到低排序，按照排序優(yōu)先選擇靠前的行人框，剩余部分與已經(jīng)選擇的行人框進(jìn)行比較，當(dāng)重復(fù)部分大于50%時(shí)則丟棄。本文使用非極大值抑制法進(jìn)行行人框的篩選，如圖3，圖4（a）中原始行人框大量重疊；圖4（b）是非極大值抑制后得到的檢測(cè)效果圖。

圖4 原始檢測(cè)結(jié)果與非極大值抑制處理結(jié)果比較

2 仿真實(shí)驗(yàn)與結(jié)果分析

INRIA是法國(guó)國(guó)家信息與自動(dòng)化研究所收集整理的行人數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)包括各種場(chǎng)景、光照、行人姿勢(shì)圖片，原始圖片分為訓(xùn)練樣本和測(cè)試樣本兩種類型，其中訓(xùn)練樣本含行人樣本614張、負(fù)樣本1 220張，測(cè)試樣本中含行人圖片288張、負(fù)樣本453張。

（1）訓(xùn)練樣本選擇：正樣本圖片是根據(jù)標(biāo)注信息從614張含行人的正樣本圖片中截取，負(fù)樣本從負(fù)樣本原圖中隨機(jī)截取。

（2）測(cè)試樣本選擇：本人收集300張含1 480個(gè)行人的圖片，并標(biāo)注圖片中的行人信息。

為了測(cè)試本文方法的性能，實(shí)驗(yàn)選用經(jīng)典方法HOG+SVM以及原始DPM方法作為對(duì)比試驗(yàn)。具體仿真結(jié)果見圖5。

圖5 實(shí)驗(yàn)結(jié)果對(duì)比圖

表1給出3種方法的測(cè)試結(jié)果，其中檢測(cè)時(shí)間為利用相應(yīng)方法針對(duì)一幅640×480像素的圖片進(jìn)行行人檢測(cè)時(shí)長(zhǎng)。通過檢測(cè)結(jié)果對(duì)比分析可知，本文方法與HOG+SVM方法比較，識(shí)別率得到明顯的提高；與原始DPM方法比較，在不降低檢測(cè)正確率的同時(shí)，提高了檢測(cè)速度。

表1 綜合性能比較

綜上，本文通過對(duì)DPM模型進(jìn)行改進(jìn)，將圖像單元梯度方向離散到9個(gè)區(qū)間，使用計(jì)算簡(jiǎn)單的解析降維法對(duì)歸一化的特征進(jìn)行降維，采用Cascade方法代替?zhèn)鹘y(tǒng)的動(dòng)態(tài)規(guī)劃法對(duì)行人進(jìn)行檢測(cè)，在不降低檢測(cè)正確率的同時(shí)，一定程度上提高了檢測(cè)速度。

〔1〕DALAL N，TRIGGS B.Histograms of oriented gradients for human detection〔C〕∕∕IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2005，1（12）：886-893.

〔2〕VAPNIK V.The Nature of Statistical Learning Theory〔M〕.Berlin：Springer-Verlag，1999：137-212.

〔3〕ZHOU Z，XU L.Pedestrian detection based on HOG and weak-lable structural SVM〔J〕.Journal of Computational Information Systems，2014，10（1）：367-374.

〔4〕WANG X，HAN T X，YAN S.An HOG-LBP human detectorwith partial occlusion handling〔C〕∕∕IEEE International Conference on Computer Vision.2010，30（2）：32-39.

〔5〕黃茜，顧杰峰，楊文亮.基于梯度向量直方圖的行人檢測(cè)〔J〕.科學(xué)技術(shù)與工程，2009，9（13）：3646-3651.

〔6〕汪成亮，周佳，黃晟.基于高斯混合模型與PCA-HOG的快速運(yùn)動(dòng)人體檢測(cè)〔J〕.計(jì)算機(jī)應(yīng)用研究，2012，29（6）：2156-2160.

〔7〕孫銳，陳軍，高雋.基于顯著性檢測(cè)與HOG-NMF特征的快速行人檢測(cè)方法〔J〕.電子與信息學(xué)報(bào)，2013，35（8）：1921-1926.

〔8〕FELZENSZWALB P，MCALLESTER D，RAMANAN D.A Discriminatively Trained，Multiscale，Deformable Part Model〔J〕.International Journal of Computer Vision，2008，9（1）：56-63.

〔9〕曾接賢，程瀟.結(jié)合單雙行人DPM模型的交通場(chǎng)景行人檢測(cè)〔J〕.電子學(xué)報(bào)，2016，44（11）：2668-2675.

〔10〕熊聰，王文武.基于DPM模型的行人檢測(cè)技術(shù)的研究〔J〕.電子設(shè)計(jì)工程，2014，22（23）：172-174.

〔11〕甘鵬坤，陶凌，龍偉.基于可變形部件模型及稀疏特征的行人檢測(cè)〔J〕.深圳大學(xué)學(xué)報(bào)（理工版），2015，32（6）：563-570.

〔12〕高華，鄔春學(xué)，魯俊.基于動(dòng)態(tài)加權(quán)可變形部件模型的行人檢測(cè)〔J〕.電子科技，2016，29（9）：1-3.

〔13〕GIRSHICK R B.From rigid templates to grammars Object detection with structured models〔D〕.Chicago ：The Uni?versity of Chicago，2012.