一種基于HOG和顏色自相似性特征的行人檢測方法

張金慧+吳斌+邵延華

摘要：行人檢測在計(jì)算機(jī)視覺領(lǐng)域中越來越廣泛的應(yīng)用，使其有著重要的研究意義。盡管技術(shù)得到了顯著的改進(jìn)，行人檢測仍然是一個(gè)存在挑戰(zhàn)的難題，需要更精確更高效的算法。針對HOG特征的傳統(tǒng)檢測方法中存在的問題，該文提出一種融合顏色自相似性（CSS）特征的方法。利用顏色自相似性特征與描述人體輪廓特征的HOG特征互補(bǔ)，CSS反映圖像內(nèi)在幾何布局和形狀屬性的特性，為提高檢測效率，使用經(jīng)主成分分析法（PCA）降維處理HOG和CSS特征。實(shí)驗(yàn)采用INRIA數(shù)據(jù)集作為訓(xùn)練樣本訓(xùn)練SVM。對比單一使用HOG，該文的方法在檢測速度和準(zhǔn)確性上得到有效提高。實(shí)驗(yàn)結(jié)果也驗(yàn)證了本算法的有效性。

關(guān)鍵詞：行人檢測；梯度方向直方圖；顏色自相似性；融合

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）02-0146-03

Method Human Detection Based on HOG and CSS Characteristics

ZHANG Jin-hui， WU Bin， SHAO Yan-hua

（School of information and engineering， Southwest University of Science and Technology，Mianyang 621010， China）

Abstract： Pedestrian detection is becoming more and more widely used in the field of computer vision， and it has important research significance. Despite the significant improvements in technology， pedestrian detection is still a challenging problem， requiring more accurate and efficient algorithms. For the existing problems in the traditional detection of HOG， this paper proposes a method of fusing color self similarity （CSS） features. CSS is complementary to the HOG that describes the human contour features. CSS reflects the intrinsic geometric and shape attributes of the image. To improve the detection efficiency， we use the principal component analysis （PCA） to reduce the dimension of the HOG and CSS. The INRIA data set is used as training sample to train SVM. Compared with single use of HOG， this method has been effectively improved in detection speed and accuracy. The experimental results also verify the effectiveness of the algorithm.

Key words： pedestrian detection； HOG； CSS； fusion

1 背景

人類只需要幾眼就能分辨事物和人，確認(rèn)事件性質(zhì)并發(fā)現(xiàn)可能存在的危險(xiǎn)。不同視覺刺激的正確解釋是人類能夠完成復(fù)雜任務(wù)的關(guān)鍵，特定的計(jì)算機(jī)視覺算法旨在以單幀或者一系列幀的形式自動(dòng)解讀場景的視覺內(nèi)容，并作出相應(yīng)的反應(yīng)[1]。隨著整個(gè)社會(huì)AI技術(shù)的發(fā)展和推廣，行人檢測成為多個(gè)領(lǐng)域中許多高級(jí)應(yīng)用的關(guān)鍵技術(shù)。而且，越來越強(qiáng)大的硬件系統(tǒng)的誕生使行人檢測在精度和效率方面得到了顯著的改進(jìn)。

人與物之間相互遮擋、人體姿勢變化、服飾多樣、光照強(qiáng)弱、背景雜波以及視角等原因使準(zhǔn)確快速地檢測行人的難度加大。為提高行人檢測的檢測準(zhǔn)確率，提高檢測速度，國內(nèi)外研究人員經(jīng)歷了十多年的研究，提出了各種方案，取得了很好的研究成績。根據(jù)現(xiàn)有技術(shù)的總結(jié)分類，可將檢測技術(shù)的方法分為基于行人模型、基于特征分類和基于深度學(xué)習(xí)的方法等，其中大多數(shù)都是基于特征分類的，常用到的特征有Haar特征[2]、梯度方向直方圖（HOG）[3]、尺度不變特征（SIFT）[4]、局部二進(jìn)制模式（LBP）[5]、顏色自相似性特征（CSS）[6]、協(xié)方差[7]以及局部自相似性特征（LSS）[8]等。其中，Haar特征適用于有固定結(jié)構(gòu)的目標(biāo)；SIFT特征具有強(qiáng)烈方向及亮度性，適合檢測圖像幾何和光學(xué)變化較弱的目標(biāo)；最初LBP的特征主要用于識(shí)別人臉；HOG特征主要是描述人體的輪廓信息，在圖像的局部單元格上進(jìn)行操作，能很好地識(shí)別出人體動(dòng)作的細(xì)微變化。但由于HOG特征的計(jì)算量大，對外界噪聲干擾魯棒性不強(qiáng)，在進(jìn)行檢測時(shí)會(huì)出現(xiàn)漏檢和誤檢。由于使用單一特征檢測存在一定的局限性，本文將結(jié)合顏色自相似性特征，在視頻幀圖像中提取HOG和CSS特征，融合這兩個(gè)特征獲得描述行人的特征算子，結(jié)合SVM分類檢測。

2 算法分析

當(dāng)改變圖像幾何或者光照時(shí)，HOG特征能保持良好的不變性。HOG特征對人體的邊緣輪廓有比較強(qiáng)的描述能力，只要行人大體上保持直立狀態(tài)，即便是有細(xì)微的變化，使用HOG也能有較好的檢測效果。但HOG對背景以及身體軀干特征描述不明顯，并且穩(wěn)定性差。而CSS特征更容易捕捉人體軀干等信息，所以將這兩種特征聯(lián)合起來描述行人，在獲得行人梯度信息的同時(shí)，也能獲取身體的顏色信息，一定程度上加多行人的描述特征信息可以提高檢測的準(zhǔn)確度。endprint

本文的行人檢測算法步驟如下：

1） 輸入視頻源圖像，高斯降噪處理和歸一化處理。

2） 提取圖像預(yù)處理后的HOG和CSS特征，構(gòu)成[α]、[β]特征集。

3） 分別計(jì)算HOG、CSS特征的特征值、特征向量和協(xié)方差矩陣。

4） PCA降維處理HOG特征、CSS特征并串行融合構(gòu)成特征C。

5） 將特征C輸入線性SVM進(jìn)行判別檢測。

本文中行人檢測的流程圖如下所示：

2.1 HOG特征

2005年，Dalal等提出使用HOG結(jié)合SVM的方法，在檢測行人時(shí)取得較好的效果，成為經(jīng)典的行人檢測方法。HOG特征描述了圖像局部區(qū)域的梯度強(qiáng)度以及梯度方向分布，能很好地表達(dá)行人的外觀和形狀，對光照和小量的偏移具有很好的魯棒性能。但HOG特征的維度比較高，滿足不了實(shí)時(shí)性檢測的要求。近年來，有不少的研究人員致力于研究行人檢測，提出各種改進(jìn)基于HOG的檢測方法，有效地改善了檢測效果。HOG特征提取的具體步驟：

①采用伽瑪壓縮進(jìn)行用全局圖像歸一化。此步驟可有效減少光照和對比度對圖像的影響。

②計(jì)算圖像梯度并統(tǒng)計(jì)局部圖像梯度信息。把樣本圖像分割成若干8×8像素的單元細(xì)胞（cell），計(jì)算每個(gè)cell的一個(gè)1-D的加權(quán)梯度方向直方圖；每個(gè)單元內(nèi)將[-π2，π2]的梯度方向平均劃分成9個(gè)區(qū)間（bin），統(tǒng)計(jì)各個(gè)方向bin區(qū)間的像素梯度幅值，得到一個(gè)9維特征向量。

③計(jì)算塊中的直方圖。每相鄰4個(gè)單元（2×2 cell）為一個(gè)塊（block），聯(lián)起4個(gè)單元的特征向量得到該塊的36維梯度方向直方圖向量。

④特征向量歸一化。采用L2-Norm with Hysteresis threshold方式歸一化特征向量，并將直方圖向量中的bin值限制在0.2以下，歸一化處理后的特征向量對光照、陰影、邊緣對比度等具有更好的不變性。

⑤生成HOG特征。組合起來所有塊中的HOG描述向量，生成最后的特征向量，得到的特征向量描述圖像檢測窗口中的的圖像內(nèi)容。比如，用塊大小的窗口掃描對樣本圖像，移動(dòng)步長為一個(gè)單元，將最后所有的塊的特征串聯(lián)起來生成樣本圖像中行人的特征。本文中采用樣本圖像大小為64×128，最后就獲得3780維的HOG特征向量。

2.2 顏色自相似性

作為圖像的一項(xiàng)重要辨別信息，顏色特征不會(huì)受圖像的旋轉(zhuǎn)、平移以及尺度變化等改變，并且由于計(jì)算簡單和其穩(wěn)定性，顏色在圖像處理中得到廣泛的研究和應(yīng)用。顏色是人類識(shí)別圖像的感知特征之一，基于顏色特征的信息檢索漸漸成為圖像信息搜索中的一項(xiàng)重要的方式。

行人衣著服飾多色，行走的姿勢各樣，在識(shí)別行人的過程中，使能準(zhǔn)確描述行人的特征的難度加大。但行人的身體具有一定的結(jié)構(gòu)特性，身體本身和服飾在某種程度上具備一定的自相似性，比如人臉的膚色與兩只手臂的皮膚顏色，或者是兩條褲腿、兩只腳的顏色等都有一定的對稱性。利用人體結(jié)構(gòu)部位具有相對穩(wěn)定的特征，Walk等人提出一種在某顏色通道上的自相似性特征。CSS特征是根據(jù)人眼視覺對顏色的認(rèn)識(shí)習(xí)慣，描述圖像中不同區(qū)域間的顏色的相似性關(guān)系。顏色自相似性特征（CSS）提取步驟如下：

①空間轉(zhuǎn)換。對輸入的彩色樣本圖像進(jìn)行顏色空間轉(zhuǎn)換，轉(zhuǎn)換到HSV空間，分別為在H、S、V的三個(gè)顏色通道上的圖像（圖3），并分別在這三個(gè)通道圖像上構(gòu)建和提取特征。

②統(tǒng)計(jì)直方圖信息。顏色自相似性特征是基于某個(gè)圖像通道R的一個(gè)矩形框內(nèi)數(shù)值之和的矩形特征的。對兩個(gè)矩形[C1]、[C2]（兩矩形塊的長寬相同，在同一圖像中位置不同）通過下式作差，衡量它們的相似度。

[MRC=u，v∈Cx，y，w，hRu，v]（1），[FRC1，C2=MRC1-MRC2]

（2）

③條件約束。假如矩形塊之間的位置相差比較大，光照等會(huì)帶來比較大的影響。因此，需要對矩形塊位置引入領(lǐng)域約束。

[C1x-C2x≤ra-1C1w] （3）

[C1y-C2y≤ra-1C1h] （4）

上式中[x]、[y]、[w]、[h]分別是矩形的左上頂點(diǎn)坐標(biāo)和寬高，[ra]是領(lǐng)域約束值（一般默認(rèn)取3）。本文中的兩個(gè)矩形塊相似性比較采用的是差值比較，比值結(jié)果在約束范圍內(nèi)，差值在4以內(nèi)，則認(rèn)為兩矩形塊相似對稱，檢測為人的可能性較高。

④生成CSS特征。將圖像中所有塊的直方圖信息組合起來形成最終的CSS特征向量。比如，統(tǒng)計(jì)一副大小為64×128的HSV直方圖信息，將其分割成8×8的小塊，則共有8×16=128個(gè)塊，分別將第1個(gè)塊與其后127個(gè)塊求直方圖相交的距離，繼續(xù)將第2個(gè)塊與其后126個(gè)塊分別求直方圖相交的距離，以此類推，生成一個(gè)描述顏色自相似性的N×（N-1）/2=8128（N=128）維度的特征。

2.3 PCA降維

由上可知，HOG特征和CSS特征的維度都比較高，導(dǎo)致獲得的描述行人的特征中存在大量的冗余信息，會(huì)影響檢測速率，對此，本文將在HOG與CSS特征提取后加入PCA降維處理，即對原樣本空間進(jìn)行空間變化，將其投影到一個(gè)新的維度較低、相互正交的空間上，最后生成HOG-PCA，CSS-PCA特征。

一般是通過此公式計(jì)算特征主成分：

[y=UTxi-x] （5）

其中y為主成分特征，[x]為訓(xùn)練樣本的特征均值，[xi]為需降維的特征，[UT]為協(xié)方差矩陣，其計(jì)算公式有：

[UT=1Nn=1Nxi-xxi-xT] （6）

進(jìn)一步的，基于HOG的降維步驟：1）計(jì)算訓(xùn)練樣本HOG特征均值[x1]；2）計(jì)算HOG的特征值、特征向量以及協(xié)方差矩陣[U1]；3）取計(jì)算得到的協(xié)方差矩陣前p個(gè)主成分，分別對每個(gè)HOG特征降維，得到降維處理后的HOG特征。endprint

2.4 特征融合

當(dāng)物體遮擋住行人時(shí)，HOG特征檢測效果會(huì)受到影響，CSS特征由于其特征的本性可以很好的處理這種情況。而且，單純使用HOG特征在檢測過程中需對圖像進(jìn)行縮放，在不同的尺度下計(jì)算特征，這樣會(huì)降低行人檢測的速度，CSS特征能克服此不足。并行融合特征的方式相對復(fù)雜，而串行特征融合的方法簡單易行，運(yùn)算量少。因此，本文中根據(jù)HOG與CSS特征提取原理以及特征特點(diǎn)等的不同，采用串行融合方式。合并后的特征為：[γ=αβ，α∈A，β∈B，γ∈C]（7），[α]，[β]和[γ]分別代表HOG-PCA和CSS-PCA。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)背景

本文的實(shí)驗(yàn)環(huán)境為64位Windows8和 MATLAB2012，計(jì)算機(jī)的配置為2.8GHz CPU和6GB內(nèi)存，采用INRIA數(shù)據(jù)集，訓(xùn)練集中包含2416張行人圖像的正樣本和2436張負(fù)樣本（從數(shù)據(jù)集中的1218張負(fù)樣本圖像中每張隨機(jī)截取2張圖像）。INRIA數(shù)據(jù)庫的圖像背景多樣，行人姿勢多變，更接近模擬復(fù)雜的現(xiàn)實(shí)場景，實(shí)用性較強(qiáng)，檢測結(jié)果更為準(zhǔn)確。

至于PCA維數(shù)為多少時(shí)，檢測效果最優(yōu)，需要經(jīng)過多次實(shí)驗(yàn)才能確定?；贗NRIA行人數(shù)據(jù)庫，對比多個(gè)主成分值的實(shí)驗(yàn)效果，結(jié)果如下圖所示：

上表中的結(jié)果顯示，PCA維度p取值在大約為300時(shí)，HOG檢測效果達(dá)到峰值，而PCA維度p取值為2000左右時(shí)，CSS檢測識(shí)別效果呈現(xiàn)最優(yōu)。下表將列舉出降維后的融合特征和未進(jìn)行降維處理的融合特征在訓(xùn)練時(shí)間、檢測時(shí)間以及識(shí)別率的比較。

3.2 實(shí)驗(yàn)結(jié)果

本文采用的檢測方法，相比較于使用單一HOG特征，融合分別降維處理后的兩個(gè)特征在識(shí)別率和識(shí)別效率上得到提高。輸入一段監(jiān)控視頻，經(jīng)過本算法的檢測，顯示的檢測結(jié)果如下所示：

4 結(jié)束語

本文提出一種利用PCA降維的HOG特征與顏色自相似性特征融合的行人檢測方法，對比使用單一一種特征檢測，改善檢測效果，驗(yàn)證了此方法的有效性。利用PCA將HOG特征的維數(shù)從3780維降至300維，串行融合顏色自相似性特征，結(jié)合線性SVM分類器判斷檢測，提高行人識(shí)別率，也降低了整個(gè)過程中的訓(xùn)練時(shí)間和檢測時(shí)間。本文提出的方法雖然在檢測速度和準(zhǔn)確率上有了一定的提高，但是在情景復(fù)雜的環(huán)境中實(shí)現(xiàn)準(zhǔn)確的檢測還存在一定的難度，要達(dá)到實(shí)時(shí)檢測的要求還需要進(jìn)一步的改進(jìn)，所以下一步的可以考慮再融合一個(gè)LBP紋理特征解決檢測精度的問題，并引入積分圖等方法解決計(jì)算復(fù)雜度的問題。

參考文獻(xiàn)：

[1] Tome D， Monti F， Baroffio L， et al. Deep Convolutional Neural Networks for pedestrian detection[J]. Signal Processing-image Communication， 2016，47（C）：482-489.

[2] Mohan A， Papageorgiou C， Poggio T. Example-based object detection in images by components[J]. PAMI， 2001， 23（4）：349-361.

[3] Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]. CVPR， 2005： 886-893.

[4] Lowe D G. Distincive image features from scale-invariant keypoints[C]. IJCV， 2004.

[5] Mu Y， Yan S， Liu Y， et al. Discriminative local binary patterns for human detection in personal album[C]. CVPR， 2008： 1-8.

[6] Walk S， Majer N， Schindler K， et al. New features and insights for pedestrian detection[C]. CVPR， 2010： 1030-1037.

[7] Tuzel O， Porikli F， Meer P. Pedestrian detection via classification on Riemannian manifolds[J]. PAMI， 2008， 30（10）：1713-1727.

[8] 顧志航，陳淑榮.一種基于HOG與LSS融合的行人檢測算法[J].微型機(jī)與應(yīng)用，2016，35（8）：37-39，43.endprint