低維度特征的行人檢測(cè)方法

文 韜，李 峰，周書仁

（長(zhǎng)沙理工大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，湖南 長(zhǎng)沙410004）

0 引 言

行人檢測(cè)是判斷一副圖像中是否包含人的處理過(guò)程。它是進(jìn)行行人跟蹤［1］、人體行為分析［2］以及人體姿態(tài)重構(gòu)［3］的重要前提。由于行人具有剛性和非剛性雙重特征，其外觀易受姿態(tài)、尺度、視角和穿著的影響，以及背景和噪聲的干擾導(dǎo)致行人檢測(cè)一直是一個(gè)具有挑戰(zhàn)性的課題。當(dāng)前的行人檢測(cè)技術(shù)主要分為3類。第一類算法是基于底層特征的，它從某一方面 （如梯度或者紋理）來(lái)描述特征，如 小 波 矩［4］、 局 部 二 值 模 式 （local binary pattern，LBP）［5］、梯度方向直方圖 （histogram of oriented gradient，HOG）［6］。它將圖像轉(zhuǎn)換成一組抽象特征值，然后利用構(gòu)建好的圖像庫(kù)中圖像的特征值訓(xùn)練分類器，最后通過(guò)訓(xùn)練好的分類器對(duì)待檢測(cè)圖像的特征值進(jìn)行分類來(lái)完成行人的檢測(cè)。第二類算法是基于學(xué)習(xí)特征的［7－8］，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練多種分類器即弱分類器，然后把這些弱分類器聯(lián)合起來(lái)，構(gòu)成最后的決策分類器即強(qiáng)分類器。第三類算法是基于混合特征的，它能從不同的側(cè)面來(lái)刻畫圖像特征，提高檢測(cè)率和魯棒性。

通過(guò)分析，當(dāng)前的行人檢測(cè)技術(shù)呈現(xiàn)出精確度逐步提高而特征維數(shù)也過(guò)分增加的態(tài)勢(shì)。這種高維度的特征向量無(wú)疑給應(yīng)用這些算法的計(jì)算平臺(tái)造成巨大的時(shí)間和空間開銷。本文提出的低維度特征，是建立在對(duì)待檢測(cè)目標(biāo)的輪廓上的特征點(diǎn)進(jìn)行梯度方向描述的基礎(chǔ)上，利用空間金字塔模型對(duì)離散的角點(diǎn)區(qū)域的特征向量進(jìn)行整合并融入待檢測(cè)目標(biāo)的位置信息，在降低特征維數(shù)的同時(shí)，更進(jìn)一步提高了算法的檢測(cè)效果。

1 相關(guān)工作

與尺 度 不 變 特 征 變 換 （scale invariant feature transform，SIFT）［9］和形狀上下文 （shape context）［10］等特征相比，HOG在描述行人特征時(shí)具有更強(qiáng)大的表征能力和簡(jiǎn)易性。HOG最大的特點(diǎn)在于它是在大小統(tǒng)一的網(wǎng)格密集的單元上進(jìn)行計(jì)算的，因此，在行人檢測(cè)過(guò)程中，不論是粗糙的空間取樣還是精細(xì)的方向取樣，只要行人大體上保持直立姿態(tài)，就能允許有一些肢體動(dòng)作的存在。在Navneet－Dalal等提出的基于HOG行人檢測(cè)［6］的研究基礎(chǔ)上，已有很多改進(jìn)算法被相繼提出。Wang等［11］結(jié)合 HOG和LBP［5］兩種特征進(jìn)行行人檢測(cè)，不僅克服了HOG缺少紋理信息等的缺點(diǎn)，進(jìn)一步提高了檢測(cè)率，而且通過(guò)運(yùn)用部件檢測(cè)算子進(jìn)行檢測(cè)，在一定程度上解決了遮擋問(wèn)題。Anna等［12］則通過(guò)建立空間金字塔模型，在每個(gè)金字塔模型中分別求梯度方向的特征作為子特征，最后聯(lián)合所有子特征作為最終決策特征，進(jìn)一步加強(qiáng)了算法的分類能力。

基于HOG的行人檢測(cè)算法在INRIA person行人數(shù)據(jù)集上表現(xiàn)出良好的檢測(cè)效果。該算法通過(guò)將整幅圖像分割成同樣大小的連通區(qū)域 （稱為細(xì)胞單元），每個(gè)細(xì)胞單元生成一個(gè)梯度方向直方圖。為了提高準(zhǔn)確率，將圖像進(jìn)行分塊后，通過(guò)計(jì)算圖像塊所包含的所有細(xì)胞單元的梯度方向直方圖，為每個(gè)圖像塊生成含36維特征的局部直方圖，然后將檢測(cè)窗口均勻劃分的105個(gè)圖像塊的局部直方圖串接形成最終的3780維特征向量，最后用支持向量機(jī)對(duì)特征向量進(jìn)行分類。該算法生成的圖像塊均勻覆蓋了整個(gè)檢測(cè)窗口，導(dǎo)致最終的特征向量中不僅含有行人輪廓線上的梯度直方圖信息還包含了背景中的大量梯度直方圖信息。對(duì)于行人檢測(cè)，背景中的特征信息可以認(rèn)為是冗余信號(hào)和噪聲。因此HOG算法很容易產(chǎn)生一個(gè)過(guò)擬合的分類器，而且獲取高維度冗余信息必定增加算法的時(shí)間復(fù)雜度。為改進(jìn)這一缺陷，本文提出了一種僅對(duì)前景目標(biāo)輪廓進(jìn)行特征描述的行人檢測(cè)算法，該算法在很大程度上降低了背景區(qū)域特征在最終獲取的特征向量中的權(quán)重。實(shí)驗(yàn)表明，該算法不僅提高了檢測(cè)率和分類速度，而且極大地降低了特征維數(shù)。

2 低維度特征的行人檢測(cè)

本文以降低特征維數(shù)來(lái)提高檢測(cè)率和檢測(cè)速度為目的，設(shè)計(jì)了一種低維度特征的行人檢測(cè)算法。該算法首先利用FAST角點(diǎn)檢測(cè)算法［13］快速地刻畫出目標(biāo)輪廓上的突出點(diǎn)，然后對(duì)以突出點(diǎn)為參考點(diǎn)的小塊區(qū)域求梯度方向直方圖。由于每幅圖像獲取的突出點(diǎn)不同，最后通過(guò)空間金字塔模型獲取維數(shù)統(tǒng)一的特征向量。

2.1 FAST角點(diǎn)檢測(cè)

Edward Rosten等提出了簡(jiǎn)單而快速的FAST角點(diǎn)檢測(cè)算法［13］。其核心思想是：當(dāng)某個(gè)中心像素點(diǎn)的鄰域邊界上有足夠多的像素點(diǎn)與該點(diǎn)處于不同的灰度級(jí)時(shí)，算法認(rèn)為該中心點(diǎn)是一個(gè)FAST角點(diǎn)。FAST角點(diǎn)檢測(cè)算法在INRIA person行人數(shù)據(jù)庫(kù)中的檢測(cè)效果如圖1所示。

圖1 行人目標(biāo)的角點(diǎn)檢測(cè)效果

進(jìn)行FAST角點(diǎn)檢測(cè)時(shí)，首先選擇圖像中的某個(gè)像素點(diǎn)和以它為中心的一個(gè)區(qū)域，通常選擇以該點(diǎn)為中心且半徑為3的離散圓，如圖2所示。圓形區(qū)域上的像素點(diǎn)按順時(shí)針順序依次編號(hào)1～16，中心點(diǎn)p即為待檢測(cè)點(diǎn)。

圖2 FAST角點(diǎn)檢測(cè)模板

待檢測(cè)點(diǎn)是否為角點(diǎn)取決于編號(hào)1－16的像素點(diǎn)的灰度值。這16個(gè)像素點(diǎn)x相對(duì)于待檢測(cè)點(diǎn)p的灰度值關(guān)系Sp→x可以用式 （1）表示

式中：Ip——點(diǎn) p 的灰度值，Ip→x——點(diǎn) x 的灰度值，t——閾值常數(shù)。只有當(dāng)編號(hào)1－16的n個(gè)像素點(diǎn)，n一般取12，滿足等式 （2）時(shí)，其中心點(diǎn)p才被認(rèn)為是角點(diǎn)

從結(jié)構(gòu)上分，有流線型葉片的高速風(fēng)輪，也有弓型葉片的低速風(fēng)輪；有功能完善的多用途機(jī)組，也有性能單一的簡(jiǎn)易機(jī)組。從使用地域上分，南方為風(fēng)力提水機(jī)配套的是低揚(yáng)程、大泵徑、大行程、大流量拉桿活塞泵和螺旋泵；簡(jiǎn)易型有以水車為提水工具，用于農(nóng)田灌溉或者提取海水治鹽。在北方，從水資源看，一般井深都在10m以上，所以風(fēng)力提水機(jī)都設(shè)計(jì)成小泵徑、小行程、小流量、高揚(yáng)程，配活塞泵或膜片泵，主要用于解決人畜飲水和澆灌小型草牧場(chǎng)、飼草料地。

本文算法旨在對(duì)目標(biāo)輪廓上的特征點(diǎn)進(jìn)行描述，并且盡可能地忽略背景。根據(jù)先驗(yàn)知識(shí)，待檢測(cè)目標(biāo)主要集中于數(shù)據(jù)集的中心區(qū)域。因此，對(duì)于64＊128像素的數(shù)據(jù)集本文算法設(shè)置一個(gè)位于圖像中央的44＊88像素的感興趣區(qū)域，然后在感興趣區(qū)域中獲取角點(diǎn)。加入感興趣區(qū)域后的行人目標(biāo)的角點(diǎn)檢測(cè)效果如圖3所示，顯然其特征點(diǎn)的分布更加穩(wěn)定地貼合目標(biāo)輪廓。

圖3 加入感興趣區(qū)域后的檢測(cè)效果

2.2 特征點(diǎn)描述

利用FAST角點(diǎn)檢測(cè)得到的角點(diǎn)作為特征點(diǎn)。在獲得特征點(diǎn)的位置信息后，描述其鄰域內(nèi)的像素點(diǎn)的梯度方向直方圖以獲取待檢測(cè)目標(biāo)的輪廓信息。具體方法為：以特征點(diǎn)（x，y）作為參考點(diǎn)，取水平區(qū)間［x－8，x＋7］以及垂直區(qū)間［y－8，y＋7］的大小為16＊16像素的鄰域空間作為特征提取區(qū)域，如圖4所示，其中用C標(biāo)記的像素點(diǎn)即特征點(diǎn)。

圖4示中4塊用不同灰度值標(biāo)記的區(qū)域?yàn)楸舅惴ǖ淖钚√卣魈崛卧卣鼽c(diǎn)的描述就是分別求出特征提取區(qū)域中的4塊最小特征提取單元的特征向量，然后串聯(lián)起來(lái)的過(guò)程。最小特征提取單元的特征提取方法如下：

首先，使用梯度檢測(cè)模板

分別對(duì)最小特征提取單元中的像素點(diǎn)的水平方向和垂直方向進(jìn)行卷積，得到像素點(diǎn)對(duì)于這兩個(gè)方向的偏導(dǎo)數(shù)，如式 （4）所示

然后，在離散空間求出梯度方向和梯度大小，如式（5）所示

接著將空間角度［0，π］平均量化為9個(gè)區(qū)間，統(tǒng)計(jì)落入各個(gè)量化區(qū)間中的梯度大小之和，得到的梯度方向直方圖即為最小特征提取單元的9維特征。

2.3 統(tǒng)一特征維數(shù)

由于每幅圖像所含角點(diǎn)信息不同，獲取的特征點(diǎn)個(gè)數(shù)不同，所以通過(guò)簡(jiǎn)單串聯(lián)獲得的所有特征點(diǎn)的特征向量維數(shù)也不相同。為了解決不同特征維數(shù)造成支持向量機(jī)無(wú)法進(jìn)行模式分類的問(wèn)題，本文采用分層的空間金字塔模型對(duì)圖像進(jìn)行分塊，達(dá)到統(tǒng)一同層空間金字塔模型下的特征維數(shù)的目的?？臻g金字塔模型的建立過(guò)程如圖5所示，從左到右3種模型分別稱為0層、1層、2層空間金字塔。對(duì)于n層空間金字塔，圖形在水平和垂直方向都平均分成了（n＋1）塊。在某一層空間金字塔模型中，只需要獲得每一塊的特征向量F，然后把它們串聯(lián)起來(lái)作為本層的特征向量。特征F的求解過(guò)程如下：針對(duì)某一塊中角點(diǎn)i的36維特征向量fi，如式 （6）所示

圖5 圖像空間金字塔

把相同行數(shù)的特征值進(jìn)行求和并除以圖像中的特征點(diǎn)個(gè)數(shù)N就得到一個(gè)36維的特征向量

圖5（a）的0層空間金字塔模型把整幅圖像分為1塊，可得到一個(gè)1＊36維的特征向量；圖5（b）的1層空間金字塔模型把整幅圖像分為4塊，可得到一個(gè)4＊36維的特征向量；圖5（c）的2層空間金字塔模型把整幅圖像分為9塊，得到一個(gè)9＊36維的特征向量，對(duì)應(yīng)的直方圖如圖6所示。這種建立圖像空間金字塔模型提取特征的方法很好地解決了不同圖像得到不同維數(shù)的特征向量的問(wèn)題，并且隨著空間金字塔層數(shù)的增加，最終得到的特征向量不僅包含用于描述目標(biāo)邊緣的梯度信息還包含待檢測(cè)目標(biāo)的位置信息。如圖5的第2層空間金字塔模型，我們把從左至右，從上到下的9塊分別編號(hào)為1－9號(hào)。顯然，圖像中的特征點(diǎn)主要分布在第2，5，8塊中，而在第1，3，7塊中幾乎沒有特征點(diǎn)。這樣得到的有效信號(hào)的能量主要集中于包含目標(biāo)的塊所生成的特征向量。

圖6 3種金字塔模型下圖x對(duì)應(yīng)的直方圖

3 實(shí)驗(yàn)結(jié)果

本文選擇文獻(xiàn) ［6］中 Navneet－Dalal等提出的基于HOG的行人檢測(cè)算法 （簡(jiǎn)稱HOG算法）使用的INRIA person行人數(shù)據(jù)庫(kù)作為實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)并與HOG算法進(jìn)行比較。INRIA person行人數(shù)據(jù)庫(kù)的尺寸大小均為64＊128像素，具體的樣本數(shù)據(jù)見表1，其部分樣本如圖7所示。

表1 INRIA person行人數(shù)據(jù)庫(kù)統(tǒng)計(jì)數(shù)據(jù)

圖7 實(shí)驗(yàn)樣本示例

為了說(shuō)明本文算法的優(yōu)越性，本文從分類時(shí)間，精確度和特征維度方面與HOG算法進(jìn)行比較，如表2－表4所示。其中第0，1，2層分別表示基于0，1，2層空間金字塔模型的本文算法。

基于本文提出的低維特征，使得行人檢測(cè)分類問(wèn)題大大簡(jiǎn)化。與HOG分類時(shí)間的對(duì)比印證了這一點(diǎn)。因此，本文提出的低維特征不僅適用于監(jiān)督式學(xué)習(xí)的行人檢測(cè)系統(tǒng)，而且對(duì)于維度敏感的非監(jiān)督式學(xué)習(xí)的聚類問(wèn)題也有一定的應(yīng)用價(jià)值。

表2 平均分類時(shí)間對(duì)比結(jié)果

由于本文算法忽略了大部分的背景冗余特征，而且加入前景目標(biāo)的位置信息。實(shí)驗(yàn)結(jié)果在檢測(cè)率方面也有一定提高，對(duì)比數(shù)據(jù)見表3，本文算法在2層金字塔模型下的檢測(cè)率已經(jīng)超過(guò)HOG算法1.3個(gè)百分點(diǎn)。

表3 檢測(cè)率對(duì)比結(jié)果

各算法進(jìn)行模式分類的特征維數(shù)見表4。數(shù)據(jù)表明本文算法在保證檢測(cè)率的同時(shí)，縮小特征維數(shù)1個(gè)數(shù)量級(jí)。

表4 特征維數(shù)對(duì)比結(jié)果

實(shí)驗(yàn)結(jié)果表明，隨著空間金字塔層數(shù)的增加，檢測(cè)率隨之有一定提高，然而當(dāng)層數(shù)大于2之后，檢測(cè)率的提高并不明顯甚至出現(xiàn)檢測(cè)率下降的現(xiàn)象，而且特征維數(shù)將成指數(shù)增加，如圖8所示。

圖8 特征維數(shù)與檢測(cè)率關(guān)系

對(duì)檢測(cè)率和特征維數(shù)的綜合考慮之后，以第2層金字塔模型，即圖像被分為9塊，特征維數(shù)為324維作為最佳分類模型。

4 結(jié)束語(yǔ)

本文通過(guò)分析 Navneet－Dalal等［6］等提出的 HOG算法的不足，提出了一種低維度特征的行人檢測(cè)算法。首先通過(guò)角點(diǎn)檢測(cè)獲取目標(biāo)的輪廓信息，然后計(jì)算特征點(diǎn)鄰域范圍的梯度特征，最后用空間金字塔模型對(duì)圖像進(jìn)行分塊以獲取維數(shù)統(tǒng)一的特征向量。由于去掉了背景中的大部分冗余信息，最終獲取的特征具有低維性和一定的穩(wěn)定性。通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的低分類時(shí)間，低維數(shù)和高檢測(cè)率。盡管本文算法在HOG算法的基礎(chǔ)上降低了特征維數(shù)從而減少了分類時(shí)間，但是，采用的角點(diǎn)檢測(cè)算子占用了本文算法的額外時(shí)間，且占用了特征提取的大部分時(shí)間，下一步工作將研究時(shí)間開銷更低的角點(diǎn)檢測(cè)算子，以進(jìn)一步加快檢測(cè)速度。

［1］Changyan L，Lijun G，Yichen H.A new method combining HOG and Kalman filter for video－based human detection and tracking ［C］／／3rd International Congress on Image and Signal Processing，2010：290－293.

［2］Ahad M A R，Tan J K，Kim H S，et al.Solutions to motion self－occlusion problem in human activity analysis ［C］／／11th International Conference on Computer and Information Technology，2008：201－206.

［3］Mori G，Malik J.Recovering 3Dhuman body configurations using shape contexts ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28 （7）：1052－1062.

［4］Fanzhi K.Feature extraction and matching location algorithm based on wavelet moment and curvelet transform ［C］／／International Confe－rence on E－Health Networking，Digital Ecosystems and Technologies，2010：146－149.

［5］Wei W， Weimin C，Dongxia X.Pyramid－based multi－scale LBP features for face recognition ［C］／／International Conference on Multimedia and Signal Processing，2011：151－155.

［6］Tatu A，Lauze F，Nielsen M，et al.Exploring the representation capabilities of the HOG descriptor ［C］／／IEEE International Conference on Computer Vision Workshops，2011：1410－1417.

［7］Basharat A，Gritai A，Mubarak S.Learning object motion patterns for anomaly detection and improved object detection［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2008：1－8.

［8］Bhuvaneswari K，Abdul Rauf H.Edgelet based human detection and tracking by combined segmentation and soft decision［C］／／International Conference on Control， Automation，Communication and Energy Conservation，2009：1－6.

［9］Cong G，Xudong J.Face recognition using sift features［C］／／IEEE International Conference on Image Processing，2009：3313－3316.

［10］Salve S G，Jondhale K C.Shape matching and object recognition using shape contexts ［C］／／IEEE International Conference on Computer Science and Information Technology，2010：471－474.

［11］Xiaoyu W，Han Tony X，Shuicheng Y.An HOG－LBP human detector with partial occlusion handling ［C］／／IEEE 12th International Conference on Computer Vision，2009：32－39.

［12］Anna B，Andrew Z，Xavier M.Representing shape with a spatial pyramid kernel［C］／／Proceedings of the 6th ACM International Conference on Image and Video Retrieval，2007：401－408.

［13］Rosten E，Porter R，Drummond T.Faster and Better：A Machine Learning Approach to Corner Detection ［J］.IEEE Transactions on Patten Analysis and Machine Intelligence，2010，32 （1）：105－119.