基于多特征的紅外圖像行人檢測(cè)

胡慶新，王磊

（合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院 安徽 合肥 230009）

基于多特征的紅外圖像行人檢測(cè)

胡慶新，王磊

（合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院 安徽 合肥 230009）

基于提高紅外圖像行人檢測(cè)準(zhǔn)確率的目的，提出了一種基于多特征的紅外行人檢測(cè)算法。首先提取訓(xùn)練樣本的梯度方向直方圖特征和強(qiáng)度自相似性特征，利用二者相結(jié)合得到聯(lián)合特征訓(xùn)練支持向量機(jī)（SVM），之后利用滑動(dòng)窗口法対整幅紅外圖像進(jìn)行遍歷，用訓(xùn)練好的SVM進(jìn)行分類檢測(cè)。在LSI Far Infrared Pedestrian Dataset數(shù)據(jù)庫(kù)上實(shí)驗(yàn)證明，基于多特征的檢測(cè)方法相較于單一特征的方法提高了紅外行人檢測(cè)的精度，降低了誤檢率和漏檢率。

紅外行人檢測(cè)；梯度方向直方圖；強(qiáng)度自相似特征；支持向量機(jī)

行人檢測(cè)就是把圖像中出現(xiàn)的行人從背景中分割出來(lái)并精確定位，行人檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的研究難點(diǎn)與熱點(diǎn)［1］。紅外圖像相較于可見光圖像而言具有明顯的優(yōu)勢(shì)，一般而言，紅外圖像中的行人的亮度比背景的亮度要高，且?guī)缀醪皇苣w色，紋理和陰影等因素的影響，紅外圖像中對(duì)行人目標(biāo)的識(shí)別檢測(cè)在軍事偵察、安全監(jiān)控、輔助駕駛、機(jī)器視覺等領(lǐng)域有著重要的應(yīng)用。因此，紅外圖像中的行人檢測(cè)具有重要的研究?jī)r(jià)值和意義。

經(jīng)過多年的研究，研究者們已經(jīng)提出了多種多樣的檢測(cè)方法，針對(duì)紅外圖像特點(diǎn)，許多利用了基于閾值分割的方法來(lái)進(jìn)行紅外圖像中行人的檢測(cè)［2］，通過構(gòu)建行人模板來(lái)進(jìn)行行人檢測(cè)［3］，利用特征提取和機(jī)器學(xué)習(xí)來(lái)進(jìn)行行人檢測(cè)［4］。

在可見光圖像行人檢測(cè)領(lǐng)域，Dollar［1］對(duì)于 16種最流行的行人檢測(cè)算法進(jìn)行了分析研究和性能比較，發(fā)現(xiàn) Stefan Walk［5］提出的顏色自相似性特征（Color Self-Similarity，CSS）同經(jīng)典的HOG特征［6］相結(jié)合取得的檢測(cè)效果較好，受到CSS特征的啟發(fā)，Alina Miron［7］提出了適用于紅外圖像行人檢測(cè)的強(qiáng)度自相似特征（Intensity Self-Similarity，ISS），本文中我們考慮結(jié)合ISS特征和經(jīng)典的HOG特征，利用多特征訓(xùn)練支持向量機(jī)，進(jìn)行紅外圖像中的行人檢測(cè)。

1 算法總體設(shè)計(jì)

基于多特征的紅外圖像行人檢測(cè)主要分成訓(xùn)練和檢測(cè)兩個(gè)階段，在訓(xùn)練階段分別提取正負(fù)樣本的ISS特征和HOG特征，對(duì)SVM進(jìn)行訓(xùn)練；在檢測(cè)階段，對(duì)于輸入的待檢測(cè)圖片，進(jìn)行滑動(dòng)窗口遍歷，對(duì)于遍歷得到的子圖片提取其ISS特征和HOG特征，利用訓(xùn)練好的SVM對(duì)其進(jìn)行判別，經(jīng)過窗口合并輸出檢測(cè)結(jié)果。原理框圖如圖1所示。

圖1 本文算法原理框圖Fig.1 The diagram of this algorithm

2 特征提取

2.1 強(qiáng)度自相似性特征

通過對(duì)紅外圖像的大量觀察，我們發(fā)現(xiàn)在一幅包含行人的紅外圖像中，頭部區(qū)域和人體的四肢的像素值具有較高的相似性，而人體的軀干部分由于受到衣物遮擋等原因的影響，所輻射出的熱量值較未受遮擋的區(qū)域要低，所表現(xiàn)出的像素值偏低?；诖?，我們利用強(qiáng)度自相似性特征［7］（Intensity Self-Similarity，ISS），將其用于紅外圖像行人檢測(cè)領(lǐng)域中。圖2是紅外圖像中行人可視化強(qiáng)度自相似性效果圖，展示了人體的相似度信息，將行人樣本圖片分成若干個(gè)區(qū)域，在圖中標(biāo)定了4個(gè)區(qū)域（頭部，軀干，四肢，背景），可以看出各個(gè)區(qū)域?qū)?yīng)的相似度效果圖，在對(duì)應(yīng)區(qū)域的效果圖中，其他區(qū)域亮度越高，則說明與標(biāo)定區(qū)域越相似。

圖2 強(qiáng)度自相似性可視化效果圖Fig.2 Visualized images of Intensity Self-Similarity

首先，將一幅包含完整行人的樣本圖片分成n個(gè)固定大小的區(qū)域cell，統(tǒng)計(jì)各個(gè)cell的直方圖信息。

之后對(duì)兩兩cell之間的直方圖進(jìn)行相似度的對(duì)比，這樣就獲得了一個(gè)關(guān)于相似度的n*（n-1）/2維的向量，對(duì)于兩個(gè)直方圖H1和H2相似度的計(jì)算常用的方法有以下幾種：

關(guān)于相似度的計(jì)算，考慮到我們要處理的數(shù)據(jù)量較大，所以只利用了卡方系數(shù)和相交系數(shù)這兩種方式進(jìn)行了試驗(yàn)，最后發(fā)現(xiàn)相交系數(shù)這種相似度比較方法計(jì)算簡(jiǎn)單且實(shí)驗(yàn)結(jié)果較好。

2.2 梯度方向直方圖特征

Dalal［6］在2005年提出了梯度方向直方圖特征（Histogram of Oriented Gradients，HOG），人體的局部形狀能夠通過局部梯度強(qiáng)度的分布和邊緣方向很好地表現(xiàn)出來(lái)。下面針對(duì)我們樣本的HOG特征提取進(jìn)行介紹。

首先，利用［-1，0，1］模板計(jì)算樣本圖像的梯度表示，求出每個(gè)像素點(diǎn)的梯度模值和方向，其中Gx（x，y）表示橫向梯度，Gy（x，y）表示縱向梯度，I（x，y）表示原始圖片。

其次，將大小為32×64的樣本按照8×8像素的單元（cell）進(jìn)行劃分，從而得到了32個(gè)cell，將梯度方向（0°-180°）分成9個(gè)區(qū)間（bins），各像素點(diǎn)的角度信息由θ（x，y）確定，各像素點(diǎn)的梯度幅度由G（x，y）確定，統(tǒng)計(jì)各個(gè)cell中每個(gè)像素點(diǎn)的方向，以此為投票依據(jù)，以梯度幅值為投票權(quán)重，得到每個(gè)cell的梯度方向直方圖。

之后，令相鄰的cell（2×2）組成一個(gè)塊（block），相鄰block之間有一半的區(qū)域是重疊的。將block中的4個(gè)cell的梯度方向直方圖串聯(lián)起來(lái)，利用L2-norm范式進(jìn)行歸一化，得到block的梯度方向直方圖特征。

最后將所有的block的梯度方向直方圖特征串聯(lián)起來(lái)就得到了我們整幅樣本圖像的HOG特征。

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)的數(shù)據(jù)集采用的是Daniel［8］等人提供的LSI Far Infrared Pedestrian Dataset。數(shù)據(jù)集分為兩個(gè)部分Classification dataset和Detection Dataset。在我們的實(shí)驗(yàn)當(dāng)中，訓(xùn)練集和測(cè)試集均選自 Classification dataset數(shù)據(jù)集，我們從中隨機(jī)挑選了2 384張正樣本和3 190張負(fù)樣本分別作為我們訓(xùn)練集的正負(fù)樣本，挑選了1 506張正樣本和2 877張負(fù)樣本分別作為我們測(cè)試集的正負(fù)樣本。圖3是我們選取的部分正負(fù)樣本圖片，其中第一行是部分正樣本，第二行是部分負(fù)樣本。

圖3 部分正負(fù)樣本圖片F(xiàn)ig.3 Several positive and negative samples

在提取樣本圖像的ISS特征階段，我們首先要考慮將32×64 pixels大小的樣本圖片分成若干個(gè)cell。對(duì)于cell大小的選取有以下3個(gè)方案2×2 pixels，4×4 pixels，8×8 pixels。cell大小為2×2時(shí)，樣本被分成了512個(gè)cell，最終的特征向量維數(shù)將超過10萬(wàn)維，維數(shù)過大，因此不選取這種方式。cell大小為4×4時(shí)，樣本被分成了128個(gè)cell，最終的特征向量維數(shù)為8 128維。cell大小為8×8時(shí)，樣本被分成了32個(gè)cell，最終的特征向量維數(shù)為496維。所以，我們就主要對(duì)4×4和8×8兩個(gè)方案進(jìn)行比較。在8×8的方案中，又考慮到cell重疊的影響，將8×8的方案又分為兩個(gè)子方案，即相鄰cell無(wú)重疊和相鄰cell重疊一半，無(wú)重疊時(shí)分成的cell個(gè)數(shù)是32個(gè)，最后的向量維數(shù)為496維，重疊一半時(shí)分成的cell個(gè)數(shù)是105個(gè)，最后生成的向量維數(shù)是5 460維。

為了直觀的顯示不同大小cell對(duì)實(shí)驗(yàn)結(jié)果的影響，我們采用DET（detection error tradeofff）曲線來(lái)進(jìn)行分析，DET曲線即對(duì)數(shù)尺度下的誤檢率（FPPW，F(xiàn)alse positive per window）對(duì)漏檢率（Miss Rate）曲線，橫坐標(biāo)表示誤檢率，縱坐標(biāo)表示漏檢率。計(jì)算方法如下所示：

其中，F(xiàn)P（False Positive）表示被預(yù)測(cè)模型預(yù)測(cè)為正的負(fù)樣本，TN（True Negative）表示被預(yù)測(cè)模型預(yù)測(cè)為負(fù)的負(fù)樣本，F(xiàn)N（False Negative）表示被預(yù)測(cè)模型預(yù)測(cè)為負(fù)的正樣本，TP （True Positive）表示被預(yù)測(cè)模型預(yù)測(cè)為正的正樣本。

在誤檢率相同的情況下，漏檢率越低，則正確檢測(cè)率就越高，表現(xiàn)在DET曲線上，即曲線越低越好。由于我們的測(cè)試集圖片樣本數(shù)據(jù)在10-3級(jí)別，所以主要在誤檢率FPPW為10-3級(jí)別進(jìn)行分析討論，圖4（a）中表明了cell大小的影響，在FPPW為10-3時(shí)，cell大小為4*4時(shí)的漏檢率為10.42%，cell大小為8×8，且cell無(wú)重疊時(shí)的漏檢率為15.94%，cell大小為8×8，且cell有一半重疊時(shí)的漏檢率為17.66%，因此，對(duì)于cell大小的選取定為4×4 pixels，這樣也就確定了最終的ISS特征向量維數(shù)為8 128維。

在ISS特征提取的第二個(gè)問題是統(tǒng)計(jì)cell中的直方圖信息，此處的直方圖是對(duì)0～255這個(gè)灰度值范圍進(jìn)行劃分，分成8個(gè)區(qū)域（8bins），16個(gè)區(qū)域（16bins），32個(gè)區(qū)域（32bins），對(duì)處在這些區(qū)域的像素個(gè)數(shù)進(jìn)行統(tǒng)計(jì)。如圖4（b）所示，在FPPW為10-3時(shí)，bins大小為8時(shí)的漏檢率為15.8%，bins大小為16時(shí)的漏檢率為10.36%，bins大小為32時(shí)的漏檢率為9.429%，在此綜合考慮到ISS特征的向量維度較大和漏檢率的影響，所以對(duì)于bins大小的選取我們定為16。

在ISS特征提取的第3個(gè)問題是計(jì)算cell直方圖的相似度方法的選取。如圖4（c）所示，在FPPW為10-3時(shí)，用相交系數(shù)得到的漏檢率為10.42%，用卡方系數(shù)得到的漏檢率為21.98%。相交系數(shù)方法漏檢率明顯低于卡方系數(shù)，所以最終選擇利用相交系數(shù)來(lái)進(jìn)行cell直方圖相似度的計(jì)算。

圖4 關(guān)于ISS特征的不同參數(shù)選取的DET曲線Fig.4 DET curves of different parameter selection of ISS feature

最后對(duì)相似度再統(tǒng)一進(jìn)行歸一化，就得到了最終要求的ISS強(qiáng)度自相似性特征。此外，還針對(duì)ISS特征適用分類器進(jìn)行了討論分析，本文我們采用SVM作為本實(shí)驗(yàn)的分類器，這就涉及到了SVM核函數(shù)的選取，在圖4（d）中我們選取線性核和RBF核來(lái)進(jìn)行支持向量機(jī)性能的比較，在FPPW為10-3時(shí)，使用線性核的漏檢率為14.48%，使用RBF核的漏檢率為10.42%。所以選擇RBF核SVM來(lái)進(jìn)行分類實(shí)驗(yàn)。

最后我們將得到ISS特征和HOG特征串聯(lián)起來(lái)，得到聯(lián)合特征向量，如圖5所示，在FPPW為10-3時(shí)，聯(lián)合特征的漏檢率為0.79%，HOG特征的漏檢率為2.52%，ISS特征的漏檢率為10.42%。結(jié)果顯示利用聯(lián)合特征方法對(duì)于檢測(cè)率的提高有明顯的增加，在測(cè)試集中的實(shí)驗(yàn)檢測(cè)精度高達(dá)99.78%。

在整幅圖片上進(jìn)行行人檢測(cè)時(shí)，采用滑動(dòng)窗多尺度遍歷圖片的方法進(jìn)行檢測(cè)，對(duì)檢測(cè)窗口進(jìn)行縮放，縮放比例設(shè)為1.2，這是針對(duì)行人尺度大小不同而進(jìn)行的必要工作，會(huì)導(dǎo)致對(duì)同一目標(biāo)產(chǎn)生多個(gè)檢測(cè)結(jié)果，在此引入檢測(cè)窗口的合并。當(dāng)兩窗口相交的面積與兩窗口面積的比值均大于0.7時(shí)，計(jì)算兩窗口的平均位置和平均大小，融合檢測(cè)窗口，最后就得到了最終的檢測(cè)結(jié)果。部分檢測(cè)結(jié)果如圖6所示。

圖5 3種算法的DET曲線Fig.5 The DET curves of three algorithms

4 結(jié)束語(yǔ)

圖6 部分檢測(cè)結(jié)果Fig.6 Several detection results

文中通過結(jié)合紅外圖像中行人的輪廓和強(qiáng)度相似性等信息，提出了一種基于HOG和ISS特征的紅外行人檢測(cè)算法，檢測(cè)精度得到了明顯的提高。但本算法也有以下不足，首先聯(lián)合特征的維度較高，不利于算法的實(shí)時(shí)性；其次，在檢測(cè)整幅圖片的時(shí)候利用的是滑動(dòng)窗口法，窗口將遍歷很多不包含行人的區(qū)域，這同樣造成了大量時(shí)間的浪費(fèi)，不利于算法實(shí)時(shí)性。在今后我們要尋找可靠有效的感興趣區(qū)域提取方法，對(duì)行人可能存在的區(qū)域進(jìn)行簡(jiǎn)單的粗定位，再在特定區(qū)域進(jìn)行遍歷特征提取分析，相信這將大大提高本算法的實(shí)時(shí)性。

［1］Dollar P，Wojek C，Schiele B，et al.Pedestrian detection:An evaluation of the state of the art［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2012，34（4）:743-761.

［2］高晶，孫繼銀，劉婧，等.基于區(qū)域模糊閾值的前視紅外目標(biāo)識(shí)別［J］.光學(xué)精密工程，2012，19（12）:3056-3063.

［3］楊陽(yáng)，楊靜宇.基于顯著性分割的紅外行人檢測(cè)［J］.南京理工大學(xué)學(xué)報(bào)，2013，37（2）:251-256.

［4］Li W，Zheng D，Zhao T，et al.An effective approach to pedestrian detection in thermal imagery［C］//Natural Computation（ICNC），2012 Eighth International Conference on.IEEE，2012:325-329.

［5］Walk S，Majer N，Schindler K，et al.New features and insights for pedestrian detection［C］//Computer vision and pattern recognition（CVPR），2010 IEEE conference on.IEEE，2010: 1030-1037.

［6］Dalal N，Triggs B.Histograms of oriented gradients forhuman detection［C］//Computer Vision and Pattern Recognition，2005.CVPR 2005.IEEE Computer Society Conference on.IEEE，2005，1:886-893.

［7］Miron A，Besbes B，Rogozan A，et al.Intensity self-similarity features for pedestrian detection in far-infrared images［C］//Intelligent Vehicles Symposium（IV），2012 IEEE.IEEE，2012: 1120-1125.

［8］Olmeda D，Premebida C，Nunes U，et al.Pedestrian Classification and Detection in Far Infrared Images［J］.Integrated Computer-Aided Engineering，2013（20）:347-360.

Pedestrian detection in infrared images based on multi-features

HU Qing-xin，WANG Lei
（Hefei University of Technology，School of Computer&Information，Hefei 230009，China）

In order to improve the accuracy of pedestrian detection in infrared images，an infrared pedestrian detection method is proposed in this paper.Firstly extract train samples′Histogram of Oriented Gradients feature and Intensity Self-Similarity feature，combine these two features to train support vector machine（SVM），then use sliding window method to traverse an infrared image，the trained SVM is used to classification and detection.Experiments in LSI Far Infrared Pedestrian Dataset prove that based on multi-features method compared with based on single feature method improve infrared pedestrian detection accuracy，reduce the false positive rate and miss rate.

infrared pedestrian detection；histogram of Oriented Gradients；Intensity Self-Similarity；Support Vector Machine

TP391.4

A

1674－6236（2016）04-0182-04

2015-03-24 稿件編號(hào)：201503325

胡慶新（1965—），男，河北邯鄲人，碩士，副教授。研究方向：信號(hào)與信息處理，圖形圖像處理。