基于亮度信息的紅外行人檢測(cè)

王路杰 徐向華

摘 ?要： 紅外圖像中的行人具備邊緣和亮度兩個(gè)顯著特征信息。為了能夠充分利用這兩種信息，在亮度直方圖特征基礎(chǔ)上，提出了一種不同區(qū)間大小的亮度直方圖特征。通過(guò)統(tǒng)計(jì)分析紅外圖像中行人各部件對(duì)應(yīng)的亮度區(qū)間信息，確定映射規(guī)則，從而構(gòu)建不同區(qū)間大小的亮度直方圖，然后通過(guò)與梯度方向直方圖特征相結(jié)合，并用于Adaboost模型訓(xùn)練。該方法提高了行人檢測(cè)系統(tǒng)的檢測(cè)率。

關(guān)鍵詞： 紅外圖像; 行人檢測(cè); 梯度方向直方圖; 亮度直方圖; Adaboost

中圖分類號(hào)：TP391.4 ? ? ? ? ?文獻(xiàn)標(biāo)志碼：A ? ? 文章編號(hào)：1006-8228（2015）07-01-03

Pedestrian detection based on infrared intensity information

Wang Lujie， Xu Xianghua

（Hangzhou Dianzi University， Zhejiang Provincial Key Lab of Data Storage and Transmission Technology， Hangzhou， Zhejiang 310037， China）

Abstract： The pedestrian in the infrared images has two significant features that are edge and intensity. In order to take full advantage of the two information， based on the HOI（Histogram of Intensity） feature， the DBHOI（Different Bin Histogram of Intensity） feature is proposed. Through the statistics and analysis of the intensity information of pedestrian in the infrared image， the DBHOI descriptor determines the mapping rules， and then constructs an intensity histogram with different size of bins. Combined with the HOG（Histogram of Oriented Gradient） descriptor， the DBHOI descriptor is used to train Adaboost model. This method improves the detection rate of the pedestrian detection system.

Key words： infrared images; pedestrian detection; histogram of oriented gradient; histogram of intensity; Adaboost

0 引言

近些年來(lái)，基于視覺(jué)的行人檢測(cè)一直是計(jì)算機(jī)視覺(jué)的一個(gè)研究熱點(diǎn)[1-2]?；诩t外成像的行人檢測(cè)方法對(duì)不同環(huán)境下的行人檢測(cè)具有一定的適應(yīng)性。目前，紅外行人檢測(cè)技術(shù)[3-5]主要基于機(jī)器學(xué)習(xí)的方法，其中主要涉及特征提取和分類器訓(xùn)練。在特征提取階段，由于紅外圖像中的行人本身具有兩個(gè)明顯的信息：邊緣信息和亮度信息，因此大多數(shù)的特征構(gòu)造是依據(jù)這兩個(gè)信息進(jìn)行的，比如梯度方向直方圖（Histogram of Oriented Gradient，HOG）[6]、亮度直方圖特征（Histogram of Intensity，HOI）[7]等。為了消除特征單一帶來(lái)的誤檢，將HOG與HOI進(jìn)行特征融合[7]是一種有效方法。HOI特征描述紅外圖像中的亮度信息，但是沒(méi)有利用行人亮度信息分布相對(duì)穩(wěn)定的特點(diǎn)。本文通過(guò)統(tǒng)計(jì)紅外圖像中行人各部件對(duì)應(yīng)的亮度區(qū)間信息，從而確定映射規(guī)則，構(gòu)建不同區(qū)間大小的亮度直方圖（Different Bin Histogram of Intensity，DBHOI）特征。然后將該特征與HOG特征相結(jié)合構(gòu)成一個(gè)特征描述符，進(jìn)而從多個(gè)角度去刻畫(huà)行人與背景之間的區(qū)別。本文基于Adaboost學(xué)習(xí)算法[8]進(jìn)行模型訓(xùn)練，最后利用滑窗掃描法進(jìn)行行人檢測(cè)。

1 特征提取

檢測(cè)對(duì)象——行人包含兩個(gè)明顯的信息：邊緣和亮度。其中HOG特征很好地提取了圖像中的邊緣信息。因?yàn)槿梭w溫度的變化是在一定范圍內(nèi)，所以行人的亮度信息也就相對(duì)穩(wěn)定。目前，HOI特征描述符[7]是一個(gè)對(duì)亮度信息描述較好的特征。

1.1 HOI描述符

HOI特征是一個(gè)描述亮度信息的特征。它通過(guò)對(duì)圖像中的亮度信息進(jìn)行區(qū)域高密度的、重疊的編碼，以此來(lái)表征行人與背景之間的區(qū)別。HOI特征的構(gòu)造過(guò)程大致如圖1所示。

⑴ 將圖像劃分為多個(gè)局部區(qū)域，并構(gòu)建HOI。首先將圖像窗口分割成一個(gè)個(gè)小的區(qū)域，這些小區(qū)域叫做“cell”。對(duì)于每一個(gè)cell，計(jì)算cell中每一個(gè)像素的灰度值，形成一個(gè)局部的一維亮度直方圖。在每一個(gè)亮度直方圖中，將灰度值映射到不同區(qū)間，并將灰度值的大小作為權(quán)重值映射到該區(qū)間中?；叶葏^(qū)間的劃分由實(shí)驗(yàn)給出，默認(rèn)情況下將灰度值范圍劃分為6等份。

⑵ 進(jìn)行塊（Block）內(nèi)的歸一化。通過(guò)塊區(qū)域重疊的方式，使得每一個(gè)獨(dú)立的cell的信息可以在幾個(gè)不同的塊中共享，然后對(duì)塊區(qū)域內(nèi)的直方圖進(jìn)行歸一化。通過(guò)塊歸一化處理，提高HOI對(duì)行人描述的魯棒性。

⑶ 串聯(lián)每一個(gè)塊中形成的HOI特征向量。

圖1 ?HOI特征提取的概要流程圖

因?yàn)镠OI特征對(duì)圖像中的局部亮度信息進(jìn)行了編碼，所以該特征與簡(jiǎn)單的亮度灰度值相比具有更強(qiáng)的描述能力。

1.2 DBHOI描述符

HOI特征較好地對(duì)紅外圖像中的亮度信息進(jìn)行了編碼，但也存在缺陷。它只是將灰度值區(qū)間進(jìn)行均等劃分，并沒(méi)有考慮行人所具有的剛性特征及身體各部件熱輻射的相對(duì)穩(wěn)定性。因?yàn)闊彷椛涞南鄬?duì)穩(wěn)定性，使行人各部件形成的亮度具有顯著的特征，即頭部比身體其他部件的亮度都要大，且亮度灰度值非常高。若構(gòu)造的特征描述符能夠有效的表達(dá)該信息，那么將會(huì)有效的提高特征描述能力。

為了確定如何劃分灰度值到多個(gè)區(qū)間中，我們利用四組圖像集合，且所有的圖像來(lái)自訓(xùn)練樣本集。根據(jù)樣本集的大小隨機(jī)抽取數(shù)張并截取人體部件：頭部、肢體上半身、肢體下半身。根據(jù)這些圖像的集合，統(tǒng)計(jì)出每一個(gè)人體部件所具有的相對(duì)穩(wěn)定的灰度均值，具體分布如圖2所示。

圖2 ?人體部件均值分析

DBHOI的提取過(guò)程與HOI的提取過(guò)程（圖1）類似，不同之處在于第二步中灰度值的映射。根據(jù)圖2的實(shí)驗(yàn)結(jié)果，我們將灰度值映射到各個(gè)不同的區(qū)間中。另外根據(jù)經(jīng)驗(yàn)性的觀察，行人部件中頭部的亮度信息特別明顯，為了獲取該信息劃分了一個(gè)區(qū)間[230，255]，其他的區(qū)間分別是[0，103]，[103，149]，[149，230]。經(jīng)過(guò)這樣的區(qū)間劃分，得到亮度直方圖特征具有對(duì)行人更強(qiáng)的描述能力。

DBHOI特征描述符的提取過(guò)程與HOI的提取過(guò)程類似，它不僅保留了原HOI特征描述符所具有的優(yōu)點(diǎn)，而且在組織亮度信息分布時(shí)更好的區(qū)分出行人與背景。根據(jù)背景與行人的亮度分布信息特點(diǎn)，我們進(jìn)行不同區(qū)間大小的劃分，使得行人與非行人在亮度信息上的差異更加明顯。當(dāng)環(huán)境產(chǎn)生變化時(shí)，使用DBHOI特征來(lái)描述行人依然具有穩(wěn)定性，從而提高了行人檢測(cè)的魯棒性。

2 基于Adaboost的分類器

為了得到一個(gè)具有強(qiáng)分類能力的分類器，我們采用了基于Adaboost學(xué)習(xí)算法的級(jí)聯(lián)分類器[8]。一個(gè)Adaboost分類器一般有如下形式：

⑴

其中αt為每個(gè)弱分類器對(duì)應(yīng)的權(quán)重值，ht為弱分類器，T為迭代次數(shù)。

在訓(xùn)練前，每一個(gè)樣本被設(shè)置一個(gè)非負(fù)的權(quán)重值。在每一次迭代中被錯(cuò)分樣本的權(quán)重值將會(huì)被更新，會(huì)被設(shè)置一個(gè)更大的值，在下一次迭代的過(guò)程將會(huì)更加重視這些樣本。

本文實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)基于17900個(gè)樣本，包括正樣本和負(fù)樣本，因此每個(gè)樣本的初始權(quán)重值將會(huì)被設(shè)置為1/17900。設(shè)置的迭代次數(shù)分別為32、128、512、2048。首先訓(xùn)練一個(gè)包含32個(gè)弱分類器的強(qiáng)分類器，然后用這個(gè)分類器進(jìn)行樣本分類，只有通過(guò)了該分類器正確分類的樣本才進(jìn)行下一個(gè)分類器訓(xùn)練的訓(xùn)練樣本集。重復(fù)上述過(guò)程進(jìn)行迭代，直至產(chǎn)生每層的強(qiáng)分類器。

3 性能評(píng)估

為了分析DBHOI特征的描述能力，該特征與HOI特征進(jìn)行了比較。實(shí)驗(yàn)的硬件環(huán)境為Intel Core i5@3.1GHz，4G內(nèi)存，仿真工具為Matlab R2012a。

3.1 紅外行人檢測(cè)樣本集

圖3 ?部分正樣本

利用被動(dòng)紅外攝像機(jī)拍攝了大量實(shí)際車載場(chǎng)景下的紅外圖像，并根據(jù)Caltech樣本庫(kù)的樣本制作標(biāo)準(zhǔn)，建立一個(gè)完善的紅外行人樣本庫(kù)。訓(xùn)練集包括1170個(gè)正樣本和16730個(gè)負(fù)樣本;測(cè)試集包括100張包含行人的圖像，160張不包含行人的圖像。圖3和圖4是隨機(jī)抽取的正負(fù)樣本圖像。

圖4 ?部分負(fù)樣本

3.2 實(shí)驗(yàn)結(jié)果

為了說(shuō)明在車載紅外行人檢測(cè)中，亮度信息對(duì)最終的分類算法性能的影響，本文以HOG為基礎(chǔ)特征，分析了在增加和不增加亮度信息特征——DBHOI特征描述符的兩種不同情況下整個(gè)行人檢測(cè)系統(tǒng)的性能。除此之外，為了說(shuō)明HOI特征與DBHOI特征，以及兩者在描述能力上的差異，本實(shí)驗(yàn)構(gòu)造HOI特征、DBHOI特征，然后結(jié)合描述邊緣信息的HOG特征，構(gòu)成不同的積分通道特征，并比較了兩者之間的性能差異。

圖5說(shuō)明了在沒(méi)有亮度信息的情況下，行人檢測(cè)系統(tǒng)的檢測(cè)率約為35%，而在增加了描述亮度信息的DBHOI特征描述符后，檢測(cè)率達(dá)到了42%，使得整個(gè)系統(tǒng)的性能提升了7%。

圖5 ?有無(wú)亮度信息圖

圖6表示在紅外數(shù)據(jù)集上，用檢測(cè)率（=1-missing rate）VS FPPI作為評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)不同亮度信息提取方法的比較。由DBHOI與HOG構(gòu)成的特征達(dá)到了42%檢測(cè)率，而HOI只有37%。改進(jìn)的DBHOI特征相對(duì)于原來(lái)的HOI特征提升了大約5%的性能。

圖7中a（1）、b（1）與a（2）、b（2）分別是HOI特征與DBHOI特征的檢測(cè)結(jié)果?？梢钥闯觯珼BHOI特征檢測(cè)到圖像中更多的行人，當(dāng)行人與相機(jī)的檢測(cè)距離增大時(shí)，DBHOI特征提取到更多的信息。從b（1）組與b（2）組的最后一張圖像中可以看出，均勻劃分灰度的HOI特征沒(méi)能很好的區(qū)分其他發(fā)熱物體所行人的亮度如汽車的輪子，而DBHOI特征描述了這種區(qū)別。

圖6 ?亮度信息進(jìn)行不同構(gòu)造方式

圖7 ?DBHOI特征與HOI特征效果比較

4 結(jié)束語(yǔ)

本文提出了一個(gè)完整的針對(duì)紅外車載場(chǎng)景下的行人檢測(cè)方法。其主要的貢獻(xiàn)在于，針對(duì)紅外圖像中行人的特點(diǎn)，詳細(xì)分析了有無(wú)亮度信息以及不同亮度信息構(gòu)造方式對(duì)最終行人檢測(cè)性能的影響。并改進(jìn)了HOI特征描述符存在的不足之處，提出了DBHOI描述符。實(shí)驗(yàn)表明，紅外圖像中的亮度信息是一個(gè)非常重要的信息，并且DBHOI特征的構(gòu)造方式提高了行人檢測(cè)系統(tǒng)的性能。

參考文獻(xiàn)：

[1] Dollar P， Wojek C， Schiele B. Pedestrian detection： An evaluation

of the state of the art[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012.34（4）：743-761

[2] O'Malley R， Glavin M， Jones E. A review of automotive infrared

pedestrian detection techniques. Signals and Systems Conference[C]. Galway：IEEE， R，2008：168-173

[3] Olmeda D， Premebida C， Nunes U. Pedestrian detection in far

infrared images[J]. Integrated Computer-Aided Engineering，2013.20（4）：347-360

[4] Dollár P， Appel R， Belongie S. Fast feature pyramids for object

detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2014.36（8）：1532-1545

[5] Brehar R， Vancea C， Nedevschi S. Pedestrian detection in infrared

images using aggregated channel features. 2014 IEEE International Conference on Intelligent Computer Communication and Processing （ICCP）[C]. Cluj Napoca： IEEE， R，2014：127-132

[6] Dalal N， Triggs B. Histograms of oriented gradients for human

detection. IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR） [C]. San Diego， CA， USA：IEEE 2005：886-893

[7] 朱聰聰，項(xiàng)志宇.基于梯度方向和強(qiáng)度直方圖的紅外行人檢測(cè)[J].

Computer Engineering，2014.40（12）.195-204

[8] Viola P， Jones M J. Robust real-time face detection[J].

International journal of computer vision，2004.57（2）：137-154