人類視覺(jué)機(jī)制與ROI 融合的紅外行人檢測(cè)

王玉萍，曾 毅

(鄭州科技學(xué)院信息工程學(xué)院，河南 鄭州 450064)

0 引 言

紅外圖像在國(guó)防和生活領(lǐng)域有著廣泛的應(yīng)用，例如夜視、監(jiān)視、輔助駕駛系統(tǒng)、天氣預(yù)測(cè)、搜救、跟蹤與入侵檢測(cè)等。在這些應(yīng)用中，紅外行人檢測(cè)在國(guó)防領(lǐng)域中得到了更多的關(guān)注[1]。然而，由于紅外圖像中行人的以下特點(diǎn)，讓檢測(cè)過(guò)程變得困難：1）行人的背景會(huì)被未知噪聲所污染，并且行人和背景之間的對(duì)比度很低；2）小行人目標(biāo)缺少紋理信息，特征提取較為困難。因此，紅外圖像中行人目標(biāo)的檢測(cè)是一項(xiàng)有挑戰(zhàn)性的任務(wù)。

近些年，許多研究者提出了大量紅外圖像中的行人檢測(cè)方法。這些方法被分為基于濾波、基于閾值、基于模板[2]和基于顯著性[3]的檢測(cè)方法。基于濾波的方法由于圖像雜亂以及行人之間遮擋，并不能很好地檢測(cè)行人?；陂撝捣椒ǖ娜秉c(diǎn)是結(jié)果圖像中存在不連續(xù)像素，因此導(dǎo)致誤報(bào)率增加，不能對(duì)行人很好地檢測(cè)?；谀０宓姆椒ú荒軝z測(cè)到行人的確切形狀。而顯著性檢測(cè)方法在有干擾的圖像上檢測(cè)特征圖是很困難的。

Meng 等[4]提出了一種改進(jìn)的離線訓(xùn)練、在線檢測(cè)的行人檢測(cè)方法。但此種方法所采用的HOG特征在檢測(cè)過(guò)程中如果存在圖像分辨率不高的情況會(huì)導(dǎo)致檢測(cè)失敗。Li 等[5]提出了一種使用雙密度復(fù)小波變換和小波熵的穩(wěn)健行人檢測(cè)。但小波方法未考慮多個(gè)行人遮擋。文獻(xiàn)[6]提出了使用梯度直方圖（HOG）和平均對(duì)比度幾何特征的行人檢測(cè)方法。這種方法在溫度較高的環(huán)境中不能檢測(cè)到行人。Lu 等[7]提出了一種改進(jìn)的低維度紋理特征來(lái)在紅外圖像中跟蹤運(yùn)動(dòng)物體目標(biāo)。

但是以上算法并沒(méi)有能很好地解決在檢測(cè)過(guò)程中存在的紅外背景復(fù)雜問(wèn)題。針對(duì)上述問(wèn)題，本文提出一種基于人類視覺(jué)機(jī)制和ROI 融合的紅外行人檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，該方法具有較高的精度與召回率，且具有較快的檢測(cè)速度，優(yōu)于現(xiàn)有方法。

1 行人檢測(cè)系統(tǒng)

本文提出的紅外圖像行人檢測(cè)框架如圖1 所示，其步驟包括：預(yù)處理、行人候選區(qū)域生成、特征提取、分類。

圖1 行人檢測(cè)框架

1.1 預(yù)處理

在冬季，行人的體表溫度會(huì)很低，其在紅外圖像中會(huì)與周圍環(huán)境幾乎融為一體。而在夏季，行人和周圍物體會(huì)釋放出大量的熱，在紅外圖像中同樣不好分辨[8]。而在彩色圖像序列中，處理過(guò)程就不受季節(jié)及溫度條件限制。由于這些原因，在紅外圖像中減少背景的同時(shí)進(jìn)行行人檢測(cè)很有挑戰(zhàn)性。為了減少背景并且增加行人信息，應(yīng)用了均值濾波和改進(jìn)的LoG 濾波。

1）均值濾波

均值濾波可以將不必要的目標(biāo)與背景相結(jié)合。為了抑制輸入圖像中的背景像素信息，將其分成塊。每個(gè)塊的大小為m×n，其中m=2a+1 且n=2b+1 且a，b>1。這里，a和b的值設(shè)為2。隨后將塊中的每個(gè)像素值與整個(gè)塊整體像素進(jìn)行比較。從實(shí)驗(yàn)中觀察到均值濾波在所有方面都能更好地抑制背景。因此，對(duì)圖像塊使用順序統(tǒng)計(jì)均值濾波器，即，通過(guò)將塊中的每個(gè)像素與塊的平均值（μ）進(jìn)行比較來(lái)完成局部處理。上述情況如下式所示：

其中 IP(x,y)是 輸入圖像I(x,y)的一小塊區(qū)域。此外，它將使圖像平滑并將圖像像素中的任何噪聲或其他信息與背景合并[9]。

2）LoG 濾波

在紅外圖像中，由于種種原因，拍攝中的遠(yuǎn)處行人變得模糊。為此，設(shè)計(jì)了人類視覺(jué)機(jī)制模型。人類視覺(jué)機(jī)制[10]基于物體和背景之間的對(duì)比度感知物體，如果它們具有相似的對(duì)比度，則兩個(gè)物體被認(rèn)為是近似的。人類視覺(jué)機(jī)制的主要特性是對(duì)比機(jī)制，多尺度表示和尺寸適應(yīng)過(guò)程。對(duì)比機(jī)制是人類視覺(jué)機(jī)制最基本，最重要的特征。利用加入視覺(jué)對(duì)比機(jī)制的LoG 濾波[11]來(lái)區(qū)分對(duì)象與背景。LoG濾波的表達(dá)式為

其中σ 為圖像中的變量。

二維高斯函數(shù)有著循環(huán)對(duì)稱性，此屬性可以使濾波器偏向任何方向。該濾波器類似于人類視覺(jué)系統(tǒng)的成像。由于行人是發(fā)熱物體，因此可以使用此濾波器檢測(cè)到行人。如果周遭的環(huán)境溫度比較低，行人產(chǎn)生的熱會(huì)被外部環(huán)境的溫度降低。在這個(gè)情況下，LoG 濾波器會(huì)感知變化。另外，σ 的值用四階標(biāo)準(zhǔn)中心距的峰度和正切函數(shù)來(lái)自適應(yīng)地計(jì)算。

峰度是概率密度函數(shù)形狀的度量的描述符，因此它被用作圖像濾波的參數(shù)。峰度的普遍定義是四階累積量除以二階累積量的平方。對(duì)于輸入圖像I，峰度 γ2的定義如下式所示：

由于數(shù)字圖像本質(zhì)上是離散的，因此使用數(shù)字近似來(lái)定義導(dǎo)數(shù)。為了分辨人類視覺(jué)系統(tǒng)的預(yù)處理圖像，使用雙曲正切函數(shù)，類似于sigmoid 函數(shù)的平滑曲線表示。式（3）中的σ 在式（4）～（6）中定義。

LoG 濾波的過(guò)程定義為

式中：I Px(x,y)——LoG 濾波圖像；

*——對(duì)圖像進(jìn)行卷積。

1.2 行人候選區(qū)域生成

1）熱分析

基于熱信息的行人ROI 提取是根據(jù)行人會(huì)釋放出熱量這一屬性來(lái)提出的。僅基于他們的熱特性在每個(gè)圖像幀中提取行人候選區(qū)域。圖像根據(jù)閾值θTA被二值化，目的是得到與行人候選區(qū)域相關(guān)的像素點(diǎn)[12]。由于該閾值，得到包含熱斑的圖像區(qū)域，此區(qū)域可能是行人。閾值 θTA根 據(jù)圖像I的均值I?和標(biāo)準(zhǔn)偏差 σI計(jì)算：

之后對(duì)二值化圖像進(jìn)行形態(tài)學(xué)處理（先進(jìn)行開操作，之后進(jìn)行閉操作）來(lái)消除噪點(diǎn)，處理后僅保留連通域面積大于Amin的連通域作為候選連通域，記為Rt。其中，Amin為相機(jī)到圖像中最遠(yuǎn)行人的測(cè)量距離。

2）運(yùn)動(dòng)分析。某些環(huán)境條件會(huì)對(duì)熱紅外光譜中的視覺(jué)對(duì)比度產(chǎn)生負(fù)面影響。例如，在場(chǎng)景溫度與人體溫度相似的溫暖環(huán)境中很難找到行人。然而，如果在場(chǎng)景中使用運(yùn)動(dòng)信息來(lái)分析，就可以在其中找到行人，因?yàn)樗麄冊(cè)陂L(zhǎng)時(shí)間內(nèi)不會(huì)是靜止的。因此，進(jìn)行運(yùn)動(dòng)分析以利用場(chǎng)景中的運(yùn)動(dòng)信息。

前一幀圖像I（t–1）和當(dāng)前圖像I（t）以每秒5 幀的速率截取，這確保了行人足夠的移動(dòng)距離并能夠?qū)崟r(shí)處理所有圖像幀。接著，對(duì)這些幀執(zhí)行圖像差值運(yùn)算和閾值處理。閾值θmov經(jīng)過(guò)多次實(shí)驗(yàn)確定為256 灰度級(jí)圖像最大值的16%。如果出現(xiàn)以下情況，則計(jì)算出像素（x，y）為“候選像素”：

現(xiàn)在，大于Amin并且“候選像素”比例大于ROI面積的5%的區(qū)域被提取到Rm列表中。

3）ROI 融合

將得到的Rf和Rm融 合為一個(gè)ROI 區(qū)域Rf，分為3種情況：對(duì)于Rf中 的與Rm的沒(méi)有任何的交集ROI，加入到Rf中；對(duì)于Rm中 的與Rf的沒(méi)有任何的交集ROI，加入Rf中 ；Rm和Rf中有交集的ROI，將其所有像素點(diǎn)構(gòu)成一個(gè)新的ROI，加入到Rf中。

4）寬度調(diào)整

在得到Rf之 后，首先在像素級(jí)別按列掃描Rf，得到在ROI 中每個(gè)像素對(duì)應(yīng)的灰度值。由此獲得直方圖H[i]（如式（10）所示），其顯示當(dāng)前ROI 中熱量集中的區(qū)域：

由于在一個(gè)ROI 中可能包含幾個(gè)彼此足夠接近的行人，因此直方圖有助于將行人群體（如果有的話）分成單個(gè)行人。當(dāng)在直方圖內(nèi)查找最大值和最小值時(shí)，可以區(qū)分實(shí)際存在于特定ROI 中的行人。

因此，如果直方圖H[i]存在于該ROI 中，則掃描直方圖H[i]以將分在同一ROI 中的行人分開。在直方圖列中搜索局部最大值和局部最小值來(lái)確定ROI 中的熱源，并據(jù)此確定新閾值。在其中尋找60%的像素低于Rf的平均灰度值的列，因?yàn)檫@些區(qū)域可能屬于兩個(gè)人之間的間隙。這樣，列表Rf將形成子ROI——名為 sRf的新列表。在這里，如果每個(gè)Rf包含一個(gè)行人，則 sRf將等于Rf。

5）行人確認(rèn)

現(xiàn)在，列表 sRf的每個(gè)ROI 需要確認(rèn)候選區(qū)域是否真的是行人。實(shí)際上，由于其熱性質(zhì)，圖像中的一些白熾斑點(diǎn)（例如白熾燈泡）在某些情況下仍然可能與人類混淆。因此，驗(yàn)證其是否為行人是重要的一步。

如果行人候選區(qū)域的高度大于其寬度，則檢查ROI 灰度的標(biāo)準(zhǔn)差。如果相反，則將其剔除出ROI列表。這是由于諸如白熾燈等熱源的標(biāo)準(zhǔn)差很低，因?yàn)樗鼈兊臒岱植际蔷鶆虻?。相反，人體的身體部位有不同的熱量集中，例如頭部比身體其他部位放熱量更高。通過(guò)實(shí)驗(yàn)確定行人ROI 的標(biāo)準(zhǔn)差必須大于12。

可以看到，經(jīng)過(guò)信息融合的行人候選區(qū)域生成，圖像中的關(guān)鍵信息得到了最大程度的保留，并去除了許多干擾內(nèi)容。為之后的特征提取及分類奠定了基礎(chǔ)。

1.3 特征提取

1.3.1 HOG特征

梯度直方圖特征(histogram of oriented gradient,HOG)是目標(biāo)檢測(cè)領(lǐng)域常見的特征。HOG特征背后的主要思想是通過(guò)使用邊緣方向的分布來(lái)描述對(duì)象外觀和形狀，并對(duì)單元的每個(gè)像素，計(jì)算梯度方向和邊緣方向的直方圖。

1.3.2 OCS-LBP特征

局部二值模式（LBP）是一種在檢測(cè)紅外圖像目標(biāo)時(shí)常用的特征，但由于局部二值模式（LBP）會(huì)產(chǎn)生較長(zhǎng)的直方圖，影響檢測(cè)的速度。因此，提出了一種新的OCS-LBP特征[13](Oriented center symmetric local binary patterns)，用于紅外圖像下的目標(biāo)檢測(cè)。相比于原始的LBP特征，OCS-LBP特征減少了計(jì)算量，保持了其灰度不變性等特點(diǎn)，對(duì)于紅外圖像中的灰度變化以及噪聲具有更好的魯棒性。圖2為OCS-LBP特征的計(jì)算原理圖。

圖2 OCS-LBP特征計(jì)算原理示意圖

從圖中可以看出，在OCS-LBP特征提取過(guò)程中，將梯度方向分為8 個(gè)方向。梯度方向及幅值信息通過(guò)計(jì)算兩個(gè)中心對(duì)稱像素點(diǎn)灰度值之差確定。

從上節(jié)提取的行人檢測(cè)感興趣區(qū)域（ROI）中獲取OCS-LBP特征直方圖，實(shí)現(xiàn)圖2 的計(jì)算過(guò)程，整個(gè)計(jì)算過(guò)程的數(shù)學(xué)公式描述為：

式(11)分段函數(shù)s(x)中的閾值T是其函數(shù)中的比較閾值，閾值T的值需要通過(guò)實(shí)驗(yàn)來(lái)確定。通過(guò)對(duì)閾值T賦予不同值的方式來(lái)提升目標(biāo)特征的魯棒性。當(dāng)選中的中心對(duì)稱的兩個(gè)像素點(diǎn)灰度值差值大于或等于所設(shè)置的閾值T時(shí)，則將其差值記錄在所對(duì)應(yīng)梯度方向的直方圖中。在式(12)與式(13)中，(xc,yc)表 示鄰域內(nèi)中心像素點(diǎn)的坐標(biāo)值，ni和ni+(P/2)與ni和ni?(P/2)表示一組以P為等間隔，對(duì)半徑為R的圓形區(qū)域進(jìn)行分割后的一組像素點(diǎn)的灰度值。k表示對(duì)應(yīng)的梯度方向，其取值范圍為0～7。

1.4 隨機(jī)蕨分類器

隨機(jī)蕨分類器(random ferns,RFs)[14]稱為半樸素貝葉斯(semi-na?ve Bayes)分類器，它是由貝葉斯分類器發(fā)展而來(lái)。原理是從特征集合中隨機(jī)抽取一組特征子集，一組子集被稱為一個(gè)隨機(jī)蕨。設(shè)每組子集包含s個(gè)特征：

假設(shè)每個(gè)隨機(jī)蕨都是條件獨(dú)立的，因此所有特征的聯(lián)合似然分布可由下式計(jì)算：

相應(yīng)的隨機(jī)蕨分類器為：

RFs 分類器中的樣本特征值獲取方法為：從圖像中隨機(jī)選取多個(gè)像素點(diǎn)對(duì)，將每對(duì)像素點(diǎn)提取HOG特征，即可得到該樣本的特征值。盡管使用HOG特征可以對(duì)外觀的變化具備一定的魯棒性，由于紅外圖像的特性，往往會(huì)有背景噪聲或是出現(xiàn)相似目標(biāo)混淆的情況，使得其對(duì)紅外目標(biāo)描述能力變?nèi)?。梯度信息在環(huán)境或目標(biāo)屬性出現(xiàn)變化的時(shí)候，通?？梢员憩F(xiàn)出更高的穩(wěn)定性，因此，可以利用OCSLBP特征作為分類器的候選特征。

設(shè)OCS-LBPx為在輸入圖像中以x位置的像素點(diǎn)為中心的直方圖，設(shè)F(f1(x),f2(x),···,fL(x))為L(zhǎng)維向量，fk(x)的取值為：

其中，i和j表示在OCS-LBP特征直方圖中隨機(jī)選取的不同的bin。從式中可以看到，每一個(gè)RFs 的特征可以利用二進(jìn)制描述出2L種不同的觀測(cè)值。

2 實(shí)驗(yàn)結(jié)果和效果分析

2.1 應(yīng)用的數(shù)據(jù)集

為了評(píng)估所提出的行人檢測(cè)方法的性能，選用OSU 紅外行人數(shù)據(jù)集。該數(shù)據(jù)集包含6 類284 個(gè)行人圖像，588 個(gè)行人對(duì)象。這些圖像是在不同的天氣環(huán)境下使用高精度紅外攝像機(jī)拍攝的，例如晴天、小雨、多云和霧霾。圖像的尺寸為360×240。數(shù)據(jù)庫(kù)中的每個(gè)像素由8 位表示，即256 個(gè)灰度級(jí)。每個(gè)圖像序列集合的詳細(xì)信息如表1 所示。

表1 OSU 紅外行人數(shù)據(jù)集

2.2 效果評(píng)估方法

精度矩陣用于性能評(píng)估。TP、FP、FN 分別表示“真陽(yáng)”（模型預(yù)測(cè)為正的正樣本），“假陽(yáng)”（模型預(yù)測(cè)為正的負(fù)樣本）和“假陰”（模型預(yù)測(cè)為負(fù)的正樣本）。召回率用于評(píng)估行人檢測(cè)的完整性。其中高召回率值對(duì)應(yīng)于高檢測(cè)率，即召回率表示檢測(cè)率的穩(wěn)健性。

準(zhǔn)確率是衡量保真度的標(biāo)準(zhǔn)。它在式（19）中定義。高準(zhǔn)確率表示檢測(cè)到的“假正”數(shù)量低，即準(zhǔn)確率表示檢測(cè)的準(zhǔn)確性。

2.3 實(shí)驗(yàn)結(jié)果

文章中的實(shí)驗(yàn)平臺(tái)為Matlab2016b，計(jì)算機(jī)配置及參數(shù)為Intel i7-7300HQ CPU，內(nèi)存16GB。HOG單元尺寸與塊尺寸分別設(shè)置為8×8 和2×2。OCSLBP特征中參數(shù)半徑R=3，間隔P=9，閾值T=2。行人目標(biāo)紅外視頻序列使用IRJ-CT 型紅外照相機(jī)來(lái)拍攝，此相機(jī)的焦距為8 mm，水平視角為50°(HFOV)，相機(jī)的基準(zhǔn)線為120 mm，感光的波長(zhǎng)范圍為9～14 μm，圖像分辨率為1024×768。實(shí)驗(yàn)結(jié)果分為兩個(gè)階段。第一個(gè)階段：預(yù)處理結(jié)果；第二個(gè)階段：所提出的行人檢測(cè)方法與其他常用且效果好的行人檢測(cè)方法進(jìn)行比較。

預(yù)處理結(jié)果如圖3 所示。均值濾波使圖像平滑并且可以抑制背景信息。因此，經(jīng)過(guò)均值濾波的圖像質(zhì)量要比輸入圖像質(zhì)量好。LoG 濾波的結(jié)果在圖3(c)中顯示。LoG 濾波器結(jié)果圖像表示行人和背景之間的對(duì)比度。根據(jù)該結(jié)果，注意到LoG 濾波器感知來(lái)自圖3(b)中的對(duì)比度信息，這基于人類視覺(jué)機(jī)制。

圖3 預(yù)處理結(jié)果

行人候選區(qū)域生成結(jié)果如圖4 所示。閾值分割結(jié)果如圖4(a)所示。圖4(b)顯示了熱分析與運(yùn)動(dòng)分析融合后得到的Rf。在執(zhí)行寬度調(diào)整后，將兩個(gè)靠在一起的行人用兩個(gè)候選區(qū)域分開得到 sRf，結(jié)果如圖4(c)所示。最終生成的行人候選區(qū)域如圖4(d)所示。

圖4 行人候選區(qū)域生成結(jié)果

不同特征的分類性能如表2 所示。由表中的數(shù)據(jù)可知，在都應(yīng)用SVM 分類的情況下，使用HOG+OCS-LBP特征檢測(cè)達(dá)到了最高的檢測(cè)精度與召回率；而在都應(yīng)用HOG+OCS-LBP特征的情況下，使用隨機(jī)蕨分類器（RFs）分類使檢測(cè)精度與召回率基本不變的情況下使檢測(cè)時(shí)間縮短了3.7 s，將速度提升了近一倍。四種實(shí)驗(yàn)方法結(jié)果的ROC 曲線如圖5所示。

表2 不同特征的分類性能比較

圖5 ROC 曲線圖

在分類過(guò)程中，特征描述子起著重要的作用。為了選取與分類過(guò)程匹配的特征描述子，使用不同特征進(jìn)行實(shí)驗(yàn)，如局部二值模式（LBP），方向中心對(duì)稱局部二值模式（OCS-LBP），梯度方向直方圖（HOG）特征。通過(guò)實(shí)驗(yàn)明顯表明HOG+OCS-LBP方法優(yōu)于其他方法。

圖6 顯示了所提方法的一些樣本分類結(jié)果與HOG+OCS-LBP特征和其他特征方法的比較，標(biāo)識(shí)為行人的TP 與FP 對(duì)象方框。從結(jié)果可以看出，所提出的HOG+OCS-LBP 方法在檢測(cè)行人方面的性能優(yōu)于其他的方法。

圖6 樣本分類結(jié)果的比較

3 結(jié)束語(yǔ)

本文提出了一種運(yùn)用人類視覺(jué)對(duì)比機(jī)制和ROI融合的紅外圖像行人檢測(cè)方法。這種方法首先將輸入的紅外圖像進(jìn)行預(yù)處理，并通過(guò)ROI 的兩類信息融合來(lái)生成行人候選區(qū)域，增加行人信息與抑制背景信息，增強(qiáng)了行人與背景之間的對(duì)比度。此外，針對(duì)行人目標(biāo)在紅外圖像中存在較多干擾的問(wèn)題，提出一種改進(jìn)的低維度紋理特征OCS-LBP，將其作為HOG 的候選特征來(lái)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，與其他不同的特征提取方法和其他流行的紅外圖像行人檢測(cè)方法相比，在檢測(cè)時(shí)間、檢測(cè)精度方面都有所提升。但此方法在街景較為復(fù)雜與光照昏暗的條件下，效果不是很理想。下一步的研究工作需要將此方法的分類階段與深度學(xué)習(xí)結(jié)合，創(chuàng)建一個(gè)應(yīng)用于紅外行人檢測(cè)的神經(jīng)網(wǎng)絡(luò)。