基于遠(yuǎn)紅外成像技術(shù)的車(chē)載夜間行人檢測(cè)方法

林浩，馬可可，牛阿云，莊家俊

（仲愷農(nóng)業(yè)工程學(xué)院計(jì)算科學(xué)學(xué)院，廣州510225）

0 引言

夜間行車(chē)僅約占行車(chē)總量的25%，但卻有超過(guò)50%的交通事故發(fā)生于夜間，給行人等脆性目標(biāo)帶來(lái)了嚴(yán)重的威脅[1]。得益于惡劣環(huán)境適應(yīng)性強(qiáng)的優(yōu)點(diǎn)，紅外成像特別適合于在能見(jiàn)度差的夜間場(chǎng)景中執(zhí)行行人檢測(cè)任務(wù)[2]?；诩t外成像的行人檢測(cè)方法通常包含感興趣區(qū)域（Regions of Interest，RoIs）提取和行人識(shí)別兩個(gè)主要環(huán)節(jié)。劉瓊等人[3]提出一種融合行人區(qū)域顯著性的雙閾值圖像分割算法，實(shí)現(xiàn)了多尺度紅外行人分割，但該算法包含較多的模型參數(shù)。Dollar 等人[4]提出描述行人目標(biāo)的聚合通道特征（Aggregated Channel Feature，ACF），結(jié)合集成學(xué)習(xí)方法，提高了光學(xué)圖像中的行人檢測(cè)準(zhǔn)確性，但由于色彩信息的缺失，ACF 算子無(wú)法直接應(yīng)用于紅外行人檢測(cè)。崔少華等人[5]采用包含若干個(gè)卷積層和池化層的LeNet-7 框架，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的紅外行人檢測(cè)方法；許茗等人[6]在頻率域中生成紅外行人區(qū)域的顯著性熱圖，以行人目標(biāo)概率圖為期望輸出，提出了一種全卷積網(wǎng)絡(luò)行人檢測(cè)方法；上述基于深度學(xué)習(xí)的行人檢測(cè)方法雖能顯著提高紅外行人識(shí)別準(zhǔn)確性，但依賴于專(zhuān)屬GPU 硬件設(shè)備。筆者結(jié)合遠(yuǎn)紅外行人目標(biāo)的成像特性，提出一種基于遠(yuǎn)紅外圖像序列的行人檢測(cè)方法，結(jié)合全局和局部圖像分割策略快速準(zhǔn)確定位潛在目標(biāo)區(qū)域，在AdaBoost 集成學(xué)習(xí)框架下引入多目標(biāo)跟蹤機(jī)制，以提高夜間行人檢測(cè)系統(tǒng)的魯棒性。

1 實(shí)驗(yàn)數(shù)據(jù)

在長(zhǎng)城小轎車(chē)上搭載了一顆熱像儀（廣州颯特紅外股份有限公司NV-628），于廣州大學(xué)城和廣州大道上采集了6 段遠(yuǎn)紅外視頻，視頻采集時(shí)間段為晚上7-8點(diǎn)之間，轎車(chē)行駛速度范圍為20-60 km/h，視頻采集幀率為25 f/s、分辨率為352 像素×288 像素；通過(guò)間隔2幀的數(shù)據(jù)采樣方式從6 段視頻中提取了6087 幅遠(yuǎn)紅外圖像，并隨機(jī)將其分成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集兩個(gè)部分（各包含3 段視頻），其分別包含2934 和3153幅圖像；將訓(xùn)練數(shù)據(jù)集中從包含行人目標(biāo)的圖像（共2493 幅）中提取了10804 個(gè)行人目標(biāo)區(qū)域，對(duì)于部分行人目標(biāo)經(jīng)過(guò)鏡像得到額外的4079 個(gè)行人目標(biāo)，共14883 個(gè)行人目標(biāo)區(qū)域組成正訓(xùn)練樣本，圖1 給出了正訓(xùn)練樣本寬高比分布圖，將剩余僅包含背景目標(biāo)的圖像（共441 幅）作為負(fù)訓(xùn)練樣本的篩選來(lái)源；以最小外接矩形的方式標(biāo)注了測(cè)試數(shù)據(jù)集中所有的行人目標(biāo)區(qū)域（共4463 個(gè)行人），以作為算法驗(yàn)證的客觀標(biāo)準(zhǔn)。

圖1 行人目標(biāo)成像尺度分布圖

2 遠(yuǎn)紅外行人檢測(cè)方法

提出的遠(yuǎn)紅外行人檢測(cè)方法包含感興趣區(qū)域（RoIs）提取、行人特征表達(dá)與識(shí)別和行人跟蹤三個(gè)主要部分。

2.1 RoIs提取

設(shè)計(jì)一種基于改進(jìn)雙閾值分割策略的RoIs 提取算法，分別從全局和局部圖像閾值分割兩個(gè)層面獲取潛在的遠(yuǎn)紅外人體區(qū)域，并通過(guò)區(qū)域合并機(jī)制抑制圖像過(guò)分割效應(yīng)，以產(chǎn)生更精確的RoIs，具體步驟如下：

（1）圖像全局閾值分割

如圖2 所示，遠(yuǎn)紅外人體區(qū)域表現(xiàn)出成像灰度值普遍高于周?chē)鄶?shù)背景目標(biāo)的特點(diǎn)，鑒于全局閾值分割通常具有處理速度快的優(yōu)點(diǎn)，首先通過(guò)公式（1）獲取能有效濾除大多數(shù)背景區(qū)域的全局圖像分割閾值TG

其中，μ和σ分別為輸入圖像的灰度平均值和標(biāo)準(zhǔn)差，λ為擾動(dòng)參數(shù)。圖3（b）給出了一幅遠(yuǎn)紅外圖像的全局閾值分割效果。由分割結(jié)果可以看出，全局閾值化后已得到大部分前景，但仍有部分較亮的背景區(qū)域也被分割出來(lái)，易導(dǎo)致干擾背景與行人區(qū)域產(chǎn)生粘連現(xiàn)象，故以此為基礎(chǔ)，進(jìn)一步采用局部閾值分割濾除與行人相互粘連的背景區(qū)域。

圖2 遠(yuǎn)紅外行人區(qū)域灰度分布拓?fù)鋱D

圖3 遠(yuǎn)紅外圖像全局閾值分割

（2）圖像局部閾值分割

遠(yuǎn)紅外圖像中目標(biāo)的成像灰度值與其散發(fā)的熱輻射有較大的關(guān)聯(lián)，道路交通場(chǎng)景中可能存在一定數(shù)量的干擾熱源，使得其難以在全局閾值圖像分割環(huán)節(jié)中被有效濾除，為避免干擾熱源對(duì)圖像全局閾值分割效果的影響，采用局部閾值圖像分割獲取局部人體區(qū)域。

鑒于站立人體的圖像區(qū)域一般呈現(xiàn)寬高比數(shù)值較低的特性，通過(guò)指定尺度的矩形窗口限制圖像的局部區(qū)域，據(jù)此計(jì)算對(duì)應(yīng)的局部分割閾值。由圖1 所示行人訓(xùn)練樣本的寬高比分布于1:3 前后，且樣本集中行人目標(biāo)成像尺度面積約為400 像素，故采用大小為13 像素×41 像素、步長(zhǎng)為1 像素的滑動(dòng)窗口進(jìn)行潛在行人目標(biāo)區(qū)域的局部遍歷，并通過(guò)公式（2）獲取圖像局部分割閾值：

其中，I 為輸入圖像，h 和w 分別表示局部區(qū)域中像素點(diǎn)的縱坐標(biāo)為（20+j）的橫坐標(biāo)范圍以及橫坐標(biāo)為（6+i）的縱坐標(biāo)范圍，γ是局部分割閾值擾動(dòng)系數(shù)。進(jìn)一步，采用公式（3）所示的決策規(guī)則實(shí)現(xiàn)圖像局部閾值分割，圖3（c）給出圖3（a）所示圖像的局部閾值分割效果。

相比于圖像的全局滑窗法，以全局閾值分割結(jié)果為基礎(chǔ)進(jìn)行前景區(qū)域的局部滑窗掃描方式可有效降低RoIs 提取環(huán)節(jié)的計(jì)算開(kāi)銷(xiāo)。此外，由圖3 可以看出，從全局和局部?jī)蓚€(gè)層面進(jìn)行前景區(qū)域分割，還能獲得更高的分割準(zhǔn)確率。

（3）區(qū)域合并與RoIs 生成

圖4（a）給出了基于圖3（c）所示閾值化分割圖像的RoIs 生成結(jié)果，可以看出，部分人體區(qū)域存在一定程度的過(guò)分割效應(yīng)，導(dǎo)致獨(dú)立人體區(qū)域被劃分成若干子區(qū)域，為提高RoIs 生成結(jié)果的精確度，結(jié)合區(qū)域合并策略將臨近的兩個(gè)子區(qū)域（如上下或左右毗鄰）重組成一個(gè)完整區(qū)域，要求臨近兩個(gè)子區(qū)域在歐氏空間中的距離小于閾值5 像素（該參數(shù)通過(guò)訓(xùn)練樣本集確定），圖4（b）給出了基于區(qū)域合并策略的RoIs 生成結(jié)果。

圖4 RoIs生成

2.2 行人特征表達(dá)與識(shí)別

（1）行人特征表達(dá)

雖然遠(yuǎn)紅外圖像缺乏目標(biāo)的色彩信息，但行人區(qū)域與其余背景目標(biāo)區(qū)域在亮度、紋理和形狀等外觀表征方面仍存在較為顯著的差異性，而聚合通道特征（Aggregate Channels Feature，ACF）[4]有利于從多種不同特征通道中提取出表征人體不同外觀特性的描述特征，故通過(guò)LUV 色彩空間轉(zhuǎn)換后分離出獨(dú)立于色彩信息的亮度分量，以此為基礎(chǔ)采用ACF 算子提取具有7個(gè)特征通道的行人描述特征，圖5 給出了一幅遠(yuǎn)紅外行人圖像的聚合通道梯度特征提取效果。

圖5 遠(yuǎn)紅外行人目標(biāo)的ACF特征表達(dá)

（2）行人識(shí)別

ACF 特征中仍可能存在一定的冗余性，而通過(guò)集成學(xué)習(xí)方法有利于從中訓(xùn)練針對(duì)性的魯棒行人識(shí)別模型。故采用AdaBoost 算法對(duì)提取所得的ACF 特征進(jìn)行訓(xùn)練，其中基礎(chǔ)分類(lèi)器的數(shù)量設(shè)為2048 個(gè)，而訓(xùn)練基礎(chǔ)分類(lèi)器的算法為分類(lèi)與回歸樹(shù)CART；由于行人檢測(cè)屬于“稀有事件”檢測(cè)問(wèn)題[7]，為提高后層基礎(chǔ)分類(lèi)器的魯棒性、同時(shí)避免類(lèi)別偏斜問(wèn)題，將集成學(xué)習(xí)過(guò)程中的每層正負(fù)訓(xùn)練樣本數(shù)量比例設(shè)置為1:5。

2.3 行人跟蹤

基于靜態(tài)/單幀圖像的檢測(cè)方式容易產(chǎn)生較多的目標(biāo)漏識(shí)別現(xiàn)象，為進(jìn)一步提高行人識(shí)別結(jié)果的準(zhǔn)確性，采用尺度自適應(yīng)跟蹤算法（Discriminative Scale Space Tracker，DSST）[8]在連續(xù)多幀的動(dòng)態(tài)圖像序列中跟蹤已識(shí)別到的行人目標(biāo)，以濾除行人識(shí)別環(huán)節(jié)中錯(cuò)誤檢測(cè)的大量干擾背景。DSST 算法可通過(guò)相關(guān)濾波器預(yù)測(cè)目標(biāo)尺度，適合于多尺度目標(biāo)跟蹤任務(wù)，此處結(jié)合訓(xùn)練數(shù)據(jù)集設(shè)置相關(guān)濾波器的維數(shù)為33，以行人識(shí)別環(huán)節(jié)判定結(jié)果的區(qū)域質(zhì)心為基準(zhǔn)，獲取了33 個(gè)不同尺度的目標(biāo)圖像，并提取對(duì)應(yīng)目標(biāo)的梯度累計(jì)特征（源自ACF特征），從而形成一個(gè)33 維的空間域特征金字塔。在預(yù)測(cè)過(guò)程中，將空間域特征金字塔的第t 維特征歸一化成1×t 大小的特征向量（t≤33），結(jié)合一維離散傅里葉正反變換在頻率域中對(duì)第t 維特征（共33 維）進(jìn)行相關(guān)運(yùn)算并映射回空間域，其中具有最大響應(yīng)值所對(duì)應(yīng)的尺度即為預(yù)測(cè)的目標(biāo)尺度，具體跟蹤流程如圖6 所示。

圖6 基于DSST的行人跟蹤流程圖

2.4 評(píng)估指標(biāo)

采用漏檢率（Miss Rate，MR）和誤檢率（Error-detection Rate，ER）來(lái)評(píng)估行人檢測(cè)結(jié)果的準(zhǔn)確性，其定義分別見(jiàn)公式（4）和（5），式中TP 為真陽(yáng)性樣本數(shù)量，F(xiàn)N 為假陰性樣本數(shù)量，F(xiàn)P 為假陽(yáng)性樣本數(shù)量。

3 實(shí)驗(yàn)結(jié)果與討論

在配備Intel Core i5 6300HQ CPU（2.3GHz）、8GB RAM 和NVIDIA GTX 1050 GPU（2GB）的MATLAB R2019a 平臺(tái)上開(kāi)展行人檢測(cè)算法的驗(yàn)證與分析。

3.1 RoIs提取結(jié)果分析

為了評(píng)估所提算法的前景分割性能，圖7 給出了不同RoIs 提取算法對(duì)潛在遠(yuǎn)紅外行人目標(biāo)的提取效果示例。由圖7（b）可以看出，文獻(xiàn)[9]采用的水平線局部雙閾值分割策略未能很好地過(guò)濾更多的干擾背景區(qū)域，而本文算法能獲得更精確的中近景潛在目標(biāo)提取結(jié)果（如圖7（c）所示），有利于減少后續(xù)行人識(shí)別與跟蹤結(jié)果中由干擾背景引入的誤差；此外，文獻(xiàn)[9]的方法需要遍歷遠(yuǎn)紅外圖像中的所有像素，具有較高的計(jì)算時(shí)間復(fù)雜度，而本文方法事先通過(guò)全局閾值分割策略濾除了大部分背景像素點(diǎn)，在隨后選取局部分割閾值時(shí)，只需要遍歷全局閾值化結(jié)果中潛在前景區(qū)域的像素點(diǎn)，有利于提高RoIs 提取環(huán)節(jié)的計(jì)算效率。

圖7 RoIs提取效果對(duì)比

3.2 行人識(shí)別與跟蹤結(jié)果分析

由于數(shù)據(jù)集中的行人尺寸差異較大，在行人識(shí)別環(huán)節(jié)，根據(jù)行人樣本區(qū)域面積大小分布，將行人分為遠(yuǎn)景、中景和近景目標(biāo)，分別為每一類(lèi)目標(biāo)訓(xùn)練一個(gè)Ada-Boost 分類(lèi)器；遠(yuǎn)景分類(lèi)器尺寸為138 像素×44 像素、中景分類(lèi)器尺寸為110 像素×36 像素、近景目標(biāo)尺寸為70 像素×24 像素。在441 幅僅包含背景目標(biāo)的圖像中通過(guò)Bootstrap 策略共富集了40625 個(gè)負(fù)訓(xùn)練樣本。采用針對(duì)紅外目標(biāo)表達(dá)的ACF 描述子和AdaBoost 訓(xùn)練策略，在測(cè)試數(shù)據(jù)集上的MR 和ER 分別為25.49%和13.91%。結(jié)合具有尺度估計(jì)的DSST 多目標(biāo)跟蹤模塊后，在測(cè)試數(shù)據(jù)集上的MR 和ER 分別降低為11.63%和3.34%，可以看出，多目標(biāo)跟蹤算法的引入有利于進(jìn)一步提高行人檢測(cè)結(jié)果的準(zhǔn)確性，這是因?yàn)槌Ｒ?guī)的行人識(shí)別僅針對(duì)單幀圖像中的目標(biāo)檢測(cè)問(wèn)題，而無(wú)法獲取目標(biāo)在連續(xù)多幀圖像中的運(yùn)動(dòng)參數(shù)信息，部分誤檢的干擾背景容易在單幀圖像中出現(xiàn)，但一般難以在連續(xù)若干幀圖像中持續(xù)出現(xiàn)，其運(yùn)動(dòng)參數(shù)（如軌跡）顯著有別于行人目標(biāo)，一定程度上可被多目標(biāo)跟蹤濾波器濾除，從而達(dá)到提高行人檢測(cè)結(jié)果魯棒性的目的。

圖8 給出了不同道路場(chǎng)景中的部分行人識(shí)別結(jié)果，其中黃色矩形標(biāo)識(shí)正確識(shí)別的行人目標(biāo)、品紅色矩形標(biāo)識(shí)被誤檢的干擾背景目標(biāo)（如圖8（e）所示）、紅色矩形標(biāo)識(shí)被漏檢的行人目標(biāo)（如圖8（f）所示）。值得指出的是，在測(cè)試數(shù)據(jù)集上出現(xiàn)的漏檢行人絕大多數(shù)是被標(biāo)注為遠(yuǎn)景目標(biāo)的一類(lèi)測(cè)試數(shù)據(jù)，然而，遠(yuǎn)紅外圖像中的多數(shù)遠(yuǎn)景目標(biāo)通常表現(xiàn)為模糊小目標(biāo)，這類(lèi)目標(biāo)甚至難以通過(guò)人工方式準(zhǔn)確標(biāo)注，往往這類(lèi)目標(biāo)被評(píng)估為歧義性目標(biāo)，而隨著汽車(chē)的前向運(yùn)動(dòng)，這類(lèi)歧義性目標(biāo)將逐漸成為信息量更豐富的中近景目標(biāo)，故中近景行人是汽車(chē)駕駛輔助系統(tǒng)中更為關(guān)注的運(yùn)動(dòng)目標(biāo)[10]。

圖8 部分行人檢測(cè)結(jié)果示例

4 結(jié)語(yǔ)

提出一種基于遠(yuǎn)紅外成像技術(shù)的車(chē)載夜間行人檢測(cè)方法，主要結(jié)論如下：

（1）通過(guò)全局閾值分割可濾除大量明顯不包含遠(yuǎn)紅外行人目標(biāo)的圖像子區(qū)域，提高RoIs 區(qū)域提取的計(jì)算效率，以此為基準(zhǔn)結(jié)合局部閾值分割和區(qū)域合并機(jī)制能抑制潛在目標(biāo)區(qū)域的過(guò)分割，提高RoIs 提取結(jié)果的精確度；

（2）從遠(yuǎn)紅外圖像亮度分量中提取的ACF 特征能有效表達(dá)行人目標(biāo)的局部形狀和邊緣輪廓，結(jié)合Ada-Boost 學(xué)習(xí)算法和訓(xùn)練樣本數(shù)量約束策略有利于緩解“稀有事件”檢測(cè)對(duì)行人識(shí)別準(zhǔn)確性的影響；

（3）通過(guò)DSST 多目標(biāo)跟蹤策略過(guò)濾大量基于單幀圖像的錯(cuò)誤行人識(shí)別結(jié)果，可提高行人檢測(cè)結(jié)果的魯棒性。