基于弱顯著圖的實時熱紅外圖像行人檢測

李傳東，徐望明,3，伍世虔

（1.武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北 武漢 430081；2.武漢科技大學(xué)機器人與智能系統(tǒng)研究院，湖北 武漢 430081；3.武漢科技大學(xué)教育部冶金自動化與檢測技術(shù)工程研究中心，湖北 武漢 430081）

0 引言

自動行人檢測技術(shù)被廣泛應(yīng)用于車載安全系統(tǒng)、視頻監(jiān)控系統(tǒng)等計算機視覺任務(wù)中?；诳梢姽鈭D像的行人檢測算法在光照不足、不均時效果較差，而基于熱紅外圖像的行人檢測算法因其熱輻射成像原理受光照條件影響小，適合全天候工作，近年來得以廣泛關(guān)注且成為研究熱點。傳統(tǒng)的熱紅外行人檢測算法主要通過提取人工特征并結(jié)合分類器實現(xiàn)，如：劉峰等[1]提出了一種多特征級聯(lián)方法，利用感興趣區(qū)域長寬比特征和頭部Haar 特征組成初級分類器，再通過HOG（Histogram of Oriented Gradient）與SVM（Support Vector Machine）結(jié)合的方式得到最終檢測結(jié)果；Cai等[2]提出一種對顯著圖提取局部強度差異直方圖特征并使用SVM 分類器得到行人檢測結(jié)果；還有些方法通過提取感興趣區(qū)域或熱點圖，將其轉(zhuǎn)化為特征向量送入分類器進行判別[3-5]。這類傳統(tǒng)方法由于依賴于特征設(shè)計，存在魯棒性不強、準(zhǔn)確率較低等缺點。隨著深度學(xué)習(xí)的發(fā)展，使用深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）來解決行人檢測問題成為當(dāng)前主流方法。DCNN 能夠自學(xué)習(xí)更可靠、表達(dá)能力更強的圖像特征，使得行人檢測方法泛化能力更強、檢測精度更高，如李慕鍇等[6]通過將YOLOv3 與SENet 兩種深度網(wǎng)絡(luò)進行結(jié)合，提高了檢測精度。

不過，因夜晚環(huán)境與人體溫度相差較大，包含行人的熱紅外圖像會呈現(xiàn)較明顯的人體邊緣，有利于算法檢測，而在溫差較小的白天人體目標(biāo)成像不夠明顯，會導(dǎo)致算法檢測效果差。Liu 等[7]和Wagner 等[8]提出多光譜融合的行人檢測方法，將可見光與熱紅外圖像同時送入深度網(wǎng)絡(luò)，利用兩者優(yōu)劣勢互補提高了檢測精度，但多光譜融合方法需要使用多個傳感器，成本較高，且不同光譜圖像很難完全對準(zhǔn)。Ghose 等[9]以熱紅外圖像作為深度網(wǎng)絡(luò)輸入，結(jié)合強顯著圖檢測來緩解溫差較小時行人與背景對比度低的問題，但顯著圖中出現(xiàn)漏檢時，行人會被視作背景而忽略，且該方法使用復(fù)雜的顯著性檢測網(wǎng)絡(luò)，以像素級標(biāo)注作為顯著圖標(biāo)簽進行訓(xùn)練，費時較長。此外，上述方法中均采用了較為復(fù)雜的Faster R-CNN 或YOLO 系列網(wǎng)絡(luò)，在實際應(yīng)用中實現(xiàn)實時檢測需要依賴昂貴的硬件資源。

針對以上問題，本文提出一種基于弱顯著圖的實時熱紅外行人檢測方法，采用弱標(biāo)注方式訓(xùn)練顯著性檢測網(wǎng)絡(luò)，將顯著性檢測網(wǎng)絡(luò)和目標(biāo)檢測網(wǎng)絡(luò)產(chǎn)生的結(jié)果進行融合從而提高行人檢測準(zhǔn)確率；同時，本文方法以輕量級單目標(biāo)檢測網(wǎng)絡(luò)LFFD[10]為基礎(chǔ)進行改進，使之在硬件資源有限的情況下也能實時工作。

1 LFFD 網(wǎng)絡(luò)簡述

LFFD 是由He 等提出的一種實用輕量級單目標(biāo)檢測網(wǎng)絡(luò)[10]，最初針對人臉檢測任務(wù)設(shè)計，但能方便地擴展到行人檢測、頭部檢測、車輛檢測等任務(wù)中。作為一種無錨框（Anchor-free）網(wǎng)絡(luò)，LFFD 利用感受野作為天然錨框，特征圖中的每個像素點都具有相對應(yīng)大小的感受野，當(dāng)前像素點的感受野大小就是錨框大小。文中提出淺層網(wǎng)絡(luò)的有效感受野要比小目標(biāo)尺度大，這樣可充分利用周圍特征對目標(biāo)檢測的貢獻(xiàn)；由于深層網(wǎng)絡(luò)的感受野較大，適合檢測大目標(biāo)，同時大目標(biāo)本身有足夠的特征信息輔助目標(biāo)判別，因此有效感受野與目標(biāo)比例無需太大?；谶@些觀點，通過精心設(shè)計感受野大小，可將錨框大小覆蓋目標(biāo)檢測的各個尺度，同時能在一定程度上緩解小目標(biāo)檢測問題。LFFD 網(wǎng)絡(luò)結(jié)構(gòu)簡單，便于在各個平臺上部署，且運行速度較快。

本文方法使用的基礎(chǔ)網(wǎng)絡(luò)就是用來解決行人檢測任務(wù)的LFFD，其結(jié)構(gòu)如圖1所示，包含由20 個卷積層C1～C20 組成的骨干網(wǎng)絡(luò)（backbone），并包含4 個不同的輸出分支（out branch），負(fù)責(zé)檢測不同尺度大小的目標(biāo)，高層網(wǎng)絡(luò)具有較大的感受野，適合用來預(yù)測較大目標(biāo)，因此輸出目標(biāo)的大小從out branch1到out branch4 依次遞增。

圖1 LFFD 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The net work str ucture of LFFD

LFFD 在速度與精度間有較好的平衡，運行速度快，但與復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)相比提取的圖像特征表達(dá)能力有限，影響了檢測精度，因此本文方法使用兩級改進的LFFD，增強網(wǎng)絡(luò)提取特征的表達(dá)能力，在提高檢測精度的同時保證實時性。

2 行人檢測方法原理及實現(xiàn)

2.1 行人檢測方法流程

本文提出的基于弱顯著圖的實時熱紅外圖像行人檢測方法的工作流程如圖2所示，使用了兩級改進的LFFD 網(wǎng)絡(luò)。為便于表述，本文將原始LFFD 網(wǎng)絡(luò)簡稱為ORI-LFFD（Original LFFD），其輸入為熱紅外圖像，輸出為目標(biāo)檢測結(jié)果，包括位置信息、類別信息和置信度。兩級LFFD 都是在ORI-LFFD 基礎(chǔ)之上進行改進，前一級增加目標(biāo)顯著性檢測功能，簡稱為SD-LFFD，其輸入為熱紅外圖像，輸出為目標(biāo)位置信息、類別信息和置信度以及弱顯著圖；后一級為融合上述弱顯著圖信息進行進一步檢測的LFFD 網(wǎng)絡(luò)，簡稱為SF-LFFD，其輸入為弱顯著圖與原始熱紅外圖像，輸出為目標(biāo)位置信息、類別信息和置信度。

圖2 本文方法的工作流程Fig.2 Flowc hart of the pr oposed method

本文方法的工作流程可概括為3個步驟：

1）將原始熱紅外圖像送入SD-LFFD 網(wǎng)絡(luò)，產(chǎn)生初步行人檢測結(jié)果，同時產(chǎn)生行人區(qū)域弱顯著圖。訓(xùn)練SD-LFFD網(wǎng)絡(luò)時，只需將已標(biāo)記的的行人區(qū)域作為顯著性檢測的標(biāo)簽，故易于實現(xiàn)。

2）將產(chǎn)生的弱顯著圖與原始熱紅外圖像進行結(jié)合送入SF-LFFD 中再一次進行檢測，產(chǎn)生新的行人檢測結(jié)果。為保持LFFD網(wǎng)絡(luò)輸入通道數(shù)不變，本文輸入的原始熱紅外圖像是是RGB 格式，但3 個通道像素值相同（其實質(zhì)為灰度圖像），因此該步驟中取其中兩通道與SD-LFFD 產(chǎn)生的弱顯著圖組成新的三通道圖像，再送入SF-LFFD 中進行預(yù)測得到新的行人檢測結(jié)果。該做法的優(yōu)點在于能夠“點亮”潛在行人區(qū)域，使神經(jīng)網(wǎng)絡(luò)能聚焦在可能的行人區(qū)域并抑制背景信息，從而凸顯行人區(qū)域。

3）將兩級改進的L FFD 網(wǎng)絡(luò)即SD-LFFD和SF-LFFD 產(chǎn)生的行人檢測結(jié)果融合得到最終結(jié)果，即行人的位置信息、類別信息和置信度。使用兩級改進的L FFD 網(wǎng)絡(luò)，相當(dāng)于將ORI-LFFD網(wǎng)絡(luò)結(jié)構(gòu)加深，增強了網(wǎng)絡(luò)信息處理和特征表達(dá)能力。

2.2 弱顯著性檢測網(wǎng)絡(luò)S D-LFFD

SD-LFFD網(wǎng)絡(luò)主要由兩部分組成：①目標(biāo)檢測部分，與ORI-LFFD 結(jié)構(gòu)相同，主要用來生成目標(biāo)位置信息、類別信息和置信度；②目標(biāo)顯著性檢測部分，在O RI-L FFD基礎(chǔ)上進行改造，主要用來產(chǎn)生弱顯著圖，實現(xiàn)對熱紅外圖像中行人區(qū)域的粗略增強。

為追求速度，本文方法不使用像素級強顯著圖檢測方法[11]，只簡單地將網(wǎng)絡(luò)多個輸出層的特征圖連接后輸出即可。在深度網(wǎng)絡(luò)中，從低層的特征層進行輸出，紋理信息豐富，能較好地定位圖像重要區(qū)域，但缺乏語義信息，難以準(zhǔn)確區(qū)分行人和背景，會導(dǎo)致在熱紅外圖像中的汽車、路燈等高亮區(qū)域也被輸出為行人；而從高層的特征層進行輸出，則正好相反。因此將尺度小、語義信息充足的高層特征和尺度大、缺乏語義信息的低層特征連接，實現(xiàn)了不同尺度特征的融合，可改善檢測效果。具體做法是：在ORI-LFFD的網(wǎng)絡(luò)結(jié)構(gòu)中的C11、C14、C17和C20四個輸出分支處插入卷積層和上采樣層，將得到的特征圖在通道維度上連接，經(jīng)過一個1×1的卷積層改變通道數(shù)，最后經(jīng)過sigmod激活函數(shù)進行輸出，對輸出的特征圖利用雙線性插值的方式進行縮放即可得到最終顯著圖。SD-LFFD中顯著性檢測網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

圖3 顯著性檢測網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The structureof saliency detection network

SD-LFFD的損失函數(shù)為：

式中：i表示第i個輸出分支；j表示第j個像素點；S表示當(dāng)前輸出分支面積S＝w×h。第1項是分類損失函數(shù)Lc，使用交叉熵?fù)p失函數(shù)，當(dāng)?shù)趇個輸出分支第j個像素點落入真實框中，則cij＝1，否則cij＝0；第2項是回歸損失函數(shù)Lr，使用L2損失函數(shù)，tij表示的是當(dāng)前像素點感受野對應(yīng)的坐標(biāo)位置與真實框坐標(biāo)位置的相對位移；第3項是顯著性檢測部分的損失函數(shù)Ls，使用交叉熵?fù)p失函數(shù)，k表示第k個像素點，p表示顯著圖標(biāo)簽，行人區(qū)域pk＝1，背景區(qū)域pk＝0。

訓(xùn)練SD-LFFD網(wǎng)絡(luò)時，顯著圖標(biāo)注方式如圖4所示，其中(a)為原圖，(b)為標(biāo)簽。由于熱紅外行人檢測的像素級標(biāo)注數(shù)據(jù)集很少，標(biāo)注過程繁瑣、成本高，且本文方法無需高精度顯著性檢測結(jié)果，只需粗略的顯著圖便可達(dá)到突出行人潛在區(qū)域的目的，因此本文方法通過簡化顯著性檢測網(wǎng)絡(luò)結(jié)構(gòu)和弱標(biāo)注的方式來產(chǎn)生弱顯著圖，提高檢測效率。

圖4 顯著圖標(biāo)簽Fig.4 Saliency map label

由于SD-LFFD網(wǎng)絡(luò)中顯著性檢測部分與目標(biāo)檢測部分的輸出形式和對于特征圖的利用方式不同，會導(dǎo)致二者對于行人區(qū)域的輸出不一致。對于顯著圖中檢測到行人區(qū)域而目標(biāo)檢測網(wǎng)絡(luò)發(fā)生漏檢時，可通過顯著圖與熱紅外圖像結(jié)合，送入下一級LFFD網(wǎng)絡(luò)即SF-LFFD再次檢測，對其進行彌補；雖然本文方法僅使用弱顯著圖來突出行人，但SF-LFFD的輸入圖像中仍包含了兩通道不變的熱紅外圖像信息，故使用弱顯著圖相當(dāng)于增強了原始紅外圖像中的行人區(qū)域，有利于SF-LFFD進行更準(zhǔn)確地檢測。對于目標(biāo)檢測網(wǎng)絡(luò)檢測到行人區(qū)域，而顯著圖中發(fā)生漏檢時，行人作為背景被抑制導(dǎo)致SF-LFFD出現(xiàn)漏檢，則可通過對SD-LFFD與SF-LFFD產(chǎn)生的行人檢測結(jié)果進行融合實現(xiàn)彌補。

2.3 兩級LFFD網(wǎng)絡(luò)的檢測結(jié)果融合

本文中將兩級LFFD網(wǎng)絡(luò)即SD-LFFD和SF-LFFD產(chǎn)生的行人檢測結(jié)果進行融合，實現(xiàn)兩種方法的互補，以得到更準(zhǔn)確的結(jié)果。將SD-LFFD產(chǎn)生的置信度和位置信息分別表示為CSD-LFFD和BSD-LFFD，將SF-LFFD產(chǎn)生的置信度和位置信息分別表示為CSF-LFFD和BSF-LFFD，則最終輸出的置信度和位置信息Cout和Bout為：

確定參數(shù)wCSD-LFFD，wCSF-LFFD，wBSD-LFFD，wBSF-LFFD時，由于SF-LFFD 的輸入結(jié)合了SD-LFFD 產(chǎn)生的顯著圖和原始熱紅外圖像，故SF-LFFD 的檢測結(jié)果要優(yōu)于SD-LFFD，從而可設(shè)置wSF-LFFD＞wSD-LFFD，且wSF-LFFD＋wSD-LFFD＝1。本文基于上述原則嘗試了多組值取得的效果后，取wCSD-LFFD＝0.3，wCSF-LFFD＝0.7，wBSD-LFFD＝0.2，wBSF-LFFD＝0.8。

3 實驗研究

3.1 實驗數(shù)據(jù)集及訓(xùn)練參數(shù)設(shè)置

為了驗證本文方法的有效性，采用CVC-09[12]和CVC-14[13]兩個典型的熱紅外圖像行人數(shù)據(jù)集進行網(wǎng)絡(luò)訓(xùn)練和測試。訓(xùn)練時將白天和夜晚的訓(xùn)練集合并，測試時將白天與夜晚的測試集分開，以便比較兩種不同環(huán)境下的行人檢測效果。兩個數(shù)據(jù)集的樣本分布如表1所示。為提升網(wǎng)絡(luò)的魯棒性，采用了隨機裁剪、隨機水平翻轉(zhuǎn)等操作進行數(shù)據(jù)增強。

表1 CVC-09 和CVC-14 數(shù)據(jù)集的樣本分布Table 1 The distribution of samples in CVC-09 and CVC-14

由于原CVC-09 數(shù)據(jù)集在訓(xùn)練集中將騎行的人標(biāo)注成行人類別，但在測試集中卻未進行標(biāo)注，為了保持統(tǒng)一性，本文將CVC-09 測試集中騎行的人重新標(biāo)注為行人類別，且所有實驗都是在重新標(biāo)注的數(shù)據(jù)集上進行的。

網(wǎng)絡(luò)訓(xùn)練時，本文使用MXNet 框架，NVIDIA GTX 1080 GPU，CUDA 版本10.0，cuDNN 版本7.6.5，使用SGD 梯度下降法，初始學(xué)習(xí)率（learning rate）為0.1，動量（momentum）為0.9，批大?。╞atch size）為16。為避免正負(fù)樣本嚴(yán)重不均衡，采用正負(fù)樣本比例1:5 的方式限制負(fù)樣本數(shù)量來進行反向傳播，保證訓(xùn)練過程更快更穩(wěn)定。整個訓(xùn)練過程迭代200000 次，學(xué)習(xí)率設(shè)置為動態(tài)調(diào)整，在第60000 和第120000 次迭代時將學(xué)習(xí)率降低90%。

3.2 實驗結(jié)果及分析

1）行人檢測準(zhǔn)確率比較

本文使用P-R（Precision-Recall）曲線作為評價指標(biāo)。P-R 曲線刻畫了精確率（Precision）和召回率（Recall）之間的關(guān)系。精確率和召回率分別定義為：

式中：TP 為正樣本被正確預(yù)測的數(shù)量；FP 為負(fù)樣本被預(yù)測為正樣本的數(shù)量；FN 為正樣本被預(yù)測為負(fù)樣本的數(shù)量。將所有樣本按預(yù)測為正樣本的置信度從大到小排序，根據(jù)設(shè)置的IoU 閾值（本文取0.5），計算Precision 和Recall 值，并以Recall 為橫坐標(biāo)、Precision 為縱坐標(biāo)繪圖即得到P-R 曲線。P-R 曲線下方面積即為平均精確率（Average Precision，AP），AP 值越高，效果越好。

本文行人檢測實驗結(jié)果的P-R 曲線如圖5所示，比較了ORI-LFFD、SD-LFFD、SF-LFFD 以及本文方法（即SD-LFFD＋SF-LFFD）得到的檢測結(jié)果，其中圖5(a)和(b)分別為CVC-09 數(shù)據(jù)集白天和夜晚的測試結(jié)果，圖5(c)和(d)分別為CVC-14 數(shù)據(jù)集白天和夜晚的測試結(jié)果。 在 4 幅圖中本文方法（即SD-LFFD+SF-LFFD）得到的P-R 曲線均優(yōu)于其它3種獨立網(wǎng)絡(luò)（即ORI-LFFD、SD-LFFD 或SF-LFFD），可見本文方法對兩級改進的LFFD 網(wǎng)絡(luò)的行人檢測結(jié)果進行融合能有效提升最終的行人檢測精度。表2列出了不同網(wǎng)絡(luò)行人檢測的AP 值，其中Day、Night和Total 分別代表數(shù)據(jù)集中白天、夜晚和整體數(shù)據(jù)集3種測試場景。

圖5 兩個數(shù)據(jù)集上行人檢測結(jié)果的P-R 曲線Fig.5 The P-R curves of pedestrian detection results on two datasets

表2 行人檢測AP 值比較Table 2 AP comparison for pedestrian detection%

相比于原始LFFD 網(wǎng)絡(luò)（即ORI-LFFD），本文方法（即SD-LFFD＋SF-LFFD）在CVC-09 數(shù)據(jù)集上整體檢測效果提升了近5%，在CVC-14 數(shù)據(jù)集上提升了近11%。由于白天人體與環(huán)境溫差較夜晚要小，白天的檢測效果往往要比夜晚差，在使用本文方法后白天和夜晚的檢測精度都有提升，且對白天的提升更為明顯，尤其在CVC-14 數(shù)據(jù)集上提高了近13%，因此本文方法能夠在一定程度上緩解熱紅外圖像在白天檢測效果較差的問題。此外，SF-LFFD 的AP 值在不同的數(shù)據(jù)集和不同的測試場景中均要優(yōu)于ORI-LFFD 和SD-LFFD，可以體現(xiàn)出本文方法中使用弱顯著圖對于提升SF-LFFD 網(wǎng)絡(luò)的目標(biāo)檢測效果是有幫助的。

2）與典型輕量級檢測網(wǎng)絡(luò)的對比

進一步在相同條件下通過實驗將本文改進的輕量級網(wǎng)絡(luò)與典型的輕量級目標(biāo)檢測網(wǎng)絡(luò)Tiny-YOLOv3[14]進行了對比，在上述兩個數(shù)據(jù)庫上的行人檢測AP 值對比情況如圖6所示。

圖6 本文方法與Tiny-YOLO v3 方法的AP 值對比Fig.6 AP comparison between the proposed method and Tiny-YoLov3 method

可見，在CVC-09 數(shù)據(jù)集中，對于Day、Night和Total 不同的測試場景下，本文方法（SD-LFFD＋SF-LFFD）的 AP 值均要高于 Tiny-YOLOv3；在CVC-14 數(shù)據(jù)集中，在Day 的測試場景下，本文方法AP 值稍低，但在Night 的測試場景中本文方法的AP值要高出約10%，在Total 的測試場景下本文方法表現(xiàn)更佳。由此可體現(xiàn)出本文方法在同等的輕量級目標(biāo)檢測網(wǎng)絡(luò)中具有一定的精度優(yōu)勢。

3）行人檢測速度測試及比較

測試階段，本文使用MXNet 框架，NVIDIA GTX 960M 4G GPU，CUDA 版本9.0，cuDNN 版本7.4.1，輸入圖像分辨率為640×480。除測試本文方法外，還對Tiny-YOLOv3 進行速度測試，與本文方法進行對比，結(jié)果如表3所示。

表3 行人檢測的速度對比Table 3 Speed comparison for pedestrian detection

可見，相較于 Tiny-YOLO v3，本文方法（SD-LFFD+SF-LFFD）用更小的模型取得了更快的速度，處理幀率約為31 fps，說明在硬件資源有限的情況下本文方法能實時工作，這得益于使用簡單易實現(xiàn)的目標(biāo)弱顯著性檢測算法和改進的輕量級LFFD 網(wǎng)絡(luò)。

4 結(jié)束語

本文提出了一種基于弱顯著圖的實時熱紅外圖像行人檢測方法，主要貢獻(xiàn)在于：①設(shè)計了一種針對行人的弱顯著性檢測網(wǎng)絡(luò)結(jié)構(gòu)，在產(chǎn)生行人檢測結(jié)果的同時能夠產(chǎn)生行人的弱顯著圖；②將檢測到的弱顯著圖與原始熱紅外圖像相結(jié)合，使得深度網(wǎng)絡(luò)能更加關(guān)注行人潛在區(qū)域，從而改善在人體與背景溫差較小的白天時熱紅外圖像行人檢測效果較差的問題；③對兩級改進的LFFD 網(wǎng)絡(luò)產(chǎn)生的行人檢測結(jié)果進行融合，提升了算法整體的檢測精度。實驗結(jié)果表明，本文方法中使用弱顯著圖和兩級改進的輕量級LFFD 網(wǎng)絡(luò)進行行人檢測，不僅有效提升了檢測準(zhǔn)確率，而且實現(xiàn)了在硬件資源有限的情況下的實時檢測。