基于雙階段輕量YOLO的紅外行人偽影檢測算法

沈 恒,干宗良

(南京郵電大學(xué),江蘇 南京 210009)

1 引 言

熱紅外成像[1]較可見光圖像而言具有獨(dú)特的優(yōu)勢,如不受光照強(qiáng)度影響且能在各種惡劣天氣環(huán)境下工作,在城市安防監(jiān)控、軍事演練等領(lǐng)域得到廣泛關(guān)注。但是紅外圖像在一些特定環(huán)境 (如辦公廳、教學(xué)樓等光滑建筑環(huán)境)具有一定程度的反射現(xiàn)象,這直接干擾紅外圖像的后續(xù)處理過程。以紅外行人檢測為例,行人被鏡面反射的能量會被熱紅外成像儀再次接收并以各種形式呈現(xiàn)出來,檢測時(shí)誤認(rèn)為是發(fā)熱物體導(dǎo)致不必要的工作。此外,反射回波具有與行人十分相似的輪廓和梯度信息,加上紅外圖像本身對比度低的特性,行人和對應(yīng)的偽影往往具有十分相似的特征,無論是用人眼先驗(yàn)還是用計(jì)算機(jī)判別都耗時(shí)耗力且并不準(zhǔn)確,易混淆行人和行人偽影。紅外行人偽影檢測技術(shù)就是針對性的標(biāo)記行人偽影區(qū)域,讓人們根據(jù)需求提取行人紅外圖像有用信息,方便后續(xù)使用。

紅外行人偽影圖像背景復(fù)雜,用傳統(tǒng)紅外目標(biāo)檢測方法,如max-mean[3]、圖像分割[4]和偏微分方程[5]等受到單一場景的限制,難以分離偽影區(qū)域。而深度學(xué)習(xí)算法[6]具有對復(fù)雜上下文信息更好的特征表達(dá)能力,用來檢測偽影區(qū)域的適用性更高?？傮w來說,基于深度學(xué)習(xí)的目標(biāo)檢測算法可分為兩大類:一類是基于區(qū)域的雙階段目標(biāo)檢測算法,如R-CNN[7]( Region-based Convolution Neural Nedtwork)、Fast R-CNN[8]等。另外一類則是區(qū)域選擇和目標(biāo)檢測統(tǒng)一的單階段目標(biāo)檢測算法,典型的有SSD[9](Single Shot multibox Detector)和Redmon等提出的YOLO[10-14]系列算法。針對紅外圖像行人檢測,研究者們分別對現(xiàn)有的單階段和雙階段目標(biāo)檢測算法進(jìn)行了改進(jìn),如Xie H等人[15]構(gòu)建了多種類型的Fast R-CNN模型,適用于不同需求下的紅外行人檢測任務(wù)。Wang X等人針對YOLOv4提出了一種新的紅外行人檢測算法(RepVGG-YOLOv4,Rep YOLO)[16],提高了檢測效率。Montenegro B等人[17]對YOLOv5s輕量算法進(jìn)行了改進(jìn),使用2個YOLOv5s子網(wǎng)絡(luò)構(gòu)建紅外行人檢測模型,彌補(bǔ)了輕量網(wǎng)絡(luò)檢測精度低的缺陷。

由于紅外行人偽影形態(tài)變化復(fù)雜,對比度低,使用單階段目標(biāo)檢測算法檢測精度不高。因此,本文借鑒雙階段目標(biāo)檢測算法的設(shè)計(jì)思想,使用兩個輕量YOLO分別用于區(qū)域選擇和紅外行人偽影目標(biāo)提取。滿足檢測精度要求的同時(shí),避免了雙階段網(wǎng)絡(luò)繁瑣、實(shí)時(shí)性差的問題,工作如下:

(1)針對行人偽影直接檢測容易出現(xiàn)的誤檢和漏檢現(xiàn)象,構(gòu)建基于輕量YOLO的雙階段行人偽影檢測算法,先提取“行人-偽影”聯(lián)合區(qū)域,后行人偽影精準(zhǔn)定位。

(2)針對輕量網(wǎng)絡(luò)檢測精度不高的問題,本文對YOLOv5s進(jìn)行了改進(jìn)。我們在網(wǎng)絡(luò)的主干部分使用改進(jìn)的下采用模塊[2]LSM替換FOCUs模塊,增強(qiáng)低級語義信息提取能力,并減少浮點(diǎn)運(yùn)算數(shù)。其次嵌入注意力模塊[18](Convolutional Block Attention Module,CBAM),使網(wǎng)絡(luò)更加關(guān)注有用區(qū)域,提高模型的檢測精度。

(3)針對雙階段網(wǎng)絡(luò)容易出現(xiàn)的模型繁瑣問題,設(shè)計(jì)只有兩個尺度輸出特征層的輕量網(wǎng)絡(luò)LS-YOLO,減少檢測框數(shù)量,保證檢測速度。

2 紅外行人偽影分析

在行人熱紅外圖像的拍攝場景中,紅外圖像的呈現(xiàn)效果取決于光敏元件捕捉的熱輻射強(qiáng)度,由于電磁波的反射效應(yīng),如果行人所處環(huán)境中存在發(fā)射率低的材料,例如光滑鏡面材料,它會反射行人及背景產(chǎn)生的熱輻射,使得紅外成像儀不僅僅接收到行人自身的熱輻射,也有來自鏡面反射的行人熱輻射,如圖1所示。最終成像中不僅包括行人本身部分,也有來自光滑鏡面反射行人熱輻射能量后的紅外成像。

圖1 行人偽影形成原理

行人所處環(huán)境復(fù)雜多變以及紅外圖像本身具有對比度低、分辨率差,使得同一行人在不同位置產(chǎn)生的偽影存在亮度、邊沿形狀以及尺度的巨大變化。如圖2(a)所示,一個行人在圖像中呈現(xiàn)多個形狀、尺度不同的偽影,給檢測帶來極大干擾;圖2(b)則展示了行人的部分偽影被背景塊遮擋,喪失了真實(shí)的行人特性,雖然這種圖能夠用人眼先驗(yàn)判斷,但是對于神經(jīng)網(wǎng)絡(luò)卻很難做到。綜上,一張行人紅外成像可能出現(xiàn)多個偽影區(qū)域,不同位置的偽影變化很大,有些偽影與行人本身十分相似,用神經(jīng)網(wǎng)絡(luò)直接定位行人偽影復(fù)雜度較高。因此,本文提出一種基于聯(lián)合區(qū)域的雙階段輕量YOLO檢測算法,借鑒了雙階段網(wǎng)絡(luò)能有效提高準(zhǔn)確率的思想,降低了網(wǎng)絡(luò)分離復(fù)雜背景環(huán)境和行人偽影的壓力,同時(shí)輕量結(jié)構(gòu)的設(shè)計(jì)也能滿足實(shí)時(shí)檢測要求。

圖2 行人偽影

3 紅外行人偽影檢測算法設(shè)計(jì)

本文提出的雙階段紅外行人偽影檢測算法結(jié)構(gòu)如圖3所示,第1階段使用LSM雙分支結(jié)構(gòu)替換YOLOv5s網(wǎng)絡(luò)的FOCUs模塊,添加注意力感知使網(wǎng)絡(luò)更加關(guān)注具有行人和對應(yīng)偽影的聯(lián)合區(qū)域,提高了檢測精度。第2階段,消除背景后行人和偽影信息相對突出,結(jié)合輕量YOLO思想設(shè)計(jì)行人偽影精準(zhǔn)定位模型LS-YOLO,最后整合兩個輕量網(wǎng)絡(luò)完成紅外行人偽影檢測任務(wù)。下面將著重介紹我們的改進(jìn)工作,關(guān)于YOLOv5s主干特征提取和多尺度特征融合的更多細(xì)節(jié)可以參考文獻(xiàn)[14]～[19],在這不再贅述。

圖3 紅外行人偽影檢測算法框圖

3.1 LSM模塊

Focus模塊是YOLOv5s模型在圖像進(jìn)入主干特征提取網(wǎng)絡(luò)前的預(yù)處理部分。如圖4所示,將像素點(diǎn)與像素點(diǎn)進(jìn)行步長為2的跳躍連接,原始輸入為640×640×3的圖像切片后變成320×320×12尺寸。

圖4 Focus切片操作

Focus的設(shè)計(jì)者認(rèn)為通過切片再下采樣的方法能夠減少浮點(diǎn)運(yùn)算數(shù)(FlOPs)。FlOPs在神經(jīng)網(wǎng)絡(luò)中常用來衡量算法或模型的復(fù)雜度,表達(dá)式為:

(1)

(2)

在YOLOv5s中,輸入圖像經(jīng)Focus切片操作后會進(jìn)行兩次下采樣卷積得到160×160×64的特征圖,兩次卷積核大小都為3×3。由上述,可計(jì)算出YOLOv5s中使用FOCUs并將輸入圖像轉(zhuǎn)換為160×160×64的特征圖所需的浮點(diǎn)操作數(shù)和參數(shù)數(shù)量為:

FLOPs(Focus)=3202×32×12×32+1602×32×32×64=825753600

(3)

Params(Focus)=32×12×32+32×32×64=21888

(4)

實(shí)際上,Focus切片操作在沒有進(jìn)行特征提取的情況下進(jìn)行像素空間跳躍連接會損失部分空間信息。因此,本文使用LSM模塊替換原Focus結(jié)構(gòu),滿足減少浮點(diǎn)運(yùn)算數(shù)的同時(shí)避免丟失信息,如圖5所示。

圖5 LSM結(jié)構(gòu)

LSM模塊的特點(diǎn)在于通過雙分支結(jié)構(gòu)使網(wǎng)絡(luò)映射不同感受野,由于3×3卷積和最大池化具有不同的特征表達(dá),如最大池化更有利于紋理特征的提取,所以兩個分支分別通過3×3卷積和最大池化操作提取不同特征并壓縮圖像,再用1×1卷積整合特征,最后拼接兩個分支得到160×160×64的特征圖,綜上LSM模塊的復(fù)雜度為:

FLOPs(LSM)=3202×32×3×32+3202×12×32×16+1602×32×162+1602×12×16×32+1602×22×32+1602×12×32×32=242483200

(5)

Params(LSM)=32×32×3+12×32×16+32×16×16+12×16×32+12×32×32=5216

(6)

與Focus模塊相比,采用LSM的浮點(diǎn)運(yùn)算數(shù)和參數(shù)量分別縮減約為原來的1/3,1/4,模型更為輕量,且LSM在特征提取之前不會損失信息,具有更好的特征表達(dá)能力。

3.2 添加注意力感知模塊CBAM

第一階段“行人-偽影”聯(lián)合區(qū)域的檢測是后續(xù)處理的基礎(chǔ),因此,本文注重提升網(wǎng)絡(luò)的注意力焦點(diǎn),使網(wǎng)絡(luò)更關(guān)注來自目標(biāo)區(qū)域的特征點(diǎn),提高檢測的準(zhǔn)確率。添加空間-通道注意力感知模塊(CBAM)[18]是實(shí)現(xiàn)網(wǎng)絡(luò)自適應(yīng)注意的一種方式,CBAM結(jié)構(gòu)如圖6所示。

圖6 CBAM通道注意力和空間注意力結(jié)構(gòu)

簡言之就是通過雙池化操作分別按通道和空間對特征映射進(jìn)行壓縮,再通過全連接和卷積增強(qiáng)注意力模塊非線性表達(dá)的能力,使用sigmoid函數(shù)歸一化后獲得每個通道和空間的權(quán)重(0～1之間),最后以相乘形式把權(quán)重加權(quán)到輸入特征圖上,實(shí)現(xiàn)越重要的特征加權(quán)越多并抑制無用信息。CBAM是一個輕量級的通用模塊,如圖3所示,本文將注意力添加到Y(jié)OLOv5s的主干特征提取網(wǎng)絡(luò)之后,對已經(jīng)提取到的深層特征進(jìn)行注意力加權(quán),使第一階段網(wǎng)絡(luò)自適應(yīng)的聚焦目標(biāo)區(qū)域。

3.3 LS-YOLO網(wǎng)絡(luò)設(shè)計(jì)

第二階段的任務(wù)是從“行人-偽影”聯(lián)合區(qū)域中定位行人偽影,由于聯(lián)合區(qū)域消除了原本的復(fù)雜背景,因此這一階段需要減少模型復(fù)雜度,本文借鑒輕量YOLO的思想設(shè)計(jì)了LS-YOLO網(wǎng)絡(luò),對于本身特征不充分的行人偽影具有很好的定位能力。

如圖3所示。LS-YOLO網(wǎng)絡(luò)首先使用LSM模塊提取淺層特征并將特征圖尺寸調(diào)整為160×160×64,主干部分由Resblock_body[14]殘差結(jié)構(gòu)組成,如圖7所示,Resblock_body先用卷積對輸入特征進(jìn)行整合,之后將整合后的特征層劃為兩部分,一部分作為大殘差邊route。另一部分的通道進(jìn)行1∶1分割,取后者作為分割的主干部分,然后對主干部分進(jìn)行3×3卷積并引出小殘差邊route_1,小殘差邊會與再次卷積后的主干部分相接調(diào)整通道,對相接的結(jié)果做1×1卷積處理,并與大殘差邊拼接,拼接后的特征圖通道數(shù)是之前2倍,最后經(jīng)過最大池化操作將寬高縮減為原先的一半實(shí)現(xiàn)下采樣。在LS-YOLO網(wǎng)絡(luò)中,每一次Resblock_body后都會引出一個分支去構(gòu)建特征金字塔[20](Feature Pyramid Network,FPN),將淺層邊緣細(xì)節(jié)特征和高層語義特征融合實(shí)現(xiàn)特征增強(qiáng)效果。具體為第一次Resblock_body后引出的特征圖經(jīng)過一次下采樣卷積,尺寸調(diào)整為40×40×256,這個特征圖會與第二次Resblock_body的結(jié)果進(jìn)行融合得到40×40×512的特征圖。第三次Resblock_body后引出的特征層經(jīng)過兩次卷積對特征進(jìn)行整合,整合后的特征圖一個分支為第一個尺度的特征輸出層,其尺寸為20×20×1024;另一分支首先經(jīng)過卷積將通道數(shù)調(diào)整為512,再通過最鄰近上采樣后與上述40×40×512的特征圖有效融合作為第二個尺度的特征輸出層,尺寸為40×40×1024,最后預(yù)測頭部根據(jù)這兩個輸出特征層進(jìn)行結(jié)果預(yù)測并輸出行人偽影的位置,預(yù)測頭部實(shí)現(xiàn)可參考文獻(xiàn)[13]。

圖7 Resblock_body結(jié)構(gòu)

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

為了評估雙階段算法的性能,實(shí)驗(yàn)使用fluke公司發(fā)行的TiX640型長波紅外熱成像儀拍攝紅外行人圖像來構(gòu)建一個新的紅外行人數(shù)據(jù)集,采集了包含不同類型反射物質(zhì)的場景,如現(xiàn)代教學(xué)樓、辦公廳、和一些特定的戶外環(huán)境。收集到的圖像分為三類,分別為只有行人、某一種類型的偽影(如地面或者是墻面),以及混合地面和墻面?zhèn)斡暗募t外圖像,示例見圖8。在數(shù)據(jù)預(yù)處理階段,本文采用labelImg圖片標(biāo)注工具分別對“行人-偽影”聯(lián)合區(qū)域模型和“行人偽影”模型按照7∶2∶1比例進(jìn)行訓(xùn)練集、測試集、驗(yàn)證集的劃分,并使用mosaic-4[14]數(shù)據(jù)增強(qiáng)的方法對訓(xùn)練集進(jìn)行樣本擴(kuò)充,增強(qiáng)后訓(xùn)練集圖片共有4216張。

圖8 數(shù)據(jù)集部分紅外圖像示例

實(shí)驗(yàn)使用的硬件配置信息如圖表1所示。算法檢測性能的評估由模型檢測速度和檢測精度衡量,檢測精度采用公信力最高的平均精度均值 (mean average precision,mAP)和模型訓(xùn)練的最終損失值大小進(jìn)行比較,精度的計(jì)算又由準(zhǔn)確率(Precision)和召回率(Recall)來決定,當(dāng)預(yù)測框與真實(shí)框的交并比(intersection over union,IOU)大于設(shè)定的某個值(本文設(shè)定0.5)時(shí)可認(rèn)為預(yù)測正確,統(tǒng)計(jì)后可計(jì)算出準(zhǔn)確率和召回率;檢測速度則通過模型每秒能夠處理并返回的畫面幀數(shù)(Frames Per Second,FPS)衡量。

表1 實(shí)驗(yàn)環(huán)境信息

訓(xùn)練時(shí),由于網(wǎng)絡(luò)結(jié)構(gòu)改變,從0開始訓(xùn)練的模型權(quán)重過于隨機(jī),引起網(wǎng)絡(luò)震蕩。本文先對模型預(yù)訓(xùn)練10個迭代作為權(quán)重初始值,再分別訓(xùn)練“行人-偽影”聯(lián)合區(qū)域模型以及偽影定位模型300和100個epoches,訓(xùn)練時(shí)選擇Warmup=3的預(yù)熱學(xué)習(xí)率的方式,使得開始訓(xùn)練的3個epoches內(nèi)學(xué)習(xí)率較小,模型可以慢慢趨于穩(wěn)定。預(yù)熱后初始學(xué)習(xí)率為0.01,其他為默認(rèn)設(shè)置。

4.2 結(jié)果分析

本文使用YOLOv5s、YOLOv4、RepYOLO[16]、YOLOv3[12]、Faster R-CNN等算法模型與本文模型進(jìn)行比較,其中,RepYOLO和YOLOv3是Montenegro B等人針對紅外圖像行人檢測提出的改進(jìn)算法。結(jié)果表明雙階段輕量YOLO算法性能更加出色,能完成實(shí)際應(yīng)用中針對特定場景行人偽影檢測的任務(wù)。

4.2.1 LSM+CDAM模塊解耦對比試驗(yàn)

為驗(yàn)證第一步中LSM和CDAM改進(jìn)的有效性,實(shí)驗(yàn)以YOLOv5s為基準(zhǔn)模型,對“行人-偽影”聯(lián)合區(qū)域進(jìn)行檢測。其中LSM替代原網(wǎng)絡(luò)的Focus下采樣模塊,CDAM添加到網(wǎng)絡(luò)的主干特征模塊后,其他參數(shù)均一樣。結(jié)果如表2、3所示,相較于YOLOv5s基準(zhǔn)模型,LSM模塊替換原先的Focus模塊減少了浮點(diǎn)運(yùn)算數(shù),對于整個網(wǎng)絡(luò)運(yùn)算數(shù)和參數(shù)減少不多,FPS有輕微提升,但是LSM能夠更有效的增強(qiáng)網(wǎng)絡(luò)低級特征提取能力,使得整個網(wǎng)絡(luò)精度提升2.69%;再添加CDAM模塊對提取的特征整合以及增加注意力,最終在滿足檢測速度不下降的同時(shí)整個網(wǎng)絡(luò)的精度提升了5.46%。表3展示了不同的模型在“行人-偽影”聯(lián)合區(qū)域的檢測性能,與紅外行人檢測算法RepYOLO以及原基準(zhǔn)模型相比,本文改進(jìn)后的模型由于整合了注意力,訓(xùn)練時(shí)自適應(yīng)聚焦于紅外行人圖像中具有行人和偽影的聯(lián)合區(qū)域,檢測效果最好。

表2 LSM+CDAM消融實(shí)驗(yàn)

表3 不同模型檢測聯(lián)合框的結(jié)果

4.2.2 LS-YOLO實(shí)驗(yàn)分析

本文提出的LS-YOLO是針對第2階段行人偽影精細(xì)定位設(shè)計(jì)的輕量模型,權(quán)重大小只有18.75M。為了驗(yàn)證性能,我們與基準(zhǔn)模型YOLOv4-tiny[13]做對比試驗(yàn),結(jié)果如圖8所示,可以看出模型改進(jìn)后,可訓(xùn)練性更強(qiáng),且訓(xùn)練效果更加出色,YOLOv4-tiny收斂后的損失值在4.6左右,而LS-YOLO則降低到了2.7附近,并且模型在測試集上的泛化能力較好,與訓(xùn)練的損失值十分接近,說明沒有發(fā)生過擬合現(xiàn)象。圖9是測試時(shí)具有代表性的結(jié)果反饋,LS-YOLO的網(wǎng)絡(luò)損失比YOLOv4-tiny更低,對偽影的位置定位更準(zhǔn)確。

圖9 LS-YOLO損失函數(shù)曲線對比圖

4.2.3 二步算法綜合性能分析

如表4所示,與其他模型結(jié)果對比可知,雙階段輕量YOLO行人偽影檢測算法相對于YOLOv5s,RepYOLO,YOLOv4,YOLOv3,SSD,Faster R-CNN直接檢測的網(wǎng)絡(luò)精度分別提升6.52 %,8.04 %,3.14 %,9.25 %,17.66 %,26.33 %。直接檢測法中YOLOv4的檢測效果最好,mAP達(dá)到92.33 %,但是YOLOv4網(wǎng)絡(luò)權(quán)重大小有240M,是LS-YOLO的10倍,模型過于復(fù)雜。檢測速度方面,YOLOv5s實(shí)時(shí)性能最好,精度卻相對一般。我們提出的模型結(jié)合了兩個超輕量的網(wǎng)絡(luò),所以檢測速度比不過YOLOv5s,不過仍然能夠滿足實(shí)時(shí)檢測的要求。為了更直觀的比較不同模型的性能,圖10展示了我們從測試結(jié)果上挑選的一部分檢測實(shí)例,對于嚴(yán)重殘缺的行人偽影目標(biāo)來說,直接檢測法效果不佳。如圖10的(a)、(d)所示,SSD和YOLOv3等算法無法有效識別目標(biāo)。面對背景復(fù)雜,行人和偽影特征不突出的環(huán)境時(shí)易出現(xiàn)錯檢情況,如(c)中將行人誤檢為偽影,(f)目標(biāo)漏檢。行人偽影檢測時(shí),基于YOLOv4的模型對特征信息變化十分敏感,當(dāng)背景特征與行人偽影特征相似時(shí)容易出現(xiàn)誤檢現(xiàn)象,如(h)和(i)所示。相比之下,本文算法從原理上降低錯檢、漏檢的風(fēng)險(xiǎn),檢測精度高,并且模型輕量,滿足實(shí)時(shí)部署的要求。

表4 二步算法性能對比試驗(yàn)結(jié)果

圖11 不同算法檢測效果圖

5 結(jié) 論

在分辨率差、背景不突出的紅外圖像中,由于鏡面回波形成的偽影具有與行人以及某些環(huán)境物體相似的特征信息,主觀先驗(yàn)法無法判斷偽影位置,而深度學(xué)習(xí)領(lǐng)域的目標(biāo)檢測算法依賴于對目標(biāo)與環(huán)境背景的精細(xì)分離和信息整合、判斷,直接檢測法往往效果不佳。本文提出了一種基于“行人-行人偽影”聯(lián)合區(qū)域的二步檢測輕量算法,整個網(wǎng)絡(luò)模型大小只有41 M,平均精度均值達(dá)到95.45 %。第一步中只需要檢測“行人-行人偽影”聯(lián)合區(qū)域,從原理上增大了目標(biāo)的面積,減少了誤檢和漏檢概率,并對基礎(chǔ)模型改進(jìn),提高準(zhǔn)確率。第二步針對聯(lián)合區(qū)域的偽影檢測設(shè)計(jì)了一個僅包含兩個尺度特征輸出層的輕量網(wǎng)絡(luò)LS-YOLO,與原模型對比,該算法針對特征突出、背景環(huán)境單一的聯(lián)合區(qū)域具有較高的準(zhǔn)確率,驗(yàn)證了二步算法的可行性。綜上所述,本文提出的二步輕量算法在保證較高準(zhǔn)確率的條件下也能達(dá)到實(shí)時(shí)檢測要求,解決了直接行人偽影檢測算法中偽影漏檢和定位不準(zhǔn)確問題,對后續(xù)針對行人的處理有很大幫助。下一步,我們將針對紅外行人圖像環(huán)境中的通用物體進(jìn)行檢測,進(jìn)一步排除影響紅外圖像后處理過程的因素。