基于紅外圖像與可見光圖像特征融合的目標(biāo)檢測算法

馬 野，吳振宇，姜 徐

（1. 東北大學(xué)，沈陽，110819；2. 北京宇航系統(tǒng)工程研究所，北京，100076）

0 引 言

目標(biāo)檢測任務(wù)是找出圖像或視頻中人們感興趣的物體，并檢測出位置和大小。基于神經(jīng)網(wǎng)絡(luò)的方法又發(fā)展出兩條技術(shù)路線：基于候選框的方法和不使用候選框的方法。基于候選框的方法[1,2]使用滑動窗口在待檢測圖片上進(jìn)行掃描，判斷窗口內(nèi)是否有目標(biāo)和目標(biāo)具體定位。不使用候選框的方法是直接預(yù)測目標(biāo)的關(guān)鍵點(diǎn)，例如文獻(xiàn)[3]預(yù)測目標(biāo)的中心點(diǎn)和大小，以此達(dá)到定位的效果。

可見光圖像具有豐富的紋理細(xì)節(jié)信息，是做目標(biāo)檢測的首選數(shù)據(jù)類型。但是，當(dāng)遇到天氣不佳、夜晚等光線不充足或者光線過強(qiáng)的情況，圖片受影響較大，影響物體成像。紅外圖像根據(jù)熱輻射信息成像，抗干擾能力強(qiáng)，環(huán)境適應(yīng)能力強(qiáng)，因此可以在夜間和惡劣天氣下全天候工作而不依賴于場景特性。但是由于熱輻射較弱，紅外圖像對比度低、邊緣模糊，圖像整體較暗，沒有色彩和陰影，因而分辨能力低?？梢姽鈭D像在這些方面表現(xiàn)優(yōu)異，可見光圖像可以與紅外圖像互補(bǔ)，融合后能適用于全天候全時(shí)段的目標(biāo)檢測任務(wù)。

因此，為了充分利用可見光圖像提供的紋理信息和紅外圖像提供的熱輻射信息，提出一種基于特征融合的目標(biāo)檢測方法。在融合時(shí)，能夠根據(jù)特征的不同，自動分配不同權(quán)重，得到比使用單一數(shù)據(jù)更好的效果。

根據(jù)融合的階段不同，可以把融合檢測算法分為3類：檢測前融合、檢測中融合以及檢測后融合。檢測前融合是指在目標(biāo)檢測前將可見光圖像與紅外圖像融合成一張圖像，再經(jīng)過目標(biāo)檢測算法。這類方法的好處是融合和檢測完全分開，可以使用已有的各種圖像融合方法，文獻(xiàn)[4]介紹了多種圖像融合方法，以及融合后的各種應(yīng)用。但也因?yàn)閳D像融合與目標(biāo)檢測無關(guān)，無法保證融合后的圖像適用于目標(biāo)檢測任務(wù)。檢測后融合是指對可見光圖像和紅外圖像分別進(jìn)行目標(biāo)檢測，再將檢測結(jié)果融合在一起。這類方法最為簡單，但實(shí)際上不涉及圖像融合，算法效果往往不能得到大的提升。文獻(xiàn)[5,6]使用了檢測中融合的方法，既可以充分將可見光圖像與紅外圖像進(jìn)行融合，又可以根據(jù)目標(biāo)檢測效果對算法進(jìn)行優(yōu)化。這類方法的效果通常優(yōu)于檢測前融合和檢測后融合算法。文獻(xiàn)[6]提出一種融合-精煉模塊，利用可見光圖像特征圖和紅外圖像特征圖直接融合成新的特征圖并進(jìn)行精煉，新的特征圖又重新與可見光圖像特征圖和紅外圖像特征圖形成殘差網(wǎng)絡(luò)，進(jìn)行多次循環(huán)。融合-精煉模塊能夠很好地融合及保留特征圖特征，但所需計(jì)算量較大。文獻(xiàn)[5]提出了一種單一加權(quán)方法，以原始圖片作為輸入，計(jì)算出單一權(quán)重對特征圖進(jìn)行融合。輸入尺寸較大，同樣需要較大的計(jì)算量；單一權(quán)重不能很好地應(yīng)對一張圖片不同區(qū)域情況不同的問題，也不能很好地解決不同類目標(biāo)在一張圖片中的情況。提出的特征融合模塊所需計(jì)算量較小，并且通過計(jì)算權(quán)重圖的方式，對一張圖片不同位置使用不同權(quán)重，提高目標(biāo)檢測精度。

1 特征融合目標(biāo)檢測算法

以經(jīng)典YOLO目標(biāo)檢測算法為基礎(chǔ)，增加可見光圖像與紅外圖像特征融合模塊，既能利用可見光圖像提供的紋理信息，又能利用紅外圖像提供的熱輻射信息?？梢姽鈭D像與紅外圖像差異較大，因此采用兩套特征提取網(wǎng)絡(luò)分別處理得到特征圖，保證充分利用二者圖像的獨(dú)特特征。特征融合目標(biāo)檢測算法如圖1所示。

圖1 特征融合目標(biāo)檢測算法 Fig.1 Feature Fusion Object Detecion

由圖1可知，可見光圖像與紅外圖像分別輸入到不同Backbone+Neck中進(jìn)行特征提取，得到的可見光圖像特征圖（FRGB）和紅外圖像特征圖（FIR）輸入到特征融合模塊，經(jīng)過自動分配權(quán)重后，融合成新的特征圖（Ffusion）。最后經(jīng)過Detection模塊進(jìn)行目標(biāo)預(yù)測。

1.1 YOLO目標(biāo)檢測算法

YOLO是一種基于候選框的單階段目標(biāo)檢測算法，基本思想是將輸入圖片分成多個(gè)網(wǎng)格，然后對每一個(gè)網(wǎng)格預(yù)測大小不同的多個(gè)候選框內(nèi)存在目標(biāo)的概率，同時(shí)預(yù)測目標(biāo)類別及位置。YOLO算法主要包含Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)以及Detection網(wǎng)絡(luò)，如圖2所示。表1中列出了YOLO v5網(wǎng)絡(luò)每一層的詳細(xì)參數(shù)。

圖2 YOLO算法 Fig.2 YOLO Algorithm

表1 YOLO v5 網(wǎng)絡(luò)結(jié)構(gòu) Tab.1 YOLO v5 Network Structure

Backbone主要有數(shù)個(gè)卷積模塊和殘差模塊（resnet）組成。利用多層卷積神經(jīng)網(wǎng)絡(luò)對輸入圖片進(jìn)行特征提取，隨著卷積層的增加，深層網(wǎng)絡(luò)得到的特征圖尺寸越來越小，得到的特征信息越來越復(fù)雜。尺寸較小的特征圖縮放比例高，具有較深層次的特征信息，因此通常用來預(yù)測較大的目標(biāo)，較大的特征圖用來預(yù)測較小的目標(biāo)。

Neck除了少量卷積模塊和殘差模塊還包含上采樣層。Neck網(wǎng)絡(luò)使用上采樣將特征圖逐漸放大，并與Backbone中的特征圖相結(jié)合，構(gòu)成了特征金字塔網(wǎng)絡(luò)（FPN）[7]結(jié)構(gòu)。通過上述采樣得到的特征圖來自深層網(wǎng)絡(luò)，具有較強(qiáng)的語義信息，有利于目標(biāo)分類；而通過Backbone得到的特征圖分辨率較高，具有豐富的空間信息，有利于目標(biāo)位置的預(yù)測。特征金字塔網(wǎng)絡(luò)使用較少的計(jì)算量將二者融合，能夠得到更準(zhǔn)確的目標(biāo)分類及位置預(yù)測。

Detection網(wǎng)絡(luò)對不同尺寸的特征圖進(jìn)行處理，每種尺寸的特征圖只通過一層卷積層，輸出每個(gè)點(diǎn)的分類、位置信息及置信度。

利用YOLO算法，將可見光圖像與紅外圖像分別輸入到不同的YOLO算法中，利用Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)分別得到可見光圖像與紅外圖像的特征圖。再通過特征融合模塊得到融合特征圖，最后利用Detection網(wǎng)絡(luò)預(yù)測目標(biāo)。由此建立的神經(jīng)網(wǎng)絡(luò)模型，可以實(shí)現(xiàn)端到端的訓(xùn)練，同時(shí)優(yōu)化特征提取、特征融合以及目標(biāo)檢測。

1.2 特征融合模塊

特征融合模塊如圖3所示，輸入可見光圖像特征圖（FRGB）和紅外圖像特征圖（FIR），輸出融合特征圖（Ffusion）。特征融合模塊包含特征權(quán)重網(wǎng)絡(luò)（FWN），通過多層卷積神經(jīng)網(wǎng)絡(luò)計(jì)算出可見光圖像特征圖權(quán)重（WRGB）和紅外圖像特征圖權(quán)重（WIR）。Ffusion通過式（1）及式（2）計(jì)算所得。

圖3 特征融合模塊 Fig.3 Feature Fusion Model

Ffusion的尺寸與FRGB和FIR保持一致。特征權(quán)重網(wǎng)絡(luò)如圖4所示，輸入FRGB與FIR的尺寸為（C×H×W），C表示特征通道數(shù)量，H、W分別表示特征圖的高度與寬度。首先通過Concat層在通道維度將特征進(jìn)行合并，然后通過多層卷積的處理得到尺寸為（2×H×W）的權(quán)重，每個(gè)卷積層后需要批標(biāo)準(zhǔn)化及激活函數(shù)處理，最后在通道維度做Softmax處理，得到2個(gè)尺寸為（H×W）特征圖，分別為WRGB和WIR。WRGB+WIR=1。

圖4 特征權(quán)重網(wǎng)絡(luò) Fig.4 Feature Weight Network

特征權(quán)重網(wǎng)絡(luò)（FWN）可以根據(jù)預(yù)測結(jié)果優(yōu)化權(quán)重大小，自動選取可見光圖像或紅外圖像特征。比如在光線較暗的情況下，紅外圖像的權(quán)重就會比較大；而在熱輻射信息量少，可見光圖像較清晰的情況下，就會更多地使用可見光圖像進(jìn)行目標(biāo)檢測。FWN以圖像的特征圖作為輸入而不使用圖像本身，是為了減少圖像處理的復(fù)雜度。特征圖經(jīng)過多層神經(jīng)網(wǎng)絡(luò)的處理，具有更多深層信息，因此在FWN中可以采用較少的卷積層，達(dá)到復(fù)雜計(jì)算的效果。

在實(shí)際的可見光圖像與紅外圖像中，不同位置可能會需要不同的權(quán)重值。比如圖像左側(cè)熱輻射信息更豐富，那就應(yīng)該更多利用紅外圖像信息；而右側(cè)可能沒有熱輻射信息，需要依靠高分辨率紋理信息，故應(yīng)加重可見光圖像的權(quán)重。單一權(quán)重值的方式無法做到分別計(jì)算，因此采用了尺寸為（H×W）的權(quán)重圖來解決這一問題，權(quán)重圖可以為每一個(gè)位置不同的權(quán)重，充分利用可見光圖像和紅外圖像提供的不同信息。權(quán)重圖的方法適用于已經(jīng)進(jìn)行像素匹配的可見光圖像和紅外圖像數(shù)據(jù)。也就是說同一目標(biāo)在可見光圖像和紅外圖像中的位置相同，才能利用權(quán)重圖的方法對相同位置的目標(biāo)計(jì)算權(quán)重。

這一方法在多類別多目標(biāo)檢測中也有一定作用，比如在對行人檢測時(shí)，熱輻射信息明顯，需要加大紅外圖像權(quán)重；對汽車等物體檢測時(shí)，更多需要依賴可見光圖像，需要加大可見光圖像權(quán)重。當(dāng)行人和汽車在同一張圖片時(shí)，就可以利用權(quán)重圖進(jìn)行不同權(quán)重的融合，更有利于精準(zhǔn)的預(yù)測。

特征融合模塊本質(zhì)上就是多層卷積神經(jīng)網(wǎng)絡(luò)，可以靈活的插入到現(xiàn)有的目標(biāo)檢測算法中?？梢愿S目標(biāo)檢測算法一同優(yōu)化，不需要其他多余的操作。與一般先融合出一張圖片再檢測的方法比較，特征融合算法可以保留原始圖像的特征，并根據(jù)目標(biāo)檢測的結(jié)果對特征進(jìn)行挑選及融合，避免先融合圖像造成的信息損失。

2 實(shí)驗(yàn)及結(jié)果

2.1 數(shù)據(jù)集

通過使用文獻(xiàn)[8]的M3FD數(shù)據(jù)集，如圖5所示，該數(shù)據(jù)集通過一個(gè)光學(xué)攝像機(jī)和一個(gè)紅外攝像機(jī)同步采集數(shù)據(jù)。共包含4200對可見光與紅外圖像對，圖像大小為1024×768。圖像經(jīng)過手工標(biāo)注，共有34407個(gè)標(biāo)簽，共有6個(gè)標(biāo)簽類別：行人、汽車、公交、摩托車、信號燈、卡車。實(shí)驗(yàn)使用80%的數(shù)據(jù)作為訓(xùn)練集，其余20%作為驗(yàn)證集和測試集。

圖5 M3FD數(shù)據(jù)集 Fig.5 M3FD Dataset

2.2 實(shí)驗(yàn)方法

為了驗(yàn)證特征融合的有效性，進(jìn)行了3組實(shí)驗(yàn)進(jìn)行對比。分別為可將光圖像目標(biāo)檢測，紅外圖像目標(biāo)檢測，特征融合目標(biāo)檢測。前兩組實(shí)驗(yàn)使用傳統(tǒng)YOLO算法進(jìn)行，特征融合算法流程如圖1所示。使用2套Backbone+Neck的網(wǎng)絡(luò)結(jié)構(gòu)分別輸入可見光圖像及紅外圖像，使用3個(gè)特征融合模塊對不同尺寸的特征圖進(jìn)行融合，使用1個(gè)Detection網(wǎng)絡(luò)進(jìn)行目標(biāo)預(yù)測。Backbone、Neck、Detection均來自YOLO算法v5版本。特征權(quán)重網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。

表2 特征權(quán)重網(wǎng)絡(luò)結(jié)構(gòu) Tab.2 Feature Weight Network Structure

實(shí)驗(yàn)在搭載NVIDIA 3090顯卡的服務(wù)器上運(yùn)行，訓(xùn)練數(shù)據(jù)共有3360對可見光圖像和紅外圖像，訓(xùn)練批次大小為16，共進(jìn)行了300次迭代。驗(yàn)證集共有840對圖片，最終選出在驗(yàn)證集上表現(xiàn)最好的結(jié)果進(jìn)行比較。

2.3 實(shí)驗(yàn)結(jié)果

使用M3FD數(shù)據(jù)集分別進(jìn)行了3組實(shí)驗(yàn)，使用平均精度的平均值（mAP）對實(shí)驗(yàn)結(jié)果進(jìn)行評價(jià)，見表3。IOU取值0.5，表示預(yù)測目標(biāo)范圍與實(shí)際目標(biāo)范圍相交的面積比合并的面積大于等于0.5。第1組RGB僅使用可見光圖像進(jìn)行目標(biāo)檢測；第2組IR僅使用紅外圖像進(jìn)行目標(biāo)檢測；第3組Fusion使用可見光圖像和紅外圖像進(jìn)行特征融合目標(biāo)檢測。預(yù)測結(jié)果表示，3組實(shí)驗(yàn)均能較好地進(jìn)行目標(biāo)檢測。

表3 實(shí)驗(yàn)結(jié)果（0.5mAP） Tab.3 Result（0.5mAP）

從表3中可以看到，使用特征融合模塊的0.5mAP值達(dá)到0.883，高于單獨(dú)使用可見光圖像或紅外圖像的目標(biāo)檢測結(jié)果。在對摩托車、信號燈的檢測中，特征融合方法的結(jié)果最優(yōu)，在其他類目標(biāo)檢測中，特征融合的方法也能接近最好結(jié)果。在對行人進(jìn)行檢測時(shí)，具有熱輻射信息的紅外圖像抗干擾能力強(qiáng)，行人的特征更加清晰，所以紅外圖像的檢測結(jié)果更好。特征融合的結(jié)果0.870接近紅外圖像的檢測結(jié)果0.874，遠(yuǎn)高于可見光對應(yīng)的結(jié)果0.815。在對其他目標(biāo)檢測時(shí)，熱輻射信息較少，所以可見光檢測結(jié)果高于紅外圖像檢測結(jié)果。此時(shí)，特征融合算法的結(jié)果能夠接近甚至超過可見光圖像檢測結(jié)果，說明融合算法能夠有效利用可見光圖像同時(shí)也能夠借鑒紅外圖像。

3 結(jié)束語

基于提出的特征融合檢測算法，可以同時(shí)使用可見光圖像和紅外圖像進(jìn)行目標(biāo)檢測，建立了一種端到端的神經(jīng)網(wǎng)絡(luò)模型。利用目標(biāo)檢測的結(jié)果進(jìn)行優(yōu)化，自動根據(jù)目標(biāo)計(jì)算特征權(quán)重，使用權(quán)重將可見光圖像與紅外圖像進(jìn)行融合。當(dāng)可見光圖像效果好時(shí)，更多使用可見光圖像進(jìn)行目標(biāo)檢測，反之，更多使用紅外圖像進(jìn)行目標(biāo)檢測。實(shí)驗(yàn)結(jié)果表明特征融合算法結(jié)果優(yōu)于單獨(dú)使用可見光圖像或紅外圖像，證明此算法達(dá)到了預(yù)期，可以自動的為可見光圖像和紅外圖像分配權(quán)重，更好的進(jìn)行融合，以達(dá)到更優(yōu)的目標(biāo)檢測效果。

可見光圖像和紅外圖像獲取成本較低，二者融合后蘊(yùn)含大量信息并且抗干擾能力強(qiáng)，在遙感探測、醫(yī)療衛(wèi)生、視頻監(jiān)控等領(lǐng)域有著很好的應(yīng)用前景。接下來要進(jìn)一步提高檢測結(jié)果的準(zhǔn)確性，充分利用圖像融合的優(yōu)勢。另外還需考慮同時(shí)處理兩張圖片帶來的計(jì)算量增加，要如何提高計(jì)算效率。多目標(biāo)檢測以及有遮擋目標(biāo)檢測同樣是值得探究的技術(shù)難點(diǎn)，可以作為今后的工作內(nèi)容。