模態(tài)自適應(yīng)的紅外與可見(jiàn)光圖像融合

曲海成，王宇萍，高健康，趙思琪

模態(tài)自適應(yīng)的紅外與可見(jiàn)光圖像融合

曲海成，王宇萍，高健康，趙思琪

（遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島 125105）

為解決低照度和煙霧等惡劣環(huán)境條件下融合圖像目標(biāo)對(duì)比度低、噪聲較大的問(wèn)題，提出一種模態(tài)自適應(yīng)的紅外與可見(jiàn)光圖像融合方法（mode adaptive fusion, MAFusion）。首先，在生成器中將紅外圖像與可見(jiàn)光圖像輸入自適應(yīng)加權(quán)模塊，通過(guò)雙流交互學(xué)習(xí)二者差異，得到兩種模態(tài)對(duì)圖像融合任務(wù)的不同貢獻(xiàn)比重；然后，根據(jù)各模態(tài)特征的當(dāng)前特性自主獲得各模態(tài)特征的相應(yīng)權(quán)重，進(jìn)行加權(quán)融合得到融合特征；最后，為了提高模型的學(xué)習(xí)效率，補(bǔ)充融合圖像的多尺度特征，在圖像融合過(guò)程中加入殘差塊與跳躍殘差組合模塊，提升網(wǎng)絡(luò)性能。在TNO和KAIST數(shù)據(jù)集上進(jìn)行融合質(zhì)量測(cè)評(píng)，結(jié)果表明：主觀評(píng)價(jià)上，提出的方法視覺(jué)效果良好；客觀評(píng)價(jià)上，信息熵、互信息和基于噪聲的評(píng)價(jià)性能指標(biāo)均優(yōu)于對(duì)比方法。

圖像融合；模態(tài)自適應(yīng)；對(duì)抗生成網(wǎng)絡(luò)；殘差網(wǎng)絡(luò)

0 引言

圖像融合屬于信息融合的一部分，其目的是針對(duì)同一場(chǎng)景，將來(lái)自不同傳感器的圖像聯(lián)合起來(lái)，生成一幅信息豐富的融合圖像，以便于后續(xù)處理。CT、磁共振成像、可見(jiàn)光圖像與紅外圖像屬于不同成像類型的源圖像，在這些源圖像組合中，本文重點(diǎn)研究紅外與可見(jiàn)光圖像融合，原因如下：第一，紅外圖像通過(guò)捕獲物體熱輻射信息成像，可見(jiàn)光圖像通過(guò)捕獲反射光成像，二者成像原理不同，因此可以從不同的角度提供互補(bǔ)信息。第二，紅外圖像和可見(jiàn)光圖像幾乎可以呈現(xiàn)所有物體的固有特性?？梢?jiàn)光圖像分辨率高，色彩和紋理信息豐富，但容易受到惡劣天氣的影響；紅外圖像中熱輻射信息豐富，目標(biāo)突出，不受天氣影響，但分辨率低，細(xì)節(jié)不清晰，利用二者的優(yōu)勢(shì)進(jìn)行圖像融合可以得到一幅信息豐富的圖像。此外，這些圖像可以通過(guò)相對(duì)簡(jiǎn)單的設(shè)備獲得。因此，紅外與可見(jiàn)光圖像融合技術(shù)可以比其它融合方案應(yīng)用范圍更廣，例如可以應(yīng)用到目標(biāo)識(shí)別[1]、目標(biāo)檢測(cè)[2]、圖像增強(qiáng)[3]、監(jiān)控[4]和遙感[5]等領(lǐng)域。

圖像融合包括像素級(jí)融合、特征級(jí)融合和決策級(jí)融合方法。像素級(jí)融合方法只對(duì)圖像信息作特征提取并直接使用，代表性的方法包括變換域的各向異性擴(kuò)散融合（anisotropic diffusion fusion, ADF）[6]、交叉雙邊濾波（cross bilateral filter, CBF）[7]和最小加權(quán)二乘法（weighted least square, WLS）[8]和稀疏域的自適應(yīng)稀疏表示（adaptive sparse representation, ASR）[9]、拉普拉斯金字塔（laplacian pyramid, LP）[10]等方法。在變換域方法中，比較熱門的是基于多尺度變換[11]的方法，但其忽略了融合過(guò)程中的空間一致性，容易在融合圖像中引入光暈。稀疏域的方法[12]需要構(gòu)建一個(gè)過(guò)完備字典，需要多次迭代，非常耗時(shí)。近年來(lái)，針對(duì)特征級(jí)圖像融合，國(guó)內(nèi)外學(xué)者提出了許多基于深度學(xué)習(xí)的融合方法。2017年，Prabhakar等人[13]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法，該方法適用于多曝光圖像融合，網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，僅使用編碼網(wǎng)絡(luò)中最后一層計(jì)算的結(jié)果，會(huì)造成中間層有用特征信息丟失的問(wèn)題。2018年，Ma等人[14]提出了一種以生成對(duì)抗網(wǎng)絡(luò)為模型的圖像融合方法（FusionGAN），該方法通過(guò)生成器與判別器對(duì)抗性訓(xùn)練產(chǎn)生融合圖像，無(wú)需預(yù)訓(xùn)練，是端到端的無(wú)監(jiān)督學(xué)習(xí)模型，但其生成器與判別器網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，可以進(jìn)行優(yōu)化改進(jìn)。2018年，Li等人[15]提出了一種基于深度網(wǎng)絡(luò)的紅外與可見(jiàn)光圖像融合方法，該方法使用VGG網(wǎng)絡(luò)為特征提取工具，在計(jì)算時(shí)參數(shù)較多，耗費(fèi)大量計(jì)算資源。2019年，Li等人[16]提出了以密集連接網(wǎng)絡(luò)為模型的圖像融合方法（Dense Fuse），訓(xùn)練時(shí)只考慮編碼層與解碼層，不考慮融合層，測(cè)試時(shí)需要根據(jù)不同情況來(lái)設(shè)計(jì)融合規(guī)則。2020年，董安勇[17]等人改進(jìn)了以卷積神經(jīng)網(wǎng)絡(luò)為模型的圖像融合方法，有效地解決了低頻子帶融合模式給定的問(wèn)題，同時(shí)又克服了手動(dòng)設(shè)置參數(shù)的缺陷。2020年，Xu等人[18]提出了一種端到端的統(tǒng)一無(wú)監(jiān)督學(xué)習(xí)（U2Fusion）圖像融合方法，可以解決多模態(tài)、多聚焦和多曝光圖像融合問(wèn)題，但這種方法訓(xùn)練起來(lái)非常復(fù)雜，且占用大量?jī)?nèi)存資源。

上述方法主要針對(duì)清晰明亮的圖像進(jìn)行融合。可見(jiàn)光圖像在照明條件良好的情況下紋理清晰，紅外圖像在光照較差和存在煙霧的條件下也能較好地凸顯出目標(biāo)，二者在不同條件下各有所長(zhǎng)，考慮到圖像融合應(yīng)該適應(yīng)環(huán)境改變?yōu)樵磮D像分配權(quán)重，從而更加合理地利用多模態(tài)信息，于是，本文提出一種模態(tài)自適應(yīng)的紅外與可見(jiàn)光圖像融合方法（MAFusion）。主要工作如下：①采用雙路特征提取網(wǎng)絡(luò)針對(duì)性的提取成像特點(diǎn)不同的兩類圖像特征，以減少特征丟失；②建立自適應(yīng)加權(quán)模塊，通過(guò)雙流交互學(xué)習(xí)紅外與可見(jiàn)光圖像差異，得到當(dāng)前環(huán)境條件下兩種模態(tài)在融合圖像中所占的權(quán)重；③在圖像融合過(guò)程中加入殘差塊與跳躍殘差組合模塊，補(bǔ)充融合圖像的多尺度特征，提升網(wǎng)絡(luò)性能；④在TNO和KAIST數(shù)據(jù)集上將MAFusion與其他方法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明本文方法效果較好。

1 相關(guān)理論與分析

1.1 對(duì)抗生成網(wǎng)絡(luò)模型

生成對(duì)抗網(wǎng)絡(luò)是由Goodfellow等人[19]提出的，由生成器（generative，G）和判別器（discriminative，D）組成。生成器用來(lái)生成需要的圖片，判別器類似圖像分類器，判斷圖片是由生成器生成的融合圖像還是真實(shí)的可見(jiàn)光圖像。訓(xùn)練后得到一個(gè)比較智能的自動(dòng)生成器和一個(gè)判斷能力較強(qiáng)的分類器。GAN模型的優(yōu)化函數(shù)公式(1)所示：

式中：(*)表示分布函數(shù)的期望值；表示輸入的真實(shí)值；表示輸入生成器的噪聲大??；data()表示真實(shí)樣本的分布；p()是定義在低維的噪聲分布；希望()越大越好，[()]越小越好，函數(shù)的目的是將最大損失最小化，即可得到損失函數(shù)的最優(yōu)解。

1.2 殘差網(wǎng)絡(luò)模型

為解決模型增加網(wǎng)絡(luò)深度后網(wǎng)絡(luò)性能變差的問(wèn)題，何凱明等人[20]創(chuàng)新性地提出了深度殘差網(wǎng)絡(luò)ResNet。殘差網(wǎng)絡(luò)的主要思想是將輸入層通過(guò)跳躍連接與卷積層后的輸出相加，有效地解決了梯度消失問(wèn)題。殘差塊的結(jié)構(gòu)如圖1所示，其中()為殘差學(xué)習(xí)函數(shù)，該函數(shù)的學(xué)習(xí)相對(duì)容易，有助于提取深層特征信息，激活函數(shù)為Relu。

1.3 問(wèn)題分析

在深度學(xué)習(xí)圖像融合方法中，大多數(shù)方法采用相同的編解碼網(wǎng)絡(luò)進(jìn)行特征提取，由于紅外與可見(jiàn)光圖像來(lái)自不同的信號(hào)，采用相同的編解碼網(wǎng)絡(luò)會(huì)造成突出特征提取不當(dāng)?shù)膯?wèn)題，因此，本方法將采用雙流特征提取網(wǎng)絡(luò)更具針對(duì)性地提取兩類圖像的特征。

傳統(tǒng)的模態(tài)堆疊策略在訓(xùn)練過(guò)程中對(duì)兩類源圖像在通道維按1:1的權(quán)重直接Concat級(jí)聯(lián)，沒(méi)有考慮兩類圖像在不同環(huán)境條件的優(yōu)缺點(diǎn)，容易引入冗余特征，降低融合圖像質(zhì)量，因此需要一種融合策略能夠自適應(yīng)環(huán)境改變提取紅外與可見(jiàn)光兩個(gè)模態(tài)的重要特征，因此設(shè)計(jì)自適應(yīng)加權(quán)模塊為兩個(gè)模態(tài)分配合理的權(quán)重。

圖1 殘差塊結(jié)構(gòu)圖

為了提高模型性能，使網(wǎng)絡(luò)訓(xùn)練更加容易，同時(shí)解決反向傳播時(shí)的梯度消失問(wèn)題，本文方法引入了殘差塊，將Conv1的輸出直接連接到Conv3后。利用殘差塊的恒等映射和跨層連接使前向傳播與反向傳播更加容易，同時(shí)有助于補(bǔ)充多尺度特征。在生成器網(wǎng)絡(luò)中構(gòu)建跳躍殘差塊，這種大幅度跨層連接方式使前后層特征聯(lián)系更加密切，可以獲取更多有利特征信息。

2 模態(tài)自適應(yīng)的紅外與可見(jiàn)光圖像融合方法

本方法主體網(wǎng)絡(luò)為GAN，包括生成器與判別器。生成器是整個(gè)模型的主要網(wǎng)絡(luò)，影響最終融合圖像的質(zhì)量，主要用來(lái)生成可以騙過(guò)判別器的融合圖像。判別器的作用不被生成器生成的圖像騙過(guò)，經(jīng)過(guò)訓(xùn)練達(dá)到很強(qiáng)的區(qū)分可見(jiàn)光圖像與生成器生成的融合圖像的能力。生成器與判別器均參與訓(xùn)練過(guò)程，測(cè)試時(shí)則直接利用訓(xùn)練好的生成器模型生成融合圖像。

訓(xùn)練過(guò)程如下：

1）將紅外與可見(jiàn)光圖像隨機(jī)采樣級(jí)聯(lián)輸入生成器，得到初步融合圖像（標(biāo)記為假數(shù)據(jù)），記為()；

2）將可見(jiàn)光圖像作為真實(shí)數(shù)據(jù)，隨機(jī)采樣記為；

3）將前兩步中某一步產(chǎn)生的數(shù)據(jù)（標(biāo)記為假數(shù)據(jù)的融合圖像和標(biāo)記為真實(shí)數(shù)據(jù)的可見(jiàn)光圖像）輸入判別器，判別網(wǎng)絡(luò)的輸出值為該輸入屬于真實(shí)數(shù)據(jù)（可見(jiàn)光圖像）的概率，真為1，假為0。

4）然后根據(jù)得到的概率值計(jì)算損失函數(shù)；

5）根據(jù)判別模型和生成模型的損失函數(shù)，利用反向傳播算法，更新模型的參數(shù)。先更新判別模型的參數(shù)，然后通過(guò)再采樣得到的紅外與可見(jiàn)光圖像更新生成器的參數(shù)。

2.1 網(wǎng)絡(luò)框架

生成器包含了雙路輸入與特征提取模塊、自適應(yīng)加權(quán)模塊、殘差塊、跳躍殘差塊、特征重構(gòu)模塊和輸出模塊6個(gè)部分，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

生成器首先對(duì)紅外圖像和可見(jiàn)光圖像進(jìn)行特征提取，然后通過(guò)Concat操作將二者特征圖級(jí)聯(lián)為256通道特征圖，再輸入權(quán)值學(xué)習(xí)融合網(wǎng)絡(luò)，完成權(quán)值分配。然后，重新分配權(quán)值的融合特征輸入一個(gè)普通卷積Conv1后，進(jìn)入殘差塊與跳躍殘差模塊，以實(shí)現(xiàn)提取深層特征的同時(shí)保留淺層特征；最后，通過(guò)輸出模塊進(jìn)行特征重構(gòu)得到融合圖像。其具體網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見(jiàn)表1。

表中字母及縮寫(xiě)定義如下：VIS代表可見(jiàn)光圖像，IR代表紅外圖像，ir_weight為紅外圖像權(quán)重，vis_weight為可見(jiàn)光圖像權(quán)重，表示卷積核大小，表示移動(dòng)步長(zhǎng)，1表示輸入通道數(shù)，2表示輸出通道數(shù)。

判別器希望訓(xùn)練出來(lái)的模型具有很強(qiáng)的判別輸入圖像是融合圖像或可見(jiàn)光圖像的能力，它以可見(jiàn)光圖像為真實(shí)參考值，希望不被生成器生成的融合圖像騙過(guò)，輸出的判別值在(0, 1)之間，該值越趨近于1表明判別能力越強(qiáng)，即越趨向于真實(shí)參考值（可見(jiàn)光圖像）。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

判別器由4個(gè)卷積層、一個(gè)特征線性轉(zhuǎn)換模塊和一個(gè)線性層組成，卷積層以3×3大小的卷積核進(jìn)行特征提取，填充方式均為VALID，激活函數(shù)為L(zhǎng)eakyReLU，卷積層2、3和4使用BatchNorm來(lái)提高模型收斂速度。判別器的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)信息見(jiàn)表2。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)圖

表1 生成器網(wǎng)絡(luò)整體結(jié)構(gòu)

圖3 判別器網(wǎng)絡(luò)結(jié)構(gòu)圖

表2 判別器網(wǎng)絡(luò)整體結(jié)構(gòu)

表中字母縮寫(xiě)定義如下：VIS代表可見(jiàn)光圖像，F(xiàn)used代表融合圖像，表示卷積核大小，表示移動(dòng)步長(zhǎng)，1表示輸入通道數(shù)，2表示輸出通道數(shù)。

2.2 自適應(yīng)加權(quán)模塊

為了在融合圖像中充分利用紅外圖像目標(biāo)區(qū)域的熱輻射信息，保留可見(jiàn)光圖像有利的紋理信息，抑制噪聲等干擾信息引入融合圖像，提出自適應(yīng)加權(quán)模塊來(lái)根據(jù)環(huán)境變化為兩個(gè)模態(tài)分配合理的權(quán)重值，將源圖像在當(dāng)前環(huán)境條件下的優(yōu)勢(shì)充分體現(xiàn)出來(lái)。在生成器中，將該模塊嵌入紅外圖像與可見(jiàn)光圖像輸入之后，最終得到一個(gè)包含兩模態(tài)重要特征的融合特征圖。其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4所示。

圖4 自適應(yīng)加權(quán)模塊結(jié)構(gòu)圖

該模塊以前一階段得到的紅外與可見(jiàn)光各自特征圖Concat作為輸入，首先通過(guò)一個(gè)3×3卷積分離兩類特征，然后通過(guò)sigmoid函數(shù)計(jì)算當(dāng)前環(huán)境下的紅外圖像與可見(jiàn)光圖像所占的比例，紅外權(quán)重矩陣ir和可見(jiàn)光權(quán)重矩陣vis的計(jì)算公式如式(2)所示：

式中：1和2表示卷積權(quán)重；1和2為卷積偏置；ir和vis通過(guò)自主學(xué)習(xí)得來(lái)。最后將獲得的權(quán)重與原始特征圖像在通道維相乘，再與源圖像相加以避免特征丟失，從而得到兩個(gè)模態(tài)的優(yōu)勢(shì)特征，干擾信息被很好地抑制。

2.3 殘差塊與跳躍殘差塊

為解決由于網(wǎng)絡(luò)過(guò)深導(dǎo)致反向傳播時(shí)梯度消失的問(wèn)題，本文方法引入了殘差塊，學(xué)習(xí)到的殘差信息有助于補(bǔ)充多尺度特征。同時(shí)，為了增加特征圖前后層的關(guān)聯(lián)性，降低網(wǎng)絡(luò)訓(xùn)練復(fù)雜性，在殘差塊的輸入與其后卷積層的輸出通過(guò)跳躍連接相連，構(gòu)建了一個(gè)跳躍殘差模塊。殘差塊與跳躍殘差塊的結(jié)構(gòu)圖如圖5所示。

2.4 損失函數(shù)與優(yōu)化方法

MAFusion的損失函數(shù)包括兩部分：生成器損失和判別器損失。生成器損失計(jì)算融合圖像與源圖像之間的差別；判別器損失以可見(jiàn)光圖像作為標(biāo)簽，訓(xùn)練辨別可見(jiàn)光圖像與融合圖像的能力。

1）生成器損失函數(shù)

生成器損失G包含對(duì)抗損失Adv及內(nèi)容損失con，其定義如式(3)所示：

G＝Adv＋con(3)

圖5 殘差塊及跳躍連接組合模塊

內(nèi)容損失con是生成器的主要損失函數(shù)，約束了融合圖像與源圖像間的相關(guān)性及重點(diǎn)提取紅外圖像與可見(jiàn)光圖像的有利信息。內(nèi)容損失越小，融合圖像中源圖像的特征越多，其定義如式(4)所示：

對(duì)抗損失Adv是生成器與判別器交互的損失函數(shù)，其定義如式(5)所示：

式中：()為判別器對(duì)融合圖像的判別結(jié)果，在(0,1)之間；為軟標(biāo)簽（取值不確定的標(biāo)簽）。判別器希望融合圖像向可見(jiàn)光圖像靠近，其值越大越好，又要保證損失最小，根據(jù)文獻(xiàn)[14]將軟標(biāo)簽的取值范圍設(shè)置為(0.7, 1.2)。

2）判別器損失函數(shù)

判別器損失D的目的是約束判別器網(wǎng)絡(luò)反向傳播參數(shù)更新，使判別器在訓(xùn)練后具有分辨可見(jiàn)光圖像和融合圖像的能力，其定義如式(6)所示：

式中：()表示判別器對(duì)可見(jiàn)光圖像的判別結(jié)果；()表示判別器對(duì)融合圖像的判別結(jié)果，、為軟標(biāo)簽（取值不確定的標(biāo)簽），根據(jù)文獻(xiàn)[14]將的范圍設(shè)置為(0.7, 1.2)，將的范圍設(shè)置為(0, 0.3)。

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)在Windows10操作系統(tǒng)和NVIDIA GTX 1080Ti GPU上完成，框架為TensorFlow 1.12.0，訓(xùn)練與測(cè)試平臺(tái)為PyCharm。本文方法的訓(xùn)練集是在TNO[21]數(shù)據(jù)集中選擇了39對(duì)不同場(chǎng)景的紅外和可見(jiàn)光圖像，以步長(zhǎng)15將39對(duì)圖像分成30236對(duì)120×120的紅外圖像與可見(jiàn)光圖像，最后的融合圖像為生成器輸出圖像的拼接。判別器訓(xùn)練次數(shù)設(shè)置為2，學(xué)習(xí)率設(shè)為0.00001，將batch_size設(shè)置為32，訓(xùn)練迭代次數(shù)設(shè)置為20次。本節(jié)采用TNO數(shù)據(jù)集的18對(duì)白天圖像和KAIST[22]數(shù)據(jù)集的14對(duì)夜間圖像評(píng)估MAFusion的性能。選擇ADF[6]、CBF[7]、WLS[8]、FusionGAN[14]、Densefuse[16]和U2Fusion[18]6種方法與MAFusion作對(duì)比實(shí)驗(yàn)，對(duì)融合圖像進(jìn)行主觀評(píng)價(jià)和客觀評(píng)價(jià)。對(duì)比實(shí)驗(yàn)圖片由MATLAB及PyCharm程序生成，客觀評(píng)價(jià)指標(biāo)計(jì)算通過(guò)MATLAB軟件編程實(shí)現(xiàn)。

3.1 主觀評(píng)價(jià)

MAFusion與對(duì)比方法在KAIST數(shù)據(jù)集中夜晚路燈下的“道路與行人”實(shí)驗(yàn)結(jié)果如圖6所示。

從圖6的實(shí)驗(yàn)結(jié)果可以看出：圖6(c)中，道路右邊的車輪廓模糊，整幅圖像清晰度較低；圖6(d)中，整體噪聲大，路燈中心有明顯的黑塊；圖6(e)中，道路右邊的人邊緣不清晰，整體紋理細(xì)節(jié)信息少；圖6(f)中，人和車的輪廓模糊；圖6(g)中，整體背景偏暗，視覺(jué)效果較好；圖6(h)中，圖像整體較為平滑，路燈周圍有光暈；圖6(i)中，整體背景較亮且清晰，目標(biāo)突出，抑制路燈周圍的光暈，能清楚地識(shí)別樓層、路燈、行人和車輛等目標(biāo)。

圖6 KAIST數(shù)據(jù)集中“道路與行人”融合結(jié)果

MAFusion與對(duì)比方法在TNO數(shù)據(jù)集中的“煙霧中的士兵”實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 TNO數(shù)據(jù)集中“煙霧中的士兵”融合結(jié)果

從圖7的實(shí)驗(yàn)結(jié)果可以看出：圖7(c)、(h)中，能看到士兵與樹(shù)木，但輪廓較模糊；圖7(d)中，圖像整體上被煙霧籠罩，無(wú)法識(shí)別士兵，圖像整體噪聲較大，且有不連續(xù)的黑塊；圖7(e)中，士兵輪廓不清晰，煙霧的干擾信息較多，圖像不平滑；圖7(f)中，人與汽車的輪廓都比較模糊，圖像較平滑，仍有煙霧的干擾信息；圖7(g)中，圖像較清晰，但沒(méi)有抑制煙霧的干擾，士兵輪廓不清晰；圖7(i)中，士兵與樹(shù)木輪廓清晰可見(jiàn)，抑制了煙霧的干擾，重點(diǎn)目標(biāo)突出，圖像整體平滑，有利信息得到了良好地體現(xiàn)。

MAFusion與對(duì)比方法在TNO數(shù)據(jù)集中的“士兵與車輛”實(shí)驗(yàn)結(jié)果如圖8所示。

圖8 TNO數(shù)據(jù)集中“士兵與車輛”融合結(jié)果

從圖8的實(shí)驗(yàn)結(jié)果可以看出：圖8(c)中，背景較暗，圖像整體不夠平滑；圖8(d)中，整體呈現(xiàn)顆粒狀，有不連續(xù)的黑塊，視覺(jué)效果差，整體噪聲較大；圖8(e)，圖像整體較模糊，窗戶與左側(cè)暗處的樹(shù)木輪廓不清晰；圖8(f)中，人的輪廓信息不清楚，部分可見(jiàn)光圖像細(xì)節(jié)信息丟失；圖8(g)中，整體偏暗，人、車、樹(shù)木、房屋均較清晰，但天空中的云輪廓較模糊；圖8(h)中，圖像較平滑，但房屋的窗戶、車窗與左側(cè)樹(shù)木的輪廓不清晰；圖8(i)中，整體較清晰，圖像平滑，可以清晰看到房屋窗戶的輪廓，車輛、房屋、士兵、地面、路燈和樹(shù)木都清晰可見(jiàn)，細(xì)節(jié)信息豐富，熱輻射信息也得到了較好的體現(xiàn)。

3.2 客觀評(píng)價(jià)

為了進(jìn)一步評(píng)價(jià)融合圖像的融合效果，使用客觀評(píng)價(jià)方法進(jìn)行評(píng)估。選擇信息熵EN、互信息MI和基于噪聲評(píng)估的融合性能abf為測(cè)評(píng)指標(biāo)，從圖像信息豐富度、信息互補(bǔ)性和噪聲等不同角度對(duì)融合圖像進(jìn)行評(píng)價(jià)。以下為測(cè)評(píng)指標(biāo)的計(jì)算公式。

1）信息熵[23]EN。其值大小能夠體現(xiàn)融合圖像中平均信息量的多少，其定義如式(7)所示：

信息熵越大越好，表明圖像所含信息越豐富。

2）互信息[24]MI。該指標(biāo)表示融合圖像包含源圖像的信息量大小，其值越大越好，計(jì)算方法如式(8)所示：

式中：、為源圖像；為融合圖像。

3）基于噪聲評(píng)價(jià)的融合性能[25]abf。該指標(biāo)反映了圖像中包含的不必要或冗余的干擾信息的多少，其值越小，圖像噪聲越少。

首先，在照明條件差且行人較小的KAIST數(shù)據(jù)集上選取14對(duì)紅外與可見(jiàn)光圖像對(duì)進(jìn)行實(shí)驗(yàn)，圖片“道路與行人”的融合效果如圖6所示，CBF方法得到的融合圖像視覺(jué)效果差，所以直接由其他5種方法與MAFusion分別生成的融合圖像進(jìn)行測(cè)評(píng)，“道路與行人”的測(cè)評(píng)結(jié)果見(jiàn)表4。EN和MI指標(biāo)的值越大越好，abf的值越小越好。

由表4可見(jiàn)，MAFusion在“道路與行人”的融合圖像在EN和MI兩個(gè)方面都是最優(yōu)的，abf值也接近于最優(yōu)值。KAIST數(shù)據(jù)集中圖像偏暗，MAFusion中模態(tài)自適應(yīng)權(quán)值學(xué)習(xí)功能很好地感知了光照條件，為兩個(gè)模態(tài)分配合適的權(quán)值，在目標(biāo)區(qū)域保留紅外圖像的熱輻射信息，背景區(qū)域保留可見(jiàn)光圖像的紋理信息，使融合圖像測(cè)評(píng)指標(biāo)值進(jìn)一步優(yōu)化。

表4 KAIST數(shù)據(jù)集“道路與行人”融合圖像客觀評(píng)價(jià)

Note：Bold font is the best value

以KAIST數(shù)據(jù)集中14對(duì)紅外與可見(jiàn)光圖像為源圖像，MAFusion與6種對(duì)比方法的測(cè)評(píng)結(jié)果見(jiàn)表5。表中數(shù)值均為每種方法生成的14張融合圖像在EN、MI和abf指標(biāo)上測(cè)評(píng)結(jié)果的平均值，EN和MI指標(biāo)的值越大越好，abf的值越小越好。

表5 KAIST數(shù)據(jù)集14組融合圖像客觀評(píng)價(jià)指標(biāo)均值

Note：Bold font is the best value

由表5可見(jiàn)，MAFusion在KAIST數(shù)據(jù)集上的融合圖像在EN和MI兩個(gè)方面都是最優(yōu)的，abf也與對(duì)比方法最優(yōu)值相近，算法性能良好。

然后，在TNO數(shù)據(jù)集上選取18對(duì)紅外與可見(jiàn)光圖像進(jìn)行實(shí)驗(yàn)，由MAFusion與6種對(duì)比方法分別生成融合圖像進(jìn)行測(cè)評(píng)，圖片“煙霧中的士兵”的融合結(jié)果如圖7所示，其中CBF與WLS方法得到的融合圖像視覺(jué)效果差，DenseFuse與U2Fusion有大量煙霧干擾信息，無(wú)法識(shí)別圖中目標(biāo)，所以直接由ADF、FusionGAN與MAFusion這3種方法分別生成的融合圖像進(jìn)行測(cè)評(píng)，“煙霧中的士兵”的測(cè)評(píng)結(jié)果見(jiàn)表6。EN和MI指標(biāo)的值越大越好，abf的值越小越好。

由表6可見(jiàn)，MAFusion在“煙霧中的士兵”的融合圖像在EN和MI兩個(gè)指標(biāo)中取得最大值，相比其他方法有明顯地提高，說(shuō)明得到的融合圖像信息更豐富，源圖像轉(zhuǎn)移到融合圖像的信息量較大。abf值最低，說(shuō)明融合圖像與對(duì)比方法相比噪聲最小，抑制干擾信息引入融合圖像。

表6 TNO數(shù)據(jù)集“煙霧中的士兵”融合圖像客觀評(píng)價(jià)

Note：Bold font is the best value

TNO數(shù)據(jù)集中圖片“士兵與車輛”的融合結(jié)果如圖8所示，其中由CBF方法生成的融合圖像含有大量不連續(xù)的黑塊，圖像視覺(jué)效果差，所以直接由其他5種方法與MAFusion分別生成的融合圖像進(jìn)行測(cè)評(píng)，“士兵與車輛”的測(cè)評(píng)結(jié)果見(jiàn)表7。EN和MI指標(biāo)的值越大越好，abf的值越小越好。

表7 TNO數(shù)據(jù)集“士兵與車輛”融合圖像客觀評(píng)價(jià)

Note：Bold font is the best value

由表7可見(jiàn)，MAFusion在“士兵與車輛”的融合圖像在EN和MI兩個(gè)指標(biāo)中取得最大值，abf取得最小值，相比其他方法的性能有明顯提高，說(shuō)明MAFusion得到的融合圖像信息更豐富，噪聲較小，融合質(zhì)量較好。

以TNO數(shù)據(jù)集中的18對(duì)紅外與可見(jiàn)光圖像為源圖像，由MAFusion與6種對(duì)比方法分別生成融合圖像進(jìn)行測(cè)評(píng)，測(cè)評(píng)結(jié)果見(jiàn)表8。表中數(shù)值均為每種方法生成的18張融合圖像在EN、MI和abf指標(biāo)上測(cè)評(píng)結(jié)果的平均值，EN和MI指標(biāo)的值越大越好，abf的值越小越好。

表8 TNO數(shù)據(jù)集18組融合圖像客觀評(píng)價(jià)指標(biāo)均值

Note：Bold font is the best value

由表8可以看出，MAFusion在EN和MI兩個(gè)指標(biāo)中取得最大值，較對(duì)比方法有提高，說(shuō)明得到的融合圖像有利信息更多，源圖像轉(zhuǎn)移到融合圖像的信息量較大，噪聲較小。

為驗(yàn)證MAFusion中雙路特征提取與自適應(yīng)加權(quán)模塊、殘差塊及跳躍殘差塊的作用，使用KAIST數(shù)據(jù)集中的14對(duì)典型紅外與可見(jiàn)光圖像做消融實(shí)驗(yàn)，采用客觀評(píng)價(jià)對(duì)所有方法生成的融合圖像進(jìn)行測(cè)評(píng)，測(cè)評(píng)結(jié)果見(jiàn)表9。表中數(shù)值均為每種方法生成的14張融合圖像在EN、MI和abf指標(biāo)上測(cè)評(píng)結(jié)果的平均值，EN和MI指標(biāo)的值越大越好，abf的值越小越好。

在表9中，方法①為FusionGAN方法，其采用直接堆疊策略將紅外與可見(jiàn)光圖像Concat后輸入特征提取網(wǎng)絡(luò)，特征提取階段也使用普通卷積完成；方法②在FusionGAN的基礎(chǔ)上，在特征提取階段采用殘差塊與跳躍殘差塊，得到的圖像經(jīng)測(cè)評(píng)后3個(gè)指標(biāo)值均優(yōu)于方法①，體現(xiàn)了殘差塊和跳躍殘差塊恒等映射的優(yōu)勢(shì)，加強(qiáng)淺層特征與深層特征的聯(lián)系，獲得的融合圖像能較好地兼顧不同種類源圖像信息。方法③在方法②的基礎(chǔ)上，將紅外與可見(jiàn)光圖像送入雙路特征提取網(wǎng)絡(luò)并進(jìn)行權(quán)值自適應(yīng)學(xué)習(xí)，得到的圖像測(cè)評(píng)后的指標(biāo)值均優(yōu)于方法②。方法③即MAFusion生成的融合圖像如圖6、圖7和圖8所示，圖像中的信息更豐富，視覺(jué)效果良好。

表9 KAIST數(shù)據(jù)集消融實(shí)驗(yàn)客觀評(píng)價(jià)

Note：Bold font is the best value

4 結(jié)論

針對(duì)惡劣環(huán)境條件下紅外與可見(jiàn)光圖像融合效果較差且容易引入噪聲的問(wèn)題，本文提出了一種模態(tài)自適應(yīng)的紅外與可見(jiàn)光圖像融合方法。該方法使用雙路特征提取及權(quán)值學(xué)習(xí)融合網(wǎng)絡(luò)，自適應(yīng)提取兩個(gè)模態(tài)的重要信息，并分配權(quán)重，強(qiáng)化對(duì)重要信息的學(xué)習(xí)。同時(shí)，在生成器特征提取階段加入殘差塊與跳躍殘差塊，使得深層網(wǎng)絡(luò)特征提取能力增強(qiáng)，反向傳播也更加容易，增強(qiáng)模型學(xué)習(xí)能力。實(shí)驗(yàn)結(jié)果表明，提出的方法在圖像的視覺(jué)觀察、目標(biāo)清晰度、圖像信息豐富性和抑制噪聲等方面具有良好的性能。

[1] 段輝軍, 王志剛, 王彥. 基于改進(jìn)YOLO網(wǎng)絡(luò)的雙通道顯著性目標(biāo)識(shí)別算法[J]. 激光與紅外, 2020, 50(11): 1370-1378.

DUAN H J, WANG Z, WANG Y.Two-channel saliency object recognition algorithm based on improved YOLO network[J]., 2020, 50(11): 1370-1378.

[2] 李舒涵, 宏科, 武治宇. 基于紅外與可見(jiàn)光圖像融合的交通標(biāo)志檢測(cè)[J]. 現(xiàn)代電子技術(shù), 2020, 43(3): 45-49.

LI S H, XU H K, WU Z Y. Traffic sign detection based on infrared and visible image fusion[J]., 2020, 43(3): 45-49.

[3] Reinhard E, Adhikhmin M, Gooch B, et al. Color transfer between images[J]., 2001, 21(5): 34-41.

[4] Kumar P, Mittal A, Kumar P. Fusion of thermal infrared and visible spectrum video for robust surveillance[C]//, 2006: 528-539.

[5] 常新亞, 丁一帆, 郭夢(mèng)瑤. 應(yīng)用整體結(jié)構(gòu)信息分層匹配的紅外與可見(jiàn)光遙感圖像融合方法[J]. 航天器工程, 2020, 29(1): 100-104.

CHANG X Y, DING Y F, GUO M Y. Infrared and visible image fusion method using hierarchical matching of overall structural information[J]., 2020, 29(1): 100-104.

[6] Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and karhunen-loeve transform[J]., 2016, 16(1): 203-209.

[7] Kumar B S. Image fusion based on pixel significance using cross bilateral filter[J]., 2015, 9(5): 1193-1204.

[8] MA J, ZHOU Z, WANG B. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[9] LIU Y, WANG Z. Simultaneous image fusion and denoising with adaptive sparse representation[J]., 2014, 9(5): 347-357.

[10] Burt P, Adelson E. The Laplacian pyramid as a compact image code[J]., 1983, 31(4): 532-540.

[11] 馬雪亮, 柳慧超. 基于多尺度分析的紅外與可見(jiàn)光圖像融合研究[J]. 電子測(cè)試, 2020, 24(4): 57-58.

MA Xueliang, LIU Huichao. Research on infrared and visible image fusion based on multiscale analysis[J]., 2020, 24(4): 57-58.

[12] LI S, YIN H, FANG L. Group-sparse representation with dictionary learning for medical image denoising and fusion[J]., 2012, 59(12): 3450-3459.

[13] Prabhakar K R, Srikar V S, Babu R V. DeepFuse: A deep unsupervised approach for exposure fusion with extreme exposure image[C]//the 2017, 2017: 4724-4732.

[14] MA J Y, YU W, LIANG P W, et al. FusionGAN: A generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[15] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//The 24(ICPR), 2018: 2705-2710.

[16] LI H, WU X. DenseFuse: A fusion approach to infrared and visible images[J]., 2019, 28(5): 2614-2623.

[17] 董安勇, 杜慶治, 蘇斌, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見(jiàn)光圖像融合[J]. 紅外技術(shù), 2020, 42(7): 660-669.

DONG Anyong, DU Qingzhi, SU Bin, et al. Infrared and visible image fusion based on convolutional neural network[J].2020, 42(7): 660-669.

[18] XU Han, MA Jiayi, JIANG Junjun, et al. U2Fusion: A unified unsupervised image fusion network[J]., 2020, 44: 502-518.

[19] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//27, 2014: 2672-2680．

[20] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//(CVPR), 2016:770-778.

[21] Figshare. TNO Image Fusion Dataset[OL]. [2018-09-15]. https://flgshare. com/articles/TNO Image Fusion Dataset/1008029.

[22] Hwang S, Park J, Kim N, et al. Multispectral pedestrian detection: benchmark dataset and baseline[C]//2015(CVPR), 2015: 1037-1045.

[23] Roberts J W, Aardt J V, Ahmed F. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]., 2008, 2(1): 023522-023522-28.

[24] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

[25] Kumar B K S. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]., 2013, 7(6): 1125-1143.

Mode Adaptive Infrared and Visible Image Fusion

QU Haicheng，WANG Yuping，GAO Jiankang，ZHAO Siqi

(School of Software, Liaoning Technical University, Huludao 125105, China)

To solve the problems of low contrast and high noise of fused images in low illumination and smoky environments, a mode-adaptive infrared and visible image fusion method (MAFusion) is proposed. Firstly, the infrared and visible images are input into the adaptive weighting module in the generator, and the difference between them is learned through two streams interactive learning. The different contribution proportion of the two modes to the image fusion task in different environments is obtained. Then, according to the characteristics of each modal feature, the corresponding weights of each modal feature are obtained independently, and the fusion feature is obtained by weighted fusion. Finally, to improve the learning efficiency of the model and supplement the multi-scale features of the fused image, a residual block and jump connection combination module are added to the image fusion process to improve the network performance. The fusion quality was evaluated using the TNO and KAIST datasets. The results show that the visual effect of the proposed method is good in subjective evaluation, and the performance indexes of information entropy, mutual information, and noise-based evaluation are better than those of the comparison method.

image fusion, mode adaptive, GAN, ResNet

遼寧省教育廳一般項(xiàng)目（LJ2019JL010）；遼寧工程技術(shù)大學(xué)學(xué)科創(chuàng)新團(tuán)隊(duì)資助項(xiàng)目（LNTU20TD-23）。

TP391

A

1001-8891(2022)03-0268-09

2021-07-18 ；

2021-09-23.

曲海成（1981-），男，博士，副教授，主要研究方向：圖像與智能信息處理。E-mail：quhaicheng@lntu.edu.cn。