基于顯著性的雙鑒別器GAN 圖像融合算法

謝一博，劉衛(wèi)國，周 順，李夢晗

（西安工業(yè)大學(xué) 光電工程學(xué)院，陜西 西安 710021）

引言

隨著現(xiàn)代科技的快速發(fā)展，傳感器技術(shù)不斷進步與完善，應(yīng)用不斷復(fù)雜化。為了更好地滿足不同領(lǐng)域的需求，各種類型的傳感器不斷涌現(xiàn)并應(yīng)用于不同的環(huán)境和場景，以獲取更為全面且準確的信息。紅外傳感器得到的紅外圖像通過區(qū)分物體之間的輻射差異來進行目標和背景的區(qū)分，在夜間環(huán)境下能有較好的工作效果；而可見光傳感器獲取的可見光圖像則可以提供清晰度的紋理細節(jié)信息和高分辨率。單一類型的傳感器所采集到的信息可能很難對某一問題做出準確的判斷。因此將紅外圖像和可見光圖像進行融合處理，可以構(gòu)造出包含熱輻射源和多光譜信息的圖像，既解決單一紅外傳感器背景模糊、細節(jié)缺失的問題，又克服了可見光傳感器對環(huán)境條件的依賴性。由于紅外和可見光圖像的融合可以大大提高圖像信息的解讀能力，其已成為圖像融合領(lǐng)域的重要組成部分。該融合技術(shù)最早應(yīng)用于軍事領(lǐng)域，在1999年，國外研發(fā)出第一個紅外與可見光圖像融合的夜視系統(tǒng)，用于在夜晚探測隱藏目標[1]。隨后，各國相繼研制出其他彩色圖像融合系統(tǒng)、多功能望遠鏡、夜視鏡等設(shè)備。隨著紅外與可見光融合技術(shù)的進步，當前該技術(shù)在夜間輔助駕駛、社區(qū)安防監(jiān)控、目標檢測等實際應(yīng)用中具有實際價值[2]。

典型的傳統(tǒng)融合方法包括基于多尺度變換方法[3]、基于稀疏表示方法[4]、基于子空間方法[5]、基于顯著性方法[6]、基于總變異方法[7]等。然而，這些方法的局限性十分明顯，傳統(tǒng)方法沒有考慮不同傳感器圖像的特征差異，而是采用相同的變換對不同的源圖像提取特征，導(dǎo)致提取的特征表達性較差，因此基于深度學(xué)習的圖像融合方法應(yīng)運而生并成為學(xué)者們研究的熱點[8]。在紅外與可見光圖像融合方面，基于深度學(xué)習的融合方法主要分為三大類：基于自編碼器的圖像融合[9]、基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合[10]以及基于生成對抗網(wǎng)絡(luò)（generative adversarial networks，GAN）的圖像融合[11]。2015 年，HUANG W 等[12]通過構(gòu)建堆棧自編碼網(wǎng)絡(luò)保留了全色圖像的細節(jié)特征和多光譜圖像的光譜特性。后來，LIU 等提出了一個基于卷積稀疏表示的融合框架，該方法有效利用圖像的稀疏性特征，便于表征融合圖像。隨著研究的深入，Li 等[1]基于VGG-19 構(gòu)建深度學(xué)習框架對圖像分解后的細節(jié)部分進行特征提取與融合。

目前紅外與可見光圖像融合中最常用的方法為基于GAN 網(wǎng)絡(luò)的方法。2019 年，MA J Y 首次將GAN 網(wǎng)絡(luò)應(yīng)用于圖像融合，提出了基于GAN網(wǎng)絡(luò)的無監(jiān)督融合模型（FusionGAN）[13]，但存在細節(jié)丟失和目標邊緣模糊的問題。2020 年，MA J Y團隊又提出了一種基于雙鑒別器生成對抗網(wǎng)絡(luò)的紅外與可見光圖像融合方法（DDcGAN）[14]，該算法將紅外與可見光源圖像分別輸入兩個鑒別器，生成器與鑒別器對抗博弈能更好地保留紅外和可見光圖像的信息，使得到的融合圖像具有更好的紋理細節(jié)和目標熱輻射信息，但雙鑒別器會忽略掉高層語義信息。2021 年HOU J L 等人[15]提出了基于語義分割的紅外與可見光圖像融合方法（SSGAN），該網(wǎng)絡(luò)既考慮了紅外和可見光圖像的底層特征，又考慮了紅外和可見光圖像的高層語義信息。

由于基于GAN 的紅外與可見光圖像融合方法在對抗訓(xùn)練過程中會丟失部分細節(jié)信息，因此，本文對GAN 的網(wǎng)絡(luò)結(jié)構(gòu)以及損失函數(shù)進行優(yōu)化，提出了更加適用于紅外與可見光圖像融合的網(wǎng)絡(luò)模型。通過以兩幅源圖像的顯著性區(qū)域作為鑒別器輸入判定融合圖像，從而使得融合圖像保留原始圖像更多顯著特征；并借助添加梯度約束這一損失函數(shù)，保存顯著對比度和豐富紋理，防止高對比度目標區(qū)域邊緣擴散造成的背景紋理污染。

1 生成對抗網(wǎng)絡(luò)模型

2014 年，GOODFELLOW I 等學(xué)者提出了由生成模型G和鑒別模型D組成的生成對抗網(wǎng)絡(luò)GAN[16]。該模型是兩個網(wǎng)絡(luò)相互對抗博弈的過程，通過不斷地反向傳播更新參數(shù)，能提高生成器的生成能力和鑒別器的判別準確度，從而在數(shù)據(jù)中學(xué)習并生成新的數(shù)據(jù)。基于GAN 的圖像融合框架如圖1 所示。

圖1 基于生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)框架圖Fig.1 Structural framework diagram based on generative adversarial networks

從數(shù)學(xué)的角度來看，為了學(xué)習生成器在數(shù)據(jù)x上的分布PG，首先對輸入噪聲變量定義一個先驗，然后對數(shù)據(jù)空間的映射表示為G(z;θg)，其中G是一個可微分的函數(shù)，由參數(shù)為θg的多層感知器表示。再定義第2 個多層感知器D(x;θd)，輸出一個標量，表明數(shù)據(jù)x來自于輸入數(shù)據(jù)而非PG。通過訓(xùn)練D，以最大限度地提高為訓(xùn)練實例和樣本分配正確標簽的概率；同時訓(xùn)練G，使其最小化log(1-D(G(z))[16]。生成器G和鑒別器D之間進行一場對抗性訓(xùn)練，此過程表示如下：

基于生成對抗網(wǎng)絡(luò)的強大生成能力，一種基于GAN 網(wǎng)絡(luò)的無監(jiān)督融合模型（FusionGAN）[13]被提出。在該模型中，紅外與可見光圖像在生成器的指導(dǎo)下融合成一幅圖像，鑒別器判定融合圖像來自真實圖像的概率，直到鑒別器無法區(qū)分融合圖像與真實圖像時博弈結(jié)束，此時融合規(guī)則下得到的融合圖像為最佳圖像。

FusionGAN 網(wǎng)絡(luò)模型首次運用GAN 去解決圖像融合問題，盡管該網(wǎng)絡(luò)可以避免手動設(shè)計融合策略，通過引入GAN 并生成具有豐富細節(jié)信息的融合圖像，但仍然存在細節(jié)丟失和目標邊緣模糊的問題。為了進一步提高融合圖像的質(zhì)量，該問題在當前亟須解決。

2 本文方法

2.1 網(wǎng)絡(luò)總體結(jié)構(gòu)

針對單鑒別器無法同時獲取兩幅源圖像信息的問題，本文設(shè)計了一個基于顯著性的雙鑒別器GAN 紅外與可見光圖像融合方法，模型框架如圖2所示。在內(nèi)容損失和感知損失的指導(dǎo)下，生成器將生成一張信息豐富且細節(jié)完整的融合圖像。鑒別器的作用是不斷迫使生成器學(xué)習，直到能夠生成與鑒別器輸入相似的圖像為止，因此，為了使融合圖像保留兩幅源圖像的顯著區(qū)域，將構(gòu)建兩幅源圖像的視覺顯著圖（即IR_SM、VIS_SM）作為兩個鑒別器的輸入。鑒別器分別鑒別源圖像視覺顯著圖和融合圖像，指導(dǎo)生成器生成高質(zhì)量的包含源圖像的細節(jié)信息和顯著區(qū)域的融合圖像。生成器與鑒別器進行不斷對抗性訓(xùn)練，當鑒別器無法區(qū)分融合圖像與可見光圖像時，判定融合圖像中的細節(jié)信息分布與可見光圖像中的細節(jié)信息分布近似，最終獲得一幅包含紅外圖像輻射信息及可見光圖像紋理細節(jié)的融合圖像。

圖2 本文算法模型結(jié)構(gòu)框架圖Fig.2 Structural framework diagram of proposed algorithm model

本文方法的主要核心包括3 部分：1）顯著性視圖的構(gòu)造，通過均值濾波與中值濾波的結(jié)果作差來求解兩種圖像的顯著圖，并將其作為鑒別器的輸入圖像；2）網(wǎng)絡(luò)結(jié)構(gòu)，兩個鑒別網(wǎng)絡(luò)模型與一個生成網(wǎng)絡(luò)模型的結(jié)構(gòu)；3）損失函數(shù)，在生成損失函數(shù)中引入梯度約束以保留更多的細節(jié)信息，及兩個鑒別損失函數(shù)的數(shù)學(xué)表示。

2.2 視覺顯著圖的構(gòu)造

視覺顯著圖（saliency map，SM）能夠反映圖像中像素點的顯著性程度，具體流程如圖3 所示。首先采用均值濾波處理紅外與可見光兩幅源圖像，再采用中值濾波，并將兩者輸出結(jié)果作差處理，即獲得相應(yīng)的高通圖像[17-18]。

圖3 視覺顯著性提取流程圖Fig.3 Flow chart of visual saliency extraction

紅外圖像與可見光圖像分別由I1、I2表示，對應(yīng)的高通圖像分別由H1、H2表示，其過程由式（2）表示：

式中：(x,y)表示圖像像素坐標；φμ1和φμ2為兩幅源圖像均值濾波輸出；φρ1和φρ2為兩幅源圖像的中值濾波輸出。

之后，對兩幅高通圖像H1和H2進行高斯濾波平滑處理，即獲得兩幅圖像的顯著值圖像S1與S2。由式（3）表示：

對可見光的灰度圖像進行顯著性區(qū)域提取，結(jié)果如圖4 所示。通過該方法提取到圖像的顯著性區(qū)域，其中石頭與標牌為圖像的主要信息。

圖4 可見光顯著性區(qū)域提取結(jié)果Fig.4 Extraction results of visible-light salient area

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

本文算法采用了基于卷積神經(jīng)網(wǎng)絡(luò)的生成器和鑒別器兩個部分組成整個網(wǎng)絡(luò)結(jié)構(gòu)。

生成器G的網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示，紅外與可見光圖像作為生成器的輸入，而最終輸出為IRRGB 融合圖像。該生成器由5 個公共卷積層組成：對于每個卷積層，padding 設(shè)置為SAME，步長設(shè)置為1，特征圖的大小將不會改變。為了解決數(shù)據(jù)初始化的敏感性以及避免消失梯度，所有卷積層中均采用批量標準化（BatchNorm，BN）模塊和激活函數(shù)。如圖5 中的箭頭所示，在前4 層中應(yīng)用來自密集連接卷積網(wǎng)絡(luò)的密集連接層。以前反饋方式在每層和所有層之間建立連接，以實現(xiàn)特征重用，防止在卷積過程中刪除一些重要信息，選擇的輸入和輸出通道是2∶16、16∶16、32∶16、48∶16 和64∶1。

圖5 生成器G 的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Network structure diagram of generator G

本文設(shè)計算法的網(wǎng)絡(luò)中有兩個鑒別器Dr和Dv，它們具有相同架構(gòu)，如圖6 所示。其作用均為分類器，生成一個輸入圖像來自真實數(shù)據(jù)而不是G的概率。該鑒別器采用4 個卷積層和1 個全連接層，步長和padding 分別設(shè)置為2 和VALID，因此不需要池化層。該網(wǎng)絡(luò)的前4 層卷積核大小為3×3，卷積核個數(shù)分別為32、64、128 和256，因此輸入和輸出通道分別為1∶32、32∶64、64∶128 和128∶256。

圖6 鑒別器D 的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 Network structure diagram of discriminator D

2.4 損失函數(shù)

在對網(wǎng)絡(luò)進行訓(xùn)練時，需要以預(yù)測值和真實值之間的誤差為基礎(chǔ)對網(wǎng)絡(luò)進行懲罰，這種懲罰通過損失函數(shù)來計算。由于損失函數(shù)種類繁多，因此需要根據(jù)不同的目標任務(wù)選擇最適合的損失函數(shù)，以達到最佳的訓(xùn)練效果，從而使網(wǎng)絡(luò)能夠成功實現(xiàn)我們所期望的功能。生成對抗網(wǎng)絡(luò)的損失函數(shù)主要包括生成器損失函數(shù)和鑒別器損失函數(shù)。

2.4.1 生成器損失函數(shù)

根據(jù)網(wǎng)絡(luò)中生成器的目的，需要通過訓(xùn)練來欺騙鑒別器，并且要求約束內(nèi)容中生成圖像與源圖像之間的相似性。故生成器包含生成器與鑒別器之間的對抗損失Ladv和生成圖像與真實圖像之間的內(nèi)容損失Lcontent，生成器損失函數(shù)定義如下：

式中：α為平衡系數(shù)；Ladv和Lcontent定義如式（5）、式（6）。

圖像的梯度信息能夠反映邊緣比較銳利的清晰度，且圖像梯度值較大，則反映相應(yīng)的圖像邊緣更加銳化。通過在損失函數(shù)中引入梯度約束來增強圖像的細節(jié)信息。其中，損失Lgrad表示梯度約束，強制融合的圖像If具有類似于Ir和Iv的梯度，具體定義如下：

式中：H和W代表輸入圖像的尺寸；?為梯度算子；μ為平衡參數(shù)。

強度損失Lin約束融合圖像保持與源圖像相似的強度分布，以便保留重要的對比度信息，強度損失定義為

式中：||·||F表示矩陣Frobenius 范數(shù)；ξ是控制兩項之間權(quán)衡的參數(shù)。

2.4.2 鑒別器損失函數(shù)

鑒別器的作用是通過訓(xùn)練輸出一個標量將真實數(shù)據(jù)與虛假數(shù)據(jù)區(qū)分開來，在提出的圖像結(jié)構(gòu)中，使用兩個獨立的鑒別器(即Dr、Dv)來約束生成器分別捕獲更多的對比度和紋理信息。Dr、Dv旨在分別將融合圖像與紅外和可見光圖像區(qū)分，需要同時考慮生成器與鑒別器之間的對抗關(guān)系和Dr與Dv的平衡。鑒別器的對抗性損失能夠計算出分布之間的散度，從而識別出強度或紋理信息是否虛假，以盡可能獲取真實信息[14]。將相應(yīng)的損失函數(shù)LDr和LDv定義為

鑒別器則是通過提取可見光與紅外圖像中的顯著性特征來幫助區(qū)分融合圖像和可見光圖像。網(wǎng)絡(luò)中采用最小平方損失函數(shù)，并基于最小化皮爾遜 χ2散度的原則，使網(wǎng)絡(luò)訓(xùn)練過程更加穩(wěn)定，從而使得鑒別器的損失函數(shù)能快速收斂。

依據(jù)兩者圖像不同的特性，可見光圖像中主要存在豐富的紋理結(jié)構(gòu)信息，而紅外圖像中主要存在顯著的對比度信息。然而，在紅外圖像中也包含了一些結(jié)構(gòu)信息；同樣地，可見光圖像也包含一些對比度信息。通過網(wǎng)絡(luò)連續(xù)對抗的方式，本文方法可以生成具有良好視覺效果的融合圖像，且以雙鑒別器的方式在保留紅外和可見光的固有信息方面取得了良好的平衡。

3 實驗結(jié)果與分析

本文的實驗圖像均來自于自主搭建的紅外-可見光成像系統(tǒng)，紅外相機與可見光相機的分辨率、像元尺寸、幀率分別為1 280×1 024 像素和1 280×1 024像素、12 μm 和4.8 μm、25 frame/s 和211 frame/s。兩相機相對位置固定，通過軟件觸發(fā)控制采集圖像。由于兩相機之間具有不同的外部及內(nèi)部參數(shù)，故在圖像融合之前需對圖像進行配準裁剪，最終進行融合實驗的圖像分辨率均為800×600 像素。為了突出本文算法的優(yōu)越性，本文選用幾種算法進行定性和定量比較，包括：基于強度色調(diào)飽和度（intensity hue saturation，IHS）[19]、主成分分析（principal component analysis，PCA）[19]、拉普拉斯金字塔（Laplacian pyramid，LP）[20]、離散小波變換（discrete wavelet transform，DWT）[21]、雙尺度融合算法（two-scale image fusion，TIF）[22]、FusionGAN[13]及GANMcC[23]、DDcGAN[14]與SSGAN[15]。

定量評價依賴于一些現(xiàn)有的統(tǒng)計指標，從不同方面評估融合結(jié)果的質(zhì)量。為了客觀地評價各種融合方法的結(jié)果，選用信息熵（EN）[24]、平均梯度（MG）[25]，空間頻率（SF）[26]和邊緣強度（EI）[27]作為評價指標來驗證本文方法的有效性。不同指標所表示的意義不同，EN 表示圖像信息豐富度，MG 用于衡量圖像的紋理和細節(jié)的表征能力，SF 衡量圖像在空間中的活躍程度，EI 表示圖像的邊緣細節(jié)信息。本文選用的評價指標均與圖像質(zhì)量的關(guān)系呈正比例。

3.1 融合結(jié)果主觀評價

不同場景下不同算法進行紅外與可見光圖像融合的結(jié)果如圖7 所示。場景1(Img 1)為道路地面場景，Img 1 中紅外圖像的車位線幾乎全黑，在對道路環(huán)境不明的情況下很難分辨出其為停車線，容易誤判，在可見光圖像中井蓋與道路“融為一體”，而融合圖像較好地還原了道路環(huán)境并能分辨出井蓋；LP 和DWT 的融合效果更加偏向可見光圖像，其結(jié)果有豐富的紋理細節(jié)，但目標和背景之間的對比并不明顯；IHS、PCA、FusionGAN、GANMcC 及DDcGAN 的融合效果更加偏向紅外圖像，具有良好的熱輻射信息，但紋理細節(jié)不足；SSGAN的細節(jié)信息較明顯，但其主觀視覺效果不符合真實場景；而TIF 和本文方法更好地融合了紅外和可見光的原始特征，相較于TIF，本文方法的融合圖像將道路上的石頭路障和人更好地顯示出來。場景2(Img 2)的紅外圖像無法識別到石頭目標，采用不同算法將紅外圖像與可見光圖像的信息進行融合以突顯目標；IHS、PCA 與FusionGAN 的目標同樣無法識別；LP、DWT 的結(jié)果過亮，主觀視覺效果不佳；TIF、GANMcC 與DDcGAN 的結(jié)果良好，路牌的文字信息與場景的信息都能夠觀察；SSGAN方法的融合圖像細節(jié)信息豐富，但圖像中并未蘊含熱輻射信息；而本文所提出的算法的融合結(jié)果不僅有明顯的對比度，而且有豐富的紋理細節(jié)。場景3(Img 3)為包含天空背景下的人物與石碑場景，在IHS、PCA、FusionGAN、GANMcC 與DDcGAN的融合圖像中，天空背景是更加偏向紅外圖像的黑色，與主觀視覺特征不符合；SSGAN 的結(jié)果特征細節(jié)過于突出，但背景信息不真實；TIF 的結(jié)果并沒有凸顯顯著目標，圖像整體較為模糊，且人物目標不明顯；LP、DWT 與本文方法在凸顯顯著目標的同時保留了天空背景的視覺特征，但LP 與DWT 對草地表征過亮，整體圖像效果不佳；本文方法不僅突出了人物目標，周圍的環(huán)境信息也得以較好地保留。在場景4(Img 4)中，IHS、PCA、FusionGAN、GANMcC 與DDcGAN、SSGAN 的融合圖像中，天空背景偏向紅外圖像的黑色，且整體圖像主管視覺偏暗，不符合拍攝的光照場景；TIF 的結(jié)果未凸顯人物目標；LP、DWT 與本文方法既凸顯了目標，也較好保留了天空背景的視覺特征，周圍的樹木也較明顯；本文方法生成的圖像中人物（即目標）和樹木（即背景）之間的對比較強，且樹木的紋理細節(jié)豐富，融合圖像在兩幅源圖像的信息之間取得了較好的平衡。

總結(jié)4 組實驗結(jié)果，IHS、PCA 方法的融合效果接近紅外圖像，擁有較強的對比度，但缺少紋理細節(jié)；LP、DWT 方法的圖像接近可見光圖像，保留了豐富的紋理細節(jié)，但其對比度不明顯；TIF 方法的圖像目標與背景區(qū)分不明顯，且主觀視覺效果不佳；FusionGAN、GANMcC 與DDcGAN、SSGAN方法的融合圖像雖然同時保留了紅外的熱輻射信息與可見光圖像的紋理信息，但是對實際環(huán)境背景的描述不恰當，且整體效果偏暗；本文方法的顯著性特征明顯，且目標信息突出，對環(huán)境描述符合實際情況。

3.2 融合結(jié)果客觀評價

除了通過主觀視覺對不同算法進行定性描述之外，本文選擇了信息熵、平均梯度、空間頻率以及邊緣強度4 種評價指標，對10 種圖像融合算法在不同場景下的圖像進行定量評價。具體的客觀評價結(jié)果如表1 所示。

表1 不同方法對比實驗客觀評價結(jié)果Table 1 Objective evaluation results for different methods of comparison experiments

分析表1 中不同方法評價指標的結(jié)果，就EN 而言，相較于其他融合算法，本文方法的數(shù)據(jù)結(jié)果最佳，其熵值最大表明了其所蘊含的信息量越豐富，說明本文方法較好地實現(xiàn)了兩種圖像不同信息的融合。就MG 而言，本文方法相較于其他融合算法表現(xiàn)效果更好，TIF 算法次之，本文方法的圖像結(jié)果平均梯度綜合最大，說明該圖像所能體現(xiàn)的層次更多，細節(jié)表現(xiàn)力更強，圖像更清晰。就SF 而言，TIF 算法與本文方法的空間頻率數(shù)據(jù)指標為最高；在不同的實驗結(jié)果中，除去第1 組實驗結(jié)果較低，其他幾組實驗結(jié)果證明本文改進的算法更勝一籌，指標值約為8.0～11.0；因此，本文方法所得圖像的邊緣信息更豐富，對比度更高，圖像的融合質(zhì)量最佳。就EI 而言，本文改進的算法表現(xiàn)更好，在4 組數(shù)據(jù)中有2 組數(shù)據(jù)值最高，本文方法的融合圖像邊緣強度最大，而采用IHS與TIF 算法結(jié)果的邊緣強度數(shù)據(jù)次之?？梢缘贸鼋Y(jié)論，本文方法具有更豐富的細節(jié)信息，保留了紅外圖像與可見光圖像中顯著的對比度和豐富的紋理。

為了更直觀地觀察不同方法的指標對比結(jié)果，將表1 可視化表示，如圖8 中(a)、(b)、(c)、(d)子圖分別表示信息熵、平均梯度、空間頻率以及邊緣強度的折線堆積圖。

圖8 不同方法的評價指標折線堆積圖Fig.8 Folded-line stacking diagram of evaluation indexes of different methods

觀察圖8 不同方法的評價指標折線堆積圖，在所有指標中，本文方法與TIF 算法、SSGAN 算法的數(shù)據(jù)結(jié)果較好。綜合幾組實驗及不同指標，本文方法的表現(xiàn)最佳，表明該算法能夠從源圖像獲得更全面且有價值的信息。融合圖像既包含了豐富的紋理細節(jié)，也較好地保留了源圖像的邊緣細節(jié)特征，其結(jié)果具有良好的視覺體驗。通過對主觀視覺效果圖的觀察及客觀數(shù)據(jù)的描述，最終得出本文方法在融合圖像效果上優(yōu)于其余算法。

4 結(jié)論

針對紅外與可見光圖像在不同場景下對目標識別能力的強弱問題，本文將紅外與可見光圖像進行融合，提出了一種基于顯著性的雙鑒別器生成對抗網(wǎng)絡(luò)紅外與可見光圖像融合方法，創(chuàng)新性地以兩幅源圖像的顯著性區(qū)域作為鑒別器輸入，從而使得融合圖像保留原始圖像更多顯著特征；該網(wǎng)絡(luò)的生成損失函數(shù)中添加了梯度約束，以保留更多的細節(jié)信息，防止了高對比度目標區(qū)域邊緣擴散造成的背景紋理污染。結(jié)果表明，本文方法不僅能夠保留紅外圖像強對比的目標信息，而且能夠保留可見光圖像的主觀視覺優(yōu)勢。綜合評價驗證了本文方法的可行性及優(yōu)異性。隨著紅外與可見光圖像融合技術(shù)廣泛應(yīng)用于工程技術(shù)和科學(xué)研究中，本文所優(yōu)化的圖像融合方法實現(xiàn)了紅外圖像和可見光圖像的有效融合，提高了融合圖像的質(zhì)量，在目標識別等領(lǐng)域中具有十分重要的意義。