保留梯度和輪廓的可見光與紅外圖像融合

韓林凱，姚江偉，王坤峰

保留梯度和輪廓的可見光與紅外圖像融合

韓林凱，姚江偉，王坤峰*

（北京化工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，北京 100029）（ ? 通信作者電子郵箱wangkf@buct.edu.cn）

為了解決可見光與紅外圖像采用基礎(chǔ)拉普拉斯融合（Laplacian Blending）時，存在熱源物體的輪廓不清晰以及曝光嚴(yán)重區(qū)域圖像內(nèi)容缺失的問題，提出一種保留紅外輪廓與梯度信息的圖像融合方法。首先，對輸入圖像進(jìn)行顏色空間轉(zhuǎn)換和自適應(yīng)形態(tài)學(xué)去噪，并將兩幅圖像的梯度對比和紅外圖像突出目標(biāo)的輪廓作為像素活動信息的權(quán)值；其次，同時分解權(quán)值與輸入圖像，并采用基于相似度的比較調(diào)整權(quán)重分配；最后，重構(gòu)圖像并轉(zhuǎn)換顏色空間。在主觀評價中，所提方法未產(chǎn)生偽影和怪異色彩，圖像中的發(fā)熱目標(biāo)輪廓清晰；在客觀評價指標(biāo)中，該方法的熵（EN）為7.49，邊緣梯度（EI）為74.61，平均梯度（AG）為7.23，與傳統(tǒng)多尺度變換方法（包括非下采樣輪廓波變換（NSCT）方法和基于非下采樣剪切波變換（NSST）多尺度熵方法）和深度學(xué)習(xí)方法（結(jié)合殘差網(wǎng)絡(luò)（ResNet）與零相位分量分析（ZCA）的圖像融合方法）相比，它的EN分別提升了0.10、0.58和0.75，EI分別提升了6.65、20.35和37.35，AG分別提升了0.73、2.19和3.55；而且它在Intel i5系列計算機(jī)上的處理速度達(dá)到5 frame/s，計算復(fù)雜度低。

圖像融合；圖像去噪；權(quán)值分配；拉普拉斯分解；輪廓保留

0 引言

可見光圖像與紅外圖像由于成像原理不同，具有不同的優(yōu)缺點［1］。在夜晚低照度環(huán)境下，紅外圖像可以清晰分辨目標(biāo)物體與非目標(biāo)物體，但同時也存在圖像背景信息匱乏的缺點?？梢姽鈭D像具有較為豐富的背景信息，但在不良光照條件下，目標(biāo)物體與非目標(biāo)物體的區(qū)分度小，難以識別。融合可見光與紅外圖像可以使結(jié)果既擁有可見光圖像的豐富信息，又擁有紅外圖像的突出目標(biāo)信息，因此，圖像融合在醫(yī)學(xué)、交通等領(lǐng)域［2］得到了廣泛應(yīng)用。

現(xiàn)階段的多光譜圖像信息融合分為三個級別：像素級融合、特征級融合和決策級融合［3］，本文主要研究像素級融合。像素級融合依賴于多光譜圖像的精確配準(zhǔn)，在配準(zhǔn)有偏差的情況下，像素級融合會產(chǎn)生偽影問題［4］。像素級融合方法的通用流程是：首先分解原始多光譜圖像，獲得不同帶通下的分解系數(shù)，再按照一定的規(guī)則選取分解系數(shù)，最后重構(gòu)圖像。在像素級融合中，研究人員主要關(guān)注兩個方面：活動水平測量和融合規(guī)則制定［5］?；顒铀綔y量即多尺度分解方法，包括塔式分解、小波變換和多尺度幾何分析等。Burt等［6］首次將拉普拉斯金字塔（Laplacian Pyramid， LP）變換［7］用于圖像融合，并提出了LP圖像融合方法，后續(xù)研究者針對LP分解的缺點進(jìn)行了改進(jìn)。針對LP分解得到的融合圖像對比度較差的問題，Toet［8］提出了低通比率金字塔、對比度金字塔和形態(tài)學(xué)金字塔，通過增加不同帶通的對比率來提高融合結(jié)果的對比度。Wang等［9］提出將LP分解和自適應(yīng)稀疏表示結(jié)合，能有效減少偽影、噪聲對融合結(jié)果的影響。隨后，研究者又提出了Spline金字塔、中值金字塔、方向?qū)Ρ榷瓤煽亟鹱炙筒豢煞諰P等方法［10］，解決了LP各層之間信息存在冗余、分解時缺少方向性的不足。

相較于拉普拉斯變換，小波變換的優(yōu)點是它本身帶有方向性，缺點是不同帶通之間存在冗余。研究者先后提出了離散小波變換［11］、經(jīng)驗小波變換［12］等一系列改進(jìn)小波變換，以提升融合效果。Do等［13］提出輪廓波變換，組合拉普拉斯塔形分解和方向濾波器，能實現(xiàn)分解的多分辨率、局域方向的圖像表示。非下采樣輪廓波變換（Non-Subsampled Contourlet Transformation， NSCT）［14］、非剪切輪廓波變換等多尺度分解方法隨后被提出，減少了輪廓波帶來的偽吉布斯現(xiàn)象，增加了分解的方向性與局部性。相較于拉普拉斯分解，小波變換和多尺度分解具有冗余小、多方向性等優(yōu)點，但同時由于它們的計算復(fù)雜度高，不適用于有實時性要求的工程。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）和深度學(xué)習(xí)技術(shù)的發(fā)展推動了傳統(tǒng)圖像融合技術(shù)的轉(zhuǎn)變，對圖像融合階段的權(quán)重分配具有全局的參考價值。生成對抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）被廣泛應(yīng)用于圖像生成與圖像融合。Li等［15］將耦合GAN應(yīng)用于圖像融合，使可見光圖像紋理信息和紅外圖像熱輻射信息融合更平穩(wěn)，同時避免了設(shè)計融合規(guī)則。多尺度注意力機(jī)制使網(wǎng)絡(luò)能獲取更全面的空間信息，Li等［16］將注意力機(jī)制應(yīng)用于GAN，生成器更聚焦紅外圖像的前景熱源信息和背景細(xì)節(jié)信息，判別器更聚焦突出區(qū)域。另外，研究者利用CNN提取原圖像的像素活動信息，整合紅外圖像與可見光圖像，參與融合規(guī)則的制訂。Liu等［17］利用孿生（Siamese）網(wǎng)絡(luò)整合原圖像的像素活動信息，再與原圖像一起參與多尺度分解和融合規(guī)則的選擇。但是將深度學(xué)習(xí)用于圖像融合的計算復(fù)雜度更高，需要高性能計算機(jī)參與訓(xùn)練，同時需要大規(guī)模訓(xùn)練數(shù)據(jù)集。

相較于深度學(xué)習(xí)的圖像融合方法，傳統(tǒng)圖像融合方法的速度更快，但在分解原圖像的過程中容易丟失圖像原始信息；基于深度學(xué)習(xí)的圖像融合方法雖然增加了全局信息，但模型復(fù)雜度高，對計算設(shè)備的要求也高。針對上述問題，本文提出一種保留紅外輪廓與梯度信息的圖像融合方法。為了減少未完全配準(zhǔn)圖像的像素差異，首先預(yù)處理可見光圖像和紅外圖像，以降噪和補(bǔ)全信息；其次，為了達(dá)到實時性要求，以拉普拉斯分解為底層框架，利用深度學(xué)習(xí)提取圖像特征的思想，保留紅外圖像輪廓和可見光圖像背景梯度信息，從圖像中提取特征構(gòu)成總體權(quán)值圖，與原圖像一起參與拉普拉斯分解和重構(gòu)，提高圖像的融合性能。

1 本文方法

1.1　預(yù)處理并獲得權(quán)重

在采集與傳輸圖像時，會引入隨機(jī)的椒鹽噪聲和高斯噪聲。權(quán)重自適應(yīng)可以構(gòu)造不同的形態(tài)學(xué)結(jié)構(gòu)，最大限度地減少噪聲，補(bǔ)全信息。因此，采用權(quán)重自適應(yīng)構(gòu)造不同形態(tài)學(xué)結(jié)構(gòu)的方法，增強(qiáng)可見光圖像和紅外圖像的圖像信息，減少椒鹽噪聲和高斯噪聲；同時，利用形態(tài)學(xué)開閉操作，補(bǔ)全信息缺失的區(qū)域。串聯(lián)濾波或并聯(lián)濾波的效果通常比串并聯(lián)復(fù)合濾波差，因此構(gòu)造不同的形態(tài)學(xué)結(jié)構(gòu)時，采用形態(tài)開?閉的級聯(lián)形式。選擇權(quán)重時，可以采用自定義結(jié)構(gòu)或者自適應(yīng)的方式，不同圖像所含信息的復(fù)雜度不同，自定義權(quán)重方法的魯棒性欠佳，因此選擇自適應(yīng)調(diào)整權(quán)重。

為了降低計算量和簡化計算步驟，在具體實現(xiàn)過程中，計算串聯(lián)濾波器的處理結(jié)果與原始輸入圖像的差異值，并將計算結(jié)果作為權(quán)值向量；確定權(quán)值后，通過對串聯(lián)結(jié)果加權(quán)求和得到去噪后的圖像信息。上述預(yù)處理操作的流程如圖1所示。

圖1　原始圖像預(yù)處理和獲得的信息權(quán)重

接下來對預(yù)處理后的紅外圖像進(jìn)行形態(tài)學(xué)梯度處理和閾值處理。其中，對紅外圖像進(jìn)行形態(tài)學(xué)梯度處理的目的是突出紅外圖像中高亮區(qū)域的外圍，得到高亮目標(biāo)的準(zhǔn)確輪廓。形態(tài)學(xué)梯度指形態(tài)學(xué)中膨脹圖和腐蝕圖之差，對它進(jìn)行閾值處理，使它的顯著邊緣輪廓為1，以確保在融合過程中不損失高亮目標(biāo)的輪廓信息。閾值處理的定義如下：

1.2　融合規(guī)則

圖像與權(quán)重分解融合過程如圖2所示。

圖2　圖像與權(quán)重分解融合過程

2 實驗與結(jié)果分析

為了驗證本文方法的有效性，分別與傳統(tǒng)的多尺度分解方法和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行對比。傳統(tǒng)的多尺度分解方法包括：基于交叉雙邊濾波（Cross Bilateral Filter， CBF）方法［19］、基于梯度轉(zhuǎn)移融合（Gradient Transfer Fusion， GTF）多尺度方法［20］；基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法包括：基于CNN和LP分解的融合方法［17］（簡記為CNN+LP）、結(jié)合殘差網(wǎng)絡(luò)（Residual Network， ResNet）和零相位分量分析（Zero-phase Component Analysis， ZCA）的圖像融合方法［21］（簡記為ResNet+ZCA）。本文實驗對比采用原論文提供的參數(shù)，實驗使用Matlab 2016與C++ 11編程實現(xiàn)，在Intel Core i5-8250U CPU@1.60 GHz的計算機(jī)上運(yùn)行。

2.1　數(shù)據(jù)集

實驗使用兩個數(shù)據(jù)集：一是從TNO數(shù)據(jù)集［22］中選取51對熱紅外圖像與可見光圖像，二是從文獻(xiàn)［23］中選取21對數(shù)據(jù)擴(kuò)充數(shù)據(jù)集。按照時間段將數(shù)據(jù)集劃分為白天和晚上，按照天氣環(huán)境劃分為煙霧、雨雪和正常等環(huán)境，按照空間位置劃分為室內(nèi)和室外。

2.2　消融實驗定性分析

原始拉普拉斯方法因為噪聲的存在會產(chǎn)生圖像融合效果不穩(wěn)定的現(xiàn)象，針對該問題，本文提出減少噪聲的改進(jìn)措施；同時，原始拉普拉斯方法融合結(jié)果中存在目標(biāo)物體輪廓不清晰的問題，因此本文提出權(quán)重調(diào)解融合系數(shù)選擇。圖3（c）為原始拉普拉斯圖像融合結(jié)果，可以看出因為噪聲導(dǎo)致融合結(jié)果產(chǎn)生了大量偽影；圖3（d）為未加入權(quán)重調(diào)解的融合結(jié)果，可以看出發(fā)熱目標(biāo)人的邊緣輪廓不清晰；相較于圖3（c）～（d），圖3（e）（即本文方法）保留了可見光圖像中的背景紋理信息，同時紅外圖像中人的輪廓更清晰，也沒有產(chǎn)生偽影。

圖3　本文方法各改進(jìn)措施對融合結(jié)果的影響

2.3　不同方法融合結(jié)果定性分析

為了驗證本文方法在不同場景下的魯棒性，設(shè)計兩組分別在白天和夜晚光照條件下的實驗作為對比。

圖4為白天環(huán)境下的實驗結(jié)果對比，可以看出：CBF在融合結(jié)果中，會產(chǎn)生模塊化的偽影；GTF在融合過程，沒有考慮保留圖像色彩，在有色彩的環(huán)境下，重構(gòu)后失去了圖像原有色彩；ResNet+ZCA在卷積過程中，降低了圖像的色度；CNN+LP、本文方法在白天環(huán)境下較好地完成了圖像融合任務(wù)。

圖5為夜晚環(huán)境下的實驗結(jié)果對比。從圖5中看出，CBF在可見光圖像存在曝光現(xiàn)象時，融合結(jié)果丟失了紅外圖像中的有用信息，如圖5中的圖像對1，CBF漏掉了紅外圖像的行人信息；同時，在保留可見光的物理背景信息時，CBF保留的清晰度差于本文方法。對于保留可見光圖像的背景信息和保留紅外圖像的突出熱源信息方面，GTF的完成度較低。當(dāng)可見光圖像在夜晚曝光嚴(yán)重時，CNN+LP方法基本沒有融合效果；而在曝光不嚴(yán)重的區(qū)域，該方法較好地實現(xiàn)了兩者的結(jié)合；在背景存在樹枝的情況下，該方法保留了可見光圖像更充分的信息。利用卷積反卷積實現(xiàn)的ResNet+ZCA，在圖像前后的縮放過程中，損失了圖像的數(shù)值信息，使融合結(jié)果偏暗，降低了圖像色度。本文方法可以充分保留可見光圖像的物理背景信息，對于曝光嚴(yán)重的可見光圖像，盡管融合圖像在曝光邊界存在一定的光暈，但其他部分的融合效果達(dá)到預(yù)期。相較于CNN+LP，本文方法解決了曝光嚴(yán)重部分的融合缺失問題。在融合結(jié)果方面，本文方法的融合結(jié)果具有豐富的背景信息，整體視覺效果較好。

圖4　白天環(huán)境下不同方法的實驗結(jié)果對比

圖5　夜晚環(huán)境下不同方法的實驗結(jié)果對比

2.4　不同方法融合結(jié)果定量分析

Zhang等［23］提出了13種客觀評價標(biāo)準(zhǔn)，主要分為基于信息論、基于結(jié)構(gòu)相似性、基于圖像特征和基于人類視覺感知這四類。為了保證公平性、有效性，本文在這四類中選取以下指標(biāo)：熵（ENtropy， EN）、邊緣梯度（Edge Intensity， EI）、標(biāo)準(zhǔn)差（Standard Deviation， SD）、平均梯度（Average Gradient， AG）、互信息（Mutual Information， MI）、基于梯度的融合性能（Qabf）和Qcb（一種結(jié)合對比度敏感濾波、局部對比計算、各向同性局部對比度計算和顯著圖生成的評價標(biāo)準(zhǔn)）。EN越高，保留的圖像細(xì)節(jié)越多；EI越高，圖像邊緣信息數(shù)越多，且質(zhì)量越好；SD表示灰度均值的離散程度，值越大越好；AG反映圖像的清晰度，代表圖像細(xì)節(jié)處的梯度變化，值越高越好；Qabf和Qcb也是值越高越好。

為了驗證本文方法相較于傳統(tǒng)方法和較新方法的有效性，除以上對比方法外，增加LP圖像融合方法［7］、非下采樣輪廓波變換（NSCT）方法［14］、基于非下采樣剪切波變換（Non-Subsampled Shearlet Transform， NSST）多尺度熵方法［24］。

由于每組圖像的質(zhì)量不同，圖像融合的性能指標(biāo)有較大差別，本文對每組圖像評價標(biāo)準(zhǔn)所得值取平均，結(jié)果如表1所示。從表1可以看出，本文方法在EN、EI、AG和Qabf的表現(xiàn)均最高，這得益于本文方法對于梯度信息的保留。相較于NSCT、NSST和ResNet+ZCA，本文方法的EN分別提升了0.10、0.58和0.75，EI分別提升了6.65、20.35和37.35，AG分別提升了0.73、2.19和3.55。ResNet+ZCA雖然也利用了CNN，但該方法中涉及多次卷積反卷積的操作，損失了圖像信息，表現(xiàn)比CNN+LP差。

表2為不同方法的時間消耗，可以看出，本文方法的計算時間明顯少于CBF、GTF、CNN+LP和ResNet+ZCA。使用Intel i5系列CPU，不利用多線程計算，當(dāng)處理的圖像大小為500×500時，本文方法的處理速度可以達(dá)到5 frame/s。

表2　不同方法的時間消耗 單位：s

3 結(jié)語

本文提出了一種保留紅外圖像原始輪廓的圖像融合方法。在圖像進(jìn)行多尺度分解之前，首先對原始圖像做自適應(yīng)形態(tài)學(xué)的圖像去噪，改變圖像存儲格式，并保留紅外圖像的輪廓信息，從而改善圖像信息缺失，降低融合后產(chǎn)生偽影的概率，并保留可見光圖像的色度信息。在融合規(guī)則的選取上，以匹配度與原始圖像保留信息調(diào)節(jié)系數(shù)的選擇，保留更豐富的紋理細(xì)節(jié)。在主觀評價方面，本文在測試數(shù)據(jù)集上的融合結(jié)果良好，保留了原始圖像的色度且基本不產(chǎn)生偽影，同時保留了紅外突出的目標(biāo)和可見光豐富的紋理細(xì)節(jié)信息；在客觀評價指標(biāo)方面，本文方法的融合結(jié)果表現(xiàn)較好，7個指標(biāo)中的4個指標(biāo)都為最優(yōu)。此外，本文方法所消耗的時間比其他四種對比方法少。

本文方法適合熱紅外圖像與可見光圖像的融合，但對近紅外圖像的融合性能較差。本文方法在處理分解圖像層數(shù)選擇、權(quán)重參數(shù)下采樣兩個問題時，主要依據(jù)主觀經(jīng)驗，缺乏理論支撐。因此，未來將從以下兩方面進(jìn)一步研究：探究更多光譜下的圖像融合，研究參數(shù)調(diào)整對融合結(jié)果產(chǎn)生影響的本源機(jī)制。

[1] 劉明葳，王任華，李靜，等. 各向異性導(dǎo)向濾波的紅外與可見光圖像融合［J］. 中國圖象圖形學(xué)報， 2021， 26（10）： 2421-2432.（LIU M W， WANG R H， LI J， et al. Infrared and visible image fusion with multi-scale anisotropic guided filtering［J］. Journal of Image and Graphics， 2021， 26（10）： 2421-2432.）

[2] LI C， ZHU A. Application of image fusion in diagnosis and treatment of liver cancer［J］. Applied Sciences， 2020， 10（3）： No.1171.

[3] 周濤，劉珊，董雅麗，等. 多尺度變換像素級醫(yī)學(xué)圖像融合：研究進(jìn)展、應(yīng)用和挑戰(zhàn)［J］. 中國圖象圖形學(xué)報， 2021， 26（9）： 2094-2110.（ZHOU T， LIU S， DONG Y L， et al. Research on pixel-level image fusion based on multi-scale transformation： progress application and challenges［J］. Journal of Image and Graphics， 2021， 26（9）： 2094-2110.）

[4] KOU F， LI Z， WEN C， et al. Edge-preserving smoothing pyramid based multi-scale exposure fusion［J］. Journal of Visual Communication and Image Representation， 2018， 53： 235-244.

[5] XU H， MA J. EMFusion： an unsupervised enhanced medical image fusion network［J］. Information Fusion， 2021， 76： 177-186.

[6] BURT P J， ADELSON E H. Merging images through pattern decomposition［C］// Proceedings of the SPIE 0575， Applications of Digital Image Processing Ⅷ. Bellingham， WA： SPIE， 1985： 173-181.

[7] BURT P J， ADELSON E H. A multiresolution spline with application to image mosaics［J］. ACM Transactions on Graphics， 1983， 2（4）： 217-236.

[8] TOET A. Image fusion by a ratio of low-pass pyramid［J］. Pattern Recognition Letters， 1989， 9（4）： 245-253.

[9] WANG Z， CUI Z， ZHU Y. Multi-modal medical image fusion by Laplacian pyramid and adaptive sparse representation［J］. Computers in Biology and Medicine， 2020， 123： No.103823.

[10] 劉斌，諶文江，辛迦楠. 基于四通道不可分加性小波的多聚焦圖像融合［J］. 計算機(jī)科學(xué)， 2019， 46（7）： 268-273.（LIU B， CHEN W J， XIN J N. Multifocus image fusion based on four channel non-separable additive wavelet［J］. Computer Science， 2019， 46（7）： 268-273.）

[11] DIWAKAR M， TRIPATHI A， JOSHI K， et al. A comparative review： medical image fusion using SWT and DWT［J］. Materials Today： Proceedings， 2021， 37（Pt 2）： 3411-3416.

[12] GILLES J. Empirical wavelet transform［J］. IEEE Transactions on Signal Processing， 2013， 61（16）： 3999-4010.

[13] DO M N， VETTERLI M. Contourlets［J］. Studies in Computational Mathematics， 2003， 10： 83-105.

[14] ZHOU J， CUNHA A L， DO M N. Nonsubsampled contourlet transform： construction and application in enhancement［C］// Proceedings of the 2005 IEEE International Conference on Image Processing. Piscataway： IEEE， 2005： 1-469.

[15] LI Q， LU L， LI Z， et al. Coupled GAN with relativistic discriminators for infrared and visible images fusion［J］. IEEE Sensors Journal， 2021， 21（6）： 7458-7467.

[16] LI J， HUO H， LI C， et al. AttentionFGAN： infrared and visible image fusion using attention-based generative adversarial networks［J］. IEEE Transactions on Multimedia， 2021， 23： 1383-1396.

[17] LIU Y， CHEN X， CHENG J， et al. Infrared and visible image fusion with convolutional neural networks［J］. International Journal of Wavelets， Multiresolution and Information Processing， 2018， 16（3）： No.1850018.

[18] WANG J， ZHENG N. A novel fractal image compression scheme with block classification and sorting based on Pearson’s correlation coefficient［J］. IEEE Transactions on Image Processing， 2013， 22（9）： 3690-3702.

[19] SHREYAMSHA KUMAR B K. Image fusion based on pixel significance using cross bilateral filter［J］. Signal， Image and Video Processing， 2015， 9（5）： 1193-1204.

[20] MA J， CHEN C， LI C， et al. Infrared and visible image fusion via gradient transfer and total variation minimization［J］. Information Fusion， 2016， 31： 100-109.

[21] LI H， WU X J， DURRANI T S. Infrared and visible image fusion with ResNet and zero-phase component analysis［J］. Infrared Physics and Technology， 2019， 102： No.103039.

[22] TOET A. TNO image fusion dataset［DS/OL］. ［2022-09-10］.https：//figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029

[23] ZHANG X. Benchmarking and comparing multi-exposure image fusion algorithms［J］. Information Fusion， 2021， 74： 111-131.

[24] 任亞飛，張娟梅. 基于NSST多尺度熵的紅外與可見光圖像融合［J］. 兵器裝備工程學(xué)報， 2022， 43（7）： 278-285.（REN Y F， ZHANG J M. Infrared and visible image fusion based on NSST multi-scale entropy［J］. Journal of Ordnance Equipment Engineering， 2022， 43（7）：278-285.）

Visible and infrared image fusion by preserving gradients and contours

HAN Linkai， YAO Jiangwei， WANG Kunfeng*

（，，100029，）

In order to solve the problems of unclear contours of heat source objects and missing image content in severely exposed regions when visible and infrared images are fused by using basic Laplacian blending， an image fusion algorithm that preserves infrared contours and gradient information was proposed. Firstly， the input image was transformed into color space and denoised by adaptive morphology， and the gradient contrast of the two images and the contour of the highlighted object in the infrared image were taken as the weights of pixel activity information. Secondly， the weights and the input images were decomposed simultaneously， and the weight assignment was adjusted by similarity-based comparison. Finally， the image was reconstructed and the color space was transformed. In subjective evaluation， the proposed algorithm does not produce artifacts and strange colors， and the contours of the heat object in the obtained image is clear. In objective evaluation， the proposed algorithm has an ENtropy （EN） of 7.49， an Edge Intensity （EI） of 74.61， and an Average Gradient （AG） of 7.23， compared with the traditional multi-scale transformation methods （including Non-Subsampled Contourlet Transformation （NSCT） method， the method based on Non-Subsampled Shearlet Transform （NSST） multi-scale entropy） and the latest deep learning method （such as the method combining Residual Network （ResNet） and Zero-phase Component Analysis （ZCA））， it improves EN by 0.10， 0.58 and 0.75， EI by 6.65， 20.35 and 37.35， and AG by 0.73， 2.19 and 3.55； it also achieves a processing speed of 5 frame/s on Intel i5 series computers with low computational complexity.

image fusion; image denoising; weight assignment; Laplacian decomposition; contour preserving

1001-9081（2023）11-3574-05

10.11772/j.issn.1001-9081.2022101553

2022?10?15；

2023?02?01；

國家重點研發(fā)計劃項目（2020YFC2003900）； 國家自然科學(xué)基金資助項目（62076020）。

韓林凱（1998—），男，山西運(yùn)城人，碩士研究生，主要研究方向：圖像融合、目標(biāo)檢測； 姚江偉（1996—），男，山西太原人，碩士研究生，主要研究方向：圖像融合、圖像配準(zhǔn)； 王坤峰（1982—），男，河南周口人，教授，博士，CCF會員，主要研究方向：計算機(jī)視覺、機(jī)器學(xué)習(xí)、多模態(tài)人工智能。

TP391

A

2023?02?06。

This work is partially supported by National Key Research and Development Program of China （2020YFC2003900）， National Natural Science Foundation of China （62076020）.

HAN Linkai， born in 1998， M. S. candidate. His research interests include image fusion， object detection.

YAO Jiangwei， born in 1996， M. S. candidate. His research interests include image fusion， image registration.

WANG Kunfeng， born in 1982， Ph. D.， professor. His research interests include computer vision， machine learning， multimodal artificial intelligence.