基于自適應(yīng)增強(qiáng)與顯著性檢測(cè)的可見(jiàn)光與紅外圖像融合算法

陳思靜，付志濤，李梓謙，聶 韓，宋加文

基于自適應(yīng)增強(qiáng)與顯著性檢測(cè)的可見(jiàn)光與紅外圖像融合算法

陳思靜，付志濤，李梓謙，聶 韓，宋加文

（昆明理工大學(xué) 國(guó)土資源工程學(xué)院，云南 昆明 650093）

為解決可見(jiàn)光圖像可視性差與如何精確控制可見(jiàn)光與紅外圖像輸入量的問(wèn)題，本文提出一種結(jié)合圖像自適應(yīng)增強(qiáng)與獨(dú)立性、聚焦度、對(duì)象性等顯著性檢測(cè)的可見(jiàn)光與紅外圖像融合算法。首先在可見(jiàn)光圖像中引入自適應(yīng)增強(qiáng)算法提高圖像紋理細(xì)節(jié)的可見(jiàn)性，并對(duì)紅外圖像歸一化處理，其次將處理后的圖像利用引導(dǎo)濾波分解為細(xì)節(jié)層與基礎(chǔ)層，利用顯著性檢測(cè)生成細(xì)節(jié)層的權(quán)重圖，提高細(xì)節(jié)層中可見(jiàn)光圖像背景信息與紅外圖像邊緣信息的精確融合量，最終將依據(jù)權(quán)重值融合后的細(xì)節(jié)層與基礎(chǔ)層組合得到最終的融合圖像。為驗(yàn)證本文算法的優(yōu)越性，選取圖像熵、平均梯度、邊緣強(qiáng)度、空間頻率、視覺(jué)保真度、平均灰度等6種融合評(píng)價(jià)指標(biāo)對(duì)融合圖像定量分析，并利用YOLO v5（You Only Look Once）網(wǎng)絡(luò)對(duì)各融合算法進(jìn)行目標(biāo)檢測(cè)，結(jié)果表明本文算法在融合定性評(píng)價(jià)、定量評(píng)價(jià)與目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)平均精度中達(dá)到最優(yōu)。

圖像融合；目標(biāo)檢測(cè)；引導(dǎo)濾波；多尺度分解；顯著性檢測(cè)

0 引言

圖像融合是將兩幅包含不同有效信息的圖像融合成為一張圖像，以提高成像質(zhì)量并減少冗余信息[1]。其中可見(jiàn)光與紅外圖像融合是融合技術(shù)中的重要一項(xiàng)?？梢?jiàn)光圖像可以提供場(chǎng)景中背景細(xì)節(jié)信息。但圖像質(zhì)量易受一些特殊場(chǎng)景如夜間、樹(shù)木陰影、低照度和過(guò)度曝光等情況影響。紅外傳感器能夠捕捉人眼無(wú)法直接看到的場(chǎng)景中的熱信息，能夠抵抗這些不利場(chǎng)景的干擾[2]。但通常分辨率較低，紋理較差?？梢?jiàn)光圖像與紅外圖像的有效融合，可以提高圖像質(zhì)量，增強(qiáng)圖像解譯能力[3]。

在可見(jiàn)光與紅外圖像融合領(lǐng)域，主要的圖像融合方法通?？梢苑譃閹最悾炊喑叨茸儞Q、稀疏表示、基于子空間、混合模型以及深度學(xué)習(xí)方法，大部分融合方法集中在多尺度變換[3]。但基于多尺度變換方法得到的融合圖像容易出現(xiàn)偽影和信息冗余[3]。因此，學(xué)者們提出利用濾波器對(duì)傳統(tǒng)多尺度分解進(jìn)行優(yōu)化，其中比較常用的濾波器有高斯濾波器和雙邊濾波器等[4]。但通過(guò)以上濾波器優(yōu)化的方法會(huì)使圖像邊緣模糊，不利于圖像中的物體識(shí)別[4]。Li等[5]首次提出基于引導(dǎo)濾波（Guided Filtering, GF）多尺度分解的融合方法來(lái)解決邊緣模糊問(wèn)題，既可以平滑圖像噪聲，又可以保持圖像內(nèi)物體邊緣。該方法在融合過(guò)程中未對(duì)分解的基礎(chǔ)層與細(xì)節(jié)層進(jìn)行處理，導(dǎo)致融合結(jié)果易出現(xiàn)光暈現(xiàn)象。為此，謝偉等[6]提出一種融合梯度信息的改進(jìn)引導(dǎo)濾波算法來(lái)自適應(yīng)強(qiáng)化圖像內(nèi)目標(biāo)邊緣結(jié)構(gòu)，該方法雖然在解決光暈現(xiàn)象中具有一定效果，但算法的時(shí)間復(fù)雜度較高。Fan Z.等[7]提出一種快速的基于引導(dǎo)濾波的同源金字塔多尺度分解策略實(shí)現(xiàn)可見(jiàn)光和紅外圖像融合，但融合后圖像在邊緣上的清晰度不夠。Bavirisetti D. P.等[8]提出了一種基于圖像引導(dǎo)濾波器的通用、簡(jiǎn)單、快速的融合算法。該方法通過(guò)多尺度分解、結(jié)構(gòu)傳遞特性、視覺(jué)顯著性檢測(cè)和權(quán)值圖構(gòu)建，將源圖像信息輸入到融合圖像中。但該方法并未解決由不利場(chǎng)景、對(duì)比度不明顯以及紅外可見(jiàn)光輸入量造成的融合圖像質(zhì)量問(wèn)題。葉坤濤等[9]將顯著性檢測(cè)與非下采樣剪切波變換結(jié)合生成可見(jiàn)光與紅外的融合圖像，利用顯著性圖控制低頻部分的融合分量，生成了對(duì)比度較高的融合圖像，但由于顯著性圖沒(méi)有對(duì)源圖像低頻部分的輸入量進(jìn)行精確控制，致使該方法最終結(jié)果可見(jiàn)光信息占比較大，使部分紅外目標(biāo)不清晰。

通過(guò)以上分析，基于引導(dǎo)濾波的多尺度分解方法在可見(jiàn)光與紅外圖像融合領(lǐng)域有了較快發(fā)展，但仍受可見(jiàn)光圖像自然場(chǎng)景可視性差的影響，并且需解決如何更精確控制融合中可見(jiàn)光與紅外圖像輸入量的問(wèn)題。針對(duì)上述問(wèn)題，本文提出一種基于引導(dǎo)濾波的高動(dòng)態(tài)范圍（High Dynamic Range，HDR）自適應(yīng)增強(qiáng)算法和基于引導(dǎo)濾波多尺度分解的獨(dú)立性、聚焦度與對(duì)象性（Uniqueness、Focusness and Objectness，UFO）顯著性檢測(cè)方法進(jìn)行圖像融合，該顯著性檢測(cè)方法綜合獨(dú)立性（）、聚焦度（）、和對(duì)象性（）等顯著性因素在一定程度上提高了各類不利場(chǎng)景中目標(biāo)檢測(cè)性能[10]。為驗(yàn)證本文方法的有效性，本文將在融合定性評(píng)價(jià)、定量評(píng)價(jià)以及目標(biāo)檢測(cè)性能評(píng)價(jià)與目前主流的融合方法進(jìn)行對(duì)比。

1 本文融合算法

本文提出一種面向目標(biāo)檢測(cè)的可見(jiàn)光與紅外圖像融合算法如圖1所示，融合步驟如下：

1）利用基于引導(dǎo)濾波的HDR圖像增強(qiáng)技術(shù)對(duì)可見(jiàn)光圖像中的黑暗陰影與低曝光等區(qū)域進(jìn)行自適應(yīng)增強(qiáng)，紅外圖像則進(jìn)行歸一化處理。

2）基于引導(dǎo)濾波對(duì)處理后的可見(jiàn)光與紅外圖像進(jìn)行多尺度分解，得到第一層的基礎(chǔ)層1,21與細(xì)節(jié)層1,21，并由第一層的基礎(chǔ)層生成第二層的1,22與細(xì)節(jié)層1,22，依此分解最終得到四層的基礎(chǔ)層與細(xì)節(jié)層。并將可見(jiàn)光與紅外圖像第四層的基礎(chǔ)層取平均得到平均基礎(chǔ)層。

3）通過(guò)UFO顯著性算法計(jì)算每層細(xì)節(jié)層的顯著性圖，并根據(jù)顯著性圖求取每層細(xì)節(jié)層的權(quán)重圖1、2、3、4。

圖1 本文方法流程圖

4）將可見(jiàn)光圖像與紅外圖像的每一層細(xì)節(jié)層通過(guò)權(quán)重圖分別融合得到F1、F2、F3、F4，然后將四層相加，得到細(xì)節(jié)層融合圖像，并與平均基礎(chǔ)層進(jìn)行組合生成最終融合圖像。

1.1 圖像自適應(yīng)增強(qiáng)

在公式中l(wèi)g表示對(duì)數(shù)的運(yùn)算符，并令＝1以防lg的值為負(fù)。為了盡可能保留基礎(chǔ)層的細(xì)節(jié)信息，利用比例因子在基礎(chǔ)層上進(jìn)行對(duì)比度壓縮，并且基于參數(shù)恢復(fù)整體度：

根據(jù)公式可知，當(dāng)＜1，基礎(chǔ)層的對(duì)比度會(huì)降低。為保證值的范圍，本文設(shè)置一個(gè)最低目標(biāo)對(duì)比度，得到的計(jì)算公式：

由于比例因子對(duì)基礎(chǔ)層進(jìn)行動(dòng)態(tài)壓縮，造成了圖像整體對(duì)比度降低，因此可令＞0恢復(fù)圖像整體對(duì)比度，且保持最終結(jié)果不大于基礎(chǔ)層的最大值，可以計(jì)算為：

最終，通過(guò)以下公式得到增強(qiáng)圖像：

1.2 多尺度分解

利用引導(dǎo)濾波在多尺度圖像分解和結(jié)構(gòu)傳遞方面的優(yōu)勢(shì)，得到基于引導(dǎo)濾波分解的基礎(chǔ)層與細(xì)節(jié)層[12]。多尺度分解流程如圖2所示。

具體公式如下：

上述公式表示若處理可見(jiàn)光圖像I1，則將紅外圖像I2作為引導(dǎo)圖像，其中，rk,ek分別為第k層的鄰域大小和調(diào)節(jié)參數(shù)。B1k、B2k是源圖像第k級(jí)的基礎(chǔ)層，細(xì)節(jié)層D1k、D2k為前一級(jí)基礎(chǔ)層和當(dāng)前基礎(chǔ)層之間的差異。

1.3 顯著性檢測(cè)

式中：B表示邊界像素m的整體聚焦度；為單一邊界像素的聚集度；E表示內(nèi)部像素n聚焦度；為單一內(nèi)部像素的聚集度。由于圖像邊緣處變化強(qiáng)度大，使用圖像邊緣銳度作為權(quán)重值，利用DOG算子計(jì)算邊緣像素的梯度值平均值，可得區(qū)域聚焦r(R)，將區(qū)域聚焦度分散向各個(gè)像素，獲得整張圖的聚焦度。

然后通過(guò)估計(jì)區(qū)域中可識(shí)別對(duì)象的概率，計(jì)算像素級(jí)的對(duì)象識(shí)別度：

繼而將每個(gè)像素的對(duì)象狀態(tài)分配給各自所在的區(qū)域R，得到區(qū)域R的對(duì)象狀態(tài)：

式中：表示包括像素的任意區(qū)域，根據(jù)區(qū)域?qū)ο鬆顟B(tài)值得到整張圖的對(duì)象狀態(tài)。

利用區(qū)域之間的灰度距離度量(R,R)計(jì)算圖像中的區(qū)域獨(dú)立性r(R)：

然后將區(qū)域獨(dú)立性分散向各個(gè)像素，獲得整張圖的獨(dú)立性。

綜合考慮聚焦度、獨(dú)立性和對(duì)象狀態(tài)定義顯著性測(cè)量值：

＝exp(＋)×(12)

1.4 權(quán)重圖的構(gòu)建及融合

為減少計(jì)算的復(fù)雜度，并逐像素地整合互補(bǔ)信息，利用生成的細(xì)節(jié)層顯著性圖計(jì)算細(xì)節(jié)層權(quán)重圖：

式中將每幅圖像的細(xì)節(jié)層分為層，代表每層之間的數(shù)值范圍，利用上式計(jì)算每個(gè)數(shù)值范圍的權(quán)重，這種基于顯著性信息的互補(bǔ)權(quán)重圖構(gòu)建過(guò)程可以自動(dòng)集成每個(gè)層級(jí)的細(xì)節(jié)層信息，在此基礎(chǔ)上對(duì)細(xì)節(jié)層進(jìn)行融合：

對(duì)基礎(chǔ)層融合：

融合后的圖像由最終的基礎(chǔ)層與細(xì)節(jié)層相結(jié)合得到：

＝F＋F(17)

2 實(shí)驗(yàn)數(shù)據(jù)與對(duì)比試驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置與參數(shù)分析

2.1.1 實(shí)驗(yàn)設(shè)置

將本文方法與深度學(xué)習(xí)框架（Deep Learning Framework，DLF）算法[13]、具有多分類約束的生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network with Multiclassification Constraints，GANMCC）算法[14]、多層高斯曲率濾波（Multi-level Gaussian Curvature Filterin，MLGCF）算法[15]、混合多尺度分解（Hybrid Multi-Scale Decomposition，Hybrid MSD）算法[16]、非下采樣剪切波變換-脈沖耦合神經(jīng)網(wǎng)絡(luò)（Non-subsampled Shearlet Transform-Pulse-Coupled Neural Network, NSST-PCNN）算法[17]、結(jié)合視覺(jué)顯著性圖與加權(quán)最小二乘（Visual Saliency Map and Weighted Least Square，VSMWLS）算法[18]和梯度轉(zhuǎn)移融合（Gradient Transfer Fusion，GTF）算法[19]等7種融合算法分別通過(guò)定性與定量評(píng)價(jià)進(jìn)行對(duì)比。選取TNO與OSU數(shù)據(jù)集中的21組可見(jiàn)光與紅外圖像作為本文實(shí)驗(yàn)數(shù)據(jù)[1]，圖3為數(shù)據(jù)集中部分圖像對(duì)，第一行為可見(jiàn)光圖像，第二行為紅外圖像。

2.1.2 參數(shù)分析

在本文方法中，圖像增強(qiáng)中引導(dǎo)濾波器大小由公式＝0.04max(,)決定，其中和分別表示輸入圖像的寬度和高度，根據(jù)以往經(jīng)驗(yàn)值，將濾波器中的邊緣保持參數(shù)設(shè)置為0.01?；谝陨蠀?shù)，對(duì)最低目標(biāo)對(duì)比度進(jìn)行對(duì)比分析，將值分別設(shè)置為2，4，6得到增強(qiáng)結(jié)果，由圖4可知，＝2時(shí)，增強(qiáng)過(guò)度，存在泛白現(xiàn)象，而＝6時(shí)目標(biāo)增強(qiáng)不夠明顯，存在細(xì)節(jié)缺失，因此最低對(duì)比度設(shè)置為4。

針對(duì)后續(xù)GF分解層數(shù)的選取，選取可見(jiàn)光與紅外圖像融合數(shù)據(jù)集TNO中的7張圖像進(jìn)行分析，如圖5所示。此次實(shí)驗(yàn)中設(shè)置分解層數(shù)為1～5層，根據(jù)經(jīng)驗(yàn)設(shè)置濾波器尺寸為9，平滑參數(shù)為103，隨著的增加在＝4的時(shí)候，數(shù)據(jù)值達(dá)到平穩(wěn)狀態(tài)，考慮時(shí)間成本問(wèn)題，分解層數(shù)選擇4層。

2.2 融合算法對(duì)比分析

2.2.1 融合圖像定性分析

將本文算法與其余7種算法對(duì)圖3數(shù)據(jù)集示例融合結(jié)果定性分析，融合結(jié)果如圖6所示。

圖3 本文實(shí)驗(yàn)部分?jǐn)?shù)據(jù)集

圖4 不同T值對(duì)比分析

(a) 隨分解層數(shù)K增大EN值的變化(a) The change of EN value as the number of decomposition layers K increases(b) 隨分解層數(shù)K增大AG值的變化(b) The change of AG value as the number of decomposition layers K increases (c) 隨分解層數(shù)K增大EI值的變化(c) The change of EI value as the number of decomposition layers K increases(d) 隨分解層數(shù)K增大SF值的變化(d) The change of SF value as the number of decomposition layers K increases (e) 隨分解層數(shù)K增大VIFF值的變化(e) The change of VIFF value as the number of decompositionlayers K increases(f) 隨分解層數(shù)K增大MEAN值的變化(f) The change of MEAN value as the number of decomposition layers K increases

圖6 本文算法與其它算法的融合結(jié)果比較

綜合8種融合算法定性評(píng)價(jià)結(jié)果，本文算法融合結(jié)果在圖6中均有良好展現(xiàn)。在(a)組圖像中，各算法均能清晰看到街道口人影與車輛，但在(a)組圖像的商店櫥窗中，本文算法較其他算法能看到櫥窗邊框與物體信息。(b)組圖像中除本文算法外，門口樹(shù)枝均存在輪廓模糊，尤其是GANMCC算法和GTF算法邊緣沒(méi)有很好的凸顯出來(lái)。(c)組圖像中僅本文算法看到地面信息，且其余7種算法除MLGCF與NSST-PCNN外圖像中樹(shù)木信息不能清晰識(shí)別，而MLGCF與NSST-PCNN算法中地板信息也不如本文算法明顯。本文算法在(d)組圖像中樹(shù)木樹(shù)枝信息可以清晰展現(xiàn)，但其余融合圖像中明顯丟失大量信息，造成細(xì)節(jié)模糊。(e)組圖像樹(shù)木枝丫不明顯，造成大量紋理細(xì)節(jié)丟失，本文算法在保持人影清晰的基礎(chǔ)上，得到較其它融合算法更為清晰的樹(shù)木。在(f)組圖像中，本文算法較其它算法更能看清打電話的人及其周邊的綠植，得到較高的圖像對(duì)比度。綜上所述，本文所提方法在物體輪廓與紋理信息之間達(dá)到了較好的平衡，獲得了清晰度更高的融合圖像。

2.2.2 融合圖像定量分析

在融合圖像定量分析中，本文綜合圖像信息與邊緣考量，選用圖像熵（Entropy, EN）、平均梯度（Average Gradient, AG）、邊緣強(qiáng)度（Edge Intensity, EI）、空間頻率（Spatial Frequency, SF）、視覺(jué)保真度（the Visual Information Fidelity for Fusion,VIFF）、平均灰度（Mean grayscale，MEAN）6種定量評(píng)價(jià)指標(biāo)對(duì)數(shù)據(jù)集中融合結(jié)果進(jìn)行質(zhì)量分析，這6種指標(biāo)分別表示融合圖像中信息量以及結(jié)構(gòu)輪廓的變化。表1給出了本文方法與上述7種融合方法在6種指標(biāo)下對(duì)融合圖像的定量評(píng)價(jià)結(jié)果，加粗值為最優(yōu)值。

由表1可見(jiàn)，本文方法在6種指標(biāo)下均取得最優(yōu)值。尤其是AG、EI和SF這3項(xiàng)指標(biāo)值相對(duì)于次優(yōu)算法有明顯提升，表明在融合可見(jiàn)光與紅外圖像更多信息量的同時(shí)得到更為清晰的物體邊緣。其余算法如DLF、GANMCC、GTF由于圖像清晰度不夠?qū)е略?種融合指標(biāo)上都表現(xiàn)欠缺，而其余4種算法存在的部分細(xì)節(jié)缺失和偽影現(xiàn)象使指標(biāo)值低于本文方法。綜合圖6與表1可知，在主觀評(píng)價(jià)與客觀評(píng)價(jià)下均取得最優(yōu)結(jié)果，表明本文算法既保持了圖像紋理細(xì)節(jié)，又在邊緣保持度上獲得了顯著提升。

2.3 目標(biāo)檢測(cè)結(jié)果分析

利用目標(biāo)檢測(cè)算法中的YOLO v5網(wǎng)絡(luò)對(duì)本文方法的優(yōu)越性進(jìn)一步評(píng)估。即比較融合算法在目標(biāo)檢測(cè)下的平均精度mAP值。由表1可知，本文方法的mAP值在這8種算法中最高，目標(biāo)檢測(cè)表現(xiàn)最好。但相比之下，8種融合算法的mAP值并未有顯著提升。究其原因，在復(fù)雜的數(shù)據(jù)采集環(huán)境中，一些不完全或無(wú)法采集到的目標(biāo)嚴(yán)重影響著融合圖像的質(zhì)量，導(dǎo)致融合圖像中僅有紅外圖像中白色區(qū)域代表物體整體輪廓，而且融合過(guò)程中部分信息丟失也會(huì)影響目標(biāo)檢測(cè)的精度。因此在復(fù)雜的環(huán)境下如何優(yōu)化可見(jiàn)光與紅外融合算法在目標(biāo)檢測(cè)的性能仍需不斷探索。

表1 本文算法與其它算法的定量融合結(jié)果比較

Note："↑" indicates that the larger the value, the better the image quality

3 結(jié)論

本文提出了一種基于自適應(yīng)圖像增強(qiáng)與權(quán)重圖構(gòu)建的可見(jiàn)光與紅外圖像融合算法，該方法利用基于引導(dǎo)濾波的HDR圖像增強(qiáng)算法處理可見(jiàn)光圖像，并對(duì)紅外圖像歸一化處理，隨后對(duì)處理后的圖像利用GF多尺度分解得到細(xì)節(jié)層與基礎(chǔ)層，并加入U(xiǎn)FO顯著性檢測(cè)算法計(jì)算細(xì)節(jié)層權(quán)重圖，調(diào)節(jié)融合輸入信息量。實(shí)驗(yàn)表明，本文所提出的方法在定性評(píng)價(jià)與定量評(píng)價(jià)方面均優(yōu)于DLF、GANMCC、MLGCF、Hybrid MSD、NSST-PCNN、VSMWLS與GTF算法，相比其他算法，本文算法在保留圖像紋理信息的同時(shí)，邊緣信息也更加完整和清晰，在目標(biāo)檢測(cè)中結(jié)果更好。未來(lái)我們將致力于設(shè)計(jì)更有效的融合方法以提高算法的性能，并在此基礎(chǔ)上針對(duì)目標(biāo)檢測(cè)領(lǐng)域?qū)θ诤纤惴ㄟM(jìn)行深入研究。

[1] ZHANG X C, YE P, XIAO G. VIFB: a visible and infrared image fusion benchmark[C]//2020(CVPRW), 2020: 14-19.

[2] 王君堯, 王志社, 武圓圓, 等. 紅外與可見(jiàn)光圖像多特征自適應(yīng)融合方法[J].紅外技術(shù), 2022, 44(6): 571-579.

WANG Junyao, WANG Zhishe, WU Yuanyuan, et al. Multi-feature adaptive fusion method for infrared and visible images[J]., 2022, 44(6): 571-579.

[3] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]., 2019, 45: 153-178.

[4] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]., 2016, 55(23): 6480.

[5] LI S, KANG X, HU J. Image fusion with guided filtering[J]., 2013, 22(7): 2864-2875.

[6] 謝偉, 周玉欽, 游敏. 融合梯度信息的改進(jìn)引導(dǎo)濾波[J].中國(guó)圖象圖形學(xué)報(bào), 2016, 21(9): 1119-1126. XIE W, ZHOU Y Q, YOU M. Improved guided image filtering integrated with gradient information[J]., 2016, 21(9): 1119-1126.

[7] FAN Z, YAN L, XIA Y, et al. Fusion of multi-resolution visible image and infrared images based on guided filter [C]//2018: 4449-4454.

[8] Bavirisetti D P, XIAO G, ZHAO J, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]., 2019, 38(12): 5576-5605.

[9] 葉坤濤, 李文, 舒蕾蕾, 等. 結(jié)合改進(jìn)顯著性檢測(cè)與NSST的紅外與可見(jiàn)光圖像融合方法[J]. 紅外技術(shù), 2021, 43(12): 1212-1221.

YE Kuntao, LI Wen, SHU Leilei, LI Sheng. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]., 2021, 43(12): 1212-1221.

[10] PENG J, LING H, YU J, et al. Salient region detection by UFO: uniqueness, focusness and objectness[C]//, 2013: 1976-1983.

[11] Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[J]., 2002, 21(3): 257-266.

[12] Bavirisetti D P, Kollu V, GANG X, et al. Fusion of MRI and CT images using guided image filter and image statistics[J]., 2017, 27(3): 227-237.

[13] HUI L, WU X , Kittler J. Infrared and visible image fusion using a deep learning framework[C]//,, 2018: 2705-2710.

[14] MA J, ZHANG H, SHAO Z, et al. GANMcC: a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]., 2021, 70: 1-14.

[15] TAN W, ZHOU H, SONG J, et al. Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J]., 2019, 58(12): 3064.

[16] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[17] TAN W, Tiwari P, Pandey H M, et al. Multimodal medical image fusion algorithm in the era of big data[J/OL]., 2020: 1-21. https://doi.org/10.1007/s00521-020-05173-2.

[18] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[19] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]., 2016, 31: 100-109.

A Visible and Infrared Image Fusion Algorithm Based on Adaptive Enhancement and Saliency Detection

CHEN Sijing，F(xiàn)U Zhitao，LI Ziqian，NIE Han，SONG Jiawen

(Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kumming 650093, China)

This paper proposes a visible and infrared image fusion algorithm to solve the problem of the poor visibility of visible images and control the input volume of visible and infrared images. The proposed method combines image adaptive enhancement with uniqueness (U), focus (F), and object (O) saliency detection. First, an adaptive enhancement algorithm was applied to the visible image to improve the visibility of the textural details and normalize the infrared image. Second, the processed image was decomposed into a detail layer and base layer using guided filtering. A weight map of the detail layer was generated using saliency detection to improve the accuracy of the fusion of the background information of the visible image and the edge information of the infrared image in the detail layer. Finally, the fused image was obtained by combining the detail and base layers. To verify the performance of the proposed algorithm, five fusion evaluation indices: image entropy, average gradient, edge intensity, spatial frequency, and visual fidelity, were selected to quantitatively analyze the fused images. The YOLO v5 network was used to perform target detection for each fusion algorithm. The results show that the proposed algorithm achieved the optimal average accuracy in terms of the qualitative, quantitative, and target detection evaluation indexes of fusion.

image fusion, target detection, guide the filtering, multiscale decomposition, significance detection

TP391

A

1001-8891(2023)09-0907-08

2022-06-22；

2022-08-10.

陳思靜（1998-），女，山東濟(jì)寧人，碩士研究生，主要研究方向?yàn)檫b感圖像融合及評(píng)價(jià)。E-mail：csj9804@163.com。

付志濤（1982-），男，河南開(kāi)封人，博士，副教授，主要研究方向?yàn)楫愒磮D像匹配、融合及應(yīng)用等。E-mail：zhitaofu@126.com。

國(guó)家自然科學(xué)基金（41961053）；昆明理工大學(xué)省級(jí)人培項(xiàng)目（KKSY201921019）。