基于結(jié)構(gòu)紋理分解的紅外與可見光圖像融合算法

李青松， 楊莘， 吳謹(jǐn)， 黃澤豐

（武漢科技大學(xué) 信息科學(xué)與工程學(xué)院， 湖北 武漢 430081）

1 引言

圖像融合是一種將多個傳感器獲得的信息綜合到一幅圖像中的圖像增強(qiáng)技術(shù)，融合圖像具有比單幅圖像更豐富的信息且對噪聲的魯棒性更好，因此該技術(shù)廣泛應(yīng)用于軍事、遙感、醫(yī)學(xué)等領(lǐng)域［1］。本文主要研究紅外與可見光圖像融合?？梢姽鈭D像通過反射光成像能提供豐富的細(xì)節(jié)，但易受成像環(huán)境的影響而丟失重要信息，且難以突出重要目標(biāo)。紅外圖像通過熱輻射成像能有效突出重要目標(biāo)，且不受環(huán)境影響，但分辨率低、難以提供足夠的細(xì)節(jié)。將同一場景的紅外與可見光圖像進(jìn)行融合，可綜合可見光圖像中豐富的紋理細(xì)節(jié)和紅外圖像中顯著的熱目標(biāo)信息，從而獲得視覺效果更好、魯棒性更高的融合圖像。

目前紅外與可見光圖像融合方法可分為5類［2］：基于多尺度分解的方法、基于稀疏表示的方法、基于顯著性的方法、基于深度學(xué)習(xí)的方法和混合方法。由于深度學(xué)習(xí)強(qiáng)大的特征提取能力，基于深度學(xué)習(xí)的圖像融合方法逐漸成為紅外與可見光圖像融合領(lǐng)域的主流研究方向［3-4］。這類方法避免了傳統(tǒng)圖像融合方法需要人為設(shè)計(jì)復(fù)雜分解方法和融合規(guī)則的缺點(diǎn)，但是紅外與可見光圖像融合缺乏真值圖像，所以這類方法都屬于無監(jiān)督學(xué)習(xí)。與傳統(tǒng)方法相比，深度學(xué)習(xí)方法僅依靠網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)和損失函數(shù)的設(shè)置很難獲得壓倒性的融合結(jié)果［5］。除基于深度學(xué)習(xí)的方法外，基于多尺度分解的方法在紅外與可見光圖像融合中應(yīng)用最廣泛?；诙喑叨确纸夥椒ǖ闹饕枷胧菍⒃磮D像分解為一個基礎(chǔ)層和多個細(xì)節(jié)層，然后對各層設(shè)計(jì)不同的融合規(guī)則來實(shí)現(xiàn)有效的融合。在過去的30年中，研究者們提出了各種多尺度分解算法，例如拉普拉斯金字塔（LAP）［6］、小波變換［7］和非下采樣輪廓波變換［8］等。

近10年來，由于邊緣保持濾波器能保持邊緣結(jié)構(gòu)的空間一致性和減少邊緣光暈偽影，研究者們將基于邊緣保持濾波器的多尺度分解方法應(yīng)用于紅外與可見光圖像融合領(lǐng)域，并取得了較好的效果。Li等人［9］提出了一種基于引導(dǎo)濾波的圖像融合方法，該方法使用引導(dǎo)濾波分解圖像，充分利用鄰域像素間的強(qiáng)相關(guān)性，得到的融合結(jié)果的空間一致性好且計(jì)算效率高。Zhou等人［10］提出一種基于高斯和雙邊濾波的方法，使用高斯濾波器和雙邊濾波器將源圖像分解為結(jié)構(gòu)層和紋理細(xì)節(jié)層，并對邊緣結(jié)構(gòu)層和紋理細(xì)節(jié)層使用不同的融合規(guī)則，得到了符合人眼視覺的融合圖像。Ren等人［5］提出一種邊緣保持引導(dǎo)濾波器并用于紅外與可見光圖像融合，通過給梯度大的像素賦予更大的權(quán)重，使邊緣結(jié)構(gòu)保持效果更好。但上述方法中所使用的邊緣保持濾波器都存在無法有效區(qū)分強(qiáng)紋理與結(jié)構(gòu)的問題，導(dǎo)致融合結(jié)果中出現(xiàn)結(jié)構(gòu)邊緣模糊。Lee等人［11］提出了一種基于區(qū)間梯度的結(jié)構(gòu)紋理分解算法，可以有效分離紋理和結(jié)構(gòu)，本文將該算法引入紅外與可見光圖像融合，提出了一種基于多層分解的融合算法，解決了熱目標(biāo)信息丟失、邊緣結(jié)構(gòu)模糊、細(xì)節(jié)損失等問題。

本文主要工作如下：將結(jié)構(gòu)紋理分解用于紅外與可見光圖像，有效分離結(jié)構(gòu)紋理，避免邊緣結(jié)構(gòu)模糊；設(shè)計(jì)了一種結(jié)構(gòu)均值法，能有效提取紅外熱目標(biāo)與可見光背景信息，同時(shí)避免亮度層融合時(shí)的細(xì)節(jié)信息丟失；提出一種多指標(biāo)的基礎(chǔ)層融合規(guī)則，使對比度信息和結(jié)構(gòu)信息得到保留，避免融合結(jié)果中產(chǎn)生偽影。

2 結(jié)構(gòu)紋理濾波

紋理信息一般通過梯度算子提取，但梯度算子不能有效區(qū)分強(qiáng)紋理與邊緣結(jié)構(gòu)，導(dǎo)致邊緣結(jié)構(gòu)被誤判為紋理，不利于后續(xù)的處理。為了準(zhǔn)確地分離圖像的紋理與結(jié)構(gòu)信息，Lee等人［11］提出一種基于區(qū)間梯度的結(jié)構(gòu)紋理分解算法，通過定義的區(qū)間梯度算子，能有效分離邊緣結(jié)構(gòu)與紋理信息。以一維離散信號I為例，在像素p處的前向差分梯度表示為：

像素p的區(qū)間梯度定義為：

其中：Ω表示像素p的鄰域分別表示一維高斯函數(shù)的右半部分和左半部分，表達(dá)式如式（3）和式（4）所示：

式中：w表示半指數(shù)加權(quán)函數(shù)，σ表示尺度參數(shù)。wσ表達(dá)式如式（5）所示：

kr與kl都是歸一化系數(shù)，表達(dá)式如式（6）和式（7）所示：

區(qū)間梯度與前向梯度不同，它度量的是像素點(diǎn)左右兩側(cè)的加權(quán)平均差，能有效地檢測出結(jié)構(gòu)信息。如果在局部窗Ωp內(nèi)沒有紋理信息，則|(?I)p|≤|(?ΩI)p|。對于處于結(jié)構(gòu)上的像素p，由于加權(quán)核放大了梯度，(?ΩI)p＞(?I)p；對于處于紋理區(qū)域的像素p，由于鄰域內(nèi)的梯度振蕩相互抵消，(?ΩI)p＜(?I)p。

為了從輸入信號I中得到無紋理信號，使用區(qū)間梯度重建輸入信號的梯度：

ε是一個小的常量，用于防止數(shù)值不穩(wěn)定。本文中ε設(shè)為0.000 1。

在結(jié)構(gòu)邊緣和平滑區(qū)域，(?ΩI)p＞(?I)p，ωp取1，重建后的梯度保持不變。在紋理區(qū)域，由于振蕩，(?ΩI)p＜(?I)p，ωp＜1，梯度被抑制。

通過累加重建梯度可以獲得臨時(shí)信號R：

式中：I0是I中最左邊的像素值，p為像素點(diǎn)，Np是I中的像素個數(shù)。然后使用一維引導(dǎo)濾波去除R中殘留的紋理。

對于二維圖像信號，分別在x和y方向上使用一維結(jié)構(gòu)紋理濾波，并以迭代的方式達(dá)到收斂，實(shí)現(xiàn)二維結(jié)構(gòu)紋理分解［11］。圖1展示了對紅外與可見光圖像使用結(jié)構(gòu)紋理分解的效果。為便于觀察二者紋理細(xì)節(jié)差異，對得到的紋理細(xì)節(jié)圖進(jìn)行了增強(qiáng)處理。

圖1 結(jié)構(gòu)紋理濾波Fig.1 Structure-texture filtering

3 算法框架

本文提出的紅外與可見光圖像融合算法框架如圖2所示。首先通過結(jié)構(gòu)紋理分解和亮度層提取將源圖像分解為細(xì)節(jié)層、亮度層和基礎(chǔ)層。針對亮度層，為保證融合圖像的整體亮度，使用像素值取大進(jìn)行融合；針對基礎(chǔ)層，為避免融合圖像邊緣結(jié)構(gòu)模糊和產(chǎn)生偽影，設(shè)計(jì)一種多特征加權(quán)的融合規(guī)則；針對細(xì)節(jié)層，先使用基于奇異值分解的去噪算法［12］（Singular value decomposition，SVD）對紅外細(xì)節(jié)去噪，再使用基于SSIM和L2范數(shù)優(yōu)化方法對細(xì)節(jié)層進(jìn)行融合；最后將各層融合后的圖像重構(gòu)得到融合圖像F。

圖2 圖像融合算法框圖Fig.2 Framework of the image fusion algorithm

3.1 細(xì)節(jié)層提取與去噪

傳統(tǒng)的基于邊緣保持濾波的分解方法一般通過梯度值來區(qū)分紋理細(xì)節(jié)與邊緣結(jié)構(gòu)，存在不能區(qū)分強(qiáng)紋理與邊緣結(jié)構(gòu)的問題，易導(dǎo)致強(qiáng)紋理被誤判為邊緣結(jié)構(gòu)，使得紋理細(xì)節(jié)信息丟失。本文進(jìn)行結(jié)構(gòu)紋理分解時(shí)，通過區(qū)間梯度分離邊緣結(jié)構(gòu)與紋理細(xì)節(jié)，可保留更多的紋理和結(jié)構(gòu)信息。設(shè)紅外圖像為Iir，可見光圖像為Ivis，對二者進(jìn)行結(jié)構(gòu)紋理濾波，可得到結(jié)構(gòu)層Rir與Rvis，用源圖像減去結(jié)構(gòu)層即為細(xì)節(jié)層Dir與Dvis，表達(dá)式如式（11）和式（12）所示：

式中：STG表示第二部分中的二維結(jié)構(gòu)紋理濾波器［11］，r是區(qū)間梯度算子的窗半徑。

由于紅外圖像中包含許多噪聲，這些噪聲與紋理信息很難通過梯度區(qū)分出來，所以被當(dāng)作紋理信息分解到了Dir中。噪聲的存在會嚴(yán)重影響最終融合圖像的質(zhì)量。本文采用SVD算法［12］對紅外圖像細(xì)節(jié)層進(jìn)行降噪，該方法通過非局部冗余性和低秩矩陣抑制噪聲，計(jì)算效率高且對邊緣紋理有較強(qiáng)適應(yīng)性：

3.2 亮度層與基礎(chǔ)層分解

根據(jù)紅外圖像與可見光圖像不同的成像原理可知，紅外圖像中的高亮區(qū)域多是重要熱目標(biāo)信息，而可見光圖像的高亮區(qū)域多為背景和光源。提取亮度層的目的是將紅外圖像中的熱目標(biāo)信息與可見光圖像的背景信息提取出來，使最終融合圖像保留完整熱目標(biāo)的同時(shí)提高圖像的整體亮度，從而更符合人眼視覺效果。

均值-高斯法（Mean-Gaussain，MG）［13］是紅外與可見光圖像融合中常見的亮度層提取方法，但高斯濾波器和均值濾波器都會使熱目標(biāo)模糊擴(kuò)散，發(fā)生形變，導(dǎo)致提取出來的熱目標(biāo)不完整和亮度丟失。此外，由于紋理信息與亮度信息特征不同，亮度層的融合規(guī)則針對亮度信息設(shè)計(jì)，對紋理信息使用會導(dǎo)致紋理信息的丟失，因此應(yīng)盡量去除亮度層中的紋理信息?；诖?，本文結(jié)合結(jié)構(gòu)紋理濾波的特點(diǎn)提出了一種結(jié)構(gòu)均值法來提取亮度層（Structure-Mean，SM）。對源圖進(jìn)行結(jié)構(gòu)紋理分解后，紋理信息被分離到細(xì)節(jié)層中，亮度信息和結(jié)構(gòu)信息都保留在結(jié)構(gòu)層中，有效避免了亮度層融合時(shí)導(dǎo)致紋理細(xì)節(jié)丟失；再對結(jié)構(gòu)層求全局平均值，用結(jié)構(gòu)層減去平均值并進(jìn)行歸一化，得到權(quán)重圖，通過歸一化增加圖像對比度，使顯著目標(biāo)更突出；最后將權(quán)重圖與結(jié)構(gòu)層相乘得到亮度：

式中：Si是權(quán)重圖，mean()為均值函數(shù)，ki為歸一化系數(shù)，Vi表示亮度層。

最后，用結(jié)構(gòu)層減去亮度層得到基礎(chǔ)層Bir、Bvis：

圖3展示了均值-高斯法和結(jié)構(gòu)均值方法的亮度層提取效果。對比圖3（b）和圖3（c）兩圖，本文提取的紅外目標(biāo)亮度更亮且更完整。對比圖3（e）和圖3（f）兩圖，本文提取的可見光背景更亮且無紋理信息，有效避免了亮度層融合時(shí)的細(xì)節(jié)信息丟失。實(shí)驗(yàn)結(jié)果表明，本文方法對于紅外與可見光圖像的亮度層提取都取得了較好的效果。

圖3 亮度層提取算法對比實(shí)驗(yàn)Fig.3 Comparison experiment of brightness layer extraction algorithm

3.3 亮度層與基礎(chǔ)層融合規(guī)則

亮度層融合的目的是使紅外圖像中的熱目標(biāo)信息與可見光圖像的背景信息都最大程度地保留下來，而二者都可通過像素值的大小來度量，因此本文采用像素值取大的融合規(guī)則實(shí)現(xiàn)亮度層融合：

基礎(chǔ)層中包含源圖像的結(jié)構(gòu)信息和對比度信息，融合時(shí)需要最大程度地保留這些信息。針對此需求，本文提出一種基于結(jié)構(gòu)顯著度（Structure Saliency Measure）［14］、局部對比度（Local Contrast）和像素值的多指標(biāo)融合方法（SCG）對基礎(chǔ)層進(jìn)行融合。

圖像的局部結(jié)構(gòu)與局部梯度協(xié)方差密切相關(guān)，因此可通過圖像的局部梯度協(xié)方差計(jì)算結(jié)構(gòu)顯著度。紅外基礎(chǔ)層Bir在像素(x，y)處的局部協(xié)方差矩陣定義為：

其中：p=(x，y)，Bx(p)與By(p)表示在像素p位置沿x和y方向的梯度；w表示局部窗口，本文中w為3×3大小的窗。對C做特征值分解：

將圖像的局部結(jié)構(gòu)與該矩陣的特征值關(guān)聯(lián)，利用特征值可計(jì)算結(jié)構(gòu)顯著度（SS）：

式中：α參數(shù)的作用是控制結(jié)構(gòu)顯著度對角結(jié)構(gòu)的強(qiáng)調(diào)程度，本文中α=0.5。同理可計(jì)算可見光基礎(chǔ)層的結(jié)構(gòu)顯著度SSvis。

圖像的局部對比度可通過計(jì)算局部方差得到，基礎(chǔ)層的局部對比度定義如式（21）所示：

結(jié)合結(jié)構(gòu)顯著度、局部對比度和基礎(chǔ)層灰度值構(gòu)建歸一化權(quán)重圖對基礎(chǔ)層進(jìn)行加權(quán)融合：

3.4 細(xì)節(jié)層融合規(guī)則

為了同時(shí)保留更多的紅外與可見光細(xì)節(jié)，本文使用一種基于SSIM和L2范數(shù)優(yōu)化方法對細(xì)節(jié)層進(jìn)行融合［15］。

首先使用加權(quán)融合對細(xì)節(jié)層進(jìn)行預(yù)融合，得到預(yù)融合細(xì)節(jié)層Dfpre：

利用Dfpre重建預(yù)融合圖像Fpre：

分別計(jì)算預(yù)融合圖像與紅外和可見光圖像的結(jié)構(gòu)相似性，構(gòu)建權(quán)重得分圖：

其中SSIM計(jì)算如下：

其中：μi表示圖像i的平均值，σij表示圖像對(i，j)的協(xié)方差，σi表示圖像i的標(biāo)準(zhǔn)差，b1、b2是防止分母為0的常量。權(quán)重圖計(jì)算為：

通過權(quán)重圖ω判定細(xì)節(jié)層中細(xì)節(jié)的重要程度，對細(xì)節(jié)層使用基于L2范數(shù)的優(yōu)化：

式中：細(xì)節(jié)層增強(qiáng)系數(shù)αir、αvis通過計(jì)算細(xì)節(jié)層的局部均方誤差和全局均方誤差來確定：

式中：q1和q2分別是紅外細(xì)節(jié)層與局部紅外細(xì)節(jié)層的大小，(x0，y0)是像素位置，m1和m2分別表示紅外細(xì)節(jié)層的全局均值和局部均值。同理可求得αvis。

3.5 融合圖像重建

最終融合圖像F由細(xì)節(jié)層融合圖像DF、亮度層融合圖像VF、基礎(chǔ)層融合圖像BF求和重建，并將大于1的像素點(diǎn)置1，小于0的像素點(diǎn)置0。

4 實(shí)驗(yàn)

本文實(shí)驗(yàn)在matlab2016a上進(jìn)行。為了保證實(shí)驗(yàn)的客觀性，本文選取了TNO數(shù)據(jù)集中的12組圖像進(jìn)行實(shí)驗(yàn)，與GFF［9］、FPDE［16］、GTF［17］、TIF［18］、MSID［19］、MLGCF［20］、BAYES［21］、DIDF［22］、MFEIF［23］共9種紅外與可見光圖像融合算法進(jìn)行對比。9種算法包括經(jīng)典算法和近期算法，也可分為傳統(tǒng)算法與深度學(xué)習(xí)算法，代碼均使用原文作者提供的源代碼，且參數(shù)均按原文參數(shù)設(shè)置。為了使客觀評價(jià)指標(biāo)能更真實(shí)地反映融合圖像質(zhì)量，本文選取了7種客觀評價(jià)指標(biāo)，包括基于圖像特征的空間頻率（Spatial Frequency，SF）、平均梯度（Average Gradient，AG）、邊緣強(qiáng)度（Edge Intensity，EI）、方差（Variance，Var），基于信息論的信息熵（Information Entropy，IE）和視覺保真度（Visual Information Fidelity，VIF），基于人類視覺感知的指標(biāo)Qcv。7個指標(biāo)中僅Qcv越小越好，其余6個指標(biāo)皆越大越好。

為了直觀展示本文算法的融合性能，選取兩組圖像的融合結(jié)果進(jìn)行定性分析。圖4、圖5給出了“Kaptein”、“Camp”圖像在不同算法下的融合結(jié)果，圖中前兩幅圖像分別是紅外與可見光源圖，剩余圖像是各種算法的融合結(jié)果。

圖4 “Kaptein”圖像在各種算法下的融合結(jié)果Fig.4 Fusion results of “Kaptein”image using various algorithms

圖5 “Camp”圖像在各種算法下的融合結(jié)果Fig.5 Fusion results of “Camp” image using various algorithms

從圖4中綠色框標(biāo)注的紅外熱目標(biāo)可以看到，GFF、FPDE、TIF、BAYES、DIDF和MFEIF方法的融合結(jié)果中紅外熱目標(biāo)的亮度信息丟失比較嚴(yán)重；GTF算法亮度信息保留較完整，但紅外目標(biāo)發(fā)生了形變；MSID算法和本文算法比較完整，保留了亮度信息且未發(fā)生形變。觀察圖4中天空背景，所有對比算法的背景都偏暗，其中GTF算法嚴(yán)重丟失了可見光背景信息，本文算法得到的天空背景保留較好。因?yàn)楸疚乃惴ㄌ崛×肆炼葘樱茉谟行ПＷo(hù)紅外熱目標(biāo)信息的同時(shí)保護(hù)可見光的背景信息，提高融合圖像的整體亮度。對比圖4中藍(lán)框與紅框標(biāo)注處的紋理細(xì)節(jié)，在9種對比方法中，紅框處的墻面紋理細(xì)節(jié)嚴(yán)重丟失，藍(lán)框處的地板紋理僅MSID和MFEIF兩種算法保留了部分而其余算法嚴(yán)重丟失，本文算法較好地保留了兩處的紋理細(xì)節(jié)。圖5中的紅外熱目標(biāo)使用紅框標(biāo)注且在圖像右下角放大顯示，可觀察到9種對比算法中僅GFF算法對紅外熱目標(biāo)保留較好，其余8種算法的亮度信息均有丟失，本文的亮度保留完好且未發(fā)生形變。同時(shí)也可以看出，本文算法的融合結(jié)果紋理信息更豐富，房屋和路的邊緣、欄桿的結(jié)構(gòu)都更清晰。與圖4對比，可以看出GFF算法對于紅外熱目標(biāo)的保留效果不穩(wěn)定，而本文算法在圖4、圖5的測試中對紅外熱目標(biāo)都有很好的保留效果，對紋理細(xì)節(jié)保留較完整，且融合結(jié)果的整體亮度保持較好。

表1、表2分別是“Kaptein”、“Camp”在不同算法下的融合結(jié)果對應(yīng)的客觀評價(jià)指標(biāo)，表中將最優(yōu)值和次優(yōu)值分別以紅色和藍(lán)色加粗標(biāo)注。在表1中，本文方法僅Qcv為次優(yōu)值，其余指標(biāo)都為最優(yōu)值。在表2中，本文方法在AG、EI、Variance、VIF、IE 5項(xiàng)指標(biāo)上取得最優(yōu)值，SF取得次優(yōu)值。可能由于“Camp”圖中紋理細(xì)節(jié)較多，本文算法又對紋理細(xì)節(jié)進(jìn)行了增強(qiáng)，保留的細(xì)節(jié)更豐富，因此Qcv指標(biāo)略差。

表1 “Kaptein”圖像在各種算法下融合的客觀指標(biāo)Tab.1 Objective evaluating indicators of “Kaptein” image fusion under various algorithms

表2 “Camp”圖像在各種算法下融合的客觀指標(biāo)Tab.2 Objective evaluating indicators of “Camp” image fusion under various algorithm

為了更全面地測試本文算法的有效性，本文對12組實(shí)驗(yàn)圖像進(jìn)行定量評估融合性能，計(jì)算各算法融合結(jié)果的客觀指標(biāo)平均值，實(shí)驗(yàn)結(jié)果如表3所示。在定量分析結(jié)果中，本文算法在除信息熵外的6項(xiàng)指標(biāo)中都取得了最優(yōu)結(jié)果?？臻g頻率、平均梯度和方差3項(xiàng)指標(biāo)提升較大，比次優(yōu)值分別提升了27.4%、36.5%和8.5%，表明本文算法能保留更豐富的細(xì)節(jié)紋理信息且整體對比度更好；邊緣強(qiáng)度指標(biāo)比次優(yōu)值提升了38.2%，表明融合結(jié)果中邊緣結(jié)構(gòu)的清晰度更好；視覺保真度提升了23.5%，同時(shí)Qcv值下降1%，表明融合圖像更符合人眼感知的特點(diǎn)?？赡芤?yàn)閷t外源圖中的紅外噪聲進(jìn)行了去噪，噪聲也是屬于源圖中的信息，所以在計(jì)算信息熵時(shí)，本文算法的信息熵指標(biāo)略低。可看出本文算法指標(biāo)與任一算法單獨(dú)比較都能取得明顯優(yōu)勢，客觀反映了本文算法的有效性。

表3 12組圖像的平均指標(biāo)Tab.3 Average indicators for twelve pairs of images

5 結(jié)論

本文提出了一種基于結(jié)構(gòu)紋理分解的紅外與可見光融合算法。通過結(jié)構(gòu)紋理分解將紋理細(xì)節(jié)與結(jié)構(gòu)分離，使結(jié)構(gòu)保留在基礎(chǔ)層中，解決了融合結(jié)果中邊緣結(jié)構(gòu)模糊的問題；使用結(jié)構(gòu)均值法提取亮度層，使紅外熱目標(biāo)與可見光背景完整保留，同時(shí)提高融合結(jié)果的整體亮度。根據(jù)本文基礎(chǔ)層特征設(shè)計(jì)的融合規(guī)則，使融合圖像的邊緣結(jié)構(gòu)保持清晰且圖形整體對比度好。針對細(xì)節(jié)層中存在紅外噪聲的問題，使用基于SVD的算法對紅外細(xì)節(jié)層去噪，并使用基于SSIM和L2范數(shù)的融合規(guī)則對細(xì)節(jié)層進(jìn)行融合，解決了細(xì)節(jié)損失的問題。實(shí)驗(yàn)結(jié)果表明，本文算法在空間頻率、平均梯度、邊緣強(qiáng)度、方差和視覺保真度5個指標(biāo)上分別取得了27.4%、36.5%、38.2%、8.5%和23.5%的提升，主觀和客觀兩方面都能取得比其余9種紅外與可見光算法更優(yōu)的結(jié)果。但為了保證融合質(zhì)量，本文增加了算法的復(fù)雜度，導(dǎo)致時(shí)間成本略高，12組圖像平均用時(shí)達(dá)到了63 s。如何在保證融合質(zhì)量的同時(shí)降低時(shí)間成本，是未來需要解決的問題。