基于顯著性的多波段圖像同步融合方法

余 東，藺素珍，祿曉飛，李大威，王彥博

基于顯著性的多波段圖像同步融合方法

余 東1，藺素珍1，祿曉飛2，李大威3，王彥博1

（1. 中北大學(xué) 大數(shù)據(jù)學(xué)院，山西 太原 030051；2. 酒泉衛(wèi)星發(fā)射中心，甘肅 酒泉 735305；3. 中北大學(xué) 電氣與控制工程學(xué)院，山西 太原 030051）

針對多波段融合圖像存在對比度低、顯著目標(biāo)不突出的問題，本文提出了一種基于顯著性的多波段圖像同步融合方法。首先，近紅外圖像被用來作為數(shù)據(jù)保真項(xiàng)，紅外圖像和可見光圖像分別為融合結(jié)果提供紅外顯著信息和細(xì)節(jié)信息；其次，基于視覺顯著的紅外顯著區(qū)域提取方法被用來構(gòu)造權(quán)重圖，以克服融合結(jié)果顯著區(qū)域不突出和邊緣模糊問題；最后，采用交替方向乘子法（alternating direction method of multipliers, ADMM）來求解模型，得到融合結(jié)果。研究結(jié)果表明，較于代表性圖像融合算法，所提算法能在保留紅外圖像熱輻射信息的同時，保有較好的清晰細(xì)節(jié)，并在多項(xiàng)客觀評價指標(biāo)上優(yōu)于代表性算法。

圖像融合；多波段圖像；顯著性；全變分

0 引言

鑒于單個傳感器提供信息的有限性，多個不同類型的傳感器被用于同一場景同一時刻的數(shù)據(jù)采集，以獲得全面、準(zhǔn)確的場景信息。然而，傳感器的增加卻導(dǎo)致了“信息過載”。圖像融合技術(shù)在整合互補(bǔ)信息和減少冗余方面發(fā)揮著重要作用。其大致可分為：基于空間域方法[1]、變換域方法[2]、深度學(xué)習(xí)方法[3-4]?？臻g域方法通常是利用平均或最大權(quán)重策略產(chǎn)生融合結(jié)果，但是會丟失許多細(xì)節(jié)?；谧儞Q域的方法通常是將源圖像分解，然后手動設(shè)計(jì)不同的融合規(guī)則以分別融合不同層信息，最后重建得到融合結(jié)果。常用的多尺度變換的方法包括基于金字塔的算法[5]、基于小波的算法[6]、曲波變換[7]和非下采樣輪廓波變換[8]。但是如何選取合適的分解方法和融合規(guī)則仍然是一個棘手的問題。近年深度學(xué)習(xí)被廣泛應(yīng)用于圖像融合領(lǐng)域[9-11]，但其計(jì)算復(fù)雜度高，需要大規(guī)模數(shù)據(jù)和強(qiáng)大的硬件支持，可解釋性弱，不確定性強(qiáng)，這嚴(yán)重減緩了深度學(xué)習(xí)方法在圖像融合中的進(jìn)展。

近十年來，基于優(yōu)化模型的方法被廣泛用于圖像領(lǐng)域。這些方法不需要大量樣本來訓(xùn)練或?qū)W習(xí)，并且可以在低性能硬件上運(yùn)行。盡管基于優(yōu)化模型的方法在圖像融合方面取得了進(jìn)展[12-13]，但仍有一些方面需要改進(jìn)。文獻(xiàn)[14-15]中，數(shù)據(jù)保真項(xiàng)只和紅外圖像相關(guān)，因此融合結(jié)果背景更加近似于紅外圖像。盡管它使用了正則項(xiàng)來盡可能多地保留可見光圖像的細(xì)節(jié)信息，但可能會丟失可見光圖像中的顯著信息和對比度信息。在文獻(xiàn)[16]中，雖然已經(jīng)針對顯著目標(biāo)的提取的能量函數(shù)進(jìn)行了改進(jìn)，但是僅僅只是選擇紅外圖像和可見光圖像像素高的作為顯著區(qū)域，所起到的作用有限。

為了解決這些問題，本文提出一種基于全變分的多波段圖像同步融合模型。首先，采用近紅外圖像作為數(shù)據(jù)保真項(xiàng)，紅外圖像和可見光圖像來分別為融合結(jié)果提供細(xì)節(jié)信息和顯著信息，以此建立多波段圖像同步融合模型；其次，用基于視覺顯著的紅外顯著區(qū)域提取方法來構(gòu)造權(quán)重圖，以克服融合結(jié)果顯著區(qū)域不突出和邊緣模糊問題。最后，采用ADMM求解模型得到融合圖像。

1 基于顯著性的多波段圖像同步融合方法

1.1 多波段同步融合模型的建立

考慮到紅外圖像的成像原理與熱輻射有關(guān)，而可見光圖像成像原理則與光的反射有關(guān)。近紅外圖像的成像波段介于兩者之間，所以成像結(jié)果包含熱輻射和光反射的元素。故本文將近紅外圖像作為數(shù)據(jù)保真項(xiàng)，并依靠紅外圖像為其提供顯著信息，通過可見光圖像為其提供更加豐富的細(xì)節(jié)信息。則所建立的保真項(xiàng)可表示為：

式中：為融合結(jié)果；nir為近紅外圖像；表示采用的范數(shù)類型。

所建立的顯著區(qū)域保真項(xiàng)可表示為：

式中：map為顯著區(qū)域權(quán)重；ir為紅外圖像；表示采用的范數(shù)類型。

通過顯著區(qū)域權(quán)重可以更好地保留紅外圖像的熱目標(biāo)，并且所保留的紅外目標(biāo)邊緣清晰，不會出現(xiàn)文獻(xiàn)[14-15]中模糊問題，顯著區(qū)域權(quán)重構(gòu)建方法為：

對于背景區(qū)域，我們目的是讓紅外圖像和可見光圖像中的細(xì)節(jié)信息能夠更加充分地融入到融合圖像中，而圖像細(xì)節(jié)信息可以通過梯度進(jìn)行表征，因此本文所提出的背景保真項(xiàng)為：

式中：表示梯度操作；f，vis和ir分別表示融合圖像梯度，可見光圖像梯度和紅外圖像梯度；表示采用的范數(shù)類型。

L2范數(shù)可以用來描述兩幅圖像之間的能量相似性，當(dāng)融合結(jié)果與輸入的能量差為高斯分布時，通常采用L2范數(shù)。因此對于保真項(xiàng)1和2我們采用L2范數(shù)即＝＝2。由于圖像的梯度在平坦區(qū)域通常是不變的或者是變化緩慢的，而在邊緣或紋理區(qū)域則變化劇烈。因此，其梯度矩陣趨于稀疏，即存在大量的0值。故對于3我們采用更加鼓勵稀疏的L1范數(shù)。最后，結(jié)合公式(1)、(2)、(4)，將多波段圖同步像融合任務(wù)建模為：

式中：1和2是權(quán)衡參數(shù)。

1.2 求解多波段同步融合模型

由于L1范數(shù)是一個不能直接求解的非凸函數(shù)。我們利用ADMM算法，通過變量分離求解無約束公式。首先，引入輔助變量并且讓＝f－vis－ir來把無約束問題轉(zhuǎn)為受約束問題，并且定義受約束問題的增廣拉格朗日函數(shù)為：

式中：是拉格朗日乘子；＞0為與約束相關(guān)的參數(shù)。

通過變量分離我們可以得到關(guān)于、和的3個子問題，它們以如下的ADMM迭代形式編寫：

式中：代表迭代的次數(shù)。

接下來，我們需要根據(jù)每個子優(yōu)化問題的具體情況分別找到它們的最優(yōu)解。公式(7)的等價形式如下：

對于子問題，基于一階最優(yōu)性條件[17]，該解應(yīng)該滿足以下方程式的要求：

線性方程可以使用快速傅里葉變換求解如下：

式中：rhs＝nir＋(1map)ir＋2(map－1)(Tk－Tk－Tvis－Tir)；lhs＝(1＋1(map＋2(1－(map)T)；(×)代表快速傅里葉變換；－1(×)代表快速傅里葉逆變換。

公式(8)中的子問題可以寫成如下等價形式：

子問題的解是一個封閉解，可以通過應(yīng)用軟收縮算子得到解，即：

而對于拉格朗日乘子，則可以通過下式獲得其更新值：

模型求解的優(yōu)化算法呈現(xiàn)在算法1中：

輸入：多波段圖像細(xì)節(jié)層（ir,nir,vis）

1）初始化＝0.01，tol＝1e－4；

3）用公式(7)更新f＋1；

4）用公式(8)更新v＋1；

5）用公式(9)更新＋1；

6）end while

輸出：圖像融合結(jié)果。

2 實(shí)驗(yàn)和結(jié)果分析

2.1 數(shù)據(jù)集和參數(shù)設(shè)置

在本節(jié)中，我們通過對TNO數(shù)據(jù)集（包括紅外長波、紅外短波和可見光3個波段）進(jìn)行實(shí)驗(yàn)，重點(diǎn)驗(yàn)證了所提算法的有效性。在公式(5)中1和2兩個參數(shù)的取值對實(shí)驗(yàn)結(jié)果有影響，本文做了對比實(shí)驗(yàn)，結(jié)果如圖2所示。從圖可以看出1不變的情況下，2越大，則融合結(jié)果越趨近于可見光圖像。當(dāng)2不變的情況下，1越大，則融合結(jié)果越趨近于紅外圖像。故我們對主觀評價較好的黃色框內(nèi)圖像進(jìn)行客觀指標(biāo)評價如表1所示，可以看出當(dāng)1＝0.7，2＝0.5時在比較多的指標(biāo)上取得好的結(jié)果?；谶@個結(jié)果，在接下來的實(shí)驗(yàn)中，我們將1設(shè)置為0.7，2設(shè)置為0.5。

2.2 結(jié)果分析

我們將本文方法與8種具有代表性的方法進(jìn)行定性和定量比較。其中包括4種傳統(tǒng)方法和4種基于深度學(xué)習(xí)的方法。傳統(tǒng)方法有（gradient transfer fusion, GTF）[14]，（dual tree-complex wavelet transform, DTCWT）[6]，（nonsubsampled shearlet transform _ nonsubsampled contourlet transform, NSST_NSCT）[18]，（anisotropic diffusion fusion, ADF）[19]。深度學(xué)習(xí)方法包括（model and data-driven, MDDR）[3]，Dual Branch[20]，U2Fusion[21]，F(xiàn)usionGAN[22]。除了NSST_NSCT和MDDR其他方法都是適用于兩個波段圖像融合，這里通過兩兩序貫相融的方式轉(zhuǎn)換為三波段圖像融合?？紤]到序貫式調(diào)用融合模型時，源圖像輸入順序不同會有不同融合結(jié)果，這里統(tǒng)一選用最好的融合結(jié)果進(jìn)行討論。

2.2.1 定性比較

首先進(jìn)行定性實(shí)驗(yàn)。如下顯示了5個典型圖像對的直觀結(jié)果。與現(xiàn)有的方法相比，本文方法有3個明顯的優(yōu)勢。第一，我們的結(jié)果可以清楚地保留和突出紅外圖像中的顯著目標(biāo)，如圖3、圖4和圖5所示，人物與環(huán)境的對比度高，這有利于目標(biāo)的檢測。第二，我們的結(jié)果可以很大程度保留原始圖像的細(xì)節(jié)紋理信息，如圖6所示，這有利于后續(xù)的目標(biāo)識別和提高識別的精度。第三，我們的結(jié)果能夠很好地突顯圖像的對比度，如圖7所示，這更加符合人的視覺感受。

圖2 不同w1和w2取值融合結(jié)果

表1 圖2中虛線區(qū)域客觀評價指標(biāo)

圖4 “Movie_01” 圖像融合結(jié)果

圖5 “soldier_behind_smoke” 圖像融合結(jié)果

圖6 “Marne_04” 圖像融合結(jié)果

圖7 “Marne_06”圖像融合結(jié)果

FusionGAN和GTF雖然可以很好地突出顯著目標(biāo)，但是從圖3和圖5可以看出其存在顯著目標(biāo)邊緣模糊問題，并且GTF不能很好保留細(xì)節(jié)信息。U2Fusion雖然能夠突出顯著區(qū)域，并且細(xì)節(jié)信息也能很好保留，但是融合結(jié)果中會引入許多噪聲。DTCWT和NSST_NSCT雖然能夠很好地保留細(xì)節(jié)信息但是不能很好突出顯著目標(biāo)。ADF和Dual Branch圖像整體對比度低，不夠明顯。MDDR雖然達(dá)到了較好的融合結(jié)果，但是清晰度低。相比之下本文提出的方法在突出紅外顯著目標(biāo)和保留微小的細(xì)節(jié)信息上有強(qiáng)的競爭力。

2.2.2 定量比較

為了評價所提方法的有效性，我們比較了所有方法和所提方法在標(biāo)準(zhǔn)差（SD）、熵（EN）、對比度（C）、互信息（MI）、結(jié)構(gòu)相似度（SSIM）和空間頻率（SF）這6個指標(biāo)上的表現(xiàn)。結(jié)果如表2所示，其中最佳值為粗體顯示。U2fusion在SF指標(biāo)上都是取得最佳值，但是從圖像可以看出U2Fusion的結(jié)果噪聲比較大，這對SF指標(biāo)有很大的影響。本文提出的方法在各指標(biāo)上表現(xiàn)出色，其中SD和EN指標(biāo)表現(xiàn)好，說明本文方法包含更多的信息，C指標(biāo)比較高說明我們方法對比度高，SSIM指標(biāo)表現(xiàn)好說明有更多的源圖像信息被傳輸?shù)饺诤辖Y(jié)果中。這些客觀評價都與主觀評價相符，說明本文所提出的方法能夠很好地保留源圖像顯著信息和細(xì)節(jié)信息，并且對比度高，圖像更加符合人眼視覺特性。

3 結(jié)論

本文提出了一種基于顯著性的多波段圖像同步融合模型，通過基于視覺顯著的紅外顯著區(qū)域提取來構(gòu)造權(quán)重圖，對模型進(jìn)行約束，以克服融合結(jié)果顯著區(qū)域不突出和邊緣模糊問題。根據(jù)模型特點(diǎn)采用ADMM算法進(jìn)行模型求解。實(shí)驗(yàn)證明了該算法的可行性和有效性。這些實(shí)驗(yàn)表明，融合結(jié)果能夠突出紅外顯著目標(biāo)，并且具有豐富的細(xì)節(jié)，同時保證不會出現(xiàn)偽影或模糊，是一種行之有效的方法。

表2 各算法評價指標(biāo)

[1] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-164.

[2] YU B, JIA B, DING L, et al. Hybrid dual-tree complex wavelet transform and support vector machine for digital multi-focus image fusion[J]., 2016, 182: 1-9.

[3] LIN S, HAN Z, LI D, et al. Integrating model-and data-driven methods for synchronous adaptive multi-band image fusion[J]., 2020, 54: 145-160.

[4] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]., 2021, 66: 40-53.

[5] Toet A. Image fusion by a ratio of low-pass pyramid[J]., 1989, 9(4): 245-253.

[6] Lewis J J, O’Callaghan R J, Nikolov S G, et al. Pixel-and region-based image fusion with complex wavelets[J]., 2007, 8(2): 119-130.

[7] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[8] Vishwakarma A, Bhuyan M K. Image fusion using adjustable non-subsampled shearlet transform[J]., 2018, 68(9): 3367-3378.

[9] LI H, CEN Y, LIU Y, et al. Different input resolutions and arbitrary output resolution: a meta learning-based deep framework for infrared and visible image fusion[J]., 2021, 30: 4070-4083.

[10] ZHANG H, LE Z, SHAO Z, et al. MFF-GAN: an unsupervised generative adversarial network with adaptive and gradient joint constraints for multi-focus image fusion[J]., 2021, 66: 40-53.

[11] MA J, LE Z, TIAN X, et al. SMFuse: multi-focus image fusion via self-supervised mask-optimization[J]., 2021, 7: 309-320.

[12] WANG B, ZHAO Q, BAI G, et al. LIALFP: multi-band images synchronous fusion model based on latent information association and local feature preserving[J]., 2022, 120: 103975.

[13] NIE R, MA C, CAO J, et al. A total variation with joint norms for infrared and visible image fusion[J]., 2021, 24: 1460-1472.

[14] MA J, CHEN C, LI C, et al. Infrared and visible image fusion via gradient transfer and total variation minimization[J]., 2016, 31: 100-109.

[15] MA Y, CHEN J, CHEN C, et al. Infrared and visible image fusion using total variation model[J]., 2016, 202: 12-19.

[16] WANG B, BAI G, LIN S, et al. A novel synchronized fusion model for multi-band images[J]., 2019, 7: 139196-139211.

[17] Ng M K, WANG F, YUAN X, et al. Inexact alternating direction methods for image recovery[J]., 2011, 33(4): 1643-1668.

[18] Moonon A U, HU J. Multi-focus image fusion based on NSCT and NSST[J]., 2015, 16(1): 1-16.

[19] Bavirisetti D P, Dhuli R. Fusion of infrared and visible sensor images based on anisotropic diffusion and Karhunen-Loeve transform[J]., 2015, 16(1): 203-209.

[20] FU Y, WU X J. A dual-branch network for infrared and visible image fusion[C]//25t(ICPR), 2021: 10675-10680.

[21] XU H, MA J, JIANG J, et al. U2Fusion: A unified unsupervised image fusion network[J]., 2020, 44(1): 502-518.

[22] MA J, YU W, LIANG P, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

Saliency-based Multiband Image Synchronization Fusion Method

YU Dong1，LIN Suzhen1，LU Xiaofei2，LI Dawei3，WANG Yanbo1

(1.,,030051,; 2.,735305,; 3.,,030051,)

To address the problem of low contrast and inconspicuous salient objects in multi-band image fusion, this paper presents a saliency-based multiband image synchronous fusion method. First, a near-infrared image was used as a data fidelity item, and infrared and visible light images provided salient and detailed information on the results of fusion, respectively. Second, a visual saliency-based infrared salient region extraction method was used to construct a weight map to overcome unsalient regions and blurred edges in the results of fusion. Finally, the alternating direction method of multipliers (ADMM) was used to solve the model and obtain the results of fusion. The research results showed that, compared with a representative image fusion algorithm, the proposed algorithm retained the thermal radiation information of the infrared image while retaining clearer details, and was better in many objective evaluation indicators.

image fusion, multi-band images, saliency, total variation

TP391.41

A

1001-8891(2022)10-1095-08

2022-03-16；

2022-04-25.

余東（1995-），男，碩士研究生，研究方向?yàn)閳D像融合，E-mail：844913898@qq.com。

藺素珍（1966-），女，教授，博士，碩士生導(dǎo)師，研究方向?yàn)榧t外弱小目標(biāo)檢測，圖像融合，E-mail：lsz@nuc.edu.cn。