基于改進(jìn)譜殘差顯著性圖的紅外與可見(jiàn)光圖像融合

李辰陽(yáng)，丁 坤，翁 帥，王 立

〈圖像處理與仿真〉

基于改進(jìn)譜殘差顯著性圖的紅外與可見(jiàn)光圖像融合

李辰陽(yáng)1，丁 坤1,2，翁 帥1，王 立1

（1. 河海大學(xué)，江蘇 常州 213022；2. 常州市光伏系統(tǒng)集成與生產(chǎn)裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇 常州 213022）

為了將可見(jiàn)光圖像與紅外圖像中的細(xì)節(jié)信息更多的呈現(xiàn)在融合圖像中，突出目標(biāo)特征并獲得更好的圖像視覺(jué)效果，本文提出一種基于改進(jìn)譜殘差顯著性圖的紅外與可見(jiàn)光圖像融合方法。首先用改進(jìn)的譜殘差顯著性檢測(cè)算法提取紅外圖像的顯著性圖并獲得融合圖像的顯著性系數(shù)，然后對(duì)源圖像進(jìn)行雙樹(shù)復(fù)小波分解，并根據(jù)特定的融合規(guī)則分別對(duì)圖像的低頻部分以及高頻部分進(jìn)行融合，最后采用雙樹(shù)復(fù)小波逆變換重構(gòu)獲得最終的融合圖像。實(shí)驗(yàn)表明，本文融合方法相較于傳統(tǒng)融合方法融合質(zhì)量更高并且在視覺(jué)效果上有顯著提升。

譜殘差顯著性；圖像融合；雙樹(shù)復(fù)小波分解；融合規(guī)則

0 引言

圖像融合是指將多源信道對(duì)同一目標(biāo)采集到的多幅圖像綜合成一幅高質(zhì)量圖像[1]。紅外成像傳感器根據(jù)測(cè)量目標(biāo)本身與背景紅外輻射的差異成像，抗干擾能力強(qiáng)，但分辨率較低，容易丟失細(xì)節(jié)信息；而可見(jiàn)光圖像通常具有較高的對(duì)比度以及分辨率，能體現(xiàn)更多細(xì)節(jié)信息。因此紅外圖像與可見(jiàn)光圖像有著良好的互補(bǔ)性，紅外圖像與可見(jiàn)光圖像的融合也成為圖像融合技術(shù)的研究熱點(diǎn)，在軍事、遙感等領(lǐng)域已取得了廣泛的應(yīng)用[2]。

基于多尺度分解的方法一直是圖像融合技術(shù)研究的熱點(diǎn)。余美晨等人在梯度金字塔變換[3]的基礎(chǔ)上采取不同的層次融合策略生成融合圖像。Ashish等人將多尺度局部形狀算子與拉普拉斯金字塔變換[4]相結(jié)合提出了一種新型的圖像融合方法。但常用的金字塔變換缺乏方向性且數(shù)據(jù)冗余度高，融合后圖像不夠清晰，圖像信息量較少。Gonzalo等人提出了基于小波變換[5]的圖像融合算法，克服了數(shù)據(jù)冗余的問(wèn)題，但缺乏方向選擇性以及平移不變性。Seal等人將Curvelet變換[6]應(yīng)用于多尺度圖像融合，雖然能夠分析任意角度的方向，但計(jì)算量太大，圖像處理效率較低。雙樹(shù)復(fù)小波變換[7]在小波變換的基礎(chǔ)上進(jìn)行改進(jìn)，保留小波變換優(yōu)點(diǎn)的同時(shí)，具有多方向選擇性以及近似平移不變性，其計(jì)算效率高、重構(gòu)效果好，融合圖像質(zhì)量較高，因此本文使用雙樹(shù)復(fù)小波變換進(jìn)行多尺度變換。

圖像融合規(guī)則也是影響融合圖像質(zhì)量的重要因素，傳統(tǒng)基于平均（AVE）的融合規(guī)則往往會(huì)降低圖像的對(duì)比度，融合圖像的視覺(jué)效果較差[8]。針對(duì)這一問(wèn)題，本文提出一種基于改進(jìn)譜殘差（Spectral Residual，SR）顯著性圖的融合算法，應(yīng)用改進(jìn)的譜殘差顯著性模型對(duì)紅外圖像進(jìn)行顯著性分析獲得融合圖像的顯著性權(quán)重，并根據(jù)顯著性權(quán)重設(shè)計(jì)低頻部分的融合規(guī)則，高頻部分則采用局部方差最大值融合規(guī)則。

1 算法思想

1.1 紅外圖像的譜殘差顯著性分析

視覺(jué)顯著性是指針對(duì)某一特定場(chǎng)景，人類的視覺(jué)系統(tǒng)會(huì)選擇性地忽略不感興趣的區(qū)域，并自動(dòng)關(guān)注感興趣區(qū)域[9]。而如何對(duì)圖像中的顯著性區(qū)域進(jìn)行量化已經(jīng)成為近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。

從信息論的角度，圖像信息(Image)可以分成兩部分：

(Image)＝(Innovation)＋(Prior) (1)

式中：(Innovation)表示圖像中顯著的部分，而(Prior)表示圖像中的冗余信息。Spectral Residual算法[10]就是基于這種思想，分析處理輸入圖像的對(duì)數(shù)譜，去除圖像中的冗余部分，得到輸入圖像的顯著部分。

首先對(duì)輸入圖像進(jìn)行傅里葉變換，獲取振幅譜()以及相位譜()作為先驗(yàn)信息：

()＝R(á[()]) (2)

()＝S(á[()]) (3)

然后根據(jù)振幅譜()求輸入圖像的殘差譜，譜殘差為圖像Log譜與平均頻譜的差值，計(jì)算公式如下：

()＝log(()) (4)

()＝()*h() (5)

()＝()－() (7)

式中：()表示圖像的Log譜；()表示平均頻譜；h()表示局部×均值濾波器；()表示輸入圖像的殘差譜。

最后根據(jù)殘差譜()與先驗(yàn)信息中的相位譜()進(jìn)行傅里葉逆變換，就能夠得到輸入圖像的顯著性譜()，計(jì)算公式如下：

雖然Spectral Residual顯著性檢測(cè)算法運(yùn)算效率高，但其只能在一定程度上給出顯著性區(qū)域的位置，并不能得到視覺(jué)效果良好的顯著性圖，如圖1～圖2所示。

圖2 場(chǎng)景2紅外圖像以及顯著性圖

為了得到視覺(jué)效果更好的顯著性圖，本文在SR顯著性檢測(cè)算法的基礎(chǔ)上進(jìn)行改進(jìn)，引入輸入圖像中每個(gè)像素點(diǎn)的全局對(duì)比度，計(jì)算公式如下：

式中：contrast(I)表示輸入圖像中像素點(diǎn)的全局對(duì)比度；I表示像素點(diǎn)的灰度值；I表示輸入圖像中任意像素點(diǎn)的灰度值；I與I的取值都在[0,255]范圍內(nèi)，||×||表示灰度距離度量。然后分別對(duì)殘差譜()與全局對(duì)比度contrast(I)進(jìn)行歸一化處理：

在map()與map()中，系數(shù)越大表示顯著性越強(qiáng)，因此在對(duì)map()與map()進(jìn)行融合時(shí)，采用最大值選擇規(guī)則，具體的融合規(guī)則如下：

改進(jìn)前后的顯著性圖如圖3～圖4所示：

圖3 場(chǎng)景1算法改進(jìn)前后顯著性圖

圖4 場(chǎng)景2算法改進(jìn)前后顯著性圖

經(jīng)過(guò)改進(jìn)后的顯著性圖不僅有效地保留了紅外圖像中顯著性目標(biāo)的邊緣信息，顯著性圖的視覺(jué)效果也有了明顯的提升。

1.2 雙樹(shù)復(fù)小波變換

為了克服傳統(tǒng)小波變換在方向選擇性以及平移不變性上的局限，Kingsbury對(duì)傳統(tǒng)小波變換進(jìn)行了改進(jìn)，提出雙樹(shù)復(fù)小波變換[7]：雙樹(shù)復(fù)小波變換對(duì)輸入圖像的行和列分別進(jìn)行獨(dú)立的離散小波變換（兩個(gè)獨(dú)立的離散小波變換也稱為雙樹(shù)復(fù)小波變換中的樹(shù)a和樹(shù)b），最終形成一種雙樹(shù)結(jié)構(gòu)。

如圖5所示，樹(shù)a作用于輸入圖像的行，樹(shù)b作用于輸入圖像的列，0表示樹(shù)a對(duì)應(yīng)的低通濾波器，1表示樹(shù)a對(duì)應(yīng)的高通濾波器，0表示樹(shù)b對(duì)應(yīng)的低通濾波器，1表示樹(shù)b對(duì)應(yīng)的高通濾波器，ˉ2表示降采樣（隔點(diǎn)采樣）。每一級(jí)分解能夠得到兩個(gè)低頻子帶(＋1,1)、(＋1,2)，低頻子帶還可以繼續(xù)分解從而得到不同尺度下的高、低頻成分；每一級(jí)分解獲得低頻子帶的同時(shí)，還能夠得到6個(gè)不同方向上的高頻子帶(＋1,)，(＝1, …, 6)，高頻子帶的方向分別為±15°、±45°、±75°。

相較于傳統(tǒng)小波變換，雙樹(shù)復(fù)小波變換不僅保留了傳統(tǒng)小波變換的優(yōu)點(diǎn)，還具備方向選擇性（6個(gè)方向：±15°、±45°、±75°）以及近似平移不變性，能有效提高輸入圖像分解以及重構(gòu)的精度，提高圖像融合的質(zhì)量。

圖5 雙樹(shù)復(fù)小波分解示意圖

1.3 圖像融合規(guī)則設(shè)計(jì)

本文圖像融合算法主要分為低頻部分融合以及高頻部分融合兩部分，具體的融合算法流程如圖6所示。

圖6 融合算法流程圖

1.3.1 低頻系數(shù)融合

經(jīng)過(guò)雙樹(shù)復(fù)小波變換后，源圖像的能量主要集中在低頻部分，為使融合后的圖像具有高對(duì)比度以及良好的視覺(jué)效果，本文在上述工作的基礎(chǔ)上利用紅外圖像的顯著性圖進(jìn)行低頻系數(shù)的融合，具體的融合規(guī)則如下：

F()＝()×IR()＋[1－()]×Ⅵ() (13)

式中：F()表示融合圖像的低頻部分；IR()表示紅外圖像低頻部分；Ⅵ表示可見(jiàn)光圖像低頻部分；()為改進(jìn)后的顯著性系數(shù)。

1.3.2 高頻系數(shù)融合

經(jīng)過(guò)雙樹(shù)復(fù)小波變換得到的源圖像的高頻部分反映圖像的邊緣信息，會(huì)對(duì)融合圖像的細(xì)節(jié)產(chǎn)生較大影響。局部方差是度量高頻部分不同區(qū)域包含源圖像信息量多少的常用方法[11]，局部方差計(jì)算公式如下：

局部方差越大表明對(duì)應(yīng)區(qū)域所包含的源圖像的信息量越多，因此可以根據(jù)局部方差極大值規(guī)則進(jìn)行圖像高頻部分的融合，具體的融合規(guī)則如下：

2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文基于改進(jìn)譜殘差顯著性圖的紅外與可見(jiàn)光圖像融合算法的有效性，本文選取3組已配準(zhǔn)的紅外與可見(jiàn)光圖像，并使用多種經(jīng)典的融合算法對(duì)選取的圖像進(jìn)行融合，評(píng)估不同融合算法的融合效果。本文使用的對(duì)比融合方法包括：拉普拉斯金字塔變換（Laplacian Pyramid，LP）、離散小波變換（Discrete Wavelet Transform，DWT）、基于視覺(jué)顯著性與對(duì)比度增強(qiáng)的圖像融合（Guided-filtering Nonsubsample Contourlet Transform，GFNSCT）[12]以及本文提出的基于改進(jìn)譜殘差顯著性圖的紅外與可見(jiàn)光圖像融合算法，其中用于對(duì)比實(shí)驗(yàn)的拉普拉斯金字塔變換、離散小波變換，在低頻部分直接進(jìn)行算術(shù)平均，高頻部分取絕對(duì)值最大系數(shù)。

2.1 圖像主觀評(píng)價(jià)

各種對(duì)比算法融合結(jié)果如圖7～圖9所示。

圖7 場(chǎng)景1融合結(jié)果

圖8 場(chǎng)景2融合結(jié)果

圖9 場(chǎng)景3融合結(jié)果

從主觀上評(píng)價(jià)，本文提出的融合算法呈現(xiàn)了更多的圖像細(xì)節(jié)，在圖7中車輛以及商鋪輪廓清晰，圖8、圖9中樹(shù)枝處的紋理細(xì)節(jié)也清晰可見(jiàn)。與此同時(shí)本文提出的融合算法在對(duì)比度方面也有著明顯的提高，并且在融合圖像的視覺(jué)效果方面明顯優(yōu)于傳統(tǒng)的融合算法，這點(diǎn)在圖7中體現(xiàn)得最為明顯。

2.2 圖像客觀分析

在本文中采用標(biāo)準(zhǔn)差（Standard Deviation，SD）、信息熵（Information Entropy，IE）、空間頻率（Spatial Frequency，SF）、互信息（Mutual Information，MI）[13]以及c[14]5個(gè)客觀評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行量化評(píng)價(jià)。

式中：表示圖像灰度的平均值，SD反映融合圖像的對(duì)比度，標(biāo)準(zhǔn)差越大融合圖像對(duì)比越明顯。

式中：RF與CF分別為圖像的行頻率與列頻率；空間頻率體現(xiàn)融合圖像頻譜的豐富度；空間頻率越大融合圖像越清晰。

式中：R,F(,)為理想圖像R與融合圖像F的歸一化聯(lián)合直方圖分布；R()與F()分別為圖像的歸一化邊緣直方圖分布；為灰度級(jí)數(shù)?；バ畔⒎从橙诤蠄D像從源圖像中獲取信息的豐富程度，互信息越高，表明融合圖像與源圖像關(guān)聯(lián)度高。

式中：p表示圖像中灰度值為的像素所占的比例。圖像信息熵是一種特征的統(tǒng)計(jì)形式，能夠反映圖像平均信息量的多少。

c是基于人眼視覺(jué)系統(tǒng)提出的融合圖像評(píng)價(jià)標(biāo)準(zhǔn)，c值越大表明融合圖像的視覺(jué)效果越好。

本文所有運(yùn)算均在同一臺(tái)電腦上運(yùn)行，配置1.8GHz四核CPU，16GB運(yùn)行內(nèi)存，所有實(shí)驗(yàn)都建立在Matlab 2014a平臺(tái)上。

客觀評(píng)價(jià)指標(biāo)如表1所示。從表中可以看出，本文算法在信息熵、空間頻率、互信息以及c等5方面明顯優(yōu)于傳統(tǒng)算法，證明其在圖像信息量、對(duì)比度以及人眼視覺(jué)效果等方面比傳統(tǒng)融合算法有著顯著提升，與上文主觀評(píng)價(jià)所得到的結(jié)果一致。與GFNSCT融合算法相比，對(duì)于空間頻率這一指標(biāo)的差距并不明顯，這是因?yàn)楸疚乃惴ㄋx擇的雙樹(shù)復(fù)小波變換方法雖然具有近似平移不變性，但仍需進(jìn)行上、下采樣，導(dǎo)致融合圖像清晰度不高，最終體現(xiàn)于空間頻率這一指標(biāo)并不突出；但對(duì)其他4個(gè)指標(biāo)而言，本文算法均有明顯提升，其中c的提升最為明顯，說(shuō)明本文算法在融合圖像視覺(jué)效果方面的提升尤為明顯。

3 結(jié)語(yǔ)

本文在改進(jìn)譜殘差顯著性模型的基礎(chǔ)上，提出了一種基于顯著性圖的紅外與可見(jiàn)光圖像融合方法。首先對(duì)紅外圖像進(jìn)行顯著性分析，提取顯著性圖，接著對(duì)源圖像進(jìn)行雙數(shù)復(fù)小波變換，并根據(jù)顯著性圖設(shè)計(jì)低頻部分的融合規(guī)則，最終得到質(zhì)量更高的融合圖像。實(shí)驗(yàn)結(jié)果表明，本文方法有效可行，且得到的融合圖像在圖像信息、圖像對(duì)比度尤其是視覺(jué)效果這些方面有著顯著提升。

表1 融合圖像客觀評(píng)價(jià)結(jié)果

Table 1 The objective evaluation results of fused images

[1] 敬忠良, 肖剛, 李振華. 圖像融合——理論與應(yīng)用[M]. 北京: 高等教育出版社, 2007.

JING Zhongliang, XIAO Gang, LI Zhenhua.[M]. Beijing: Higher Education Press, 2007.

[2] 劉信樂(lè). 熱紅外圖像與可見(jiàn)光圖像融合方法研究[D]. 成都: 電子科技大學(xué), 2013.

LIU Xinle. Research on Fusion Method of infrared image and visible image[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[3] 余美晨, 孫玉秋, 王超. 基于拉普拉斯金字塔的圖像融合算法研究[J].長(zhǎng)江大學(xué)學(xué)報(bào): 自然科學(xué)版, 2016, 13(34): 770-776.

YU Meichen, SUN Yuqiu, WANG Chao. Image fusion algorithm based on Laplacian pyramid[J]., 2016, 13(34): 770-776.

[4] Ashish V Vanmali, Vikram M Gadre. Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility[J]., 2017(6): 1063-1082.

[5] Gonzalo P, Jesus M A wavelet-based image fusion tutorial[J]., 2004, 37(9):1855-1872.

[6] Seal Ayan, Bhattacharjee Debotosh, NasipuriMita. A trous wavelet transform based hybrid image fusion for face recognition using region classifiers[J]., 2018(12): 2185-2188.

[7] 王少杰, 潘晉孝, 陳平. 基于雙樹(shù)復(fù)小波變換的圖像融合[J]. 核電子學(xué)與探測(cè)技術(shù), 2015, 35(7): 726-728.

WANG Shaojie, PAN Jinxiao, CHEN Ping. Image fusion based on DT-CWT[J].2015, 35(7): 726-728.

[8] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見(jiàn)光圖像融合[J]. 紅外技術(shù), 2019, 41(7): 640-645.

LIN Zihui, WEI Yuxing, ZHANG Jianglin, et al. Image fusion of infrared image and visible image based on saliency map[J]., 2019, 41(7): 640-645.

[9] TIAN Huawei, FANG Yuming. Salient region detection by fusing bottom-up and top-down features extracted from single image[J]., 2014, 23(10): 4389-4397.

[10] HOU X, ZHANG L. Salient detection: A spectral residual approach[C]//, 2007: 18-23.

[11] 郭玲, 楊斌. 基于視覺(jué)顯著性的紅外與可見(jiàn)光圖像融合[J]. 計(jì)算機(jī)科學(xué), 2015, 42(6): 211-214.

GUO Ling, YANG Bin. Image fusion of infrared image and visible image based on visual saliency[J]., 2015, 42(6): 211-214.

[12] 張承鴻, 李范鳴, 吳瀅躍.基于視覺(jué)顯著性與對(duì)比度增強(qiáng)的紅外圖像融合[J]. 紅外技術(shù), 2017, 39(5): 421-426.

ZHANG Chenghong, LI Fanming, WU Yingyue. Image fusion of infrared image and visible image based onvisual saliency and contrast enhancement[J]., 2017, 39(5): 421-426.

[13] ZHENG Y F, Essock E. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]., 2007, 8(2): 177-192.

[14] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]., 2002, 38(7): 313-315.

Image Fusion of Infrared and Visible Images Based on Residual Significance

LI Chenyang1，DING Kun1,2，WENG Shuai1，WANG Li1

(1. Hohai University, Changzhou 213022, China; 2. Photovoltaic Key Laboratory of Jiangsu Province, Changzhou 213022, China)

To make the fusion image show more image details and to obtain a better image visual effect, a fusion method based on residual significance is proposed. First, the infrared image is analyzed using residual significance to obtain its significance coefficients. Then, the source images are decomposed using a dual-tree complex wavelet transform, and the low- and high-frequency components are fused according to different fusion rules. Finally, the fusion image is reconstructed using the inverse transformation of a dual-tree complex wavelet. Experimental results showed that the fusion method proposed in this paper produced higher quality images and better visual effects than those of the traditional fusion method.

spectral residual significance, image fusion, dual-tree complex wavelet transform, fusion rules

TP751.1

A

1001-8891(2020)11-1042-06

2019-12-15；

2020-09-07.

李辰陽(yáng)（1995-），男，碩士研究生，主要從事圖像處理方面的研究。E-mail：576419467@qq.com

國(guó)家自然基金項(xiàng)目（51777059）；江蘇高?！扒嗨{(lán)工程”；六大人才高峰工程（GDZB-006）。