基于視覺顯著性和NSCT的紅外與可見光圖像融合

傅志中，王 雪，李曉峰，徐 進(jìn)

?

基于視覺顯著性和NSCT的紅外與可見光圖像融合

傅志中，王 雪，李曉峰，徐 進(jìn)

(電子科技大學(xué)通信與信息工程學(xué)院 成都 611731)

結(jié)合非下采樣輪廓波變換的平移不變性，提出了一種基于視覺顯著性的紅外與可見光圖像融合算法。首先，利用引導(dǎo)濾波器改進(jìn)顯著性檢測算法并將其用于紅外圖像；然后，對紅外圖像和可見光圖像進(jìn)行非下采樣輪廓波變換以得到各自的低頻與高頻子帶；最后，在低頻與高頻子帶的融合中分別采用紅外圖像顯著性指導(dǎo)法與絕對值取大法。實驗結(jié)果表明，與多種相關(guān)算法相比，該算法所得融合圖像在突出紅外目標(biāo)的同時還具有豐富的可見光背景信息，具有更好的視覺融合效果和客觀質(zhì)量評價。

引導(dǎo)濾波器; 圖像融合; 非下采樣輪廓波變換; 顯著性

圖像融合是指將同一場景下不同模式的傳感器或同一種傳感器在不同時刻或方式下獲得的幾幅圖像合成一幅包含所有輸入圖像中人們感興趣的信息圖像處理方法[1]。紅外與可見光圖像融合是多源圖像融合的一個重要分支，它將紅外圖像的目標(biāo)探測特性與可見光圖像的場景保持特性相結(jié)合，既可克服單一可見光圖像對光照條件的強依賴性，又能克服單一紅外圖像對比度低、背景模糊的缺點。利用圖像融合技術(shù)將紅外與可見光圖像進(jìn)行融合，可以提高圖像理解和識別效率，在軍事、視頻監(jiān)控、醫(yī)療和消防等領(lǐng)域有著重要的研究價值和應(yīng)用前景[2]。

多尺度分析提供了一種具有靈活局部性和方向性的多分辨圖像表示方法。近年來，隨著多尺度分析工具的發(fā)展，以小波變換及其一系列改進(jìn)方案(例如非下采樣輪廓波變換(NSCT)與非下采樣剪切波變換(non-subsampled shearlet, NSST))等為代表的多尺度分析工具已經(jīng)成功應(yīng)用于圖像融合領(lǐng)域[3]。其中NSCT[4]不僅具有多尺度、多方向特性，還具有良好的空域和頻域局部特性，能夠更好地捕獲圖像中重要的幾何特征。由于NSCT良好的稀疏性能和工程化的實現(xiàn)方式，其作為一種十分有效的多尺度分析工具得到廣泛應(yīng)用。

近年來，隨著視覺顯著性成為研究熱點，國內(nèi)外學(xué)者們提出了多種顯著性模型[5]，有學(xué)者將其應(yīng)用到圖像融合領(lǐng)域[6-9]，取得了較好的效果。文獻(xiàn)[6]提出了一種基于馬爾可夫隨機場模型的紅外圖像顯著性檢測方法，并將其運用于圖像監(jiān)控系統(tǒng)中的紅外與可見光圖像融合，但其融合圖像中容易產(chǎn)生偽影。文獻(xiàn)[7]利用頻譜冗余顯著性檢測方法(spectral residual, SR)[10]檢測紅外和可見光圖像的顯著性，提出了一種基于感興趣區(qū)域檢測和NSCT的紅外與可見光圖像融合算法。紅外圖像與自然場景下的圖像相比圖像分辨率較低，將SR顯著性檢測方法用于紅外圖像時顯著性檢測效果不夠理想。文獻(xiàn)[8]對紅外與可見光圖像應(yīng)用顯著性檢測(luminance contrast, LC)算法[11]，提出了基于顯著性分析和圖像多尺度邊緣保持分解的紅外與可見光圖像融合算法。文獻(xiàn)[9]在文獻(xiàn)[8]的基礎(chǔ)上，運用frequency-tuned(FT)算法[12]，結(jié)合基于L1-L0梯度的圖像分解技術(shù)[9]，提出了一種改進(jìn)的紅外與可見光圖像融合算法。文獻(xiàn)[8-9]具有較好的目標(biāo)保持特性，然而由于非顯著性區(qū)域也可能由于具有較大的顯著性值而被視為顯著性區(qū)域，融合后的圖像丟失了較多的背景細(xì)節(jié)成分。

針對這些問題，本文利用圖像引導(dǎo)濾波器[13]良好的濾波特性和邊緣保持特性，對FT算法進(jìn)行了改進(jìn)，并且結(jié)合NSCT的平移不變性，提出了一種基于改進(jìn)FT和NSCT的紅外與可見光圖像融合算法。

1 基于引導(dǎo)濾波器改進(jìn)的紅外圖像顯著性檢測算法

1.1 Frequency-tuned顯著性檢測

Frequency-tuned[12]顯著性檢測算法提出了5點要求：1) 突出最顯著目標(biāo)；2) 均勻地突出整體的顯著性區(qū)域；3) 能較好地定義顯著目標(biāo)的邊界；4)忽略來自紋理、噪聲和塊效應(yīng)的高頻成分；5)有效地輸出全分辨率的顯著性圖。

為了實現(xiàn)上述要求， FT算法采用高斯差分濾波方法，經(jīng)過分析選擇頻率范圍來實現(xiàn)[12]。

對于一幅輸入圖像，其顯著性圖計算為：

1.2 圖像引導(dǎo)濾波器

圖像引導(dǎo)濾器(guided filter)[13]是一個線性移變?yōu)V波器。設(shè)輸入圖像為，引導(dǎo)圖像為，濾波器輸出圖像為，其中引導(dǎo)圖像根據(jù)不同應(yīng)用設(shè)定，可以直接取為輸入圖像。圖像引導(dǎo)濾波的計算公式為：

(3)

1.3 紅外圖像的顯著性檢測

原FT算法[12]利用高斯模糊濾波器對輸入圖像進(jìn)行了模糊處理。相對于高斯核函數(shù)，引導(dǎo)濾波核函數(shù)使用了鄰域內(nèi)的像素均值和方差作為局部估計，能夠根據(jù)圖像內(nèi)容自適應(yīng)調(diào)整輸出權(quán)值，具有良好的邊緣保持和細(xì)節(jié)增強性能。本文在FT算法的基礎(chǔ)上，利用引導(dǎo)濾波器對其進(jìn)行了改進(jìn)：

圖1為紅外圖像經(jīng)過不同顯著性檢測方法得到的顯著性圖，其中SR方法、LC方法及FT方法分別為文獻(xiàn)[7-9]中所應(yīng)用的顯著性檢測算法。通過比較可以看出，本文改進(jìn)的顯著性檢測方法既提取出了紅外圖像的目標(biāo)信息又保持了其邊緣細(xì)節(jié)，同時充分抑制了紅外圖像的背景信息。

2 基于顯著性指導(dǎo)的紅外與可見光圖像融合算法

本文首先應(yīng)用引導(dǎo)圖像濾波器對顯著性檢測FT算法進(jìn)行改進(jìn)，再運用改進(jìn)后的顯著性檢測算法檢測紅外圖像的顯著性圖；然后分別對紅外圖像和可見光圖像進(jìn)行NSCT變換，利用紅外圖像的顯著性圖指導(dǎo)低頻子帶系數(shù)的融合，高頻子帶系數(shù)采用絕對值取大的方法；最后通過NSCT反變換得到融合后的圖像。

2.1 NSCT

NSCT是由文獻(xiàn)[4]在contourlet變換的基礎(chǔ)上提出的，基于NSCT變換的圖像分解分為多尺度分解和多方向分解兩個部分。NSCT分解的結(jié)構(gòu)示意圖如圖2所示，首先采用非下采樣金字塔濾波器組(non subsampled pyramid filter bank, NSPFB)對源圖像進(jìn)行多尺度分解，得到低通子帶圖像L1和帶通子帶圖像P1；然后利用非下采樣方向濾波器組(non subsampled direction filter bank, NSDFB)將帶通子帶圖像分解為多個方向的帶通子帶P12圖像，實現(xiàn)圖像的多方向分解；最后對每一層的低通子帶圖像重復(fù)上述操作，得到源圖像的多層子帶分解。例如低通子帶圖像L1經(jīng)過NSPFB進(jìn)一步分解為低通子帶圖像L21和帶通子帶圖像P21，P21再經(jīng)過NSDFB分解為多個方向的帶通子帶圖像P22。在圖像的分解和重構(gòu)過程中，NSCT沒有經(jīng)過采樣操作，各個子帶圖像與源圖像的尺寸大小保持一致，保證了NSCT的平移不變性，解決了頻譜混疊和吉布斯現(xiàn)象。

2.2 基于NSCT的圖像融合

2.2.1 低頻融合規(guī)則

由于NSCT的平移不變性，圖像經(jīng)NSCT分解之后低頻圖像的大小與原圖像大小相同?；贜SCT的這一重要特性，并且為了將紅外圖像的目標(biāo)指示特性和可見光圖像豐富的背景信息充分結(jié)合起來，本文提出了一種基于NSCT和改進(jìn)FT顯著性檢測方法的低頻融合規(guī)則。首先通過引導(dǎo)濾波器改進(jìn)的FT顯著性檢測算法計算紅外圖像的顯著性圖，然后利用顯著性圖來指導(dǎo)低頻子帶系數(shù)的融合。

紅外與可見光低頻融合策略可以表示為：

(5)

式中，

(7)

2.2.2 高頻融合規(guī)則

圖像的高頻子帶系數(shù)反映了圖像的邊緣或細(xì)節(jié)等突變特性。對于圖像的邊或細(xì)節(jié)等突變部分，圖像高頻子帶系數(shù)的絕對值一般較大；相反，對于圖像中較為平滑的部分，高頻系數(shù)的絕對值則比較小或在零值附近。因此，本文高頻融合規(guī)則仍采用絕對值取大法這一廣泛應(yīng)用的高頻融合策略，如式(8)所示：

3 實驗結(jié)果與分析

為驗證算法的有效性，本文采用了UN camp1圖像、Dune圖像、Sea圖像、OCTEC圖像和Battlefield這5組圖像經(jīng)過嚴(yán)格配準(zhǔn)的紅外與可見光圖像進(jìn)行實驗，避免了圖像配準(zhǔn)誤差對融合算法性能的影響。

本文算法與以下7種算法進(jìn)行了對比：基于discrete wavelet transform(DWT)、stationary wavelet transform(SWT)、curvelet transform(CVT)和NSCT的圖像融合[14]、低頻融合規(guī)則采用加權(quán)平均、高頻融合規(guī)則采取絕對值取大的算法，文獻(xiàn)[8]和文獻(xiàn)[9]中的算法、原FT+NSCT的基本算法。圖像融合中DWT、SWT、CVT和NSCT的參數(shù)均采用文獻(xiàn)[14]建議的最佳參數(shù)設(shè)置。具體設(shè)置如下：DWT選擇濾波器“db1”，分解層數(shù)為3層；SWT選擇濾波器“bior2.2”，分解層數(shù)為4層；CVT分解層數(shù)為{4,4,3}；NSCT選擇“pyrexc”拉普拉斯濾波器，選擇方向濾波器“cd”，分解層數(shù)為{2,3,3,4}；本文算法中，引導(dǎo)濾波器的參數(shù)設(shè)置如下：局部窗口半徑，修正參數(shù)，其中為輸入圖像的大小。

3.1 主觀質(zhì)量評價

圖3～圖7給出了不同融合算法得到的融合結(jié)果。圖中圓圈區(qū)域為融合圖像的目標(biāo)信息，方框區(qū)域為融合圖像的部分背景信息。從圖像的整體融合效果來看，各融合圖像均基本提取出了紅外圖像中的目標(biāo)信息，但是采用低頻加權(quán)平均的方法時，融合圖像中目標(biāo)的亮度較低，同時融合圖像背景則由于融合了過多的紅外信息而使圖像的對比度較低，丟失了過多的可見光圖像中的豐富背景信息。通過圖中橢圓區(qū)域的目標(biāo)信息和方框區(qū)域中的部分背景信息的比較可以看出，本文算法在保持紅外圖像中目標(biāo)特性的同時，較其他算法融合了更多的可見光的背景信息。綜上所述，本文算法具有較好的主觀融合效果。

a. 紅外圖像?????b. 可見光圖像?????c. DWT方法?????d. SWT方法?????e. CVT方法

f. NSCT方法?????g. 文獻(xiàn)[8]方法?????h. 文獻(xiàn)[9]方法?????i. 原NSCT+FT方法?????j. 本文方法

圖3 UN camp圖像不同算法融合效果

a. 紅外圖像?????b. 可見光圖像?????c. DWT方法?????d. SWT方法?????e. CVT方法

f. NSCT方法?????g. 文獻(xiàn)[8]方法?????h. 文獻(xiàn)[9]方法?????i. 原NSCT+FT方法?????j. 本文方法

圖4 Dune圖像不同算法融合效果

a. 紅外圖像?????b. 可見光圖像?????c. DWT方法?????d. SWT方法?????e. CVT方法

f. NSCT方法?????g. 文獻(xiàn)[8]方法?????h. 文獻(xiàn)[9]方法?????i. 原NSCT+FT方法?????j. 本文方法

圖5 Duck圖像不同算法融合效果

a. 紅外圖像?????b. 可見光圖像?????c. DWT方法?????d. SWT方法????? e. CVT方法

f. NSCT方法?????g. 文獻(xiàn)[8]方法?????h. 文獻(xiàn)[9]方法?????i. 原NSCT+FT方法????? j. 本文方法

圖6 OCTEC圖像不同算法融合效果

a. 紅外圖像????? b. 可見光圖像?????c. DWT方法?????d. SWT方法?????e. CVT方法

f. NSCT方法?????g. 文獻(xiàn)[8]方法?????h. 文獻(xiàn)[9]方法?????i. 原NSCT+FT方法????? j. 本文方法

圖7 Battlefield圖像不同算法融合效果

3.2 客觀質(zhì)量評價

為了客觀地評價融合圖像的性能，本文采用歸一化互信息(normalized mutual information, NMI)[15]、峰值信噪比(peak signal to noise ratio, PSNR)、交叉熵(cross entropy, CE)和結(jié)構(gòu)相似度(structural SIM ilarity, SSIM)[16]這4項圖像評價指標(biāo)。NMI體現(xiàn)了融合結(jié)果對原始圖像信息的保持程度，數(shù)值大則融合圖像獲取源圖像的信息多；PSNR可度量結(jié)果圖像中的噪聲情況，數(shù)值大說明融合效果好；CE可衡量兩幅圖像間的差異，數(shù)值小則融合圖像與源圖像間的差異??；SSIM多用來評價圖像信號的結(jié)構(gòu)相似性，數(shù)值大則融合圖像在亮度、對比度和結(jié)構(gòu)上的失真小。

表1給出了5組實驗圖像的客觀質(zhì)量評價指標(biāo)。從融合圖像的各項客觀評價指標(biāo)來看，本文提出的算法具有最佳的融合效果，5組圖像的各項指標(biāo)均優(yōu)于其他比較算法。此外，本文算法結(jié)果優(yōu)于原FT+NSCT的基本算法的結(jié)果，說明了本文的改進(jìn)對于紅外與可見光圖像融合是相當(dāng)有效的。

表1 融合圖像客觀質(zhì)量評價

4 結(jié) 束 語

視覺顯著性反映的是場景中目標(biāo)吸引視覺注意的能力，這種特性與紅外圖像和可見光圖像融合中需要提取紅外圖像中的目標(biāo)信息具有一致性。本文利用引導(dǎo)濾波器的選擇特性及邊緣保持特性，對顯著性檢測FT算法進(jìn)行改進(jìn)，增強了其對紅外目標(biāo)突出特性及對紅外背景的抑制作用。同時根據(jù)NSCT的平移不變性，提出了利用紅外圖像的顯著性圖指導(dǎo)低頻子帶系數(shù)融合的策略。實驗結(jié)果表明，本文算法得到的融合圖像既突出了紅外圖像中的目標(biāo)信息，又能夠保留豐富的可見光背景成分，因而充分反映了目標(biāo)及其所在的場景信息，融合效果好。

[1] GOSHTASBY A A, NIKOLOV S. Image fusion: Advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114-118.

[2] TOET A, HOGERVORST M A, NIKOLOV S G, et al. Towards cognitive image fusion[J]. Information Fusion, 2010, 11(2): 95-113.

[3] KONG W, ZHANG L, LEI Y. Novel fusion method for visible light and infrared images based on NSST–SF–PCNN[J]. Infrared Physics & Technology, 2014, 65: 103-112.

[4] DA C A L, ZHOU J, DO M N. The nonsubsampled contourlet transform: Theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.

[5] BORJI A, ITTI L. State-of-the-art in visual attention modeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185-207.

[6] HAN J, PAUWELS E J, DE ZEEUW P. Fast saliency-aware multi-modality image fusion[J]. Neurocomputing, 2013, 111: 70-80.

[7] LIU H, ZHU T, ZHAO J. Infrared and visible image fusion based on region of interest detection and nonsubsampled contourlet transform[J]. Journal of Shanghai Jiaotong University (Science), 2013, 18: 526-534.

[8] ZHAO J, ZHOU Q, CHEN Y, et al. Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition[J]. Infrared Physics & Technology, 2013, 56: 93-99.

[9] CUI G, FENG H, XU Z, et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]. Optics Communications, 2015, 341: 199-209.

[10] HOU X, ZHANG L. Saliency detection: a spectral residual approach[C]//IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2007: 1-8.

[11] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th Annual ACM International Conference on Multimedia. [S.l.]: ACM, 2006: 815-824.

[12] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2009: 1597-1604.

[13] HE K, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[14] LI S T, BIN Y, HU J W. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2011, 12(2): 74-84.

[15] HOSSNY M, NAHAVANDI S, CREIGHTON D. Comments on ‘information measure for performance of image fusion’[J]. Electronics Letters, 2008, 44(18): 1066-1067.

[16] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

編 輯 葉 芳

Infrared and Visible Image Fusion Based on Visual Saliency and NSCT

FU Zhi-zhong, WANG Xue, LI Xiao-feng, and XU Jin

(School of Communication and Information Engineering, University of Electronic Science and Technology of China Chengdu 611731)

An infrared and visible image fusion algorithm is proposed based on visual saliency and non-subsampled contourlet transform (NSCT). At first, the frequency tuned saliency detection method is improved by guided filter and applied to detect the saliency of infrared image. Then the infrared and visible light images are decomposed into low frequency and high-frequency sub-bands by NSCT. Finally the saliency map of infrared image is used to guide the fusion in low frequency sub-band, and the rule of maximum absolute value selection is used for the fusion in high frequency sub-band. Experimental results demonstrate that compared to several other algorithms, the proposed method highlights the IR targets and at the same time makes the fusion images have rich background information, and better visual fusion effects and objective quality evaluations are obtained.

guided filter; image fusion; NSCT; saliency

TP391

A

10.3969/j.issn.1001-0548.2017.02.007

2015-08-05；

2015-12-04

國家自然科學(xué)基金面上項目(61075013, 61671126)

傅志中(1970-)，男，博士，副教授，主要從事圖像處理、模式識別方面的研究.