基于NSCT的SAR與可見光圖像融合算法

馮 穎, 賀興時(shí), 薛菁菁， 楊新社,

(1.西安工程大學(xué)理學(xué)院，西安 710048; 2.密德薩斯大學(xué)科學(xué)與技術(shù)學(xué)院，倫敦 NW4 4BT)

0 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)是一種具有全天時(shí)、全天候、強(qiáng)穿透力等特點(diǎn)[1]的主動(dòng)式相干微波遙感系統(tǒng)，能夠提供結(jié)構(gòu)信息豐富的SAR圖像。但SAR圖像中的目標(biāo)反射特性受頻率、反射角和極化方式的影響[2-4]，相同物體可能表現(xiàn)形式不同。光學(xué)圖像具有影像信息豐富的特點(diǎn)，但光學(xué)傳感器成像易受到自然天氣的影響。因此，將SAR與可見光圖像有機(jī)融合，可以互相取長補(bǔ)短，獲取更豐富的信息[5]。

由于SAR圖像與可見光圖像差異大，常見的融合方法容易導(dǎo)致細(xì)節(jié)與紋理信息的丟失。文獻(xiàn)[6]基于小波變換的SAR與多光譜圖像融合方法，保留了原始多光譜圖像的光譜性質(zhì)，但融合后SAR圖像基本表現(xiàn)為分散的點(diǎn)狀目標(biāo)，造成SAR圖像重要目標(biāo)信息的丟失;文獻(xiàn)[7]將Contourlet變換應(yīng)用于SAR與多光譜圖像的融合，利用了Contourlet變換的多分辨率、多方向性和較強(qiáng)的輪廓信息表達(dá)能力，融合效果有了較大的改善。 非下采樣Contourlet變換(NSCT)是一種真正的二維圖像表示方法[8]，不僅具有小波變換的多分辨率特性和最佳的時(shí)頻局部化特性，還具有優(yōu)良的方向性和和平移不變性。因此，基于NSCT的圖像融合方法，能夠更好地提取源圖像的特征，為融合圖像提供更多的有效信息。

1 非下采樣Contourlet變換

非下采樣輪廓波變換(NSCT)是通過采用非下采樣塔形濾波器組(Nonsubsampled Pyramid Filter Bank,NSPFB)和非下采樣方向?yàn)V器組(Nonsubsampled Directional Filter Bank,NSDFB)來實(shí)現(xiàn)的[9-10]，變換過程如圖1所示。首先利用NSPFB獲得圖像的多尺度分解，得到圖像的低頻子圖像和高頻子圖像，再利用NSDFB對各尺度圖像進(jìn)行方向分解，得到多尺度、多方向的子帶圖像[11-14]。 NSCT克服了 Contourlet 變換的不足，在分解和重構(gòu)過程中不進(jìn)行下采樣，因而是一種多尺度、多方向且具有平移不變性的圖像分解方法[15-16]。

圖 1 NSCT分解的結(jié)構(gòu)框圖Fig.1 Construction diagram of NSCT decomposition

2 基于 NSCT 的圖像融合算法

針對SAR圖像紋理和結(jié)構(gòu)信息豐富，可見光圖像光譜信息豐富的特點(diǎn)，本文提出了適用于SAR與可見光圖像的融合方法。

2.1 融合計(jì)算方法

基于 NSCT 的圖像融合詳細(xì)步驟如下所述。

3) 對融合后的低頻子帶系數(shù)和各尺度層的高頻方向子帶系數(shù)進(jìn)行 NSCT 逆變換得到融合圖像F。

2.2 融合規(guī)則

2.2.1 高頻系數(shù)融合規(guī)則

根據(jù)高頻子帶的特點(diǎn)，融合時(shí)選擇一種混合機(jī)制的融合規(guī)則。低層信息反映的是圖像的概貌信息，且各信息之間鄰域相關(guān)性很大，為了更好地保留像素鄰域的相關(guān)性，使邊緣線條信息更加自然[17]，則采用基于區(qū)域相關(guān)系數(shù)的區(qū)域平均梯度選大融合法；高層信息表達(dá)的是圖像的細(xì)節(jié)信息，各信息相關(guān)度不高，且區(qū)域標(biāo)準(zhǔn)差能較好反映圖像的信息量和紋理變換特性，因而對最高層采用區(qū)域標(biāo)準(zhǔn)差選大法進(jìn)行融合。

定義1設(shè)HA(i,j)，HB(i,j)分別為SAR和可見光第k層高頻子圖像在像素點(diǎn)(i,j)處的像素值，則以某像素點(diǎn)(i,j)為中心的5×5鄰域內(nèi)圖像的相關(guān)系數(shù)值為

(1)

相關(guān)系數(shù)反映了圖像的相關(guān)程度，兩幅圖像的相關(guān)系數(shù)越接近于1，表示圖像的接近度越好。

定義2定義區(qū)域平均梯度

(2)

平均梯度反映了圖像中的微小細(xì)節(jié)反差和圖像的清晰度。平均梯度越大，圖像層次越多，表示圖像越清晰[18]。

定義3圖像的區(qū)域標(biāo)準(zhǔn)差為

(3)

1) 最大尺度高頻系數(shù)融合規(guī)則。

(4)

即最高尺度的高頻系數(shù)采用區(qū)域標(biāo)準(zhǔn)差選大的融合規(guī)則。

2) 其他高頻系數(shù)融合規(guī)則。

(5)

即如果兩幅圖像在該區(qū)域上差異較大，采用區(qū)域平均梯度選大的融合規(guī)則。

如果corr(A,B)≥T，則

(6)

式中：w1,w2為自適應(yīng)調(diào)整因子，其算式分別為

(7)

(8)

即如果兩幅圖像在該區(qū)域上的差異較小，選用區(qū)域平均梯度加權(quán)的融合規(guī)則。

2.2.2 低頻系數(shù)融合規(guī)則

低頻子帶是源圖像的近似分量，集中了圖像的大多數(shù)能量，反映了圖像的輪廓。為了更好地利用低頻部分特征，本文采用區(qū)域熵[19]作為對應(yīng)低頻系數(shù)的判別準(zhǔn)則。

1)定義4設(shè)f(i,j)為像素點(diǎn)(i,j)處的灰度值，p(i,j)為像素點(diǎn)(i,j)處灰度分布概率，則區(qū)域熵為

(9)

(10)

式中：S為像素點(diǎn)(i,j)對應(yīng)區(qū)域的區(qū)域熵;M×N為以(i,j)為中心的局部鄰域，本文取為5×5。

2) 確定融合算子。

當(dāng)SA(i,j)≠SB(i,j)時(shí)，采用區(qū)域信息熵選大的融合規(guī)則，即

(11)

當(dāng)SA(i,j)=SB(i,j)時(shí)，選取像素值平均的融合規(guī)則，即

LF(i,j)=(LA(i,j)+LB(i,j))/2 。

(12)

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文融合算法的正確性、有效性和實(shí)用性，針對同一場景的SAR圖像與可見光圖像，分別采用小波方法(方法1)、簡單的NSCT變換方法[20](方法2)、基于NSCT-PCNN的融合方法[21](方法3)并進(jìn)行比較。在方法1和方法2中，采用的融合規(guī)則是：低頻子圖像采用加權(quán)平均的融合方法，高頻子圖像采用系數(shù)絕對值選大的融合方法。在方法3中，低頻子圖像采用加權(quán)平均法進(jìn)行融合，高頻采用一種改進(jìn)的基于PCNN的融合方法。在本文方法、方法2和方法3中，尺度分解濾波器均采用“maxflat”濾波器，方向分解濾波器均采用“dmaxflat”濾波器，均分解為3個(gè)尺度。

SAR和可見光圖像以及各種融合算法的融合結(jié)果如圖2、圖3所示。圖2a、圖3a是SAR圖像，圖2b、圖3b是同一場景下的可見光圖像。圖2c～圖2f和圖3c～3f分別為SAR與可見光圖像采用方法1、方法2、方法3及本文方法的融合結(jié)果。從視覺效果看,每一個(gè)融合圖像基于不同的融合方法和融合規(guī)則,其融合效果有不同程度的改善。同時(shí)可以明顯看出，本文方法使SAR圖像的噪聲得到了有效的抑制，可見光圖像的細(xì)節(jié)特征信息得到了更為清晰的顯示。

圖3 第二組圖像的融合結(jié)果Fig.3 Image fusion results of the second set of images

(13)

(14)

(15)

(16)

式中：L為灰度級總數(shù)；pi為某灰度值i在圖像中出現(xiàn)的概率；D(P,Q)為兩圖像的交叉熵，D1,D2分別為兩原始圖像與融合后圖像的交叉熵；E(I)為圖像的方差;var(I)為圖像的方差。標(biāo)準(zhǔn)差、熵、平均梯度、相關(guān)系數(shù)、等效視數(shù)、互信息值越大，說明圖像融合效果越好；均方根總體交叉熵值越小，說明圖像融合效果越佳。比較結(jié)果見表1。

表1 兩組圖像融合結(jié)果評價(jià)

從表1可以看出，本文方法和方法1、方法2相比，可以獲得較大的標(biāo)準(zhǔn)差、熵、平均梯度、相關(guān)系數(shù)(融合圖像和SAR圖像)、等效視數(shù)、互信息，獲得較小的均方根總體交叉熵；雖然方法3可以獲得最高的熵、標(biāo)準(zhǔn)差、平均梯度，但等效視數(shù)、互信息、相關(guān)系數(shù)是最小的，均方根總體交叉熵是最大的。本文方法能夠獲得較高的熵、標(biāo)準(zhǔn)差、平均梯度，最高的等效視數(shù)、互信息、相關(guān)系數(shù)和最小的均方根總體交叉熵。這也表明，本文方法的融合結(jié)果具有較豐富的信息、較好的噪聲抑制效果、較高的清晰度和對比度。綜合看來，本文方法要優(yōu)于其他3種方法。

4 結(jié)束語

根據(jù)SAR圖像與可見光圖像的特點(diǎn)，利用NSCT變換的優(yōu)點(diǎn)，提出一種基于NSCT變換的圖像融合算法。此算法在低頻子圖像采用以區(qū)域熵為測度參數(shù)進(jìn)行鄰域融合；高頻子圖像的最高層采用區(qū)域標(biāo)準(zhǔn)差選大法進(jìn)行圖像融合，高頻子圖像的其他層采用以鄰域相關(guān)系數(shù)為閾值，基于平均梯度選擇的鄰域融合算法。該算法有效捕獲了源圖像的細(xì)節(jié)信息與紋理信息，顯著改善了SAR圖像與可見光圖像的融合效果。實(shí)驗(yàn)結(jié)果表明，本文方法具有一定的有效性和實(shí)用性。

[1] 鄭永安,陳玉春,宋建社,等.基于提升機(jī)制小波變換的SAR與多光譜圖像融合算法[J].計(jì)算機(jī)工程,2006,32(6):195-197.

[2] KULPA K,MALANOWSKI M,MISIUREWICZ J,et al.Radar and optical images fusion using stripmap SAR data with multilook processing[J].International Journal of Electronics & Telecommunications,2011,57(1):37-42.

[3] 陳磊,楊風(fēng)暴,王志社,等.特征級與像素級相混合的SAR與可見光圖像融合[J].光電工程,2014,41(3):55-60.

[4] 宋建社,鄭永安,劉迎春.基于小波變換的SAR與可見光圖像融合算法[J].計(jì)算機(jī)應(yīng)用研究,2004,21(10):110-111.

[5] 陳木生,蔡植善.基于NSCT的紅外與可見光圖像融合方法研究[J].激光與光電子學(xué)進(jìn)展,2015,52(6):114-119.

[6] CHEN S H,ZHANG R H,SU H B.SAR and multi-spectral image fusion using generalized IHS transform based on à trous wavelet and EMD decompositions[J].IEEE Sensors Journals,2010,10(3):737-745.

[7] HUANG D S,YANG M H.SAR and multi-spectral images fusion based on contourlet and HIS transform[C]//Proceeding of the 6th International Conference on Wireless Communications Networking and Mobile Computing,2010:1-4.

[8] CUNHA A L,ZHOU J P,DO M N.The nonsubsampled contourlet transform:theory,design and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[9] 時(shí)丕麗,郭雷,李暉暉.基于NSCT的SAR與可見光圖像融合方法[J].計(jì)算機(jī)應(yīng)用研究,2013,30(5):1568-1570.

[10] 靳珍怡,王遠(yuǎn)軍.基于非下采樣輪廓波變換的多模態(tài)醫(yī)學(xué)圖像融合[J].中國醫(yī)學(xué)物理學(xué)雜志,2016,33(5):445-450.

[11] 鐘微宇,沈汀.基于NSCT域鄰域收縮的SAR圖像去噪[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(12):188-193.

[12] 鮑程輝,朱康,賀新光.基于非下采樣Contourlet系數(shù)局部特征的遙感圖像融合方法[J].計(jì)算機(jī)科學(xué),2014,41(3):310-313.

[13] LIU H,ZHU T,ZHAO J.Infrared and visual image fusion based on region of interest detection and nonsubsampled contourlet transform[J].Journal of Shanghai Jiaotong University:Science,2013,18(5):526-534.

[14] GE W,JI P C,ZHAO T C.Infrared image and visual ima-ge fusion algorithm based on NSCT and improved weight average[C]//The 6th International Conference on Intelligent Systems Design and Engineering Applications,2015:456-459.

[15] 王躍華,陶忠祥.基于NSCT的紅外與可見光圖像融合算法[J].四川兵工學(xué)報(bào),2012,33(7):117-119.

[16] 王躍華,陶忠祥.一種基于NSCT變換的紅外與可見光圖像融合算法[J].光學(xué)與光電技術(shù),2012,10(4):81-84.

[17] 王丹.基于小波分析的像素級圖像融合算法研究[D].重慶:重慶大學(xué),2009.

[18] 曾立慶,蔣年德.基于鄰域內(nèi)相關(guān)系數(shù)與平均梯度的圖像融合方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(7):1533-1535.

[19] WANG A L,QI C Y,HAN Y,et al.Multifocus image fusion based on nonsubsampled contourlet transform[C]//The 7th International Forum on Strategic Technology (IFOST),2012:18-21.

[20] 張雄美,李俊山,易昭湘,等.非抽樣輪廓波變換域圖像融合方法研究[J].電光與控制,2008,15(7):16-19.

[21] 李美麗,李言俊,王紅梅,等.基于NSCT和PCNN的紅外與可見光圖像融合方法[J].光電工程,2010,37(6):90-95.

[22] 李暉暉,郭雷,李國新.基于脊波變換的SAR與可見光圖像融合研究[J].西北工業(yè)大學(xué)學(xué)報(bào),2006,24(4):418-422.