基于NSST變換與自適應(yīng)PCNN的多特征遙感圖像融合

張 康,黃永東,王國芬

(北方民族大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院,寧夏 銀川 750021)

1 引 言

遙感圖像在軍事和民用領(lǐng)域中都扮演著重要角色[1],如軍事偵察,農(nóng)業(yè)生產(chǎn),地理與氣象學(xué)等。在這些應(yīng)用中總希望同時擁有高光譜分辨率和高空間分辨率的圖像,而這一要求在實際中是很難直接得到的。由此就產(chǎn)生了遙感圖像融合方法,從而有利于實現(xiàn)對圖像場景的全面描述和提高觀察者對圖像的理解。

近年來,基于多分辨分析的融合方法[2]已成功運用到不同類型的圖像融合中,其主要思想是采用小波變換[3]、Contourlet變換[4]和Curvelet變換[5]等實現(xiàn)圖像的多尺度分解,進而執(zhí)行后續(xù)的融合過程。眾所周知,NSCT變換[6]不僅保持了Contourlet變換的各向異性和局部化特性,同時又具有平移不變性,故能有效防止偽吉布斯現(xiàn)象的發(fā)生；NSST變換[7-8]除了具有平移不變性之外,其計算效率比NSCT變換高；PCNN[9]擁有全局耦合和脈沖同步的出色特性。文獻[10]中的PCNN將所有神經(jīng)元的鏈接強度設(shè)置為相同的常數(shù),其得到的結(jié)果與真實結(jié)果不具有一致性。另一方面,在圖像融合算法中,高頻子帶大多采用單一的融合規(guī)則,如閾值控制[11]、平均梯度取大[12]等。這些單一規(guī)則融合圖像時會產(chǎn)生細節(jié)表現(xiàn)能力不足的問題。鑒于此,王峰等[13]提出了一種基于多特征的遙感圖像融合算法,采用了方差、能量和平均梯度來構(gòu)造多特征的高頻系數(shù)融合規(guī)則。但是,其低頻系數(shù)的融合選取了像素絕對值取大的規(guī)則,降低了融合圖像的質(zhì)量。

為了克服以上算法的不足,本文結(jié)合NSST、PCNN和多特征的各自優(yōu)點,提出了一種基于NSST變換與自適應(yīng)PCNN的多特征遙感圖像融合算法。首先,利用HSV變換提取MS圖像的亮度分量V,并將得到的亮度分量V與PAN圖像分別進行NSST變換；其次,對于低頻子帶,提出了一種基于自適應(yīng)的PCNN融合規(guī)則,將空間頻率和區(qū)域平均梯度分別作為PCNN的外部激勵和鏈接強度；對于高頻子帶,采用了基于多特征的融合規(guī)則；最后,進行逆NSST變換和逆HSV變換得到融合圖像。

2基于NSST變換與自適應(yīng)PCNN的多特征遙感圖像融合算法

圖像經(jīng)NSST變換后,會得到一幅低頻圖像和若干幅與原圖像尺寸相同的高頻圖像。其中低頻圖像是原圖像的近似圖像,高頻圖像主要包含圖像的細節(jié)信息,如邊緣細節(jié)和線性特征等。其分解示意圖見圖1。另一方面,融合規(guī)則的選取對圖像融合質(zhì)量起著至關(guān)重要的作用。

圖1 NSST分解示意圖

2.1 低頻子帶融合規(guī)則

對于低頻子帶,本文采取自適應(yīng)的PCNN融合規(guī)則,主要考慮其外部激勵Sij和鏈接強度β的確定。

2.1.1 PCNN模型

PCNN是一種反饋型網(wǎng)絡(luò),是由Eckhorn、Reitboeck和Arndt等[9]在模擬哺乳動物的大腦視覺皮層中神經(jīng)元同步行為現(xiàn)象提出的一類二維人工神經(jīng)網(wǎng)絡(luò)模型,具有全局耦合性和脈沖同步性。本文采用一種常用的簡化模型,該模型由以下方程來描述[14]:

Fij(n)=Iij(n)

(1)

Yij,kl(n-1)

(2)

Uij(n)Fij(n)×(1+βLij(n))

(3)

θij(n)=exp(-αθ)θij(n-1)+VθYij(n-1)

(4)

(5)

其中,Sij作為神經(jīng)元的反饋輸入Fij;鏈接輸入Lij是由伴隨著突觸權(quán)矩陣系數(shù)Wijkl的鄰域神經(jīng)元;振幅收益常數(shù)VL和時間衰減常數(shù)αL計算而來;Wij,kl的計算公式如下:

內(nèi)部活動項Uij是通過鏈接強度因子β將反饋輸入Fij與鏈接輸入Lij相結(jié)合而獲得；θij是動態(tài)閾值,其值是由前一狀態(tài)的θij和輸出結(jié)果Yij所獲??；n表示最大迭代次數(shù),k,l表示神經(jīng)元的鏈接范圍,Vθ為放大系數(shù),αθ為衰減時間常數(shù)。若Uij(n)≥θij(n),則稱神經(jīng)元產(chǎn)生一個脈沖,即一次點火。

2.1.2 外部激勵Sij的確定

由于圖像的空間頻率能夠較好地反映原圖像的邊緣細節(jié)信息,因此,選擇區(qū)域空間頻率[14]作為PCNN的外部激勵,能夠取得較好地融合效果。一般情況下,空間頻率只考慮水平和垂直兩個方向的計算,而實際上,對角線方向也非常重要,其能夠反映圖像對角方向的邊緣細節(jié)信息。為此,本文采用改進后的空間頻率,數(shù)學(xué)表達式如下:

第五，校園周邊的環(huán)境也亟待整治。現(xiàn)在各大學(xué)校園的周邊布滿了各類娛樂場所，如網(wǎng)吧(且超時經(jīng)營)、影院、迪吧、工作室、游戲機室、桌球室、棋牌室等。有些自控力差的大學(xué)生整日沉迷其中，不能自拔。影響了學(xué)校的正常教學(xué)，有必要予以整治，還學(xué)生一個恬靜的學(xué)習(xí)環(huán)境。

(7)

其中,RF為水平方向頻率;CF為垂直方向頻率;MDF為對角方向頻率。它們計算公式如下:

(8)

(9)

MDF=P+Q,其中:

(10)

(11)

這里M,N為圖像的行數(shù)與列數(shù)；C(m,n)為圖像經(jīng)NSST分解后在(m,n)處的低頻子帶系數(shù)。

2.1.3 鏈接強度β的確定

鏈接強度β反映圖像像素的特征,同時可以調(diào)節(jié)鏈接通道在內(nèi)部活動中的權(quán)重,因此β的選取好壞直接影響著融合效果。文獻[15]中提出了一種基于平均梯度的指數(shù)衰減形式,增強了圖像質(zhì)量,然而由于使用了依賴于像素灰度值的指數(shù)函數(shù),使得該方法在降低計算復(fù)雜度方面變得無能為力。為此,提出一種區(qū)域平均梯度的方法,并將其作為鏈接強度β,定義圖像的區(qū)域平均梯度為:

(12)

g1(i,j)=|I(i,j)-I(i+1,j)|

(13)

g2(i,j)=|I(i,j)-I(i,j+1)|

(14)

其中,M×N表示區(qū)域大小,在此取為3×3。

然后根據(jù)脈沖點火次數(shù)來選擇融合系數(shù)。具體融合規(guī)則描述如下:

(15)

其中,CV(i,j),CPAN(i,j)分別為原MS圖像的V分量和原PAN圖像經(jīng)NSST變換后在(i,j)處的低頻系數(shù),CF(i,j)為融合圖像在(i,j)處的低頻系數(shù),YV(i,j)和YPAN(i,j)分別表示原MS圖像的V分量和原PAN圖像經(jīng)NSST變換后在(i,j)處的低頻系數(shù)的脈沖輸出。

2.2 高頻子帶融合規(guī)則

高頻系數(shù)包含了圖像的細節(jié)和邊緣等特征信息,所以其融合規(guī)則的選擇將影響融合圖像的清晰度和光譜失真度。常用的高頻系數(shù)融合規(guī)則是基于標準方差、平均梯度以及能量等特征信息的融合規(guī)則。大多數(shù)的方法只使用以上一種特征作為融合規(guī)則,這樣會使結(jié)果產(chǎn)生細節(jié)表現(xiàn)能力不足的問題,無法實現(xiàn)主觀視覺和客觀評價指標的綜合最優(yōu)。為了解決該問題,本文采取文獻[13]中提出的基于多特征的規(guī)則進行高頻子帶的融合。規(guī)則簡要描述如下:

(16)

(17)

(18)

(19)

(20)

(21)

其中,GradPAN、GradV、STDPAN、STDV、EPAN、EV分別表示PAN圖像和MS圖像的V分量的整幅圖像的平均梯度、標準差和能量(整體平均梯度、標準差和能量都不等于0)。GradPAN(i,j)、GradV(i,j)、STDPAN(i,j)、STDV(i,j)、EPAN(i,j)、EV(i,j)分別表示PAN圖像和MS圖像的V分量的高頻系數(shù)的區(qū)域平均梯度、標準差和能量,設(shè)定的區(qū)域大小為3×3。

2.3 本文融合算法步驟

基于以上的分析,算法步驟如下:

Step1對MS圖像進行HSV變換,提取亮度分量V,并對PAN圖像進行直方圖匹配；

Step2分別對匹配后的PAN圖像和MS圖像的V分量進行NSST變換；

Step3采用2.1描述的低頻融合規(guī)則對PAN圖像和MS圖像的V分量的低頻子帶進行融合；

Step4采用2.2描述的高頻融合規(guī)則對PAN圖像和MS圖像的V分量的高頻子帶進行融合；

Step5通過逆NSST變換和逆HSV變換獲得融合圖像。

融合算法流程圖見圖2。

圖2 本文所提算法流程圖

3 實驗結(jié)果與分析

為了驗證算法的有效性和優(yōu)越性,以Matlab2012為工具,選擇2組不同的遙感圖像進行仿真實驗與分析,并分別與傳統(tǒng)的NSCT、NSST、NSCT-PCNN以及文獻[13]的方法進行比較。其中NSCT變換采用 “maxflat”濾波器和“dmaxflat7”濾波器,方向級數(shù)為[1,2,3],NSST變換采用“maxflat”濾波器。本文方法的PCNN參數(shù)如下:αL=1,αθ=0.2,(k,l)=(3,3),VL=1,Vθ=20,n=200。兩組MS圖像與PAN圖像及采用不同融合算法得到的融合結(jié)果見圖3和圖4。

圖3 第一組原圖像及各方法的融合圖像

圖4 第二組原圖像及各方法的融合圖像

3.1 視覺效果評價

從圖3和圖4可以看出,MS圖像(a)具有豐富的光譜信息,PAN圖像(b)的細節(jié)信息顯著。圖(c)～(g)分別為采用傳統(tǒng)的NSCT、NSST、NSCT-PCNN、文獻[13]的方法以及本文方法的融合結(jié)果。由圖(c)～(g)可知,這五種方法都能夠從低分辨率的MS圖像中提取到光譜信息,并且從高分辨率的PAN圖像中提取到細節(jié)信息,并將這兩種信息體現(xiàn)在融合圖像中。然而,基于NSCT和NSST所得的融合圖像(c)和(d),由于融合規(guī)則的不足,會丟失部分信息,造成細節(jié)表現(xiàn)能力不足,圖像的輪廓、紋理模糊,尤其從第二組實驗中可以看出圖像對比度很低,圖像很暗；基于NSCT-PCNN方法所得的融合圖像(e)保留PAN細節(jié)信息的能力遠不如本文方法,而從第二組試驗?zāi)芸闯鲭m然其對比度要比前兩種方法要好,但圖像還是有點暗,說明此方法不能很好的提取出MS圖像的光譜信息；基于文獻[13]所得的融合圖像(f),雖然取得不錯的融合效果,但細節(jié)信息還是不夠充分,不能高效地實現(xiàn)圖像融合；由本文方法得到的圖像(g)保存原PAN圖像的輪廓、紋理細節(jié)更加清晰、豐富,并且色彩更接近原MS圖像,具有較好的主觀視覺效果。

3.2 客觀評價

MS圖像與PAN圖像融合的目的是盡可能的保留PAN圖像的空間信息和MS圖像的光譜信息。因此,本文主要采用信息熵(IE)[16]、交叉熵(D)[16]、互信息(MI)[16]和運行時間(Time) 4種客觀評價指標定量地對融合結(jié)果進行分析和比較。其中信息熵的值越大,其包含的信息量越多,融合效果越好；交叉熵能夠直接表示兩幅圖像(融合圖像和原MS圖像)對應(yīng)像素間的差異大小,其值越小,差異越小,融合效果越好；互信息能夠反映兩幅圖像(融合圖像和原PAN圖像)的相關(guān)性,其值越大,融合效果越好。兩組MS圖像與PAN圖像采用不同融合算法得到的融合結(jié)果客觀評價指標值見表1和表2。

表1 第一組圖像的客觀評價結(jié)果

表2 第二組圖像的客觀評價結(jié)果

由表1可以看出,在第一組實驗中,本文方法的信息熵和交叉熵兩個客觀評價指標在R、G、B波段及平均值上都是最優(yōu)的,而互信息在R、G波段上是次優(yōu)的,略低于文獻[13]。由表2可以看出,在第二組實驗中,本文方法的信息熵和交叉熵在R、G、B波段上都是最優(yōu)的,互信息在B波段上是最優(yōu)的,在R、G波段上是次優(yōu)的,略低于最優(yōu)值。從而表明,本文方法在空間信息的提高與光譜信息的增強上是整體最優(yōu)的。在時間性能方面,由于本文方法使用了NSST變換,有針對性減小了計算量,其運行時間與文獻[13]相比有了較大的改善,但由于引入了PCNN和多特征,所以運行時間方面要比傳統(tǒng)的簡單方法要長,但是與得到的效果相比,時間上的犧牲是值得的。因此,本文方法能夠較好地適用于真實環(huán)境,具有較高的實踐應(yīng)用價值。

4 結(jié) 論

本文在NSST變換的多方向性和時頻局部化等優(yōu)良特性的基礎(chǔ)上,結(jié)合PCNN和多特征的優(yōu)點,提出了一種基于NSST和自適應(yīng)PCNN的多特征遙感圖像融合方法。對于低頻子帶,提出了一種基于自適應(yīng)的PCNN融合規(guī)則；對于高頻子帶,采用了基于多特征的融合規(guī)則。通過兩組MS與PAN圖像融合實驗表明,該方法可以有效提高圖像融合質(zhì)量,并且在視覺效果和客觀指標上都有良好的表現(xiàn)。

參考文獻:

[1] Liu J,HuangJ Y,Li H L,et al.Human visual system consistent quality assessment for remote sensing image fusion[J].ISPRS Journal of Photogrammetry and Remote Sensing,2015,105:79-90.

[2] Ghassemian H.A review of remote sensing image fusion methods[J].Information Fusion,2016,32(PA):75-89.

[3] XIN Yanan,DENG Lei.An improved remote sensing image fusion method based on wavelet transform[J].Laser & Optoelectronics Progress,2013,50(2):133-138.(in Chinese)

辛亞楠,鄧磊.基于小波變換的遙感圖像融合方法研究[J].激光與光電子學(xué)進展,2013,50(2):133-138.

[4] Alejaily AM,Rube I A M,Mangoud M A.Fusion of remote sensing images using Contourlet transform[J].Innovations and Advanced Techniques in Systems,Computing Sciences and Software Engineering,2008,27(2):213-218.

[5] Dong L,Yang Q,Wu H,et al.High quality multi-spectral and panchromatic image fusion technologies based on Curvelet transform[J].Neurocomputing,2015,159(C):268-274.

[6] ZHOU Shenglong,ZHANG Tao,KUAI Duojie,et al.Nonsubsampled contourlet image fusion algorithm based on directional region[J].Laser & Infrared,2013,43(2):204-207.(in Chinese)

周生龍,張濤,蒯多杰,等.基于方向區(qū)域的NSCT圖像融合算法[J].激光與紅外,2013,43(2):204-207.

[7] Easley G,Labate D,Lim W Q.Sparse directional image representations using the discrete shearlet transform[J].Applied & Computational Harmonic Analysis,2008,25(1):25-46.

[8] Labate D,Kutyniok G.Sparse multidimensional representation using shearlets[J].2005,39(1):298-318.

[9] Eckhorn R,Reitboeck H J,Arndt M.Feature linking via synchronization among distributed assemblies:simulations of results from cat visual cortex[J].Neurocomputing,1990,2(3):293-307.

[10] Ikuta C,Zhang S,Uwate Y,et al.A novel fusion algorithm for visible and infrared image using non-subsampled contourlet transform and pulse-coupled neural network[C]//International Conference on Computer Vision Theory and Applications.IEEE,2015:160-164.

[11] LI Wenjing,WEN Wenpeng,WANG Qinghe.A study of remote sesing image fusion method based on Contourlet transform[J].Remote Sensing For Land & Resources,2015,27(2):44-50.(in Chinese)

李文靜,溫文鵬,王清和.基于Contourlet變換的遙感圖像融合方法研究[J].國土資源遙感,2015,27(2):44-50.

[12] Wu Y H,Yan D and Ma M X,et al.An improved compressive sensing image fusion algorithm based on NSCT transform[J].Applied Mechanics and Materials,2013,433-435:306-309.

[13] WANG Feng,CHENG Yongmei,LI Song.et.al.Remote sensing image fusion algorithm based on multi-feature[J].Journal of Northwestern Polytechnical University,2015,33(3):489-494.(in Chinese)

王峰,程詠梅,李松,等.基于多特征的遙感圖像融合算法[J].西北工業(yè)大學(xué)學(xué)報,2015,33(3):489-494.

[14] JIANG Ping,ZHANG Qiang,LI Jing,et al.Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN[J].Laser & Infrared,2014,44(1):108-113.(in Chinese)

江平,張強,李靜,等.基于NSST和自適應(yīng)PCNN的圖像融合算法[J].激光與紅外,2014,44(1):108-113.

[15] Xiang T,Yan L,Gao R.A fusion algorithm for infrared and visible images based on adaptive dual-channel unit-linking PCNN in NSCT domain[J].Infrared Physics & Technology,2015,69:53-61.

[16] YANG Fanglin,GUO Hongyang,YANG Fengbao.Study of evaluation methods on effect of pixel-level image fusion[J].Journal of Test and Measurement Technolongy,2002,16(4):276-279.(in Chinese)

陽方林,郭紅陽,楊風暴.像素級圖像融合效果的評價方法研究[J].測繪技術(shù)學(xué)報,2002,16(4):276-279.