基于相位一致性與PCNN的SAR和多光譜圖像融合算法

余 艷,楊學(xué)志,方 帥,董張玉

(1.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230601; 2.工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230601; 3.合肥工業(yè)大學(xué) 軟件學(xué)院,安徽 合肥 230601; 4.智能互聯(lián)系統(tǒng)安徽省實(shí)驗(yàn)室,安徽 合肥 230601)

多源遙感圖像融合是指將同一區(qū)域中不同傳感器的多幅遙感圖像融合成一幅新圖像的過程[1]。來自不同傳感器的圖像具有其自身獨(dú)特的優(yōu)勢,其中多光譜圖像中包含的光譜信息對目標(biāo)識別與地物分類至關(guān)重要。但熱帶地區(qū)通常被云層覆蓋,因此限制了光學(xué)圖像的使用。合成孔徑雷達(dá)(synthetic aperture radar, SAR)圖像由于其特殊的成像機(jī)制,具有后向散射的介電特性,可以穿透云層、薄霧和植被,表征豐富的地表紋理和結(jié)構(gòu)特征[2]。對SAR和多光譜圖像進(jìn)行融合,可以獲得具有高空間分辨率和光譜分辨率的融合圖像,有利于增強(qiáng)圖像的檢測和識別性能。多源圖像的互補(bǔ)性在遙感應(yīng)用中具有很大的潛力,將SAR和多光譜圖像的結(jié)構(gòu)特征及光譜信息進(jìn)行融合成為當(dāng)今遙感圖像融合的熱點(diǎn)之一。

隨著開源SAR數(shù)據(jù)的快速增長,目前已有大量有關(guān)SAR和多光譜圖像融合方法。傳統(tǒng)的融合算法可以分為2類:

(1) 基于空間域的方法。例如,強(qiáng)度-色調(diào)-飽和度(intensity-hue-saturation,IHS)變換、主成分分析(principal component analysis,PCA)、brovey變換等。這些方法只是簡單的成分替換,容易造成融合圖像光譜扭曲以及圖像紋理特征保持不佳等現(xiàn)象。

(2) 基于變換域的方法。常用的多尺度分解重構(gòu)方法有小波變換、contourlet變換(contourlet transform,CT)、非下采樣contourlet變換(non-subsampled contourlet transform,NSCT)[3]、非下采樣shearlet變換(non-subsampled shearlet transform,NSST)[4]等。這些融合算法都是將圖像轉(zhuǎn)換到頻域進(jìn)行處理,相對于空間域的方法,此類算法光譜失真較少。由于多尺度分解重構(gòu)方法在圖像融合中的優(yōu)越性,NSCT已廣泛應(yīng)用于各種圖像融合之中,但由于NSCT自身結(jié)構(gòu)原因、分解的方向數(shù)有限以及會產(chǎn)生吉布斯現(xiàn)象的缺點(diǎn),NSST孕育而生。與NSCT相比,NSST具有更靈活的結(jié)構(gòu),更高的計(jì)算效率,分解的方向數(shù)無限制以及抑制吉布斯現(xiàn)象等優(yōu)勢。

脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse coupled neural network,PCNN)[5]產(chǎn)生于對動物視覺神經(jīng)元細(xì)胞活動的模擬,是一種反饋型神經(jīng)網(wǎng)絡(luò)模型。PCNN具有無需訓(xùn)練、全局耦合與脈沖同步發(fā)放等特性,許多學(xué)者將PCNN模型與NSST結(jié)合使用,以獲得更好的融合效果。例如,文獻(xiàn)[6]提出了在NSST域的自適應(yīng)PCNN的圖像融合算法,利用PCNN全局耦合性和脈沖同步性選擇高頻子帶系數(shù),融合的圖像在主觀視覺和客觀評價上均取得了較好的效果;文獻(xiàn)[7]提出在NSST域內(nèi)將改進(jìn)的拉普拉斯能量和作為PCNN的輸入,梯度能量作為PCNN的鏈接強(qiáng)度,在一定程度上提升了融合圖像的清晰度。

大多數(shù)NSST域的融合算法都未將SAR和多光譜圖像的結(jié)構(gòu)特征進(jìn)行綜合考慮,本文根據(jù)圖像的空間結(jié)構(gòu)與紋理特征,提出一種相位一致性和PCNN相結(jié)合的SAR和多光譜圖像融合算法。首先對多光譜圖像進(jìn)行IHS變換,將變換后的I分量與SAR圖像進(jìn)行直方圖匹配。然后對其進(jìn)行NSST變換,得到低頻系數(shù)和高頻系數(shù),在低頻部分采用基于相位一致性的融合規(guī)則,對SAR圖像和I分量的低頻系數(shù)進(jìn)行相位一致性計(jì)算,根據(jù)得到的相位一致性值選擇不同的融合系數(shù),有針對性地提取圖像的特征信息,并且避免融合圖像出現(xiàn)光譜失真;在高頻部分采用PCNN融合規(guī)則,采用SAR圖像和I分量的高頻系數(shù)作為神經(jīng)元的反饋輸入,并選擇區(qū)域空間頻率(spatial frequency,SF)作為神經(jīng)元的鏈接強(qiáng)度,采用軟限幅sigmoid函數(shù)確定PCNN點(diǎn)火幅度,利用點(diǎn)火幅度總和取大原則確定高頻融合系數(shù),從而更好地提高圖像融合的性能。最后對得到的高、低頻系數(shù)進(jìn)行NSST逆變換和IHS逆變換。實(shí)驗(yàn)結(jié)果表明,本文方法在主觀視覺和客觀評價上均取得了較好的效果。

1 NSST和PCNN

1.1 NSST

Shearlet變換是文獻(xiàn)[8]在傳統(tǒng)仿射系統(tǒng)基礎(chǔ)上提出的一種新的多分辨率分析工具。當(dāng)維數(shù)n=2時,合成仿射系統(tǒng)可定義為:

M(ψ)={ψj,l,k(x)=|detA|j/2ψ(SlAjx-k),

j,l∈Z,k∈Z2}

(1)

為了使Shearlet變換具備平移不變性,文獻(xiàn)[9]提出了NSST變換。NSST的離散化過程可分為尺度分解和方向分解,分別采用非下采樣金字塔(non-subsampled pyramid,NSP)和改進(jìn)的剪切濾波器來實(shí)現(xiàn),NSST的分解如圖1所示。

圖1 NSST的分解示意圖

首先,原圖像可以由NSP分解成大小相同的低頻子帶和高頻子帶,在每一級NSP分解后,將低頻分量進(jìn)行迭代以獲得圖像的奇異點(diǎn)。因此,對二維圖像進(jìn)行k級NSP分解后,可以得到一幅低頻子帶圖像和k幅高頻子帶圖像,這些子帶圖像的大小與原圖像相同,但尺度不同。然后,利用改進(jìn)的剪切濾波器對高頻分量進(jìn)行多方向分解,整個過程直接通過二維卷積來實(shí)現(xiàn),將Shearlet中的標(biāo)準(zhǔn)剪切濾波器從偽極化網(wǎng)絡(luò)系統(tǒng)映射到笛卡爾坐標(biāo)系,避免了下采樣過程,保證了平移不變性,有效地克服了Shearlet變換產(chǎn)生的偽吉布斯效應(yīng)。最后,對每個方向子帶系數(shù)進(jìn)行傅里葉逆變換,得到最終的NSST系數(shù)。

1.2 PCNN

PCNN模型的每個神經(jīng)元由接受域、調(diào)制域和脈沖發(fā)生域3個部分組成。原始的PCNN模型在用于圖像處理方面需調(diào)整的參數(shù)較多,文獻(xiàn)[10]提出了簡化的PCNN模型，如圖2所示。

圖2 PCNN簡化模型

數(shù)學(xué)模型為:

(2)

其中:(i,j)為像素位置,每個像素對應(yīng)一個神經(jīng)元;n為迭代次數(shù);Sij為外部輸入;Fij為神經(jīng)元的反饋輸入;Lij為鏈接輸入;Uij為神經(jīng)元的內(nèi)部活動項(xiàng);θij為動態(tài)閾值;Yij為PCNN的輸出;αL、αθ為時間衰減常數(shù);VL、Vθ分別為鏈接輸入放大系數(shù)和閾值放大系數(shù);ωij,pq為神經(jīng)元的突觸連接權(quán)系數(shù);β為鏈接強(qiáng)度。

2 圖像融合算法

2.1 低頻融合規(guī)則

原圖像經(jīng)過NSST變換后,得到的低頻圖像包含原圖像的光譜信息和空間信息,是原圖像的近似圖。針對低頻圖像,大多傳統(tǒng)的方法只考慮圖像光譜信息保持,未考慮圖像特征信息保持。相位一致性可以有效地提取圖像的特征信息,本文在低頻圖像的低頻部分引入相位一致性,可以有針對性地篩選圖像低頻部分的特征信息,增強(qiáng)圖像的空間結(jié)構(gòu)與紋理特征,提高整幅融合圖像的質(zhì)量。因此,在低頻分量上,利用圖像的相位一致性值來選取低頻系數(shù)。

相位一致性可以表示整幅圖像的特征信息,并已被證實(shí)用于提取圖像特征信息具有優(yōu)勢。文獻(xiàn)[11]利用log-gabor濾波器,提出了二維圖像的相位一致性模型，即

P(x)=

(3)

其中:Wo(x)、To分別為頻率擴(kuò)展的加權(quán)因子和噪聲補(bǔ)償;Ano(x)、ΔΦno(x)分別為在濾波方向o、小波分解尺度n上的幅度和相位偏差度量函數(shù);ε為很小的正常數(shù),避免分母為0。

本文利用相位一致性作為低頻部分系數(shù)選擇的衡量準(zhǔn)則,其融合規(guī)則如下:

(4)

其中:LI(i,j)為多光譜圖像亮度分量I在(i,j)處的低頻系數(shù);LS(i,j)為SAR圖像在(i,j)處的低頻系數(shù);LF(i,j)為融合后的低頻系數(shù);PI(i,j)、PS(i,j)分別為I分量和SAR圖像低頻分量在(i,j)處的相位一致性值,其取值范圍為[0,1],P(i,j)值越大,表示圖像該像素點(diǎn)的特征信息越好;T為閾值,當(dāng)I分量與SAR圖像在(i,j)處的相位一致性差值大于閾值時,選擇相位一致性值較大一方的低頻系數(shù),當(dāng)兩者的相位一致性的絕對值小于閾值時,表明在該像素點(diǎn)I分量和SAR圖像相位一致性值相差不大,故采用改進(jìn)的加權(quán)平均法進(jìn)行融合,可以有效保持融合圖像的光譜信息和空間信息。本文將T設(shè)為0.2,a、b分別設(shè)為0.6、0.4。

2.2 高頻融合規(guī)則

經(jīng)NSST分解后的高頻部分包含原圖像大部分的細(xì)節(jié)信息,以邊緣、紋理、輪廓等為主,反映了圖像的變化情況。傳統(tǒng)的高頻部分采用簡單的絕對值取大規(guī)則,這種方法將像素當(dāng)作孤立的點(diǎn)進(jìn)行處理,忽略了像素點(diǎn)之間的相關(guān)聯(lián)性,難以充分提取原圖像的細(xì)節(jié)信息。為解決此問題,在高頻部分引入PCNN,充分利用其全局耦合與脈沖同步發(fā)放等特性,并根據(jù)點(diǎn)火幅度總和表征圖像信息的豐富程度,可以有效提取圖像的邊緣紋理等細(xì)節(jié)信息。

通常,PCNN神經(jīng)元的鏈接強(qiáng)度為β固定值,并未考慮人眼視覺系統(tǒng)的敏感性以及圖像自身的特點(diǎn),嚴(yán)重忽略了圖像局部特征之間的差異。通過建立圖像靜態(tài)特性與神經(jīng)元動態(tài)特性的直接聯(lián)系,根據(jù)區(qū)域特征自動修正模型中的鏈接強(qiáng)度,提高融合方法的普適性?？臻g頻率SF反映空間域圖像的總體活躍程度[2],與鏈接強(qiáng)度呈正相關(guān),其空間頻率值越大,表示圖像越清晰,質(zhì)量越好。為此,采用區(qū)域空間頻率,并使用sigmoid函數(shù)將其歸一化到[0,1],作為PCNN模型中的β值,β的定義式為:

βij=1/1+e-Sij

(5)

(6)

(7)

(8)

其中：Rij、Cij分別為圖像的行頻率和列頻率;Xi,j為圖像在(i,j)處的系數(shù)。

當(dāng)前,基于PCNN的融合算法大多以輸出的PCNN點(diǎn)火次數(shù)總和選取圖像融合系數(shù),采用硬限幅函數(shù),使輸出結(jié)果非0即1,不能體現(xiàn)點(diǎn)火幅度的差異。文獻(xiàn)[12]提出了通過一個軟限幅sigmoid函數(shù)確定PCNN點(diǎn)火幅度,將輸出的點(diǎn)火幅度和作為系數(shù)選擇的依據(jù),輸出幅度為:

(9)

其中，Tij(n)為圖像在(i,j)處的點(diǎn)火輸出幅度,取值范圍為[0,1]。n次點(diǎn)火輸出幅度總和為:

Zij(n)=Zij(n-1)+Tij(n)

(10)

基于PCNN模型的高頻部分融合規(guī)則,利用SAR圖像和I分量的高頻系數(shù)作為神經(jīng)元輸入,并選擇SF作為神經(jīng)元的鏈接強(qiáng)度,根據(jù)軟限幅sigmoid函數(shù)確定PCNN點(diǎn)火幅度,采用點(diǎn)火幅度總和取大原則確定高頻融合系數(shù)。具體融合步驟如下:

(1) 采用SAR圖像和對I分量的高頻系數(shù)作為PCNN神經(jīng)元的激勵。

(2) 初始化設(shè)置。PCNN的各參數(shù)初值設(shè)定為Lij(0)=Uij(0)=θij(0)=0,n=1。

(3) 根據(jù)(2)式計(jì)算模型的PCNN各參數(shù),并根據(jù)(9)式、(10)計(jì)算點(diǎn)火輸出幅度總和Zij(n),其中Zij(0)=0。

(4) 當(dāng)?shù)螖?shù)n

(5) 計(jì)算決策矩陣。計(jì)算公式為:

根據(jù)決策矩陣來確定融合后的高頻系數(shù)：

2.3 本文方法流程圖及步驟

在圖像融合方法中,關(guān)鍵是選擇融合規(guī)則,使兩幅圖像能夠有效地融合在一起。本文將NSST與IHS變換相結(jié)合,并在低頻部分采用基于相位一致性融合規(guī)則,高頻部分采用PCNN融合規(guī)則,有效地提高了圖像融合的質(zhì)量。圖像融合流程如圖3所示。

圖3 圖像融合流程

圖像融合具體步驟為:

(1) 圖像預(yù)處理。包括SAR圖像去噪及SAR和多光譜圖像的配準(zhǔn)。

(2) 對多光譜圖像進(jìn)行IHS變換,得到I分量、H分量及S分量,并對SAR圖像和I分量進(jìn)行直方圖匹配。

(4) 采用基于相位一致性融合規(guī)則融合低頻分量得到融合后的低頻分量LF(i,j)。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的有效性和優(yōu)越性,選擇了IHS變換[13]、IHS-NSCT[14]、IHS-WV-SR[15]、NSCT-SM-PCNN[16]、IHS-NSST-SR[17]這5種融合算法進(jìn)行對比,并采用主觀評價和4種客觀評價指標(biāo)對融合圖像進(jìn)行檢測。本文采用2組數(shù)據(jù)進(jìn)行實(shí)驗(yàn),多光譜圖像均為30 m分辨率的Landsat-8圖像;SAR圖像為同時期同一區(qū)域,10 m分辨率的哨兵一號圖像。在融合前,首先對SAR和多光譜圖像進(jìn)行配準(zhǔn)處理,并將多光譜圖像重采樣到與SAR圖像相同分辨率,然后對SAR圖像采用文獻(xiàn)[18]提出的BM3D方法進(jìn)行去噪處理?，F(xiàn)以2組大小分別為900×900、700×700的SAR和多光譜圖像為例,圖像進(jìn)行融合算法的比較與分析,如圖4、圖5所示。本文實(shí)驗(yàn)參數(shù)設(shè)置如下:在NSST域,分解濾波器設(shè)為maxflat,分解層數(shù)為3層,方向數(shù)為[2 3 3];在PCNN模型中設(shè)

Nmax=200,αL=1.0,VL=1.0,

αθ=0.2,Vθ=20,

從主觀視覺效果來看,圖4c、圖5c為IHS變換的融合圖像,具有嚴(yán)重的光譜失真,對地物信息的解譯十分不利;圖4d、圖5d為IHS-NSCT的融合圖像,融合圖像在輪廓邊緣表現(xiàn)較好,光譜信息保持上比IHS方法有明顯提高;圖4e、圖5e為IHS-WV-SR的融合圖像,在輪廓、紋理、邊緣等細(xì)節(jié)上保持較好,但在建筑等高亮區(qū)域出現(xiàn)較為明顯的光譜畸變;圖4f、圖5f為NSCT-SM-PCNN的融合圖像,光譜信息損失較小,但融合圖像的清晰度較差;圖4g、圖5g為IHS-NSST-SR的融合圖像,其清晰程度比原多光譜圖像有明顯提升,融合圖像整體效果較好,但在部分區(qū)域存在光譜扭曲現(xiàn)象;圖4h、圖5h為本文方法的融合圖像,視覺效果明顯優(yōu)于其他5種方法,融合圖像空間結(jié)構(gòu)信息表現(xiàn)更好,細(xì)節(jié)信息有所加強(qiáng),光譜保真度高。

圖4 第1組實(shí)驗(yàn)原圖及各方法融合結(jié)果

為了更加客觀評價融合圖像的質(zhì)量,選取了相關(guān)系數(shù)(correlation coefficient,CC)、平均梯度(average gradient,AG)、信息熵(entropy,EN)、標(biāo)準(zhǔn)差(standard deviation,SD)4個客觀評價指標(biāo)[19]。其中,CC反映融合圖像與參考圖像之間的相關(guān)程度,其值越接近1,表示相關(guān)程度越高;AG反映融合圖像中紋理變換的特征,其值越大表示圖像清晰度越好;SD為融合圖像對比度的度量；EN為衡量融合圖像信息豐富程度的一個重要指標(biāo),SD、EN均為值越大,融合圖像效果越好。

第1組、第2組圖像各方法的客觀評價指標(biāo)見表1、表2所列。IHS融合算法的CC較低,表明存在較大的光譜扭曲度;IHS-NSCT融合算法的各項(xiàng)指標(biāo)都有所提升,表明融合圖像中的光譜信息和空間信息保持較好;與IHS-NSCT融合算法相比,IHS-WV-SR融合算法在各項(xiàng)指標(biāo)上均表現(xiàn)不佳,表明該方法在獲取圖像信息能力及光譜保持方面較差;NSCT-SM-PCNN融合算法在光譜保持方面表現(xiàn)較好,但與IHS-NSCT融合算法相比較,該方法的AG、SD和EN有所下降,融合圖像中包含的信息豐富程度及圖像清晰度還有待增強(qiáng)。IHS-NSST-SR融合算法的清晰度較高,CC值較小,融合圖像的空間細(xì)節(jié)信息表現(xiàn)較好,但無法很好地保持圖像的整體效果及光譜信息。本文方法與其他5種方法相比,融合圖像效果有明顯的優(yōu)勢,在圖像的空間細(xì)節(jié)保持以及光譜信息保持均有大幅度提升,CC、EN值的提升也說明圖像光譜失真度最小,包含的信息量最多,融合圖像質(zhì)量最優(yōu)。綜合來看,本文方法在主觀和客觀評價方面的總體效果均優(yōu)于其他5種方法,較好地實(shí)現(xiàn)了融合圖像在光譜保持和空間細(xì)節(jié)保持上的均衡。

表1 第1組圖像各方法的客觀評價指標(biāo)

表2 第2組圖像各方法的客觀評價指標(biāo)

4 結(jié) 論

本文提出了一種相位一致性和PCNN相結(jié)合的SAR和多光譜圖像融合方法,將NSST和IHS變換相結(jié)合,在低頻分量中,利用相位一致性提取圖像低頻分量的特征信息,并根據(jù)兩幅圖像的特征信息來選擇低頻部分的融合系數(shù),有針對性地提取了低頻圖像細(xì)節(jié)信息,并且避免了融合圖像出現(xiàn)光譜失真;在高頻分量中采用PCNN算法進(jìn)行融合,根據(jù)點(diǎn)火幅度總和取大原則確定高頻系數(shù),有效提取了圖像的邊緣紋理等細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明,本文提出的算法在主觀評價和客觀評價上均優(yōu)于其他5種算法,提升了融合圖像空間分辨率和光譜分辨率的同時,更好地保留了圖像的空間結(jié)構(gòu)和紋理特征,是一種有效的SAR和多光譜圖像融合方法。