基于NSST的PCNN-SR衛(wèi)星遙感圖像融合方法*

曹義親 楊世超 謝舒慧

華東交通大學(xué)軟件學(xué)院, 南昌330013

0 引言

衛(wèi)星傳感器可以檢測和記錄地表反射的電磁波，而遙感圖像是存儲這類信息的載體，用于環(huán)境[1]和氣候監(jiān)測[2]、以及土地覆被變化檢測[3]和分類[4]等應(yīng)用。許多地球觀測衛(wèi)星，如Landsat、IKONOS、高分一號、QuickBird等，可以在相同的覆蓋范圍內(nèi)同時拍攝全色圖像和多光譜圖像。由于反射率值隨地表覆蓋和光譜波段的不同而變化，多光譜[5](multispectral, MS)圖像比全色(panchromatic, PAN)圖像能夠記錄更多的地表信息[6]。然而，考慮到傳感器的信噪比和權(quán)衡，MS圖像的空間分辨率通常低于PAN圖像。因此，圖像融合的目的是通過融合共配準(zhǔn)的PAN圖像和MS圖像，最大限度地利用空間和光譜信息。理想情況下，融合圖像應(yīng)具有PAN圖像的空間分辨率，并保留MS圖像的光譜信息。

近年來，大量的基于遙感圖像的圖像融合[7]方法被提出，一般來說，大致可以分為2類方法：空間域和變換域。空間域方法是直接對圖像像素點進(jìn)行操作，而變換域方法需要先對圖像進(jìn)行頻域變換，再對變換后的系數(shù)進(jìn)行融合。在變換域方法中，比較常用的有：非下采樣輪廓波變換、Curvelet變換和非下采樣剪切波變換。文獻(xiàn)[8]提出了基于非下采樣輪廓波變換的耦合區(qū)域信息特征提取的衛(wèi)星遙感圖像融合算法，通過構(gòu)建區(qū)域特性的融合規(guī)則，從而對高低頻子帶系數(shù)進(jìn)行處理。文獻(xiàn)[9]提出了基于二代Curvelet變換與近似度制約規(guī)則的衛(wèi)星遙感圖像融合算法，采用結(jié)構(gòu)相似度模型對高頻系數(shù)進(jìn)行處理。文獻(xiàn)[10]提出了一種基于非下采樣剪切波變換的耦合邊緣制約的衛(wèi)星遙感圖像融合算法，將邊緣制約模型用于處理高頻系數(shù)，在一定程度上提高了融合圖像的清晰度。

為了對衛(wèi)星遙感圖像融合效果進(jìn)行改善，并在一定程度上提高衛(wèi)星遙感圖像融合算法的效率，本文提出了一種全新的思路，將源圖像進(jìn)行NSST變換，對得到的高頻分量采用改進(jìn)的PCNN方法進(jìn)行處理，用改進(jìn)的拉普拉斯能量和當(dāng)作其外部激勵，分別選取梯度能量、標(biāo)準(zhǔn)差作為其連接強度，將2種不同結(jié)果進(jìn)行加權(quán)處理，得到最終的點火映射圖；采用改進(jìn)的稀疏表示對低頻分量進(jìn)行融合，最后進(jìn)行NSST逆變換，得到一個細(xì)節(jié)信息比較豐富的融合圖像，同時，算法效率得到較大提升。

1 NSST的基本理論

在傳統(tǒng)仿射系統(tǒng)的基礎(chǔ)上，Easley等將幾何與多尺度相結(jié)合，提出了一種新型的多分辨率分析工具-非下采樣剪切波(NonSubsampled Shearlet Transform, NSST)，它不僅吸收了小波理論的最新研究成果，而且具有嚴(yán)格的數(shù)學(xué)基礎(chǔ)。在二維情況下，該仿射系統(tǒng)表達(dá)式如式(1)所示:

j,l∈Z,k∈Z2}

(1)

其中，ψ∈L2(R2)，|detN|=1；j為分解尺度，l為方向參數(shù)，K為剪切參數(shù)；M為各向異性矩陣，N為剪切矩陣，Z為整數(shù)域。

NSST變換主要包括多尺度分解和多方向分解。通過對源圖像進(jìn)行多尺度分解，可以得到高頻分量和低頻分量。多尺度分解主要通過非下采樣金字塔(Non Subsampled Pyramid，NSP)實現(xiàn)，而多方向分解則由改進(jìn)的剪切濾波器(Shearlet Filter，SF)實現(xiàn)，具體流程如圖1所示:

圖1 NSST的多尺度多方向分解過程

2 稀疏表示理論

稀疏表示(Sparse Representation,SF)[11]是一種對超完備字典的“少數(shù)”原子進(jìn)行線性組合，用來表示信號的模型。在稀疏表示建模中，輸入信號可以表示為:

y=Da

(2)

其中，向量a∈RK表示信號y的系數(shù)矩陣，D∈Rn×K(K>n)表示字典矩陣。通過對以下優(yōu)化問題進(jìn)行求解，從而得到最稀疏解:

(3)

在稀疏表示模型中，一個比較重要的任務(wù)就是需要構(gòu)建一個適當(dāng)?shù)淖值?。一般來說，有2種方法可以獲得字典。第1種方法是使用分析模型。第2種方法是從大量的訓(xùn)練圖像塊中獲取字典。字典學(xué)習(xí)模型[14]可以用式(4)求得：

i∈{1，…，M}

(4)

上述最小化問題可以使用K奇異值分解(K Singular Value Decomposition,K-SVD)來解決。

3 脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)

脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network,PCNN)[15]是一種簡化的神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)模型是根據(jù)生物視覺神經(jīng)系統(tǒng)的工作原理，由Eckhorn提出，通過模擬貓腦視覺皮層同步脈沖爆發(fā)現(xiàn)象，從而建立模型。

標(biāo)準(zhǔn)的PCNN模型主要由3部分組成：刺激接收場，脈沖調(diào)制場和脈沖生成場。當(dāng)把PCNN模型與圖像相結(jié)合時，圖像的每個像素與網(wǎng)絡(luò)中的神經(jīng)元一一對應(yīng)，迭代公式如下所示:

F(n)=S

(5)

L(n)=eaLL(n-1)+VL∑WY(n-1)

(6)

U(n)=F(n)(1+βL(n))

(7)

(8)

θ(n)=e-aθ×θ(n-1)+VθY(n-1)

(9)

其中，n是迭代次數(shù),F和L分別代表第1個反饋輸入神經(jīng)元和連接輸入,β是連接強度,U是全部內(nèi)部活動,θ是內(nèi)部活動動態(tài)閾值,Y是PCNN的脈沖輸出,W是神經(jīng)元矩陣之間的連接權(quán)重,VF，VL和Vθ是放大因子,aF，aL和aθ為時間常數(shù)。

4 PCNN-SR圖像融合算法

4.1 基于PCNN的高頻子帶融合規(guī)則

最原始的PCNN模型的連接強度，通常會采用不變的值。而人眼對不同特征區(qū)域的響應(yīng)程度存在差異，導(dǎo)致所有神經(jīng)元的連接強度不會完全一致。所以，連接強度的取值并不是固定常數(shù)。因此，本文分別采用梯度能量、標(biāo)準(zhǔn)差作為其連接強度。

梯度能量：

(10)

G(i,j)=

(11)

標(biāo)準(zhǔn)差：

(12)

其中，f(i,j)為位置(i,j)的高頻子帶系數(shù)，像素點的鄰域大小M×N，avg為求平均值函數(shù)。

為了更好地提高圖像融合效果，將外部激勵設(shè)置成改進(jìn)的拉普拉斯能量和:

CSL(x,y)=

|2f(x,y)-f(x-1,y)-f(x+1,y)|+

|2f(x,y)-f(x,y-1)-f(x,y+1)|+

(13)

(14)

(15)

其中，f(x,y)為對應(yīng)子帶系數(shù)值，w為區(qū)域窗口的權(quán)值。將CEOL當(dāng)做該模型的外部激勵。

圖像融合規(guī)則如下：

1)通過NSST變換對圖像進(jìn)行分解，得到高頻子帶系數(shù)HA和HB，根據(jù)PCNN神經(jīng)網(wǎng)絡(luò)的運作方式，可以得到不同的輸出，分別為OA,E，OB,E，OA,S和OB,S。

2)根據(jù)輸出值的不同，構(gòu)造加權(quán)函數(shù)：

(16)

3)根據(jù)不同的權(quán)重，構(gòu)造點火映射圖：

OA=w1OA,E+w3OA,SOB=w2OB,E+w4OB,S

(17)

4)根據(jù)點火映射圖，確定融合規(guī)則，如下所示：

(18)

4.2 基于SR的低頻子帶融合規(guī)則

本文對低頻子帶系數(shù)采用改進(jìn)的稀疏表示進(jìn)行處理，采用K-SVD方法獲取字典，最后采用正交匹配追蹤算法(OMP)得到稀疏系數(shù)矩陣。具體步驟如下所示：

(19)

(20)

其中，D為字典。

3)計算圖像塊的顯著性：

(21)

其中,Lμ代表圖像塊的均值，Lw代表圖像塊的高斯濾波，‖‖為歐式距離。

4)根據(jù)顯著性的大小構(gòu)造加權(quán)映射

(22)

5)構(gòu)造融合規(guī)則：

(23)

融合向量的計算如下：

(24)

4.3 算法流程

算法主要的步驟如下所示：

1)將源圖像分別進(jìn)行NSST變換，得到高頻子帶系數(shù)和低頻子帶系數(shù)。

2)將高頻子帶系數(shù)采用PCNN模型進(jìn)行處理。將外部激勵設(shè)置為改進(jìn)的拉普拉斯能量和，將梯度能量、標(biāo)準(zhǔn)差作為其連接強度，得到2種不同的點火映射圖，對點火映射圖進(jìn)行處理，得到高頻融合系數(shù)。

4)采用改進(jìn)的稀疏表示對低頻子帶進(jìn)行處理，得到稀疏系數(shù)矩陣，根據(jù)融合規(guī)則進(jìn)行選擇。

5)將獲得的字典和稀疏系數(shù)矩陣進(jìn)行重構(gòu)，得到低頻融合系數(shù)。

6)對低頻融合系數(shù)和高頻融合系數(shù)進(jìn)行NSST逆變換，得到最終的融合圖像。

具體的流程如圖2所示。

圖2 算法流程圖

5 實驗結(jié)果分析

本實驗采用win7系統(tǒng)，在主頻1.70GHz、內(nèi)存為8G的筆記本電腦上運行，軟件環(huán)境是MATALAB R2016b。選擇地球眼衛(wèi)星數(shù)據(jù)和快鳥衛(wèi)星數(shù)據(jù)作為源圖像，多光譜圖像的大小分別為256×256，全色圖像的大小為1024×1024，如圖3所示。

圖3 實驗源圖像

為了能更好地說明本文算法的融合效果，將本文算法與3種不同的算法進(jìn)行對比，分別為：NSCT算法、SML-EN算法[16]、EN-SR算法[17]。對于NSCT算法，高頻分量用能量取大方式處理，低頻系數(shù)采用平均方法處理。對于SML-EN算法，高頻分量采取SML作為改進(jìn)PCNN算法的輸入，低頻分量用能量取大方式處理。對于EN-SR算法，低頻分量用稀疏表示方法處理，高頻分量用能量取大方式處理。實驗結(jié)果如圖4和圖5所示。

圖4 地球眼衛(wèi)星圖像實驗結(jié)果對比

圖5 快鳥衛(wèi)星圖像實驗結(jié)果對比

從圖4中可以看出，圖4(a)～(d)的融合效果有明顯的差異。從主觀方面來評價，(a)圖整體比較模糊。(b)圖雖然在清晰度方面處理得比較好，但細(xì)節(jié)部分丟失比較嚴(yán)重。(c)圖邊緣部分出現(xiàn)了變形，降低了圖像的整體效果。(d)圖細(xì)節(jié)信息比較豐富，對比度比較高。

從圖5中可以看出，圖5(a)和(b)丟失了比較多的信息，在圖5(c)中，圖像的層次感比較低。圖5(d)中圖像的空間分辨率和光譜分辨率都比較高。

為了能更好地對本文算法的效果進(jìn)行驗證，采用常用的客觀評價指標(biāo)對圖像融合效果進(jìn)行評估，其中IE代表信息熵、AG為平均梯度、SD為標(biāo)準(zhǔn)差、SF為空間頻率、MI為互信息。

表1～2給出了相關(guān)融合方法客觀指標(biāo)的比較。

表1 地球眼衛(wèi)星圖像融合結(jié)果的客觀比較

表2 快鳥衛(wèi)星圖像融合結(jié)果的客觀比較

從表1和表2可以看出，與NSCT算法、SML-EN算法和EN-SR算法相比較，本文方法在客觀評價指標(biāo)IE、AG、SD、SF、MI上，都占有一定的優(yōu)勢。

在時間復(fù)雜度上，本文分別對4種算法在2組圖像上進(jìn)行了測試，結(jié)果大致相同，如表3所示。從表中可以看出，本文算法具有較大優(yōu)勢。

表3 不同圖像融合算法的時間比較

6 結(jié)論

針對衛(wèi)星遙感圖像，通過對高空間分辨率的全色圖像和低空間分辨率的多光譜圖像進(jìn)行融合，從而得到高空間分辨率的多光譜圖像。采用基于非下采樣剪切波變換的脈沖耦合神經(jīng)網(wǎng)絡(luò)與稀疏表示相結(jié)合的圖像融合方法對全色圖像和多光譜圖像進(jìn)行處理。實驗結(jié)果表明，與其他3種圖像融合算法相比較，本文在主觀視覺和客觀評價上都取得了不錯的效果，并且在時間復(fù)雜度上有著明顯的提升。