非下采樣剪切波變換域下遙感圖像融合

熊璋璽， 劉明亮， 郭擎， 李安

(1.黑龍江大學(xué) 電子工程學(xué)院,黑龍江 哈爾濱 150080； 2.中國科學(xué)院空天信息研究院， 北京 100101； 3.黑龍江省信息融合估計與檢測重點實驗室，黑龍江 哈爾濱 150080)

遙感圖像融合是將全色圖像的高分辨率空間細節(jié)信息和多光譜或高光譜圖像中豐富的光譜信息進行融合，以獲得空間和光譜質(zhì)量都高的圖像。其算法可以分成成分替換法、多分辨率分析法、基于模型的方法3類。成分替換法是對多光譜圖像進行光譜變換，目的是分離出相對于光譜對應(yīng)物的空間信息。然后，用全色圖像代替該空間分量，得到空間增強的多光譜圖像。成分替換法主要包括IHS變換[1]、主成分分析方法(principal component analysis,PCA)[2]、GS方法[3]、自適應(yīng)GS法[4]、基于物理約束的波段相關(guān)空間細節(jié)(band-dependent spatial-detail with physical constrains, BDSD_PC)方法[5]、基于部分置換的自適應(yīng)分量替換(partial replacement-based adaptive component substitution, PRACS)法[6]等。成分替換法具有空間細節(jié)清晰、運行效率高、對誤配準和混疊錯誤具有一定魯棒性而被廣泛使用，不過往往會帶來光譜失真。

多分辨率分析方法是將全色圖像多分辨率分解得到的空間細節(jié)注入到上采樣的多光譜圖像中，該方法通常通過線性分解方法獲得，如小波變換[7]、超小波變換[8]、加性小波亮度比例(additive wavelet luminance proportional, AWLP)方法[9]、基于調(diào)制傳遞函數(shù)的廣義拉普拉斯金字塔(modulation transfer function based generalized laplacian pyramid, MTF_GLP)方法[10]等。與成分替換方法相比，多分辨率分析方法能更好地保持光譜特性，但在空間增強方面有時令人不太滿意。

基于模型的方法一般分為基于稀疏表示的方法和基于深度學(xué)習的方法?；谙∈璞硎镜姆椒╗11]首先從低空間分辨率數(shù)據(jù)中學(xué)習光譜字典，然后結(jié)合已知的高空間分辨率數(shù)據(jù)預(yù)測高空間分辨率和高光譜分辨率數(shù)據(jù)。例如，Li等[12]提出了一種基于稀疏誘導(dǎo)先驗信息的壓縮感知方法，通過構(gòu)建從MS圖像中隨機抽樣的圖像塊字典來實現(xiàn)稀疏性。為了避免字典構(gòu)建的成本，Zhu等[13]提出了一種稀疏圖像融合算法。Cheng等[14]提出了一種融合小波變換和稀疏表示的融合框架。與多分辨分析法相比，這些方法具有超分辨能力和魯棒性，能夠獲得更高的空間分辨率和光譜分辨率，且光譜失真較小。

近年來，人們對深度學(xué)習融合算法越來越感興趣，例如Giuseppe等[15]提出一種名為基本卷積神經(jīng)網(wǎng)絡(luò)的全色圖像銳化(CNN-based Pan-sharpening，PNN)的網(wǎng)絡(luò)，它直接學(xué)習低分辨率圖像和高分辨率圖像之間的關(guān)系，冗余度高，學(xué)習會比較困難。Rao等[16]提出了一種基于殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像融合方法，直接學(xué)習輸入與輸出之間的殘差，但淺層網(wǎng)絡(luò)很難學(xué)習到深層次豐富的地物特征，數(shù)據(jù)量增多時還會出現(xiàn)欠擬合。Li等[17]使用超分辨率網(wǎng)絡(luò)來做融合，然而缺乏真實高空間分辨率多光譜圖像做標簽，只能通過降尺度方法制作模擬數(shù)據(jù)集。Xiong等[18]通過將質(zhì)量評價函數(shù)應(yīng)用于損失函數(shù)解決了制作模擬數(shù)據(jù)集問題，并為深度學(xué)習做遙感圖像融合提供了新思路[19-20]。

雖然現(xiàn)有的融合算法在許多方面表現(xiàn)良好，但仍有一些方面需要改進。例如基于深度學(xué)習的方法往往需要非常大的訓(xùn)練集，而這些專業(yè)的遙感數(shù)據(jù)訓(xùn)練集通常很少。而且，不同的衛(wèi)星有不同的數(shù)據(jù)類型，目前還很難做到不同衛(wèi)星數(shù)據(jù)的同時訓(xùn)練。另外，網(wǎng)絡(luò)訓(xùn)練需要大量的時間，使得網(wǎng)絡(luò)調(diào)整的實時性較差[21-22]。在基于稀疏表示的融合算法中，如何找到一個最優(yōu)的變換基并使在其上的表示最稀疏是較困難的問題。此外，稀疏表示有時會忽略圖像的內(nèi)在幾何結(jié)構(gòu)[23-24]。

針對成分替換和多分辨率分析方法的優(yōu)點，本文提出了一種混合的遙感圖像融合新方法。在NSST域，首先利用IHS變換提取多光譜圖像的亮度分量，然后將全色圖像和提取的亮度分量在NSST域分解成高頻子帶和低頻子帶，采用導(dǎo)向濾波器對高頻子帶進行融合，對低頻子帶進行區(qū)域清晰度加權(quán)融合。最后將融合后的高頻子帶和低頻子帶在進行NSST逆變換和IHS逆變換得到融合的高分辨率多光譜圖像。為了驗證方法的有效性，本文選取Quick Bird, SPOT&TM 以及 WorldView-2衛(wèi)星圖像進行實驗驗證。融合結(jié)果與6種典型先進方法比較，本文提出的融合方法在有參考和無參考質(zhì)量評價指標上都表現(xiàn)優(yōu)良。

1 非下采樣剪切波變換與融合規(guī)則

1.1 非下采樣剪切波變換

由Easley等[25]提出的NSST變換是小波變換在多維和多向情況下的擴展，它將非下采樣金字塔(non-subsampled pyramid，NSP)變換與幾種不同的剪切濾波器(shearlet filter, SF)相結(jié)合，以提供多尺度和多方向的分解。

NSST變換主要分為以下兩步：多尺度分解和方向局部化。多尺度分解采用非下采樣金字塔濾波器組(non-subsampled pyramid filter banks, NSPFs)實現(xiàn)。用剪切濾波器組(shearlet filter banks, SFBs)實現(xiàn)方向局部化。對源圖像進行NSPFs分解，得到由細到粗的低頻和高頻子帶圖像。圖1示出了兩級NSST分解的示意圖。

圖1 兩級NSST分解示意Fig.1 The schematic of a two level NSST decomposition

1.2 導(dǎo)向濾波

導(dǎo)向濾波器[26](guided filter, GF)是一種圖像濾波技術(shù)，該技術(shù)通過利用一幅引導(dǎo)圖x，對目標圖像p(輸入圖像)進行濾波操作，從而使得輸出圖像與p基本相似，但紋理特征與x一致。本文將導(dǎo)向濾波器應(yīng)用于高頻子帶的融合。

在本文中x為全色圖像經(jīng)NSST變換后得到的高頻子帶，p為多光譜圖像的亮度分量經(jīng)NSST變換后得到的高頻子帶，融合的高頻子帶為導(dǎo)向濾波的輸出q。導(dǎo)向濾波的一個重要假設(shè)是輸出圖像q和引導(dǎo)圖像x在濾波窗口ωk上存在局部線性關(guān)系：

qi=akxi+bk,?i∈ωk

(1)

qi=pi-ni

(2)

最終的目標就是最小化這個噪聲。對于每一個濾波窗口，該算法在最小二乘意義上的最優(yōu)化可表示為:

(3)

式中ε是給定的正則化參數(shù)。系數(shù)ak和bk可通過線性回歸直接求解：

(4)

(5)

(6)

導(dǎo)向濾波器具有許多優(yōu)良的特性。首先，導(dǎo)頻濾波器是局部線性濾波器，如式(1)所示，輸出圖像q可以理解為在局部范圍內(nèi)具有權(quán)重系數(shù)ak和偏移量bk的向?qū)D像x之和，這使得向?qū)D像的細節(jié)信息傳輸?shù)捷敵鰣D像成為可能。導(dǎo)向濾波器的這一結(jié)構(gòu)傳遞特性可以最大限度地消除上采樣帶來的邊緣遮擋偽影，從而提高融合圖像的清晰度。其次，導(dǎo)向濾波器具有梯度保持特性，可以有效避免梯度翻轉(zhuǎn)現(xiàn)象，這種特性可以應(yīng)用于圖像增強和高動態(tài)范圍壓縮。最后，導(dǎo)向濾波器模型具有快速、高效、易于實現(xiàn)的特點?；谶@些特性，本文選擇導(dǎo)向濾波作為高頻融合規(guī)則。

1.3 融合規(guī)則

圖2示出了所提出融合方法的示意圖。在融合之前，源圖像已經(jīng)被配準。

圖2 本文方法流程Fig.2 Flow char of proposed method

影響多光譜與全色圖像融合質(zhì)量的主要因素一方面是全色圖像空間細節(jié)的融入度，另一方面是多光譜圖像的保持度。源圖像經(jīng)NSST變換被分解為不同的頻率分量，低頻分量部分是近似源圖的子圖，其表示圖像強度或灰度值變化緩慢的區(qū)域，即圖像中較大的平坦區(qū)域，它描述了圖像的主要部分并決定其輪廓。低頻融合規(guī)則的選取對于提升融合圖像的視覺效果，很好的保持源圖像光譜信息具有十分重要的意義。高頻分量對應(yīng)于圖像中變化劇烈的部分，即圖像的紋理、邊緣(輪廓)、噪聲或細節(jié)，是圖像突變性的反映。高頻融合規(guī)則的選取對于空間細節(jié)的保留具有十分重要的意義。高頻與低頻的融合規(guī)則是本文融合方法中核心，所以下文著重對融合規(guī)則進行描述。

1.3.1 低頻分量融合規(guī)則

MS和Pan圖像低頻子帶融合的目的是為了獲得更清晰的MS圖像。清晰圖像和模糊圖像之間的區(qū)別是我們需要研究的。從邏輯上考慮，圖像模糊是因為圖像中物體的輪廓不明顯，輪廓邊緣灰度變化不強烈，層次感不強造成的。反之，如果輪廓邊緣灰度變化明顯，層次性強，則圖像清晰。對于一幅圖像，可以把圖像看作一個二維函數(shù)f(x,y)，由微積分可知，圖像的清晰度可用圖像的梯度來表示。

基于此，對于低頻分量，設(shè)計基于區(qū)域清晰度加權(quán)的融合策略。梯度能量(energy of gradient, EOG)作為清晰度的評價指標，在空間域具有明確的物理意義，具有良好的時間性能和較高的靈敏度。EOG使用相鄰點之間的差來計算一個點的梯度：

[f(x,y+1)-f(x,y)]2}

(7)

用CPL、CIL和CFL分別表示Pan、MS的亮度分量I和融合圖像F在同一子帶、相同方向和相同位置的低頻系數(shù)，RPL和RIL分別表示Pan和MS的亮度分量I在相同子帶、相同方向和相同位置的NSST域低頻子帶系數(shù)的EOG，則融合策略可以表示為：

CFL=wPCPL+wICIL

(8)

1.3.2 高頻分量融合規(guī)則

對于高頻子帶融合，其目的是盡可能多地保留空間細節(jié)、邊緣和輪廓。在第1.2節(jié)中討論了導(dǎo)向濾波器的特性，這使得它作為一種高頻子帶融合策略成為可能。由于Pan圖像比MS圖像更清晰，具有豐富的空間細節(jié)和銳利的邊緣特征，因此，將MS的亮度分量經(jīng)NSST分解后的高頻子帶作為輸入圖像，Pan經(jīng)過NSST分解后的高頻子帶作為向?qū)D像，輸出圖像即為融合后的高頻子帶圖像。此外，輸入圖像和向?qū)D像必須保證在同一層和同一方向上。融合策略可以表示為：

(9)

2 融合實驗與對比分析

為了驗證本文方法的有效性與可靠性，用真實遙感圖像進行實驗驗證。對同源、異源、高分辨率、中分辨率遙感圖像進行實驗，并用主觀視覺和客觀定量評價進行結(jié)果分析，設(shè)置算法參數(shù)后，對實驗結(jié)果進行展示和討論。

2.1 實驗設(shè)置

2.1.1 實驗圖像

為了驗證該方法的有效性和通用性，選取了3組不同數(shù)據(jù)類型的圖像。第1組是QuickBird衛(wèi)星拍攝的空間分辨率分別為0.7 m和2.8 m的Pan圖像和MS圖像。第2組是空間分辨率為10 m的SPOT的 Pan圖像和空間分辨率為30 m的TM圖像。第3組是worldwiew-2衛(wèi)星拍攝的空間分辨率分別為0.5 m和2 m的Pan圖像和MS圖像。其中，第1組和第3組是同源衛(wèi)星圖像，第2組是異源衛(wèi)星圖像。圖像地物場景包括城市、農(nóng)田和草地。

2.1.2 所選對比方法

將所提出的融合方法與GSA、BDSD_PC、PRACS、AWLP、MTF_GLP以及基于卷積神經(jīng)網(wǎng)絡(luò)的方法PNN等6種有代表性的融合方法進行比較。其中GSA、BDSD_PC、PRACS是分量替換類，AWLP與MTF_GLP是多分辨率分析類，PNN是深度學(xué)習類。

2.1.3 客觀評價指標

客觀評價通過定量評價方法和指標，科學(xué)、客觀地評價圖像融合算法的性能，它不受人的視覺特征和心理狀態(tài)的影響。在本文中，信息熵(information entropy, EN)、標準差(standard deviation, STD)、相關(guān)系數(shù)(correlation coefficient, CC)、結(jié)構(gòu)相似度[27](structural similarity index, SSIM)、相對整體維數(shù)合成誤差[28](erreur relative globale adimensionnelle de synthese, ERGAS)、光譜角匹配指數(shù)[29](spectral angle mapper, SAM)、無參考質(zhì)量評價指標[30](quality with no reference index, QNR,Ds,Dλ)這9個被廣泛認可的融合度量指標被應(yīng)用到本文的實驗中。其中EN與STD越大越好，CC、SSIM、ERGAS、SAM、QNR、Ds和Dλ的理想值分別為1, 1, 0, 0, 1, 0, 0。其中CC、ERGAS、SAM和Dλ度量融合圖像的光譜質(zhì)量，EN、STD、SSIM和Ds反映融合圖像的空間細節(jié)，QNR是綜合評價指標。

2.1.4 算法參數(shù)設(shè)置

本文提出的方法有3個參數(shù)需要設(shè)置：NSST分解層數(shù)L、濾波器半徑r和導(dǎo)向濾波器的模糊度ε。實驗按照經(jīng)驗設(shè)置L=4，r=1，ε=0.0012。

2.2 實驗結(jié)果與分析

圖3(a)、4(a)和5(a)分別顯示QuickBird、SPOT&TM和WorldView-2衛(wèi)星的上采樣低分辨率MS圖像。圖3(b)～(h)、4(b)～(h)和5(b)～(h)分別給出了AWLP，BDSD_PC，GSA，MTF_GLP，PRACS，PNN和本文提出方法的融合結(jié)果。表1～3分別列出了圖3～5融合結(jié)果的客觀質(zhì)量評價。每個客觀質(zhì)量評價指標的最佳結(jié)果都以粗體標記。為了更好地比較各種方法的融合結(jié)果，還對融合后的圖像進行局部放大。

在圖3中，通過將融合結(jié)果與原始圖像進行視覺比較發(fā)現(xiàn)：BDSD_PC方法和GSA方法都發(fā)生了一定程度的光譜失真，特別表現(xiàn)在局部放大圖像中，其樹看起來比MS亮，除此之外，在融合圖像左下角的一片灌木區(qū)光譜失真也嚴重。PRACS方法的融合圖像右下角的屋頂出現(xiàn)嚴重光譜失真，其顏色變成了暗棕色。對于生長在河岸上的樹木，可以發(fā)現(xiàn)AWLP方法和MTF_GLP方法的光譜失真很小，但在右下角的屋頂出現(xiàn)了較嚴重的光譜失真，與MS的屋頂對比，這2種方法屋頂看起來偏亮。雖然PNN方法保持了較好的光譜特性，但其整體空間特性不如本文的方法。本文提出的方法改善空間細節(jié)信息的同時保持了更好的光譜特性。

圖3 第1組QuickBird數(shù)據(jù)不同方法的融合結(jié)果(RGB真彩色合成)Fig.3 The R, G, B bands for natural color composition by different methods of the first group QuickBird data

從表1可以看出，本文提出的方法在指標SSIM、CC、ERGAS、SAM、Ds和QNR上表現(xiàn)最好，EN和Dλ排名第3，STD排名第2，但只比最優(yōu)的結(jié)果差一點。

表1 第1組QuickBird數(shù)據(jù)融合結(jié)果的客觀評價Table 1 Objective evaluation of fusion results using the first group QuickBird data

在圖4的局部放大圖像中，BDSD_PC、PRACS和PNN方法看起來很模糊，尤其是PNN方法，空間細節(jié)沒有太大的增強。GSA方法保持了良好的空間細節(jié)，但是光譜失真嚴重，從圖像的左中部可以看到，綠色看起來更亮。與本文提出的方法相比，AWLP方法和MTF_GLP方法的差別不明顯。

圖4 第2組TM&SPOT數(shù)據(jù)不同方法的融合結(jié)果(SWIR, B, NIR假彩色合成)Fig.4 The SWIR, B, NIR bands for false color composition by different methods of the second group TM and SPOT data

從表2可以看出，本文提出的方法在指標EN、STD、Ds和QNR方面表現(xiàn)最好。SSIM、CC、ERGAS、SAM和Dλ排名第2，這些指標表現(xiàn)最優(yōu)的方法是PNN方法，然而PNN方法的空間細節(jié)不如本文提出的方法好。

表2 第2組TM與SPOT數(shù)據(jù)融合結(jié)果的客觀評價Table 2 Evaluation of fusion results using the second group TM and SPOT data

從圖5的局部放大圖像可以看出，BDSD_-PC方法、PRACS方法和PNN方法丟失了大量的空間細節(jié)。與本文提出的方法相比，GSA方法在圖像的右上角看起來更明亮，而AWLP和MTF_GLP方法的紋理特征沒有本文方法豐富。

圖5 第3組WorldView-2數(shù)據(jù)不同方法的融合結(jié)果(RGB真彩色合成)Fig.5 The R, G, B bands for natural color composition by different methods of third group WorldView-2 data

表3中，本文提出的方法在EN、STD、SAM、Ds和QNR方面表現(xiàn)最好。SSIM和CC接近最優(yōu)值1，ERGAS和Dλ值都較小。

表3 第3組WorldView-2數(shù)據(jù)融合結(jié)果的客觀評價Table 3 Evaluation of fusion results using the third group WorldView-2 data

結(jié)合視覺融合結(jié)果和質(zhì)量評價指標，可以看出本文提出的方法優(yōu)于目前常用的對比方法。此外，在3組實驗中，本文提出的方法在大多數(shù)質(zhì)量評價指標上都優(yōu)于其他方法，在保持原始多光譜圖像光譜信息的同時提高了空間分辨率。

3 結(jié)論

1)本文方法在對源圖像進行NSST變換的基礎(chǔ)上，針對高低頻子帶信息的不同特點設(shè)計了基于區(qū)域清晰度加權(quán)的低頻子帶融合規(guī)則，以及基于導(dǎo)向濾波的高頻子帶融合規(guī)則。

2)利用3組高、中空間分辨率的遙感衛(wèi)星圖像進行同源、異源融合實驗，融合結(jié)果對空間細節(jié)信息增強的同時更好地保留了光譜信息，驗證了該方法的有效性。與其他6種有代表性的融合方法通過九種評價指標進行比較和評價，結(jié)果表明本文方法對于融合多光譜圖像的光譜信息和全色圖像的空間信息的有效性和優(yōu)越性，是一種行之有效的多光譜圖像與全色圖像融合方法。