基于空譜信息協(xié)同與Gram-Schmidt變換的多源遙感圖像融合方法

童瑩萍, 全英匯, 馮 偉,*, 邢孟道

(1. 西安電子科技大學(xué)電子工程學(xué)院, 陜西 西安 710071;2. 西安電子科技大學(xué)前沿交叉研究院, 陜西 西安 710071)

0 引 言

遙感衛(wèi)星圖像在土地覆蓋分類中的應(yīng)用受到廣泛關(guān)注。衛(wèi)星圖像具有較高的空間分辨率和豐富的光譜信息,可以在提高分類精度方面發(fā)揮更大的作用。然而,由于傳感器存儲空間及通信帶寬的限制,衛(wèi)星圖像難以同時兼顧空間分辨率和光譜分辨率。哨兵二號(Sentinel-2)是歐洲航天局的多光譜成像衛(wèi)星,包含相對豐富的光譜信息。但是,Sentinel-2圖像的最大分辨率為10 m,難以滿足超高分辨率的應(yīng)用需求。合成孔徑雷達(dá)(synthetic aperture radar,SAR)傳感器可以全天時全天候捕獲地球圖像,因此在土地覆蓋分類中發(fā)揮著越來越重要的作用。SAR圖像由于其成像特性,可以提供更豐富的地表信息,彌補其他傳感器的不足。其中,高分三號(GaoFen-3, GF-3)是高分辨率C波段全極化SAR圖像。GF-3圖像目前已被廣泛使用,并在許多領(lǐng)域表現(xiàn)出優(yōu)異的性能,例如目標(biāo)識別和土地覆蓋分類。然而,這種數(shù)據(jù)很容易受到乘性噪聲的干擾。乘性噪聲導(dǎo)致SAR圖像呈現(xiàn)顆粒狀,并使SAR圖像的解釋成為一項具有挑戰(zhàn)性的任務(wù)。這兩種數(shù)據(jù)的融合可以提供成像區(qū)域的補充信息。

數(shù)據(jù)融合是將不同來源的信息協(xié)同組合以更好地理解給定場景,可以有效提高圖像質(zhì)量。多光譜圖像和SAR數(shù)據(jù)的融合可以銳化低分辨率數(shù)據(jù)的細(xì)節(jié),同時提供從同一站點觀察到的補充數(shù)據(jù)。GF-3和Sentinel-2的融合不僅有助于生成具有豐富空間和光譜信息的圖像,而且有助于更好地理解和解釋圖像。一個好的融合算法需要在改善空間細(xì)節(jié)的同時保證原始多光譜圖像的顏色內(nèi)容不失真。相對于普通的全色銳化,由于SAR圖像的灰度值與多光譜圖像的灰度值不相關(guān),多光譜和SAR圖像的融合更加困難。

目前一些研究人員提出了一些有效的算法來解決SAR與光學(xué)圖像融合中的問題。例如,Montgomery等人使用多時態(tài)和多模態(tài)數(shù)據(jù)開發(fā)基于決策和數(shù)據(jù)融合的分類方法并將其應(yīng)用于濕地分類。Iervolino等人提出了一種基于廣義強度-色調(diào)-飽和度變換和小波變換的多傳感器數(shù)據(jù)融合方法。上述方法雖然可以去除一些冗余信息,取得一定的融合效果,但融合后的圖像表面仍然存在噪聲。近年來,GF-3和Sentinel-2的融合引起了一些學(xué)者的關(guān)注。例如,Wang等人實現(xiàn)了基于曲波變換的偏振模信息融合。在文獻(xiàn)[15]中,Gao等人提出了全特征融合方法對作物進(jìn)行分類。但是這些研究只使用了Sentinel數(shù)據(jù)波段的一部分,而非所有波段。此外,傳統(tǒng)的多光譜圖像與SAR圖像融合方法專注于圖像像素級的融合,沒有很好地利用原始圖像所包含的紋理細(xì)節(jié)。因此,需要研究新的Sentinel與GF-3融合算法,以充分利用輸入圖像的光譜信息與紋理細(xì)節(jié)。

將空譜信息應(yīng)用到像素級融合中能有效豐富圖像的細(xì)節(jié)信息。王海榮等人通過非下采樣輪廓波變換將空間、光譜信息融入到高分辨率圖像中,有效提升了空間細(xì)節(jié)。王志社等人提取了SAR圖像灰度共生矩陣(gray-level co-occurrence matrix, GLCM)的熵紋理特征圖,將其應(yīng)用于SAR與可見光圖像的融合中,提高了融合圖像的對比度。范新南等人采用GLCM將SAR圖像分隔為不同的特征區(qū)域,以此保留圖像邊緣細(xì)節(jié)信息。GLCM可以有效提取圖像的空間信息,保留邊緣細(xì)節(jié)。因此,本文使用GLCM提取遙感圖像的空譜信息,并將其與融合算法相結(jié)合。

土地覆蓋分類是評估圖像融合算法性能的重要評估方法。例如,在文獻(xiàn)[14]中,采用最大似然分類器對融合前后的圖像進(jìn)行分類。實驗結(jié)果表明,與多光譜圖像相比,SAR紋理豐富的細(xì)節(jié)可以提高分類性能。在文獻(xiàn)[21]中,作者將圖像的多尺度紋理特征整合到隨機森林(random forest, RF)分類器中。Zhang等人將面向?qū)ο蟮亩喑叨确指顟?yīng)用于特征融合后的圖像,并利用改進(jìn)的支持向量機模型進(jìn)行分類。比較不同的分類算法,RF是一種功能強大且被高度認(rèn)可的集成分類方法。因此,本文選用RF來評價圖像的融合效果。

本文提出一種基于空譜信息協(xié)同和Gram-Schmidt (GS)變換的新算法來融合GF-3和Sentinel-2A圖像,并將融合結(jié)果應(yīng)用于土地覆蓋分類。該算法的優(yōu)點在于協(xié)同空譜信息,充分融合了紋理細(xì)節(jié),并且保持原始圖像的光譜特征。

1 基于空譜信息協(xié)同的GS變換融合

1.1 GLCM

GLCM是由Haralick等人于1973年提出的,用于描述紋理特征。由于紋理特征是根據(jù)灰度分布在空間位置上反復(fù)出現(xiàn)而形成的,因此在圖像中具有灰度的空間相關(guān)特性。本文采用GLCM提取多光譜圖像的紋理細(xì)節(jié),以實現(xiàn)多光譜圖像的空譜信息協(xié)同。

對于圖像中以坐標(biāo)(,)位置為中心的鄰域窗口(,)中,(,)中(,)元素表示灰度為的像素在距離和方向上灰度為像素的出現(xiàn)次數(shù),像素、都包含在鄰域窗口(,)內(nèi)。在每個距離-方向?qū)?,)上,都能得到一個(,)。在獲得每個像素的GLCM后,從GLCM中提取一些統(tǒng)計數(shù)據(jù),如均值、方差、熵等。并將提取的GLCM與原始的Sentinel-2A圖像疊加,實現(xiàn)多光譜數(shù)據(jù)的空譜信息協(xié)同。

1.2 GS變換

GS變換是多光譜圖像的融合方法之一。GS變換用于融合主要包括3個步驟:提取模擬圖像、GS變換以及GS逆變換。

首先,對圖像進(jìn)行預(yù)處理。假設(shè)圖像每個波段強度數(shù)據(jù)具有平均值。將GF-3和Sentinel-2A圖像分別減去這個平均值,用于平衡數(shù)據(jù)。

(1)

式中：表示波長；, ,表示圖像的強度數(shù)據(jù);和表示像素對應(yīng)的坐標(biāo),假設(shè)與的所有取值能覆蓋整個圖像;表示圖像的大小。經(jīng)處理后,將圖像數(shù)據(jù)恢復(fù)。

(2)

其次,對圖像進(jìn)行轉(zhuǎn)換。不使用行和列描述圖像所在像素的位置,而是選擇光柵掃描順序?qū)D像視為列向量,其中第個分量表示在處理圖像時讀取的第個圖像強度。因此,將圖像表示為矩陣,其中每一列都分配有特定波長的強度,每一行都有特定于像素的強度。

表1列出了接下來需要使用的符號及其含義。

表1 符號說明

然后,從Sentinel-2A圖像中提取全色圖像。針對Sentinel-2A圖像的每個像素,計算單個全色波長圖像,權(quán)重為。

(3)

為了便于表示,將式(3)重寫為矩陣相乘的形式:

=

(4)

式中：是大小為的向量,其分量為。

定義向量的投影()為將向量投影到包含向量的直線上:

(5)

由于是的一個列向量,可用于定義在上的投影算子。

(6)

GF-3圖像是一種SAR圖像,不涉及可見光波段內(nèi)或附近的任何波長。但是,從統(tǒng)計的角度來看,計算像素值為GF-3圖像像素值的線性組合是有意義的。因此，使用權(quán)重計算每個波長強度與Sentinel-2A全色圖像強度在統(tǒng)計上的相關(guān)性。這種使用一個權(quán)重的計算實際上等效于在特定波長圖像上的投影,整個計算相當(dāng)于將所有投影添加到波長上。

(7)

(8)

(9)

得到模擬的圖像后,對模擬的圖像和GF-3圖像進(jìn)行GS變換。GS變換最初是一種執(zhí)行正交三交分解的算法,此變換應(yīng)用于′=具有以下性質(zhì):是一個正交矩陣,并且=,其中是單位矩陣;是一個上三角的逆矩陣,并且=。

將GS變換應(yīng)用于′時,從方差-協(xié)方差矩陣的QR分解中產(chǎn)生的矩陣即為一個新圖像:

=′

(10)

由于是一個上三角矩陣,在其第一列中只有一個非零分量。基于矩陣′的QR分解具有一個重要特性,即的第一列與′的列成正比,因此仍然可以解釋為全色波長圖像。具有這種全色解釋的的第一列使用真正的全色圖像替換,其他列保持不變。

(11)

(12)

2 實驗數(shù)據(jù)與參數(shù)設(shè)計

2.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)包含兩個區(qū)域的GF-3圖像和Sentinel-2A多光譜圖像。GF-3數(shù)據(jù)于2018年5月15日獲得,空間分辨率為1.4 m。為了避免同一地區(qū)圖像采集日期之間的土地覆蓋不一致,本文選擇成像時間為2018年5月14日的Sentinel-2A數(shù)據(jù)。Sentinel-2A圖像共有13個光譜波段,其中包含4個10 m波段、6個20 m波段和3個60 m空間分辨率波段,其范圍覆蓋中國江蘇省的一部分。

2.2 參數(shù)設(shè)置

為了保證高分辨率GF-3圖像中的每個基準(zhǔn)像素都有一個基于Sentinel-2A圖像像素的值,每個Sentinel-2A圖像通過最近鄰法重采樣到與對應(yīng)的GF-3圖像具有相同的大小。

GLCM通過統(tǒng)計像元灰度之間的聯(lián)合概率密度函數(shù)生成GLCM,并在矩陣基礎(chǔ)上定義了包括均值、方差、熵等多個特征值用于量化圖像的紋理特征。其中,均值是衡量像素點平均灰度值的量,方差反映紋理的周期性。在本實驗中,提取了均值和方差作為GLCM特征量,窗口大小均為3。

RF分類器中需要設(shè)置兩個參數(shù):決策樹的數(shù)量和特征的數(shù)量。本實驗中,設(shè)置為100,為輸入數(shù)量的平方根。通過目視解譯發(fā)現(xiàn),研究區(qū)中林地、住宅用地、農(nóng)作物、道路、水體等類別較為明顯。因此,通過RF分類將所有區(qū)域劃分為這5個類別。通過目視判讀,從每個研究區(qū)域共提取了1 000個樣本。每個類別的樣本數(shù)量相同,并將樣本隨機分為訓(xùn)練樣本和測試樣本,且訓(xùn)練樣本與測試樣本的數(shù)量相等。

2.3 數(shù)據(jù)預(yù)處理

首先,分別對GF-3和Sentinel-2A圖像進(jìn)行預(yù)處理。乘性噪聲隨機分布在SAR圖像中,并與地物混合,降低了SAR圖像的空間分辨率。為了降低GF-3圖像噪聲的干擾,對所有GF-3圖像進(jìn)行1×1(距離與方位角)的多視處理。然后,采用Frost濾波(窗口大小為3),進(jìn)一步減少噪聲的影響。為使GF-3數(shù)據(jù)與Sentinel-2A數(shù)據(jù)能有效配準(zhǔn),本文采用基于數(shù)字高程模型的地形輻射校正,弱化由地形引起的GF-3幾何變形。

對于Sentinel-2A圖像,在預(yù)處理步驟中實現(xiàn)了幾何校正和大氣校正。由于Sentinel波段之間存在3種不同的分辨率,使用SNAP(sentinel application platform)軟件通過最近鄰法將所有20 m和60 m波段重新采樣到10 m分辨率。數(shù)據(jù)預(yù)處理后,所有GF-3圖像和Sentinel-2A圖像(波段4、3、2)的三波段彩色合成如圖1所示。

圖1 預(yù)處理后的GF-3圖像與Sentinel-2A圖像Fig.1 GF-3 images and Sentinel-2A images after preprocessing

3 實驗結(jié)果與分析

本節(jié)展示了不同圖像融合方法獲得的結(jié)果,并對結(jié)果進(jìn)行了分析。

3.1 視覺比較

圖2顯示了主成分分析(principal component analysis, PCA)方法、GS變換方法和基于GLCM的GS變換(簡稱為M-GS)獲得的GF-3圖像和Sentinel-2A圖像的融合結(jié)果。Sentinel-2A圖像中的所有波段都用于融合,每個融合圖像包含13個波段。圖2中顯示的波段組合為紅色、藍(lán)色和綠色。在所有融合圖像中,道路、田野邊界(即線狀特征)、住宅特征等一些特征是從SAR圖像中得到的。PCA融合圖像雖然保留了大部分多光譜圖像信息,但沒有很好地利用SAR圖像的信息,尤其是水體和建筑物的邊緣信息。與PCA方法相比,GS融合方法更好地利用了SAR圖像的優(yōu)點。M-GS融合的圖像不僅保留了GS融合的優(yōu)點,而且由于使用GLCM,提取了多光譜圖像的紋理信息,融合后的圖像具有更加豐富的結(jié)構(gòu)信息。在所有結(jié)果中,M-GS融合結(jié)果在圖像亮度和清晰度方面的質(zhì)量略高。視覺上,M-GS融合算法相比PCA融合算法和傳統(tǒng)GS融合算法具有最好的融合能力。

圖2 不同算法獲得的融合結(jié)果Fig.2 Fusion results obtained by different algorithms

3.2 圖像融合質(zhì)量客觀評價

除了以人眼視覺觀察為主的主觀評價方法,一些簡單且確定性強的客觀評價指標(biāo)也常被用于圖像質(zhì)量的評價,主要包含基于統(tǒng)計特征的評價指標(biāo),如平均梯度、空間頻率、均值、標(biāo)準(zhǔn)差等,以及基于融合圖像與參考圖像之間的評價指標(biāo),如相關(guān)系數(shù)、互信息等。其中,平均梯度反映圖像對微小細(xì)節(jié)的反差和紋理特征的變換,均值衡量的是圖像的平均亮度,標(biāo)準(zhǔn)差反映的是圖像灰度值相對于灰度均值的離散程度,用于衡量圖像信息豐富性,空間頻率反映的是空間域內(nèi)圖像的灰度變化率,相關(guān)系數(shù)用于度量融合前后圖像之間的相似度。表2和表3顯示了基于不同融合方法的5項客觀指標(biāo)計算值。

表2 區(qū)域1中融合圖像質(zhì)量評價

表3 區(qū)域2中融合圖像質(zhì)量評價

表2和表3中的評價指標(biāo)均為正向指標(biāo),值越高說明圖像質(zhì)量越好。表2和表3顯示了在所有研究區(qū)域中M-GS融合方法能取得更好的圖像質(zhì)量,尤其在空間頻率和標(biāo)準(zhǔn)差這兩個指標(biāo)上。M-GS融合與GS融合相比提取了空譜信息,因而空間信息更豐富,圖像質(zhì)量更佳。

3.3 RF分類結(jié)果比較

遙感影像融合的目的是為了更好地應(yīng)用于土地覆蓋。為了進(jìn)一步比較融合圖像的質(zhì)量,實驗使用RF對原始圖像和新方法獲得的所有融合圖像進(jìn)行分類,在相同的數(shù)據(jù)集中,使用同樣的訓(xùn)練樣本用于分類器訓(xùn)練。

圖3顯示了在每個數(shù)據(jù)集上的RF分類圖。圖3中,住宅用地、林地、道路、水體和農(nóng)作物的樣本分別用紅色、深綠色、棕色、藍(lán)色和淺綠色表示?；赟entinel-2A圖像的分類結(jié)果在整個研究區(qū)域顯示出一些較大的斑點,而M-GS分類圖則更均勻。M-GS融合方法得到的結(jié)果更加清晰流暢,尤其是道路和水體的細(xì)節(jié)提取準(zhǔn)確。由于Sentinel-2A原始圖像的分辨率只有10 m,Sentinel-2A圖像的分類結(jié)果像素低。PCA融合方法雖然提高了圖像的空間分辨率,但存在一定的光譜信息損失。因此,基于該算法的分類圖有較多的錯誤像素。

圖3 Sentinel-2A圖像、PCA融合圖像、GS融合圖像和M-GS 融合圖像的RF分類結(jié)果Fig.3 Classification results of RF on the images obtained by Sentinel-2A image and PCA, GS, and M-GS fusion images respectively

此外,本文計算了隨機森林分類的整體精度(overall accuracy,OA)和Kappa系數(shù),用于進(jìn)一步比較分類結(jié)果。表4和表5分別顯示了Sentinel-2A圖像以及融合圖像分類圖的OA和Kappa系數(shù)。由于部分光譜信息的丟失,PCA融合圖像的OA和Kappa值在所有研究區(qū)域中都是最低的。GS融合圖像的分類效果普遍優(yōu)于原始Sentinel-2A圖像。在所有圖像中,M-GS融合圖像的分類精度最高。特別是在區(qū)域2,M-GS融合圖像的OA較原始Sentinel-2A圖像提高了6.79%,Kappa系數(shù)提高了0.08左右。

表4 測試區(qū)域的RF分類結(jié)果的OA值

表5 測試區(qū)域的RF分類結(jié)果的Kappa系數(shù)

4 結(jié) 論

本文提出了一種Sentinel-2A圖像和GF-3圖像融合方法,可以同時保留SAR圖像中的空間信息和可見光圖像中豐富的紋理細(xì)節(jié)。該方法基于GS變換,可以有效避免融合過程中光譜信息的丟失。此外,使用GLCM實現(xiàn)多光譜圖像的空譜信息協(xié)同。兩個數(shù)據(jù)集被用于圖像融合和分析。為了檢驗圖像融合的效果,通過平均梯度、空間頻率、均值、標(biāo)準(zhǔn)差、相關(guān)系數(shù)5項客觀評價指標(biāo)統(tǒng)計了融合前后圖像的質(zhì)量。此外,還使用RF分類器對融合前后的圖像進(jìn)行分類,通過分類精度進(jìn)一步確定圖像質(zhì)量?？陀^評價指標(biāo)計算結(jié)果與RF分類結(jié)果共同表明,所提方法可以有效提高分類精度,獲得準(zhǔn)確的土地覆蓋圖。