自適應高斯濾波與SFIM模型相結合的全色多光譜影像融合方法

王 密，何魯曉，程宇峰，常學立

1. 武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079； 2. 武漢大學資源與環(huán)境科學學院，湖北 武漢 430079

相對于全色影像，多光譜各波段的波譜范圍較窄，傳感器所能接收到的輻射能量較少，為了維持一定的圖像信噪比，會損失一定的空間分辨率[1]。因此，一般的光學遙感衛(wèi)星提供較高分辨率的全色影像與較低分辨率的多光譜影像?？臻g信息與光譜信息是遙感解譯、地物判別等后續(xù)處理的重要依據(jù)。全色-多光譜融合用于獲得高分辨率的多光譜影像，一直是遙感領域較為關注的一個問題。

針對全色-多光譜融合問題，根據(jù)作用域的不同可以分為空間域方法和頻率域方法兩類?？臻g域方法可進一步分為系數(shù)增強與成分變換。系數(shù)增強是利用全色波段生成一個調制系數(shù)來對多光譜波段進行銳化、細節(jié)增強，典型方法有SFIM[2-3](smoothing filter-based intensity modulation)、Pansharp[4-5]、Brovey[6]等。SFIM利用鄰域濾波后的全色影像生成調制系數(shù)，該方法存在空間信息融入度不足的問題；Pansharp利用多光譜影像加權模擬出的全色影像來生成系數(shù)，存在局部光譜畸變的問題；Brovey利用多光譜影像的色彩權重對全色影像進行模擬分光，存在色彩嚴重畸變的問題。成分變換是將多光譜影像轉換到另一個坐標系，將其中具備大部分空間信息的分量用全色波段進行代替，從而達到提高多光譜影像分辨率的目的，典型方法有HIS(hue,intensity,saturation)[7-8]、Gram-Schmidt[9-10]、PC(principal components)[11]等。HIS是將RGB色彩空間轉為HIS色彩空間，該方法只能對3個波段進行融合，也存在光譜畸變的問題；Gram-Schmidt將圖像進行正交變換，用全色影像替換第1分量，但算法復雜度較高，不適合大范圍影像處理；PC是主成分變換，用全色影像替換信息量最多的第1分量，但因第1分量信息量過于集中，使得融合結果存在較大的光譜畸變。頻率域典型方法有高通濾波[12]、小波變換[13-14]、Contourlet[15]變換等，具有較好的光譜保持特性，但計算量較大，在商業(yè)軟件中使用較少。

全色-多光譜融合問題的關鍵在于如何在光譜特征改變最小的情況下，最大限度地提高空間分辨率[16]。對于高分辨率遙感影像，大多數(shù)融合方法會造成比較嚴重的光譜畸變。SFIM是一種光譜保真效果較好的影像融合方法，但是存在著空間信息融入不足的缺點。本文提出一種自適應高斯濾波與SFIM模型相結合的融合方法(AGSFIM)，可以在光譜信息保持良好的前提下，較好地提高空間信息融入度，改善融合影像的綜合質量。SFIM與AGSFIM之間的差別在于模擬全色影像的獲取方式。如圖1所示，SFIM是將全色影像進行鄰域平滑從而得到模擬全色影像。AGSFIM則是通過以下步驟得到模擬全色影像：①對全色影像進行下采樣；②根據(jù)下采樣全色影像和多光譜影像的圖像信息計算最優(yōu)參數(shù)；③依據(jù)最優(yōu)參數(shù)進行高斯濾波；④上采樣得到模擬全色影像。

圖1 SFIM與AGSFIM流程對比 Fig.1 Process flows comparison between SFIM and AGSFIM

1 SFIM模型

SFIM是一種高保真的影像融合方法[2,17]。對于一幅波段為λ的光學遙感影像，其DN(digital number)值大小與輻照度E(λ)及地物的地表反射率ρ(λ)有關[18]，即

DN(λ)=ρ(λ)E(λ)

(1)

SFIM模型定義為

(2)

如果太陽輻射是給定不變的，那么地表反射值只和地形有關。如果兩幅圖像被量化為同樣的DN值區(qū)間，對于相同分辨率的圖像，就可以假設E(λ)≈E(γ)[19]，則E(λ)low與E(γ)low就可以相互抵消。同時因為不同分辨率圖像的地表反射率沒有明顯變化，就可以假設ρlow≈ρhigh，則ρ(γ)low與ρ(γ)high就可以相互抵消。式(2)可以轉化為

DN(λ)sim≈ρ(λ)lowE(γ)high≈ρ(λ)highE(λ)high= DN(λ)high

(3)

針對全色-多光譜融合問題，式(2)可以簡化為

(4)

SFIM和Pansharp[4-5]在融合模型上是一致的，兩者的區(qū)別在于怎樣獲取低分辨率全色影像Pan′。SFIM是通過對Pan進行降質(鄰域濾波)來得到Pan′。這一操作相當于降低了全色影像的空間分辨率，而基本沒有改變圖像的光譜特征，滿足上述的第二個特點。所以SFIM融合結果光譜畸變較小，但空間信息融入度低，使得融合結果清晰度不佳。

Pansharp是通過多光譜影像的加權擬合來獲取Pan′的，基于最小二乘法測算多光譜各波段的權重并擬合得到Pan′。此操作是多光譜各波段的加權疊加過程，所得到的Pan′空間信息和MS相比沒有發(fā)生改變，滿足上述的第一個特點。所以Pansharp融合結果的空間信息融入程度較好，圖像較為清晰，但光譜畸變較SFIM嚴重。綜合而言，基于SFIM的改進方法主要是為了提高融合結果清晰度；基于Pansharp的改進方法則主要是為了降低融合結果的光譜畸變。

因為Pansharp是基于最小二乘法來計算各波段權重，當圖幅較大時，單個系數(shù)存在局部描述不準確的弊端；此外當圖幅中存在云、海等過亮或過暗地物時，系數(shù)會因這些極端灰度區(qū)域的存在而失真。以上情況會加劇Pansharp的光譜畸變；而SFIM只與圖像鄰域相關，不必考慮圖像整體情況，可以有效避免上述弊端?；谝陨侠碛桑疚倪x擇SFIM算法作為改進基礎。

2 改進方法

2.1 改進原理

圖2 同一分辨率的全色與多光譜影像Fig.2 Panchromatic and multi-spectral image of same spatial resolution

如圖2所示，Pands的清晰度明顯優(yōu)于MS，其細節(jié)更為銳利，地物特征更為明顯，圖像中的線條、邊角更為突出，像素間的反差更大。為了使Pands具有與MS相似的空間信息結構，需要利用低通濾波器消去Pands的部分高頻信息。因為高斯濾波可以通過調整參數(shù)σ以控制卷積核的銳利程度，從而控制濾波后的圖像清晰度，所以本文選擇高斯濾波作為調整Pands清晰度的工具。高斯算子如下所示

(5)

2.2 最優(yōu)參數(shù)計算方法

方差(variance)可以衡量圖像整體灰度值的偏離程度，在一定程度上可以反映圖像清晰度，但容易受到噪聲干擾，從而造成指標失真；平均梯度(average gradient,AG)反映的是圖像局部灰度變化率，反映了圖像微小細節(jié)反差變化的速率，可以用于衡量圖像清晰度[21]。方差定義為

(6)

(7)

因為多光譜與全色影像是由不同的傳感器成像的，其模-數(shù)轉換方式不同，同時全色影像與多光譜各波段之間的光譜響應范圍也不一致，造成各波段之間存在整體灰度差異。方差與平均梯度都依靠圖像DN值進行計算，但是如果圖像均值不同，那么方差與平均梯度就只是一個相對數(shù)值，無法橫向比較各波段之間的清晰度情況。因此需要在圖像均值相同的情況下來計算方差與平均梯度。

以全色影像的均值作為標準，則多光譜各波段只要乘上一個均值調整系數(shù)μ就可以使其均值與全色影像相同，均值調整系數(shù)μ定義為

(8)

(9)

AGm=μAG

(10)

2.3 影像融合

3 試驗與分析

試驗與分析包括3個部分。第1部分是最優(yōu)參數(shù)計算，證明了以多光譜整體平均梯度作為計算最優(yōu)參數(shù)的標準更為合理。第2部分試驗下采樣全色影像Pands的清晰度與融合結果之間的關系，證明了最優(yōu)參數(shù)可以得到最優(yōu)的融合結果。第3部分是AGSFIM與其他一些融合算法的比較結果。

本文選用Beijing-2和ZY-3 02等兩顆衛(wèi)星的影像作為試驗數(shù)據(jù)。Beijing-2星座系統(tǒng)設計壽命為7年，由3顆推掃式光學遙感衛(wèi)星組成，提供1m分辨率的全色影像、4m分辨率的四波段多光譜影像，Beijing-2數(shù)據(jù)由二十一世紀空間技術應用股份有限公司提供。ZY-3 02是民用三線陣光學遙感衛(wèi)星，裝備有下視、前視、后視及多光譜4臺相機，下視相機提供2.1m分辨率的全色影像，前后視相機提供2.5m全色影像，多光譜相機提供5.8m分辨率的4波段多光譜影像。ZY-3 02數(shù)據(jù)由中國資源衛(wèi)星應用中心提供。

3.1 最優(yōu)參數(shù)計算

圖3 模糊處理對比圖Fig.3 Comparison of different blur processed images

圖4 各影像方差Fig.4 Variances of images

依據(jù)圖3進行目視判斷，多光譜第1波段的清晰度與(j)較為接近；第2、3、4波段的清晰度介于圖3(k)—(l)之間。圖4中以高斯濾波的σ值作為x軸，以模糊圖像的方差作為y軸。通過對數(shù)據(jù)進行二次多項式擬合，兩者的關系可以描述為

y=3298x2-6955x+7280

(11)

圖5 各影像平均梯度Fig.5 Average gradient of images

當擬合曲線達到多光譜4個波段的整體方差時，σ=0.365。

圖5中以高斯濾波的σ值作為x軸，以模糊圖像的平均梯度作為y軸。通過對數(shù)據(jù)進行二次多項式擬合，兩者的關系可以描述為

y=47.5x2-95.44x+59.35

(12)

當擬合曲線達到多光譜4個波段的整體平均梯度時，σ=0.554 6。

在上文的目視判斷中，多光譜各波段的清晰度整體上應當介于(j)—(k)之間，即σ∈[0.5,0.6]。以平均梯度作為清晰度標準計算得到的最優(yōu)σ值與目視判別的結果一致，因此用平均梯度作為清晰度的標準來對圖像進行模糊處理較為準確與適當。就這組試驗數(shù)據(jù)而言，將高斯濾波的σ設為0.554 6，可以得到與多光譜影像清晰度最為相似的下采樣全色影像。

3.2 模糊處理對融合結果的影響

表1 融合結果評價參數(shù)表

圖6 融合影像評價指標與Pa平均梯度的關系Fig.6 Relationship between evaluate indexes and average gradient of pa

3.3 AGSFIM與其他算法的比較

為了比較與其他融合方法的差別，本文使用SFIM、AGSFIM、Pansharp、Gram-Schmidt、Brovey、PC 6種融合方法對Bejing-2及ZY-3 02星數(shù)據(jù)進行處理，分別得到圖7與圖8所示結果。其中圖7(a)是全色影像；圖7(b)是上采樣多光譜影像；圖7(c)是SFIM融合結果；圖7(d)是AGSFIM融合結果，其中對于Beijing-2數(shù)據(jù)σ=0.554 6，對于ZY-3 02星試驗數(shù)據(jù)σ=0.751；圖7(e)是Pansharp融合結果；圖7(f)Brovey融合結果；圖7(g)是PC融合結果；圖7(h)Gram-Schmidt融合結果。表2、表3分別是Beijing-2和ZY-3 02融合結果的評價參數(shù)。

圖7 “北京2號”融合結果比較Fig.7 Comparison of Beijing-2 fusion results

圖8 “資源三號”02星融合結果比較Fig.8 Comparison of ZY-3 02 fusion results

平均梯度與信息熵是用于衡量空間信息融入度的指標。對于這兩組數(shù)據(jù)的空間信息融入度而言，這6種方法可以大致分為3檔，SFIM與Brovey效果最差，Gram-Schmidt和PC居中，Pansharp與AGSFIM效果最好。相關系數(shù)與偏差指數(shù)是用于衡量光譜信息保真度的指標。對于這兩組數(shù)據(jù)的光譜信息保真度而言，這6種方法可以大致分為3檔，Brovey、PC效果最差，Gram-Schmidt、Pansharp與AGSFIM較好，SFIM最好。

試驗與分析表明，相較于經(jīng)典SFIM算法，AGSFIM較好地提高了空間信息融入度。Beijing-2融合結果平均梯度從4.976 9提高到了7.072 8，信息熵從6.693 6提高到了6.810 4，平均梯度與信息熵在所有方法中均排第一。ZY-3 02融合結果平均梯度從2.14提高到3.091 6，信息熵從6.544 2提高到6.672 2。與此同時，AGSFIM依然保持了較好的光譜信息保真度，其光譜保持能力僅次于SFIM。Beijing-2融合結果相關系數(shù)為0.907 2，偏差指數(shù)為0.112 6。ZY-3 02融合結果相關系數(shù)為0.969 6，偏差指數(shù)為0.026 4。

表2 “北京二號”不同融合結果評價參數(shù)

Tab.2 Evaluate parameters of different beijing-2 fusion results

ImageAGEICCDIPan15.17217.7143——Up-sampledMS2.03956.6781——SFIM4.97696.69360.97830.0478AGSFIM7.07286.81040.90720.1126Pansharp7.06716.74010.89680.1189Gram-Schmidt5.77606.61300.90300.1561Brovey4.86946.16420.89470.3256PC5.75806.56690.90720.1448

表3 “資源三號”02星不同融合結果評價參數(shù)

Tab.3 Evaluate parameters of different ZY-3 02 fusion results

ImageAGEICCDIPan2.99737.0003——Up-sampledMS1.22936.4848——SFIM2.14006.54420.99650.0090AGSFIM3.09166.67220.96960.0264Pansharp3.31266.84670.91230.0531Gram-Schmidt2.54006.71890.96430.0465Brovey0.84795.41510.48320.5564PC3.01507.04410.47910.2287

4 結 論

本文首先介紹與分析了SFIM融合模型的原理與方法，指出造成SFIM與Pansharp融合結果具有不同空間信息融入度與光譜信息保真度的原因在于模擬全色影像Pan′的獲取方式不同，并就此提出了改進方向。之后，提出在理想狀態(tài)下，全色影像的下采樣圖Pands應當具有與多光譜影像相同清晰度這一觀點，并提出以均值調整后的多光譜平均梯度作為標準，自適應地設置最優(yōu)σ值，利用高斯濾波調整Pands的清晰度。最后，以Beijing-2及ZY-3 02影像作為數(shù)據(jù)進行試驗，并與SFIM、Pansharp、PC、Gram-Schmidt、Brovey等方法進行了對比，試驗表明，AGSFIM可以在較好光譜信息保真度的前提下，有效改善融合結果的空間信息融入度，提高整體效果。

[1] 李春華, 徐涵秋. 高分辨率遙感圖像融合的光譜保真問題[J]. 地球信息科學, 2008, 10(4): 520-526. LI Chunhua, XU Hanqiu. Spectral Fidelity in High-resolution Remote Sensing Image Fusion[J]. Geo-Information Science, 2008, 10(4): 520-526.

[2] LIU J G. Smoothing Filter-based Intensity Modulation: A Spectral Preserve Image Fusion Technique for Improving Spatial Details[J]. International Journal of Remote Sensing, 2000, 21(18): 3461-3472.

[3] 何貴青, 齊敏, 趙海濤, 等. 一種基于SFIM和IHS變換的圖像融合算法[J]. 西北工業(yè)大學學報, 2008, 26(1): 41-46. HE Guiqing, QI Min, ZHAO Haitao, et al. A New and Better Image Fusion Algorithm based on SFIM Model and IHS Transform[J]. Journal of Northwestern Polytechnical University, 2008, 26(1): 41-46.

[4] ZHANG Yun. Problems in the Fusion of Commercial High-Resolution Satellites Images as well as LANDSAT 7 Images and Initial Solutions[C]∥Proceedings of the International Archives of Photogrammetry and Remote Sensing. Ottawa, 2002: 9-12.

[5] ZHANG Yuri. A New Automatic Approach for Effectively Fusing Landsat 7 as well as IKONOS Images[C]∥Proceedings of the IEEE International Geoscience and Remote Sensing Symposium. Toronto, Ontario, Canada: IEEE, 2002: 2429-2431.

[6] VRABEL J. Multispectral Imagery Advanced Band Sharpening Study[J]. Photogrammetric Engineering and Remote Sensing, 2000, 66(1): 73-80.

[7] HAYDN R, DALKE G W, HENKEL J, et al. Application of the IHS Color Transform to the Processing of Multisensor Data and Image Enhancement[C]∥Proceedings of the International Symposium on Remote Sensing of Environment, First Thematic Conference: Remote Sensing of Arid and Semi-Arid Lands. Ann Arbor MI: Environmental Research Institute of Michigan, 1982.

[8] 楚恒, 王汝言, 朱維樂. DCT域遙感影像融合算法[J]. 測繪學報, 2008, 37(1): 70-76. DOI: 10.3321/j.issn:1001-1595.2008.01.013. CHU Heng, WANG Ruyan, ZHU Weile. Remote Sensing Image Fusion Algorithm in the DCT Domain[J]. Acta Geodaetica et Cartographica Sinica, 2008, 37(1): 70-76. DOI: 10.3321/j.issn:1001-1595.2008.01.013.

[9] AIAZZI B, BARONTI S, SELVA M, et al. Enhanced Gram-Schmidt Spectral Sharpening Based on Multivariate Regression of MS and Pan Data[C]∥IEEE International Symposium on Geoscience and Remote Sensing. Denver, CO, USA: IEEE, 2006: 3806-3809.

[10] 張濤, 劉軍, 楊可明, 等. 結合Gram-Schmidt變換的高光譜影像諧波分析融合算法[J]. 測繪學報, 2015, 44(9): 1042-1047. DOI: 10.11947/j.AGCS.2015.20140637. ZHANG Tao, LIU Jun, YANG Keming, et al. Fusion Algorithm for Hyperspectral Remote Sensing Image Combined with Harmonic Analysis and Gram-Schmidt Transform[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(9): 1042-1047. DOI: 10.11947/j.AGCS.2015.20140637.

[11] SHETTIGARA V K. A Generalized Component Substitution Technique for Spatial Enhancement of Multispectral Images Using A Higher Resolution Data Set[J]. Photogrammetric Engineering and Remote Sensing, 1992, 58(5): 561-567.

[12] SCHOWENGERDT R A. Reconstruction of Multispatial, Multispectral Image Data Using Spatial Frequency Content[J]. Photogrammetric Engineering and Remote Sensing, 1980, 46(10): 1325-1334.

[13] MALLAT S G. A Theory for Multiresolution Signal Decomposition: The Wavelet Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1989, 11(7): 674-693.

[14] ZHANG Yun, HONG Gang. An IHS and Wavelet Integrated Approach to Improve Pan-Sharpening Visual Quality of Natural Colour IKONOS and QuickBird Images[J]. Information Fusion, 2005, 6(3): 225-234.

[15] POHL C, VAN GENDEREN J L. Review Article Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Applications[J]. International Journal of Remote Sensing, 1998, 19(5): 823-854.

[16] 楊景輝. 遙感影像像素級融合通用模型及其并行計算方法[D]. 武漢: 武漢大學, 2014. YANG Jinghui. The Generalized Model and Parallel Computing Methods for Pixel-Level Remote Sensing Image Fusion[J]. Wuhan: Wuhan University, 2014.

[17] 韓冰, 趙銀娣. 一種改進的SFIM高光譜圖像融合算法[J]. 遙感信息, 2012, 27(5): 44-47, 54. HAN Bing, ZHAO Yindi. An Improved Smoothing Filter-based Intensity Modulation Algorithm for Hyperspectral Image Fusion[J]. Remote Sensing Information, 2012, 27(5): 44-47, 54.

[18] ELACHI C, ZIMMERMAN P D. Introduction to the Physics and Techniques of Remote Sensing[J]. Physics Today, 1988, 41(11): 126-126.

[19] GUO Liujian, MOORE J M, HAIGH J D. Simulated Reflectance Technique for ATM Image Enhancement[J]. International Journal of Remote Sensing, 1997, 18(2): 243-254.

[20] 李艷雯, 楊英寶, 程三勝. 基于亮度平滑濾波調節(jié)(SFIM)的SPOT5影像融合[J]. 遙感信息, 2007(1): 63-66. LI Yanwen, YANG Yingbao, CHENG Sansheng. The SPOT-5 Image Fusion by Smoothing Filter-based Intensity Modulation (SFIM)[J]. Remote Sensing Information, 2007(1): 63-66.

[21] 陳超, 江濤, 徐文學. 基于平均梯度的多聚焦圖像融合方法研究[J]. 山東建筑大學學報, 2009, 24(2): 133-137. CHEN Chao, JIANG Tao, XU Wenxue. Research on Multi-Focus Image Fusion Methods based on Mean Gradient[J]. Journal of Shandong Jianzhu University, 2009, 24(2): 133-137.

[22] 趙魯燕, 尹君. 圖像融合效果評價方法研究[J]. 遙感信息, 2005(4): 16-17. ZHAO Luyan, YIN Jun. Study on the Effect Evaluation of Image Fusion[J]. Remote Sensing Information, 2005(4): 16-17.

[23] 蘇媛媛, 李英杰, 周志峰. 遙感圖像融合算法與質量評價探討[J]. 工程勘察, 2012, 40(12): 70-74. SU Yuanyuan, LI Yingjie, ZHOU Zhifeng. Remote Sensing Image Fusion Methods and Their Quality Evaluation[J]. Geotechnical Investigation & Surveying, 2012, 40(12): 70-74.

[24] SHANNON C E. A Mathematical Theory of Communication[J]. ACM SIGMOBILE Mobile Computing and Communications Review, 2001, 5(1): 3-55.

[25] 贠培東, 曾永年, 歷華. 不同遙感影像融合方法效果的定量評價研究[J]. 遙感信息, 2007(4): 40-45. YUN Peidong, ZENG Yongnian, LI Hua. Quantitative Assessment of Image Fusion Methods[J]. Remote Sensing Information, 2007(4): 40-45.