李俊杰 傅俏燕 姜濤
“資源一號”02D衛(wèi)星多波段圖像融合
李俊杰 傅俏燕 姜濤
(中國資源衛(wèi)星應用中心,北京 100094)
圖像融合方法同時保持全色圖像空間細節(jié)和多光譜圖像的光譜信息是一個挑戰(zhàn),特別是對于全色和多光譜圖像光譜范圍部分重合或不重合的波段,或者是波段數(shù)較多的多光譜圖像,一些融合算法不能較好的支持。針對“資源一號”(ZY-1)02D衛(wèi)星的全色圖像和8波段多光譜圖像,對結(jié)合光譜響應函數(shù)和全局方差匹配的遙感圖像融合方法做了適度擴展,并將擴展后的融合方法首次用于ZY-1 02D衛(wèi)星多個區(qū)域的圖像融合,并與商業(yè)軟件使用的效果較好的主流融合方法的結(jié)果進行了定性和定量的比較與評價,結(jié)果表明:該融合方法空間細節(jié)和光譜保持都較好,可用于ZY-1 02D衛(wèi)星多波段圖像融合。
光譜響應函數(shù) 圖像融合 多波段圖像 “資源一號”02D衛(wèi)星 遙感圖像
依據(jù)美國憂思科學家聯(lián)盟(Union of Concerned Scientists,UCS)2020年4月發(fā)布的數(shù)據(jù)[1],有2 666顆衛(wèi)星在太空中運行,其中超過700顆是對地觀測遙感衛(wèi)星。大多數(shù)遙感衛(wèi)星,特別是商用遙感衛(wèi)星一般都帶有一個高分辨率的全色(High Resolution Panchromatic,HRP)相機和一個低分辨率的多光譜(Low Resolution Multispectral,LRM)相機。HRP圖像空間分辨率高,但光譜分辨率低,LRM圖像則正好相反。圖像融合可以結(jié)合HRP和LRM圖像各自的優(yōu)勢,得到高空間分辨率和高光譜分辨率融合圖像。融合圖像提高了全色和多光譜圖像的使用價值,被廣泛應用于資源調(diào)查、變化監(jiān)測、生態(tài)保護等領(lǐng)域。
圖像融合方法有多種,Javan把圖像融合分為四類[2]:1)分量替換[3-5](Component Substitution,CS)方法,CS方法先對LRM圖像進行變換,然后把變換后得到的某一個分量用HRP圖像替換,最后再逆變換得到融合圖像;2)多分辨率分析[6-7](Multi-resolution Analysis,MRA)方法,基于小波分析和拉普拉斯金字塔,將高頻分量注入多光譜波段得到融合圖像;3)組合方法[8-11],結(jié)合CS和MRA方法各自優(yōu)勢,組合使用得到融合圖像;4)基于變分優(yōu)化[12-14](Variational Optimization-based,VO)方法,包括層次貝葉斯模型、稀疏矩陣分解模型融合等,這些方法直接或間接基于變分模型的優(yōu)化。圖像融合既保持全色圖像的空間細節(jié),又保留多光譜的光譜信息,對于大多數(shù)融合方法,同時較好的做到這兩點很困難,一般是空間細節(jié)保持好,但光譜發(fā)生扭曲,或者相反。
“資源一號”02D(ZY-1 02D)衛(wèi)星提供全色和8波段的多光譜圖像,其圖像融合在實踐中存在如下問題:1)光學遙感衛(wèi)星“快鳥”(Quickbird)、“高景一號”、“高分二號”和“資源三號”等的傳感器一般配置為全色和4波段的多光譜相機,類似ZY-1 02D衛(wèi)星攜帶8波段多光譜相機的情況較為少見。現(xiàn)有的融合方法大多是針對4波段多光譜和全色圖像的融合進行測試和評價,雖然有文獻對美國的WorldView-2/3衛(wèi)星8波段的多光譜圖像不同融合方法的有效性進行了比較和評價[15-18],但是對全色和8波段多光譜圖像融合的有效性評價較為薄弱且不充分。2)有些融合方法并不支持多光譜8波段圖像融合,例如Intensity Hue Saturation(IHS)、Brovey融合方法等。3)ZY-1 02D衛(wèi)星8個多光譜波段中有2個波段的光譜范圍與其全色波段的光譜范圍存在較小重疊,融合結(jié)果易出現(xiàn)光譜扭曲。
針對ZY-1 02D衛(wèi)星圖像8波段多光譜數(shù)據(jù)和全色數(shù)據(jù)特點,對文獻[19]提出的結(jié)合光譜響應函數(shù)和全局方差匹配的遙感圖像融合方法做了適度擴展,將擴展后的方法首次用于ZY-1 02D全色圖像和8波段多光譜圖像的融合,并與商業(yè)軟件使用的效果較好的主流融合方法Gram-Schmidt(GS)和Nearest Neighbor Diffusion(NNDiffuse)進行定性和定量的對比分析,從空間細節(jié)、光譜信息保持以及總體的均衡性方面對融合圖像結(jié)果進行評價。
融合所用的測試數(shù)據(jù)為ZY-1 02D衛(wèi)星全色和8波段多光譜圖像。ZY-1 02D衛(wèi)星可有效獲取115 km幅寬的9波段全色多光譜數(shù)據(jù),其中全色波段空間分辨率2.5m,光譜范圍為450~902nm,8個多光譜波段空間分辨率為10m,光譜范圍為416~1 047nm。
ZY-1 02D衛(wèi)星的全色多光譜波段設(shè)置與美國發(fā)射的亞米商業(yè)遙感衛(wèi)星WorldView-2(WV-2)類似,除了常規(guī)的全色、藍、綠、紅和近紅外波段之外,增加了海岸、黃、紅邊和另一個近紅外波段。不過ZY-1 02D的全色波段光譜范圍要比WV-2寬約100nm,ZY-1 02D衛(wèi)星全色和多光譜波段的光譜范圍見表1。
ZY-1 02D測試圖像已經(jīng)過正射校正,全色和多光譜圖像配準誤差小于1個像元。
表1 ZY-1 02D全色多光譜圖像波段光譜范圍
Tab.1 The spectral range of ZY-1 02D panchromatic and multispectral image bands
為了驗證融合算法的穩(wěn)定性和有效性,選取中國山東東營市和上海市作為遙感圖像融合測試的研究區(qū)域。研究區(qū)域的地表覆蓋類型有人造地表、耕地、林地、草地、水體等。兩個研究區(qū)域主要地表覆蓋類型分別為耕地和人造地表,遙感圖像大小均為10 000像元×10 000像元(全色圖像),對應面積為625km2(25km×25km)。ZY-1 02D東營市區(qū)域圖像的成像日期為2020-07-24,上海區(qū)域圖像的成像日期為2020-04-23。
結(jié)合光譜響應函數(shù)和全局方差匹配的遙感圖像融合(Spectral Response Function and Variance Matching,SRF_VAR)方法屬于分量替換融合方法。該方法基于通用分量替換融合框架,使用全色和多光譜傳感器的光譜響應函數(shù)反映的輻射能量響應的比例關(guān)系來構(gòu)造強度分量,其數(shù)學表達式[19]為:
表2 ZY-1 02D多光譜模擬全色的各波段權(quán)重系數(shù)
Tab.2 The weight coefficients of each band in multispectral simulation of ZY-1 02D panchromatic images
GS融合方法最早由Laben提出[20],該方法能保持融合前后圖像光譜信息的一致性,融合波段數(shù)不受限制,是一種高保真的遙感圖像融合方法。GS融合方法首先從低分辨率的多光譜波段中模擬合成出 一個低分辨率全色波段;然后對模擬出的全色波段和多光譜波段進行Gram-Schmidt變換;最后用高空間分辨率的全色波段替換Gram-Schmidt 變換后的第一個波段,應用Gram-Schmidt反變換得到最終的融合圖像。
圖1 ZY-1 02D全色和多光譜傳感器的光譜響應函數(shù)曲線
NNDiffuse融合方法最早在文獻[21]中提出,其基本假設(shè)是:高分辨率融合圖像中的每個像元光譜值都是低分辨率光譜圖像中相鄰超像素光譜值的線性加權(quán)組合。該方法對圖像的波段數(shù)沒有限制,融合結(jié)果圖像的色彩、紋理和光譜信息相對原始全色和多光譜圖像,都能得到很好保持。NNDiffuse融合方法的成果圖像城市區(qū)域效果好,但是當全色圖像對比度較低時,融合圖像有時會在目標邊緣出現(xiàn)光譜溢出[21]。
對數(shù)十景不同區(qū)域、不同天氣條件(云/霧)的ZY-1 02D圖像使用本文方法進行融合,融合結(jié)果目視良好穩(wěn)定,未出現(xiàn)異常。本文測試圖像為ZY-1 02D山東東營市和上海市區(qū)域的圖像,分別采用SRF_VAR、GS和NNDiffuse三種融合方法得到對應的融合圖像。其中SRF_VAR融合方法使用Python編程實現(xiàn),GS和NNDiffuse融合分別采用商業(yè)遙感軟件ENVI5.2對應的圖像融合功能實現(xiàn),參數(shù)采用其默認設(shè)置。用定性和定量兩種方式對融合結(jié)果圖像進行評價。定性評價展示的圖像大小為384像元×384像元,為10 000像元×10 000像元融合圖像的子區(qū),定量評價計算使用的是整幅的東營市和上海市測試圖像。
融合結(jié)果的定性評價很重要,它由人目視判讀圖像的光譜和空間細節(jié)保持,通過對比直觀展示融合結(jié)果。不過融合圖像的展示有一定的限制,彩色圖像展示一次只能使用3波段進行彩色合成,即使不考慮波段合成順序,8波段的圖像也有56種組合。由于篇幅限制圖像展示數(shù)量,為了展示所有8個波段,采用最佳指數(shù)因子(Optimum Index Factor, OIF)來輔助挑選圖像彩色合成的最佳波段組合。
OIF因子由Chavez[22]提出,可用于任意多光譜圖像,它基于各個波段組合內(nèi)和組合間標準方差的和與總相關(guān)系數(shù)的比值計算,計算公式為
具有最大OIF值的3波段圖像一般包含最大的信息量(標準方差衡量)和最少的信息冗余(相關(guān)性測量)。綜合考慮彩色圖像合成的慣例,在展示所有8個波段的前提下,選擇OIF值較大的組合,融合圖像樣例目視定性評價展示(見圖2和圖3)的波段組合為(3, 2, 1)、(4, 3, 2)、(3, 8, 6)和(4, 7, 5),括號中的數(shù)字為波段序號,其中波段組合(3, 2, 1)和(4, 3, 2)為一般目視解譯使用較多的真彩色和假彩色圖像合成。
(a)全色 (b)多光譜 (c)SRF_VAR (d)GS (e)NNDifffuse
注:從第一行開始從上往下彩色圖像的波段合成方式依次為(3, 2, 1)、(4, 3, 2)、(3, 8, 6)和(4, 7, 5)。
圖2和圖3中全色、多光譜以及不同方法的融合圖像均采用2%線性拉伸的增強方式,保證圖像的對比有統(tǒng)一的顯示方式,避免增強方式不同造成的目視判讀偏差??臻g細節(jié)方面,圖2和圖3不同融合方法結(jié)果圖像之間對比以及與全色圖像對比,空間細節(jié)無肉眼可見差異,不同融合方法結(jié)果圖像相對全色圖像的空間細節(jié)基本一致。光譜保持方面,彩色圖像展示波段組合(3, 2, 1)、(4, 3, 2)、(3, 8, 6)和(4, 7, 5)圖像中植被的顏色分別為暗綠色、紅色、亮綠色和黃橙色,原始多光譜和不同融合方法結(jié)果圖像之間的光譜保持目視對比結(jié)果如下:1)圖2中真彩色(3, 2, 1)合成圖像,SRF_VAR顏色與原始多光譜最為接近,GS圖像的建筑物藍色屋頂相對多光譜圖像偏深,GS和NNDiffuse圖像的水體區(qū)域顏色相對多光譜也偏暗;2)圖2中(4, 3, 2)、(3, 8, 6)和(4, 7, 5)彩色圖像,不同融合方法圖像相對多光譜顏色基本一致,NNDiffuse圖像在植被和水體區(qū)域顏色略為偏深;3)圖3中真彩色(3, 2, 1)合成圖像結(jié)果中,SRF_VAR顏色與多光譜最為接近,GS、NNDiffuse圖像植被區(qū)域相對多光譜圖像均有一定程度偏色;圖3中(4, 3, 2)、(3, 8, 6)和(4, 7, 5)彩色圖像,不同融合方法圖像相對多光譜顏色基本一致,GS和NNDiffuse圖像在小部分區(qū)域相對多光譜圖像略有輕微偏差。
(a)全色 (b)多光譜 (c)SRF_VAR (d)GS (e)NNDifffuse
注:從第一行開始從上往下彩色圖像的波段合成方式依次為(3, 2, 1)、(4, 3, 2)、(3, 8, 6)和(4, 7, 5)。
總的來說,在空間細節(jié)方面,SRF_VAR、GS和NNDiffuse融合方法空間細節(jié)保持都較好,無肉眼可見差異;光譜保持方面,三種融合方法結(jié)果圖像用4種不同的波段組合方式合成的彩色圖像相對多光譜圖像均無明顯的顏色扭曲,但是SRF_VAR圖像的光譜信息保持最好,相對多光譜圖像不同彩色組合幾乎無偏色,其次是GS圖像,NNDiffuse圖像的光譜保持相對最差。
相對于主觀的目視判定,定量評價較客觀。定量評價使用數(shù)學模型和公式,通過一組預定義的質(zhì)量(Quality,以下同)指標來測量融合圖像與原始圖像之間的光譜和空間相似性[23]。融合圖像定量評價的方式有兩類:一類是基于參考圖像的評價,另一類是無參考圖像的評價?;趨⒖紙D像的評價難度在于與全色圖像分辨率一致的多光譜參考圖像往往不易獲取,Wald提出了一個解決的方法,通過降低全色和多光譜圖像的分辨率進行融合,用原始多光譜圖像作為參考圖像[24]。目前使用參考圖像的定量評價一般都采用Wald提出的方法來獲得參考圖像,但是Wald方法暗含的假設(shè)是融合方法的表現(xiàn)是獨立于空間分辨率的,該假設(shè)是否可靠取決于傳感器和圖像內(nèi)容[25]。因此,本文選擇無參考圖像的定量評價方法,用無參考評價QNR(Quality with No Reference)指數(shù)來定量評價不同融合方法的結(jié)果圖像。
QNR指數(shù)綜合光譜扭曲指數(shù)和空間畸變指數(shù)計算得到,首先分別定量的評價融合圖像的空間細節(jié)保持和光譜保持,然后得到最終的均衡性評價結(jié)果,較為全面地評價融合圖像。QNR指數(shù)值域范圍為[0, 1],在該范圍中,值越大融合圖像效果越好;QNR的最大值為1,表示相對原始多光譜圖像,無光譜畸變,相對全色圖像無空間細節(jié)損失。
QNR的計算需要首先定義質(zhì)量指數(shù),是后續(xù)的指標計算基礎(chǔ),其計算公式為[26]
表3 不同方法融合圖像的定量指標比較
Tab.3 Image comparison of quantitative indexes by different fusion methods
“資源一號”02D衛(wèi)星多波段圖像為遙感應用提供更豐富的譜段信息的同時,也為圖像融合帶來了新的挑戰(zhàn)。本文首次使用結(jié)合光譜響應函數(shù)和全局方差匹配的遙感圖像融合方法對ZY-1 02D多波段圖像進行融合,并與主流、效果較好的融合方法結(jié)果進行定性和定量的比較。針對山東東營市和上海市兩個不同區(qū)域的圖像融合測試結(jié)果進行定性和定量分析,結(jié)果表明:1)SRF_VAR、GS和NNDiffuse融合方法用于ZY-1 02D多波段圖像融合均較為穩(wěn)定和優(yōu)良,空間細節(jié)和光譜保持總體較好,三種方法均可用于ZY-1 02D多光譜圖像融合;2)NNDiffuse融合方法得到的結(jié)果圖像空間細節(jié)保持最佳;采用SRF_VAR融合方法的融合圖像,其光譜保持和總體效果最佳,在保持全色圖像空間細節(jié)的同時,相對多光譜圖像的光譜扭曲也較小。
[1] Union of Concerned Scientists. UCS-Satellite-Database-4-1-2020.xls[EB/OL]. (2020-08-11)[2020-11-04]. https://www. ucsusa.org/resources/satellite-database.
[2] JAVAN F D, SAMADZADEGAN F, MEHRAVAR S, et al. A Review of Image Fusion Techniques for Pan-sharpening of High-resolution Satellite Imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 171: 101-117.
[3] DOU W, CHEN Y H, LI X B, et al. A General Framework for Component Substitution Image Fusion: An Implementation Using the Fast Image Fusion Method[J]. Computers & Geosciences, 2007, 33(2): 219-228.
[4] AIAZZI B, BARONTI S, SELVA M. Improving Component Substitution Pansharpening Through Multivariate Regression of MS+Pan Data[J]. IEEE Transactions on Geoscience & Remote Sensing, 2007, 45(10): 3230-3239.
[5] DADRASJAVAN F, SAMADZADEGAN F, FATHOLLAHI F. Spectral and Spatial Quality Assessment of IHS and Wavelet Based Pan-sharpening Techniques for High Resolution Satellite Imagery[J]. Advances in Image and Video Processing, 2018, 6(2): 1-15.
[6] JOSHI M V, BRUZZONE L, CHAUDHURI S. A Model-based Approach to Multiresolution Fusion in Remotely Sensed Images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2006, 44(9): 2549-2562.
[7] SHAHDOOSTI H R, GHASSEMIAN H. Fusion of MS and PAN Images Preserving Spectral Quality[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(3): 611-615.
[8] NUNEZ J, OTAZU X, FORS O, et al. Multiresolution-based Image Fusion with Additive Wavelet Decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 1999, 37(3): 1204-1211.
[9] CHENG J, LIU H, LIU T, et al. Remote Sensing Image Fusion Via Wavelet Transform and Sparse Representation[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2015, 104: 158-173.
[10] 吳學文, 徐涵秋. 多分辨率分解的遙感影像融合方法對比分析[J]. 地球信息科學學報, 2010, 12(3): 419-425.
WU Xuewen, XU Hanqiu. Comparison among Multi-resolution Decomposition-based Image Fusion Methods[J]. Journal of Geo-information Science, 2010, 12(3): 419-425. (in Chinese)
[11] VIVONE G, ALPARONE L, GARZELLI A, et al. Fast Reproducible Pansharpening Based on Instrument and Acquisition Modeling: AWLP Revisited[J]. Remote Sensing, 2019, 11(19): 2315.
[12] HUANG B, SONG H H, CUI H B, et al. Spatial and Spectral Image Fusion Using Sparse Matrix Factorization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(3): 1693-1704.
[13] WEI Q, DOBIGEON N, TOURNERET J Y. Bayesian Fusion of Multi-Band Images[J]. IEEE Journal of Selected Topics in Signal Processing, 2015, 9(6): 1117-1127.
[14] FU X, LIN Z, HUANG Y, et al. A Variational Pan-Sharpening With Local Gradient Constraints[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, USA. IEEE, 2019.
[15] NIKOLAKOPOULOS K, OIKONOMIDIS D. Quality Assessment of Ten Fusion Techniques Applied on Worldview-2[J]. European Journal of Remote Sensing, 2015, 48(1): 141-167.
[16] LI H, JING L H, TANG Y W. Assessment of Pansharpening Methods Applied to WorldView-2 Imagery Fusion[J]. Sensors, 2017, 17(1): s17010089.
[17] EI-MEZOUAR M C, KPALMA K, TALEB N, et al. A Pan-sharpening Based on the Non-subsampled Contourlet Transform: Application to Worldview-2 Imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(5): 1806-1815.
[18] KWAN C, BUDAVARI B, BOVIK A C, et al. Blind Quality Assessment of Fused Worldview-3 Images by Using the Combinations of Pansharpening and Hypersharpening Paradigms[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1835-1839.
[19] 李俊杰, 傅俏燕, 姜濤. 結(jié)合光譜響應函數(shù)和全局方差匹配的遙感圖像融合[J].光子學報, 2020, 49(10): 1010001.
LI Junjie, FU Qiaoyan, JIANG Tao. Remote Sensing Image Fusion Based on Spectral Response Function and Global Variance Matching[J]. Acta Photonica Sinica, 2020, 49(10): 1010001. (in Chinese)
[20] LABEN C A, BERNARD V, BROWER W. Process for Enhancing the Spatial Resolution of Multispectral Imagery Using Pan-sharpening: US6011875[P]. 2000-01-04.
[21] SUN W H, CHEN B, MESSINGER D W. Nearest-neighbor Diffusion-based Pan-sharpening Algorithm for Spectral Images[J]. Optical Engineering, 2014, 53(1): 013107.
[22] CHAVEZ P S, BERLIN G L, SOWERS L B. Statistical-method for Selecting Landsat MSS Ratios[J]. Journal of Applied Photographic Engineering, 1982, 8(1): 23-30.
[23] ZHANG Yun. Methods for Image Fusion Quality Assessment – A Review, Comparison and Analysis[C]//The International Achieves of the Photogrammetry, Remote Sensing Information Sciences, Volume XXXVII Part B7, Beijing. [S.l.: s.n.], 2008: 1101-1109.
[24] WALD L, RANCHIN T, MANGOLINI M. Fusion of Satellite Images of Different Spatial Resolutions: Assessing the Quality of Resulting Images[J]. Photogrammetric Engineering and Remote Sensing, 1997, 63: 691-699.
[25] CARLA R, SANTURRI L, AIAZZI B, et al. Full-scale Assessment of Pansharpening Through Polynomial Fitting of Multiscale Measurements[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(12): 6344-6355.
[26] ALPARONE L, AIAZZI B, BARONTI S, et al. Multispectral and Panchromatic Data Fusion Assessment without Reference[J]. Photogrammetric Engineering & Remote Sensing, 2008, 74(2): 193-200.
Multi-band Image Fusion of ZY-1 02D Satellite
LI Junjie FU Qiaoyan JIANG Tao
(China Centre for Resources Satellite Data and Application, Beijing 100094, China)
It is a challenge to keep both the spatial details of panchromatic images and spectral information of multispectral images, especially for the bands with partial or inconsistent spectral ranges of panchromatic and multispectral images. In addition, some fusion algorithms cannot better support multispectral images with a large number of bands. Aiming at the 8-band multispectral and panchromatic images of ZY-1 02D satellite, the remote sensing image fusion method combining the spectral response function and global variance matching is moderately extended. The extended fusion method is applied to the image fusion of multiple regions of ZY-1 02D satellite for the first time. The method is compared and evaluated qualitatively and quantitatively with mainstream fusion methods used by commercial softwares. The results show that the fusion method has good spatial details and spectral preservation, and can be used for multi-band image fusion of ZY-1 02D satellite.
spectral response function; image fusion; multi-band image; ZY-1 02D satellite; remote sensing image
P237
A
1009-8518(2021)05-0058-09
10.3969/j.issn.1009-8518.2021.05.007
李俊杰,男,1983年生,2007年獲中國科學院研究生院人文地理學專業(yè)碩士學位,高級工程師。研究方向為遙感數(shù)據(jù)處理與信息提取。E-mail:lijunjie299@126.com。
2020-11-03
國家重點研發(fā)計劃(2018YFB0505000)
李俊杰, 傅俏燕, 姜濤. “資源一號”02D衛(wèi)星多波段圖像融合[J]. 航天返回與遙感, 2021, 42(5): 58-66.
LI Junjie, FU Qiaoyan, JIANG Tao. Multi-band Image Fusion of ZY-1 02D Satellite[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(5): 58-66. (in Chinese)
(編輯:夏淑密)