一種尺度感知型遙感圖像融合新方法

李 旭，高雅楠，Shigang Yue

(1. 西北工業(yè)大學(xué)電子信息學(xué)院，西安 710129；2. 林肯大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，林肯 LN6 7TS)

一種尺度感知型遙感圖像融合新方法

李 旭1，高雅楠1，Shigang Yue2

(1. 西北工業(yè)大學(xué)電子信息學(xué)院，西安 710129；2. 林肯大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，林肯 LN6 7TS)

針對(duì)在高分辨率星載遙感圖像融合中容易出現(xiàn)的空間或光譜信息失真問題，提出一種基于滾動(dòng)導(dǎo)向?yàn)V波的多光譜與全色光圖像融合新方法。該方法采用主成分分析(PCA)設(shè)計(jì)融合模型，利用具有尺度感知特性的滾動(dòng)導(dǎo)向?yàn)V波器準(zhǔn)確地提取出多光譜圖像第一主成分的大尺度結(jié)構(gòu)信息和全色光圖像的小尺度細(xì)節(jié)信息，然后將細(xì)節(jié)信息與結(jié)構(gòu)信息相結(jié)合，經(jīng)過(guò)主成分分析反變換得到融合結(jié)果。本文采用GeoEye-1衛(wèi)星數(shù)據(jù)進(jìn)行試驗(yàn)，主觀分析與客觀評(píng)價(jià)表明,該方法能夠在保持圖像光譜信息的同時(shí)顯著提高融合圖像的空間分辨率，且融合質(zhì)量?jī)?yōu)于現(xiàn)有的幾種融合方法。

滾動(dòng)導(dǎo)向?yàn)V波器；圖像融合；全色光圖像；多光譜圖像

0 引 言

隨著星載成像傳感器的快速發(fā)展，許多在軌衛(wèi)星，例如ZY-3、GeoEye-1和WorldView-3等能夠同時(shí)捕獲高分辨率的全色光和多光譜圖像[1-2]。由于傳感器設(shè)計(jì)的物理局限，全色光(Panchromatic, PAN)圖像覆蓋較寬的光譜范圍(通常從可見光到近紅外)，具有高的空間分辨率；相反地，多光譜(Multispectral, MS)圖像具有較高的光譜分辨率，但是空間分辨率較低。可以通過(guò)圖像融合技術(shù)將多光譜圖像和全色光圖像進(jìn)行融合，充分利用它們之間的互補(bǔ)性，從而提高多光譜圖像的空間分辨率。目前針對(duì)高分辨率星載多光譜與全色光圖像的融合研究仍是遙感信息處理領(lǐng)域的熱點(diǎn)問題[3-4]。

近年來(lái)，邊緣保持型濾波器開始被應(yīng)用于遙感圖像融合的研究中，有效地克服了光譜失真的問題。2014年Kaplan等[5]提出了一種基于多尺度雙邊濾波的多光譜圖像融合方法(Multiscale bilateral filter，MBF)；2015年Li等[6]利用歸一化非局部均勻?yàn)V波(Normailzed nonlocal means，NNLM)設(shè)計(jì)出一種新型融合方法；2016年Yin等[7]提出了一種基于彩色導(dǎo)向?yàn)V波的圖像融合方法(GF-based CS with multispectral version，GFCS-M)。邊緣保持型濾波器的邊緣感知過(guò)程是在保持高對(duì)比度邊緣的同時(shí)去除低對(duì)比度的變化。然而，邊緣保持的方法不能夠從細(xì)節(jié)中分離出結(jié)構(gòu)，不利于遙感圖像的空間細(xì)節(jié)準(zhǔn)確提取。Zhang等[8]在2014年提出了一種具有尺度感知能力的滾動(dòng)導(dǎo)向?yàn)V波器(Rolling guidance filter，RGF)，該濾波器能夠感知不同尺度的結(jié)構(gòu)，從而在尺度的衡量下完全平滑細(xì)節(jié)，保留結(jié)構(gòu)信息。2016年Lillo-Saavedra等[9]針對(duì)農(nóng)業(yè)分塊應(yīng)用首先提出了利用滾動(dòng)導(dǎo)向?yàn)V波分解圖像以獲取其細(xì)節(jié)信息的遙感圖像融合方法(Pansharpening based on rolling guidance filter，PSRGF)，但是該方法局限于輸入圖像的場(chǎng)景內(nèi)容，僅適用于具有大尺度結(jié)構(gòu)邊緣或?qū)ο蟮霓r(nóng)業(yè)遙感圖像。

由于PAN圖像和MS圖像具有不同的空間分辨率，場(chǎng)景中的各種目標(biāo)和結(jié)構(gòu)是以不同的尺寸而顯示。PAN圖像中的小尺寸細(xì)節(jié)通常不會(huì)出現(xiàn)在MS圖像中，而MS圖像中的大尺度結(jié)構(gòu)則描述了緩慢的空間顏色轉(zhuǎn)換與平坦區(qū)域。為了從PAN圖像和MS圖像中準(zhǔn)確地提取空間信息，分離出不同尺度的結(jié)構(gòu)是一個(gè)關(guān)鍵問題，最終會(huì)影響融合圖像的質(zhì)量。本文利用滾動(dòng)導(dǎo)向?yàn)V波對(duì)輸入圖像進(jìn)行分解，得到結(jié)構(gòu)信息圖像和紋理細(xì)節(jié)圖像，并將包含MS圖像主要特征的大尺度結(jié)構(gòu)信息和包含PAN圖像主要特征的小尺度紋理細(xì)節(jié)結(jié)合，通過(guò)主成分分析(Principal component analysis，PCA)構(gòu)建融合模型。

1 滾動(dòng)導(dǎo)向?yàn)V波

滾動(dòng)導(dǎo)向?yàn)V波能夠通過(guò)快速迭代去除細(xì)小結(jié)構(gòu)的同時(shí)保持較大的結(jié)構(gòu)。滾動(dòng)導(dǎo)向?yàn)V波分為兩步進(jìn)行：細(xì)小結(jié)構(gòu)的移除和邊緣的恢復(fù)。圖1為滾動(dòng)導(dǎo)向?yàn)V波流程圖。

第一步：細(xì)小結(jié)構(gòu)的移除

第一步使用高斯濾波器移除細(xì)小的結(jié)構(gòu)。假定輸入圖像與高斯濾波輸出圖像分別為P和G。σs表示模糊空間尺度。高斯濾波器的尺寸決定了結(jié)構(gòu)的尺度，所以根據(jù)尺度空間理論[10],圖像中尺度小于σs的結(jié)構(gòu)將會(huì)被移除。該濾波器由下式表示:

(1)

第二步：邊緣的恢復(fù)

該步驟利用迭代算法來(lái)恢復(fù)圖像的邊緣。其中，圖像J作為不斷迭代更新的指導(dǎo)圖像，P是與第一步相同的輸入圖像。J1為第一步的輸出圖像，即圖像G，Jt+1為第t次迭代的結(jié)果，其值由以下聯(lián)合雙邊濾波操作得出

(2)

該過(guò)程可以理解為根據(jù)圖像Jt的結(jié)構(gòu)來(lái)平滑圖像P，這個(gè)迭代算法可以匹配各類聯(lián)合濾波器。鑒于導(dǎo)向?yàn)V波器可以避免雙邊濾波器產(chǎn)生的梯度翻轉(zhuǎn)效應(yīng)，本文選擇導(dǎo)向?yàn)V波器[11]替換聯(lián)合雙邊濾波器并且將Fσs,σr,t(P)表示滾動(dòng)導(dǎo)向?yàn)V波算法，其中P表示輸入圖像，參數(shù)σs和σr分別表示濾波模糊空間尺度和灰度相似度，參數(shù)t表示迭代次數(shù)。

2 基于滾動(dòng)導(dǎo)向?yàn)V波的融合方法

1) 選擇國(guó)際上常用的雙三次插值法將原始MS圖像的N個(gè)波段上采樣到與原始全色光圖像P(見圖3(a))相同尺寸，可得到低分辨率的上采樣MS圖像(見圖3(b)真彩色合成)，記為Mi，其中i=1,…,N。

2) 為了減少上采樣得到的Mi各個(gè)波段的信息交叉和信息冗余，對(duì)N個(gè)Mi波段作PCA正變換，獲取N個(gè)獨(dú)立的成分圖像Ci。第一主成分圖像包含了多光譜圖像的絕大多數(shù)地物信息，因此以下步驟只考慮第一主成分。

3) 與全色光圖像P相比，第一主成分圖像C1(見圖3(c))較為模糊，主要以大尺度結(jié)構(gòu)信息為主，缺乏豐富的紋理細(xì)節(jié)信息。為使其大尺度結(jié)構(gòu)特征信息更為凸出，將C1作為滾動(dòng)導(dǎo)向?yàn)V波輸入圖像進(jìn)行濾波處理，由式(3)得到C1的大尺度結(jié)構(gòu)層圖像L1(見圖3(d)),可觀察到C1經(jīng)過(guò)濾波后消除了塊效應(yīng)且平滑了邊緣

L1=Fσs,σr,t(C1)

(3)

4) 由下式計(jì)算出強(qiáng)度分量I：

(4)

為盡可能提取P的空間細(xì)節(jié)，本步驟采用直方圖匹配法將P與I進(jìn)行匹配處理得到P′，使之與強(qiáng)度分量具有相同的均值和方差

(5)

式中：μP與μI分別為P和I所有像素的均值，σP與σI分別為P和I的所有像素的標(biāo)準(zhǔn)差，A是與P相同尺寸的全一矩陣。

5) 為了提取P′的空間細(xì)節(jié)，首先將P′作為滾動(dòng)導(dǎo)向?yàn)V波輸入圖像進(jìn)行濾波處理，得到P′的大尺度結(jié)構(gòu)層圖像L2，再由P′和L2提取小尺度細(xì)節(jié)層D。由圖3(e)可知，D基本提取了P′中的空間信息，圖像的細(xì)節(jié)、紋理清晰度較高

L2=Fσs,σr,t(P′)

(6)

D=P′./L2

(7)

式中：“./”定義為兩個(gè)矩陣對(duì)應(yīng)元素相除。

6) 將全色光圖像的細(xì)節(jié)信息D以乘性方式注入至第一主成分邊緣層L1得到更新后第一主成分圖像C1new(見圖3(f))，觀察到更新后的圖像清晰度有了明顯地提高

C1new=D*L1

(8)

式中：“*”定義為兩個(gè)矩陣對(duì)應(yīng)元素相乘。

7) 將更新后的第一主成分圖像C1new與經(jīng)PCA變換得到的其他N-1個(gè)成分圖像Ci(i=2,…,N)作PCA反變換得到N波段融合結(jié)果Si。

3 試驗(yàn)結(jié)果與評(píng)價(jià)

3.1 試驗(yàn)數(shù)據(jù)

3.2 融合結(jié)果分析

3.2.1主觀分析

與原始的多光譜圖像相比，六種融合結(jié)果的空間分辨率均有不同程度的提高。對(duì)于草坪與植被區(qū)域，PCA方法(見圖4(d))存在明顯的顏色失真，與原始彩色圖像相比顏色變?yōu)闇\綠。MBF方法(見圖4(e))與MGF方法(見圖4(g))光譜保持能力比PCA方法好，但依然存在缺陷。對(duì)于圖像中心的白色與草坪相接區(qū)域，PCA方法的融合圖像十分清晰，邊緣保持較好，但MBF方法、GFCS-M方法(見圖4(f))與Meng方法(見圖4(h))都產(chǎn)生了塊效應(yīng)，可能是由于空間細(xì)節(jié)注入過(guò)量造成的。MGF方法則出現(xiàn)了較明顯的光譜扭曲現(xiàn)象，圖像中的高亮白色區(qū)域偏暗。觀察發(fā)現(xiàn)本文方法(見圖4(c))不僅提高了原始多光譜的空間分辨率，能夠較好地保持圖像的邊緣信息，而且圖像整體的亮度分布與原始多光譜圖像接近，視覺效果為最優(yōu)。

3.2.2客觀分析

本文采用以下幾種常用的客觀評(píng)價(jià)指標(biāo)對(duì)各種融合結(jié)果進(jìn)行評(píng)價(jià)[15-16]。

1) 相關(guān)系數(shù)：融合圖像和參考圖像在各個(gè)波段上的相關(guān)系數(shù)，記為C。數(shù)值越大，說(shuō)明融合圖像的光譜信息保持越好，其理想值為1。

2) 通用圖像質(zhì)量指數(shù)：衡量圖像的相關(guān)性失真、亮度失真以及對(duì)比度失真情況，記為U。其結(jié)果越接近于1，融合結(jié)果質(zhì)量越好。

3) 相對(duì)全局維數(shù)綜合誤差：衡量融合圖像所有波段的光譜扭曲程度，記為E。數(shù)值越小，融合圖像的光譜扭曲程度越小，其理想值為0。

4) 質(zhì)量評(píng)價(jià)指標(biāo)Q4：衡量四波段多光譜融合質(zhì)量的綜合指標(biāo)，記為Q。數(shù)值越大，說(shuō)明融合圖像的空間分辨率與參考圖像越接近，光譜失真度越小，其理想值為1。

5) 無(wú)參考圖像評(píng)價(jià)指標(biāo)(Quality with no reference, QNR)：QNR指標(biāo)可以同時(shí)測(cè)定融合圖像的空間信息丟失情況和光譜特征扭曲情況，記為D。該值越接近1，融合質(zhì)量越高。

表1列出了這四種方法融合結(jié)果的客觀評(píng)價(jià)，其中C和U分別表示四個(gè)波段計(jì)算結(jié)果的平均值。整體看來(lái)，客觀評(píng)價(jià)結(jié)果與主觀分析一致。PCA方法測(cè)得的C，E和D指標(biāo)為最差，MGF方法測(cè)得的U和Q為最差，說(shuō)明這兩種方法融合結(jié)果相對(duì)不理想。MBF方法優(yōu)于PCA和MGF方法，其中C，U和E數(shù)值有較大的提升。GFCS-M與Meng方法測(cè)得的指標(biāo)數(shù)值接近，說(shuō)明融合結(jié)果相似，并且相對(duì)其他三種方法較好。對(duì)于這些指標(biāo)，本文方法都是最優(yōu)值，說(shuō)明本文提出的融合方法在細(xì)節(jié)增強(qiáng)和光譜信息完整度的保持方面優(yōu)勢(shì)更大。

表1 GeoEye-1衛(wèi)星融合結(jié)果的客觀評(píng)價(jià)Table 1 Quality scores of the GeoEye-1 satellite pansharpened results

4 結(jié) 論

針對(duì)高分辨率星載全色光和多光譜圖像的融合，本文介紹了一種尺度感知型圖像融合新方法。由于空間分辨率的差異，PAN圖像和MS圖像包含不同尺度的地物目標(biāo)，因此本文利用滾動(dòng)導(dǎo)向?yàn)V波器的尺度感知性能對(duì)PAN圖像和MS圖像進(jìn)行信息分解，根據(jù)PAN圖像細(xì)節(jié)信息較為豐富而MS圖像大尺度結(jié)構(gòu)信息較為突出的特點(diǎn)，將PAN圖像的細(xì)節(jié)信息注入到MS圖像中，并結(jié)合PCA變換構(gòu)建出融合模型。融合試驗(yàn)采用GeoEye-1衛(wèi)星圖像進(jìn)行試驗(yàn)驗(yàn)證，并與PCA、MBF、GFCS-M、MGF和Meng等五種方法進(jìn)行主觀和客觀分析比較。試驗(yàn)結(jié)果表明，本文方法在保持MS圖像的光譜信息和大尺度邊緣結(jié)構(gòu)的同時(shí)，又能提高其空間細(xì)節(jié)信息，取得了高質(zhì)量的融合結(jié)果。濾波器的參數(shù)選擇對(duì)融合質(zhì)量的影響將是后續(xù)研究工作的內(nèi)容之一。

[1] 李旭. 一種用于WorldView-2遙感圖像的波段分組融合方法[J]. 宇航學(xué)報(bào), 2015, 36(3): 324-329. [Li Xu. Grouped band based fusion method for WorldView-2 satellite images [J]. Journal of Astronautics, 2015, 36(3): 324-329.]

[2] 王力彥, 趙冬, 陳建平. 基于光譜響應(yīng)函數(shù)的ZY-3衛(wèi)星融合算法研究 [J]. 宇航學(xué)報(bào), 2014, 35(8): 938-945. [Wang Li-yan, Zhao Dong, Chen Jian-ping. Study on ZY-3 image fusion algorithms based on spectral response function[J]. Journal of Astronautics, 2014, 35(8): 938-945.]

[3] Ghassemian H. A review of remote sensing image fusion methods [J]. Information Fusion, 2016, 32: 75-89.

[4] Li S T, Kang X D, Fang L Y, et al. Pixel-level image fusion: a survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112.

[5] Kaplan N H, Erer I. Bilateral filtering-based enhanced pansharpening of multispectral satellite images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 11(11): 1941-1944.

[6] Yin H, Li S T. Pansharpening with multi-scale normalized non-local mean filter: a two-step approach [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(10): 1-12.

[7] Liu J M, Liang S L. Pan-sharpening using a guided filter [J]. International Journal of Remote Sensing, 2016, 37(8): 1777-1800.

[8] Zhang Q, Shen X Y, Xu L, et al. Rolling guidance filter [C]. 2014 European Conference on Computer Vision, Zurich, Switzerland, September 6-12, 2014.

[9] Lillo-Saavedra M, Gonzalo-Martin C, Garcia-Pedrero A, et al. Scale-aware pansharpening algorithm for agricultural fragmented landscapes [J]. Remote Sensing, 2016, 8(10): 1-19.

[10] Lindeberg T. Scale-space theory: a basic tool for analyzing structures at different scales [J]. Journal of Applied Statistics, 1994, 21(2): 225-270.

[11] He K M, Sun J, Tang X O. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[12] Wu J, Liu J, Tian J W, et al. Wavelet-based remote sensing image fusion with PCA and feature product [C]. IEEE International Conference on Mechatronics and Automation, Orlando, USA, May 15-19, 2006.

[13] Upla K P, Joshi S, Joshi M V, et al. Multiresolution image fusion using edge-preserving filters [J]. Journal of Applied Remote Sensing, 2015, 9: 1-26.

[14] Meng X C, Li J, Shen H F, et al. Pansharpening with a guided filter based on three-layer decomposition [J]. Sensors, 2016, 16(7): 1-15.

[15] Kallel A. MTF-adjusted pansharpening approach based on coupled multiresolution decompositions [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (6): 3124-3145.

[16] Vivone G, Alparone L, Chanussot J, et al. A critical comparison among pansharpening algorithms [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (5): 2565-2586.

ANovelScale-AwarePansharpeningMethod

LI Xu1, GAO Ya-nan1, Shigang YUE2

(1. School of Electronics and Information, Northwestern Polytechnical University, Xi’an 710129, China;2. School of Computer Science, University of Lincoln, Lincoln LN6 7TS, UK)

To reduce the spatial and spectral distortions occurring in fusing remote sensing images, a novel pansharpening method using rolling guidance filter is proposed. The fusion model is designed with principal component analysis (PCA). In order to extract the small-scale detail information from a panchromatic image and large-scale structure information from the first component of a multispectral image, the scale-aware capability of a rolling guidance filter is employed. Then the detail information and structure information are combined. Through the inverse PCA transformation, the pansharpened result is obtained. The experiment is carried out on GeoEye-1 satellite data. The subjective analysis and objective evaluation show that the proposed method can greatly improve the clarity of the fused image while maintaining the spectral information, which is superior to some existing pansharpening methods.

Rolling guidance filter; Image fusion; Panchromatic image; Multispectral image

2017- 06- 09;

2017- 09- 29

國(guó)家自然科學(xué)基金(61301195)；歐盟H2020-ULTRACEPT(778062)；西北工業(yè)大學(xué)研究生創(chuàng)意創(chuàng)新種子基金(Z2017138)

TP751

A

1000-1328(2017)12- 1348- 06

10.3873/j.issn.1000- 1328.2017.12.012

李旭(1979-)，男，博士，副教授，主要從事多傳感器信息獲取與處理方面的研究。

通信地址：西安市碑林區(qū)友誼西路127號(hào)西北工業(yè)大學(xué)電子信息學(xué)院(710072)

E-mail: nwpu_lixu@126.com