一種基于稀疏表達(dá)的遙感影像時(shí)空融合方法

張亞坤，張洪艷，沈煥鋒，張良培

(1.青海省地理空間信息技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，青海 西寧 810001；2.武漢大學(xué) 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079；3.武漢大學(xué) 資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079)

一種基于稀疏表達(dá)的遙感影像時(shí)空融合方法

張亞坤1，2，張洪艷1，2，沈煥鋒3，張良培2

(1.青海省地理空間信息技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，青海 西寧 810001；2.武漢大學(xué) 測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079；3.武漢大學(xué) 資源與環(huán)境科學(xué)學(xué)院，湖北 武漢 430079)

由于受傳感器硬件的限制，遙感影像存在空間分辨率和時(shí)間分辨率不可兼得的現(xiàn)象，因此，時(shí)空融合技術(shù)很重要。針對(duì)時(shí)空融合中不同傳感器之間分辨率存在的較大差異問(wèn)題，文中采用基于稀疏表達(dá)的超分辨率重建方法，構(gòu)建中間分辨率影像，建立耦合字典模型，采用差分稀疏表達(dá)的方法進(jìn)行時(shí)空融合。實(shí)驗(yàn)結(jié)果表明，該方法比傳統(tǒng)稀疏表達(dá)方法在ERGAS指標(biāo)上提高將近10%。

時(shí)空融合；超分辨率重建；耦合字典模型；稀疏表達(dá)

陸地衛(wèi)星Landsat影像提供了地球上人類活動(dòng)的大量信息，其30 m的空間分辨率使得Landsat影像被廣泛應(yīng)用于科學(xué)研究、資源管理以及政府決策等領(lǐng)域[1-2]。然而16天的重返周期和易受天氣影響等特點(diǎn)限制了其在動(dòng)態(tài)監(jiān)測(cè)方面的應(yīng)用。相比之下，中分辨率成像光譜儀(MODIS)可提供重返周期為1天的影像，但其250 ～500 m的空間分辨率卻無(wú)法滿足動(dòng)態(tài)監(jiān)測(cè)的要求[3]。因此，為得到滿足動(dòng)態(tài)監(jiān)測(cè)要求的兼具高空間分辨率和高時(shí)間分辨率的遙感影像，對(duì)Landsat和MODIS影像進(jìn)行時(shí)空融合變得重要。

近年來(lái)，遙感影像時(shí)空融合領(lǐng)域得到國(guó)內(nèi)外許多學(xué)者的關(guān)注。高峰等人[4]在2006年提出一種遙感影像時(shí)空自適應(yīng)反射率融合模型(Spatial and Temporal Adaptive Reflectance Fusion Model，STARFM)。朱曉琳等人[5]在STARFM模型的基礎(chǔ)上提出一種增強(qiáng)型的空間和時(shí)間自適應(yīng)反射率融合模型(Enhanced Spatial and Temporal Adaptive Reflectance Fusion Model，ESTARFM)。黃波等人[6]提出一種基于稀疏表達(dá)的遙感影像時(shí)空融合方法(SPSTFM)。后來(lái)，宋慧慧等人[7]通過(guò)單幅影像超分辨率重建技術(shù)實(shí)現(xiàn)了只有單對(duì)Landsat-MODIS影像條件下的遙感影像時(shí)空融合，提高了算法的實(shí)用性。

雖然這些基于稀疏表達(dá)的方法都取得了理想的結(jié)果，但也都存在著一些問(wèn)題。例如，SPSTFM方法中直接使用原始Landsat和MODIS的差分影像來(lái)構(gòu)造耦合字典，但由于Landsat和MODIS影像之間巨大分辨率的差異(8或16倍)，使得其最終構(gòu)造的耦合字典的表達(dá)能力有限[8]，從而限制其最終的融合精度?？紤]到該缺點(diǎn)，本文擬提出一種基于中間分辨率影像的遙感影像稀疏時(shí)空融合方法。該方法通過(guò)單幅影像超分辨率重建技術(shù)來(lái)構(gòu)造一系列介于Landsat和MODIS影像之間的中間分辨率影像，借助中間分辨率的影像構(gòu)造耦合字典，進(jìn)行遙感影像的稀疏時(shí)空融合。

1 時(shí)空融合中的稀疏表達(dá)

1.1 稀疏表達(dá)理論

稀疏表達(dá)理論的核心思想是一個(gè)信號(hào)可以用過(guò)完備字典中的有限個(gè)原子稀疏表達(dá)

min‖α‖0s.t.x=Dα

(1)

式中，‖*‖0代表零范數(shù)，表示α中非零原子的個(gè)數(shù)。相關(guān)的稀疏理論研究[9-11]表明，求解式(1)的問(wèn)題是一個(gè)NP-Hard問(wèn)題，且是非凸優(yōu)化問(wèn)題。為有效求解式(1)中的問(wèn)題，學(xué)者們將式(1)轉(zhuǎn)換成了1范數(shù)的凸優(yōu)化問(wèn)題[12-13]，并且證明使用1范數(shù)得到的解和零范數(shù)的解是等價(jià)的[14]，其等價(jià)形式為

min‖α‖1s.t.x=Dα

(2)

目前，對(duì)于式(2)問(wèn)題的求解有許多經(jīng)典方法，比如基追蹤[15](BP)、最小角回歸[16](LARS)以及LASSO算法[17]。本文采用LASSO算法求解。

1.2 耦合字典模型

耦合字典模型解決不同空間之間的轉(zhuǎn)換問(wèn)題[18]，在遙感圖像領(lǐng)域具體表現(xiàn)為影像不同分辨率間的重建問(wèn)題。假設(shè)一個(gè)低分辨率影像Y和一個(gè)對(duì)應(yīng)的高分辨率影像X，并且滿足降質(zhì)關(guān)系

Y=SHX+v

(3)

其中，S代表降采樣過(guò)程；H代表模糊過(guò)程；v表示噪聲。在本文進(jìn)行字典構(gòu)造過(guò)程中，如果同時(shí)對(duì)兩個(gè)不同分辨率的影像進(jìn)行對(duì)應(yīng)位置的影像塊(Yk-Xk)采樣，最終得到的字典原子以及由這些字典原子按照同樣的排列順序構(gòu)成的耦合字典之間必然會(huì)滿足同樣的降質(zhì)關(guān)系[18]

Dl=SHDh+v

(4)

根據(jù)稀疏表達(dá)理論式(1)，在高分辨率空間的信號(hào)原子可以被對(duì)應(yīng)的高分辨率字典進(jìn)行稀疏表示

X=Dhα+v1

(5)

綜合考慮式(3)～式(5)

Y=Dlα+v3

(6)

通過(guò)對(duì)比式(5)和式(6)發(fā)現(xiàn)，不同分辨率空間的影像X和Y在耦合字典的表達(dá)下共用相同的稀疏系數(shù)α，這就是耦合字典模型的作用，即通過(guò)相同的稀疏系數(shù)α連接兩個(gè)不同分辨率空間的影像。因此，本文通過(guò)低分辨率影像和低分辨率字典得到低分辨率影像對(duì)應(yīng)的稀疏系數(shù)α，然后通過(guò)Xh=Dhα最終完成高分辨率影像重建。

2 本文方法

本文提出的時(shí)空融合方法主要分為兩個(gè)階段：(1)MODIS影像的超分辨率重建；(2)中間分辨率影像的差分稀疏表達(dá)。在本文中，已知t1和t3時(shí)刻的Landsat影像和對(duì)應(yīng)時(shí)刻的MODIS影像，對(duì)t2時(shí)刻MODIS影像進(jìn)行時(shí)空融得到t2時(shí)刻的Landsat影像。本文中，Mk,Lk,Ik分別代表第k時(shí)刻的MODIS影像、Landsat影像和中間分辨率影像，M(k-l),L(k-l),I(k-l)分別代表第k和第l時(shí)刻的MODIS、Landsat和中間分辨率影像的差分影像，即M(k-l)=Ml-Mk。

2.1 MODIS影像超分辨率重建

本文首先將t1和t3時(shí)刻的Landsat影像分別進(jìn)行降采樣，得到t1和t3時(shí)刻的中間分辨率影像，然后通過(guò)這些中間分辨率影像和對(duì)應(yīng)時(shí)刻的MODIS影像組成兩對(duì)訓(xùn)練影像并訓(xùn)練得到兩對(duì)耦合字典Dh1-Dl1和Dh3-Dl3。本文通過(guò)耦合字典Dh1-Dl1對(duì)M1進(jìn)行超分辨率重建得到中間分辨率影像I1，通過(guò)耦合字典Dh3-Dl3對(duì)M3進(jìn)行分辨率重建得到中間分辨率影像I3。對(duì)于M2影像，本文用耦合字典Dh1-Dl1和Dh3-Dl3分別進(jìn)行超分辨率重建，最后將得到的結(jié)果取平均值，得到中間分辨率影像I2。

2.2 中間分辨率影像差分稀疏表達(dá)

得到中間分辨率影像之后，需要對(duì)這些影像進(jìn)行差分處理得到I13，將同樣的操作應(yīng)用到原始Landsat影像后，便得到了對(duì)應(yīng)的Landsat差分影像L13。然后，通過(guò)對(duì)這些差分影像進(jìn)行字典訓(xùn)練得到差分影像的耦合字典對(duì)Dh13-Dl13。

接下來(lái)，通過(guò)中間分辨率影像I2分別與I1和I3做差分，得到兩個(gè)差分影像I12和I23。對(duì)這兩個(gè)差分影像分別基于耦合字典模型進(jìn)行稀疏表達(dá)重建，便得到兩個(gè)對(duì)應(yīng)的Landsat影像空間的差分影像L12和L23。為使結(jié)果更加精確，對(duì)兩個(gè)差分影像進(jìn)行加權(quán)求和，其權(quán)值的確定如下

(7)

本文借助歸一化植被指數(shù)(NDVI)和歸一化建筑物指數(shù)(NDBI)[20]代替影像的反射率用于計(jì)算最終的權(quán)值，這里使用U來(lái)表示MODIS影像的NDVI 和NDBI 的和，其中vk表示第k個(gè)M1影像塊的U值和第k個(gè)M2影像的U值的絕對(duì)變化信息。考慮到地物類型可能發(fā)生變化，需要設(shè)定一個(gè)閾值(本文中定為0.45)。

(8)

最后，本文進(jìn)行加權(quán)求和得到最終結(jié)果

L2=ω1×(L1+L12)+ω3×(L3-L23)

(9)

本文方法的主要流程如圖1所示。

圖1 本文算法的主要流程

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用的數(shù)據(jù)分別為森林季節(jié)變化區(qū)影像(SCFR)和深圳地區(qū)影像。SCFR是取自北方生態(tài)系統(tǒng)大氣研究研究區(qū)的南部，影像的獲取時(shí)間分別為2001年5月24日、2001年7月11日和2001年8月12日。另外一組數(shù)據(jù)是深圳地區(qū)數(shù)據(jù)，影像的獲取時(shí)間為2000年10月1日、2002年10月7日和2004年10月8日。為了驗(yàn)證算法的有效性，本文通過(guò)t2時(shí)刻的原始Landsat影像和融合的結(jié)果進(jìn)行對(duì)比來(lái)說(shuō)明，實(shí)驗(yàn)中所用的兩組數(shù)據(jù)的大小均為500×500。

3.2 實(shí)驗(yàn)結(jié)果與討論

從圖2和圖3的目視效果來(lái)看，ESTARFM模型的效果要差于其它方法。相比之下，基于稀疏表達(dá)的方法雖然本質(zhì)上也表達(dá)線性關(guān)系，但由于使用自身影像構(gòu)建字典，因此在表達(dá)的過(guò)程中增加了影像之間的相關(guān)性。加之稀疏表達(dá)本身是一種比較穩(wěn)定有效的信號(hào)表達(dá)方式，因此在一定程度上提高了重建精度，但由于傳統(tǒng)的SPSTFM方法耦合字典原子之間的分辨率差異較大，因此在一定程度上降低了耦合字典的表達(dá)能力。本文方法通過(guò)構(gòu)建中間分辨率影像緩解影像間分辨率的差異，提高耦合字典的表達(dá)能力，因此提高了重建精度。

圖2 SCFR數(shù)據(jù)的局部放大結(jié)果

圖3 深圳地區(qū)實(shí)驗(yàn)數(shù)據(jù)結(jié)果

IndexBandsESTARFMSPSTFM本文方法Green0.00390.00290.0028AADRed0.00370.00370.0037NIR0.01390.01410.0138Green0.00560.00380.0036RMSERed0.00510.00510.0051NIR0.01920.01750.0170Green0.82960.86960.8783SSIMRed0.84530.83770.8408NIR0.81940.88390.8930ERGAS0.46860.41780.4095

表2 深圳地區(qū)數(shù)據(jù)量化評(píng)價(jià)結(jié)果

表1和表2分別給出了定量評(píng)價(jià)結(jié)果，其中粗字體表示每行的最優(yōu)結(jié)果。從表1中可以看出，本文方法較其它幾種方法在精度指標(biāo)和目視效果上都取得了最優(yōu)的結(jié)果。通過(guò)對(duì)比SPSTFM方法可以看出，本文超分辨率重建階段確實(shí)有效緩解了MODIS影像與Landsat影像之間分辨率差異，使得其在差分稀疏表達(dá)階段中所用的耦合字典更加精確表達(dá)影像信息，有效抑制了由于分辨率差異而引起的信息表達(dá)的偏移，從而在精度上得到了提升。

4 結(jié)束語(yǔ)

考慮到時(shí)空融合中影像之間存在較大的空間分辨率差異，本文提出通過(guò)單幅影像超分辨率重建技術(shù)先構(gòu)造一個(gè)中間分辨率影像，然后采用這些中間分辨率影像來(lái)構(gòu)造耦合字典，從而緩解不同影像之間的分辨率差異，因此提升耦合字典的表達(dá)能力，最終提高重建的精度。本文采用兩組融合難度不同的實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證方法的有效性，從兩組數(shù)據(jù)的實(shí)驗(yàn)結(jié)果可以明顯看出，稀疏表達(dá)的方法相比于傳統(tǒng)線性混合模型方法取得了較優(yōu)的結(jié)果，而本文方法最終在目視效果和定量評(píng)價(jià)上都取得了最優(yōu)的結(jié)果。

[1] Townshend J R G,Justice C O.Selecting the spatial-resolution of satellite sensors required for global monitoring of land transformations[J]. International Journal of Remote Sensing,1988,9(2): 187-236.

[2] Goward S N,Masek J G.Editorial: Landsat—30 years and counting[J].Remote Sensing of Environment,2001,78(1):1-2.

[3] Price J C.How unique are spectral signatures?[J].Remote Sens. Environ.,1994,49(3): 181-186.

[4] Gao F,Masek J,Schwaller M,et al.On the blending of the Landsat and MODIS surface reflectance:Predicting daily Landsat surface reflectance[J].IEEE Transactions on Geosci Remote Sens,2006,44(8):2207-2218.

[5] Zhu X,Chen J,Gao F,et al.An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions[J].Remote Sens Environ,2010,114(11):2610-2623.

[6] Huang Bo,Song Huihui.Spatiotemporal reflectance fusion via sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing,2015,50(10): 3707-3716.

[7] Song Huihui,Huang Bo.Spatiotemporal satellite image fusion through one-pair image learning[J].IEEE Transactions on Geoscience and Remote Sensing,2016,51(4): 1883-1896.

[8] Jia Kui,Wang Xiaogang,Tang Xiaoou.Image transformation based on learning dictionaries across image spaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(2):367-380.

[9] Elad M,Figueiredo M A,Ma T Yi.On the role of sparse and redundant representations in image processing[J].Proceedings of the IEEE,2010,98(6):972-982.

[10] Elad Michael.Sparse and redundant representations: from theory to applications in signal and image processing [M].Berlin:Springer,2013.

[11] Donoho B,David L.For most large underdetermined systems of linear equations the minimal[J].Communications on Pure and Applied Mathematics,2014,59(6):797-829.

[12] Candès E J,Romberg J,Tao T.Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory,2016,52(2):489-509.

[13] Tropp J A.Just relax: Convex programming methods for subset selection and sparse approximation[J].IEEE Transactions on Information Theory,2016,52(6):1030-1051.

[14] 沈麗,韓彥芳.基于稀疏表示的超分辨率圖像重建[J].電子科技,2015,28(9):144-147.

[15] Chen S S,Donoho D L,Saunders M A.Atomic decomposition by basis pursuit[J].SIAM Journal on Scientific Computing,2015,20(1):33-61.

[16] Efron B,Hastie T,Johnstone I,et al.Least angle regression[J].Ann Statist,2014,32(2):407-499.

[17] Tibshirani R.Regression shrinkage and selection via the lasso[J].Journal of Royal Statist Soc B,2013,58(1):267-288.

[18] Wang Shenlong,Zhang Lei,Liang Yan,et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C].Shanghai:IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2012.

[19] 劉甜甜.基于稀疏和低秩表示的顯著性目標(biāo)檢測(cè)[J].電子科技,2015,28(2):112-115.

[20] He C H,Sh P J,Xie D Y,et al.Improving the normalized difference built-up index to map urban built-up areas using a semiautomatic segmentation approach[J].Remote Sens Letter,2010,1(4):213-221.

A Spatiotemporal Fusion Algorithm based on Sparse Representation for Remote Sensing Imagery

ZHANG Yakun1,2,ZHANG Hongyan1,2,SHEN Huanfeng3,ZHANG Liangpei2

(1.Geomatics Technology and Application Key Laboratory of Qinghai Province,Xining 810001,China;2.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079,China;3.School of Resource and Environment Sciences,Wuhan University,Wuhan 430079,China)

There exists a tradeoff between the spatial resolution and temporal resolution of the remote sensing images because of the limitation of the hardware，Therefore，the spatiotemporal fusion is important in image anlysis. To overcome the large difference of spatial resolution between different images,this paper proposed a novel spatiotemporal fusion algorithm based on superresolution reconstruction,used the single image superresolution reconstruction technique to construct the intermediate resolution images,and then these intermediate resolution images are applied to construct the coupled dictionary model.The high spatial resolution and high temporal resolution images are predicted based on these coupled dictionary model and sparse representation theory. Experimental results demonstrate that the proposed approach can raise the ERGAS index by 10%.

spatiotemporal fusion; superresolution reconstruction; coupled ditionary model; sparse representation

TP751

A

1007-7820(2017)11-056-04

2017- 01- 06

國(guó)家自然科學(xué)基金(41571362)；青海省地理空間信息技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室基金(QDXS-2017-01)

張亞坤(1989-)，男，碩士研究生。研究方向：遙感影像重建與融合。張洪艷(1983-)，男，博士，教授。研究方向：遙感信息處理與應(yīng)用。

10.16180/j.cnki.issn1007-7820.2017.11.016