基于深度學(xué)習(xí)與超分辨率重建的遙感高時(shí)空融合方法*

張永梅，滑瑞敏，馬健喆，胡 蕾

(1.北方工業(yè)大學(xué)信息學(xué)院,北京 100144；2.香港理工大學(xué)電子與信息工程系，香港 00852； 3.江西師范大學(xué)計(jì)算機(jī)信息工程學(xué)院，江西 南昌 330022)

1 引言

受限于衛(wèi)星傳感器的硬件條件與發(fā)射成本，在可獲取的單一遙感數(shù)據(jù)中，其空間分辨率和時(shí)間分辨率成為一對(duì)矛盾體[1 - 3]，若想要盡可能地提高遙感影像的空間分辨率，結(jié)果則可能引發(fā)“時(shí)間數(shù)據(jù)缺失”[4]，反之難免又會(huì)犧牲影像的空間分辨率，制約了遙感影像的應(yīng)用。在早期發(fā)射升空的衛(wèi)星傳感器所得到的數(shù)據(jù)中這種表現(xiàn)尤為明顯[5]，造成了對(duì)一直以來積累下來的龐大數(shù)據(jù)難以直接利用。

多源遙感圖像融合是指將不同傳感器獲得的同一場(chǎng)景的圖像或者同一傳感器在不同時(shí)刻獲得的同一場(chǎng)景圖像，經(jīng)過相應(yīng)處理后，再運(yùn)用某種融合技術(shù)得到一幅合成圖像的過程[6]，其為解決上述遙感影像時(shí)空矛盾問題提供了一條出路，即遙感影像的時(shí)空融合方法。

傳統(tǒng)的時(shí)空融合模型包括基于變換的模型和基于像元重構(gòu)的模型[4]。基于變換的模型是指對(duì)遙感影像進(jìn)行數(shù)據(jù)變換(如小波分解等)后，對(duì)變換所得數(shù)據(jù)進(jìn)行融合處理，最后再進(jìn)行反變換從而得到想要的未知時(shí)刻高分辨率影像。如Malenovsk等[7]利用小波變換對(duì)MODIS(MODerate-resolution Imaging Spectroradiometer)影像的低頻信息和Landsat影像的高頻信息進(jìn)行融合，驗(yàn)證了MODIS與Landsat影像融合的可能性，但其所得結(jié)果的分辨率只達(dá)到了240 m，且在有變化發(fā)生的區(qū)域效果較差；基于像元重構(gòu)的模型主要是將低空間分辨率圖像進(jìn)行像元分解，計(jì)算出不同時(shí)相上遙感影像的變化關(guān)系，同時(shí)還需求出不同分辨率影像間的變化關(guān)系，再通過插值得到未知時(shí)刻的高空間分辨率圖像。如在時(shí)空融合領(lǐng)域影響最為深遠(yuǎn)的時(shí)空自適應(yīng)反射率融合模型STARFM(Spatial Temporal Adaptive Reflectance Fusion Model)[8]屬于基于像元重構(gòu)的模型，該模型在融合過程中不僅考慮了空間的差異性，而且還考慮了時(shí)間的差異性，是目前應(yīng)用最廣泛的時(shí)空融合模型之一，但在地物覆蓋復(fù)雜、像元混合嚴(yán)重時(shí)往往精度較差。

隨著機(jī)器學(xué)習(xí)的蓬勃發(fā)展，基于學(xué)習(xí)的遙感影像時(shí)空融合模型應(yīng)運(yùn)而生，如趙永光等[9]提出了一種利用稀疏表示對(duì)低空間分辨率圖像進(jìn)行超分辨率重建，再對(duì)數(shù)據(jù)進(jìn)行高通濾波后融合的方法，取得了良好的融合效果。但是，通?；趯W(xué)習(xí)的模型使用淺層學(xué)習(xí)較多，同時(shí)方法復(fù)雜度較高，運(yùn)行效率低，較難實(shí)現(xiàn)大區(qū)域的融合，且在空間分辨率上不宜相差過大，一般只有4倍左右[2]。

為了實(shí)現(xiàn)融合質(zhì)量的進(jìn)一步提升，本文選擇將學(xué)習(xí)能力更強(qiáng)、特征提取更有力的深度學(xué)習(xí)方式引入遙感時(shí)空融合中。在現(xiàn)有基于學(xué)習(xí)的遙感影像時(shí)空融合的基礎(chǔ)上，通過對(duì)SRCNN (Super Resolution Convolutional Neural Network)網(wǎng)絡(luò)進(jìn)行二次學(xué)習(xí)的方法來重建低分辨率圖像。SRCNN網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，可以相對(duì)緩解本文方法復(fù)雜度的提升，而二次學(xué)習(xí)的方式可以緩解融合時(shí)分辨率差距過大的影響。本文基于STARFM的基本思想，在融合過程中采用神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征，學(xué)習(xí)映射關(guān)系，代替原本在滑動(dòng)窗口內(nèi)篩選相似像元與計(jì)算其權(quán)重的過程。實(shí)驗(yàn)表明，本文方法改善了遙感影像時(shí)空融合的質(zhì)量。

2 基于改進(jìn)STARFM的遙感高時(shí)空融合方法

2.1 基于深度學(xué)習(xí)的超分辨率重建方法

由于衍射現(xiàn)象的存在，通常成像系統(tǒng)所能達(dá)到的最高分辨率受限于成像光學(xué)器件本身，傳統(tǒng)改善圖像質(zhì)量方法難以復(fù)原出系統(tǒng)在截止頻率以外的信息[10]，而超分辨率重建SR(Super resolution Restoration)技術(shù)采用信號(hào)處理方法，能夠重建出成像系統(tǒng)截止頻率之外的信息，從而得到高于成像系統(tǒng)分辨率的圖像[11]。

傳統(tǒng)的超分辨率重建技術(shù)分為基于重建的方法和基于淺層學(xué)習(xí)的方法[12]?；谥亟ǖ姆椒▽⒍喾头直媛蕡D像進(jìn)行亞像素精度對(duì)齊來求出不同分辨率圖像之間的運(yùn)動(dòng)偏移量，從而構(gòu)建出空間運(yùn)動(dòng)參數(shù)，再通過各種先驗(yàn)約束條件與最優(yōu)解來重建出高分辨率圖像[13]?；跍\層學(xué)習(xí)的方法旨在通過學(xué)習(xí)獲得高低分辨率圖像之間的映射關(guān)系來指導(dǎo)圖像的重建，通常分為特征提取、學(xué)習(xí)和重建3個(gè)階段，且各階段相互獨(dú)立[14]，導(dǎo)致淺層學(xué)習(xí)特征提取與表達(dá)能力有限，有待進(jìn)一步加強(qiáng)。

近年來，深度學(xué)習(xí)技術(shù)發(fā)展迅猛。在超分辨率重建問題中使用深度學(xué)習(xí)網(wǎng)絡(luò)，在結(jié)構(gòu)上仍需參考傳統(tǒng)超分辨率重建方法的思想進(jìn)行設(shè)計(jì)，使其作為預(yù)測(cè)器能夠輸出較為準(zhǔn)確的預(yù)測(cè)值[15]。

香港中文大學(xué)Dong等人[16]于2016年首次將卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolution Neural Network)應(yīng)用于超分辨率重建中，提出了一種新的網(wǎng)絡(luò)SRCNN。首先從深度學(xué)習(xí)與傳統(tǒng)稀疏編碼SC(Sparse Coding)之間的關(guān)系入手，將網(wǎng)絡(luò)分為圖像塊提取、非線性映射和圖像重建3個(gè)階段，使其分別對(duì)應(yīng)于深度卷積神經(jīng)網(wǎng)絡(luò)框架中的3個(gè)卷積層，統(tǒng)一于該神經(jīng)網(wǎng)絡(luò)之中，從而實(shí)現(xiàn)了由低分辨率圖像到高分辨率圖像的超分辨率重建。該網(wǎng)絡(luò)直接學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的端到端映射，除了優(yōu)化之外，幾乎不需要預(yù)處理和后處理。

在SRCNN中使用的3個(gè)卷積層卷積核大小分別為9×9，1×1和5×5，前2個(gè)輸出的特征個(gè)數(shù)分別為64和32。SRCNN將稀疏編碼的過程視為一種卷積運(yùn)算，網(wǎng)絡(luò)設(shè)計(jì)簡(jiǎn)單，并且重建效果相比作為淺層學(xué)習(xí)代表的SCSR(Sparse Coding based Super Resolution)[17]方法也有較大改善，是一種具有參考性的超分辨率重建方法。本文將通過二次學(xué)習(xí)方式，將其引入遙感影像時(shí)空融合中，從而提高低分辨率遙感圖像重建效果。

本文采用SRCNN方法對(duì)低空間分辨率數(shù)據(jù)進(jìn)行超分辨率重建，以代替STARFM方法中低空間分辨率圖像的重采樣過程，然而由于本文使用的MOD09Q1遙感影像只有250 m空間分辨率，像元混合現(xiàn)象嚴(yán)重，而Landsat8遙感影像具有30 m空間分辨率，二者之間的分辨率相差8～9倍，描述空間細(xì)節(jié)信息的能力差距較大；并且由于得到遙感影像的不同傳感器之間存在著各種差異(幾何誤差)，使得圖像之間即使同一時(shí)刻同一位置的像素反射率也有較大差異，故將SRCNN直接引入至遙感影像的時(shí)空融合比較困難。

基于學(xué)習(xí)模型的融合方法中影像之間的空間分辨率差距不宜過大，一般在4倍左右，差距過大容易造成深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練困難，對(duì)低分辨率圖像進(jìn)行分辨率增強(qiáng)的效果欠佳，像元混合嚴(yán)重的現(xiàn)象較難緩解。

為解決上述問題，本文選擇了一種進(jìn)行二次學(xué)習(xí)的方法，先將低空間分辨率遙感影像從250 m分辨率經(jīng)過學(xué)習(xí)重建至90 m分辨率，再重建至30 m分辨率，從而保證了2次學(xué)習(xí)過程中分辨率差距均在4倍之內(nèi)。超分辨率重建方法流程如圖1所示。

Figure 1 Flow chart of the super-resolution reconstruction method圖1 本文超分辨率重建方法技術(shù)路線

首先將具有30 m空間分辨率的Landsat8遙感影像使用最近鄰法降采樣到90 m分辨率，同時(shí)將具有250 m空間分辨率的MOD09Q1遙感影像使用雙三次插值法重采樣到90 m分辨率。如圖2所示，經(jīng)過采樣后的遙感影像雖然形式上具有了相同的分辨率，但在空間細(xì)節(jié)上差距仍較大。本文使用SRCNN對(duì)采樣后的2組數(shù)據(jù)進(jìn)行第1次學(xué)習(xí)，得到90 m分辨率的MOD09Q1重建圖像。將得到的90 m分辨率重建圖像重采樣至30 m分辨率，與具有30 m分辨率的Landsat8原始數(shù)據(jù)一起利用SRCNN進(jìn)行第2次學(xué)習(xí)，得到具有30 m分辨率的MOD09Q1重建圖像，本文將該重建圖像作為時(shí)空融合模型中的低分辨率輸入數(shù)據(jù)。

Figure 2 Comparison of MOD09Q1 and Landsat8 both converted to 90-meter resolution in the study area (2018.10.29)圖2 研究區(qū)域(2018.10.29)不同傳感器 采樣至90 m分辨率的遙感影像對(duì)比圖

傳統(tǒng)STARFM方法的輸入只將MODIS數(shù)據(jù)通過插值法重采樣到Landsat8數(shù)據(jù)的分辨率即可，本文在使用SRCNN網(wǎng)絡(luò)進(jìn)行超分辨率重建時(shí)，將Landsat8數(shù)據(jù)作為MOD09Q1數(shù)據(jù)的先驗(yàn)知識(shí)進(jìn)行學(xué)習(xí)，一方面超分辨率重建的精度明顯優(yōu)于插值法重采樣結(jié)果，提升了STARFM的輸入質(zhì)量；另一方面，在學(xué)習(xí)過程中，能夠緩解由不同傳感器所造成的各種誤差，使重建得到的圖像在風(fēng)格與相似性上也與作為輸入的高分辨率圖像更加接近。故該方法能夠盡可能還原出高低分辨率數(shù)據(jù)之間原本的差異信息，使得融合結(jié)果更加準(zhǔn)確。

本文進(jìn)行二次學(xué)習(xí)的2個(gè)SRCNN網(wǎng)絡(luò)具有相同的結(jié)構(gòu)，區(qū)別只在于輸入和輸出不同，而且輸入和輸出的不同之處只體現(xiàn)在分辨率上，SRCNN網(wǎng)絡(luò)的訓(xùn)練過程通過圖像切塊進(jìn)行，故二次學(xué)習(xí)的2個(gè)網(wǎng)絡(luò)參數(shù)格式具有完全一致性，可以將訓(xùn)練好的用于第1次學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)遷移到用于第2次學(xué)習(xí)的網(wǎng)絡(luò)中，提高運(yùn)行效率，緩解深度學(xué)習(xí)所帶來的時(shí)間復(fù)雜度的升高。

本文重建方法提高了高時(shí)間分辨率、低空間分辨率數(shù)據(jù)的空間分辨率，已得到了一定精度的高時(shí)空分辨率數(shù)據(jù)，再將其輸入本文的改進(jìn)STARFM方法中，相當(dāng)于進(jìn)行了雙層時(shí)空融合，從而保證了較好的融合效果。

2.2 時(shí)空自適應(yīng)反射率融合模型

Gao等[8]提出的STARFM方法是遙感影像時(shí)空融合領(lǐng)域應(yīng)用最廣泛的一種方法。該方法在忽略幾何誤差和大氣校正誤差的情況下，假設(shè)低空間分辨率(如MODIS)像元的反射率可以表示為高空間分辨率(如Landsat)對(duì)應(yīng)像元反射率的線性組合。此時(shí)如果將低空間分辨率的遙感影像重采樣到分辨率相同的高分辨率遙感影像，則低空間分辨率像元與高空間分辨率對(duì)應(yīng)位置像元存在如下關(guān)系：

M(x,y,t)=L(x,y,t)+ε

(1)

其中,M(x,y,t)、L(x,y,t)分別表示在t時(shí)刻MODIS影像和Landsat影像在坐標(biāo)為(x,y)處像元的反射率，ε表示不同分辨率圖像由于傳感器不同等所造成的系統(tǒng)誤差。假設(shè)該ε不隨時(shí)間變化，若已有t0和tk時(shí)刻的MODIS數(shù)據(jù)，以及t0時(shí)刻的Landsat數(shù)據(jù)，則未知的tk時(shí)刻的MODIS數(shù)據(jù)可由式(2)求得：

L(x,y,tk)=

L(x,y,t0)+M(x,y,tk)-M(x,y,t0)

(2)

STARFM方法為避免假設(shè)所帶來的像元混合現(xiàn)象，通過滑動(dòng)窗口技術(shù)引入了鄰近像元信息，即:

(L(xi,yj,tk)+M(xi,yj,t0)-M(xi,yj,tk))

(3)

其中,w是滑動(dòng)窗口大小，n表示不同時(shí)間點(diǎn)的搖感影像進(jìn)行融合的數(shù)量，wi,j,k為相應(yīng)位置處像元對(duì)應(yīng)的權(quán)值大小。在STARFM方法中，還需對(duì)上述滑動(dòng)窗口中的相似像元進(jìn)行搜索，并排除劣質(zhì)像元，只有篩選得到的像元才配置非零權(quán)重，而在對(duì)篩選后相似像元配置權(quán)重時(shí)，需要綜合考慮像元間的光譜距離Si,j,k、時(shí)間距離Ti,j,k和空間距離Di,j,k等，其計(jì)算公式分別如下所示：

Si,j,k=|L(xi,yj,tk)-M(xi,yj,tk)|

(4)

Ti,j,k=|L(xi,yj,t0)-M(xi,yj,tk)|

(5)

(6)

Di,j,k=1.0+di,j,k/A

(7)

其中，A是一個(gè)常量，定義了Si,j,k、Ti,j,k與Di,j,k之間重要程度的比例。該相似像元的權(quán)重wi,j,k計(jì)算公式為：

wi,j,k=Si,j,k×Ti,j,k×Di,j,k

(8)

或

wi,j,k=ln(Si,j,k×B+1)×

ln(Ti,j,k×B+1)×Di,j,k

(9)

其中，B是取決于傳感器分辨率間差距的比例因子。求出滑動(dòng)窗口內(nèi)所有篩選后相似像元權(quán)重wi,j,k后，再對(duì)其進(jìn)行歸一化處理，即可求得聯(lián)合權(quán)重矩陣W，從而預(yù)測(cè)出未知時(shí)刻高分辨率遙感影像像素的分辨率。

由于MODIS影像和Landsat影像間分辨率差距過大，在重采樣的過程中像元混合嚴(yán)重，制約了STARFM方法預(yù)測(cè)的準(zhǔn)確率[9]，本文將引入改進(jìn)的SRCNN來克服這一現(xiàn)象，提高時(shí)空融合的質(zhì)量。

另外，STARFM在引入滑動(dòng)窗口技術(shù)時(shí)權(quán)重的計(jì)算取決于光譜距離、時(shí)間距離與空間距離的組合，可視為一種根據(jù)專家經(jīng)驗(yàn)知識(shí)提取的手工特征。本文基于STARFM的基本思想，采用SRCNN作為基本框架，利用神經(jīng)網(wǎng)絡(luò)來自動(dòng)計(jì)算該特征，充分利用深度學(xué)習(xí)強(qiáng)大的特征提取與表達(dá)能力，進(jìn)一步提高時(shí)空融合的質(zhì)量。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 研究區(qū)域及數(shù)據(jù)源

本文選擇在遙感時(shí)空融合領(lǐng)域中經(jīng)典的MODIS和Landsat數(shù)據(jù)進(jìn)行融合，充分利用二者分別在時(shí)間分辨率和空間分辨率上的優(yōu)勢(shì)。MODIS數(shù)據(jù)選擇了空間分辨率為250 m、重訪周期為1天的MOD09Q1(8天合成數(shù)據(jù))的第1波段紅色波段和第2波段近紅外波段數(shù)據(jù)；Landsat數(shù)據(jù)選取了空間分辨率為30 m、重訪周期為16天的Landsat8相應(yīng)的第4、5波段[18]，所舉圖例均以紅色波段實(shí)驗(yàn)數(shù)據(jù)作為代表。本文的研究區(qū)域位于陜蒙交界一帶，地理坐標(biāo)38°47′59″N ～ 39°12′5″N，110°20′35″E ～ 110°49′6″E，實(shí)驗(yàn)截取的地理范圍為45 km×45 km。

本文實(shí)驗(yàn)所用數(shù)據(jù)均來源于NASA官網(wǎng)USGS (https://earthexplorer.usgs.gov/)，選取了2015年～2019年該研究區(qū)域內(nèi)所有云量少于1%的數(shù)據(jù)。使用MCTK (MODIS Conversion Toolkit)工具將MODIS數(shù)據(jù)從HDF數(shù)據(jù)格式轉(zhuǎn)換為TIF數(shù)據(jù)格式，并重投影到UTM-WGS84坐標(biāo)系，所有數(shù)據(jù)均使用ENVI軟件根據(jù)對(duì)應(yīng)坐標(biāo)裁剪到指定區(qū)域并進(jìn)行配準(zhǔn)。從圖3可以看到，低分辨率的MOD09Q1影像在部分地區(qū)像元混合現(xiàn)象較嚴(yán)重。從圖4可以看到該研究區(qū)域地物類型復(fù)雜，包括水體、山脈、沙地、林地、耕地、建筑物、道路等，且部分地物相間分布。該研究區(qū)域?qū)儆谑褂脗鹘y(tǒng)時(shí)空融合方法較難處理的類型。

Figure 3 Comparison of MOD09Q1 and Landsat8 in the study area (2018.10.29)圖3 研究區(qū)域(2018.10.29)不同傳感器遙感影像對(duì)比圖

Figure 4 Landsat8 true color image in the study area (2019.04.23)圖4 研究區(qū)域(2019.4.23)Landsat8真彩色遙感影像圖

3.2 實(shí)驗(yàn)方法

3.2.1 超分辨率重建實(shí)驗(yàn)方法

傳統(tǒng)SRCNN在處理自然圖像時(shí)是一種單幅圖像超分辨率重建技術(shù)，即樣本和標(biāo)簽是基于同一幅圖像變換所得，在訓(xùn)練之前先將樣本圖像進(jìn)行降采樣得到分辨率僅為原始圖像1/3的低分辨率圖像；再將該降采樣圖像使用雙三次插值法放大至原樣本圖像尺寸，此時(shí)仍視其為低分辨率圖像，并作為SRCNN的輸入樣本。在進(jìn)行訓(xùn)練時(shí)，SRCNN將沒有經(jīng)過降采樣處理的原樣本圖像作為高分辨率先驗(yàn)知識(shí)進(jìn)行學(xué)習(xí)，再把訓(xùn)練得到的網(wǎng)絡(luò)作用于相同類型的測(cè)試集圖像上進(jìn)行檢測(cè)[16]。

本文在引入SRCNN時(shí)，進(jìn)行了2種嘗試。以上述第1次學(xué)習(xí)為例，方法1是直接使用高分辨率遙感影像進(jìn)行單幅圖像超分辨率重建，即使用上述傳統(tǒng)的SRCNN只訓(xùn)練降采樣后的90 m分辨率Landsat8圖像這一組數(shù)據(jù)，再將所得到的網(wǎng)絡(luò)作用于同一時(shí)刻同一地區(qū)的低分辨遙感影像，即經(jīng)過重采樣的90 m分辨率MOD09Q1數(shù)據(jù)，對(duì)比90 m分辨率的Landsat8數(shù)據(jù)檢測(cè)實(shí)驗(yàn)結(jié)果；方法2是使用已有的高分辨率圖像作為同一時(shí)刻同一地區(qū)的低分辨率圖像的先驗(yàn)知識(shí)進(jìn)行學(xué)習(xí)，本文采用經(jīng)過采樣后所得同為90 m分辨率的Landsat8圖像和MOD09Q1圖像2組數(shù)據(jù)來訓(xùn)練SRCNN，通過該網(wǎng)絡(luò)可以得到重建后90 m分辨率的MOD09Q1圖像，同樣對(duì)比降采樣的90 m分辨率Landsat8數(shù)據(jù)檢測(cè)實(shí)驗(yàn)結(jié)果。

在測(cè)試集上得到的實(shí)驗(yàn)結(jié)果對(duì)比圖如圖5所示(像素?cái)?shù)沒對(duì)應(yīng)是由于外圍元素卷積運(yùn)算時(shí)不填充)，從中可以看到，同樣以MOD09Q1數(shù)據(jù)信息作為基礎(chǔ)，相比方法1，方法2所得圖像在風(fēng)格上與Landsat8數(shù)據(jù)更為接近。本文采用均方誤差MSE(Mean Squared Error)作為損失函數(shù)來訓(xùn)練SRCNN。實(shí)驗(yàn)結(jié)果中方法1的MSE值為0.087 575 69，方法2的MSE值為0.042 040 63，方法2相比方法1的實(shí)驗(yàn)結(jié)果具有更豐富的空間細(xì)節(jié)信息。

Figure 5 Comparison of restructed images with 90-meter resolution by different methods in the study area (2015.7.1)圖5 研究區(qū)域(2015.7.1)不同方法重建得到 90 m分辨率的實(shí)驗(yàn)結(jié)果對(duì)比圖

本文使用方法2在第1次學(xué)習(xí)后得到了具有較高質(zhì)量90 m分辨率的MOD09Q1重建圖像，將該圖像重采樣至30 m分辨率后，再次利用SRCNN網(wǎng)絡(luò)使用方法2進(jìn)行第2次超分辨率重建。本次重建使用30 m分辨率的原始Landsat8遙感影像作為其先驗(yàn)知識(shí)，得到如圖6c所示30 m分辨率的第2次超分辨率重建結(jié)果。對(duì)比相應(yīng)的Landsat8數(shù)據(jù)，其MSE值為0.029 617 50。本文將該結(jié)果作為STARFM模型中低分辨率遙感影像的輸入。

圖6所示為本文通過二次學(xué)習(xí)進(jìn)行超分辨率重建得到的實(shí)驗(yàn)結(jié)果與原始數(shù)據(jù)對(duì)比圖，從中可以看到，圖6a～圖6d空間細(xì)節(jié)逐漸豐富。從整體角度來看，可以認(rèn)為實(shí)驗(yàn)是以圖6d作為圖6a的先驗(yàn)知識(shí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的，中間先經(jīng)過圖6b最終得到圖6c。圖6d作為先驗(yàn)知識(shí)空間細(xì)節(jié)信息最為豐富，但時(shí)間分辨率為16天，而實(shí)驗(yàn)得到的圖6c在空間細(xì)節(jié)上僅次于圖6d，且時(shí)間分辨率只有1天，本文將其與圖6d進(jìn)行時(shí)空融合，可以得到時(shí)間分辨率為1天、空間細(xì)節(jié)信息更為豐富的合成影像，進(jìn)一步提升了遙感影像時(shí)空融合的精度。

Figure 6 Comparison of original data and reconstructed results in the study area (2018.10.29)圖6 研究區(qū)域(2018.10.29,紅色波段) 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)結(jié)果對(duì)比圖

3.2.2 時(shí)空融合實(shí)驗(yàn)方法

STARFM作為應(yīng)用最為廣泛的時(shí)空融合模型，其基本原理經(jīng)過眾多實(shí)際應(yīng)用的考驗(yàn)，證實(shí)了其正確性與優(yōu)越性，并且在該過程中，其所存在的一些不足也被學(xué)者們加以改善。本文在3.2.1節(jié)通過二次學(xué)習(xí)使用SRCNN進(jìn)行超分辨率重建的方法，改善了其在低空間分辨率數(shù)據(jù)重采樣過程中像元混合嚴(yán)重所導(dǎo)致的精度不足現(xiàn)象。本文采用SRCNN作為基本框架，通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法來提取圖像特征，發(fā)現(xiàn)并學(xué)習(xí)高低分辨率數(shù)據(jù)之間的映射關(guān)系。

STARFM的基本思想就是利用已知時(shí)刻的高低空間分辨率數(shù)據(jù)和未知時(shí)刻的低空間分辨率數(shù)據(jù)來對(duì)未知時(shí)刻的高空間分辨率數(shù)據(jù)進(jìn)行預(yù)測(cè)，如式(2)所示。STARFM在具體實(shí)現(xiàn)時(shí)為了減輕像元混合現(xiàn)象的影響，通過滑動(dòng)窗口技術(shù)引入鄰近像元信息來計(jì)算中心像元的反射率，根據(jù)特定規(guī)則篩選出相似像元，并排除劣質(zhì)像元，根據(jù)圖像對(duì)間的光譜距離、時(shí)間距離以及窗口內(nèi)部的空間距離由特定的公式來計(jì)算出像元對(duì)應(yīng)的權(quán)重，得到滑動(dòng)窗口的權(quán)值矩陣[8]。

STARFM在實(shí)現(xiàn)過程中無論是在滑動(dòng)窗口內(nèi)篩選或排除像元時(shí)所用的規(guī)則，還是計(jì)算權(quán)重時(shí)所用的特定公式，都屬于專家知識(shí)范疇，即手工提取的特征。本文采用神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)來替代該過程，實(shí)現(xiàn)特征的自動(dòng)提取。

基于STARFM的基本思想，在已知t0時(shí)刻高分辨率數(shù)據(jù)與tk時(shí)刻低分辨率數(shù)據(jù)時(shí)，通過式(2)計(jì)算所得到的數(shù)據(jù)可視為預(yù)測(cè)理論值，本文將其作為學(xué)習(xí)樣本，并將對(duì)應(yīng)時(shí)刻的高分辨率實(shí)際數(shù)據(jù)作為標(biāo)簽，輸入SRCNN中進(jìn)行訓(xùn)練，即可學(xué)習(xí)得到預(yù)測(cè)理論值與實(shí)際標(biāo)簽間所存在的映射關(guān)系。STARFM所使用的滑動(dòng)窗口計(jì)算方法也是對(duì)該映射的一種直接計(jì)算方式。

圖7a為STARFM方法融合所得預(yù)測(cè)結(jié)果，本文使用上述網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如圖7b所示。

Figure 7 Comparison of fusion images by STARFM and the proposed method in the study area (2018.10.29)圖7 研究區(qū)域(預(yù)測(cè)2018.10.29,紅色波段) STARFM融合方法與本文改進(jìn)融合方法對(duì)比圖

從圖7中可以明顯看出，原先在MOD09Q1及其重建圖像中只顯示為圖像斑塊的地方(像元混合嚴(yán)重)，融合結(jié)果具有了與Landsat8原始影像相同的空間細(xì)節(jié)信息，預(yù)測(cè)結(jié)果對(duì)比真實(shí)結(jié)果MSE值為0.008 333 66。實(shí)驗(yàn)中圖7a與圖7b都是基于同樣的數(shù)據(jù)進(jìn)行融合，即低分辨率圖像均經(jīng)過本文2.1節(jié)超分辨率重建處理?？梢钥吹?，使用手工特征的STARFM方法融合預(yù)測(cè)的結(jié)果雖然也明顯呈現(xiàn)了更多的空間細(xì)節(jié)，圖像風(fēng)格也與Landsat8數(shù)據(jù)更加接近，但在部分區(qū)域圖像斑塊仍然較多，在細(xì)節(jié)上與本文的實(shí)驗(yàn)結(jié)果(圖7b)仍有一定差距，其作為融合預(yù)測(cè)結(jié)果與真實(shí)數(shù)據(jù)相比的MSE值為0.017 497 47。故采用神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征的方法相比利用滑動(dòng)窗口手工提取特征的方法提升了融合質(zhì)量。

3.2.3 實(shí)驗(yàn)結(jié)果與分析

本文已經(jīng)從主觀評(píng)價(jià)的角度對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析。此外，本文采用峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和結(jié)構(gòu)相似性SSIM(Structural Similarity Index)作為客觀評(píng)價(jià)指標(biāo)來對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行進(jìn)一步分析，其計(jì)算公式分別如下所示：

(10)

(11)

其中，MSE(f1,f2)表示2幅圖像的均方誤差，μ1、μ2、σ1、σ2分別表示2幅圖像的均值和方差，σ12表示2幅圖像間的協(xié)方差，C1、C2是用來維持穩(wěn)定的常數(shù)。

PSNR是一種應(yīng)用非常廣泛的圖像客觀評(píng)價(jià)指標(biāo)，PSNR越大表示圖像的失真越小，然而其作為一種基于誤差敏感的圖像質(zhì)量評(píng)價(jià)指標(biāo)，并未考慮到人眼的視覺特性(人眼對(duì)空間頻率較低的對(duì)比差異敏感度較高，對(duì)亮度對(duì)比差異的敏感度較色度高，對(duì)一個(gè)區(qū)域的感知結(jié)果會(huì)受到其周圍鄰近區(qū)域的影響等)，因而經(jīng)常出現(xiàn)評(píng)價(jià)結(jié)果與人的主觀感覺不一致的情況。而SSIM分別從亮度、對(duì)比度和結(jié)構(gòu)3方面來度量圖像相似性，SSIM值越大表示圖像相似性越高、失真越小，故本文采用PSNR和SSIM來衡量實(shí)驗(yàn)結(jié)果的優(yōu)劣。

表1給出了本文的客觀指標(biāo)評(píng)價(jià)結(jié)果。對(duì)比第2～4行數(shù)據(jù)可知，在重建至中間分辨率時(shí)，使用的2種重建方法的PSNR差距不大，但在SSIM上方法2優(yōu)勢(shì)明顯。通過對(duì)比第5行數(shù)據(jù)和第6行數(shù)據(jù)可知，本文采用的通過二次學(xué)習(xí)方式進(jìn)行SRCNN重建方法相比STARFM所使用的簡(jiǎn)單重采樣方法，PSNR和SSIM都高，尤其是在SSIM上提升效果顯著。通過對(duì)比最后2行數(shù)據(jù)可知，本文采用SRCNN自動(dòng)提取特征進(jìn)行融合的方法相比STARFM使用滑動(dòng)窗口技術(shù)人工提取特征進(jìn)行融合的方法，PSNR和SSIM都高,融合效果更好。通過對(duì)比客觀評(píng)價(jià)指標(biāo)，表明本文改進(jìn)方法提高了遙感數(shù)據(jù)時(shí)空融合的質(zhì)量。

Table 1 Objective evaluation results表1 客觀指標(biāo)評(píng)價(jià)結(jié)果

4 結(jié)束語

本文對(duì)傳統(tǒng)STARFM方法進(jìn)行了2點(diǎn)改進(jìn)，一方面基于學(xué)習(xí)的時(shí)空融合模型方法，對(duì)低空間分辨率數(shù)據(jù)進(jìn)行超分辨率重建來代替原來的直接重采樣方法。本文為了緩解分辨率差距過大的影響，通過二次學(xué)習(xí)方式，利用SRCNN網(wǎng)絡(luò)實(shí)現(xiàn)了低空間分辨率數(shù)據(jù)的超分辨率重建，并且在重建過程中使用了不同傳感器的高分辨率數(shù)據(jù)作為先驗(yàn)知識(shí)，豐富了低分辨率圖像的細(xì)節(jié)信息。另一方面，本文基于STARFM的基本思想，以SRCNN作為框架，在融合過程中采用深度學(xué)習(xí)自動(dòng)提取特征，相比原來利用滑動(dòng)窗口手工提取特征的方法，明顯改善了融合質(zhì)量。

本文提出的基于深度學(xué)習(xí)和超分辨率重建的時(shí)空融合方法，雖然取得了良好的融合結(jié)果，但算法時(shí)間復(fù)雜度較高。在進(jìn)行超分辨率重建時(shí)，本文選取了網(wǎng)絡(luò)設(shè)計(jì)相對(duì)簡(jiǎn)單的SRCNN，避免了其它更為復(fù)雜的網(wǎng)絡(luò)，在保證重建質(zhì)量的前提下不再提升復(fù)雜度。本文下一步將深入研究SRCNN的并行化方法，嘗試將2次超分辨率重建過程融入到深度學(xué)習(xí)中，并完善端到端的訓(xùn)練網(wǎng)絡(luò)，以降低本文方法的時(shí)間復(fù)雜度。

本文在進(jìn)行具體的時(shí)空融合時(shí)使用了神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征，學(xué)習(xí)從預(yù)測(cè)理論值到對(duì)應(yīng)標(biāo)簽間的映射關(guān)系，前期雖然需要付出較多的時(shí)間成本進(jìn)行學(xué)習(xí)，但在學(xué)習(xí)到映射關(guān)系后即可快速得到需要進(jìn)行融合預(yù)測(cè)的圖像。相對(duì)而言，傳統(tǒng)STARFM方法雖然不需要前期學(xué)習(xí)的時(shí)間成本，但每次進(jìn)行融合預(yù)測(cè)時(shí)都需要復(fù)雜度較高的大量計(jì)算，理論上，如若需要融合預(yù)測(cè)大量的數(shù)據(jù)，本文方法在時(shí)間復(fù)雜度上相對(duì)而言具有優(yōu)勢(shì)。