基于Seq2Seq模型的GRACE降尺度研究

呂博文，陳 雨

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

隨著全球人口和水需求的增加，監(jiān)控全球水的儲(chǔ)量與趨勢(shì)對(duì)于水資源管理、危害分析與減災(zāi)以及糧食安全是十分有必要的，而擁有高分辨率且連續(xù)的水文數(shù)據(jù)對(duì)于預(yù)測(cè)水文氣候趨勢(shì)和水資源可用性至關(guān)重要［1-4］。在全球水資源總體儲(chǔ)量中，淡水儲(chǔ)量占比不到百分之三，而可供人開采飲用的部分中，地表水所占比重僅為0.39%，地下水量占比則達(dá)到了30.06%［5］。傳統(tǒng)監(jiān)測(cè)地下水儲(chǔ)量變化（GWSA）的手段有很大局限性，如偏遠(yuǎn)地區(qū)測(cè)量難度大、設(shè)備維護(hù)不易等。重力恢復(fù)和氣候試驗(yàn)（gravity recovery and climate experiment，GRACE）衛(wèi)星的發(fā)射為區(qū)域水儲(chǔ)量估算提供了一種新的手段［6］。GRACE 衛(wèi)星可以獲取全球重力場(chǎng)的微小變化，通過反演可得到陸地水儲(chǔ)量變化，從而可以間接監(jiān)測(cè)到地下水儲(chǔ)量變化［7］。但是由于GRACE 數(shù)據(jù)本身的低空間分辨率，使得其在中、小尺度區(qū)域上的應(yīng)用受到了很大限制。近年來，研究人員為了克服GRACE 數(shù)據(jù)低空間分辨率的限制，做了很多降尺度的研究，降尺度一般分為動(dòng)態(tài)降尺度與統(tǒng)計(jì)降尺度［8］，相比于動(dòng)態(tài)降尺度，統(tǒng)計(jì)降尺度有著計(jì)算簡(jiǎn)單、誤差小等優(yōu)勢(shì)，統(tǒng)計(jì)降尺度是通過獲取預(yù)測(cè)因子與被預(yù)測(cè)因子的統(tǒng)計(jì)經(jīng)驗(yàn)關(guān)系，將經(jīng)驗(yàn)關(guān)系用于高分辨率的預(yù)測(cè)因子，從而得到高分辨率的被預(yù)測(cè)因子。早期的統(tǒng)計(jì)降尺度方法一般采用非線性回歸建立預(yù)測(cè)因子與被預(yù)測(cè)因子的統(tǒng)計(jì)經(jīng)驗(yàn)關(guān)系，隨著計(jì)算機(jī)技術(shù)的發(fā)展，很多機(jī)器學(xué)習(xí)方法被用于GRACE 統(tǒng)計(jì)降尺度的研究。主要用到的方法有隨機(jī)森林回歸［9］、增強(qiáng)回歸樹［10］、人工神經(jīng)網(wǎng)絡(luò)（ANN）［11］等。

目前的GRACE 統(tǒng)計(jì)降尺度研究中，尋求的是單月的預(yù)測(cè)因子與單月GRACE 之間的經(jīng)驗(yàn)關(guān)系，但是對(duì)于時(shí)間步長(zhǎng)大于1情況下的關(guān)系探尋的研究很少。基于以上情況，本文采用Seq2Seq模型提取作為預(yù)測(cè)因子的氣象遙感數(shù)據(jù)的時(shí)間特征，并用于預(yù)測(cè)其對(duì)應(yīng)的GRACE 數(shù)據(jù)，然后結(jié)合高分辨率的氣象遙感數(shù)據(jù)將美國(guó)加利福尼亞州月尺度的GRACE 數(shù)據(jù)分辨率從1°×1°提高為0.1°×0.1°，并結(jié)合實(shí)測(cè)數(shù)據(jù)驗(yàn)證降尺度結(jié)果，以論證該模型在GRACE降尺度上的可行性。

1 研究數(shù)據(jù)

1.1 GRACE數(shù)據(jù)

GRACE 數(shù)據(jù)是美國(guó)NASA（美國(guó)國(guó)家航空航天局）一組GRACE 衛(wèi)星測(cè)量地球重力場(chǎng)變化的數(shù)據(jù)。通過反演算法能夠解算出地球等效水高、地球冰川、地殼形變等物理量的變化。本文采用的是JPL 發(fā)布的Level-3-RL06-v04 版本的GRACE 數(shù)據(jù)集，其反映的是地球等效水高的變化量，空間分辨率為1°×1°，包含2002 年4 月到2017年6月共183個(gè)月份的數(shù)據(jù)（有缺失月份），數(shù)據(jù)下載地址為https://podaac.jpl.nasa.gov/GRACE。

1.2 氣象遙感數(shù)據(jù)

本文用于模型預(yù)測(cè)的氣象遙感數(shù)據(jù)有地表溫度（land surface temperature, LST）、歸一化植被指數(shù)（normalized difference vegetation index,NDVI）和降雨。其中LST 數(shù)據(jù)和NDVI 數(shù)據(jù)來自美國(guó)地質(zhì)調(diào)查局（Geological Survey, USGS）和陸地過程分布式數(shù)據(jù)檔案中心（land processes distributed active archive center, LPDAAC）發(fā)布的MODIS 數(shù)據(jù)產(chǎn)品。LST、NDVI 分別選用了MOD11C3、MOD13C2 產(chǎn)品，提供的是0.05°×0.05°的月度LST 和NDVI。降雨數(shù)據(jù)是NASA 全球降雨測(cè)量的IMERG 月度產(chǎn)品，其空間分辨率為0.1°×0.1°。三種數(shù)據(jù)選取的時(shí)間范圍均為2002年4月到2017年6月共183個(gè)月份。

1.3 地下水?dāng)?shù)據(jù)

本文選取美國(guó)加州自然資源局開放數(shù)據(jù)門戶發(fā)布的連續(xù)地下水位測(cè)量數(shù)據(jù)（https://wdl.water.ca.gov/waterdatalibrary），用作降尺度結(jié)果驗(yàn)證。

2 模型與方法

2.1 LSTM

對(duì)于時(shí)間序列，其特征復(fù)雜，傳統(tǒng)的基于統(tǒng)計(jì)學(xué)的方法難以獲取準(zhǔn)確的時(shí)間特征。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 提供了一種全新的能提取數(shù)據(jù)時(shí)間特征的方法，但是RNN 網(wǎng)絡(luò)在短的時(shí)間步長(zhǎng)表現(xiàn)良好，而在長(zhǎng)時(shí)間步長(zhǎng)的訓(xùn)練過程中容易出現(xiàn)梯度消失或梯度爆炸現(xiàn)象［12］。Hochreiter等［13］提出的長(zhǎng)短時(shí)記憶（long short-term memory，LSTM）網(wǎng)絡(luò)結(jié)構(gòu)克服了這方面的問題，在提取時(shí)間特征時(shí)的效果顯著提高。

所有的循環(huán)神經(jīng)網(wǎng)絡(luò)都具有神經(jīng)網(wǎng)絡(luò)重復(fù)模塊鏈的形式，在標(biāo)準(zhǔn)RNN 中，這個(gè)重復(fù)模塊是一個(gè)非常簡(jiǎn)單tanh層結(jié)構(gòu)，而LSTM 網(wǎng)絡(luò)是一種特殊的RNN 網(wǎng)絡(luò)，Hochreiter等［13］通過設(shè)計(jì)特殊的結(jié)構(gòu)（見圖1）取代RNN 中簡(jiǎn)單的線性神經(jīng)元，來學(xué)習(xí)數(shù)據(jù)的長(zhǎng)期依賴關(guān)系。

圖1 LSTM Cell結(jié)構(gòu)

LSTM 能學(xué)習(xí)長(zhǎng)期依賴關(guān)系的關(guān)鍵在于其結(jié)構(gòu)中的細(xì)胞狀態(tài)Cell，它在整個(gè)網(wǎng)絡(luò)運(yùn)行過程中只會(huì)經(jīng)歷一些簡(jiǎn)單的線性變換，信息能更好地保留，然后通過門結(jié)構(gòu)對(duì)細(xì)胞狀態(tài)中的信息進(jìn)行刪除和添加。其中遺忘門ft決定上一時(shí)刻Ct-1中的哪些信息會(huì)被丟棄。更新門it決定向細(xì)胞狀態(tài)中添加哪些信息。而輸出門Ot決定的是該LSTM Cell 的最終輸出，這些過程對(duì)應(yīng)于以下計(jì)算公式：

其中：σ是Sigmoid 激活函數(shù)，ht-1是t-1 時(shí)刻的隱藏層權(quán)重，Ct-1是t-1 時(shí)刻的細(xì)胞狀態(tài)值，W,b是不同門結(jié)構(gòu)的權(quán)重與偏置。

2.2 Seq2Seq

LSTM網(wǎng)絡(luò)雖然在長(zhǎng)期依賴問題上比RNN做的更好，但是在處理高度非線性、時(shí)間間隔長(zhǎng)的數(shù)據(jù)時(shí)，很難直觀地獲取到準(zhǔn)確的時(shí)間序列的復(fù)雜特征。在考慮數(shù)據(jù)的時(shí)序特性時(shí)，本文的降尺度問題可以看作是多對(duì)多的序列到序列問題，因此，本文采用基于注意力機(jī)制的Seq2Seq 模型［14］來學(xué)習(xí)輸入時(shí)序到輸出時(shí)序的對(duì)應(yīng)關(guān)系，其結(jié)構(gòu)如圖2所示。

圖2 Seq2Seq模型結(jié)構(gòu)

在模型中，編碼器的主要任務(wù)是將輸入序列編碼為固定長(zhǎng)度的向量表示，以捕捉輸入時(shí)序的時(shí)間特征。常用的編碼器結(jié)構(gòu)包括RNN、CNN 等，本文的模型采用的是雙向LSTM，雙向LSTM 不僅能捕捉過去的信息，還能捕捉后續(xù)的信息，相比于單向LSTM 對(duì)時(shí)間特征的捕捉能力更強(qiáng)；解碼器則是將特征解碼為可變長(zhǎng)度的輸出序列，對(duì)于時(shí)間序列任務(wù)，解碼器一般是單向的RNN 模型，本文的解碼器采用的是結(jié)合注意力機(jī)制的單向LSTM，注意力機(jī)制會(huì)計(jì)算編碼器每個(gè)時(shí)刻的輸出與解碼器當(dāng)前時(shí)刻隱藏層狀態(tài)向量的權(quán)重，從而決定當(dāng)前時(shí)刻解碼器的輸出更注重哪個(gè)時(shí)刻的編碼器輸出，這就使得整個(gè)模型在長(zhǎng)序列任務(wù)上的魯棒性更強(qiáng)。

3 模型訓(xùn)練

3.1 數(shù)據(jù)預(yù)處理

對(duì)于LST、NDVI和降雨數(shù)據(jù)，其原始空間分辨率分別為0.05°×0.05°、0.05°×0.05°和0.1°×0.1°，本文使用最近鄰重采樣將這三種數(shù)據(jù)重采樣至1°×1°，與GRACE 數(shù)據(jù)原始空間分辨率保持一致，另外，LST 和NDVI 數(shù)據(jù)需要再重采樣一份到0.1°×0.1°的空間分辨率，與降雨數(shù)據(jù)原始分辨率保持一致，用于組成高分辨率的預(yù)測(cè)因子。由于GRACE 數(shù)據(jù)中存在缺失月份，不能直接作為時(shí)間序列使用。本文采用線性插值方法填補(bǔ)空缺月份數(shù)據(jù)。

由于LSTM 網(wǎng)絡(luò)激活函數(shù)采用tanh 激活函數(shù)。tanh 激活函數(shù)可將輸入從[-∞, +∞]映射到[-1,1]之間,但是當(dāng)輸入值很大時(shí)，其梯度幾乎為0，導(dǎo)致使用梯度優(yōu)化算法時(shí)權(quán)重更新很慢，因此還要把輸入數(shù)據(jù)歸一化到[-1,1]之間。

3.2 超參數(shù)設(shè)置

Seq2Seq 模型中的超參數(shù)主要有編碼器、解碼器里L(fēng)STM 的隱藏神經(jīng)元個(gè)數(shù)和輸入數(shù)據(jù)的時(shí)間步長(zhǎng)。為了方便注意力機(jī)制的計(jì)算，一般將編碼器和解碼器的隱藏層神經(jīng)元個(gè)數(shù)設(shè)置相同。本文采用遺傳算法（genetic algorithm，GA）優(yōu)化模型超參數(shù)。GA 算法是借鑒了自然進(jìn)化規(guī)律而設(shè)計(jì)出的一種尋找全局最優(yōu)解的模型，通過群體N代間的不斷遺傳、交叉、變異找到問題的最優(yōu)解。實(shí)驗(yàn)將編碼器與解碼器的隱藏神經(jīng)元設(shè)置為2 的4～8 次方，時(shí)間步長(zhǎng)設(shè)置為1～12，隨機(jī)產(chǎn)生8 個(gè)群體，通過20 代的遺傳進(jìn)化找到最優(yōu)解，最后綜合每種超參數(shù)組合下的模型評(píng)價(jià)指標(biāo)（見4.1 小節(jié)）選擇最優(yōu)模型，實(shí)驗(yàn)結(jié)果表明當(dāng)編碼器與解碼器的隱藏神經(jīng)元個(gè)數(shù)為64，時(shí)間步長(zhǎng)為12時(shí)，模型表現(xiàn)最佳。

3.3 模型訓(xùn)練

本文的研究地區(qū)為美國(guó)加利福尼亞州的15個(gè)點(diǎn)位，其中12 個(gè)點(diǎn)位（80%）的數(shù)據(jù)用作訓(xùn)練集，3個(gè)點(diǎn)位（20%）的數(shù)據(jù)用于測(cè)試，每個(gè)點(diǎn)位的數(shù)據(jù)都是2002 年4 月到2017 年6 月共183 個(gè)月份的數(shù)據(jù)。為了防止訓(xùn)練出現(xiàn)過擬合，本文在編碼器和解碼器后面都加了一層Dropout層［15］，并且模型最后的輸出層使用RReLU 非飽和激活函數(shù)［16］。GA 算法的實(shí)現(xiàn)采用了Python 分布式進(jìn)化算法庫（DEAP）。模型運(yùn)行環(huán)境主要基于PyTorch 1.11.0版本搭建而成，Python版本為3.8，運(yùn)行系統(tǒng)為64位Windows10系統(tǒng)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 模型評(píng)價(jià)

本文采用的模型評(píng)價(jià)標(biāo)準(zhǔn)是均方根誤差RMSE、納什系數(shù)NSE和相關(guān)系數(shù)r。

RMSE是一種估計(jì)測(cè)量方法，計(jì)算的是預(yù)測(cè)值與實(shí)際值之間的數(shù)值差異。RMSE的值域?yàn)閇0, + ∞)，誤差越小，RMSE越小。其表達(dá)式為

NSE系數(shù)可以測(cè)量模型相對(duì)于實(shí)際數(shù)據(jù)平均值的預(yù)測(cè)能力，用來表明實(shí)際值與模型預(yù)測(cè)數(shù)據(jù)的曲線是否符合1∶1 的線性關(guān)系，可以用于對(duì)比不同模型對(duì)同一數(shù)據(jù)的擬合優(yōu)度。NSE取值為負(fù)無窮至1，NSE接近1，表示模式質(zhì)量好，模型可信度高；NSE接近0，表示模擬結(jié)果接近觀測(cè)值的平均值水平，即總體結(jié)果可信，但過程模擬誤差大；NSE遠(yuǎn)遠(yuǎn)小于0，則模型是不可信的。計(jì)算公式如下：

相關(guān)系數(shù)r是衡量向量相似度的一種方法，可以用來表示未來結(jié)果在多大程度上可被模型預(yù)測(cè)，取值范圍為[-1,1]，正值表示正相關(guān)，且越接近1表示越相關(guān)。其計(jì)算公式如下：

圖3 實(shí)測(cè)地下水驗(yàn)證

在使用相同數(shù)據(jù)的情況下，本文分別訓(xùn)練了Seq2Seq 模型、LSTM 模型以作對(duì)比，其中LSTM 模型的超參數(shù)同樣通過GA 算法進(jìn)行調(diào)優(yōu)，實(shí)驗(yàn)結(jié)果為隱藏層神經(jīng)元個(gè)數(shù)為64，時(shí)間步長(zhǎng)為6時(shí)表現(xiàn)最佳。訓(xùn)練好的模型在測(cè)試集的評(píng)價(jià)指標(biāo)見表1?？梢钥闯鲈谌N評(píng)價(jià)指標(biāo)中，Seq2Seq 模型的表現(xiàn)強(qiáng)于LSTM 模型，說明Seq2Seq 模型在時(shí)間特征的提取與利用上要優(yōu)于LSTM模型。

表1 模型表現(xiàn)

4.2 降尺度結(jié)果分析

本文使用實(shí)測(cè)地下水?dāng)?shù)據(jù)來驗(yàn)證GRACE 降尺度結(jié)果。首先，使用地下水?dāng)?shù)據(jù)驗(yàn)證GRACE降尺度結(jié)果前需要經(jīng)過一定處理，根據(jù)GRACE數(shù)據(jù)的官方說明可知，GRACE 數(shù)據(jù)是減去了2005 年到2010 年平均值的，于是對(duì)應(yīng)的地下水水位數(shù)據(jù)也需要經(jīng)過相同的處理。本文從美國(guó)加利福尼亞州的連續(xù)地下水?dāng)?shù)據(jù)中選取了4個(gè)點(diǎn)位作為驗(yàn)證區(qū)，編號(hào)No1～No4。然后向訓(xùn)練好的模型輸入0.1°×0.1°的由LST、NDVI 和降雨組成的輸入數(shù)據(jù)，得到降尺度后的GRACE 數(shù)據(jù)，結(jié)果如圖3所示。

圖3 中，從左到右分別為驗(yàn)證區(qū)No1～No2、No3～No4，圖中的實(shí)線obs 為地下水實(shí)測(cè)值，虛線pre 為降尺度后的GRACE 數(shù)據(jù)?？梢钥闯?，降尺度后的GRACE 數(shù)據(jù)與實(shí)測(cè)地下水的整體趨勢(shì)基本一致，能夠通過降尺度后的GRACE 數(shù)據(jù)反映地下水的變化。

通過對(duì)比計(jì)算實(shí)測(cè)地下水與降尺度后的GRACE 數(shù)據(jù)的相關(guān)系數(shù)（結(jié)果見表2），可以看出Seq2Seq模型的降尺度結(jié)果整體表現(xiàn)良好，相比于LSTM能捕獲更多的時(shí)間特征。

表2 降尺度結(jié)果驗(yàn)證

5 結(jié)語

本文通過基于注意力機(jī)制的Seq2Seq模型獲取LST、NDVI、降雨三種時(shí)間序列與GRACE 序列的對(duì)應(yīng)關(guān)系，將美國(guó)加利福尼亞州地區(qū)2002—2017 年的GRACE 數(shù)據(jù)的空間分辨率從1°×1°提高為0.1°×0.1°。實(shí)現(xiàn)了一種基于時(shí)間序列映射到時(shí)間序列的降尺度方法。并且通過對(duì)比降尺度后的GRACE 數(shù)據(jù)與實(shí)測(cè)陸地水儲(chǔ)量變化量的差異可以發(fā)現(xiàn)，Seq2Seq 模型捕獲的時(shí)間特征相比于LSTM 模型更多，更適用于GRACE降尺度的研究。

鑒于當(dāng)前研究中存在的不足，后續(xù)可以進(jìn)行更深入的改進(jìn)。首先是本文選用的預(yù)測(cè)因子僅為L(zhǎng)ST、NDVI和降雨，雖然有數(shù)據(jù)獲取容易、降低模型復(fù)雜度等優(yōu)勢(shì)，但是因?yàn)闆]有考慮蒸散發(fā)、人為因素等對(duì)GRACE 數(shù)據(jù)的影響，降低了降尺度的準(zhǔn)確度，在對(duì)準(zhǔn)確度要求較高的應(yīng)用中需要將這些因素考慮進(jìn)去。另外由于GRACE 數(shù)據(jù)存在缺失月份，本文使用線性插值進(jìn)行了補(bǔ)全，但是也帶來了新的不確定性，這可能會(huì)丟失部分時(shí)間特征。而隨著GRACE-FO衛(wèi)星的升空，繼續(xù)執(zhí)行重力場(chǎng)探測(cè)任務(wù)，這意味著會(huì)有更多的訓(xùn)練數(shù)據(jù)，這將更有利于深度學(xué)習(xí)模型發(fā)揮自身的優(yōu)勢(shì)，得到更準(zhǔn)確的預(yù)測(cè)結(jié)果。