水文變異對深度學(xué)習(xí)模型訓(xùn)練性能的影響研究

師小雨 黃強(qiáng)

關(guān)鍵詞：水文變異；深度學(xué)習(xí)模型；預(yù)測性能；交叉驗證

０引言

隨著經(jīng)濟(jì)社會的快速發(fā)展和氣候變化，黃河流域極端氣象事件和水文事件頻發(fā)，由此引發(fā)水文序列變異，徑流時間序列呈現(xiàn)出強(qiáng)非線性、非平穩(wěn)性［１－２］。以往相關(guān)研究中采用統(tǒng)計模型預(yù)測長期徑流時均對其進(jìn)行一致性、平穩(wěn)性假設(shè)［３］。然而，實際應(yīng)用中水文序列變異會嚴(yán)重降低統(tǒng)計模型的預(yù)測精度，大多數(shù)研究忽視了此問題。

近年來，隨著計算機(jī)硬件性能的顯著提升，深度學(xué)習(xí)作為新型的數(shù)據(jù)驅(qū)動統(tǒng)計方法，可以從數(shù)據(jù)角度解析氣候水文變量間的非線性關(guān)系［４］。深度學(xué)習(xí)模型結(jié)構(gòu)為逐層堆疊，通過學(xué)習(xí)算法自動學(xué)習(xí)深層、本質(zhì)的特征［５］。Ｇａｏ等［６］利用ＬＳＴＭ、ＧＲＵ、ＡＮＮ這３個神經(jīng)網(wǎng)絡(luò)模型，根據(jù)流量、降水量數(shù)據(jù)對福建省沙溪進(jìn)行了短期徑流預(yù)測，結(jié)果表明，ＧＲＵ、ＬＳＴＭ模型比ＡＮＮ模型的預(yù)測精度高，ＧＲＵ模型與ＬＳＴＭ模型的預(yù)測精度幾乎相同，ＧＲＵ模型具有結(jié)構(gòu)簡單、參數(shù)少、訓(xùn)練時間短的優(yōu)點。Ｂａｉ等［７］采用級聯(lián)框架方法構(gòu)建Ｃ－ＬＳＴＭ模型，對盧布爾雅尼察河的逐日徑流進(jìn)行預(yù)測，結(jié)果表明，兩層ＬＳＴＭ模型較單層ＬＳＴＭ模型的預(yù)測精度高。然而，深度學(xué)習(xí)在水文預(yù)測中通常對時間序列做出平穩(wěn)性假設(shè)，缺乏考慮變化環(huán)境下的水文過程物理機(jī)制，難以獲取更加精準(zhǔn)的水文預(yù)測結(jié)果。

針對上述研究瓶頸，本文對長短時記憶神經(jīng)網(wǎng)絡(luò)（ＬＳＴＭ）模型的ｋ－ｆｏｌｄ交叉驗證方法進(jìn)行改進(jìn)，提出考慮變異點的ｋ－ｆｏｌｄ交叉驗證方法。選取黃河支流渭河華縣站和黑河祁連山站為研究對象，對比不同變異程度的中長期水文序列的預(yù)測結(jié)果，明晰水文變異對深度學(xué)習(xí)模型訓(xùn)練性能的影響。

１研究區(qū)概況

選取黃河支流渭河流域和黑河流域為研究區(qū)。渭河是黃河最大支流，屬大陸性季風(fēng)氣候區(qū)，冬冷夏熱，夏季降雨充沛，年降水量約５００～８００ｍｍ，汛期（６—９月）降水量約占年降水量的６０％［８］。黑河流域是中國西北地區(qū)的第二大內(nèi)陸流域，流經(jīng)青海省、甘肅省、內(nèi)蒙古自治區(qū)，干旱少雨，年降水量約４００ｍｍ，多年平均水面蒸發(fā)量約１６００ｍｍ［９－１０］。兩流域的氣溫、降水量、徑流量和水面蒸發(fā)量在時間維度和空間維度上都有顯著變化。采用渭河華縣站和黑河祁連山站１９６０—２０１０年徑流資料進(jìn)行深度學(xué)習(xí)模型訓(xùn)練性能分析。

２方法介紹

２．１ＬＳＴＭ模型

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的新方法，與其他機(jī)器學(xué)習(xí)方法的不同之處在于其具有“學(xué)習(xí)特征”［１１］，通過逐層堆疊多個隱藏層增加模型深度，能夠?qū)Ω呔S稀疏的數(shù)據(jù)進(jìn)行處理，具有更高的預(yù)測精度［１２］。循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）是專門用于處理時序數(shù)據(jù)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，具有自循環(huán)反饋的全連接神經(jīng)網(wǎng)絡(luò)，可以處理任意長度的時序數(shù)據(jù)［１３］。ＬＳＴＭ模型屬ＲＮＮ的變種，最早由ＪｕｅｒｇｅｎＳｃｈｍｉｄｈｕｂｅｒ提出。ＬＳＴＭ模型的特點是在ＲＮＮ的內(nèi)部神經(jīng)元結(jié)構(gòu)的基礎(chǔ)上添加閥門節(jié)點，閥門包括遺忘閥門、輸入閥門和輸出閥門［１４－１５］。通過閥門的開啟判斷該模型網(wǎng)絡(luò)的記憶態(tài)在當(dāng)前層輸出的結(jié)果是否達(dá)到閾值，再將輸出結(jié)果用于當(dāng)前層的計算。ＬＳＴＭ模型結(jié)構(gòu)見圖１（圖中：Ｃ代表記憶細(xì)胞，用來存儲數(shù)據(jù)序列的長期記憶；Ｈ代表短期記憶）。

２．２Ｍａｎｎ－Ｋｅｎｄａｌｌ檢驗方法

Ｍａｎｎ－Ｋｅｎｄａｌｌ（Ｍ－Ｋ）檢驗方法是基于原始時間序列秩次的一種非參數(shù)統(tǒng)計檢驗方法［１６］。采用Ｍ－Ｋ檢驗方法對華縣站和祁連山站１９６０—２０１０年月徑流序列進(jìn)行變異診斷。

２．３考慮變異點的ｋ－ｆｏｌｄ交叉驗證方法

ｋ－ｆｏｌｄ交叉驗證方法是一種評估具有有限數(shù)據(jù)樣本的機(jī)器學(xué)習(xí)模型性能的重采樣方法。該方法將數(shù)據(jù)集隨機(jī)劃分為ｋ個訓(xùn)練集和測試集，其中：１個樣本用于測試，ｋ－１個樣本用于訓(xùn)練［１７］。模型檢驗過程中每次更換訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，重復(fù)進(jìn)行ｋ次交叉驗證，利用誤差統(tǒng)計工具選擇最佳模型。在訓(xùn)練深度學(xué)習(xí)模型時，通常使用ｋ－ｆｏｌｄ交叉驗證法增強(qiáng)模型擬合效果，提高模型性能。

為評價水文變異點對深度學(xué)習(xí)模型預(yù)測性能的影響，基于ｋ－ｆｏｌｄ交叉驗證方法提出考慮變異點的ｋ－ｆｏｌｄ交叉驗證方法，其流程見圖２。首先將徑流時間序列劃分為訓(xùn)練期和測試期，以２０００—２０１０年作為測試期；再采用Ｍ－Ｋ檢驗方法對時間序列進(jìn)行變異診斷，得到時間序列的ｋ－１個變異點，將除去測試期外的數(shù)據(jù)序列劃分為ｋ個子集，每個子集作為一個訓(xùn)練期；之后在ｋ個訓(xùn)練期中分別擬合ＬＳＴＭ訓(xùn)練模型，并將擬合好的ＬＳＴＭ在測試期進(jìn)行預(yù)測；最后利用預(yù)測模型評價指標(biāo)對不同訓(xùn)練期的模型訓(xùn)練結(jié)果進(jìn)行分析對比，篩選得到最佳模型。

２．４泰勒圖評估方法

ＫａｒｌＥ．Ｔａｙｌｏｒ于２００１年提出泰勒圖，泰勒圖主要用來比較幾個氣象模式的模擬能力，將模型的相關(guān)系數(shù)、中心均方根誤差和標(biāo)準(zhǔn)差３個評價指標(biāo)整合在一張極坐標(biāo)圖上。

３結(jié)果分析

３．１徑流時間序列變異點識別

運用Ｍ－Ｋ檢驗法對流域徑流進(jìn)行突變分析，通過繪制徑流前向統(tǒng)計ＵＦ曲線和反演統(tǒng)計ＵＢ曲線識別徑流時間序列變異點，結(jié)果見圖３。給定顯著性水平α＝０．０５，統(tǒng)計量ＵＦ和ＵＢ的臨界值為±１．９６，ＵＦ值或ＵＢ值大于０時序列呈上升趨勢，ＵＦ值或ＵＢ值小于０時序列呈下降趨勢，當(dāng)ＵＦ值或ＵＢ值超過臨界值時序列表現(xiàn)出明顯的上升或下降趨勢。由圖３可知，渭河華縣站徑流時間序列變異發(fā)生在１９８６年和２００８年，黑河祁連山站徑流時間序列變異發(fā)生在１９８８年。

３．２ｋ－ｆｏｌｄ交叉驗證結(jié)果

采用考慮變異點的ｋ－ｆｏｌｄ交叉驗證方法評價水文變異對深度學(xué)習(xí)模型預(yù)測性能的影響。上述變異點識別結(jié)果表明渭河華縣站的徑流在１９８６年發(fā)生突變，以ＬＳＴＭ模型為基底模型，根據(jù)訓(xùn)練期的不同分別建立Ｂ、Ｃ、Ｄ預(yù)測模型，其中：Ｂ模型選取徑流序列２０００—２０１０年作為驗證期，選取變異點前的徑流序列１９６０—１９８５年作為訓(xùn)練期；Ｃ模型選取徑流序列２０００—２０１０年作為驗證期，選取變異點后的徑流序列１９８５—１９９９年作為訓(xùn)練期；Ｄ模型選取徑流序列２０００—２０１０年作為驗證期，選取徑流序列１９６０—２０００年作為訓(xùn)練期。

引入泰勒圖對基于ＬＳＴＭ深度學(xué)習(xí)模型的以訓(xùn)練期為差異的Ｂ、Ｃ、Ｄ月徑流預(yù)測模型的預(yù)測結(jié)果進(jìn)行展示（見圖４），其中：Ａ點為實測值，藍(lán)色虛線代表相關(guān)系數(shù)，綠色虛線代表中心均方根誤差，縱坐標(biāo)代表標(biāo)準(zhǔn)差?？梢钥闯觯己尤A縣站和黑河祁連山站的Ｄ模型的相關(guān)系數(shù)、中心均方根誤差和標(biāo)準(zhǔn)差最大，說明該模型性能最佳；同時也反映出將未考慮徑流變異點的時間序列作為模型的訓(xùn)練期，所訓(xùn)練的ＬＳＴＭ模型在兩個水文站的數(shù)據(jù)測試中均表現(xiàn)良好?？紤]變異點的Ｂ、Ｃ模型的訓(xùn)練期數(shù)據(jù)長度較Ｄ模型短，所訓(xùn)練模型的預(yù)測性能較低，因此訓(xùn)練期數(shù)據(jù)長度對模型性能的影響至關(guān)重要。此外，在兩個水文站的數(shù)據(jù)測試中Ｂ模型（將變異點前的時間序列作為模型訓(xùn)練期）的預(yù)測性能與Ｃ模型（將變異點后的時間序列作為模型訓(xùn)練期）的性能差異較小。

綜上所述，ＬＳＴＭ模型在中長期徑流預(yù)測中的性能主要受時間序列長度的影響，其次受水文變化趨勢及變異的影響。

４結(jié)論

針對黃河支流渭河、黑河的水文情勢，采用Ｍ－Ｋ檢驗方法對月徑流水文序列進(jìn)行變異點識別，基于深度學(xué)習(xí)ＬＳＴＭ模型，提出考慮變異點的ｋ－ｆｏｌｄ交叉驗證方法，探討水文變異對深度學(xué)習(xí)模型預(yù)測精度的影響。深度學(xué)習(xí)模型在中長期徑流預(yù)測中的性能主要受時間序列長度的影響，其次受水文變化趨勢及變異的影響。