基于AR-RNN的多變量水位預(yù)測(cè)模型研究

劉青松，嚴(yán) 華，盧文龍

(1.四川大學(xué) 電子信息學(xué)院，四川 成都 610065； 2.萬(wàn)江港利科技股份有限公司， 四川 成都 610094)

精準(zhǔn)的水位預(yù)測(cè)對(duì)于水資源的合理調(diào)度以及流域安全具有重大意義。河流的水位具有隨機(jī)性、波動(dòng)性、季節(jié)性等一系列特點(diǎn)，且影響水位的因素眾多，包括各個(gè)支流的流量、流域內(nèi)降雨量等。多因素作用使得水位規(guī)律難以把握，增加了水位預(yù)測(cè)的難度。

目前在水位預(yù)測(cè)方面，學(xué)者們的研究方法主要側(cè)重于傳統(tǒng)的單變量時(shí)間序列處理，即只考慮將水位作為輸入變量。如王淑華[1]提出了一種基于ARIMA模型的水位預(yù)測(cè)方法，該方法通過(guò)對(duì)馮家山水庫(kù)歷史水位數(shù)據(jù)的處理分析，構(gòu)建了具有不同參數(shù)的ARIMA模型；通過(guò)對(duì)不同模型的對(duì)比分析，結(jié)果顯示ARIMA(1，2，2)模型具有較好的預(yù)測(cè)精度。王蒙蒙等[2]提出了一種基于支持向量回歸的水位快速預(yù)測(cè)方法，該方法相對(duì)于水動(dòng)力數(shù)學(xué)模型，計(jì)算時(shí)間大大縮短，在洞庭湖水位的快速預(yù)測(cè)方面取得了較好的結(jié)果。但是以上兩種方法都有一定的局限性。前者往往要求序列為嚴(yán)平穩(wěn)，而實(shí)際的水文序列常常不符合要求；后者的預(yù)測(cè)精度又很大程度上取決于參數(shù)的選擇，模型不夠健壯。近年來(lái)，一種對(duì)水文序列要求較低的BP神經(jīng)網(wǎng)絡(luò)模型被提出。如李云良等[3]提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的水位模型，該模型使用了3層BP神經(jīng)網(wǎng)絡(luò)，考慮了鄱陽(yáng)湖五河流域及長(zhǎng)江來(lái)水的影響；將其應(yīng)用于鄱陽(yáng)湖的水位預(yù)測(cè)取得了較好的結(jié)果?？墒巧鲜龇椒ň豢紤]了單一因素的影響，沒有充分考慮到其他影響水位的因素，如流量及降雨等。只有充分考慮這些因素才能更精準(zhǔn)地對(duì)流域內(nèi)的水文特征進(jìn)行建模。

近年來(lái)深度學(xué)習(xí)發(fā)展迅速，原因就在于它強(qiáng)大的捕捉非線性依賴的能力。其中循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)在自然語(yǔ)言處理(Neuro-Linguistic Programming，NLP)上取得了不凡的成果。自然語(yǔ)言本身就是一種特殊的多變量時(shí)間序列，因此國(guó)外學(xué)者也開始將RNN用于多變量時(shí)間序列預(yù)測(cè)當(dāng)中，如美國(guó)南加州大學(xué)的Purushotham等[4]提出了一種基于門控循環(huán)單元(Gated Recurrent Unit，GRU)的多變量時(shí)間序列模型，該模型對(duì)于缺失值及缺失模式不太敏感，將其應(yīng)用在臨床數(shù)據(jù)集中，取得了較好的預(yù)測(cè)效果。自回歸模型(Autoregressive Model，AR)可以很好地學(xué)習(xí)水文序列當(dāng)中的線性關(guān)系。但是由于AR模型不能捕捉到水文序列中復(fù)雜的非線性關(guān)系，目前還沒有學(xué)者使用單獨(dú)的AR模型用于水位預(yù)測(cè)。

本文在傳統(tǒng)的單變量水位預(yù)測(cè)基礎(chǔ)之上，引入水位、降雨、流量等多變量進(jìn)行水位預(yù)測(cè)。受RNN在其他領(lǐng)域的成功應(yīng)用的啟發(fā)，將RNN和傳統(tǒng)的AR模型相結(jié)合，用于多變量水位預(yù)測(cè)，既可以學(xué)習(xí)水位、降雨、流量相關(guān)序列的非線性特征，也可以減輕神經(jīng)網(wǎng)絡(luò)對(duì)序列線性成分的不敏感性[5]。將該方法應(yīng)用在清溪河流域的日水位預(yù)測(cè)中，在預(yù)見期為1 d的情況下，取得了較好的預(yù)測(cè)效果。

1 基于AR-RNN的多變量水位預(yù)測(cè)模型

為了尋求一種精準(zhǔn)的多變量水位預(yù)測(cè)模型，準(zhǔn)確地對(duì)各個(gè)影響水位的變量進(jìn)行建模就顯得尤為重要[6]。針對(duì)水文序列的長(zhǎng)期模式與短期模式、線性模式與非線性模式，基于AR-RNN的多變量水位預(yù)測(cè)模型整體框架如圖1所示。

圖1 AR-RNN模型整體框架Fig.1 Structure of AR-RNN model

1.1 模型基本原理

由AR-RNN模型的框架圖可以看出，模型最終的預(yù)測(cè)結(jié)果由兩個(gè)單元決定：線性單元和非線性單元。這種復(fù)合架構(gòu)使得模型既能捕捉到水文序列間復(fù)雜的非線性依賴，同時(shí)也能避免由于引入大量的非線性層造成模型對(duì)序列線性成分不敏感的問(wèn)題[7]。下面就這兩個(gè)單元的基本原理做出闡釋。

(1) 非線性單元由循環(huán)神經(jīng)網(wǎng)絡(luò)或RNN構(gòu)成。相對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)(如BP神經(jīng)網(wǎng)絡(luò))，循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)之間是有聯(lián)系的，因此能夠很容易地將網(wǎng)絡(luò)的輸入由單變量擴(kuò)展到多變量[8]，更充分地利用水文數(shù)據(jù)。同時(shí)水文氣象的時(shí)間跨度較長(zhǎng)，通常以年為周期，傳統(tǒng)的網(wǎng)絡(luò)無(wú)法在時(shí)間跨度如此長(zhǎng)的情況下學(xué)習(xí)水文序列的規(guī)律，只能學(xué)習(xí)到水文序列的短期模式。而循環(huán)神經(jīng)網(wǎng)絡(luò)內(nèi)部的狀態(tài)傳遞機(jī)制可以學(xué)習(xí)水文序列的長(zhǎng)期模式。

循環(huán)神經(jīng)網(wǎng)絡(luò)有很多種，本文提出的模型所使用的循環(huán)神經(jīng)網(wǎng)絡(luò)是門控循環(huán)單元(GRU)，其在時(shí)間節(jié)點(diǎn)t的狀態(tài)可由以下公式定義[9]：

zt=σ(Wzxt+Uzht-1)

(1)

rt=σ(Wrxt+Urht-1

(2)

(3)

(4)

式中：zt被稱為更新門；σ代表sigmoid函數(shù)；rt被稱為重置門；Wz，Uz均為z的參數(shù)矩陣；Wr，Ur均為r的參數(shù)矩陣；ht為時(shí)間節(jié)點(diǎn)t的狀態(tài)；xt代表的是時(shí)間節(jié)點(diǎn)t的輸入；W和U為各個(gè)門神經(jīng)元的參數(shù)。門控機(jī)制可以用來(lái)控制記憶單元中的信息有多少需要保留，有多少需要丟棄，保留的信息又有多少可以傳遞到下一級(jí)的記憶單元。通過(guò)這種門控機(jī)制，模型不用記憶過(guò)去所有的信息，只用記住它認(rèn)為有用的信息，這一點(diǎn)與人類的學(xué)習(xí)特征是一致的。同時(shí)由于門控機(jī)制的存在，有用的信息可以直接傳遞到后續(xù)記憶單元，這緩解了模型訓(xùn)練過(guò)程中的梯度消失與梯度爆炸問(wèn)題[10]。

(2) 線性單元由自回歸模型AR構(gòu)成，之所以沒有選擇經(jīng)典的ARIMA模型作為線性單元是因?yàn)槟Ｐ偷闹黧w仍然是RNN，AR僅僅用來(lái)修正預(yù)測(cè)結(jié)果。循環(huán)神經(jīng)單元的引入使得模型內(nèi)部含有大量的非線性層，因此模型對(duì)水文序列的局部線性特征沒有那么敏感。而通過(guò)引入自回歸模型AR就可以很好地捕捉到序列的局部線性特征，增強(qiáng)模型對(duì)于序列線性特征的敏感度，進(jìn)而提高模型在水位峰值處的預(yù)測(cè)精度[11]。

(5)

1.2 模型的輸入與輸出

模型包含線性單元及非線性單元兩個(gè)部分，輸入分別對(duì)應(yīng)于線性單元的輸入及非線性單元的輸入，輸出則來(lái)自于二者輸出的疊加。

線性單元的輸入即AR單元的輸入，其作用是修正模型在水位峰值處的預(yù)測(cè)值，因此輸入就只包含水位信息。AR單元的窗口大小為5，因此線性單元的輸入即為過(guò)去5 d的水位，輸出為當(dāng)前時(shí)間點(diǎn)的水位預(yù)測(cè)值。

非線性單元的輸入即循環(huán)神經(jīng)單元的輸入，循環(huán)神經(jīng)單元接受的是多變量的輸入，同時(shí)輸出單變量的預(yù)測(cè)結(jié)果。考慮到本文所研究的實(shí)際流域，多變量的輸入分別對(duì)應(yīng)于水位、流量及降雨量，單變量的輸出則為水位的預(yù)測(cè)值。同時(shí)輸入還應(yīng)該考慮到循環(huán)神經(jīng)單元的步長(zhǎng)w及預(yù)測(cè)間隔Δ[13]。本文數(shù)據(jù)使用清溪河流域的日水位、日流量及日降雨數(shù)據(jù)，因此在AR-RNN模型中的大小為10，Δ的大小為1，即用過(guò)去10 d的水位、流量和降雨量來(lái)預(yù)測(cè)接下來(lái)1 d的水位值。在確定了w和Δ后，非線性單元的輸入輸出如表1所示。

表1 非線性單元數(shù)據(jù)輸入輸出格式Tab.1 Non-linear element data input and output format

AR-RNN模型最終的輸出來(lái)自線性單元和非線性單元的輸出和：

(6)

1.3 模型的訓(xùn)練

確定了模型的輸入輸出后就可以進(jìn)行模型的訓(xùn)練。AR-RNN模型為一個(gè)復(fù)合模型，可采用PyTorch作為模型框架進(jìn)行搭建。PyTorch為Facebook人工智能團(tuán)隊(duì)研發(fā)的一款深度學(xué)習(xí)框架，使用PyTorch可以方便地定義網(wǎng)絡(luò)結(jié)構(gòu)，如模型的層、激活函數(shù)及損失函數(shù)等，而作為使用者無(wú)需自己設(shè)計(jì)模型的反向傳播算法，框架可以幫助完成。

模型最終的預(yù)測(cè)效果是否準(zhǔn)確，超參數(shù)的設(shè)置占了很大因素。模型的非線性單元為一個(gè)單層GRU網(wǎng)絡(luò)，隱藏層神經(jīng)元個(gè)數(shù)為12，最終通過(guò)一個(gè)全連接層將各個(gè)GRU細(xì)胞的輸出合并成一個(gè)單獨(dú)的輸出。非線性單元的輸出最終與線性單元的輸出相疊加作為最終的輸出結(jié)果。模型的優(yōu)化函數(shù)選擇的是tanh，同時(shí)為了防止模型過(guò)擬合設(shè)置dropout率為0.2。為了提高模型的收斂速度，設(shè)置了batch size為50，epoch為1 000。每一輪迭代后RNN單元和AR單元的參數(shù)同時(shí)完成更新，所有輪迭代完成后所得參數(shù)即為最優(yōu)參數(shù)。

2 數(shù)據(jù)分析及處理

2.1 原始數(shù)據(jù)

本文所使用的水文資料來(lái)自于清溪河流域，清溪河系山溪性河流，發(fā)源于四川省宣漢縣白馬鄉(xiāng)境內(nèi)。自東北向西南流經(jīng)觀山、清溪鎮(zhèn)，在清溪口注入后河，河道長(zhǎng)46 km，流域面積297 km2(見圖2)。

圖2 清溪河流域水系Fig.2 Qingxihe Basin

流域設(shè)有一個(gè)基本水文站，4個(gè)有歷史系列資料的雨量站，包括老君站、峰城站、南坪站以及清溪站。水文站位于清溪站點(diǎn)，站內(nèi)資料包括清溪站點(diǎn)的歷史流量及水位。水文站及雨量站的資料在采樣時(shí)間和采樣間隔上都有很大差異，需要篩選出具有相同采樣時(shí)間及采樣間隔的數(shù)據(jù)并將其作為模型的輸入，這樣模型才能學(xué)習(xí)到相應(yīng)的水文特征。在對(duì)水文站及雨量站的資料進(jìn)行篩選后，選擇時(shí)間跨度為2003年1月1日至2005年9月26日的數(shù)據(jù)。其中水位、流量及降雨量的采樣時(shí)間均為每日零點(diǎn)零分，采樣間隔均為1 d，共計(jì)1 000條數(shù)據(jù)。原始數(shù)據(jù)形式如表2所列。

表2 2003年1月1～4日水文站原始數(shù)據(jù)Tab.1 Hydrological station raw data from January 1 to 4,2003

2.2 數(shù)據(jù)處理

由于傳感器故障等原因，原始數(shù)據(jù)中有部分?jǐn)?shù)據(jù)出現(xiàn)了缺失值及異常值，如果將原始數(shù)據(jù)直接輸入到模型中將會(huì)影響模型的預(yù)測(cè)精度?？紤]到部分?jǐn)?shù)據(jù)對(duì)整體數(shù)據(jù)影響不大，對(duì)這些缺失值及異常值進(jìn)行了零填充。

填充后的數(shù)據(jù)由于各個(gè)變量的單位不同(水位的單位為m，降雨量的單位為mm，流量的單位為m3/s)，數(shù)據(jù)的范圍也不同，因此需要將各個(gè)變量進(jìn)行歸一化處理[14]。歸一化后各個(gè)變量處于同一個(gè)范圍內(nèi)，這樣有利于模型發(fā)掘各個(gè)變量之間的關(guān)系，加快模型的收斂速度，縮短模型的訓(xùn)練周期。數(shù)據(jù)歸一化的公式為

(7)

式中：max為樣本數(shù)據(jù)的最大值；min為樣本數(shù)據(jù)的最小值。歸一化后各個(gè)變量的范圍在0～1之間,各個(gè)變量的曲線如圖3所示。

圖3 歸一化后各站點(diǎn)水位、流量和降雨曲線Fig.3 Normalized water level ，flow and rainfall curves

可以發(fā)現(xiàn)水位與其他變量的趨勢(shì)基本保持一致，呈現(xiàn)出較強(qiáng)的相關(guān)性。這也進(jìn)一步印證了采用多變量來(lái)進(jìn)行水位預(yù)測(cè)的可行性。

3 結(jié)果驗(yàn)證

3.1 評(píng)價(jià)指標(biāo)

AR-RNN模型的輸入為流域內(nèi)各站點(diǎn)的降雨量以及水位、流量的歷史信息，模型的輸出為未來(lái)的水位預(yù)測(cè)值，即多變量作為輸入，單變量作為輸出。選用均方根誤差RMSE和絕對(duì)平均誤差MAE作為評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)預(yù)測(cè)結(jié)果[15]。

(8)

(9)

3.2 AR-RNN與BP神經(jīng)網(wǎng)絡(luò)、SVR，ARIMA模型的對(duì)比

評(píng)價(jià)一個(gè)模型的表現(xiàn)，需考慮擬合能力和泛化能力。將清溪河的原始數(shù)據(jù)劃分為訓(xùn)練集及測(cè)試集，分別占全部數(shù)據(jù)集的80%及20%。將AR-RNN模型與單變量模型BP神經(jīng)網(wǎng)絡(luò)、SVR模型與ARIMA模型進(jìn)行對(duì)比,各個(gè)模型在測(cè)試集的表現(xiàn)如表3所示。

表3 AR-RNN模型與其他模型在測(cè)試集上的表現(xiàn)Tab.3 Performance of AR-RNN model and other models on the test set %

由表3中各個(gè)模型的表現(xiàn)可以得出：AR-RNN模型相對(duì)于ARIMA模型、SVR模型和BP神經(jīng)網(wǎng)絡(luò)，在測(cè)試集上MAE分別提升了36%，61%和59%，RMSE分別提升了43%，65%和54%。各個(gè)模型在測(cè)試集上的擬合情況如圖4～7所示。

圖4 AR-RNN模型在測(cè)試集上的擬合情況Fig.4 Fitting of AR-RNN model on test set

3.3 AR-RNN與RNN模型的對(duì)比

為了進(jìn)一步說(shuō)明引入的AR單元對(duì)模型預(yù)測(cè)結(jié)果的影響，在RNN網(wǎng)絡(luò)結(jié)構(gòu)不變的情況下，去掉AR單元，其在測(cè)試集上的表現(xiàn)如圖8所示。

圖8 單獨(dú)的RNN模型在測(cè)試集上的擬合情況Fig.8 Fitting of individual RNN models on the test set

通過(guò)對(duì)比可以發(fā)現(xiàn)在序列的整體預(yù)測(cè)趨勢(shì)上二者的表現(xiàn)大致相同，但是AR-RNN模型在水位峰值處的預(yù)測(cè)要優(yōu)于單獨(dú)的RNN模型?；诖?，引入了最大誤差ME(Maximum error)和最大相對(duì)誤差MRE(Maximum relative error)作為評(píng)價(jià)指標(biāo)[16]：

(10)

(11)

圖5 SVR模型在測(cè)試集上的擬合情況Fig.5 Fitting of SVR model on test set

圖6 BP網(wǎng)絡(luò)模型在測(cè)試集上的擬合情況Fig.6 Fitting of BP network model on test set

圖7 ARIMA模型在測(cè)試集上的擬合情況Fig.7 Fitting of ARIMA model on test set

AR-RNN模型和RNN模型在測(cè)試集上的表現(xiàn)如表4所示。其中AR-RNN模型相對(duì)于單獨(dú)的RNN模型，在測(cè)試集上MAE提升了10%，RMSE提升了5%，最大誤差及最大相對(duì)誤差提升了15%。

表4 AR-RNN模型和單獨(dú)的RNN模型在測(cè)試集上表現(xiàn)Tab.4 Performance of AR-RNN model and individual RNN model on the test set

4 結(jié) 論

本文在傳統(tǒng)的單變量水位預(yù)測(cè)模型的基礎(chǔ)上，提出了一種基于AR-RNN的多變量水位預(yù)測(cè)模型。將其應(yīng)用在清溪河流域的水位預(yù)測(cè)中，通過(guò)對(duì)比不同模型的水位預(yù)測(cè)結(jié)果，驗(yàn)證了AR-RNN模型具有更高的預(yù)測(cè)精度。

(1) 傳統(tǒng)的單變量預(yù)測(cè)模型，如BP神經(jīng)網(wǎng)絡(luò)、SVR模型與ARIMA模型僅僅考慮了水位的因素，它們只能預(yù)測(cè)出水位序列的大體趨勢(shì)。AR-RNN模型則充分考慮了影響水位的因素，如歷史的水位、流量及降雨量，其在細(xì)節(jié)處的預(yù)測(cè)要優(yōu)于上述的單變量模型，且模型的魯棒性更高。

(2) 相對(duì)于單獨(dú)的RNN模型，AR-RNN模型對(duì)序列的線性特征更加敏感，由于自回歸單元的引入，使得模型在水位峰值處的預(yù)測(cè)精度要高于單獨(dú)的RNN模型。