基于LSTM神經(jīng)網(wǎng)絡的水電站短期水位預測方法

劉亞新,樊啟祥,尚毅梓,樊啟萌,劉志武

(中國長江三峽集團有限公司,北京 100038)

準確的水位預測是水電站安全運行和增發(fā)效益的關(guān)鍵。然而,受諸多因素的影響,水位預測常常較實際情況偏差較大,導致發(fā)電計劃頻繁修改,不利于電站安全、高效、穩(wěn)定地運行。特別是具有緊密水力聯(lián)系的梯級電站,如三峽水電站和葛洲壩水電站構(gòu)成的梯級電站,上游電站的出庫流量預報誤差會疊加到下游電站,且因兩壩間往復流、出入庫不平衡等問題,使得下游電站水位的準確預測更難實現(xiàn)。

大量學者對水位預測問題進行了研究,提出了多種預測模型。王蒙蒙等[1]基于支持向量回歸模型對洞庭湖水位進行了預測,其輸入變量為三峽水庫逐日出庫流量、清江逐日流量及洞庭湖“四水”逐日入湖流量。馬輝等[2]提出了一種將灰色模型與神經(jīng)網(wǎng)絡相結(jié)合的灰色-BP神經(jīng)網(wǎng)絡預測方法,得到了較高精度的預測結(jié)果。李欣等[3]綜合考慮河流水位時空信息,建立了基于時空序列的徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡預測模型,預測了金沙江下游向家壩水文站的水位情況。余開華[4]提出了小波神經(jīng)網(wǎng)絡河道流量水位預測模型,并應用于預測盤龍河天保站的水位。Ashaary等[5]采用BP神經(jīng)網(wǎng)絡預測了Timah Tasoh水庫的水位變化,采用窗處理的方式將前w個時刻的水位數(shù)據(jù)作為輸入變量,建立了6個不同的神經(jīng)網(wǎng)絡模型進行比較,結(jié)果表明當w=2時,所建立的神經(jīng)網(wǎng)絡模型最優(yōu)。Chang等[6]采用自適應神經(jīng)模糊推理系統(tǒng)建立了水庫水位的預測模型,并將其應用于Shihmen水庫的水位預測,結(jié)果表明該模型可以準確預測連續(xù)3 h的水位。

但在梯級電站的水位預測方面,尤其是下游電站的水位預測,國內(nèi)外進行的研究較少。由于梯級電站之間的緊密聯(lián)系,上游電站的運行情況會影響到下游電站的水位,并且因距離的原因使得影響具有時間滯后性,因此在預測時要綜合考慮這些影響因素。長短時記憶(long short-term memory, LSTM)網(wǎng)絡是循環(huán)神經(jīng)網(wǎng)絡中一種帶有門控的網(wǎng)絡,能夠考慮到數(shù)據(jù)的時序性特點,學習到數(shù)據(jù)之間的長期依賴關(guān)系,在處理時間序列數(shù)據(jù)的預測方面具有獨特的優(yōu)勢,已被廣泛應用于自然語言處理、語音識別、圖片描述等領(lǐng)域。王鑫等[7]將LSTM用于航空領(lǐng)域的月度故障時間序列的預測,并提出了基于多層網(wǎng)格搜索的LSTM預測模型參數(shù)優(yōu)選方法。保羅等[8]考慮磨機特征樣本之間的時間尺度信息,采用編碼神經(jīng)網(wǎng)絡的方法提取樣本特征,使用LSTM建立了負荷參數(shù)的預測模型。Wielgosz等[9]將深度學習算法應用于大型強子對撞機超導磁體的監(jiān)測和故障保護,分析了不同的LSTM網(wǎng)絡結(jié)構(gòu)和超參數(shù)對模型預測效果的影響,結(jié)果表明記憶單元為128,歷史步長為16時效果最佳。楊訓政等[10]將LSTM用于發(fā)電機組的污染物排放研究,并與最小二乘法、支持向量回歸機進行對比,結(jié)果表明LSTM明顯優(yōu)于其他兩種方法。

本文提出一種基于LSTM網(wǎng)絡的水電站水位預測方法,并將其應用于預測葛洲壩水電站上下游水位，以期為葛洲壩水庫的實時調(diào)度提供技術(shù)支撐。

1 基于LSTM神經(jīng)網(wǎng)絡的水位預測模型

1.1 循環(huán)神經(jīng)網(wǎng)絡與LSTM

循環(huán)神經(jīng)網(wǎng)絡在時間序列預測方面具有獨特的優(yōu)勢,其通過特定的網(wǎng)絡結(jié)構(gòu),將過去時刻的影響反映到當前的預測之中,同時由于共享不同時刻的權(quán)值矩陣,減少了參數(shù)數(shù)目,使得訓練效率大大提高,并且可以處理任意長度的時間序列數(shù)據(jù)。盡管理論如此,但實際上,原始的循環(huán)神經(jīng)網(wǎng)絡由于參數(shù)共享,經(jīng)過多階段傳播后的梯度傾向于消失或爆炸[11-12],使得模型喪失了學習到更早信息的能力,這個問題也稱為長期依賴問題。1997年Hochreiter 等[13]提出了LSTM網(wǎng)絡,很好地解決了這一問題。LSTM通過引入門的設(shè)置來決定控制信息的流動,最初LSTM只有兩個門,即輸入門和輸出門,2000年Gers等[14]對其進行了改進,加入了遺忘門使LSTM通過自主學習遺忘一些無關(guān)緊要的歷史信息。之后Gers等[15]提出了加入“窺視孔連接”的 LSTM變體,將單元狀態(tài)也作為門的輸入。Cho等[16]將遺忘門和輸入門合并為更新門,提出了GRU(gated recurrent unit)模型。

圖1 LSTM的隱含層結(jié)構(gòu)

1.2 LSTM的前向傳播過程

正如圖1所示,LSTM中的每個門實際上就是一個全連接層,輸出是[0,1]之間的向量,用以控制信息的傳遞。門的激勵函數(shù)σ為sigmoid函數(shù),可表示為

(1)

根據(jù)應用的不同,LSTM可以有不同的變體形式。本文構(gòu)建的LSTM結(jié)構(gòu)如圖2所示,每一個時間步都有輸出,隱含層結(jié)構(gòu)如圖1所示,并且隱含層單元之間有循環(huán)連接。

圖2 LSTM的基本結(jié)構(gòu)

圖1和圖2對應的LSTM的前向傳播的具體公式為

遺忘門ft=σ(nf,t)

(2)

輸入門it=σ(ni,t)

(3)

輸出門ot=σ(no,t)

(4)

(5)

(6)

隱含層輸出ht=ot°tanh(ct)

(7)

輸出層yt=tanh(ny,t)

(8)

其中nf,t=Wfhht-1+Wfxxt+bf

ni,t=Wihht-1+Wixxt+bi

no,t=Wohht-1+Woxxt+bo

ny,t=Wyht+by

式中:Wfh和Wfx分別為遺忘門中與ht-1和xt對應的權(quán)重矩陣;Wih和Wix分別為輸入門中與ht-1和xt對應的權(quán)重矩陣;Woh和Wox分別為輸出門中與ht-1和xt對應的權(quán)重矩陣;Wch和Wcx分別為當前輸入的單元狀態(tài)中與ht-1和xt對應的權(quán)重矩陣;Wy為輸出層中與ht對應的權(quán)重矩陣;bf、bi、bo、bc、by分別為遺忘門、輸入門、輸出門、當前輸入的單元狀態(tài)、輸出層中的偏置向量;°表示兩個向量對應元素相乘。

1.3 LSTM的誤差反向傳播過程

LSTM的訓練算法仍然是誤差反向傳播算法。由于LSTM的前向傳播過程是從左到右的有序傳播,因此誤差反向傳播過程也是沿時間反向傳遞,稱為BPTT(back-propagation through time)算法。

在本文構(gòu)造的LSTM中,要訓練的參數(shù)包括權(quán)重矩陣Wfh、Wfx、Wih、Wix、Woh、Wox、Wch、Wcx、Wy和偏置向量bf、bi、bo、bc、by。將誤差沿時間反向傳播,需要計算每個時刻的誤差項。設(shè)t時刻真實值dt與估計值yt的誤差為yt-dt,1到T時刻的總誤差E可表示為

(9)

(10)

進一步可得

(11)

(12)

(13)

進而得到權(quán)重矩陣和偏置項的梯度分別為

(14)

(15)

由以上梯度公式就可以采用梯度下降法來更新權(quán)重和偏置項。本文將梯度下降法和擬牛頓法中的BFGS算法相結(jié)合,在初始階段誤差比較大時,采用梯度下降法,當總誤差減小到一定程度后,采用BFGS法來訓練,并通過Wolfe-Powell線搜索來搜索合適的步長,提高迭代效率。設(shè)模型參數(shù)ω={Wfh,Wfx,Wih,Wix,Woh,Wox,Wch,Wcx,Wy,bf,bi,bo,bc,by},給定它的初始值ω0;精度閾值為ε;迭代次數(shù)為j;最大迭代次數(shù)為jmax;梯度下降法轉(zhuǎn)為BFGS算法的閾值為a;D表示逆海森矩陣的近似,其初始矩陣設(shè)為D0=I,I表示單位矩陣。參數(shù)更新算法的具體步驟為:①計算模型訓練的總誤差E(ω),以及總誤差對參數(shù)的梯度E(ω);②若E(ω)>a,則下降方向δω=-E(ω),根據(jù)線搜索得到步長α,更新參數(shù)ωnew=ω+αδω,轉(zhuǎn)至步驟⑤,否則轉(zhuǎn)至步驟③;③下降方向δω=D[-E(ω)],根據(jù)線搜索得到步長α,更新參數(shù)ωnew=ω+αδω;④若E(ω),則s=ωnew-ω,m=E(ωnew)-E(ω),h=Dm,k1=更新D,即Dnew=D+k2ssT-k1(shT+hsT);⑤若‖E(ω)‖>ε且j

2 葛洲壩水電站上下游水位預測

2.1 數(shù)據(jù)采集及分析

選取2013年8月18日至2014年7月2日三峽水電站和葛洲壩水電站非棄水期間的小時運行數(shù)據(jù),輸入變量為三峽上游鳳凰山水位、三峽左岸電站總有功、右岸電站總有功、地下電站總有功、電源電站總有功、葛洲壩大江電廠總有功、二江電廠總有功、自備電站總有功,輸出變量為葛洲壩上游5號站水位、下游7號和8號站水位,訓練前先將數(shù)據(jù)進行標準化處理,消除量綱的影響。圖3(a)顯示了7號站和8號站的水位走勢,圖3(b)顯示了5號站的水位走勢,圖4為葛洲壩入庫流量與5號站水位散點圖(7、8號站散點圖類似,不再畫出),圖5顯示了三峽水庫出庫流量與葛洲壩入庫流量之間關(guān)系。從圖4可以看出,葛洲壩入庫流量是葛洲壩上游5號站水位預測的重要影響因素,而葛洲壩入庫流量又與三峽水庫出庫流量有著緊密的聯(lián)系。從圖5可以看出,三峽水庫出庫流量和葛洲壩入庫流量呈寬帶狀分布,在相同的三峽水庫出庫流量水平下,葛洲壩入庫流量有比較大的取值區(qū)間,僅僅采用線性回歸來估計葛洲壩入庫流量會產(chǎn)生較大的誤差。另一方面,三峽和葛洲壩梯級電站的流量數(shù)據(jù)均是計算得到,本身含有一定的偏差,因此本文沒有選取流量數(shù)據(jù),而是通過水位和有功數(shù)據(jù)等實時監(jiān)測數(shù)據(jù)來間接反映流量的隱含變化。

圖3 不同站位水位走勢

圖4 葛洲壩入庫流量與5號站水位散點圖

圖5 三峽水庫出庫流量與葛洲壩入庫流量關(guān)系

2.2 水位預測

由于三峽水庫的出庫流量到達葛洲壩壩前需要一定的時間,所以三峽水電站的水位和出力變化對葛洲壩水電站水位的影響存在一定的滯后性,當預測葛洲壩水電站上下游水位時,應綜合之前多個時刻三峽水電站和葛洲壩水電站的出力情況以及三峽上游鳳凰山的水位數(shù)據(jù)。本文采用LSTM神經(jīng)網(wǎng)絡,將歷史每60個時刻的數(shù)據(jù)通過隱含狀態(tài)引入到下6個時刻的預測之中,每個時刻的輸入為8維,隱含層為20維,輸出為3維,采用BPTT算法進行訓練。為了評估模型的預測效果,采用預測誤差的均值、標準差、平均絕對誤差(YMAE)和均方根誤差(YRMSE)作為評價指標,計算公式分別為

(16)

(17)

表1 8號站連續(xù)6 h預測誤差的統(tǒng)計結(jié)果

表3 5號站連續(xù)6 h預測誤差的統(tǒng)計結(jié)果

2.3 結(jié)果分析

從表1～表3可以看出,無論是上游5號站水位,還是下游8號站和7號站水位,誤差結(jié)果分析的各項指標均隨著預見期的延長而增大,說明預見期越長,水位越難以準確預測;對于8號站和7號站,其連續(xù)6 h的預測誤差的90%分位區(qū)間基本在±0.2 m以內(nèi),而且YMAE和YRMSE值均較小,總體達到水位預測的精度要求;對于5號站,連續(xù)前3 h的預測誤差的90%分位區(qū)間控制在±0.2 m以內(nèi),但是第4到6 h的YMAE值和YRMSE值均比較大,誤差波動性較大,這主要是因為5號站處于三峽水電站和葛洲壩水電站之間,水動力學特性遠遠比下游河道復雜,所以對于5號站水位的預測,建議采取連續(xù)3 h預測,及時更新的方法來確保預測的有效性。

3 結(jié) 語

本文建立了基于LSTM神經(jīng)網(wǎng)絡的梯級電站短期水位預測模型。考慮上游電站的運行對下游電站水位的影響以及時間的滯后性,將上游電站的水位以及出力等可觀測數(shù)據(jù)放入模型之中,并采用梯度下降法與擬牛頓算法中的BFGS方法相結(jié)合訓練模型,Wolfe-Powell線搜索方法選取步長。將模型應用于葛洲壩水電站上下游水位預測,結(jié)果表明模型實現(xiàn)了葛洲壩水電站連續(xù)6 h的下游水位準確預測,以及連續(xù)3 h的上游水位準確預測,為科學的調(diào)度決策提供了更加可靠的理論支撐。