基于LSTM的混凝土壩變形預(yù)測模型

歐 斌,吳邦彬,袁 杰，李淑芳

(1．云南農(nóng)業(yè)大學(xué)水利學(xué)院，云南 昆明 650201； 2.南昌工程學(xué)院，江西 南昌 330099；3.浙江中水工程技術(shù)有限公司，浙江 杭州 310000)

混凝土壩作為調(diào)節(jié)水資源時(shí)空優(yōu)化分布、促進(jìn)國民經(jīng)濟(jì)發(fā)展的主要基礎(chǔ)設(shè)施之一[1-2]，其在運(yùn)行期不僅長期承受靜水荷載、溫度荷載等循環(huán)荷載的作用，還面臨著特大洪水、地震等突發(fā)性自然災(zāi)害以及戰(zhàn)爭、恐怖襲擊等多重風(fēng)險(xiǎn)威脅，運(yùn)行環(huán)境異常復(fù)雜[3-5]。為實(shí)時(shí)掌握大壩的運(yùn)行性態(tài)，在大壩建設(shè)時(shí)期就埋設(shè)了諸多監(jiān)測儀器用以監(jiān)測水位、溫度等環(huán)境變量與變形、滲流、應(yīng)力、應(yīng)變等結(jié)構(gòu)響應(yīng)[5]。變形作為最直觀可靠的反映混凝土壩綜合運(yùn)行性能的重要監(jiān)測量，結(jié)合大壩原型監(jiān)測資料構(gòu)建大壩變形與其影響因子之間的數(shù)學(xué)模型是大壩安全監(jiān)控領(lǐng)域研究的重點(diǎn)[6-10]，也是有效評(píng)估大壩運(yùn)行安全、預(yù)測其未來運(yùn)行行為的重要科學(xué)手段。

根據(jù)變形及其影響因子間的數(shù)學(xué)關(guān)系構(gòu)建的大壩變形預(yù)測統(tǒng)計(jì)模型因具有函數(shù)形式簡單、計(jì)算高效等優(yōu)點(diǎn)，在大壩安全監(jiān)控領(lǐng)域得到了廣泛應(yīng)用[11-13]。逐步回歸、多元回歸等回歸分析方法是實(shí)際工程領(lǐng)域最常用的變形預(yù)測模型建模方法，然而回歸方法不能有效解決影響因子間的多重共線性問題，導(dǎo)致模型預(yù)測精度不佳[12,14]。伴隨計(jì)算機(jī)技術(shù)的發(fā)展，支持向量機(jī)(SVM)[9,15-16]、相關(guān)向量機(jī)(RVM)[17-18]、極限學(xué)習(xí)機(jī)(ELM)[19-20]、人工神經(jīng)網(wǎng)絡(luò)(ANN)[21]等多種機(jī)器學(xué)習(xí)算法被廣泛應(yīng)用于變形預(yù)測模型，顯著提升了監(jiān)控模型的精度。然而神經(jīng)網(wǎng)絡(luò)模型存在過擬合、易陷入局部極值等缺陷。SVM雖一定程度上克服了神經(jīng)網(wǎng)絡(luò)模型的缺陷，但其也存在著模型超參數(shù)難以選取等不足[18,22-23]。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的優(yōu)勢(shì)變體長短期記憶網(wǎng)絡(luò)(long short-term memory， LSTM)在交通、電力等非平穩(wěn)時(shí)間序列預(yù)測中取得了廣泛應(yīng)用，并表現(xiàn)出優(yōu)越的長期與短期預(yù)測性能[24-26]，然而其在大壩變形預(yù)測中的應(yīng)用研究[27-29]目前還不是很多。LSTM通過巧妙引入細(xì)胞狀態(tài)(cell state)與門控(gate)概念，有效解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型存在的梯度爆炸與梯度消失的通病，并可以合理考量時(shí)序樣本中前期信息的影響，在合理預(yù)測大壩變形中具有顯著優(yōu)勢(shì)[30]。本文在簡述LSTM基本原理的基礎(chǔ)上，提出了一種基于LSTM網(wǎng)絡(luò)的混凝土壩變形預(yù)測模型，并結(jié)合工程實(shí)例對(duì)預(yù)測模型進(jìn)行了檢驗(yàn)。

1 混凝土壩變形預(yù)測原理

根據(jù)壩工原理可知，壩體任一點(diǎn)的變形由水壓、溫度與時(shí)效變形3部分組成[31-33]，如式(1)所示。其中，水壓變形δH與溫度變形δT分別是靜水荷載與溫度荷載循環(huán)作用下引發(fā)的可逆變形，對(duì)于重力壩，δH可按式(2)計(jì)算；對(duì)于拱壩，δH可按式(3)計(jì)算；對(duì)于水化熱已完全散發(fā)的混凝土壩，壩體混凝土溫度隨季節(jié)變化而變化，故δT常采用諧波函數(shù)加以計(jì)算，如式(4)所示。時(shí)效變形δθ是筑壩材料性能老化與結(jié)構(gòu)損傷等導(dǎo)致大壩安全裕度降低的時(shí)變不可逆變形，可由式(5)計(jì)算。

δ=α0+δH+δT+δθ

(1)

(2)

(3)

(4)

δθ=c1(θt-θ0)+c2(lnθt-lnθ0)

(5)

式中：α0為常數(shù)；αi為回歸系數(shù)；Ht、H0分別為監(jiān)測日與建模序列初始日的上游水深；t、t0分別為監(jiān)測日與建模序列初始日距始測日的累計(jì)天數(shù)；θt=t/100，θ0=t0/100。

2 基于LSTM的混凝土壩變形預(yù)測模型

2.1 LSTM原理

LSTM是一種特殊的RNN，其通過引入細(xì)胞狀態(tài)和門控概念，有效解決了傳統(tǒng)RNN所存在的梯度爆炸、梯度消失與長期依賴問題，具有出色的時(shí)序預(yù)測性能[27,30]。LSTM單元結(jié)構(gòu)主要由細(xì)胞狀態(tài)、遺忘門、輸入門和輸出門組成[34-35]，如圖1所示。細(xì)胞狀態(tài)也稱為記憶單元，其類似于傳送帶，為信息的傳遞提供通道。細(xì)胞狀態(tài)的更新由遺忘門、輸入門與輸出門協(xié)同控制。

圖1 RNN與LSTM單元結(jié)構(gòu)

遺忘門以一定的概率決定是否保留上一時(shí)刻的細(xì)胞狀態(tài)以及選擇所需保留的信息比重，其讀取上一時(shí)刻的隱藏層輸出ht-1和當(dāng)前時(shí)刻的輸入xt，通過一個(gè)sigmoid激活函數(shù)得到遺忘門的輸出ft

ft=σ(Wf·(ht-1,xt)+bf)

(6)

式中：Wf為遺忘門的權(quán)重矩陣；bf為偏置項(xiàng)；σ為sigmoid激活函數(shù)，σ(x)=1/(1-e-x)；遺忘門的輸出ft控制對(duì)上一時(shí)刻細(xì)胞狀態(tài)信息的遺忘程度，其取值范圍為[0,1]，當(dāng)ft=1時(shí)表示完全保留，當(dāng)ft=0則表示完全遺忘。

it=σ(Wi·(ht-1,xt)+bi)

(7)

(8)

式中：Wi、Wc分別為sigmoid層和tanh層的權(quán)重矩陣；bi、bc分別為sigmoid層和tanh層的偏置項(xiàng)；tanh為雙曲正切函數(shù)，tanhx=(1-e-x)/(1+e-x)。

基于遺忘門和輸入門對(duì)上一時(shí)刻細(xì)胞狀態(tài)和當(dāng)前時(shí)刻輸入的信息的選擇，細(xì)胞狀態(tài)可更新為

Ct=ftCt-1+itat

(9)

輸出門從當(dāng)前細(xì)胞狀態(tài)中提取有效信息用以產(chǎn)生新的隱藏層。首先，通過sigmoid函數(shù)決定當(dāng)前細(xì)胞狀態(tài)中的輸出部分，然后通過tanh函數(shù)對(duì)當(dāng)前細(xì)胞狀態(tài)加以處理，最后生成新的隱含層ht：

ht=ottanhCt

(10)

其中ot=σ(Wo·(ht-1,xt)+bo)

式中：Wo為輸出門的權(quán)重矩陣；bo為偏置項(xiàng)。

綜上可知，LSTM當(dāng)前時(shí)刻的隱藏層輸出ht和細(xì)胞狀態(tài)Ct由上一時(shí)刻的隱藏層輸出ht-1、細(xì)胞狀態(tài)Ct-1與當(dāng)前時(shí)刻的輸入xt協(xié)同決定。

2.2 LSTM網(wǎng)絡(luò)結(jié)構(gòu)

在利用LSTM構(gòu)建回歸預(yù)測模型時(shí)，隱藏層的數(shù)量對(duì)模型的訓(xùn)練精度和效率有著顯著影響。理論上講，雖LSTM模型的擬合精度會(huì)隨著隱藏層層數(shù)的增加而提高，但過多的隱藏層會(huì)導(dǎo)致模型的訓(xùn)練效率降低，甚至造成模型的擬合與預(yù)測精度降低。相關(guān)研究指出，具有兩個(gè)隱藏層的LSTM模型即可較好地學(xué)習(xí)并訓(xùn)練大壩變形與其影響因子間復(fù)雜的非線性關(guān)系[36]，故本文采用具有2個(gè)LSTM隱藏層的網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)，網(wǎng)絡(luò)訓(xùn)練中采用dropout技術(shù)以避免過擬合，即模型訓(xùn)練效果良好而預(yù)測性能欠佳的問題，并利用批處理技術(shù)用以提升模型的訓(xùn)練效率[27]。

3 工程案例

3.1 工程背景

我國福建省某混凝土重力壩工程為I等樞紐工程，該壩最大壩高113.0 m，壩頂高程179.0 m。該工程內(nèi)部布置了3組正、倒垂線監(jiān)測儀器用以觀測該壩壩體與壩頂?shù)乃阶冃?，布置方案如圖2所示，圖中PL1～PL7為正垂監(jiān)測點(diǎn)，IP1～I(xiàn)P3為倒垂監(jiān)測點(diǎn)。

圖2 大壩變形監(jiān)測布置方案(單位：m)

以2006年1月1日至2008年12月31日正垂PL5測點(diǎn)自動(dòng)化監(jiān)測得到的左岸擋水壩段壩頂水平變形為例，對(duì)所提建模方法進(jìn)行詳細(xì)描述，其中，監(jiān)測序列中后2個(gè)月的測值用以預(yù)測以檢驗(yàn)?zāi)Ｐ偷念A(yù)測能力。監(jiān)測時(shí)段內(nèi)庫水位與測點(diǎn)水平變形如圖3所示，其中負(fù)值代表向上游方向變形。由圖3可知，隨著庫水位的上升，左岸擋水壩段壩頂向下游方向的水平變形增大；反之，壩頂向上游方向的水平變形增大，其變形行為符合大壩變形的一般規(guī)律。

圖3 庫水位與壩頂水平變形過程線

3.2 建模預(yù)測

圖4 PL5測點(diǎn)預(yù)測結(jié)果

為驗(yàn)證模型的適用性，同時(shí)采用上述4種方法對(duì)相同監(jiān)測時(shí)段正垂PL2測點(diǎn)監(jiān)測的壩體水平變形加以建模預(yù)測，預(yù)測結(jié)果及模型殘差如圖5所示。此外，為量化對(duì)比4種模型的預(yù)測精度，表1給出了PL5與PL2測點(diǎn)各模型建模與預(yù)測的平均絕對(duì)誤差(mean absolute error, MAE)、均方誤差(mean square error, MSE)與均方根誤差(root mean square error, RMSE)。

圖5 PL2測點(diǎn)預(yù)測結(jié)果

測點(diǎn)預(yù)測模型MAE/mmMSE/mm2RMSE/mm建模段預(yù)測段建模段預(yù)測段建模段預(yù)測段PL5PL2MLR0.4750.7410.3550.7160.5960.846SR0.4750.7650.3560.7610.5960.872ANN0.2910.3100.1370.1300.3710.361LSTM0.1460.1970.040.0630.1990.251MLR0.3450.2750.3450.2750.4450.281SR0.3280.2230.3280.2230.4240.252ANN0.1610.2020.0560.0610.2360.244LSTM0.1180.0820.0320.0170.1780.085

根據(jù)圖4與圖5中2個(gè)測點(diǎn)水平變形的預(yù)測結(jié)果可知，基于SR、MLR、ANN與LSTM 4種算法構(gòu)建的預(yù)測模型的建模與預(yù)測結(jié)果與實(shí)測變形測值變化過程基本一致。相比而言，基于LSTM的預(yù)測模型比基于SR、MLR、ANN 3種方法的預(yù)測模型的建模與預(yù)測結(jié)果更為接近實(shí)測變形，同時(shí)其模型殘差無明顯的變化規(guī)律且其變化范圍顯著較小。由此可知，基于LSTM的預(yù)測模型可更好地學(xué)習(xí)并訓(xùn)練大壩變形與其影響因子間復(fù)雜的非線性函數(shù)關(guān)系，所建變形預(yù)測模型的精度更優(yōu)。此外，由表1中的統(tǒng)計(jì)指標(biāo)可知，基于LSTM所建的兩個(gè)測點(diǎn)的預(yù)測模型在建模與預(yù)測段的MAE、MSE與RMSE均相對(duì)較小且各自接近，說明所建模型不存在過擬合現(xiàn)象，并進(jìn)一步表明了所建模型具有出色的建模與預(yù)測性能。

4 結(jié) 論

a.以LSTM網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建的混凝土壩變形預(yù)測模型具有良好的非線性信息挖掘能力，可有效地挖掘大壩變形及其影響因子間復(fù)雜的非線性函數(shù)關(guān)系，具有出色的建模與預(yù)測精度，證明了LSTM網(wǎng)絡(luò)在大壩變形預(yù)報(bào)中的可行性和有效性。

b.某混凝土壩實(shí)測變形資料建模分析表明，相比于回歸模型，基于LSTM網(wǎng)絡(luò)所建的變形預(yù)測模型的預(yù)測性能更優(yōu)，為高精度預(yù)測大壩變形提供了一種新技術(shù)。且該方法簡便高效，加以修改可推廣應(yīng)用于大壩其他監(jiān)測效應(yīng)量的預(yù)測分析中。