耦合注意力機制大壩變形改進LSTM序列到序列預(yù)測模型

王曉玲，梁羽翎，王佳俊，吳斌平，張宗亮，黃青富

耦合注意力機制大壩變形改進LSTM序列到序列預(yù)測模型

王曉玲1，梁羽翎1，王佳俊1，吳斌平1，張宗亮2，黃青富2

(1. 天津大學(xué)水利工程仿真與安全國家重點實驗室，天津 300072；2. 中國電建集團昆明勘測設(shè)計研究院有限公司，昆明 650051)

目前，大壩變形預(yù)測主要采用的淺層網(wǎng)絡(luò)結(jié)構(gòu)存在難以挖掘數(shù)據(jù)序列隱含深層特征的問題．常用的LSTM和GRU等模型雖然具有分析變形序列的時間自相關(guān)性特征的特點，但忽略了環(huán)境因子序列和變形序列之間的映射關(guān)系，且難以克服深度神經(jīng)網(wǎng)絡(luò)梯度下降訓(xùn)練易陷入局部最優(yōu)的問題．針對上述問題，提出了耦合注意力機制大壩變形改進LSTM序列到序列預(yù)測模型．利用編碼和解碼雙層LSTM構(gòu)建序列到序列結(jié)構(gòu)，同步提取輸入影響因子和輸出變形的序列特征，并耦合注意力機制，動態(tài)度量各影響因子對變形的貢獻(xiàn)率，以提高預(yù)測精度．進一步利用蟻群信息素及雙混沌優(yōu)化改進鯨魚捕食機制，構(gòu)建基于改進鯨魚優(yōu)化算法的耦合注意力機制的LSTM序列到序列網(wǎng)絡(luò)模型的無梯度環(huán)境，規(guī)避早熟收斂，彌補梯度下降本身的缺陷．工程應(yīng)用結(jié)果表明，本文所提模型能夠精確預(yù)測大壩變形，在各點位測試集上平均MAPE、MAE和RMSE分別為0.125%、0.604mm和0.865mm．此外，時效、水位和溫度分量對點位變形的貢獻(xiàn)率依次為51.93%、30.14%和17.93%．本研究為大壩安全監(jiān)控提供理論與技術(shù)支撐．

大壩變形預(yù)測；序列到序列結(jié)構(gòu)；注意力機制；改進鯨魚優(yōu)化算法；無梯度訓(xùn)練

壩體變形是評價大壩結(jié)構(gòu)性態(tài)轉(zhuǎn)異和服役健康狀況的重要指標(biāo)[1-2]．根據(jù)變形原型觀測資料，利用統(tǒng)計學(xué)、機器學(xué)習(xí)等方法，建立準(zhǔn)確的變形預(yù)測模型對大壩安全運行和風(fēng)險管控意義重大[3-4]．目前常用的大壩變形預(yù)測模型存在變形監(jiān)測數(shù)據(jù)深層特征分析不夠深入的問題，且采用的深度神經(jīng)網(wǎng)絡(luò)存在梯度下降易陷入局部最優(yōu)的問題．因此，全面挖掘數(shù)據(jù)深層特征并構(gòu)建高精度變形預(yù)測模型，對大壩變形安全監(jiān)測具備重要的理論和現(xiàn)實意義．

傳統(tǒng)的變形預(yù)測模型主要包括確定性模型、統(tǒng)計模型和混合模型3類[5]，這些方法難以適應(yīng)多個影響因子與變形量之間復(fù)雜的非線性關(guān)系，且易受不確定性因素干擾，模型的準(zhǔn)確性有待提升[6]．隨著人工智能技術(shù)的飛速發(fā)展，機器學(xué)習(xí)開始在大壩變形預(yù)測領(lǐng)域廣泛使用．Zou等[7]將反向傳播神經(jīng)網(wǎng)絡(luò)(back-propagation neural networks，BPNN)用于大壩變形預(yù)測研究，但BPNN通過梯度下降進行網(wǎng)絡(luò)訓(xùn)練，容易陷入局部極小，且訓(xùn)練過程可能不穩(wěn)定[8]；胡德秀等[9]將極限學(xué)習(xí)機(extreme learning machine，ELM)算法應(yīng)用于大壩變形分析領(lǐng)域；Su等[10]提出了一種基于支持向量機(support vector machine，SVM)的大壩變形預(yù)測模型．此外，各種智能優(yōu)化算法被用于基于機器學(xué)習(xí)的變形預(yù)測模型的網(wǎng)絡(luò)訓(xùn)練或超參數(shù)確定，以提高預(yù)測性能．邢尹等[11]利用改進遺傳算法進行BP神經(jīng)網(wǎng)絡(luò)權(quán)值和偏置的訓(xùn)練；Chen等[12]利用蟻獅優(yōu)化算法確定最小二乘支持向量機模型中的懲罰因子及核函數(shù)超參數(shù)．

BPNN、ELM和SVM等傳統(tǒng)淺層網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測算法難以全面挖掘大壩變形監(jiān)測數(shù)據(jù)序列隱含的深層特征(包括數(shù)據(jù)間映射關(guān)系、數(shù)據(jù)本身序列特征及輸入數(shù)據(jù)對輸出貢獻(xiàn)率等)，而深度神經(jīng)網(wǎng)絡(luò)具備較強的挖掘能力，近年被廣泛引入大壩變形預(yù)測領(lǐng)域．Li等[13]、冷天培等[14]利用LSTM對分解后的變形數(shù)據(jù)建立了時序預(yù)測模型．李其峰等[15]結(jié)合貝葉斯優(yōu)化算法對GRU的超參數(shù)進行優(yōu)化并應(yīng)用于大壩變形預(yù)測．然而，目前大壩變形預(yù)測常用的深度學(xué)習(xí)序列模型如LSTM、GRU等[16]，雖然可利用其單序列訓(xùn)練規(guī)則進行變形時間自相關(guān)分析，但未考慮環(huán)境因子序列和變形序列之間的映射關(guān)系，亦無法在構(gòu)建模型過程中同步提取輸入影響因子和輸出變形監(jiān)測數(shù)據(jù)的序列特征，缺乏對數(shù)據(jù)深層特征的全面挖掘，影響預(yù)測精度．此外，使用梯度下降進行網(wǎng)絡(luò)訓(xùn)練，難以克服易陷入局部最優(yōu)、訓(xùn)練過程不穩(wěn)定的問題．

針對上述問題，提出耦合注意力機制的改進LSTM序列到序列預(yù)測模型(improved LSTM sequence-to-sequence prediction model coupled with attention mechanism based on improved whale optimization algorithm，IWOA-ASEQ2SEQ)．為全面深入挖掘大壩變形監(jiān)測數(shù)據(jù)的深層特征以提高預(yù)測精度，利用編碼和解碼雙層LSTM構(gòu)建序列到序列(sequence-to-sequence，SEQ2SEQ)結(jié)構(gòu)[17]，并耦合注意力機制[18-20]，動態(tài)度量各影響因子對變形的貢獻(xiàn)率；為彌補梯度下降易陷入局部最優(yōu)的缺陷，利用蟻群信息素及雙混沌優(yōu)化改良鯨魚捕食機制構(gòu)建基于改進鯨魚優(yōu)化算法(improved whale optimization algorithm，IWOA)的深度網(wǎng)絡(luò)無梯度訓(xùn)練環(huán)境，實現(xiàn)極端的探索和大規(guī)模的并行化計算[21]．

此外，本文結(jié)合糯扎渡心墻堆石壩工程進行工程應(yīng)用分析．近年來，堆石壩變形預(yù)測亦常采用機器學(xué)習(xí)方法：Marandi等[22]利用遺傳算法進行堆石壩壩頂沉降預(yù)測；董霄峰等[23]利用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)并建立了堆石壩壩體變形預(yù)測模型；王飛等[24]建立了基于改進M5’-主成分模型樹的高心墻堆石壩沉降變形預(yù)測模型；侯偉亞等[25]采用LSTM分別對變形數(shù)據(jù)時序分解后的3項進行預(yù)測并匯總各項預(yù)測結(jié)果，實現(xiàn)了堆石壩變形預(yù)測．本文以傳統(tǒng)統(tǒng)計模型思路為基礎(chǔ)，利用所提出的IWOA-ASEQ2SEQ模型構(gòu)建影響因子與實測變形的映射關(guān)系，進行堆石壩運行期大壩變形預(yù)測分析．工程應(yīng)用結(jié)果表明，本文模型能夠?qū)崿F(xiàn)準(zhǔn)確可靠的大壩變形預(yù)測．

1?總體框架

耦合注意力機制大壩變形改進LSTM序列到序列預(yù)測模型總體框架如圖1所示，包括耦合注意力機制的改進LSTM序列到序列模型和工程應(yīng)用兩部分.

在第1部分中，利用編碼和解碼雙層LSTM構(gòu)建序列到序列結(jié)構(gòu)，并基于注意力機制形成耦合注意力機制的LSTM序列到序列模型(LSTM sequence-to-sequence model coupled with attention mechanism，ASEQ2SEQ)．該模型不僅能夠全面深入挖掘大壩變形監(jiān)測資料隱含的序列自相關(guān)特征，而且實現(xiàn)了時間特征和影響因子的信息融合，動態(tài)度量各影響因子對變形的貢獻(xiàn)率，以深入挖掘變形效應(yīng)量變化的原因；以蟻群信息素機制和雙混沌優(yōu)化機制改進鯨魚優(yōu)化算法(whale optimization algorithm，WOA)，提高算法的搜索速度和搜索效率；在ASEQ2SEQ模型訓(xùn)練階段，利用IWOA替代梯度下降方法，構(gòu)建無梯度訓(xùn)練環(huán)境，形成IWOA-ASEQ2SEQ以提高模型預(yù)測精度，提升訓(xùn)練過程的穩(wěn)定性．

在第2部分中，結(jié)合糯扎渡工程實例進行了應(yīng)用研究．基于工程變形觀測資料，利用IWOA-ASEQ2SEQ模型構(gòu)建了變形預(yù)測模型，實現(xiàn)了對變形觀測值的精確預(yù)測并度量了各影響因子對變形的貢獻(xiàn)率，為大壩安全監(jiān)控提供理論與技術(shù)支撐．

圖1?耦合注意力機制大壩變形改進LSTM序列到序列預(yù)測模型總體框架

2?耦合注意力機制的改進LSTM序列到序列模型

2.1?耦合注意力機制的LSTM序列到序列模型

提出的模型實現(xiàn)過程如下．

步驟1?假定原始數(shù)據(jù)集為{，}，其中影響因子矩陣由水位、時效、溫度環(huán)境量及多測點變形數(shù)據(jù)構(gòu)成，模型輸出矩陣為變形效應(yīng)量．為×矩陣，為×1矩陣；將原始數(shù)據(jù)集按模型輸入要求處理為時間特征數(shù)據(jù)集{T，T}和影響因子數(shù)據(jù)集{F，F(xiàn)}，具體形式見式(1)～(3)．將兩種數(shù)據(jù)集分離為時間特征預(yù)測層和影響因子預(yù)測層各LSTM單元的輸入，即

式中：為樣本數(shù)量；為輸入特征維度；時間特征預(yù)測層編碼及解碼層時間窗口長度均為T；影響因子預(yù)測層編碼及解碼層時間窗口長度分別為和1；X、Y分別為矩陣和的第行第列元素．

步驟2?在編碼網(wǎng)絡(luò)的首個單元使用＜0＞、＜0＞零矩陣初始化單元狀態(tài)和隱藏層狀態(tài)，獲取兩層各單元隱藏層狀態(tài)并傳入各Attention單元中，以獲取不同狀態(tài)值的注意力權(quán)重，并將其輸出作為解碼網(wǎng)絡(luò)各單元的輸入，即

2.2?基于改進鯨魚優(yōu)化算法的無梯度訓(xùn)練

WOA[30]是一種新型群體智能優(yōu)化算法，主要包括包圍捕食階段、螺旋更新階段、搜尋獵物階段3個階段[31]，具體步驟可參考文獻(xiàn)[30]．基本的鯨魚優(yōu)化算法存在求解精度低、收斂速度慢和易陷入局部最優(yōu)的缺點，本文采用離散優(yōu)化算法和連續(xù)優(yōu)化算法相結(jié)合的手段[32]，利用蟻群算法信息素機制[33]提升WOA的全局尋優(yōu)能力，并在局部搜索中引入雙混沌優(yōu)化機制[34]以處理早熟收斂問題．

具體流程如下．

步驟2?在各子空間內(nèi)生成隨機數(shù)，按維度隨機選取，生成種群，由個體的適應(yīng)度值確定種群各個體的信息量初始值，并且得出最優(yōu)個體X及其對應(yīng)的信息素值為Ph．

步驟5?利用個體信息素的留存情況，計算各個體的概率權(quán)重值．再利用當(dāng)前最優(yōu)個體位置和概率權(quán)重值，進行種群的位置更新．

式中：＝1，2，…，；式(13)～(15)分別為信息素改進的包圍捕食、螺旋更新和搜尋獵物3種位置更新方式；和為系數(shù)分量；X()為代種群最優(yōu)個體；rand()為代種群隨機個體．

步驟6?使用自適應(yīng)權(quán)重非線性更新各個體的信息素，重復(fù)以上的步驟，直至到達(dá)預(yù)設(shè)迭代代數(shù)Max_iter，輸出最優(yōu)個體X(Max_iter)．

利用IWOA替代Adam梯度下降算法來進行第2.1節(jié)中ASEQ2SEQ模型的網(wǎng)絡(luò)訓(xùn)練，構(gòu)建無梯度訓(xùn)練環(huán)境，IWOA輸出最優(yōu)個體X(Max_iter)即為建立的變形監(jiān)控模型的結(jié)構(gòu)參數(shù)，即權(quán)值和偏置．形成耦合注意力機制的改進LSTM序列到序列模型對應(yīng)的偽代碼如下所示．

輸入：原始數(shù)據(jù)集{，}，種群個體數(shù)，特征維度，最大迭代代數(shù)Max_iter，時間窗口長度T，時間特征預(yù)測層輸出前向預(yù)測步T，影響因子預(yù)測層前向預(yù)測步1

處理原始數(shù)據(jù)集，獲取時間特征數(shù)據(jù)集{T，T}和影響因子數(shù)據(jù)集{F，F(xiàn)}

利用網(wǎng)絡(luò)參數(shù)上、下界u、l及子空間間隔dim初始化鯨魚種群Position

while(＜Max_iter)

for Position(＝1，2，…，)

利用圖１的結(jié)構(gòu)獲取初始各個體擬合值

利用式(10)計算各個體信息素Ph

if(Fitness＜Leader_Score)

更新當(dāng)前最優(yōu)目標(biāo)函數(shù)值Leader_Score＝Fitness和最優(yōu)個體Leader_pos＝Position

end if

end for

利用式(11)計算最優(yōu)個體對應(yīng)信息素Ph

利用式(13)～(15)更新種群Position

利用式(16)及(17)更新自適應(yīng)權(quán)重及標(biāo)定信息素

＋1

end while

return Leader_pos

輸出：訓(xùn)練完成的大壩變形預(yù)測模型

3?工程應(yīng)用

選用糯扎渡水電站大壩運行期的2015-01-11—2018-11-10期間共1400d的監(jiān)測數(shù)據(jù)進行研究．選取視準(zhǔn)線監(jiān)測點中的7個點位作為本文模型的驗證點位，分別為DB-L4-TP-02、DB-L5-TP-02、DB-L6-TP-02、DB-L6-TP-06、DB-L6-TP-13、DB-L7-TP-03及DB-L7-TP-13．圖2為該時段典型點位觀測位移、水位和日平均氣溫過程線．圖3為心墻堆石壩下游及壩頂視準(zhǔn)線監(jiān)測點布置示意．

圖2?典型點位觀測位移、水位和日平均氣溫過程線

3.1?數(shù)據(jù)集準(zhǔn)備

大壩的變形一般由水位分量、溫度分量和時效分量3部分組成[35]，土石壩的變形統(tǒng)計模型表達(dá)式可寫為

圖3?下游及壩頂視準(zhǔn)線監(jiān)測點布置示意

同時，由于不同空間位置的約束條件、材料性質(zhì)及荷載作用區(qū)別較大[36]，不同測點的變形無疑會存在差異．因此本文不采用統(tǒng)一的系統(tǒng)輸入，而將多測點變形數(shù)據(jù)作為模型輸入變形因子以構(gòu)建空間維度特征，將多測點空間關(guān)聯(lián)性直接集成到模型中，以考慮不同部位變形空間差異性．對于選取的7個測位的變形數(shù)據(jù)，選擇其中1個作為模型輸出變形效應(yīng)量，而其他6個則作為模型輸入的影響因子數(shù)據(jù)．故本研究最終影響因子集為

對應(yīng)到式(1)～(3)的參數(shù)，輸入特征維度為13；遵循選取數(shù)據(jù)70%作為訓(xùn)練集及30%作為驗證集的原則[29]，取2015-01-11—2017-10-06期間的1000d數(shù)據(jù)作為訓(xùn)練集，2017-10-07—2018-11-10期間的400d數(shù)據(jù)作為測試集，故訓(xùn)練集和測試集分別取1000和400；T＝20，該值由改進鯨魚優(yōu)化算法迭代計算獲得．

3.2?預(yù)測結(jié)果分析

運用本文模型對DB-L4-TP-02、DB-L5-TP-02、DB-L6-TP-02、DB-L6-TP-06、DB-L6-TP-13、DB-L7-TP-03和DB-L7-TP-13共7個點位進行預(yù)測分析．在100次迭代條件下，獲得的預(yù)測結(jié)果如圖4所示．選用平均絕對百分比誤差(MAPE)、平均絕對誤差(MAE)和均方根誤差(RMSE)作為衡量模型性能的評價標(biāo)準(zhǔn)[35]，各點位預(yù)測性能指標(biāo)結(jié)果情況如圖5所示．

從圖4可以看出預(yù)測值和實際值擬合程度很高，各點位預(yù)測結(jié)果與實際變形趨勢基本一致．由圖5可知，各點測試集平均MAPE、MAE和RMSE分別為0.125%、0.604mm和0.865mm，預(yù)測精度較高．

3.3?模型性能對比分析

為了驗證本文模型相對于淺層結(jié)構(gòu)算法及深度序列模型的預(yù)測性能，選擇傳統(tǒng)機器學(xué)習(xí)PSO-LSSVM算法以及深度學(xué)習(xí)的LSTM、SEQ2SEQ、ALSTM、ASEQ2SEQ模型進行對比，以DB-L6-TP-13為例，100次迭代獲取的預(yù)測結(jié)果如圖6所示．圖7為6種模型的預(yù)測性能指標(biāo)對比情況．

由圖6可知：IWOA-ASEQ2SEQ模型預(yù)測值與實測值的偏離程度最低，相同迭代次數(shù)下，SEQ2SEQ和ALSTM較LSTM擬合效果更好，ASEQ2SEQ算法與SEQ2SEQ相比更貼近實測點．IWOA-ASEQ2SEQ模型擬合情況最優(yōu)，證明本文模型能有效預(yù)測變形的動態(tài)變化過程．

從圖７可以看出：①相同迭代次數(shù)下，5種深度學(xué)習(xí)序列模型3種指標(biāo)均優(yōu)于PSO-LSSVM算法，說明挖掘數(shù)據(jù)深層特征可提升模型精度；②SEQ2SEQ較LSTM模型平均性能提升達(dá)3.06%，ALSTM較LSTM模型的平均性能提升達(dá)27.67%，ASEQ2SEQ較SEQ2SEQ模型性能上平均增幅38.08%，說明同步提取輸入影響因子和輸出變形的序列特征和耦合注意力機制在提升整體預(yù)測精度方面的作用；③IWOA-ASEQ2SEQ對應(yīng)的MAPE、MAE和RMSE均小于其他５種模型，預(yù)測精度最高，相較于ASEQ2SEQ模型平均性能提升達(dá)37.12%，說明利用改進鯨魚優(yōu)化算法進行網(wǎng)絡(luò)權(quán)重偏置的迭代計算對模型性能有顯著提升作用．

3.4?因子貢獻(xiàn)率分析

大壩變形領(lǐng)域引入深度學(xué)習(xí)方法，是借其對監(jiān)測數(shù)據(jù)深層特征的強挖掘能力，實現(xiàn)高精度的變形預(yù)測．但是目前常用的LSTM及GRU等深度神經(jīng)網(wǎng)絡(luò)，均為“黑盒模型”，其可解釋性的缺失降低了模型的可信度．本文的耦合注意力機制的改進LSTM序列到序列預(yù)測模型不僅大幅提高預(yù)測準(zhǔn)確性，而且利用注意力機制原理動態(tài)地度量各因子對輸出變形的貢獻(xiàn)率，增加模型的可信度．

圖5?各點預(yù)測性能指標(biāo)結(jié)果

圖8展示點位DB-L6-TP-13測試集上的7個環(huán)境因子和6個其他測點變形因子時序注意力權(quán)重．圖9為環(huán)境因子和變形因子的平均注意力權(quán)重．

圖6?6種模型的預(yù)測結(jié)果對比

圖7?6種模型的預(yù)測性能指標(biāo)對比

圖8?各因子時序注意力權(quán)重

圖9?各因子平均注意力權(quán)重

根據(jù)土石壩變形長期研究，在統(tǒng)計模型中，時效分量影響最大，水位分量影響較小，溫度分量的影響可忽略不計[32]．這與本文計算獲得的各分量的注意力權(quán)重結(jié)果一致．此外，由圖3可知，從與DB-L6-TP-13的點位布設(shè)距離來看，DB-L6-TP-06最近，同一視準(zhǔn)線上點位DB-L6-TP-02和同一樁號上點位DB-L7-TP-13距離較近，DB-L7-TP-03距離稍遠(yuǎn)，而DB-L5-TP-02和DB-L4-TP-02距離最遠(yuǎn)．而點位與點位之間距離越近，相互間變形影響越大，這與圖8及圖9的因子貢獻(xiàn)率分析結(jié)果基本吻合．

4?結(jié)?論

本文構(gòu)建了耦合注意力機制大壩變形改進LSTM序列到序列預(yù)測模型，利用序列到序列結(jié)構(gòu)并耦合注意力機制全面挖掘大壩變形監(jiān)測數(shù)據(jù)的深層特征，并基于改進鯨魚優(yōu)化算法構(gòu)建ASEQ2SEQ網(wǎng)絡(luò)模型的無梯度訓(xùn)練環(huán)境，解決梯度下降易陷入局部最優(yōu)等問題．工程應(yīng)用分析表明，本文模型預(yù)測精度極高，且能夠獲取各影響因子貢獻(xiàn)率，可為大壩安全診斷提供可靠分析結(jié)果，主要結(jié)論如下．

(1)提出了耦合注意力機制的LSTM序列到序列模型．利用編碼和解碼雙層LSTM構(gòu)建序列到序列結(jié)構(gòu)并耦合注意力機制，在建模過程中提取變形觀測數(shù)據(jù)的深層特征，提升了變形預(yù)測模型的擬合效果，極大提高了模型預(yù)測精度．

(2)在ASEQ2SEQ模型訓(xùn)練階段，基于改進鯨魚優(yōu)化算法替代梯度下降進行網(wǎng)絡(luò)訓(xùn)練，通過構(gòu)建無梯度訓(xùn)練環(huán)境彌補了深度學(xué)習(xí)框架誤差反向傳播時易陷入局部最優(yōu)的不足，規(guī)避了早熟收斂，提高了訓(xùn)練過程的穩(wěn)定性和模型的精度．

(3)選用糯扎渡工程壩體變形觀測資料進行研究，本文模型在各點位測試集上平均MAPE、MAE和RMSE分別為0.125%、0.604mm和0.865mm，相比于PSO-LSSVM、LSTM、SEQ2SEQ、ALSTM、ASEQ2SEQ模型具有更高預(yù)測精度；預(yù)測結(jié)果顯示環(huán)境因子中，時效分量貢獻(xiàn)率最大，其次是水位分量，溫度分量最小，這與長期工程研究結(jié)果一致；變形因子的貢獻(xiàn)率結(jié)果亦符合點位之間距離越近、相互間變形影響越大的基本規(guī)律．

綜上，本文提出的IWOA-ASEQ2SEQ模型能夠準(zhǔn)確、可靠地預(yù)測大壩變形，為大壩安全監(jiān)控提供理論與技術(shù)支撐．

［1］ 谷艷昌，王士軍，龐?瓊，等. 基于風(fēng)險管理的混凝土壩變形預(yù)警指標(biāo)擬定研究[J]. 水利學(xué)報，2017，48(4)：480-487.

Gu Yanchang，Wang Shijun，Pang Qiong，et al. Study on early warning index of concrete dam’s deformation based on the risk management[J]. Shuili Xuebao，2017，48(4)：480-487(in Chinese).

［2］ 李明軍，王均星，王亞洲. 基于改進粒子群優(yōu)化算法和極限學(xué)習(xí)機的混凝土壩變形預(yù)測[J]. 天津大學(xué)學(xué)報(自然科學(xué)與工程技術(shù)版)，2019，52(11)：1136-1144.

Li Mingjun，Wang Junxing，Wang Yazhou. Deformation prediction of concrete dam based on improved particle swarm optimization algorithm and extreme learning machine[J]. Journal of Tianjin University(Science and Technology)，2019，52(11)：1136-1144(in Chinese).

［3］ 周仁練，蘇懷智，韓?彰，等. 混凝土壩變形的長期預(yù)測模型與應(yīng)用[J]. 水力發(fā)電學(xué)報，2021，40(9)：122-131.

Zhou Renlian，Su Huaizhi，Han Zhang，et al. Long-term deformation prediction model of concrete dams and its application[J]. Journal of Hydroelectric Engineering，2021，40(9)：122-131(in Chinese).

［4］ 劉大文，胡建忠. 工程安全監(jiān)測技術(shù)[M]. 北京：中國水利水電出版社，2007.

Liu Dawen，Hu Jianzhong. Engineering Safety Monitoring Technology[M]. Beijing：China Water and Power Press，2007(in Chinese).

［5］ Kang F，Liu J，Li J，et al. Concrete dam deformation prediction model for health monitoring based on extreme learning machine[J]. Structural Control Health Monitoring，2017，24(10)：e1997.

［6］ Shao C，Gu C，Yang M，et al. A novel model of dam displacement based on panel data[J]. Structural Control Health Monitoring，2018，25(1)：e2037.

［7］ Zou J，Bui K-T T，Xiao Y，et al. Dam deformation analysis based on BPNN merging models[J]. Geo-Spatial Information Science，2018，21(2)：149-157.

［8］ 廖坤銳，陳衛(wèi)兵，楊?雪. 基于 PCA 和粒子群優(yōu)化算法的焊點缺陷識別[J]. 計算機測量與控制，2020，28(5)：190-194.

Liao Kunrui，Chen Weibing，Yang Xue. Solder joint defect recognition based on PCA and particle swarm optimization algorithm[J]. Computer Measurement and Control，2020，28(5)：190-194(in Chinese).

［9］ 胡德秀，屈旭東，楊?杰，等. 基于 M-ELM 的大壩變形安全監(jiān)控模型[J]. 水利水電科技進展，2019，39(3)：75-80.

Hu Dexiu，Qu Xudong，Yang Jie，et al. A safety monitoring model of dam deformation based on M-ELM[J]. Advances in Science and Technology of Water Resources，2019，39(3)：75-80(in Chinese).

［10］ Su H，Li X，Yang B，et al. Wavelet support vector machine-based prediction model of dam deformation[J]. Mechanical Systems and Signal Processing，2018，110：412-427.

［11］ 邢?尹，陳?闖，劉立龍，等. 改進遺傳算法和 BP 神經(jīng)網(wǎng)絡(luò)的大壩變形預(yù)測[J]. 計算機工程與設(shè)計，2018，39(8)：2628-2631，2686.

Xing Yin，Chen Chuang，Liu Lilong，et al. Dam deformation prediction based on improved genetic algorithm and BP neural network[J]. Computer Engineering and Design，2018，39(8)：2628-2631，2686(in Chinese).

［12］ Chen Y，Gu C，Shao C，et al. An approach using adaptive weighted least squares support vector machines coupled with modified ant lion optimizer for dam deformation prediction[J]. Mathematical Problems in Engineering，2020，2020：9434065.

［13］ Li Y，Bao T，Gong J，et al. The prediction of dam displacement time series using STL，extra-trees，and stacked LSTM neural network[J]. IEEE Access，2020，8：94440-94452.

［14］ 冷天培，馬?剛，向正林，等. 基于時序分解與深度學(xué)習(xí)的堆石壩變形預(yù)測[J]. 水力發(fā)電學(xué)報，2021，40(10)：147-159.

Leng Tianpei，Ma Gang，Xiang Zhenglin，et al. Deformation prediction of rockfill dams based on time series decomposition and deep learning[J]. Journal of Hydroelectric Engineering，2021，40(10)：147-159(in Chinese).

［15］ 李其峰，楊?杰，程?琳，等. 基于BO-GRU的混凝土壩變形預(yù)測模型[J]. 水資源與水工程學(xué)報，2021，32(4)：180-184，193.

Li Qifeng，Yang Jie，Cheng Lin，et al. Deformation prediction model of concrete dams based on BO-GRU model[J]. Journal of Water Resources and Water Engineering，2021，32(4)：180-184，193(in Chinese).

［16］ 楊?麗，吳雨茜，王俊麗，等. 循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計算機應(yīng)用，2018，38(增2)：1-6，26.

Yang Li，Wu Yuxi，Wang Junli，et al. Research on recurrent neural network[J]. Journal of Computer Applications，2018，38(Suppl 2)：1-6，26(in Chinese).

［17］ 趙陽洋，王振宇，王?佩，等. 任務(wù)型對話系統(tǒng)研究綜述[J]. 計算機學(xué)報，2020，43(10)：1862-1896.

Zhao Yangyang，Wang Zhenyu，Wang Pei，et al. A survey on task-oriented dialogue systems[J]. Chinese Journal of Computers，2020，43(10)：1862-1896(in Chinese).

［18］ 鄭育靖，何?強，張長倫，等. 基于 GRU-Attention 的無監(jiān)督多變量時間序列異常檢測[J]. 山西大學(xué)學(xué)報(自然科學(xué)版)，2020，43(4)：756-764.

Zheng Yujing，He Qiang，Zhang Changlun，et al. GRU-Attention based unsupervised multivariate time series anomaly detection[J]. Journal of Shanxi University(Natural Science Edition)，2020，43(4)：756-764(in Chinese).

［19］ Su Y，Weng K，Lin C，et al. Dam deformation interpretation and prediction based on a long short-term memory model coupled with an attention mechanism[J]. Applied Sciences，2021，11(14)：6625.

［20］ 王曉玲，李?克，張宗亮，等. 耦合 ALO-LSTM 和特征注意力機制的土石壩滲壓預(yù)測模型[J]. 水利學(xué)報，2022，53(4)：403-412.

Wang Xiaoling，Li Ke，Zhang Zongliang，et al. Coupled ALO-LSTM and feature attention mechanism prediction model for seepage pressure of earth-rock dam[J]. Shuili Xuebao，2022，53(4)：403-412(in Chinese).

［21］ Stanley K O，Clune J，Lehman J，et al. Designing neural networks through neuroevolution[J]. Nature Machine Intelligence，2019，1(1)：24-35.

［22］ Marandi S M，VaeziNejad S M，Khavari E. Prediction of concrete faced rock fill dams settlements using genetic programming algorithm[J]. International Journal of Geosciences，2012，3(3)：601-609.

［23］ 董霄峰，王海軍，楊?敏. 基于遺傳算法優(yōu)化 BP 神經(jīng)網(wǎng)絡(luò)的面板堆石壩變形預(yù)測[J]. 水利水電技術(shù)，2012，43(12)：22-25.

Dong Xiaofeng，Wang Haijun，Yang Min. Prediction on deformation of concrete face rockfill dam based on BP neural network optimized by genetic algorithm[J]. Water Resources and Hydropower Engineering，2012，43(12)：22-25(in Chinese).

［24］ 王?飛，張宗亮，王佳俊，等. 基于改進M5’-主成分模型樹的高心墻堆石壩沉降變形預(yù)測[J]. 河海大學(xué)學(xué)報(自然科學(xué)版)，2018，46(4)：353-359.

Wang Fei，Zhang Zongliang，Wang Jiajun，et al. Forecasting of the settlement deformation for high core rock-fill dam based on the improved M5’-PCR model tree[J]. Journal of Hohai University(Natural Sciences)，2018，46(4)：353-359(in Chinese).

［25］ 侯偉亞，溫彥鋒，鄧?剛，等. 聯(lián)合時序分解和深度學(xué)習(xí)的高土石壩變形預(yù)測[J]. 水力發(fā)電學(xué)報，2022，41(3)：123-132.

Hou Weiya，Wen Yanfeng，Deng Gang，et al. Deformation prediction of high embankment dams by combining time series decomposition and deep learning[J]. Journal of Hydroelectric Engineering，2022，41(3)：123-132(in Chinese).

［26］ Yang B，Sun S，Li J，et al. Traffic flow prediction using LSTM with feature enhancement[J]. Neurocomputing，2019，332：320-327.

［27］ Chen Y，Peng G，Zhu Z，et al. A novel deep learning method based on attention mechanism for bearing remaining useful life prediction[J]. Applied Soft Computing，2020，86：105919.

［28］ Wang J，Yan J，Li C，et al. Deep heterogeneous GRU model for predictive analytics in smart manufacturing：Application to tool wear prediction[J]. Computers in Industry，2019，111：1-14.

［29］ Liu W，Pan J，Ren Y，et al. Coupling prediction model for long-term displacements of arch dams based on long short-term memory network[J]. Structural Control Health Monitoring，2020，27(7)：e2548.

［30］ Mirjalili S，Lewis A. The whale optimization algorithm[J]. Advances in Engineering Software，2016，95：51-67.

［31］ 武澤權(quán)，牟永敏. 一種改進的鯨魚優(yōu)化算法[J]. 計算機應(yīng)用研究，2020，37(12)：3618-3621.

Wu Zequan，Mu Yongmin. Improved whale optimization algorithm[J]. Application Research of Computers，2020，37(12)：3618-3621(in Chinese).

［32］ 馬玉泉. 基于遺傳算法的離散多目標(biāo)優(yōu)化問題研究及其應(yīng)用[D]. 蘭州：蘭州理工大學(xué)電氣工程與信息工程學(xué)院，2019.

Ma Yuquan. Research and Application of Discrete Multi-objective Optimization Based on Genetic Algorithms[D]. Lanzhou：College of Electrical and Information Engineering，Lanzhou University of Technology，2019(in Chinese).

［33］ 李世威，王建強，曾俊偉. 遺傳算法調(diào)整蟻群算法參數(shù)模型研究[J]. 計算機工程與設(shè)計，2011，32(10)：3490-3493，3502.

Li Shiwei，Wang Jianqiang，Zeng Junwei. Model of ant colony algorithm parameters optimization based on genetic algorithm[J]. Computer Engineering and Design，2011，32(10)：3490-3493，3502(in Chinese).

［34］ 姜建國，劉夢楠，劉永青，等. 一種采用雙混沌搜索的類電磁機制算法[J]. 西安電子科技大學(xué)學(xué)報(自然科學(xué)版)，2014，41(5)：79-83，147.

Jiang Jianguo，Liu Mengnan，Liu Yongqing，et al. Electromagnetism-like mechanism algorithm via dual chaotic search[J]. Journal of Xidian University，2014，41(5)：79-83，147(in Chinese).

［35］ 王曉玲，謝懷宇，王佳俊，等. 基于 Bootstrap 和 ICS-MKELM 算法的大壩變形預(yù)測[J]. 水力發(fā)電學(xué)報，2020，39(3)：106-120.

Wang Xiaoling，Xie Huaiyu，Wang Jiajun，et al. Prediction of dam deformation based on Bootstrap and ICS-MKELM algorithms[J]. Journal of Hydroelectric Engineering，2020，39(3)：106-120(in Chinese).

［36］ 吳中如，陳?波. 大壩變形監(jiān)控模型發(fā)展回眸[J]. 現(xiàn)代測繪，2016，39(5)：1-3，8.

Wu Zhongru，Chen Bo. A review on development of dam safety monitoring models[J]. Modern Surveying and Mapping，2016，39(5)：1-3，8(in Chinese).

Improved LSTM Sequence-to-Sequence Prediction Model for Dam Deformation Coupled with Attention Mechanism

Wang Xiaoling1，Liang Yuling1，Wang Jiajun1，Wu Binping1，Zhang Zongliang2，Huang Qingfu2

(1. State Key Laboratory of Hydraulic Engineering Simulation and Safety，Tianjin University，Tianjin 300072，China；2. PowerChina Kunming Engineering Corporation Limited，Kunming 650051，China)

At present, the shallow network structure which is mainly used for dam deformation prediction is difficult to mine the hidden deep characteristics of data series. Moreover, although the commonly used models such as LSTM and GRU can analyze the temporal autocorrelation characteristics of deformation series, they ignore the mapping relationship between the environmental factor series and deformation series, and it is difficult to overcome the problem that the gradient descent training of deep neural network is easy to fall into local optimums. To solve these problems, an improved LSTM sequence-to-sequence prediction model for dam deformation coupled with attention mechanism was proposed. The sequence-to-sequence structure was constructed by encoding and decoding a double-layer LSTM, and the sequence characteristics of influencing factors for input and output deformation were extracted synchronously. The contribution rate of each influencing factor with respect to deformation was measured dynamically by coupling the attention mechanism to improve prediction accuracy. Furthermore, ant colony pheromones and double-chaos optimization were used to improve the whale feeding mechanism, so as to construct a gradient-free environment from the LSTM sequence-to-sequence network model coupled with attention mechanism based on the improved whale optimization algorithm. In this way, the premature convergence is avoided and the defect of gradient descent itself is corrected. The results of engineering applications show that the proposed model can accurately predict dam deformation. The average MAPE on a test set of different points is 0.125%, and the corresponding average values of MAE and RMSE are 0.604 mm and 0.865 mm, respectively. In addition, the contribution rates of aging, water level and temperature with respect to point deformation are 51.93%, 30.14% and 17.93%, respectively. This study provides a theoretical and technical support for dam safety monitoring.

dam deformation prediction；sequence-to-sequence structure；attention mechanism；improved whale optimization algorithm(IWOA)；gradient-free training

10.11784/tdxbz202203057

TV698.11

A

0493-2137(2023)07-0702-11

2022-03-29；

2022-05-19.

王曉玲（1968—??），女，博士，教授，wangxl@tju.edu.cn.

王佳俊，jiajun_2014_bs@tju.edu.cn.

國家自然科學(xué)基金雅礱江聯(lián)合基金資助項目(U1965207，U1865204).

Supported by the Yalong River Joint Funds of the National Natural Science Foundation of China(No.U1965207，No. U1865204).

(責(zé)任編輯：武立有)