基于TVF-EMD和自注意力機(jī)制LSTM的庫區(qū)邊坡變形預(yù)測(cè)算法研究

0 引言

中國先后興建了一大批水利工程，受極端天氣影響，工程管理面臨著嚴(yán)峻的形勢(shì)[1-3]。庫區(qū)邊坡變形預(yù)測(cè)是一項(xiàng)重要工作，因庫區(qū)邊坡結(jié)構(gòu)完整性易遭到破壞并發(fā)生變形，有必要及時(shí)了解并采取相應(yīng)的對(duì)策[4-5] 。

隨著深度學(xué)習(xí)的興起和迅速發(fā)展，長短期記憶網(wǎng)絡(luò)（LongShort-TermMemory，LSTM）作為一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork）開始應(yīng)用于邊坡變形預(yù)測(cè)。LSTM是一種改進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)（RNN），能夠有效解決傳統(tǒng)RNN在長序列數(shù)據(jù)處理中容易出現(xiàn)的梯度消失問題，其核心機(jī)制在于通過引入遺忘門、輸入門和輸出門的結(jié)構(gòu)，記住長期依賴信息，并靈活選擇遺忘或保留輸人數(shù)據(jù)。這一特點(diǎn)使LSTM在各領(lǐng)域預(yù)測(cè)應(yīng)用中表現(xiàn)出色[，在針對(duì)小批量數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練時(shí)，其學(xué)習(xí)能力較強(qiáng)。時(shí)變?yōu)V波的經(jīng)驗(yàn)?zāi)B(tài)分解（Time-VaryingFilter-basedEmpiri-calModeDecomposition，TVF-EMD）是一種用于處理非平穩(wěn)信號(hào)的方法[7]。其在傳統(tǒng)經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）的基礎(chǔ)上，引入了時(shí)變?yōu)V波器，以更精確地分離信號(hào)的不同頻率成分。本文利用TVF-EMD與自注意力機(jī)制LSTM對(duì)庫區(qū)邊坡變形算法進(jìn)行研究，并通過與不同時(shí)間序列分析方法的比較，進(jìn)一步驗(yàn)證模型的預(yù)測(cè)精度。

1 研究方法

1.1 時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)B(tài)分解

TVF-EMD的核心思想是通過設(shè)計(jì)時(shí)變?yōu)V波器，將復(fù)雜信號(hào) x（t） 分解為多個(gè)本征模態(tài)函數(shù)（IMFs）和一個(gè)殘差信號(hào)[8-9]。設(shè) H（t，f） 為時(shí)變?yōu)V波器，其頻域表示隨時(shí)間變化，以適應(yīng)信號(hào)的局部特征。濾波過程如下：

（1）將時(shí)變?yōu)V波器應(yīng)用于信號(hào) x（t） ，通過傅里葉變換和逆傅里葉變換提取第一個(gè) IMF

IMF₁（t）=F^-1{F[x（t）]?H（t，f）}

式中： F 和 F^-1 分表示傅里葉變換和逆傅里葉變換。

（2）從原始信號(hào)中減去第一個(gè) IMF ，得到殘差信

號(hào) r_t（t） ：

（3）對(duì)殘差信號(hào) r₁（t） 重復(fù)步驟（2），繼續(xù)分解，直到所有IMF被提取完畢，或殘差信號(hào)小于某閾值。原始信號(hào) x（t） 可以表示為所有IMF的和加上最后的殘差信號(hào) r_N（t） ：

1.2 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)（LSTM）于1997年提出，旨在解決傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中常見的梯度消失問題[10-1] ○在LSTM結(jié)構(gòu)中，反向傳播的梯度不會(huì)消失或爆炸，而是通過網(wǎng)絡(luò)層持續(xù)傳遞，從而有效保留長時(shí)依賴信息。LSTM的典型結(jié)構(gòu)包括4個(gè)主要的門控機(jī)制：輸入門、遺忘門、輸入調(diào)整門和輸出門。輸入門 i_t 負(fù)責(zé)從外部接收新的輸人數(shù)據(jù) x_t 并決定將哪些信息存人記憶單元。遺忘門 f_t 決定了前一時(shí)刻記憶單元中哪些信息應(yīng)丟棄。輸入調(diào)整門 生成新的候選記憶值，并與現(xiàn)有記憶單元的狀態(tài)結(jié)合。輸出門 o_t 決定了記憶單元的哪些部分將影響當(dāng)前的輸出。輸入門、遺忘門、輸入調(diào)整門和輸出門的數(shù)學(xué)表示如下：

式中： W_i，W_f，W_c 和 W_o 分別為輸入門、遺忘門、輸入調(diào)整門和輸出門的權(quán)重矩陣； b_i，b_f，b_c 和 b_o 分別為輸入門、遺忘門、輸入調(diào)整門和輸出門的偏置項(xiàng)； σ 表示Sigmoid激活函數(shù);tanh表示雙曲正切激活函數(shù)； h_t-1 為前1個(gè)時(shí)間步（時(shí)刻 t-1 ）的隱藏狀態(tài)。

記憶單元的狀態(tài)更新公式為

C_t=f_t?C_t-1+i_t?g_t

式中： ? 表示逐元素相乘； g_t 為候選記憶單元的值。

輸出 h_t 由以下公式計(jì)算：

h_t=O_t?tanh（C_t）

在LSTM神經(jīng)網(wǎng)絡(luò)的輸出層，通常會(huì)添加一個(gè)softmax層來生成最終預(yù)測(cè)結(jié)果，LSTM的基本結(jié)構(gòu)如圖1所示。

1.3 自注意力機(jī)制

注意力機(jī)制（AttentionMechanism）是深度學(xué)習(xí)中的一種技術(shù)，旨在提高模型對(duì)輸入數(shù)據(jù)不同部分的關(guān)注度，從而更有效地捕捉和利用重要信息。最初在自然語言處理（NLP）領(lǐng)域中引入，注意力機(jī)制已經(jīng)廣泛應(yīng)用于各種任務(wù)，如機(jī)器翻譯、圖像識(shí)別、語音處理等[12]。注意力機(jī)制的核心思想是通過計(jì)算輸入數(shù)據(jù)不同部分之間的相似度或相關(guān)性，生成注意力權(quán)重（AttentionWeights），然后根據(jù)這些權(quán)重對(duì)輸人進(jìn)行加權(quán)求和，以得到更具代表性的特征表示[13]，其主要步驟如下。

（1）生成查詢（Query）、鍵（Key）和值（Value）。將輸入序列通過線性變換生成查詢 、鍵 （K） 和值（V） 矩陣。公式如下：

式中： W_Q，W_κ ，和 是可訓(xùn)練的權(quán)重矩陣; d_k

是注意力機(jī)制中的隱層維度； X 為輸入矩陣。

（2）注意力得分計(jì)算。通過點(diǎn)積計(jì)算 和 K 之間的相似性，并進(jìn)行縮放處理：

（3）Softmax函數(shù)。將注意力得分通過Softmax函數(shù)轉(zhuǎn)換為概率分布：

式中： K^T 代表 K 的轉(zhuǎn)置矩陣。

（4）加權(quán)求和。最終的輸出是注意力權(quán)重與值的加權(quán)和 o

1.4 算法流程

基坑變形數(shù)據(jù)的變化受多種外部因素的影響，尤其在庫區(qū)邊坡監(jiān)測(cè)過程中，觀測(cè)數(shù)據(jù)往往表現(xiàn)出顯著的波動(dòng)性。這種波動(dòng)性通常包含天然因素與人為干擾所引入的噪聲，使得直接應(yīng)用序列數(shù)據(jù)預(yù)測(cè)難以獲得理想的效果。為應(yīng)對(duì)這一挑戰(zhàn)，本文提出了一種融合時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)B(tài)分解（TVF－EMD）、長短期記憶網(wǎng)絡(luò)（LSTM）和自注意力機(jī)制的TVF-EMD-LSTM-

Self-Attention綜合預(yù)測(cè)模型。該模型通過分解與建模相結(jié)合，提升了對(duì)復(fù)雜數(shù)據(jù)的預(yù)測(cè)精度。具體的算法流程（圖2）如下：

（1）采用時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)B(tài)分解（TVF-EMD）方法，將原始變形序列分解為多個(gè)本征模態(tài)函數(shù)（IMF），通過分析這些IMF的特征提取趨勢(shì)項(xiàng)，將原始數(shù)據(jù)分解為趨勢(shì)項(xiàng)和波動(dòng)項(xiàng)兩個(gè)部分。（2）考慮誘發(fā)因子對(duì)變形過程的滯后影響，運(yùn)用灰色關(guān)聯(lián)度分析方法識(shí)別出與變形密切相關(guān)的主要控制因子。（3）將主要控制因子與波動(dòng)項(xiàng)的歷史數(shù)據(jù)作為輸入變量，構(gòu)建一個(gè)基于LSTM網(wǎng)絡(luò)的波動(dòng)項(xiàng)變形預(yù)測(cè)模型LSTM-Self-Attention，以捕捉數(shù)據(jù)中的時(shí)序依賴性。（4）通過對(duì)不同輸入步長下的預(yù)測(cè)誤差進(jìn)行評(píng)估，確定最優(yōu)輸入步長，以提升預(yù)測(cè)模型的準(zhǔn)確性。（5）對(duì)于趨勢(shì)項(xiàng)，采用多項(xiàng)式擬合的方法進(jìn)行預(yù)測(cè)，從而得到較為平滑的長期變形趨勢(shì)。（6）將波動(dòng)項(xiàng)與趨勢(shì)項(xiàng)的預(yù)測(cè)結(jié)果進(jìn)行疊加，得到綜合的最終預(yù)測(cè)結(jié)果。

2 工程應(yīng)用

2.1 工程概況

四川毛爾蓋水庫位于黑水河中游紅巖鄉(xiāng)至俄石壩河段，是一座高山峽谷型的大型水庫。正常蓄水位為2133m ，壩前水位高 142m ，總庫容5.35億 m³ ，調(diào)節(jié)庫容4.44億 m³ 。主庫回水至紅巖鄉(xiāng)小學(xué)，長約13km ；支庫回水至扎窩鄉(xiāng)政府上游 1km 和知木林鄉(xiāng)政府下游 3km 。安置點(diǎn)位于黑水河右岸紅巖鄉(xiāng)云陵寺村，距離水庫大壩約 9km 。該場(chǎng)地長約 500m ，寬度為50～70m ，主要通過回填料對(duì)河漫灘、洪積扇和谷坡地帶進(jìn)行墊高，前緣設(shè)置了防護(hù)工程。安置點(diǎn)標(biāo)高約2135m ，S302省道公路從場(chǎng)地后坡經(jīng)過，高程為2148～2150m 。

自2011年3月20日水庫開始蓄水以來，水位逐漸上升。2011年7月7日，安置場(chǎng)地內(nèi)的公路地坪和村民住宅出現(xiàn)裂縫。2012年，水庫水位升至 2120m 并于10月16日達(dá)到 2133m 。在這一過程中，安置點(diǎn)后緣的S302省道公路及外側(cè)坡出現(xiàn)了明顯的變形。公路路面出現(xiàn)了8條主要裂縫，其中4條為拉裂縫，導(dǎo)致路面下錯(cuò)破壞。公路外側(cè)坡則出現(xiàn)了張拉或剪切裂縫，特別是在框格梁結(jié)合部位出現(xiàn)了鼓脹現(xiàn)象和局部剪切折斷。變形監(jiān)測(cè)自2015年7月18日開始，監(jiān)測(cè)頻率為7d一次，共計(jì)136期，C1監(jiān)測(cè)點(diǎn)安置在邊坡后緣部分，C2位于公路外側(cè)坡中下部，C3監(jiān)測(cè)點(diǎn)位于公路外側(cè)坡中下部，各監(jiān)測(cè)點(diǎn)布設(shè)情況見圖3。

2.2時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)B(tài)分解結(jié)果

為了盡可能挖掘C1序列的特征，去掉信號(hào)中的不確定信息（如載具震動(dòng)、人為噪聲等），便于模型學(xué)習(xí)，運(yùn)用時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)B(tài)分解對(duì)C1的原始變形序列精選分解，分解結(jié)果如圖4所示。

C1分解后得到了4個(gè)本征模態(tài)函數(shù)以及1個(gè)殘差項(xiàng)，由圖4（f）可見殘差項(xiàng)為0，這表明IMF1到IMF4的累加和為原始信號(hào)。IMF4分量的變化趨勢(shì)緩慢而且周期最長，曲線平滑，可將IMF4分量看作原始序列的趨勢(shì)項(xiàng)，而且該分量在變形預(yù)測(cè)中占主導(dǎo)作用。將IMF1、IMF2與IMF3項(xiàng)疊加，求得C1序列的波動(dòng)項(xiàng)變形，結(jié)果如圖5所示。

2.3試驗(yàn)環(huán)境與結(jié)果分析

試驗(yàn)使用的編程語言為Python3.8.7，系統(tǒng)內(nèi)存為16GB，試驗(yàn)采用了NVIDIAGeForceGTX3070顯卡，虛擬環(huán)境配置CUDA和cuDNN。模型參數(shù)上，隱藏層為128，學(xué)習(xí)率為0.003，訓(xùn)練過程的epoch為2000。訓(xùn)練集與測(cè)試集按數(shù)據(jù)總量的7：3劃分，前95個(gè)周期用于訓(xùn)練模型，其余數(shù)據(jù)用于測(cè)試模型精度。

由圖5（b）可知，邊坡的趨勢(shì)項(xiàng)變形的變化趨勢(shì)緩慢，隨時(shí)間的增加而穩(wěn)步上升，受外界因子影響較小。趨勢(shì)項(xiàng)變形采用多項(xiàng)式擬合方法預(yù)測(cè)，并利用最小二乘法優(yōu)化多項(xiàng)式方程的系數(shù)。不同階數(shù)多項(xiàng)式方程對(duì)趨勢(shì)項(xiàng)的擬合均方誤差（MSE）精度如表1所示，由表1可見當(dāng)階數(shù)達(dá)到3以上時(shí)，趨勢(shì)項(xiàng)的擬合精度已經(jīng)非常高，出于方便計(jì)算與參數(shù)量角度考慮，本文采用4階多項(xiàng)式擬合，具體公式如下：

y（t）= 12.99-1.78×10^-1t+2.65×10^-3t²+

7.74×10^-7t³-9.28×10^-8t⁴

式中： y（t） 為趨勢(shì)項(xiàng)變形隨時(shí)間的變化函數(shù)， Ψ_tΨ_t 為時(shí)間期數(shù)。

毛爾蓋水庫邊坡變形主要由降雨引發(fā)。水庫地處高山峽谷地帶，地形復(fù)雜，雨水易匯聚并滲入邊坡，導(dǎo)致土體含水量增加，抗剪強(qiáng)度下降，進(jìn)而引發(fā)邊坡變形。水庫蓄水過程中，水位逐步上升，累積效應(yīng)加劇了邊坡的不穩(wěn)定性。尤其在高水位時(shí)，降雨疊加效應(yīng)導(dǎo)致出現(xiàn)裂縫、剪切和鼓脹現(xiàn)象，防護(hù)工程在強(qiáng)降雨下的作用有限，降雨成為誘發(fā)邊坡變形的主要原因。因此在波動(dòng)項(xiàng)部分利用逐日降雨量作為模型的外部變量。同時(shí)為了考慮邊坡變形的滯后性，本文考慮前期累計(jì)降雨量對(duì)邊坡變形的影響，將變形監(jiān)測(cè)日降雨量記作

R₀ 、前2d累計(jì)降雨量記作 R₁ ，依次類推，考慮一周內(nèi)累計(jì)降雨量對(duì)邊坡變形的影響。以一周內(nèi)累計(jì)降雨量作為邊坡變形的潛在主控因素，利用灰色關(guān)聯(lián)度理論對(duì)各個(gè)因子進(jìn)行關(guān)聯(lián)度計(jì)算，結(jié)果如表2所示。由表2計(jì)算結(jié)果可知，累計(jì)降雨量關(guān)聯(lián)度峰值位于 R₃ ，即前4d的累計(jì)降雨量相關(guān)程度最高，鑒于此，本文LSTM模型部分外部特征矩陣選用前4d累計(jì)降雨量 R₃ 。

在波動(dòng)項(xiàng)變形部分，除了考慮外部特征輸入，還需要從序列自身特征出發(fā)，將波動(dòng)項(xiàng)歷史形變數(shù)據(jù)作為輸入的一部分。為了確定最優(yōu)的歷史輸入步長，通過均勻分布試驗(yàn)驗(yàn)證最優(yōu)的波動(dòng)項(xiàng)序列輸人步長，設(shè)定將模型輸入步長從6到1遞減，6表示輸人數(shù)據(jù)包含了前6期的序列變形數(shù)據(jù)，而輸出值為目標(biāo)期變形數(shù)據(jù)。不同輸入步長的MSE精度如表3所示，可見輸入步長小于5時(shí)，MSE隨著輸入步長的增加而降低，當(dāng)輸人步長為4，5時(shí)MSE總體維持在1.5附近。本文輸入步長取5，波動(dòng)項(xiàng)預(yù)測(cè)結(jié)果如圖6所示。

將趨勢(shì)項(xiàng)與波動(dòng)項(xiàng)兩部分變形預(yù)測(cè)值疊加，得到最終的變形預(yù)測(cè)結(jié)果，結(jié)果如圖7所示。本文提出的TVF-EMD-LSTM-Self-Attention模型在四川毛爾蓋水庫安置點(diǎn)邊坡案例的測(cè)試集上MSE為1.53，擬合優(yōu)度 R² 為0.965，預(yù)測(cè)性能良好。

為了驗(yàn)證本文方法的優(yōu)越性，本研究采用LSTM-Self-Attention預(yù)測(cè)模型對(duì)C1的原始變形序列進(jìn)行試驗(yàn)。按照波動(dòng)項(xiàng)變形預(yù)測(cè)部分的最優(yōu)輸人長度確定方法，對(duì)原始序列輸人步長試驗(yàn)，不同輸入步長的MSE預(yù)測(cè)精度如表4所示。由表4可知，在不分解序列的情況下，直接輸入模型進(jìn)行預(yù)測(cè)，不同輸入步長的預(yù)測(cè)結(jié)果MSE都較高，均在9以上（步長為4時(shí)，MSE為9.62），輸入步長為4時(shí)，MSE位于最小值，與前文波動(dòng)項(xiàng)部分的結(jié)果一致。經(jīng)過TVF-EMD分解的序列進(jìn)行預(yù)測(cè)可以大幅度提升預(yù)測(cè)精度，相較于傳統(tǒng)的LSTM算法，具有更好的擬合效果和準(zhǔn)確性。

3結(jié)論

（1）基于融合時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)B(tài)分解（TVF-EMD）長短期記憶網(wǎng)絡(luò)（LSTM）以及自注意力機(jī)制，提出一種針對(duì)庫區(qū)邊坡變形預(yù)測(cè)的綜合性模型，模型對(duì)處理復(fù)雜變形數(shù)據(jù)表現(xiàn)出卓越的適應(yīng)性。通過TVF-EMD的分解，原始信號(hào)被有效拆分為趨勢(shì)項(xiàng)和波動(dòng)項(xiàng)，進(jìn)一步通過LSTM和自注意力機(jī)制的協(xié)同作用，顯著增強(qiáng)了模型對(duì)時(shí)間序列依賴性的預(yù)測(cè)能力。

（2）提出的LSTM-Self-Attention預(yù)測(cè)模型在四川毛爾蓋水庫安置點(diǎn)邊坡的變形監(jiān)測(cè)數(shù)據(jù)上展現(xiàn)了卓越的預(yù)測(cè)性能。通過灰色關(guān)聯(lián)度分析，確定了前4d累計(jì)降雨量為影響變形的關(guān)鍵外界因子，并采用均勻分布試驗(yàn)確定了最優(yōu)輸入步長為4。采用所提算法對(duì)波動(dòng)項(xiàng)進(jìn)行預(yù)測(cè)，而趨勢(shì)項(xiàng)則通過多項(xiàng)式擬合方法進(jìn)行處理，最終通過波動(dòng)項(xiàng)與趨勢(shì)項(xiàng)的疊加得到精確的預(yù)測(cè)結(jié)果。在測(cè)試集上的均方誤差MSE為1.53，決定系數(shù) R² 為0.963，證明所提方法在實(shí)際應(yīng)用具有較高的預(yù)測(cè)精度和穩(wěn)定性。

（3）相較于未進(jìn)行分解的傳統(tǒng)預(yù)測(cè)方法，本文提出的方法在不同輸人長度條件下均顯示出預(yù)測(cè)精度提升，凸顯了TVF-EMD分解在提高水庫邊坡變形預(yù)測(cè)精度方面的關(guān)鍵作用。本文的研究成果可為類似水庫邊坡變形預(yù)測(cè)提供參考和借鑒。

參考文獻(xiàn)：

[1] 郭斌，劉招，祝敏剛.基于EMD-RNN的堤防沉降預(yù)測(cè)方法研究[J].水利水電快報(bào)，2024，45（9）：85-89.

[2] 黃悅，王曉慧，王成剛，等.基于風(fēng)險(xiǎn)矩陣法的堤防工程自然災(zāi)害風(fēng)險(xiǎn)分析[J].水利水電快報(bào)，2025，46（4）：35-40.

[3] 廖強(qiáng).基于機(jī)器視覺的堤防堤壩沉降實(shí)時(shí)監(jiān)測(cè)方法［J].水利技術(shù)監(jiān)督，2023（1）：25-27，31.

[4] 楊婷.水工建筑物沉降觀測(cè)技術(shù)在水工監(jiān)測(cè)中的應(yīng)用淺析[J].城市建設(shè)理論研究（電子版），2024（26）：88-90.

[5] 李家財(cái).水陽江下游堤防主要工程地質(zhì)問題分析[J].西部探礦工程，2024，36（4）：22-24.

[6] 羅宇，羅林艷，范嘉智，等.基于深度GRU神經(jīng)網(wǎng)絡(luò)的逐小時(shí)氣溫預(yù)報(bào)模型[J].湖北農(nóng)業(yè)科學(xué)，2021，60（6）：119-122，126.

[7]林近山，竇春紅，寇興磊.基于時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)Ｊ椒纸獾凝X輪箱故障診斷[J].機(jī)械傳動(dòng)，2018，42（1）：98-101，105.

[8] 唐貴基，周，龐彬，等.基于參數(shù)優(yōu)化時(shí)變?yōu)V波經(jīng)驗(yàn)?zāi)B(tài)分解的轉(zhuǎn)子故障診斷[J].振動(dòng)與沖擊，2019，38（10）：162-168.

[9] 趙磊娜，王延鵬，邵毅明，等.利用時(shí)變經(jīng)驗(yàn)?zāi)B(tài)分解的主干道短時(shí)交通量預(yù)測(cè)[J].重慶交通大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，41（3）：37-44.

[10] HUANG Y，SUN Y.Learning to pour[C]//IEEE.2017IEEE/RSJ International Conference on Intelligent RobotsandSystems（IROS）.Vancaouver：IEEE，2017：7005-7010.

[11] HOCHREITER S. Untersuchungen zu dynamischen neuro-nalenNetzen[J].Diploma，TechnischeUniversit?tMunchen，1991，91（1） ：31.

[12] 楊晶顯，張帥，劉繼春，等.基于VMD和雙重注意力機(jī)制LSTM的短期光伏功率預(yù)測(cè)[J].電力系統(tǒng)自動(dòng)化，2021，45（3）：174-182.

[13] 曹錦綱，楊國田，楊錫運(yùn).基于注意力機(jī)制的深度學(xué)習(xí)路面裂縫檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2020，32（8） ：1324-1333.

（編輯：張爽）

Research on embankment deformation prediction algorithm based on TVF -EMD and LSTM - Self-Attention

GAO Lin1 ，ZHU Mingang2

（1.POWERCHINA ConstructionGroup Hainan ElectricPowerDesignandResearch InstituteCo.，Ld.，Haikou 57Oo，China; 2.POWERCHNA Construction Group Urban Planning and Design Institute Co.，Ltd.，Guangzhou 510oo，China）

Abstract：To address the challenges of strong non-linearityand complex fluctuations in reservoir slope deformation sequences，and toalleviate the problems oflowpredictionaccuracyandslowresponse in traditional methods，we proposed a deformation prediction method forreservoir slope based on Time- Varying Filtering Empirical Mode Decomposition （TVF-EMD），Long Short- Term Memory network （LSTM） and Self-Atention mechanism.TVF-EMD was used to decompose the original deformationsequencedata of the slope，obtain diferent intrinsic mode functions，extractthe characteristicsignalof the trendterm，andefectivelydecomposethedeformationsequenceintothetrendtermandthefluctuationterm.The LSTMcombined with the Self-Attntion mechanism was used to model the sequencedataof the fluctuation term，thepolynomialfting was used topredictthetrend term，andthehigh correlation factorandtheoptimal input stepsizeweredetermined through corelationanalysisanduniform distribution experiment，soas toenhancethe prediction accuracyof the model，andthe prediction valueof the trend term and thefluctuation term were added toobtain the final predictionresult.The efectivenesoftheproposed methodwasverifiedbytakingthe monitoringdataof theslopeof the resettlment siteof Mao'ergai Reservoir in Sichuan Provinceas the experimental object.The experimental results showthatwhen theinput stepsizeis4，the meansquareerorof the model isreducedto1.53，and thecoeffcientof determination isas highasO.963，which significantly improves theaccuracyof prediction.Theresultscanprovideareference for the deformation prediction of reservoir slopes in similar reservoir areas.

Key Words：slope deformation；Time- Varying Filtered Empirical Mode Decomposition；Long Short-Term Memory networks；Self-Attention mechanism；Mao'ergai Reservoir