摘要:構建合理在線監(jiān)控模型是實時掌控大壩安全性態(tài)的重要保障。針對LSTM模型受多參數(shù)組合影響、最優(yōu)參數(shù)泛化能力弱、人工選取參數(shù)難的問題,深入分析了學習率、分塊尺寸、最大迭代次數(shù)和隱藏層單元數(shù)等關鍵參數(shù)對大壩安全在線監(jiān)控模型精度的影響規(guī)律,提出了融合非線性慣性權重、收縮因子及柯西擾動項的粒子群優(yōu)化改進算法(IPSO),并與LSTM模型耦合構建了針對大壩安全監(jiān)控的IPSO-LSTM模型。工程校驗表明:該模型能自動搜尋最優(yōu)參數(shù)、精度高、魯棒性強,適用于不同類型、不同長度的大壩安全監(jiān)測數(shù)據(jù)序列,相對人工定參的LSTM模型誤差至少能降低30%。相關經(jīng)驗可為大壩運行安全在線監(jiān)控提供技術支持。
關 鍵 詞:大壩安全;監(jiān)控模型;粒子群優(yōu)化改進算法(IPSO);長短時神經(jīng)網(wǎng)絡(LSTM);自動尋優(yōu)
中圖法分類號:TV698.1
文獻標志碼:ADOI:10.16232/j.cnki.1001-4179.2024.12.030
0 引 言
大壩賦存地質(zhì)與運行環(huán)境復雜,風險源多,如何保障其長期安全高效運行是業(yè)界普遍關注的重點問題。隨著云計算、大數(shù)據(jù)、人工智能等新一代信息技術的快速發(fā)展與應用,國家對大壩運行安全在線監(jiān)控提出了更高的要求[1]。如何有效利用海量安全監(jiān)測數(shù)據(jù)合理構建大壩運行安全在線監(jiān)控模型,實時掌握大壩運行安全性態(tài),是近年來業(yè)界關注的熱點問題。
傳統(tǒng)大壩安全在線監(jiān)控模型以統(tǒng)計學模型、確定性模型和混合模型為主,研究成果主要集中在模型因子優(yōu)化、模型泛化能力及魯棒性提升等方面[2-4]。近年來,隨著計算機及人工智能技術不斷發(fā)展,人工智能模型逐漸成熟,支持向量機[5](SVM)、相關向量機[6](RVM)、回歸樹[7](RT)、隨機森林[8](RF)、極限學習機[9](ELM)、卷積神經(jīng)網(wǎng)絡[10](CNN)等機器學習方法逐漸運用于大壩安全在線監(jiān)控模型構建中。其中,Schmidhuber和Hochreiter共同提出的基于循環(huán)神經(jīng)網(wǎng)絡(RNN)的長短時記憶神經(jīng)網(wǎng)絡[11](LSTM)模型因適合處理和預測長間隔的時間序列,且具有記憶網(wǎng)格自環(huán)系數(shù)可調(diào)、不同門類學習率可控、特定記憶功能較強等特點,對非線性數(shù)據(jù)序列的擬合預測效果較好[12],在大壩運行安全在線監(jiān)控中應用良好[13],如譚瀛[14]、歐斌[15]、鄧思源[16]、馬佳佳[17]等均利用LSTM構建了大壩變形預測模型,具有良好的擬合預測效果。但相關學者研究也發(fā)現(xiàn)[18-20],LSTM模型超參數(shù)較多且對模型精度影響較大,實際運用中需反復調(diào)試、比選模型參數(shù)方可確定其適用范圍,極大地影響了模型適用性,但目前尚缺乏關鍵參數(shù)對大壩安全在線監(jiān)控LSTM模型影響規(guī)律的系統(tǒng)研究。
粒子群優(yōu)化算法(PSO)是一種高效的參數(shù)尋優(yōu)算法,能夠與機器學習算法融合以解決超參數(shù)問題,如楊曉曉等[21]利用PSO算法對SVM模型參數(shù)尋優(yōu),在大壩變形監(jiān)控中展現(xiàn)出極大的優(yōu)越性;張鈺彬等[22]利用PSO算法提高了BP神經(jīng)網(wǎng)絡水位預測的精度。目前PSO-LSTM模型已應用于電壓控制、交通管理和水產(chǎn)養(yǎng)殖等多領域[23-25],但在大壩安全在線監(jiān)控模型中應用相對較少,且存在粒子尋優(yōu)過程中易陷入局部最優(yōu)而“早熟”的問題。為此,本文結合大壩安全監(jiān)測數(shù)據(jù)序列特征,深入分析關鍵參數(shù)對LSTM模型精度和泛化能力的影響規(guī)律,融合非線性慣性權重、收縮因子和柯西擾動項,提出了改進粒子群優(yōu)化算法IPSO,構建了大壩安全在線監(jiān)控IPSO-LSTM模型,并校驗了模型精度和穩(wěn)定性,以為大壩安全在線監(jiān)控提供重要技術支撐。
1 LSTM模型在大壩安全監(jiān)控中的適用性分析
不同壩型、不同監(jiān)測項目的數(shù)據(jù)呈現(xiàn)不同的規(guī)律,監(jiān)測數(shù)據(jù)序列的類型也多樣,一般包括周期型(如重力壩順河向位移、土石壩上游過渡區(qū)滲壓等)、直線上升型(如大壩壩頂及壩體沉降位移等)、水平直線型(如裂縫開合度、帷幕后滲壓測點等)和弱規(guī)律型(如大壩橫河向位移、應力應變等),因此大壩安全在線監(jiān)控模型應具有較強的泛化能力,能適用于不同的數(shù)據(jù)類型。而大壩安全在線監(jiān)控LSTM模型在實際應用中存在以下問題:
(1)參數(shù)眾多且對模型精度影響大,泛化能力差,人工設置難度大。LSTM模型參數(shù)眾多,主要包括學習率、分塊尺寸、最大迭代次數(shù)、隱藏層單元數(shù)、丟棄率和輸入層神經(jīng)元數(shù)等,其中影響模型精度的可調(diào)參數(shù)主要包括學習率、分塊尺寸、最大迭代次數(shù)、隱藏層單元數(shù)等,且其有效范圍較大,分別是:0.0001~0.1、1~40、1~1000、1~500。為深入分析模型參數(shù)對模型精度的影響,本文選擇不同類型、不同長短的實際工程監(jiān)測數(shù)據(jù)序列(表1和圖1),采用單一控制變量法逐一分析學習率、分塊尺寸、最大迭代次數(shù)和隱藏層單元數(shù)4項參數(shù)不同取值情況對LSTM模型精度的影響,計算結果見圖2。從圖2中可以看出,學習率、分塊尺寸的變化對模型精度影響較大,且不同類型測點的最優(yōu)參數(shù)取值差異較大;隱藏層單元數(shù)對模型精度的影響雖然也較大,但不同類型測點的最優(yōu)參數(shù)取值相近,取值可相對固定;最大迭代次數(shù)超過300后對模型精度基本無影響,但對模型計算效率影響較大,且不同類型測點的最優(yōu)取值差異相較其他參數(shù)最大。
整體上,采用人工選取并設定LSTM模型參數(shù)的主觀性與隨機性過強,且最優(yōu)參數(shù)的泛化能力較弱,即某類型測點適宜的最優(yōu)參數(shù)應用于其他類型測點時效果較差,要構建高精度的監(jiān)控模型,需逐一進行參數(shù)調(diào)整,需耗費大量的時間和人力。
(2)單一最優(yōu)參數(shù)的簡單組合無法達到整體最優(yōu)效果。將上述4種類型測點在單一參數(shù)控制條件下的最優(yōu)參數(shù)進行組合,進一步分析其對模型精度的影響,計算結果如表2所列。從表中可知,采用各最優(yōu)參數(shù)組合構建的模型并不是整體最優(yōu),分析其原因在于LSTM模型受多參數(shù)共同作用,各參數(shù)在計算過程中相互影響、相互修正、相互學習,通過單一控制變量法簡單獲取的最優(yōu)組合參數(shù)并不是多維空間函數(shù)下的整體最優(yōu)結果。因此,為提高LSTM在線監(jiān)控模型的精度和適用性,需實現(xiàn)模型關鍵參數(shù)的自動優(yōu)選。
2 IPSO算法改進原理與效果
改進粒子群優(yōu)化算法(IPSO)通過更新代表問題潛在解的粒子速度v和位置x,實現(xiàn)粒子在空間中搜索與移動,以粒子適應度fiti最小為標準尋求最佳解。本文通過設置非線性慣性權重[26]、收縮因子[27]和柯西擾動項來改進粒子群的vid與xid的更新方法,計算公式為
vid=ωvid+φ[c1rand1dpbest,id-xid+c2rand2dGbest,id-xid](1)
xid=xid+vid(2)
式中:vid是粒子的運動速度;xid是粒子所處的位置;ω是慣性權重;rand1d和rand2d為區(qū)間[0,1]的隨機數(shù),增加搜索的隨機性;pbest是粒子的歷史最優(yōu)位置;Gbest是擾動后全局最優(yōu)極值;c1和c2是加速因子,用于控制向全局最優(yōu)粒子gbest和局部最優(yōu)粒子pbest運動方向的步長;φ是收縮因子。
(1)慣性權重ω。慣性權重ω是確定粒子收縮速度的一項重要參數(shù),ω值越大,粒子進化速度越快,搜索范圍也越大。粒子群優(yōu)化算法(PSO)采用線性慣性權重遞減方法,不能自適應改變慣性權重以優(yōu)化尋優(yōu)能力。本文提出的改進粒子群優(yōu)化算法(IPSO)采用非線性慣性權重遞減方法,如式(3)所示,即慣性權重ω隨迭代次數(shù)增加以非線性形式遞減,其前期變化速度增加,能有效避免粒子群陷入早熟的問題,而后期變化速度減緩,則能準確搜索到最優(yōu)參數(shù)。
ω=ωmax-ωmax-ωmini/imax(3)
式中:imax表示最大迭代次數(shù);ωmax與ωmin分別代表慣性權重的最大值和最小值。
(2)收縮因子φ。收縮因子φ主要控制粒子的速度v。為保證粒子能快速收斂,同時避免粒子過早收斂,改進粒子群優(yōu)化算法(IPSO)利用加速因子c1、c2對φ進行動態(tài)調(diào)整,同時利用控制值C(C≥4)限制C1,C2的取值范圍,有效提高了算法的收斂率,計算公式為
φ=2/∣2-C-C2-4C∣C=c1+c2(4)
(3)柯西擾動項。為了提升粒子群的收斂速度與精度,降低粒子陷入局部最優(yōu)的概率,改進粒子群優(yōu)化算法(IPSO)在原本gbest的基礎上對粒子群內(nèi)長時間保持不變的粒子增加一個柯西擾動項,使其能跳出局部最優(yōu),同時產(chǎn)生一個較小的步長,從而加速算法收斂,計算公式如下:
Gbest,id=gbest,id+η×Cauchy0,1(5)
式中:gbest,id是群體的全局極值在第d維的分量;η為柯西擾動參數(shù),能控制柯西分布擾動權項大??;Cauchy(0,1)是服從比例參數(shù)t=1的柯西分布隨機數(shù)。
為驗證改進粒子群優(yōu)化算法(IPSO)的有效性,本文將其尋優(yōu)能力與粒子群優(yōu)化算法(PSO)對比,典型測點JG09計算結果見表3與圖3。從圖表中可以看出,隨著迭代次數(shù)的增加,傳統(tǒng)PSO算法突破了3次局部最優(yōu),在第11次迭代時適應度收斂于9.08×10-4。而改進IPSO算法突破了5次局部最優(yōu),在第52次迭代時收斂于3.78×10-4,尋優(yōu)能力明顯提升,這與改進粒子群優(yōu)化算法(IPSO)能有效避免粒子在尋優(yōu)過程中陷入“早熟”,從而提升其全局搜索能力有關。
3 大壩安全在線監(jiān)控IPSO-LSTM模型構建
模型總體架構如圖4所示,具體步驟如下:
(1)數(shù)據(jù)集獲取。提取大壩環(huán)境量監(jiān)測數(shù)據(jù)(如氣溫、降雨、庫水位等),以及大壩安全監(jiān)測效應量數(shù)據(jù)(如變形、滲流、應力應變等),標準化處理后獲取模型構建的特征數(shù)據(jù)集。
(2)LSTM模型構建。采用特征數(shù)據(jù)集,構建LSTM模型,并初始化神經(jīng)網(wǎng)絡架構和模型參數(shù)。即設定學習率、分塊尺寸、最大迭代次數(shù)、隱藏層單元數(shù)、丟棄率和輸入層神經(jīng)元數(shù)等模型參數(shù)的初始值。
(3)基于改進粒子群優(yōu)化算法IPSO的模型關鍵圖4 大壩安全在線監(jiān)控IPSO-LSTM模型構建流程
Fig.4 Construction process of IPSO-LSTM model for dam safety monitoring
參數(shù)尋優(yōu)。為了提高模型精度并保證計算效率,選擇對模型精度影響較大且泛化能力較弱的學習率、最大迭代次數(shù)和分塊尺寸的3個關鍵參數(shù),采用改進粒子群IPSO算法進行自適應尋優(yōu)。
(4)IPSO-LSTM模型構建。將采用改進粒子群IPSO算法獲取的模型最優(yōu)參數(shù)值輸入到LSTM模型中,即完成IPSO-LSTM模型構建,從而實現(xiàn)相應監(jiān)測數(shù)據(jù)集的擬合和預測,同時完成模型校驗。
4 模型校驗
4.1 模型精度分析
本文針對表1所列的不同類型監(jiān)測數(shù)據(jù)序列,分別構建逐步回歸、LSTM、PSO-LSTM及IPSO-LSTM監(jiān)控模型,并采用可決系數(shù)(R2)、均方根誤差(RMSE)和平均絕對偏差(MAE)3個評價指標對比分析模型效果,計算成果見表4和圖5(每個分圖中的上圖為擬合段,下圖為預測段),由圖表可知:
(1)針對規(guī)律性較好、數(shù)據(jù)序列較長的周期型的JG09測點與直線上升型的EB01測點,4種模型精度均較高,可決系數(shù)均在0.95以上,IPSO-LSTM模型的擬合及預測精度均略高于其他模型。
(2)針對規(guī)律性差或監(jiān)測序列較短的弱規(guī)律型TC1-7測點和水平直線型M3Y6-2測點,受數(shù)據(jù)規(guī)律性差、數(shù)據(jù)與環(huán)境量響應關系弱等因素影響,逐步回歸模型效果較差,可決系數(shù)R2最低僅在0.6附近,部分測點擬合、預測段甚至出現(xiàn)漂移現(xiàn)象。采用LSTM模型擬合預測效果提升明顯,但受參數(shù)泛化能力影響,M3Y6-2測點的可決系數(shù)R2僅能達到0.87,而PSO-LSTM模型和IPSO-LSTM模型的可決系數(shù)則可分別提升至0.89與0.90。IPSO-LSTM模型的均方根誤差和平均絕對誤差較其他3種模型均明顯降低,以TC1-7測點擬合段為例,IPSO-LSTM模型較逐步回歸、LSTM、PSO-LSTM等模型的均方根誤差分別降低76%,33%,23%。
整體上,IPSO-LSTM模型有效解決了人工選取參數(shù)的問題,能更加精準地獲取不同樣本訓練過程中最佳的網(wǎng)絡參數(shù),能更好地處理非線性與不確定性問題,相較于逐步回歸、LSTM、PSO-LSTM等模型具有更好的擬合預測精度、泛化能力及魯棒性。
4.2 模型穩(wěn)定性分析
為了進一步探究模型穩(wěn)定性,本節(jié)分析其對不同長度數(shù)據(jù)序列的適應性。仍采用表1中的4類典型測點,隨機抽取原始數(shù)據(jù)序列中90%,80%,70%,60%的測次形成新的數(shù)據(jù)序列,并建立IPSO-LSTM監(jiān)控模型,其結果對比見表5與圖6。
從圖表中可以看出,對規(guī)律性較好、數(shù)據(jù)序列較長的周期型JG09測點與直線上升型EB01測點,采用不同數(shù)據(jù)占比建立的模型精度均較高,模型可決系數(shù)基本穩(wěn)定在0.99左右。而對規(guī)律性差或較短的序列,數(shù)據(jù)量占比越小對應的建模精度越低,特別是在數(shù)據(jù)序列的末端,擬合值偏離實測值明顯。分析其原因在于測值序列非線性數(shù)據(jù)特征明顯,隨監(jiān)測數(shù)據(jù)量減少,IPSO-LSTM對非線性數(shù)據(jù)的處理與信息挖掘能力降低,從而影響模型精度。整體上不同類型、不同長度序列的IPSO-LSTM模型精度均較高,可決系數(shù)均能達到0.85以上,具有良好的穩(wěn)定性,可較好地適用于大壩安全在線監(jiān)控。
5 結 論
(1)長短時神經(jīng)網(wǎng)絡(LSTM)模型參數(shù)眾多,學習率、分塊尺寸和最大迭代次數(shù)是對模型精度影響較大且泛化能力較弱的關鍵參數(shù)。
(2)通過融合非線性慣性權重、收縮因子及柯西擾動項,提出了改進粒子群優(yōu)化算法IPSO,克服了傳統(tǒng)PSO算法在尋優(yōu)中容易陷入“早熟”、收斂速度慢等問題,可實現(xiàn)LSTM模型關鍵參數(shù)的自動尋優(yōu)。
(3)工程檢驗表明,IPSO-LSTM模型相較于逐步回歸、LSTM、PSO-LSTM等模型具有更好的擬合預測精度、泛化能力及魯棒性。以規(guī)律性差且數(shù)據(jù)序列較短的測點為例,它的可決系數(shù)較逐步回歸、LSTM、PSO-LSTM模型分別提升59%,6%,2%,均方根誤差RMSE分別降低76%,33%,23%。
(4)IPSO-LSTM模型有效解決了LSTM模型受多參數(shù)組合影響、最優(yōu)參數(shù)泛化能力弱、人工選取參數(shù)難的問題,適用于類型多樣、長度差異大、非線性特征明顯的大壩安全監(jiān)測數(shù)據(jù)序列,監(jiān)控模型魯棒性和泛化能力均較好。
參考文獻:
[1]水利部.水利部關于加強水庫庫容管理的指導意見[EB/OL].(2024-04-01)[2023-12-15].111000/2023-00370.http://www.mwr.gov.cn/zwgk/gknr/202401/t20240109_1700708.html.
[2]WEI B,YUAN D,XU Z,et al.Modified hybrid forecast model considering chaotic residual errors for dam deformation[J].Structural Control and Health Monitoring,2018,25(8):e2188.
[3]李明超,任秋兵,沈揚.貝葉斯框架下的大壩變形交互式預測模型及其驗證[J].水利水電快報,2019,40(1):5.
[4]MATA J,TAVARES C A,COSTA J.Constructing statistical models for arch dam deformation [J].Structure Control and Health Monitoring,2014,21(3):423-437.
[5]李澗鳴,包騰飛,盧遠富,等.基于GAMPSO-SVM的大壩變形監(jiān)控模型[J].三峽大學學報(自然科學版),2015,37(6):42-46.
[6]胡雨菡,包騰飛,朱征,等.基于IABC-FCM-RVM算法的拱壩變形預測模型[J].武漢大學學報(工學版),2020,53(12):1055-1064.
[7]SALAZAR F,TOLEDO M,ONATE E,et al.Interpretation of dam deformation and leakage with boosted regression trees [J].Engineering Structures,2016,119:230-251.
[8]羅浩,郭盛勇,包為民.拱壩變形監(jiān)測預報的隨機森林模型及應用[J].南水北調(diào)與水利科技,2016,14(6):116-121,158.
[9]曹恩華,包騰飛,胡紹沛,等.基于變量篩選優(yōu)化極限學習機的混凝土壩變形預測模型[J].長江科學院院報,2022,39(7):59-65.
[10]翟征秋,程林,宋效第,等.基于卷積神經(jīng)網(wǎng)絡的防坡堤施工沉降預測[J].水運工程,2021(8):202-206,219.
[11]HOCHREITER S,SCHMIDHUBER J.Long short-term memory [J].Neural Computation,1997,9(8):1735-1780.
[12]程冬梅.LSTM研究現(xiàn)狀綜述[J].信息系統(tǒng)工程,2022(1):149-152.
[13]王麗蓉,鄭東健.多監(jiān)測項目聯(lián)合的大壩安全監(jiān)控模型[J].西北水電,2021(6):8-14,25.
[14]譚瀛,馬剛,徐建華,等.基于多變量時間序列和LSTM網(wǎng)絡的面板縫變形預測[J].人民長江,2022,53(10):198-204.
[15]歐斌,吳邦彬,袁杰,等.基于LSTM的混凝土壩變形預測模型[J].水利水電科技進展,2022,42(1):21-26.
[16]鄧思源,周蘭庭,王飛,等.大壩變形的XGBoost-LSTM變權組合預測模型及應用[J].長江科學院院報,2022,39(10):72-79.
[17]馬佳佳,蘇懷智,王穎慧.基于EEMD-LSTM-MLR的大壩變形組合預測模型[J].長江科學院院報,2021,38(5):47-54.
[18]周祥,張世明,蘇林鵬,等.基于注意力機制與LSTM-CCN的月降水量預測[J].人民長江,2024,55(6):129-135.
[19]郭燕,賴錫軍.基于長短時記憶神經(jīng)網(wǎng)絡的鄱陽湖水位預測[J].湖泊科學,2020,32(3):865-876.
[20]殷兆凱,廖衛(wèi)紅,王若佳,等.基于長短時記憶神經(jīng)網(wǎng)絡(LSTM)的降雨徑流模擬及預報[J].南水北調(diào)與水利科技,2019,17(6):1-9,27.
[21]楊曉曉,劉懿,王超,等.基于改進PSO算法和SVM的大壩監(jiān)控模型研究[J].人民長江,2015,46(18):97-100,104.
[22]張鈺彬,練繼建,王孝群,等.基于PSO-水量平衡-BP耦合模型的短期水位預測[J].人民長江,2023,54(3):90-95.
[23]蒲清昕,劉明順,朱煜昆,等.基于改進粒子群算法優(yōu)化長短時記憶神經(jīng)網(wǎng)絡的孤網(wǎng)電壓控制方法[J].自動化與儀器儀表,2023(12):247-251,256.
[24]連蓮,穆雅偉,宗學軍,等.基于改進粒子群算法優(yōu)化LSTM-AM的公交客流量預測[J/OL].控制工程:1-9[2024-05-29].https:∥doi.org/10.14107/j.cnki.kzgc.20220556.
[25]曹守啟,周禮馨,張錚.采用改進長短時記憶神經(jīng)網(wǎng)絡的水產(chǎn)養(yǎng)殖溶解氧預測模型[J].農(nóng)業(yè)工程學報,2021,37(14):235-242.
[26]SHAO B L,LI M L,ZHAO Y,et al.Nickel price forecast based on the LSTM neural network optimized by the improved PSO algorithm[J].Hindawi,2019(2):1-15.
[27]趙珊,張紀會,朱玉菲.基于模糊推理的帶收縮因子的粒子群算法[J].青島大學學報(工程技術版),2018,33(3):9-14,37.
(編輯:胡旭東)
Study on IPSO-LSTM model for online monitoring dam operation safety
DAI Peilin1,LI Yanling1,ZHOU Ziyu2
(1.College of Water Resource and Hydropower,Sichuan University,Chengdu 610065,China; 2.POWERCHINA Zhongnan Engineering Coporation Limited,Changsha 410014,China)
Abstract: Constructing a reasonable online monitoring model is an important guarantee for real-time control on dam safety.Aiming at the problems of conventional LSTM model such as easily affected by multi-parameters combination,weak generalization ability of optimal parameters and difficult manual selection of parameters,the influence of key parameters such as learning rate,block size,maximum number of iterations and number of hidden layer units on the accuracy of dam safety online monitoring model were deeply analyzed.An improved particle swarm optimization algorithm (IPSO) integrating nonlinear inertia weight,shrinkage factor and Cauchy disturbance term was proposed,and the IPSO-LSTM model for dam safety monitoring was constructed by coupling with LSTM model.The engineering verification showed that this model can automatically search for the optimal parameters,has high accuracy and strong robustness,and is suitable for dam safety monitoring data sequences of different types and lengths.The error can be reduced by at least 30% compared with the conventional LSTM model with artificial parameters.Relevant experiences can provide technical support for online monitoring of dam operation safety.
Key words: dam safety;monitoring model;improved particle swarm optimization algorithm (IPSO);long and short time neural network (LSTM);automatic optimization