基于機(jī)器學(xué)習(xí)的重力壩變形監(jiān)測(cè)統(tǒng)計(jì)模型及應(yīng)用

田紫圓，何佳楠，吳震宇，周 弭，孫 燕

(1.四川大學(xué) 水利水電學(xué)院 水力學(xué)與山區(qū)河流開(kāi)發(fā)保護(hù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，四川 成都 610065；2. 國(guó)網(wǎng)四川甘孜州電力有限責(zé)任公司康定市供電分公司，四川 康定 626000)

1 概述

大壩安全監(jiān)測(cè)是保證水庫(kù)安全運(yùn)行，掌握大壩性態(tài)，及時(shí)診斷工程運(yùn)行現(xiàn)狀的必要手段[1]。重力壩是水庫(kù)大壩常用壩型之一。變形監(jiān)測(cè)是監(jiān)控重力壩長(zhǎng)期運(yùn)行安全的重要手段，而構(gòu)建重力壩變形監(jiān)測(cè)模型，對(duì)于重力壩變形[2]規(guī)律分析和結(jié)構(gòu)異常性態(tài)[3]的診斷以及評(píng)估重力壩安全風(fēng)險(xiǎn)[4- 5]具有重要意義。

在重力壩變形監(jiān)測(cè)模型中，基于機(jī)器學(xué)習(xí)算法的監(jiān)測(cè)模型愈加受到關(guān)注和應(yīng)用。極限學(xué)習(xí)機(jī)(ELM)是一種具有單層隱藏節(jié)點(diǎn)的前饋神經(jīng)網(wǎng)絡(luò)，連接輸入的權(quán)值隨機(jī)分配。與使用反向傳播算法訓(xùn)練的網(wǎng)絡(luò)相比，該模型具有良好的泛化性能和學(xué)習(xí)速度，能夠簡(jiǎn)單有效地用于混凝土壩結(jié)構(gòu)行為預(yù)測(cè)監(jiān)測(cè)模型的建立。胡德秀[6]以土石壩監(jiān)測(cè)測(cè)點(diǎn)的水平位移作為輸出值，以上下游水位、壩區(qū)氣溫、對(duì)數(shù)時(shí)效因子作為輸入值，構(gòu)建基于穩(wěn)健估計(jì)極值學(xué)習(xí)機(jī)(M-ELM)的變形監(jiān)測(cè)模型，具有較高的擬合和預(yù)測(cè)精度；戴波[7]以重力壩測(cè)點(diǎn)水平位移為例，結(jié)合混沌理論和極限學(xué)習(xí)機(jī)建立變形監(jiān)測(cè)統(tǒng)計(jì)模型，其預(yù)測(cè)效果優(yōu)于傳統(tǒng)的重力壩統(tǒng)計(jì)模型；Kang[8]采用ELM算法對(duì)豐滿重力壩的壩頂水平位移進(jìn)行監(jiān)測(cè)模型的構(gòu)建，并且與BP神經(jīng)網(wǎng)絡(luò)模型、MLR模型和SR模型相比，ELM模型對(duì)該工程的位移具有更好的預(yù)測(cè)性能且訓(xùn)練速度較快?；赩C維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則而建立的支持向量機(jī)SVM[9- 10]，可以用于非線性數(shù)據(jù)的回歸預(yù)測(cè)，被廣泛應(yīng)用于重力壩變形監(jiān)測(cè)模型研究中。姜振翔[11]將小波分解和支持向量機(jī)結(jié)合，建立監(jiān)測(cè)模型用于重力壩引張線監(jiān)測(cè)點(diǎn)位移的預(yù)測(cè)，具有較強(qiáng)的預(yù)測(cè)精度；宋志宇[12]以豐滿混凝土重力壩為例，將環(huán)境量作為輸入變量，壩頂水平位移作為輸出變量，采用最小二乘支持向量機(jī)(LSSVM)建立重力壩的變形監(jiān)控模型，比傳統(tǒng)支持向量機(jī)(SVM)預(yù)測(cè)精度更高。近年神經(jīng)網(wǎng)絡(luò)算法在重力壩變形監(jiān)測(cè)模型的研究中應(yīng)用也較為廣泛。Wang[13]提出了一種基于混合多種群遺傳算法的神經(jīng)網(wǎng)絡(luò)算法，利用該混合模型對(duì)重力壩的位移進(jìn)行了分析預(yù)測(cè)，其算法在全局搜索、收斂速度和預(yù)測(cè)精度方面均優(yōu)于普通BP神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)回歸模型。另外，有不少學(xué)者在其它領(lǐng)域內(nèi)采用遺傳算法(GA)和模擬退火(SA)算法共同優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)相比，其優(yōu)勢(shì)在于能夠提高收斂速度和預(yù)測(cè)精度，避免神經(jīng)網(wǎng)絡(luò)容易陷入局部極小值的缺陷[14- 15]。

本文擬結(jié)合EMD分解，采用極限學(xué)習(xí)機(jī)(ELM)、基于網(wǎng)格搜索和K-fold交叉驗(yàn)證的支持向量機(jī)、基于模擬退火遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)(GASA-BP)三種機(jī)器學(xué)習(xí)方法對(duì)EMD分解重構(gòu)的周期項(xiàng)進(jìn)行訓(xùn)練和預(yù)測(cè)，并采用評(píng)價(jià)指標(biāo)均方根誤差RMSE和平均絕對(duì)誤差MAE對(duì)其訓(xùn)練集擬合和預(yù)測(cè)集的預(yù)測(cè)效果進(jìn)行對(duì)比分析。

2 機(jī)器學(xué)習(xí)算法

2.1 極限學(xué)習(xí)機(jī)(ELM)

極限學(xué)習(xí)機(jī)(ELM)是Huang[16]等提出的一種高性能單隱層前饋神經(jīng)網(wǎng)絡(luò)，基本步驟如下：

(1)輸入訓(xùn)練集{Xi，Yi|xi∈Rd，yi∈Rm，i=1，2，…，N}，隱藏層激活函數(shù)G(·)形式和隱藏層神經(jīng)元數(shù)量L。

(2)對(duì)訓(xùn)練集數(shù)據(jù)實(shí)例xi(i=1，2，…，N)和數(shù)據(jù)實(shí)例對(duì)應(yīng)的標(biāo)記yi(i=1，2，…，N)分部進(jìn)行[0，1]最值歸一化。

(3)計(jì)算生成的隱藏層節(jié)點(diǎn)參數(shù)wi(i=1，2，…，L)和bi(i=1，2，…，L)。

(4)計(jì)算隱藏層輸出層連接權(quán)重β*=H+T。

(5)構(gòu)建ELM網(wǎng)絡(luò)，得到訓(xùn)練集對(duì)應(yīng)的ELM的輸出值fL(xi)(i=1，2，…，N)，并進(jìn)行標(biāo)記反歸一化，即可得到訓(xùn)練集標(biāo)記對(duì)應(yīng)的預(yù)測(cè)值。

(6)輸入預(yù)測(cè)集的數(shù)據(jù)實(shí)例{Xi|xi，i=N+1，N+2，…，N+p}，p為預(yù)測(cè)集數(shù)據(jù)的組數(shù)。對(duì)預(yù)測(cè)集的數(shù)據(jù)實(shí)例同樣進(jìn)行與(2)中結(jié)構(gòu)一致的歸一化。通過(guò)構(gòu)建的ELM網(wǎng)絡(luò)，得到預(yù)測(cè)集對(duì)應(yīng)的ELM的輸出值fL(xi)(i=N+1，N+2，…，N+p)，并進(jìn)行反歸一化，即可得到預(yù)測(cè)集的標(biāo)記預(yù)測(cè)值。

2.2 基于網(wǎng)格搜索和交叉驗(yàn)證的支持向量機(jī)

本文采用基于網(wǎng)格搜索和K-fold交叉驗(yàn)證的SVM回歸模型[17- 18]，其優(yōu)點(diǎn)在于可以對(duì)參數(shù)組合(C，g)同時(shí)進(jìn)行尋優(yōu)，有效避免了局部最優(yōu)的問(wèn)題，提高計(jì)算的整體效率。其中，組合(C，g)中的C為非負(fù)懲罰因子，g為核函數(shù)參數(shù)。

基于網(wǎng)格搜索和K-fold交叉驗(yàn)證的(C，g)參數(shù)優(yōu)化步驟如下：

(1)設(shè)定網(wǎng)格劃分區(qū)間。令a=[-4，4]，b=[-4，4]，步長(zhǎng)取為0.1。取SVM模型參數(shù)的網(wǎng)格劃分節(jié)點(diǎn)為C=2a，g=2b。

(2)將訓(xùn)練數(shù)據(jù)等分為K個(gè)子集。K取為3，確保訓(xùn)練集中的訓(xùn)練樣本數(shù)量大于測(cè)試樣本數(shù)量。

(3)對(duì)于設(shè)定網(wǎng)格中的每組(C，g)，任取一個(gè)等分的子集作為測(cè)試集，其余K-1個(gè)子集作為訓(xùn)練集進(jìn)行SVM的模型構(gòu)建，將得到的訓(xùn)練模型對(duì)取出的測(cè)試集進(jìn)行預(yù)測(cè)，統(tǒng)計(jì)測(cè)試結(jié)果的均方誤差MSE：

(1)

2.3 基于模擬退火遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)

本文采用遺傳算法(GA)和模擬退火(SA)算法共同優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，GA的抽樣過(guò)程可以優(yōu)化算法[19]，SA算法可以有效控制算法的收斂性[20]，有效增強(qiáng)BP神經(jīng)網(wǎng)絡(luò)的搜索能力和運(yùn)行效率[21]。

基于模擬退火遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)權(quán)值算法的主要步驟如下：

(1)進(jìn)行實(shí)數(shù)編碼。采用3層前饋神經(jīng)網(wǎng)絡(luò)，編碼長(zhǎng)度n與輸入節(jié)點(diǎn)數(shù)a，輸出節(jié)點(diǎn)數(shù)b，隱含層節(jié)點(diǎn)數(shù)c相關(guān)，其計(jì)算公式為：

n=(a+1)c+(c+1)b

(2)

(2)設(shè)置相關(guān)參數(shù)。給定模擬退火的初始溫度t0，退火速率λ，迭代次數(shù)k=0。同時(shí)，設(shè)定隱含層節(jié)點(diǎn)數(shù)、最大進(jìn)化代數(shù)(迭代次數(shù))、種群規(guī)模、染色體選擇方法交叉概率Pc、交叉方法、變異概率Pm、變異方法等。

(3)生成初始群體。節(jié)點(diǎn)的連接權(quán)重范圍設(shè)定為[xmin，xmax]，基因取范圍中的隨機(jī)數(shù)。

(4)對(duì)群體中個(gè)體進(jìn)行評(píng)價(jià)。輸入學(xué)習(xí)樣本可以計(jì)算出學(xué)習(xí)誤差E：

(3)

式中，N—訓(xùn)練樣本集的組數(shù)，yi—神經(jīng)網(wǎng)絡(luò)第i個(gè)輸入樣本的輸出，yi—響應(yīng)的期望輸出。個(gè)體的適應(yīng)度為：

(4)

(5)執(zhí)行遺傳操作。具體如下：

①選擇操作。個(gè)體Xi被選中進(jìn)入下一代的概率為：

(5)

式中，G—種群規(guī)模，fi—個(gè)體Xi的適應(yīng)度。

(6)

(7)

式中，e—比例因子，為(0，1)范圍內(nèi)以均勻分布產(chǎn)生的一個(gè)隨機(jī)參數(shù)。

③變異操作。個(gè)體Xi中的每一個(gè)基因位以變異概率Pm的概率發(fā)生變異，相當(dāng)于有Pm的幾率使區(qū)間[xmin，xmax]中均勻分布產(chǎn)生的隨機(jī)數(shù)代替原有基因位。

(6)引入最優(yōu)的保留策略。

(7)引入模擬退火操作。

①利用模擬退火狀態(tài)產(chǎn)生新基因值g′(k)，具體為：

g′(k)=g(k)+β

(8)

式中，β∈(-1，1)，為一個(gè)隨機(jī)擾動(dòng)的參數(shù)。

②計(jì)算g′(k)的目標(biāo)函數(shù)值和g(k)的目標(biāo)函數(shù)值之差ΔC。

③計(jì)算接受概率Pr，公式為

Pr=min[1，exp(-ΔC/tk)]

(9)

式中，tk—迭代k次后的模擬退火溫度。

④若Pr>random[0，1]，則取g(k)=g′(k)，否則，g(k)保持不變。

⑤引入最優(yōu)保留策略。

⑥采用模擬退火函數(shù)tk+1=λtk進(jìn)行退火，其中，λ為退火速率，λ∈(0，1)。

(8)判斷終止條件。滿足遺傳算法操作的終止條件轉(zhuǎn)(9)，不滿足轉(zhuǎn)(4)。

(9)解碼賦值，進(jìn)行預(yù)測(cè)。將搜索的最優(yōu)個(gè)體解碼，賦值給神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)連接權(quán)重和節(jié)點(diǎn)閾值，進(jìn)行預(yù)測(cè)。

3 案例分析

本文以某重力壩9#壩段真空激光LA9測(cè)點(diǎn)順河向位移為例，訓(xùn)練集和預(yù)測(cè)集輸入變量分別采用2015年5月1日—2017年5月1日和2017年5月2日—2017年8月1日水壓分量的模型因子H、H2、H3、H4和溫度分量的模型因子PC1、PC2，訓(xùn)練集輸出變量采用真空激光LA9測(cè)點(diǎn)順河向位移經(jīng)EMD分解后重構(gòu)的周期項(xiàng)，預(yù)測(cè)集采用周期項(xiàng)作為實(shí)際值，用于檢驗(yàn)機(jī)器學(xué)習(xí)的預(yù)測(cè)效果。分析和評(píng)價(jià)指標(biāo)使用均方根誤差RMSE和平均絕對(duì)誤差MAE。其中：

(10)

式中，H(t)—t時(shí)刻作用在重力壩上的上游水位；Hmin—重力壩上游的極限死水位；Hmax—重力壩監(jiān)測(cè)時(shí)期最高上游庫(kù)水位。

(1)極限學(xué)習(xí)機(jī)(ELM)模擬結(jié)果

經(jīng)試驗(yàn)，變量進(jìn)行最值化歸一的區(qū)間設(shè)置為[0，1]，極限學(xué)習(xí)機(jī)ELM的激活函數(shù)設(shè)置為Sigmoid函數(shù)，隱藏層神經(jīng)元節(jié)點(diǎn)數(shù)量L設(shè)置為10，可以獲得較好的訓(xùn)練和預(yù)測(cè)效果。訓(xùn)練產(chǎn)生的輸入層神經(jīng)元與隱含層神經(jīng)元間的連接權(quán)重、隱藏層神經(jīng)元的閾值和隱藏層與輸出層的連接權(quán)重見(jiàn)表1，ELM算法訓(xùn)練集擬合與預(yù)測(cè)集預(yù)測(cè)效果如圖1—3所示。

表1 隱藏層節(jié)點(diǎn)輸出參數(shù)及輸出權(quán)重

圖1 EMD重構(gòu)周期順河向位移ELM擬合

圖2 EMD重構(gòu)周期順河向位移ELM預(yù)測(cè)

圖3 基于EMD與ELM的LA9順河向位移監(jiān)測(cè)模型

圖5 EMD重構(gòu)周期順河向位移SVM預(yù)測(cè)

圖6 基于EMD與優(yōu)化SVM的LA9順河向位移監(jiān)測(cè)模型

(2)基于網(wǎng)格搜索和交叉驗(yàn)證的支持向量機(jī)模擬結(jié)果

采用基于網(wǎng)格搜索和交叉驗(yàn)證的支持向量機(jī)對(duì)LA9順河向EMD分解的周期項(xiàng)位移進(jìn)行訓(xùn)練時(shí)，變量進(jìn)行最值化歸一的區(qū)間設(shè)置為[0，1]，采用徑向基函數(shù)作為支持向量機(jī)的核函數(shù)。引入網(wǎng)格搜索和交叉驗(yàn)證優(yōu)化時(shí)，取SVM模型參數(shù)的網(wǎng)格劃分節(jié)點(diǎn)為C=2a，g=2b，網(wǎng)格劃分區(qū)間設(shè)定a=[-4，4]，b=[-4，4]，步長(zhǎng)取為0.1。訓(xùn)練數(shù)據(jù)等分子集數(shù)設(shè)置為3。

圖4 EMD重構(gòu)周期順河向位移SVM擬合

(3)基于模擬退火遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模擬結(jié)果

采用基于模擬退火遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)對(duì)LA9順河向EMD分解的周期項(xiàng)位移進(jìn)行訓(xùn)練時(shí)，變量進(jìn)行最值化歸一的區(qū)間設(shè)置為[0，1]。給定模擬退火的初始溫度為1000，退火速率取0.8。隱含層節(jié)點(diǎn)數(shù)設(shè)置為10，最大進(jìn)化代數(shù)為1000，種群規(guī)模為30。染色體選擇方法交叉概率為0.7，變異概率為0.1。網(wǎng)絡(luò)節(jié)點(diǎn)的連接權(quán)重取值范圍設(shè)定為[-3，3]。訓(xùn)練時(shí)的適應(yīng)度曲線如圖7所示。最終基于模擬退火遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集擬合與預(yù)測(cè)集預(yù)測(cè)效果如圖8—10所示。

圖8 EMD重構(gòu)的周期順河向位移GASA-BP擬合

圖7 適應(yīng)度曲線

(4)分析對(duì)比

圖11—12為基于EMD的真空激光LA9順河向位移通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練和預(yù)測(cè)的結(jié)果，其擬合與預(yù)測(cè)評(píng)價(jià)指標(biāo)見(jiàn)表2。

表2 基于EMD的真空激光LA9順河向位移擬合預(yù)測(cè)指標(biāo)

圖9 EMD重構(gòu)的周期順河向位移GASA-BP預(yù)測(cè)

圖10 基于EMD與GASA-BP的LA9順河向位移監(jiān)測(cè)模型

圖11 基于EMD的LA9順河向位移機(jī)器學(xué)習(xí)訓(xùn)練擬合

圖12 基于EMD的LA9順河向位移機(jī)器學(xué)習(xí)預(yù)測(cè)

由訓(xùn)練集的擬合效果可得，ELM、優(yōu)化SVM、GASA-BP三種機(jī)器學(xué)習(xí)方法的均方根誤差RMSE和平均絕對(duì)誤差MAE均小于最小二乘法，優(yōu)化SVM和GASA-BP方法在順河向位移的擬合精度上相比最小二乘法提升較大，說(shuō)明采用機(jī)器學(xué)習(xí)相比最小二乘法的線性擬合可以有效提高訓(xùn)練集的擬合精度。其中，優(yōu)化SVM模型擬合精度最高，相比最小二乘法線性擬合精度提升了45.4%。

在預(yù)測(cè)效果方面，采用ELM和GASA-BP兩種機(jī)器學(xué)習(xí)的預(yù)測(cè)評(píng)價(jià)指標(biāo)RMSE、MAE均小于最小二乘法，說(shuō)明ELM和GASA-BP方法相比最小二乘法的線性擬合，可以提升監(jiān)測(cè)模型的預(yù)測(cè)效果。優(yōu)化SVM的機(jī)器學(xué)習(xí)方法在預(yù)測(cè)方面，其評(píng)價(jià)指標(biāo)RMSE(0.481mm)、MAE(0.375mm)略大于最小二乘法的評(píng)價(jià)指標(biāo)RMSE(0.406mm)、MAE(0.334mm)，說(shuō)明其預(yù)測(cè)精度比最小二乘法略低。分析其原因，SVM回歸模型在訓(xùn)練時(shí)采用基于網(wǎng)格搜索和K-fold交叉驗(yàn)證的尋優(yōu)方法，大幅提高了訓(xùn)練集的擬合精度而出現(xiàn)了過(guò)擬合的現(xiàn)象，使得預(yù)測(cè)集在預(yù)測(cè)精度方面不如最小二乘法的線性擬合。

4 結(jié)論

本文以某重力壩9#壩段真空激光LA9測(cè)點(diǎn)順河向位移為例，驗(yàn)證了ELM、SVM、GASA-BP三種機(jī)器學(xué)習(xí)方法針對(duì)EMD分解重構(gòu)的周期項(xiàng)可以有效提升重力壩變形監(jiān)測(cè)模型的訓(xùn)練和預(yù)測(cè)精度。

通過(guò)不同方法的對(duì)比分析可知，ELM和GASA-BP方法均可提升模型的訓(xùn)練及預(yù)測(cè)精度。優(yōu)化SVM方法在訓(xùn)練集擬合精度最高，但由于出現(xiàn)過(guò)擬合現(xiàn)象使得其預(yù)測(cè)集精度略低于最小二乘法。因此選擇合理的算法對(duì)模型構(gòu)建至關(guān)重要，綜合比較得知，GASA-BP方法為最優(yōu)。