基于時(shí)序分解和SSA-LSTM-Attention模型的尾礦壩位移預(yù)測

唐宇峰, 陳星紅, 蔡宇, 楊澤林, 蒲順哲, 楊超凡

(1.四川輕化工大學(xué)機(jī)械工程學(xué)院, 宜賓 644005; 2.重大危險(xiǎn)源測控四川省重點(diǎn)實(shí)驗(yàn)室, 成都 610045;3.四川省安全科學(xué)技術(shù)研究院, 成都 610045)

尾礦庫是礦山安全生產(chǎn)領(lǐng)域的重大危險(xiǎn)源,通過分析其壩體的表面位移是評估尾礦壩安全性的重要方式[1],因此對尾礦壩的位移監(jiān)測數(shù)據(jù)進(jìn)行預(yù)測分析具有重要意義。在對壩體位移變形數(shù)據(jù)分析處理上,將監(jiān)測的時(shí)序數(shù)據(jù)進(jìn)行分解為具有物理意義的分量是常用方法[2]。謝博等[3]通過經(jīng)驗(yàn)?zāi)B(tài)分解算法(empirical mode decomposition,EMD)對監(jiān)測數(shù)據(jù)分解后進(jìn)行預(yù)測;周蘭庭等[4]采用自適應(yīng)噪聲完備集合經(jīng)驗(yàn)?zāi)B(tài)分解算法(complete ensemble empirical model decomposition adaptive noise, CEEMDAN)對監(jiān)測數(shù)據(jù)進(jìn)行分解,以此對監(jiān)測數(shù)據(jù)的變形規(guī)律進(jìn)行分析;鄢好等[5]通過移動平均法提取邊坡位移趨勢項(xiàng)和周期項(xiàng)。以上通過對監(jiān)測數(shù)據(jù)進(jìn)行分解再預(yù)測的方法最終對預(yù)測結(jié)果的精度提升都有較好的效果,但都有各自一些無法克服的缺陷,如殘留噪聲、模態(tài)混疊、不適合大量數(shù)據(jù)樣本等。

由于尾礦壩的位移變形是一個動態(tài)變化的過程,近年來,基于機(jī)器學(xué)習(xí)對壩體位移進(jìn)行預(yù)測研究成為一個熱點(diǎn)。張炎等[6]通過反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)并結(jié)合多元宇宙算法對大壩位移進(jìn)行了預(yù)測,具有一定的預(yù)測效果,但BP的計(jì)算速度慢,容易陷入局部極小值;Jiang等[7]采用極限學(xué)習(xí)機(jī)預(yù)測周期項(xiàng)位移,但極限學(xué)習(xí)機(jī)對于尾礦壩的動態(tài)變化來說效果還有待改進(jìn)。寧永香等[8]采用廣義回歸神經(jīng)網(wǎng)絡(luò)對露天礦邊坡變形預(yù)測,相較于BP網(wǎng)絡(luò),其收斂速度更高,泛化能力較強(qiáng),但網(wǎng)絡(luò)容易陷入梯度消失和梯度爆炸的困境。長短時(shí)記憶(long short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò)由于其“門”控機(jī)制在模型訓(xùn)練過程中,能較好處理時(shí)序信息問題。在對壩體變形預(yù)測問題上,文獻(xiàn)[4]、文獻(xiàn)[9]采用LSTM對壩體監(jiān)測數(shù)據(jù)進(jìn)行預(yù)測,均有較高的預(yù)測精度,但未解決LSTM超參數(shù)優(yōu)化問題,選擇不同超參數(shù)其預(yù)測結(jié)果具有較大的差異性。且當(dāng)時(shí)間序列過長時(shí),LSTM可能會出現(xiàn)信息丟失問題,影響預(yù)測精度[10]。

基于以上方法的優(yōu)勢和不足,現(xiàn)提出一種基于改進(jìn)的自適應(yīng)噪聲完備集合經(jīng)驗(yàn)?zāi)B(tài)分解算法(improved complete ensemble empirical mode decomposition with adaptive noise,ICEEMDAN)和麻雀搜索算法-長短時(shí)記憶-注意力機(jī)制(sparrow search algorithm-long short-term memory-attention mechanism,SSA-LSTM-Attention)模型的尾礦壩體位移預(yù)測方法。首先將ICEEMDAN用于時(shí)序數(shù)據(jù)的分解處理,將監(jiān)測數(shù)據(jù)提取為趨勢項(xiàng)位移和周期項(xiàng)位移,然后,通過高斯擬合預(yù)測趨勢項(xiàng)位移,采用LSTM神經(jīng)網(wǎng)絡(luò)對相關(guān)影響因子作用下的波動項(xiàng)位移進(jìn)行預(yù)測,并結(jié)合注意力機(jī)制(attention mechanism)加強(qiáng)模型處理長時(shí)間序列數(shù)據(jù)間相互關(guān)系的能力。通過麻雀搜索算法(SSA)優(yōu)化模型超參數(shù),提升模型的預(yù)測精度[11]。最后將趨勢項(xiàng)位移、波動項(xiàng)位移的預(yù)測值疊加,得到尾礦壩累積位移預(yù)測值。并通過實(shí)例驗(yàn)證方法的可行性。

1 尾礦壩位移預(yù)測模型

1.1 基于時(shí)間序列的ICEEMDAN分解

尾礦庫壩體位移是一個非線性的時(shí)間序列,若直接對原始累積位移進(jìn)行建模會產(chǎn)生較大誤差,尾礦壩的變形規(guī)律難以分析。對原始序列采用先分解,再預(yù)測的方式既能有效利用數(shù)據(jù)信息,也能降低數(shù)據(jù)的復(fù)雜度,提高了預(yù)測的精度。采用ICEEMDAN算法將壩體累積位移分解為趨勢項(xiàng)和波動項(xiàng),即

S(t)=φ(t)+η(t)

(1)

式(1)中:S(t)為累積位移時(shí)間序列;φ(t)為趨勢項(xiàng)位移,受壩體結(jié)構(gòu)、地質(zhì)構(gòu)造等自身?xiàng)l件決定;η(t)為受庫水位、降雨量等外界因素影響。

ICEEMDAN是Colominas等[12]在EMD的基礎(chǔ)上提出的一種新的信號分解方法。該方法改進(jìn)了傳統(tǒng)的方法在對信號分解時(shí)存在模態(tài)混疊的不足,極大地減少了本征模態(tài)函數(shù)(intrinsic mode function,IMF)分量中的殘余噪聲。分解后,會得到一組頻率從高到低的IMF和一個殘差項(xiàng)。其中,IMF包含了原位移監(jiān)測數(shù)據(jù)不同時(shí)間段的局部特征信息,為波動項(xiàng)位移,而殘差項(xiàng)可以反映時(shí)間序列的主要趨勢,為趨勢項(xiàng)位移。

1.2 基于SSA-LSTM-Attention的波動項(xiàng)位移預(yù)測模型

1.2.1 麻雀搜索算法

SSA是Xue等[13]受麻雀種群覓食和反捕食的群體智慧的啟發(fā),提出的一種新的群體優(yōu)化算法,該算法在搜索精度、收斂速度等方面均有很好的表現(xiàn),因此將其用于預(yù)測模型的參數(shù)優(yōu)化中。

在麻雀種群整個覓食過程中,分為發(fā)現(xiàn)者和加入者兩種不同的類型。發(fā)現(xiàn)者在覓食和遇到捕食者的過程中,位置不斷發(fā)生變化,其位置更新方式為

(2)

式(2)中:Xi,j為i個麻雀在j維中的位置信息;Imax為最大迭代次數(shù);α為(0,1]內(nèi)的一個隨機(jī)數(shù);R2∈[0,1]、S∈[0.5,1]分別為預(yù)警值和安全值;Q為服從正態(tài)分布的隨機(jī)數(shù);L為大小1×d、元素均為1的矩陣。

加入者的位置更新為

(3)

式(3)中:Xp為發(fā)現(xiàn)者覓食的最優(yōu)位置;Xworst為當(dāng)前全局最差的位置;A為一個大小為1×d、元素隨機(jī)為-1或1的矩陣,且有A+=AT(AAT)-1;n為種群規(guī)模。

當(dāng)麻雀種群發(fā)現(xiàn)捕食者時(shí),會發(fā)出警告,其位置更新為

(4)

式(4)中:Xbest為整個麻雀種群中最優(yōu)位置;β作為步長控制參數(shù);K為麻雀移動方向同時(shí)也是步長控制參數(shù);fi和fg分別為全局最好和最差適應(yīng)度值;ε為最小常數(shù),以避免分母出現(xiàn)零。

1.2.2 基于LSTM及注意力機(jī)制的波動項(xiàng)位移預(yù)測模型

LSTM是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural networks,RNN),與RNN相比,LSTM在RNN的基礎(chǔ)上新增了細(xì)胞狀態(tài),讓相關(guān)序列信息連續(xù)傳遞下去,并引入“門控機(jī)制”,實(shí)現(xiàn)信息的添加和剔除,使得LSTM具有長期或短期的記憶能力,避免了RNN可能出現(xiàn)的梯度爆炸和梯度消失等問題[14]。LSTM的門控機(jī)制和細(xì)胞狀態(tài)的計(jì)算過程如下所示。

ft=σ(Wf[ht-1,xt]+bf)

(5)

it=σ(Wi[ht-1,xt]+bi)

(6)

(7)

(8)

ot=σ(Wo[ht-1,xt]+bo)

(9)

ht=ottanh(Ct)

(10)

式中:W為各門控機(jī)制對應(yīng)的權(quán)重矩陣;b為各門控機(jī)制對應(yīng)的偏置向量;ft、it、ot分別為遺忘門、輸入門和輸出門的輸出結(jié)果,遺忘門對信息進(jìn)行丟棄或保留,輸入門對細(xì)胞狀態(tài)的信息進(jìn)行選擇性的更新,輸出門確定下一個隱藏狀態(tài)的值;xt為當(dāng)前時(shí)刻的輸入;Ct-1和Ct為前一時(shí)刻和當(dāng)前時(shí)刻經(jīng)過遺忘門和輸入門后的細(xì)胞狀態(tài)的輸出結(jié)果;ht-1和ht為前一時(shí)刻和當(dāng)前時(shí)刻的隱藏層狀態(tài);σ和tanh分別為Sigmoid函數(shù)和雙曲正切函數(shù)。

傳統(tǒng)的LSTM神經(jīng)網(wǎng)絡(luò)對于時(shí)間序列數(shù)據(jù)波動性具有較好的預(yù)測能力,但對于長序列的樣本可能遺忘較早學(xué)習(xí)的內(nèi)容,丟失一些重要信息,影響預(yù)測的精度。而注意力機(jī)制是一種模擬人類視覺接收信息的大腦信號處理機(jī)制,在某些特定的情況下,人腦會將注意力分配在需要重點(diǎn)關(guān)注的某些方面,對不需要重點(diǎn)關(guān)注的方面減少和不分配。這種機(jī)制可以從有限的注意力資源中快速篩選出大腦所需要的信息[15]。預(yù)測模型輸入的數(shù)據(jù)在不同時(shí)間點(diǎn)對尾礦壩位移預(yù)測的重要性不同,注意力機(jī)制將輸入的特征賦予不同的權(quán)重,能有效地突出LSTM網(wǎng)絡(luò)預(yù)測結(jié)果中影響尾礦壩位移變形的關(guān)鍵特征,提高了模型的預(yù)測性能。

故將Attention機(jī)制引入LSTM中,以此建立模型對監(jiān)測樣本進(jìn)行訓(xùn)練預(yù)測。模型結(jié)構(gòu)如圖1所示,分別為輸入層、LSTM層、注意力機(jī)制層、輸出層。

圖1 LSTM-Attention模型結(jié)構(gòu)圖Fig.1 LSTM-Attention Model structure diagram

輸入層將與波動項(xiàng)相關(guān)的影響因子監(jiān)測數(shù)據(jù)xt作為模型的輸入,傳入LSTM神經(jīng)網(wǎng)絡(luò);LSTM層負(fù)責(zé)對樣本特征進(jìn)行學(xué)習(xí),得到對應(yīng)隱藏層的輸出ht;在隱藏層加入注意力機(jī)制,注意力機(jī)制層則對模型輸入特征賦予不同的權(quán)重并不斷更新,權(quán)重系數(shù)的計(jì)算方式如下。

et=utanh(w1ht+b)

(11)

(12)

(13)

式中:et為t時(shí)刻的隱藏層向量;αt為注意力權(quán)重;u、w1為權(quán)重系數(shù);νt為注意力機(jī)制層的輸出;b為偏置向量。輸出層通過全連接層輸出下一時(shí)刻的預(yù)測結(jié)果,表達(dá)式為

yt=σ(w2νt+b)

(14)

式(14)中:yt為預(yù)測輸出值;w2為權(quán)重矩陣,決定了模型在給定輸入時(shí)預(yù)測輸出的能力;b為偏置向量;σ表示Sigmoid函數(shù)。

1.3 尾礦壩位移預(yù)測流程

基于ICEEMDAN和SSA-LSTM- Attention模型的尾礦位移預(yù)測流程如圖2所示。

圖2 預(yù)測流程圖Fig.2 Forecast flow chart

步驟1對原始監(jiān)測數(shù)據(jù)進(jìn)行預(yù)處理后,采用ICEEMDAN算法對位移時(shí)間序列進(jìn)行分解為趨勢項(xiàng)位移和波動項(xiàng)位移。

步驟2對趨勢項(xiàng)位移利用其單調(diào)的增長特性采用高斯函數(shù)擬合預(yù)測;對于波動項(xiàng)位移,用灰色關(guān)聯(lián)度篩選與其密切相關(guān)的影響因子,采用LSTM-Attention進(jìn)行動訓(xùn)練預(yù)測,并利用SSA對該模型的超參數(shù)進(jìn)行優(yōu)化。

步驟3將趨勢項(xiàng)位移和波動項(xiàng)位移的預(yù)測結(jié)果疊加得到尾礦壩累積位移預(yù)測值,并評價(jià)模型預(yù)測效果。

1.4 模型評價(jià)指標(biāo)

采用均方根誤差(RRMSE)、平均絕對誤差(MMAE)和決定系數(shù)R2指標(biāo)來評估模型的預(yù)測性能。各指標(biāo)的計(jì)算公式如下。

(15)

(16)

(17)

2 算例分析

所研究尾礦庫位于攀西地區(qū),尾礦庫初期壩為碾壓透水堆石壩,堆積壩采用上游法尾礦砂筑壩工藝。以尾礦庫的北斗在線監(jiān)測系統(tǒng)的歷史數(shù)據(jù)為樣本,監(jiān)測數(shù)據(jù)包括壩體表面位移、降雨量和庫水位。選擇其中以位移變形較大、監(jiān)測時(shí)間較長的監(jiān)測點(diǎn)為實(shí)驗(yàn)數(shù)據(jù),監(jiān)測時(shí)間段為2020年5月1日—2021年7月31日,設(shè)備采樣頻率為1 h,共10 968個監(jiān)測樣本數(shù)據(jù),選擇前7 968個監(jiān)測數(shù)據(jù)為訓(xùn)練集,其余數(shù)據(jù)作為測試集,訓(xùn)練集和測試集比例約為7∶3。由于北斗監(jiān)測存在設(shè)備儀器及數(shù)據(jù)的誤差,對于缺失值,進(jìn)行3次樣條曲線插值補(bǔ)全,對于明顯異常游離的數(shù)據(jù)進(jìn)行剔除。尾礦庫監(jiān)測點(diǎn)位壩體形變位移、月降雨量、庫水位如圖3所示。

圖3 壩體累積位移、月降雨量和庫水位關(guān)系圖Fig.3 Relationship between volume displacement of tailings dam, monthly rainfall and reservoir water level

從圖3中可以看出,壩體位移受庫水位和降雨量雙重影響,2020年5—8月處于雨季月份,降雨量增多,庫水位上升幅度大,壩體位移變化加劇,平均位移變化速率為0.38 mm/d;2020年9月—2021年4月在非雨季月份,降雨量較少,壩體變形過程中庫水位起主要影響,庫水位變化變緩,壩體位移相對于雨季,平均變形速率為0.04 mm/d,位移變化趨于平緩。而在2021年5—7月,此時(shí)壩體位移的平均變化速率為0.26 mm/d,從監(jiān)測數(shù)據(jù)可以看到降雨有逐漸增多的趨勢,但總體降雨較少,因此庫水位和壩體位移變化速率相比非雨季月份雖然有所增加,但增長較為緩慢。由此,可推斷尾礦壩體的變形與降雨量和庫水位有較大的相關(guān)性,在壩體位移預(yù)測過程中需要考慮庫水位和降雨量的影響。

2.1 位移序列分解

對位移序列采用ICEEMDAN進(jìn)行分解,得到1個殘差項(xiàng)和11個IMF項(xiàng)。將分離出的殘余項(xiàng)作為趨勢項(xiàng)位移,其他IMF項(xiàng)相加作為波動項(xiàng)位移,如圖4所示。

圖4 ICEEMDAN分解的趨勢項(xiàng)位移和波動項(xiàng)位移Fig.4 ICEEMDAN decomposition of trend term displacement and fluctuating term displacement

2.2 趨勢項(xiàng)位移預(yù)測

受壩體勢能、壩體特性影響,趨勢項(xiàng)位移隨時(shí)間表現(xiàn)出單調(diào)遞增的趨勢。因此用高斯擬合對趨勢項(xiàng)擬合預(yù)測。擬合以高斯函數(shù)系為基礎(chǔ),采用3個高斯函數(shù)相加對訓(xùn)練集進(jìn)行擬合,并將得到的擬合函數(shù)用于測試集的預(yù)測。擬合高斯函數(shù)表達(dá)式為

(18)

式(18)中:ai、bi、ci為高斯函數(shù)的參數(shù)。預(yù)測結(jié)果如圖5所示,R2為0.91,MMAE為0.93 mm,RRMSE為1.1 mm。

圖5 趨勢項(xiàng)預(yù)測結(jié)果Fig.5 Trend term forecast results

2.3 波動項(xiàng)位移預(yù)測

2.3.1 影響因子選取

考慮到降雨量和庫水位對壩體位移影響的滯后性,以及壩體本身的演化趨勢。因此將影響因素初步用趨勢項(xiàng)位移變化量f1、當(dāng)前庫水位f2、每小時(shí)庫水位變化量f3、前一月庫水位f4、當(dāng)前降雨量f5、每小時(shí)降雨變化量f6、前一月降雨量f7等7個影響因子表示,并采用灰色關(guān)聯(lián)度對影響因子進(jìn)行篩選?；疑P(guān)聯(lián)度ri計(jì)算公式如下。

(19)

(20)

式中:Δmin為參考數(shù)列和比較數(shù)列的最小絕對差值;Δmax為參考數(shù)列和比較數(shù)列的最大絕對差值;Δ0i(k)為參考數(shù)列和比較數(shù)列的插值;ρ為分辨系數(shù),取ρ=0.5;ξi(k)為關(guān)聯(lián)系數(shù)。影響因子和波動項(xiàng)位移間的關(guān)聯(lián)度如表1所示。

表1 波動項(xiàng)位移與影響因子的關(guān)聯(lián)度

一般認(rèn)為當(dāng)關(guān)聯(lián)度ri>0.6時(shí),即可認(rèn)為影響因子與波動項(xiàng)位移具有較強(qiáng)的相關(guān)性。因此選擇f1、f2、f3、f4、f6、f7用于波動項(xiàng)位移的預(yù)測。

從表1關(guān)聯(lián)度可以看出,庫水位相關(guān)的影響因子與波動項(xiàng)位移的關(guān)聯(lián)度基本上都密切相關(guān),降雨量的影響因子中,當(dāng)前降雨量、前一月降雨量的與波動項(xiàng)位移的關(guān)聯(lián)度較低,而當(dāng)前降雨變化量與波動項(xiàng)位移的關(guān)聯(lián)度較高。結(jié)合圖5監(jiān)測數(shù)據(jù),分析其原因,首先,所選監(jiān)測時(shí)間內(nèi),降雨的變化主要對庫水位影響較為明顯,而對壩體位移的直接影響相對較低,主要通過庫水位來間接對壩體位移產(chǎn)生影響。庫水位對壩體位移的影響在降雨后加劇,改變了原降雨量對壩體位移的影響的相關(guān)性。其次,研究中尾礦庫降雨量監(jiān)測與壩體位移監(jiān)測位置不一致且降雨具有隨機(jī)性,使得降雨量與波動項(xiàng)位移的相關(guān)度較低。說明庫水位是所研究尾礦庫壩體變形的主要影響因素,而降雨量是次要影響因素。

2.3.2 預(yù)測結(jié)果對比和分析

將篩選的影響因子作為輸SSA-LSTM- Attention的輸入,波動項(xiàng)位移作為模型的輸出,通過SSA對模型的超參數(shù)優(yōu)化,得到的學(xué)習(xí)率為0.001 1,迭代次數(shù)為112,第1隱含層節(jié)點(diǎn)數(shù)為92,第2隱含層節(jié)點(diǎn)數(shù)為35。訓(xùn)練模型時(shí)采用Adam優(yōu)化器作為模型的優(yōu)化函數(shù)。分別采用BP、LSTM、LSTM-Attention、SSA-LSTM-Attention進(jìn)行預(yù)測對比。波動項(xiàng)位移預(yù)測結(jié)果對比如圖6所示。相比與其他模型,SSA-LSTM-Attention預(yù)測結(jié)果更為吻合。

圖6 波動項(xiàng)預(yù)測結(jié)果Fig.6 Fluctuation term prediction results

不同模型下波動項(xiàng)位移預(yù)測精度對比如表2所示。

表2 不同模型下波動項(xiàng)位移預(yù)測精度

由表2可以看出,在波動項(xiàng)位移預(yù)測中,BP預(yù)測精度最低,這是因?yàn)锽P是一個靜態(tài)模型,對于尾礦壩位移這一動態(tài)時(shí)變過程進(jìn)行預(yù)測具有局限性,相較于傳統(tǒng)的BP、LSTM模型,加入注意力機(jī)制的LSTM模型能顯著提升其與時(shí)序特征相關(guān)的提取能力,而結(jié)合SSA優(yōu)化及注意力機(jī)制的LSTM模型,通過搜索其最佳訓(xùn)練參數(shù),可以使預(yù)測精度更高,效果更好。

2.4 尾礦壩體累積位移預(yù)測

將預(yù)測得到的趨勢項(xiàng)位移和波動項(xiàng)位移相加即得到壩體累積位移,最終得到的累積位移預(yù)測值的MMAE為0.553 mm,RRMSE為0.742 mm,R2結(jié)果為0.994,預(yù)測結(jié)果對比如表3和圖7所示。

表3 累積位移預(yù)測精度對比表

圖7 累積位移預(yù)測結(jié)果Fig.7 Cumulative displacement prediction results

從表3可以看出,在累積位移預(yù)測中,SSA- LSTM-Attention模型的RRMSE和MMAE與LSTM-Attention相比,分別下降了57.5%和57.8%,R2提升28.2%,從圖7中可以看出,SSA-LSTM-Attention能更好地預(yù)測出壩體表面位移變化,對于后續(xù)預(yù)警研究有較好的實(shí)用價(jià)值。

3 結(jié)論

(1)以攀西地區(qū)尾礦庫壩體監(jiān)測數(shù)據(jù)為例,提出了一種基于ICEEMDAN的時(shí)間序列分解方法和SSA-LSTM-Attention的尾礦壩累積位移預(yù)測模型,對比分析了SSA-LSTM-Attention的預(yù)測模型相對于BP、LSTM、LSTM-Attention模型在進(jìn)行位移預(yù)測時(shí)的優(yōu)勢。RRMSE、MMAE、R2結(jié)果表明,SSA-LSTM-Attention模型預(yù)測效果最好,具有較高的工程應(yīng)用價(jià)值。

(2)通過灰色關(guān)聯(lián)度對波動項(xiàng)位移相關(guān)影響因子進(jìn)行定性分析的結(jié)果可知,影響尾礦壩變形的主要因素是庫水位,降雨量次之。在條件允許的情況下,可根據(jù)工程實(shí)際,加入更多的尾礦壩影響因素的北斗監(jiān)測數(shù)據(jù)(如浸潤線、內(nèi)部位移)等可以對壩體變形進(jìn)行更進(jìn)一步的分析。