基于EEMD-Attention-GRU的大壩變形組合預(yù)測模型

劉 俊， 王艷波， 崔旭廷， 曹德君， 賈玉豪

（1.南京市水利規(guī)劃設(shè)計(jì)院股份有限公司，南京 210000； 2.河海大學(xué)水利水電學(xué)院，南京 210098；3.上?？睖y設(shè)計(jì)研究院有限公司，上海 200335）

隨著我國筑壩數(shù)量的不斷增加，大壩變形性態(tài)分析備受關(guān)注. 及時獲取變形觀測數(shù)據(jù)、建立相應(yīng)的分析模型以預(yù)報(bào)大壩行為，對大壩的穩(wěn)定運(yùn)行具有重大意義［1-2］. 由于水壓、時效、溫度等復(fù)雜環(huán)境因素的影響，大壩變形表現(xiàn)出非線性、非穩(wěn)態(tài)的特性，這將使得傳統(tǒng)分析方法很難準(zhǔn)確反映自變量與因變量之間的復(fù)雜非線性關(guān)系［3-4］. 如何解決大壩變形非線性在分析過程中的負(fù)面影響是當(dāng)前壩工領(lǐng)域內(nèi)的熱門主題.

隨著智能算法的發(fā)展，一些學(xué)者摒棄傳統(tǒng)的大壩變形分析方法，將BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等算法應(yīng)用于大壩變形預(yù)測中［5-7］，利用統(tǒng)計(jì)模型提取出模型所需輸入?yún)?shù)（水壓、溫度和時效）并作為輸入樣本融合到智能算法中，這在一定程度上提高了模型精度，但并不能從根本上解決變形的非線性問題. 隨后，EMD［8］、EEMD［9］以及VMD［10］等信號處理算法被陸續(xù)應(yīng)用到變形分析中，以降低數(shù)據(jù)的非線性和非穩(wěn)定性，然后對分解得到的各個子序列分別建模，構(gòu)建了大壩變形組合預(yù)測方法，有效提升了變形的預(yù)測精度.

然而變形不僅具有復(fù)雜的非線性，同時具有復(fù)雜的時序非線性. 近年來，隨著計(jì)算機(jī)技術(shù)的大力發(fā)展，深度學(xué)習(xí)算法得以迅速發(fā)展并成為大壩變形預(yù)測的研究熱點(diǎn). 如郭張軍等［11］將LSTM算法應(yīng)用到大壩變形預(yù)測中；周蘭庭等［12］基于小波分解、LSTM和Arima算法構(gòu)建了混凝土壩變形組合預(yù)測模型；陳竹安等［13］利用VMD信號處理方法和LSTM算法構(gòu)建了性能優(yōu)越的大壩變形預(yù)測模型. 可以看出當(dāng)前大壩變形預(yù)測領(lǐng)域的深度學(xué)習(xí)算法以LSTM為核心，涌現(xiàn)了許多不同的變形預(yù)測方法. LSTM算法解決了傳統(tǒng)RNN的梯度消失、梯度爆炸等問題［14］，但其網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜，收斂速度較慢［15］. 門控循環(huán)單元（GRU）神經(jīng)網(wǎng)絡(luò)［16-17］在LSTM的基礎(chǔ)上簡化了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，具有更快的收斂速度. 不論是LSTM或者GRU都能夠描述變形時序關(guān)系，但對于時序非線性較強(qiáng)的變形數(shù)據(jù)，二者均無法得到準(zhǔn)確的非線性映射關(guān)系. 為此本文引入了Attention機(jī)制［18-19］的概念，該方法可以根據(jù)輸入信息的重要性，在神經(jīng)網(wǎng)絡(luò)內(nèi)部實(shí)施權(quán)重分配，從多步大壩變形輸入信息中突出關(guān)鍵信息對變形預(yù)測結(jié)果的貢獻(xiàn)度并傳遞給下一層，從而優(yōu)化神經(jīng)網(wǎng)絡(luò)的時序非線性學(xué)習(xí)能力，達(dá)到預(yù)期的預(yù)測精度.

綜上，本文提出了基于EEMD-Attention-GRU 的大壩變形組合預(yù)測模型. 首先通過EEMD 信號分解技術(shù)將原始數(shù)據(jù)分解為若干個頻率不同的穩(wěn)定分量；然后在GRU神經(jīng)網(wǎng)絡(luò)框架的基礎(chǔ)上引入Attention 機(jī)制，在保持原始神經(jīng)網(wǎng)絡(luò)主體結(jié)構(gòu)的同時，深入挖掘模型的時序非線性；最后組合各子序列對應(yīng)Attention-GRU模型的預(yù)測結(jié)果，得到最終變形預(yù)測結(jié)果.

1 方法原理

1.1 EEMD

EMD算法具有自適應(yīng)性、完備性和正交性三個優(yōu)點(diǎn)，但也有其自身的缺點(diǎn). 例如，EMD算法存在模態(tài)混淆現(xiàn)象，導(dǎo)致EMD分解得到的IMF分量缺乏物理意義. EEMD通過向原始信號中添加白噪聲來改變極值點(diǎn)分布，從而消除了混雜效應(yīng)，通過對EMD信號進(jìn)行平滑處理，有效地解決了EMD信號的模態(tài)混淆問題. 對噪聲進(jìn)行多次平均，可以利用白噪聲的零均值特性使噪聲相互抵消，抑制甚至消除噪聲的影響. EEMD具體的分解過程如下［20］：

1）在原始信號x(t)的基礎(chǔ)上加上白噪聲n(t)，從而形成新的信號y(t)：

2）使用EMD繼續(xù)分解最新的時間序列y(t)：

其中ci表示第i個分解量；rn表示殘差序列.

3）重復(fù)上述步驟，在每個時間序列具有相同振幅的新白噪聲序列nj(t)添加到序列yj(t)：

其中j表示當(dāng)前的循環(huán)數(shù)；cij表示yj(t)的第i個IMF分量；rjn表示yj(t)的殘差序列.

1.2 GRU

GRU 是一種遞歸神經(jīng)網(wǎng)絡(luò)，它和基本RNN 的主要區(qū)別在于，RNN 的內(nèi)存會隨著數(shù)據(jù)序列的增加而減少，從而引起梯度消失的問題，GRU可以有效地改善這個問題. 同時，GRU也是一種簡化的LSTM算法，它將LSTM中的忘記門和輸入門替換為更新門，因此具有更簡單的網(wǎng)絡(luò)結(jié)構(gòu)以及更少的訓(xùn)練時間. GRU的基本單元如圖1所示，單元的中間計(jì)算如下：

圖1 GRU單元內(nèi)部結(jié)構(gòu)Fig.1 Internal structure of GRU unit

式中：zt和rt分別表示更新門和重置門，更新門決定了前一時刻的狀態(tài)信息有多少被帶入當(dāng)前狀態(tài)，更新門的取值越大表明帶入的信息越多，重置門控制前一時刻的狀態(tài)信息被帶入候選集?ht的程度，其取值越小，則被帶入的信息越少；σ為sigmoid激活單元函數(shù)；f(·)為激活函數(shù)，通常選取為雙曲正切函數(shù)tanh；*表示前后兩個因素的點(diǎn)乘關(guān)系；Uz、Ur和Uh?分別為權(quán)值矩陣；bz、br和bh?為偏置值.

1.3 注意力機(jī)制

注意機(jī)制對深度學(xué)習(xí)任務(wù)有很大的改善作用，它是一種模擬人腦注意力的資源分配機(jī)制. 在某一時刻，人腦會將注意力集中在需要集中的區(qū)域，減少甚至忽略對其他區(qū)域的注意力，以獲得更多的注意力. 注意機(jī)制通過概率分布將足夠的注意力分配給關(guān)鍵信息，更多地注意到輸入信號中更好地表達(dá)信號特性的那部分，提高模型的準(zhǔn)確性. 大壩變形在復(fù)雜環(huán)境的影響之下，不同時間點(diǎn)的變形時間特征是不同的，當(dāng)前測點(diǎn)可能受臨近時間點(diǎn)變形信息的影響較大，二者所處環(huán)境因素更為接近. 同時隨著時間間隔的增大，測點(diǎn)之間變形信息的影響也會逐漸減弱. GRU神經(jīng)網(wǎng)絡(luò)在分析變形時序關(guān)系時賦予不同時間點(diǎn)變形相同的權(quán)重，忽略了對當(dāng)前變形影響較大時間點(diǎn)的變形特征，不能充分挖掘變形時序的非線性關(guān)系. 而Attention機(jī)制的引入，可以賦予不同時間位置的變形特征不同的注意力權(quán)重，使模型運(yùn)行時聚焦于重要特征以提升模型的預(yù)測精度，且Attention 機(jī)制避免因變形時間序列過長導(dǎo)致的信息丟失問題，其結(jié)構(gòu)如圖2所示.

圖2 注意力機(jī)制結(jié)構(gòu)Fig.2 Structure of attentional mechanism

其中：V、W、U為學(xué)習(xí)參數(shù)；an表示注意力分布.

2 模型分析過程

2.1 EEMD-Attention-GRU模型預(yù)測流程

以第2節(jié)模型理論為依據(jù)，構(gòu)建基于EEMD-Attention-GRU 模型的大壩變形組合預(yù)測模型，具體流程如圖3所示，圖中Dense表示全連接層.

圖3 EEMD-Attention-GRU模型流程圖Fig.3 Flowchart of EEMD-Attention-GRU model

2.2 評價指標(biāo)

本文選取平均絕對誤差（MAE）和均方根誤差（RMSE）等作為評價模型預(yù)測好壞的指標(biāo)，具體公式見式（11）和式（12）：

式中：yi、pi分別表示變形原始值和預(yù)測值；n表示研究樣本尺寸.

3 工程實(shí)例

3.1 數(shù)據(jù)獲取和去噪

選取某混凝土連拱壩為研究對象，該壩上游水庫總庫容4.91 億m3，正常蓄水位125.56 m，壩頂全長413.5 m，大壩壩頂高程為129.96 m，最大壩高75.9 m. 選取該壩水平徑向位移作為本文建模依據(jù)，具體分析EEMD-Attention-GRU 模型在大壩變形預(yù)測中的可行性. 以大壩垂線系統(tǒng)位于13 壩段上的“PL13 上”測點(diǎn)2012年4月5日—2014年8月29日時段內(nèi)共計(jì)877組徑向位移數(shù)據(jù)為基礎(chǔ)，按照2.1節(jié)的實(shí)施流程逐步分析，其中前827組數(shù)據(jù)劃分為訓(xùn)練集、后50組數(shù)據(jù)劃分為預(yù)測集，研究測點(diǎn)在相應(yīng)時段內(nèi)的變形信息如圖4所示.

圖4 研究測點(diǎn)變形信息Fig.4 Deformation information of the studied measurement points

通過圖4可以發(fā)現(xiàn)，原始變形值包含大量噪聲，噪聲的存在將增加建模復(fù)雜度并導(dǎo)致模型的預(yù)測結(jié)果失真，進(jìn)而影響對大壩行為性態(tài)的正確判斷. 本文提出基于EMD的原始變形數(shù)據(jù)去噪方法，通過對原始數(shù)據(jù)的分解提取高頻分量并保留剩余分量中包含的變形信息，去噪前后以及相應(yīng)的噪聲如圖5所示. 由圖可知，噪聲部分雜亂無章，刪除該部分無效分量將有效降低變形數(shù)據(jù)的非線性并簡化建模過程，使預(yù)測結(jié)果更接近工程實(shí)際.

圖5 噪聲部分及去噪前后對比Fig.5 Noise part and comparison before and after denoising

3.2 EEMD分解結(jié)果

針對去噪后的變形數(shù)據(jù)，利用EEMD信號分解算法進(jìn)行分解，得到如圖6所示的IMF1-IMF9共計(jì)9個具有不同頻率的變形分量. 同時可以看出，經(jīng)過EEMD處理后的變形分量降低了變形數(shù)據(jù)的非線性和非穩(wěn)態(tài)性，展現(xiàn)出一定的變形規(guī)律. 為了減小后續(xù)建模復(fù)雜度和計(jì)算消耗，將9個變形分量分成低頻、中頻和高頻三種頻率信號進(jìn)行分別建模，其中低頻包括IMF5-IMF9共計(jì)五個分量，中頻包括IMF3和IMF4兩個分量，高頻包括IMF1和IMF2兩個分量.

圖6 EEMD分解結(jié)果Fig.6 Decomposition results of EEMD

3.3 算法實(shí)現(xiàn)和預(yù)測結(jié)果評價

上文中將基于EEMD 分解的九個變形分量分成了三組具有不同頻率的變形分量IMF低頻、IMF中頻以及IMF高頻. 本節(jié)分別對三種頻率的變形分量構(gòu)造Attention-GRU 預(yù)測模型，以前827組數(shù)據(jù)進(jìn)行模型的訓(xùn)練，以剩余時段50組數(shù)據(jù)進(jìn)行預(yù)測大壩的變形值.

為保證模型能夠穩(wěn)定輸出高精度的預(yù)測結(jié)果，需對Attention-GRU神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行設(shè)置. 層數(shù)、訓(xùn)練批次batch_size、隱含層神經(jīng)元個數(shù)、迭代次數(shù)epochs以及優(yōu)化器等參數(shù)對模型預(yù)測精度的影響較大. 本文針對三種頻率的變形分量統(tǒng)一構(gòu)建單層GRU神經(jīng)網(wǎng)絡(luò)，且選擇Adam作為梯度優(yōu)化函數(shù)，以加快模型的收斂速度；計(jì)算過程中發(fā)現(xiàn)，batch_size的取值針對不同頻率分量模型具有較強(qiáng)穩(wěn)定性，因此將該值統(tǒng)一設(shè)置為65；IMF低頻、IMF中頻以及IMF高頻對應(yīng)的隱含層神經(jīng)元數(shù)分別取值60、60和80，epochs的取值分別為200、250和250.

通過頻率分組、數(shù)據(jù)集的劃分以及參數(shù)的設(shè)置，對IMF低頻、IMF中頻以及IMF高頻三種頻率變形樣本分別構(gòu)建Attention-GRU預(yù)測模型，將模型的輸出結(jié)果進(jìn)行重組即可得到大壩變形的最終預(yù)測結(jié)果. 本文另外選取了EMD-GRU、GRU 兩種方法作為對比分析，以驗(yàn)證EEMD-Attention-GRU 的有效性，各模型預(yù)測結(jié)果以及相應(yīng)的殘差如圖7所示.

圖7 不同模型對應(yīng)的預(yù)測結(jié)果和殘差Fig.7 Prediction results and residuals corresponding to different models

首先對比GRU和EEMD-GRU兩個模型的變形預(yù)測結(jié)果，通過圖7（a）可以看出，GRU模型雖然具有很強(qiáng)的時間非線性擬合能力，然而對于非線性、非靜態(tài)的大壩變形數(shù)據(jù)來說，GRU模型相應(yīng)的預(yù)測結(jié)果只能描述變形的大體走勢，而不能準(zhǔn)確反映其波動特征；當(dāng)GRU模型與EEMD結(jié)合后分析得到的預(yù)測值更接近真實(shí)值，且波動程度明顯接近真實(shí)值，說明EEMD算法在降低數(shù)據(jù)非平穩(wěn)性、提升模型預(yù)測精度上有著不可或缺的作用. 對比分析EEMD-GRU 模型與EEMD-Attention-GRU 模型的預(yù)測能力，EEMD-Attention-GRU 模型的預(yù)測結(jié)果在變形“峰值”附近更接近真實(shí)值，說明Attention框架與GRU的結(jié)合能夠提升算法對變形時序關(guān)系的挖掘能力以及對重要特征的篩選能力. 由圖7（b）可以看出，文中提出的模型預(yù)測結(jié)果對應(yīng)的殘差曲線與y=0 所在位置包圍的面積也是最小的，說明了提出模型的預(yù)測性能是優(yōu)于其他模型的. 圖8展現(xiàn)了不同模型在大壩變形預(yù)測中的性能評價指標(biāo)條形圖，研究的指標(biāo)包括MAE、RMSE和R2. 該圖直觀反映了各模型變形預(yù)測結(jié)果的精度，GRU模型對應(yīng)的三項(xiàng)指標(biāo)均為三個模型中最差的，EMMD-GRU模型對應(yīng)結(jié)果遠(yuǎn)優(yōu)于GRU 模型但低于EEMD-Attention-GRU 模型. 再次驗(yàn)證本文提出的大壩變形預(yù)測方法的可行性，EEMD 和Attention 方法的引入分別從原始數(shù)據(jù)處理和深度學(xué)習(xí)網(wǎng)絡(luò)框架內(nèi)部機(jī)制兩個方面優(yōu)化GRU 模型，在延續(xù)GRU時序分析能力的同時拓展了其應(yīng)用范圍并提升了分析精度.

圖8 模型預(yù)測結(jié)果評價指標(biāo)Fig.8 Evaluation indicators of model prediction results

4 結(jié)論

本文提出了基于EEMD-Attention-GRU的大壩變形分析模型，該模型適用于非線性、非靜態(tài)大壩變形的預(yù)測，預(yù)測精度顯著高于其他方法. 主要結(jié)論總結(jié)如下：

1）從兩個方面降低原始變形數(shù)據(jù)的非線性，即通過EMD高頻分量的提取對原始數(shù)據(jù)進(jìn)行去噪以及通過EEMD方法對變形數(shù)據(jù)進(jìn)行分解，得到一組趨于穩(wěn)定的變形分量.

2）構(gòu)建Attention-GRU變形預(yù)測框架，提升模型對時序關(guān)系中關(guān)鍵特征的提取，并分別對三種頻率的分量組合進(jìn)行預(yù)測.

3）通過對預(yù)測結(jié)果的重構(gòu)得到最終大壩變形預(yù)測結(jié)果，案例分析表明EEMD-Attention-GRU 的預(yù)測精度優(yōu)于單一GRU模型和EEMD-GRU模型.