基于Bi-LSTM的結(jié)構(gòu)變形預(yù)測(cè)①

王亞飛, 韓 靜, 郭 凰, 廖 聰, 王立新

1(長(zhǎng)安大學(xué) 信息工程學(xué)院, 西安 710064)

2(中鐵第一勘察設(shè)計(jì)院集團(tuán)有限公司, 西安 710043)

1 引言

隨著社會(huì)的發(fā)展, 國民經(jīng)濟(jì)的快速增長(zhǎng), 地鐵、隧道、橋梁等大型建筑已蓬勃興起, 并在社會(huì)發(fā)展中起到城市脊梁的作用.但當(dāng)這些建筑的結(jié)構(gòu)出現(xiàn)事故時(shí),不僅會(huì)造成巨大的經(jīng)濟(jì)損失, 阻礙城市的發(fā)展, 而且還會(huì)帶來人員的傷亡, 給社會(huì)的穩(wěn)定形成激烈地沖擊.因此, 為建筑結(jié)構(gòu)進(jìn)行自動(dòng)化監(jiān)測(cè), 推測(cè)結(jié)構(gòu)變形數(shù)據(jù)的趨勢(shì), 在出現(xiàn)安全隱患及時(shí)預(yù)警, 對(duì)保障生命財(cái)產(chǎn)安全、社會(huì)健康發(fā)展具有重要意義.

傳統(tǒng)的結(jié)構(gòu)變形預(yù)測(cè)方法有回歸分析、灰色模型和時(shí)間序列模型, 根據(jù)監(jiān)測(cè)數(shù)據(jù)的特點(diǎn), 選擇合適的預(yù)測(cè)模型.劉波等[1]采用多元線性回歸模型, 對(duì)實(shí)際高層建筑的結(jié)構(gòu)變形進(jìn)行了分析和預(yù)測(cè), 取得了較好的預(yù)測(cè)效果.回歸分析模型屬于靜態(tài)模型, 而實(shí)際結(jié)構(gòu)變形數(shù)據(jù)是動(dòng)態(tài)數(shù)據(jù), 數(shù)據(jù)之間存在依賴關(guān)系, 回歸分析模型的預(yù)測(cè)結(jié)果無法準(zhǔn)確反映結(jié)構(gòu)未來變形趨勢(shì).Xiao等[2]建立一種基于最佳時(shí)間位移的二次襯砌施工灰色模型來預(yù)測(cè)隧道頂板變形.該模型利用邊界條件對(duì)GM(1,1)的權(quán)重系數(shù)進(jìn)行優(yōu)化, 準(zhǔn)確地預(yù)測(cè)隧道的頂板位移.灰色模型對(duì)于不確定因素的復(fù)雜系統(tǒng)預(yù)測(cè)效果較好, 但其要求累加得到的新數(shù)據(jù)滿足指數(shù)特性, 限制了灰色模型在實(shí)際工程中的廣泛應(yīng)用.斯建寧等[3]利用ARIMA預(yù)測(cè)隧道結(jié)構(gòu)變形, 通過分析監(jiān)測(cè)數(shù)據(jù)的時(shí)域特性, 推測(cè)隧道的結(jié)構(gòu)形變.時(shí)間序列模型要求數(shù)據(jù)是線性的和穩(wěn)定的, 而實(shí)際結(jié)構(gòu)形變數(shù)據(jù)具有復(fù)雜的非線性特征, 不適合工程結(jié)構(gòu)變形數(shù)據(jù)預(yù)測(cè).

神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)在結(jié)構(gòu)變形預(yù)測(cè)方面具有普適性, 已經(jīng)在實(shí)際工程中得到應(yīng)用廣泛.吳杰等[4]提出了用小波神經(jīng)網(wǎng)絡(luò)(WNN)擬合并預(yù)測(cè)大橋位移與其原因之間非線性關(guān)系的方法, 該方法可以確定網(wǎng)絡(luò)隱含層最優(yōu)節(jié)點(diǎn)數(shù), 具有良好的局部特性、較強(qiáng)的學(xué)習(xí)能力和任意函數(shù)逼近能力, 實(shí)現(xiàn)了大橋變形的精確擬合及預(yù)測(cè), 但參數(shù)的隨機(jī)初始化會(huì)導(dǎo)致WNN收斂速度慢甚至不收斂現(xiàn)象[5].李帥等[6]利用BP神經(jīng)網(wǎng)絡(luò)模型對(duì)基坑樁體位移進(jìn)行預(yù)測(cè), 精確地反映了實(shí)際變形趨勢(shì).Pourtaghi等[7]利用小波-人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)最大地表沉降, 采用不同的小波作為激活函數(shù)來預(yù)測(cè)隧道開挖引起的最大地表沉降, 使預(yù)測(cè)誤差值有所降低.但樣本和模型參數(shù)對(duì)該模型影響較大, 訓(xùn)練時(shí)容易陷入局部最優(yōu).Yang等[8]利用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)預(yù)測(cè)滑坡的周期性位移.Xu等[9]提出了基于ARIMA-LSTM的預(yù)測(cè)模型, 解決了單一預(yù)測(cè)算法無法同時(shí)求解大壩變形數(shù)據(jù)中的線性分量和非線性分量的問題.該模型采用ARIMA模型預(yù)測(cè)大壩變形數(shù)據(jù)中的線性分量,采用長(zhǎng)短期記憶LSTM模型預(yù)測(cè)大壩變形數(shù)據(jù)中的非線性分量, 準(zhǔn)確反映大壩變形趨勢(shì).結(jié)果表明, LSTM能夠記憶歷史信息, 對(duì)未來結(jié)構(gòu)數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)測(cè), 但模型僅利用前向信息預(yù)測(cè)當(dāng)前數(shù)據(jù), 忽略時(shí)間點(diǎn)之后的結(jié)構(gòu)變形數(shù)據(jù)的變化規(guī)律對(duì)當(dāng)前數(shù)據(jù)的影響, 無法充分挖掘監(jiān)測(cè)數(shù)據(jù)的時(shí)間特征信息, 導(dǎo)致預(yù)測(cè)精確度有待進(jìn)一步提高.

因此, 針對(duì)LSTM模型僅利用時(shí)間序列前向信息預(yù)測(cè)當(dāng)前數(shù)據(jù)的不足, 本文提出一種基于Bi-LSTM的結(jié)構(gòu)變形預(yù)測(cè)模型, 研究時(shí)間節(jié)點(diǎn)前后的結(jié)構(gòu)變形規(guī)律對(duì)當(dāng)前時(shí)刻數(shù)據(jù)的影響, 并以實(shí)際沉降數(shù)據(jù)為實(shí)驗(yàn)依據(jù), 通過和不同模型進(jìn)行對(duì)比, 結(jié)果表明, Bi-LSTM模型充分提取了數(shù)據(jù)的時(shí)間特征, 有效地提高了模型的預(yù)測(cè)準(zhǔn)確性.

2 基本原理

2.1 LSTM模型

LSTM[10,11]是為了解決RNN長(zhǎng)時(shí)間依賴問題被提出的, 解決了循環(huán)神經(jīng)網(wǎng)絡(luò)的“梯度消失”和“梯度爆炸”問題.LSTM利用“記憶塊”代替了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的隱含節(jié)點(diǎn), “記憶塊”增加了“細(xì)胞狀態(tài)”和“門”結(jié)構(gòu).細(xì)胞狀態(tài)完成了LSTM的記憶功能, “遺忘門”(ft)、“輸入門”(it)和“輸出門”(ot)對(duì)細(xì)胞更新和數(shù)據(jù)輸出進(jìn)行控制, 其內(nèi)部結(jié)構(gòu)如圖1所示.

圖1 LSTM記憶模塊結(jié)構(gòu)圖

LSTM模塊中的細(xì)胞狀態(tài)Ct對(duì)線性信息的進(jìn)行傳遞, 同時(shí)隱藏層的外部結(jié)構(gòu)ht對(duì)Ct處理, 完成非線性信息輸出, 具體公式如下:

2.2 Bi-LSTM模型

LSTM及RNN都是通過前向信息推測(cè)后向數(shù)據(jù),但對(duì)于時(shí)間序列, 利用前向和后向的信息對(duì)當(dāng)前時(shí)刻進(jìn)行預(yù)測(cè), 增強(qiáng)特征信息和預(yù)測(cè)值的聯(lián)系, 提高了模型預(yù)測(cè)精度.LSTM預(yù)測(cè)模型僅通過單側(cè)數(shù)據(jù)的規(guī)律進(jìn)行預(yù)測(cè), 不能充分的挖掘時(shí)間特征信息, 預(yù)測(cè)精確度需要進(jìn)一步提高.針對(duì)LSTM模型的這一不足, 提出了Bi-LSTM的預(yù)測(cè)模型.Bi-LSTM[12-14]利用兩個(gè)不相關(guān)的LSTM模型, 分別從前向和后向進(jìn)行數(shù)據(jù)預(yù)測(cè), 兩個(gè)模型隱含層的輸出作為輸出層的輸入, 最后由輸出層的內(nèi)置函數(shù)輸出最終的預(yù)測(cè)值.如圖2所示.

圖2 Bi-LSTM模型結(jié)構(gòu)

Bi-LSTM的隱含層有兩個(gè)LSTM組成, 分別是前向隱含向量, 后向隱含向量, 將正向輸入序列和反向輸入序列在網(wǎng)絡(luò)輸出層結(jié)合, 則yt為最終輸出值:

3 基于Bi-LSTM的結(jié)構(gòu)變形預(yù)測(cè)

為了確保建筑結(jié)構(gòu)安全, 通過自動(dòng)化的監(jiān)測(cè)設(shè)備對(duì)地下空間沉降進(jìn)行實(shí)時(shí)監(jiān)測(cè), 利用采集的結(jié)構(gòu)變形數(shù)據(jù), 科學(xué)地預(yù)測(cè)結(jié)構(gòu)未來變形趨勢(shì).本文結(jié)合Bi-LSTM的優(yōu)點(diǎn), 提出一種基于Bi-LSTM的結(jié)構(gòu)變形預(yù)測(cè)模型.

假設(shè)傳感器監(jiān)測(cè)的一組數(shù)據(jù)為XN=[x1,x2,x3,···,xN](N為采樣點(diǎn)數(shù)), 通過分析結(jié)構(gòu)變形數(shù)據(jù)和Bi-LSTM模型特點(diǎn), 確定前M個(gè)監(jiān)測(cè)數(shù)據(jù)為預(yù)測(cè)模型訓(xùn)練集,后N-M個(gè)監(jiān)測(cè)數(shù)據(jù)為預(yù)測(cè)模型測(cè)試集.

其中,L是模型輸入層節(jié)點(diǎn)個(gè)數(shù),Xtr為訓(xùn)練輸入,Ytr為目標(biāo)輸出,XT為測(cè)試輸入.

對(duì)于模型正向LSTM單元, 訓(xùn)練集第i輸入Xtr(i),代入式(1)至式(3)中, 得到一組狀態(tài)輸出.

對(duì)于模型反向LSTM單元, 訓(xùn)練集第i輸入Xtr(i)按照反向順序代入式(1)至式(3)中, 得到一組狀態(tài)輸出

得到的兩組狀態(tài)輸出具有相同的特征維度, 把二者進(jìn)行拼接得到Hi∈R2×L:

拼接向量通過輸出層激活函數(shù)處理, 得到第i個(gè)訓(xùn)練輸出.

模型的訓(xùn)練及測(cè)試過程如圖3.在模型訓(xùn)練時(shí), 為了防止模型出現(xiàn)過擬合, 在隱含層增加正則化, 模型利用梯度下降算法更新網(wǎng)絡(luò)權(quán)重矩陣和偏置向量.首先,對(duì)模型的所有參數(shù)初始化; 然后Bi-LSTM提取時(shí)間序列的前向和后向信息作為全連接層的輸入, 分別計(jì)算前向隱含層和后向隱含層的輸出, 并通過拼接、線性運(yùn)算得出權(quán)值訓(xùn)練集輸出; 其次利用損失函數(shù)反向傳播, 對(duì)模型參數(shù)進(jìn)行更新, 得出最優(yōu)解; 最后利用測(cè)試集數(shù)據(jù)對(duì)訓(xùn)練后的模型進(jìn)行測(cè)試, 把模型預(yù)測(cè)結(jié)果和真實(shí)數(shù)據(jù)進(jìn)行對(duì)比, 通過預(yù)測(cè)誤差評(píng)價(jià)模型的預(yù)測(cè)精確度.

圖3 Bi-LSTM預(yù)測(cè)模型

具體步驟如下:

步驟1.把實(shí)驗(yàn)沉降數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集,并對(duì)數(shù)據(jù)進(jìn)行歸一化;

步驟2.初始化模型參數(shù), 設(shè)置模型輸入層節(jié)點(diǎn)數(shù),前向、后向隱含層數(shù)及節(jié)點(diǎn)數(shù), 學(xué)習(xí)步長(zhǎng)和訓(xùn)練輪數(shù);

步驟3.利用訓(xùn)練集數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練, 確定模型最優(yōu)解;

步驟4.通過測(cè)試集數(shù)據(jù)對(duì)訓(xùn)練后的模型進(jìn)行測(cè)試, 利用預(yù)測(cè)誤差評(píng)價(jià)模型預(yù)測(cè)精確度.

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)處理

本實(shí)驗(yàn)利用國內(nèi)某隧道沉降數(shù)據(jù)驗(yàn)證模型的有效性.監(jiān)測(cè)時(shí)間為2016年3月10日至2016年12月29日, 經(jīng)過處理的實(shí)驗(yàn)數(shù)據(jù)為1310個(gè)點(diǎn), 如圖4所示.

圖4 實(shí)驗(yàn)沉降數(shù)據(jù)

對(duì)沉降數(shù)據(jù)進(jìn)行歸一化, 可以加快梯度下降, 適應(yīng)激活函數(shù), 減少預(yù)測(cè)誤差, 使其映射到[- 1,1]區(qū)間內(nèi).再將數(shù)據(jù)70%劃分為訓(xùn)練集, 30%為測(cè)試集.歸一化具體公式如下:

其中,x為 原始數(shù)據(jù),為歸一化后的數(shù)據(jù),xmin和xmax原始數(shù)據(jù)的最小值和最大值.

4.2 模型性能評(píng)價(jià)指標(biāo)

常用來衡量預(yù)測(cè)模型性能指標(biāo)有: 均方誤差(Mean Square Error,MSE)、均方根誤差(Root Mean Square Error,RMSE)、平均絕對(duì)誤差(Mean Absolute Error,MAE)、平均絕對(duì)百分比誤差(Mean Absolute Percentage Error,MARE)等, 在本實(shí)驗(yàn)采用RMSE、MAE和MAPE指標(biāo)衡量Bi-LSTM模型的預(yù)測(cè)效果.

4.3 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)為了檢驗(yàn)Bi-LSTM模型的精準(zhǔn)度, 利用測(cè)試輸入數(shù)據(jù)預(yù)測(cè)沉降值, 并將預(yù)測(cè)結(jié)果和真實(shí)值進(jìn)行對(duì)比, 對(duì)比結(jié)果如圖5所示:

由圖5可知, Bi-LSTM模型的預(yù)測(cè)結(jié)果和真實(shí)值在整體上擬合度很高, 并且曲線的各個(gè)峰值處, 兩者的數(shù)據(jù)值很接近, 預(yù)測(cè)模型的RMSE、MAE、MAPE分別是0.0890、0.0728和0.0073.綜合可知, Bi-LSTM模型預(yù)測(cè)結(jié)構(gòu)沉降具有良好的準(zhǔn)確性.

圖5 Bi-LSTM預(yù)測(cè)結(jié)果

本實(shí)驗(yàn)把Bi-LSTM模型和WNN、LSTM、GRU模型進(jìn)行對(duì)比分析, 結(jié)果如圖6所示.WNN模型的預(yù)測(cè)結(jié)果整體上反映了沉降數(shù)據(jù)的變化趨勢(shì), 但和真實(shí)值仍存在較大誤差.LSTM模型相比WNN模型預(yù)測(cè)結(jié)果具有更高的準(zhǔn)確性, 但GRU模型通過對(duì)LSTM門結(jié)構(gòu)進(jìn)行優(yōu)化, 能夠更加有效地保留時(shí)間序列有用信息, 預(yù)測(cè)結(jié)果更加接近真實(shí)值.基于Bi-LSTM結(jié)構(gòu)變形預(yù)測(cè)模型的MAPE、RMSE和MAE最小, 擬合度最高, 預(yù)測(cè)效果最好.充分說明Bi-LSTM模型通過提取時(shí)間序列前向和后向的規(guī)律, 更加準(zhǔn)確地預(yù)測(cè)沉降數(shù)據(jù)變化趨勢(shì), 彌補(bǔ)了其他模型僅利用單側(cè)信息進(jìn)行預(yù)測(cè)的不足, 在實(shí)際數(shù)據(jù)預(yù)測(cè)中具有更好的可行性.為了明確不同預(yù)測(cè)方法的具體誤差值, 不同的性能比較如表1所示.

圖6 不同模型對(duì)比試驗(yàn)

表1 模型性能比較

由表1可知, 對(duì)比WNN、LSTM、GRU預(yù)測(cè)模型, 本實(shí)驗(yàn)提出的基于Bi-LSTM的結(jié)構(gòu)變形預(yù)測(cè)模型,預(yù)測(cè)結(jié)果在MAPE、RMSE、MAE三個(gè)指標(biāo)上均為最優(yōu)結(jié)果.實(shí)驗(yàn)結(jié)果表明本實(shí)驗(yàn)提出的Bi-LSTM預(yù)測(cè)模型和現(xiàn)有預(yù)測(cè)方法相比, 誤差更小, 預(yù)測(cè)準(zhǔn)確性更高.

5 總結(jié)

針對(duì)現(xiàn)有的結(jié)構(gòu)變形預(yù)測(cè)模型僅通過時(shí)間序列單側(cè)規(guī)律進(jìn)行預(yù)測(cè)的不足, 本實(shí)驗(yàn)提出一種基于Bi-LSTM的結(jié)構(gòu)變形預(yù)測(cè)模型, 同時(shí)提取變形數(shù)據(jù)前向和后向信息, 預(yù)測(cè)當(dāng)前結(jié)構(gòu)變形數(shù)據(jù), 提高了預(yù)測(cè)的準(zhǔn)確性.最后通過和現(xiàn)有的WNN、LSTM、GRU模型進(jìn)行對(duì)比, 有效地說明了Bi-LSTM模型具有更高的預(yù)測(cè)精度,為結(jié)構(gòu)變形預(yù)測(cè)提供更加科學(xué)的依據(jù).