橋梁形變監(jiān)測(cè)中LSTM 預(yù)測(cè)方法研究

楊國(guó)林，孫學(xué)先，鎖旭宏，劉 濤，曹 辰

（1.蘭州交通大學(xué)測(cè)繪與地理信息學(xué)院，蘭州 730070；2.蘭州交通大學(xué)地理國(guó)情監(jiān)測(cè)技術(shù)應(yīng)用國(guó)家地方聯(lián)合工程研究中心，蘭州 730070；3.中交一航局第二工程有限公司，山東青島 266071；4.蘭州交通大學(xué)甘肅省地理國(guó)情監(jiān)測(cè)工程實(shí)驗(yàn)室，蘭州 730070）

各種不同類型的神經(jīng)網(wǎng)絡(luò)方法對(duì)人工智能和機(jī) 器學(xué)習(xí)有新的促進(jìn)，它們都在各自應(yīng)用領(lǐng)域有著重要意義［1-3］.其中在標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）中，神經(jīng)元之間存在反饋和前饋連接，動(dòng)態(tài)處理和計(jì)算能力比傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)更加出色，在時(shí)序數(shù)據(jù)處理中表現(xiàn)出很強(qiáng)的適應(yīng)性［4-5］.在 RNN網(wǎng)絡(luò)基礎(chǔ)上發(fā)展來(lái)的長(zhǎng)短期記憶（long short-term memory，LSTM）神經(jīng)網(wǎng)絡(luò)有了新的改進(jìn)［6］，其主要優(yōu)點(diǎn)體現(xiàn)在：RNN在樣本訓(xùn)練過(guò)程中，由于訓(xùn)練的時(shí)間積累過(guò)多，從而導(dǎo)致網(wǎng)絡(luò)層數(shù)的改變?cè)桨l(fā)頻繁，就可能產(chǎn)生梯度爆炸，形成梯度消失問(wèn)題［7-8］，無(wú)法獲得長(zhǎng)程信息.新的方法能在這些方面有針對(duì)性改進(jìn)，LSTM當(dāng)前已成功應(yīng)用的領(lǐng)域包括文本生成、機(jī)器翻譯、語(yǔ)音識(shí)別、生成圖像描述和視頻標(biāo)記等［9-11］.當(dāng)前針對(duì)橋梁形變預(yù)測(cè)方法主要包括灰色理論法，時(shí)間序列模型、回歸模型等預(yù)測(cè)模型法，主要能進(jìn)行短期預(yù)測(cè)，LSTM方法可彌補(bǔ)這一不足，在構(gòu)筑物變形監(jiān)測(cè)數(shù)據(jù)處理方面，相較常規(guī)方法具有優(yōu)勢(shì).

在建設(shè)工程中橋梁沉降及傾斜變形監(jiān)測(cè)十分重要，通過(guò)準(zhǔn)確地預(yù)測(cè)橋梁工程建設(shè)中沉降和傾斜的變化過(guò)程，就能較早地找到橋梁形變的異常狀況從而進(jìn)行必要的應(yīng)對(duì)調(diào)整，防止災(zāi)害出現(xiàn)造成工程損失［12-14］.

通過(guò)利用橋梁實(shí)測(cè)數(shù)據(jù)對(duì)建立的RNN和LSTM網(wǎng)絡(luò)模型分別進(jìn)行訓(xùn)練及預(yù)測(cè)，在RNN網(wǎng)絡(luò)基礎(chǔ)上根據(jù)Martin等［15］改進(jìn)的LSTM網(wǎng)絡(luò)能夠?qū)W習(xí)時(shí)間序列中的短期和長(zhǎng)期相關(guān)信息，克服了RNN相關(guān)的問(wèn)題，結(jié)果表明，LSTM網(wǎng)絡(luò)能夠?qū)τ^測(cè)數(shù)據(jù)進(jìn)行高精度和穩(wěn)定的擬合和預(yù)測(cè)，能夠有效地描述橋梁的變形規(guī)律.

1 RNN和LSTM 原理介紹

1．1 RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN的模型結(jié)構(gòu)圖中涉及到輸入、輸出和中間的隱藏層，在當(dāng)前時(shí)間隱藏層中有連接輸入到下一時(shí)間隱藏層．對(duì)于給定序列 x=（x1，x2，…，xn），可以通過(guò)迭代式（1）和式（2）計(jì)算出一個(gè)隱藏層序列h=（h1，h2，…，hn）和一個(gè)輸出序列 o=（o1，o2，…，o2）．結(jié)構(gòu)如圖1所示．

圖1 RNN模型細(xì)胞結(jié)構(gòu)Fig．1 Cell structure of RNN model

式中：W為給定序列的權(quán)重系數(shù)矩陣；U為隱藏序列的權(quán)重系數(shù)矩陣；V為輸出序列的權(quán)重系數(shù)矩陣；b為偏置向量；f為激活函數(shù)．

過(guò)程中普遍采用的（3）和（4）式的sigmoid激活函數(shù)和tan h激活函數(shù)．在特征信息相差比較大的情況通常使用激活函數(shù)tan h；在相差較小時(shí)使用函數(shù)sigmoid，同時(shí)對(duì)輸入數(shù)據(jù)進(jìn)行規(guī)范化處理．

1．2 LSTM 長(zhǎng)短期記憶網(wǎng)絡(luò)

LSTM網(wǎng)絡(luò)中有時(shí)間記憶單元，LSTM網(wǎng)絡(luò)是將RNN隱藏層的細(xì)胞替換為L(zhǎng)STM細(xì)胞，即具有了長(zhǎng)期記憶的特性，LSTM模型細(xì)胞結(jié)構(gòu)如圖2所示.對(duì)于學(xué)習(xí)時(shí)間序列依賴于時(shí)期長(zhǎng)短的問(wèn)題與長(zhǎng)序列建模問(wèn)題，可以更好處理存在于RNN中的問(wèn)題，改進(jìn)效果明顯［16-17］.

圖2 LSTM 模型細(xì)胞結(jié)構(gòu)Fig．2 Cell structure of LSTM model

其中LSTM在t時(shí)刻輸入的序列值為xt，輸出值及控制單元狀態(tài)為ht-1和ct-1；LSTM的輸出為：輸出值ht及控制單元狀態(tài)ct.計(jì)算分別見(jiàn)式（5）～（7）［18］：

式中：Wf、Wi、Wo為權(quán)重矩陣；bf、bi、bo為偏置項(xiàng)［19］．

具體開(kāi)展研究的方法流程如圖3所示.

圖3 數(shù)據(jù)處理流程Fig．3 Flowchart of Data processing

首先開(kāi)展深度學(xué)習(xí)預(yù)測(cè)算法的歸納分析，然后進(jìn)行多數(shù)據(jù)驅(qū)動(dòng)型LSTM算法研究，特別針對(duì)橋梁形變進(jìn)行LSTM預(yù)測(cè)模型設(shè)計(jì)，具體通過(guò)數(shù)據(jù)的預(yù)處理、模型參數(shù)的計(jì)算、進(jìn)行樣本的模型訓(xùn)練和對(duì)模型進(jìn)行評(píng)估，實(shí)現(xiàn)LSTM算法對(duì)橋梁形變的預(yù)測(cè)分析.

2 實(shí)例分析

2.1 實(shí)例研究過(guò)程

使用基于Sequential-Keras模型所構(gòu)建的基于單元素分析的三層神經(jīng)網(wǎng)絡(luò)框架，擬定輸入輸出單元，過(guò)程中單元誤差函數(shù)為標(biāo)準(zhǔn)差，激活函數(shù)為adam.現(xiàn)用一橋梁的長(zhǎng)周期形變觀測(cè)數(shù)據(jù)對(duì)其進(jìn)行訓(xùn)練和預(yù)測(cè)，數(shù)據(jù)如表1所列.通過(guò)差分使數(shù)據(jù)穩(wěn)定，并將數(shù)據(jù)轉(zhuǎn)換為有監(jiān)督數(shù)據(jù)，對(duì)轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行拆分，分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)并進(jìn)行縮放.通過(guò)確定步長(zhǎng)、迭代次數(shù)和神經(jīng)元數(shù)量參數(shù)進(jìn)行訓(xùn)練和預(yù)測(cè)，并根據(jù)RMSE的值調(diào)整參數(shù)直至參數(shù)滿足精度要求.

表1 橋梁觀測(cè)數(shù)據(jù)Tab．1 Bridge measured data

2.2 數(shù)據(jù)結(jié)果分析

研究方案中以前35期沉降觀測(cè)數(shù)據(jù)作為訓(xùn)練樣本，后5期數(shù)據(jù)作為測(cè)試樣本，經(jīng)過(guò)相應(yīng)程序計(jì)算，該橋梁的沉降曲線如圖4所示，兩種方法分別開(kāi)展沉降預(yù)測(cè)，成果分析如圖5所示，傾斜曲線如圖6所示.另外以前7期傾斜方面觀測(cè)的數(shù)據(jù)作為樣本，以后面3期傾斜觀測(cè)數(shù)據(jù)作為測(cè)試樣本，經(jīng)過(guò)相應(yīng)程序進(jìn)行傾斜預(yù)測(cè)，其成果對(duì)比如圖7所示，結(jié)果對(duì)比及分析如表2～3所列.

表2 沉降觀測(cè)值與預(yù)測(cè)值比較Tab．2 Comparison of settlement measured and predicted values

圖5 沉降預(yù)測(cè)結(jié)果對(duì)比Fig．5 Comparison of settlement prediction results

圖7 曲線預(yù)測(cè)結(jié)果對(duì)比Fig．7 Comparison of tilt prediction results

分析圖4表明，橋梁的沉降在第1期至第6期時(shí)間段內(nèi)經(jīng)歷一個(gè)緩慢下沉過(guò)程，此時(shí)處于施工期，隨后在第6期至第17期時(shí)間段內(nèi)快速下沉，之后下沉速率放緩并趨于穩(wěn)定.分析圖6，受施工因素、地質(zhì)條件和自然天氣等對(duì)橋梁的下沉及傾斜造成的綜合影響，表明橋梁的傾斜具有一定階段性.

圖4 沉降曲線Fig．4 Settlement curve of bridge

圖6 傾斜曲線Fig．6 Tilt deformation curve of bridge

分析圖5和圖7表明，采用訓(xùn)練樣本對(duì)LSTM進(jìn)行訓(xùn)練的效果要好于RNN，RNN訓(xùn)練誤差離散較大，LSTM在各個(gè)測(cè)試樣本誤差都較小.對(duì)于橋梁傾斜的預(yù)測(cè)，LSTM和RNN最終結(jié)果接近，在一定的時(shí)間序列處理中LSTM的提升不顯著.大量的重復(fù)訓(xùn)練試驗(yàn)表明通過(guò)增加迭代次數(shù)、隱藏層層數(shù)和神經(jīng)元個(gè)數(shù)使RNN預(yù)測(cè)精度的提高效果不大，而在同種試驗(yàn)條件下LSTM預(yù)測(cè)精度都較高，尤其是在長(zhǎng)序列預(yù)測(cè)中.

統(tǒng)計(jì)所有過(guò)程數(shù)據(jù)并根據(jù)表2相關(guān)信息表明，RNN預(yù)測(cè)平均絕對(duì)誤差為0.47 mm，平均相對(duì)誤差為1.15%，標(biāo)準(zhǔn)差為0.507.LSTM方法得到的平均絕對(duì)誤差值是0.12 mm，平均相對(duì)誤差是0.31%，標(biāo)準(zhǔn)差為0.158.LSTM較RNN預(yù)測(cè)精度有整體提升，能較準(zhǔn)確反映橋梁的沉降規(guī)律.從表3可以看到，RMSE值分別為0.120和0.113，二者在傾斜短時(shí)間序列預(yù)測(cè)中效果接近.RNN存在梯度消散問(wèn)題，在特定實(shí)際情況下建模效果較差.在RNN基礎(chǔ)上改進(jìn)的LSTM較好地解決了這個(gè)問(wèn)題，考慮到當(dāng)前信息對(duì)過(guò)往信息的影響，增加不同長(zhǎng)短時(shí)期信息的學(xué)習(xí)，對(duì)時(shí)間序列遇到間隔與延遲的情況下更為可靠.

表3 傾斜觀測(cè)值與預(yù)測(cè)值比較Tab．3 Comparison of tilt measured and predicted values

3 結(jié)論

工程施工監(jiān)測(cè)更加自動(dòng)智能的條件下，預(yù)測(cè)質(zhì)量的提高對(duì)形變監(jiān)測(cè)關(guān)系重大.利用橋梁的實(shí)測(cè)數(shù)據(jù)對(duì)RNN和LSTM網(wǎng)絡(luò)開(kāi)展訓(xùn)練和預(yù)測(cè)，由研究結(jié)果可知，在對(duì)橋梁的沉降與傾斜的監(jiān)測(cè)中，兩者都能反映橋梁的沉降規(guī)律，在傾斜短時(shí)間序列預(yù)測(cè)中效果接近，同時(shí)LSTM能更好解決梯度消散問(wèn)題，且LSTM網(wǎng)絡(luò)性能更穩(wěn)定、更準(zhǔn)確，效果明顯優(yōu)于RNN網(wǎng)絡(luò)，對(duì)橋梁形變的預(yù)測(cè)和分析更具優(yōu)勢(shì).因此應(yīng)用LSTM在橋梁變形預(yù)測(cè)中有較好的適用性，能為類似形變監(jiān)測(cè)提供參考依據(jù).