基于雙向門控式寬度學(xué)習(xí)系統(tǒng)的監(jiān)測數(shù)據(jù)結(jié)構(gòu)變形預(yù)測

羅向龍，王亞飛，王彥博，王立新

(1.長安大學(xué) 信息工程學(xué)院，陜西 西安 710064；2.中興通訊股份有限公司，陜西 西安 710111；3.中鐵第一勘察設(shè)計院集團有限公司，陜西 西安 710043；4.西安理工大學(xué) 土木建筑工程學(xué)院，陜西 西安 710048)

伴隨著信息技術(shù)的蓬勃發(fā)展，結(jié)構(gòu)安全自動監(jiān)測系統(tǒng)已成為結(jié)構(gòu)工程建設(shè)和運營安全保障必不可少的組成部分.通過大量傳感器采集結(jié)構(gòu)工程狀態(tài)數(shù)據(jù)預(yù)測結(jié)構(gòu)的變形趨勢，是防止和減少安全事故的重要手段；利用監(jiān)測數(shù)據(jù)建立基于數(shù)據(jù)驅(qū)動的預(yù)測模型預(yù)測結(jié)構(gòu)變形數(shù)據(jù)，更成為結(jié)構(gòu)自動監(jiān)測系統(tǒng)研究的關(guān)鍵技術(shù)之一.

結(jié)構(gòu)變形預(yù)測的模型主要包含回歸預(yù)測模型[1-3]、灰色模型[4-8]、時間序列模型[9-13]和人工智能模型[14].為了更加準確地預(yù)測土壩沉降，Chen等[3]在傳統(tǒng)回歸模型中加入物理因子，利用安裝在大壩內(nèi)部的綜合監(jiān)測系統(tǒng)采集沉降數(shù)據(jù).測試結(jié)果表明，Chen 等[3]所提模型平均誤差為1.02%～4.48%，略低于傳統(tǒng)的多元非線性回歸模型.回歸預(yù)測模型屬于靜態(tài)模型，當(dāng)監(jiān)測數(shù)據(jù)量大且精準時，預(yù)測效果較好，但在實際使用過程中物理因子的選用對模型影響較大，模型的魯棒性有待提高.張立亞等[8]利用隧道拱頂和地表的沉降序列數(shù)據(jù)建立強、弱隨機性非等間隔灰色預(yù)測模型，由隧道累計沉降量的增長、減速增長及平緩增長3 個階段的數(shù)據(jù)測試結(jié)果得出當(dāng)預(yù)測步數(shù)≥8 時，強隨機模型的精度仍能達到2.96%，但弱隨機在這3 個階段的預(yù)測效果均不佳.灰色模型要求數(shù)據(jù)呈指數(shù)增長趨勢，只適合中短期的預(yù)測，使該模型在實際工程中的應(yīng)用受限.He 等[15]利用小基線子集干涉合成孔徑雷達（small baseline subset interferometric synthetic aperture radar，SBAS-InSAR）技術(shù)獲得礦區(qū)表面變形的時空演化特征.時間序列InSAR 數(shù)據(jù)通過具有窺視孔長短期記憶的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network with peephole long short time memory，CNN-PhLSTM）進行預(yù)測，得到的預(yù)測結(jié)果與不同軌道的InSAR 數(shù)據(jù)具有高度相關(guān)性，但當(dāng)缺失數(shù)據(jù)量大時，時間序列模型預(yù)測結(jié)果將受到較大影響.

隨著結(jié)構(gòu)安全自動監(jiān)測系統(tǒng)的廣泛使用，結(jié)構(gòu)監(jiān)測數(shù)據(jù)正逐步進入大數(shù)據(jù)的時代，機器學(xué)習(xí)特別是深度學(xué)習(xí)研究浪潮的興起，基于深度學(xué)習(xí)的結(jié)構(gòu)監(jiān)測數(shù)據(jù)預(yù)測成為該領(lǐng)域的研究熱點.Qiu 等[16]提出基于萊文貝格-馬夸特（Levenberg-Marquardt，LM）優(yōu)化的條件深度信念網(wǎng)絡(luò)（conditional deep belief network，CDBN）模型，并采用該模型預(yù)測超高層建筑變形，結(jié)果表明，優(yōu)化的CBDN 具有較高的預(yù)測精度.Yang 等[17]利用長短時記憶網(wǎng)絡(luò)[18-21]（long short term memory，LSTM）模型預(yù)測邊坡周期性位移，結(jié)果表明，LSTM 模型可以充分利用歷史信息來提高預(yù)測性能.Luo 等[22]為了在不增加運算量的同時擴大感受視野，更多地利用時間序列的長周期特征，提出基于時間卷積網(wǎng)絡(luò)（temporal convol-utional network，TCN）的結(jié)構(gòu)變形預(yù)測模型，并通過正交試驗優(yōu)化模型參數(shù)，實測數(shù)據(jù)的測試結(jié)果表明，該模型預(yù)測精度良好且有效減少了運算時間.針對LSTM 只能提取數(shù)據(jù)的前向信息而對數(shù)據(jù)的時間特征利用效果不佳，王亞飛等[23]提出雙向長短時記憶網(wǎng)絡(luò)[24-25]（Bi-LSTM）的結(jié)構(gòu)變形預(yù)測模型，利用2 個不相關(guān)的LSTM 模型從前向和后向分別提取數(shù)據(jù)的時間信息.測試結(jié)果表明，相比小波神經(jīng)網(wǎng)絡(luò)[26]（wavelet neural network，WNN）、LSTM、門控循環(huán)單元[27](gated recurrent unit，GRU)模型，王亞飛等[22]所提模型具有更高的準確性.基于深度學(xué)習(xí)的預(yù)測模型因良好的預(yù)測性能得到廣泛的應(yīng)用，但深度學(xué)習(xí)為了建立準確的映射關(guān)系，須增加隱含層層數(shù)，導(dǎo)致模型訓(xùn)練時間復(fù)雜度劇增，限制了模型在實際中的應(yīng)用.

作為新的機器學(xué)習(xí)方法，寬度學(xué)習(xí)系統(tǒng)[28]（broad learning system,BLS）在保障良好性能的同時使運算時間大幅度下降.為了改善深度學(xué)習(xí)預(yù)測模型運算時間的問題，本研究充分利用監(jiān)測數(shù)據(jù)的雙向變化規(guī)律并結(jié)合GRU 和BLS，提出基于雙向門控式寬度學(xué)習(xí)系統(tǒng)（bi-directional gated broad learning system，Bi-G-BLS）的監(jiān)測數(shù)據(jù)結(jié)構(gòu)變形預(yù)測模型（以下簡稱為Bi-G-BLS 預(yù)測模型或Bi-G-BLS）.研究工作包括：對BLS 的特征節(jié)點增加循環(huán)反饋和遺忘門結(jié)構(gòu)，克服BLS 模型對監(jiān)測數(shù)據(jù)的長期依賴，提高當(dāng)前節(jié)點對前一節(jié)點的依賴關(guān)系；分別從正向和反向提取時間序列的內(nèi)部特征，有效挖掘監(jiān)測數(shù)據(jù)的雙向變化規(guī)律，在提高預(yù)測精度的同時有效降低深度學(xué)習(xí)模型的預(yù)測時間.

1 基本理論

1.1 寬度學(xué)習(xí)

BLS 是在改進隨機向量函數(shù)連接神經(jīng)網(wǎng)絡(luò)（random vector functional-link neural network，RVFLNN）輸入層組成結(jié)構(gòu)的基礎(chǔ)上提出機器學(xué)習(xí)算法，模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示.假設(shè){X∈Ra×l,Y∈Ra×1}分別為模型初始的輸入和最終輸出，其中a為訓(xùn)練數(shù)據(jù)集的大小，l為模型預(yù)測步長.Zi為第i組特征映射節(jié)點輸出，由ui個映射節(jié)點組成；Zn∈Ra×μ為整個特征映射層輸出，其中；計算式分別為

圖1 寬度學(xué)習(xí)系統(tǒng)模型的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of broad learning system model

式中：φi(·) 為激活函數(shù)，Wei∈Rl×ui為經(jīng)過稀疏自編碼器產(chǎn)生的輸入權(quán)重，βei∈Ra×ui為第i組映射特征節(jié)點的偏置矩陣.輸入連接矩陣的維度和特征組的節(jié)點數(shù)相同.將特征映射節(jié)點數(shù)據(jù)通過映射函數(shù)變換為增強節(jié)點輸出值.Hj為第j組增強節(jié)點組輸出值，由vj個增強節(jié)點組成；Hm∈Ra×η為整個增強節(jié)點層輸出，其中；計算式分別為

式中：ξj為非線性激活函數(shù)，Whj∈Rμ×vj為第j組增強節(jié)點的隨機連接權(quán)值矩陣，βhj∈Ra×vj為偏置矩陣，m為增強節(jié)點層的組數(shù).將特征映射節(jié)點和增強節(jié)點組輸出共同作為模型輸入，模型預(yù)測輸出Y的表達式為

其中組合矩陣[Zn|Hm]為模型輸入；∈R(μ+η)×1為求解嶺回歸得到的連接權(quán)值矩陣，表達式為

1.2 門控循環(huán)單元

GRU 是常用的門控循環(huán)神經(jīng)網(wǎng)絡(luò).除了解決循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）容易丟失時間序列時間步長較大時信息的依賴關(guān)系問題，GRU 還能夠解決梯度消失與爆炸問題.如圖2 所示，GRU 主要由重置門和更新門組成，重置門決定是否保留上一時刻隱藏狀態(tài)輸出的信息，更新門可以控制隱藏狀態(tài)如何對當(dāng)前時間步信息的候選隱藏狀態(tài)進行更新.重置門和更新門的輸入均為當(dāng)前時刻的輸入Xt和上一時刻隱藏層輸出Ht-1，輸出由激活函數(shù) σ 計算得出，表達式分別為

圖2 門控循環(huán)單元模型的結(jié)構(gòu)圖Fig.2 Structure diagram of gated recurrent unit model

式中：Wxr、Wxz、WHx、WHz為權(quán)重矩陣，br、bz均為偏置矩陣.重置門的輸出Rt與上一時刻隱藏狀態(tài)輸出Ht-1相乘，若重置門輸出接近0 則將隱藏狀態(tài)重置，若接近1 則保留上一時刻隱藏狀態(tài)輸出，相乘結(jié)果和當(dāng)前時刻輸入通過激活函數(shù)tanh輸出為候選隱藏狀態(tài)，表達式為

式中：WxH、WHH為權(quán)重矩陣，bH為偏置矩陣.t時刻的隱藏狀態(tài)Ht由當(dāng)前時間步的更新門Zt、前一時間步的隱藏狀態(tài)Ht-1和當(dāng)前時間步的候選隱藏狀態(tài)共同作用得到，表達式為

2 基于雙向門控式寬度學(xué)習(xí)系統(tǒng)的監(jiān)測數(shù)據(jù)結(jié)構(gòu)變形預(yù)測模型

2.1 Bi-G-BLS 預(yù)測模型

BLS 模型有結(jié)構(gòu)簡單、訓(xùn)練速度快、實時性高的優(yōu)點，但它對所有數(shù)據(jù)都賦予相同的權(quán)值，無法區(qū)分不同輸入數(shù)據(jù)的重要程度.結(jié)合循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)的特點，本研究在BLS 模型的特征節(jié)點層增加門控式結(jié)構(gòu)來控制特征節(jié)點提取信息，并充分考慮監(jiān)測數(shù)據(jù)的前后相關(guān)性，借鑒Bi-LSTM 構(gòu)建思路，對特征節(jié)點增加循環(huán)結(jié)構(gòu)和遺忘門，以增強當(dāng)前提取的時間信息與前一時刻的相關(guān)性，由于門控式結(jié)構(gòu)能夠控制信息流的提取，對參與預(yù)測值的權(quán)重和的特征節(jié)點進行篩選，構(gòu)建結(jié)構(gòu)變形數(shù)據(jù)Bi-G-BLS 預(yù)測模型，模型的結(jié)構(gòu)如圖3 所示.

特征節(jié)點層從2 個方向?qū)斎霐?shù)據(jù)X進行特征提取，得到映射特征輸出E和增強節(jié)點輸出F，其中E包括k個正向特征節(jié)點組(qmodc=0)，與k個反向特征節(jié)點組(qmodc=0)，在F中包括k個正向增強節(jié)點組(qmodc=0)，與k個反向增強節(jié)點組(qmodc=0)，其中q為組數(shù)，c為遺忘門間隔參數(shù)，qmodc=0 時Zq重置為零，數(shù)據(jù)輸入X被分成前向輸入Xf和反向輸入Xb，2 種輸入分別通過特征節(jié)點層提取得到，通過增強節(jié)點層提取得到，各特征節(jié)點的計算式分別為

同理，后向輸入數(shù)據(jù)

拼接生成的前向和后向增強節(jié)點，得到最終增強層節(jié)點輸出Hm，

其中 [Zk|Hm] 作為模型輸入，Y為模型輸出.連接[Zk|Hm] 輸入和Y輸出的矩陣通過求解嶺回歸矩陣偽逆得到，

2.2 Bi-G-BLS 預(yù)測模型的算法流程

Bi-G-BLS 預(yù)測模型訓(xùn)練過程和BLS 模型相似，無需利用梯度下降算法訓(xùn)練模型參數(shù)取得最優(yōu)解，該模型把模型訓(xùn)練的迭代運算轉(zhuǎn)化為矩陣求解問題.預(yù)測模型的具體流程如圖4 所示.假設(shè)傳感器采集的一組結(jié)構(gòu)監(jiān)測數(shù)據(jù)為XN=[x1,x2,x3,···,xN]，其中N為采樣點數(shù).假定訓(xùn)練集數(shù)據(jù)為M，測試集數(shù)據(jù)為N-M，L為設(shè)定的模型步長，分別構(gòu)造模型訓(xùn)練輸入Xtr∈R(M-L)×L，測試輸入Xte∈R(N-M-L)×L.將模型訓(xùn)練輸入劃分成正向結(jié)構(gòu)變形數(shù)據(jù)和反向訓(xùn)練數(shù)據(jù)，

圖4 所提預(yù)測模型的流程圖Fig.4 Flowchart of proposed prediction model

7）將Bi-G-BLS 提取的特征節(jié)點狀態(tài)與增強節(jié)點狀態(tài)進行拼接，得到連接矩陣的輸入捕捉數(shù)據(jù)的正向規(guī)律和反向規(guī)律，完成整體特征和局部特征的提取.和連接矩陣運算得到結(jié)構(gòu)變形預(yù)測輸出Y.8）利用訓(xùn)練后的模型對測試集數(shù)據(jù)進行預(yù)測，由各評價指標(biāo)實現(xiàn)模型誤差分析.

3 實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)及實驗環(huán)境

如圖5 所示，為了研究實驗方法的預(yù)測效果，使用某地在建地鐵基坑地表沉降數(shù)據(jù)作為本次實驗的監(jiān)測數(shù)據(jù)集，數(shù)據(jù)由靜力水準儀測得，包含1 373 個沉降位移量.圖中，S為沉降位移.實驗中將數(shù)據(jù)70%劃分為訓(xùn)練集，30%作為測試集.沉降數(shù)據(jù)分布區(qū)間廣，為了防止不同評價指標(biāo)的量綱對結(jié)果的影響，消除奇異樣本數(shù)據(jù)，在實驗前進行數(shù)據(jù)歸一化處理，映射區(qū)間為 [-1,1]，計算式為

圖5 實驗沉降數(shù)據(jù)Fig.5 Experimental settlement data

式中：xi為第i個監(jiān)測數(shù)據(jù)，為歸一化后的數(shù)據(jù)，Xmin和Xmax是原始數(shù)據(jù)的最小值和最大值.本實驗在96 G 內(nèi)存，安裝有64 位操作系統(tǒng)的 Windows10系統(tǒng)上進行，處理器為Intel(R) Core(TM) i5-6200U @2.30 GHz，RAM 為4G，配置3 組NVIDIA GeForce RTX 2080 Ti 顯卡和480 G 固態(tài)硬盤.實驗平臺為Anaconda3-4.10.3，編程語言版本為 Python-3.6，實驗框架為Tensorflow2.2.0-gpu.

3.2 模型評價指標(biāo)

衡量預(yù)測模型性能的常用指標(biāo)為均方誤差MSE、均方根誤差 RMSE、平均絕對誤差 MAE、平均絕對百分比誤差 MAPE，本研究采用RMSE、MAE 和MAPE 衡量模型的預(yù)測效果，各項指標(biāo)的計算式分別為

3.3 實驗結(jié)果及分析

為了檢驗Bi-G-BLS 預(yù)測模型的精準度和有效性，對影響預(yù)測的模型參數(shù)進行多次重復(fù)實驗，當(dāng)遺忘門間隔參數(shù)c=6，映射特征節(jié)點數(shù)為15，映射特征組數(shù)為22 時，模型的預(yù)測結(jié)果最佳.利用測試輸入數(shù)據(jù)預(yù)測沉降值，并將預(yù)測結(jié)果與真實值進行對比，預(yù)測結(jié)果和真實值對比如圖6所示.由圖可知，Bi-G-BLS 的預(yù)測曲線和真實值曲線擬合度很高，僅少量點的預(yù)測數(shù)據(jù)和實際沉降值有些許偏差.在整體上，模型預(yù)測值準確反映了真實數(shù)據(jù)的變化趨勢；在局部數(shù)據(jù)變化較劇烈處，預(yù)測曲線也能夠貼近數(shù)據(jù)的真實曲線，各個峰值的預(yù)測值與沉降數(shù)據(jù)也較相近.Bi-G-BLS的預(yù)測誤差RMSE、MAE、MAPE 分別為0.905 4、0.449 8、0.793 2，完成數(shù)據(jù)預(yù)測所需的時間為2.07 s.綜合可知，Bi-G-BLS 預(yù)測結(jié)構(gòu)沉降具有良好的準確性和處理速度.

圖6 所提預(yù)測模型的預(yù)測結(jié)果Fig.6 Prediction result of proposed prediction model

將Bi-G-BLS 與GRU、BLS、Bi-LSTM、G-BLS進行對比，并對把對比結(jié)果的局部變化進行放大，各預(yù)測模型對比結(jié)果如圖7 所示.由圖可知，BLS 的預(yù)測效果最差，在多處采樣點的預(yù)測值和真實值存在較大誤差.與BLS 相比，GRU 效果更好，在整體上能夠反映出沉降數(shù)據(jù)的變化趨勢.原因是GRU 利用2 個門把有用信息保留下來，將時間跨度過大的不相關(guān)信息濾除掉，保留了與當(dāng)前數(shù)據(jù)時間相關(guān)度高的數(shù)據(jù).GRU 處理數(shù)據(jù)花費時間長，僅利用單側(cè)信息的特征進行預(yù)測，精準度也有待提高，在采樣點100～180，前后數(shù)據(jù)變化幅度小時預(yù)測效果較好，在采樣點250～300，沉降數(shù)據(jù)出現(xiàn)較大變化，模型的預(yù)測結(jié)果出現(xiàn)很大誤差.G-BLS 整體上反映了沉降數(shù)據(jù)的變化趨勢，但在一些局部峰值處的預(yù)測值和真實值相差較大.從整體上看，Bi-G-BLS 和Bi-LSTM 的預(yù)測值和真實值接近，由圖7(b)可以看出，Bi-G-BLS 在數(shù)據(jù)峰值出的預(yù)測曲線和真實擬合程度最高，預(yù)測效果最好.Bi-G-BLS 結(jié)合了BLS 運算時間短和GRU運算精度高的優(yōu)點，利用在BLS 的特征節(jié)點層加入的循環(huán)反饋與遺忘門，使上一時刻的特征節(jié)點輸出為當(dāng)前特征節(jié)點的輸入，能夠有選擇地提取時間序列的相關(guān)特征，并通過提取數(shù)據(jù)的正向規(guī)律和反向規(guī)律對結(jié)構(gòu)變形數(shù)據(jù)進行預(yù)測，使得數(shù)據(jù)的精度得到進一步提高.

圖7 不同預(yù)測模型的預(yù)測值與真實值對比Fig.7 Comparison of predicted value and real value for different prediction models

對比各預(yù)測模型誤差，綜合RMSE、MAE、MAPE 及運行時間判斷模型性能如表1 所示.表中，t為運算時間.可以看出，與GRU、BLS、Bi-LSTM、G-BLS 相比，Bi-G-BLS 的預(yù)測誤差RMSE 分別降低了35.31%、23.77%、9.01%、16.05%，MAE 分別降低了6.64%、29.99%、5.11%、9.51%，MAPE 分別降低了33.25%、34.89%、27.48%、2.03%.還可以看出，Bi-G-BLS 與Bi-LSTM 的預(yù)測誤差接近，運算時間比Bi-LSTM 降低了503.82 s，模型的運算效率得到顯著提高.綜合分析可知，Bi-G-BLS 不僅提高了BLS 的預(yù)測精確度，實現(xiàn)結(jié)構(gòu)變形所需的時間較傳統(tǒng)BLS 和Bi-LSTM 顯著降低.對比結(jié)果表明，新模型是滿足現(xiàn)代工程結(jié)構(gòu)變形預(yù)測要求的良好模型，能夠為大型工程提供科學(xué)有效的數(shù)據(jù)支持.

表1 不同預(yù)測模型的性能對比Tab.1 Performance comparison of different prediction models

4 結(jié)語

針對傳統(tǒng)的深度學(xué)習(xí)預(yù)測模型運算時間問題，本研究提出Bi-G-BLS 預(yù)測模型.所提模型結(jié)合Bi-LSTM 和BLS 模型優(yōu)點，從正向和反向采集時間序列的內(nèi)部特征，利用監(jiān)測數(shù)據(jù)的前后時間變化規(guī)律在提高預(yù)測精度的同時降低了運算時間.結(jié)合GRU，所提模型對BLS 特征層增加循環(huán)反饋結(jié)構(gòu)和遺忘門，利用歷史時刻與當(dāng)前時刻數(shù)據(jù)關(guān)聯(lián)性，進一步提高了預(yù)測精度.工程實測數(shù)據(jù)測試結(jié)果表明，所提模型相較于GRU、BLS、Bi-LSTM、G-BLS 模型的MAPE、RMSE 和MAE 均有下降，是行之有效的結(jié)構(gòu)監(jiān)測預(yù)測模型，具有良好的實際應(yīng)用價值.結(jié)構(gòu)變形數(shù)據(jù)受外部因素多，未來將考慮外界因素對預(yù)測模型的影響，并利用多組傳感器對結(jié)構(gòu)變形進行監(jiān)測，充分利用多傳感器監(jiān)測數(shù)據(jù)的相關(guān)性，通過數(shù)據(jù)融合綜合預(yù)測結(jié)構(gòu)狀態(tài)的變化情況，為結(jié)構(gòu)健康自動化監(jiān)測系統(tǒng)輔助決策提供支撐.