顧及相鄰點變形關(guān)聯(lián)性的GWO-LSTM變形預(yù)測模型

李浩標 索廣建 鄭旭東 陳建營 張獻州

(1.西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，成都 611756； 2.中國鐵路上海局集團有限公司工電檢測所，上海 200071)

1 概述

運營期高速鐵路重點地段往往形變較大，科學(xué)分析和預(yù)測高速鐵路重點地段的變形狀況，能為高速鐵路線路的高平順性、高安全性提供重要保障[1]。在外界自然條件、時空效應(yīng)等非線性因素的綜合作用下，運營高速鐵路重點地段變形監(jiān)測數(shù)據(jù)通常為復(fù)雜的非平穩(wěn)、非線性時間序列，利用歷史變形監(jiān)測數(shù)據(jù)準確預(yù)測未來一段時間的變形仍具有挑戰(zhàn)性。

常用的高速鐵路變形預(yù)測方法有回歸分析、灰色理論、時間序列分析和人工神經(jīng)網(wǎng)絡(luò)等，厲東偉將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于高速鐵路沉降預(yù)測中，并達到所需預(yù)測效果[2]；劉龍等將遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型用于高鐵沉降評估，認為其預(yù)測效果優(yōu)于標準BP神經(jīng)網(wǎng)絡(luò)[3]；容靜提出一種基于ARIMA與IGWO-SVM的沉降預(yù)測模型，發(fā)現(xiàn)模型優(yōu)化后的預(yù)測性能大為提升[4]。然而，組合預(yù)測模型構(gòu)建過程復(fù)雜，不利于實際推廣使用。隨著人工智能技術(shù)的迅速發(fā)展，長短期記憶(long short-term memory，LSTM)模型作為一種深度學(xué)習(xí)模型，具有十分強大的非線性擬合能力，可以挖掘出長短時間跨度下數(shù)據(jù)之間的關(guān)聯(lián)性。王書芹基于LSTM模型利用歷史數(shù)據(jù)預(yù)測未來瓦斯?jié)舛萚5]；宋怡臻提出LSTM模型預(yù)測未來經(jīng)濟變化趨勢[6]；吉長東等利用LSTM模型實現(xiàn)未來GNSS衛(wèi)星軌道預(yù)報[7]。雖然LSTM模型受到了廣泛關(guān)注，但在運營高速鐵路變形預(yù)測領(lǐng)域研究較少，具有一定研究價值。

LSTM模型網(wǎng)絡(luò)超參數(shù)的選擇直接決定其網(wǎng)絡(luò)拓撲結(jié)構(gòu)和網(wǎng)絡(luò)預(yù)測性能，但需要進行多次實驗，耗費時間精力較多。因此，決定采用具有全局收斂性的灰狼優(yōu)化(Grey Wolf optimizer，GWO)算法進行超參數(shù)組合尋優(yōu)。另外，傳統(tǒng)變形預(yù)測模型中，沒有考慮到監(jiān)測點變形的關(guān)聯(lián)性，應(yīng)將監(jiān)測點間的互擾性作為預(yù)測建模的影響因素。以某運營高速鐵路重點地段沉降監(jiān)測數(shù)據(jù)及仿真數(shù)據(jù)為例，構(gòu)建顧及相鄰點變形關(guān)聯(lián)性的GWO-LSTM模型，并與BP模型進行對比，檢驗其適用性與精度。

2 LSTM模型與相鄰監(jiān)測點變形關(guān)聯(lián)性分析

2.1 LSTM模型

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一類以序列數(shù)據(jù)為輸入，在序列的演進方向進行遞歸且按鏈式連接所有節(jié)點的遞歸神經(jīng)網(wǎng)絡(luò)，其優(yōu)勢在于考慮了序列數(shù)據(jù)的時序特征，即上一時刻的網(wǎng)絡(luò)狀態(tài)會對下一時刻網(wǎng)絡(luò)狀態(tài)產(chǎn)生的影響[8]。但是隨著時序長度的增長，RNN在訓(xùn)練時容易出現(xiàn)梯度爆炸或梯度消失，影響網(wǎng)絡(luò)輸出的精度。因此，Hochreiter等對傳統(tǒng)RNN遞歸神經(jīng)網(wǎng)絡(luò)進行改進，形成LSTM深度神經(jīng)網(wǎng)絡(luò)[9]。LSTM內(nèi)部結(jié)構(gòu)如圖1所示，包含輸入門、遺忘門、輸出門和記憶單元等結(jié)構(gòu)。3種門結(jié)構(gòu)負責(zé)在神經(jīng)網(wǎng)絡(luò)的其他部分與記憶單元連接的邊緣處設(shè)定權(quán)值，選擇性記憶并反饋誤差函數(shù)隨梯度下降的修正參數(shù)[10]。記憶單元可以幫助LSTM減緩時序信息的損失速率，彌補RNN短期記憶、梯度爆炸等缺陷。

圖1 LSTM內(nèi)部結(jié)構(gòu)

LSTM內(nèi)部結(jié)構(gòu)具體工作原理如下。

遺忘門是歷史信息保留和遺忘的控制者，其計算見式(1)。它對前一時刻隱藏單元的輸出ht-1與當前時刻的輸入xt進行線性組合，并利用sigmoid激活函數(shù)，將其輸出值變換到[0，1]之內(nèi)，其中，1表示全部保留，0表示全部舍棄。

ft=σ(wfxxt+wfhht-1+bf)

(1)

式中，wfx、wfh分別為遺忘門接收信息的權(quán)重矩陣；bf為遺忘門的偏置項；σ一般為sigmoid激活函數(shù)。

輸入門負責(zé)處理當前時刻信息的輸入，控制輸入數(shù)量，其具體計算過程為

It=σ(wixxt+wihht-1+bi)

(2)

式中，wix、wih分別為輸入門接收信息的權(quán)重矩陣；bi為輸入門的偏置項。

記憶單元負責(zé)綜合當前時刻信息與過去記憶信息，當前單元狀態(tài)會受到上一時刻單元狀態(tài)的影響，其更新過程為

(3)

式中，wsx、wsh分別為記憶單元接收信息的權(quán)重矩陣；bs為記憶單元的偏置項。

輸出門負責(zé)控制信息的輸出，采用sigmoid函數(shù)對輸出結(jié)果分類并用tanh函數(shù)進行記憶狀態(tài)的變換，得到隱藏層傳遞給下一層的狀態(tài)值ht，經(jīng)過sigmoid計算得到當前時刻的輸出值y，其計算見式(4)、式(5)。

(4)

y=σ(wyhht)

(5)

式中，wox、woh分別為輸出門接收信息的權(quán)重矩陣；bo為輸出門的偏置項；wyh當前時刻隱藏層到最上層輸出層的權(quán)重矩陣。

2.2 相鄰監(jiān)測點變形關(guān)聯(lián)性

運營高速鐵路重點地段變形監(jiān)測網(wǎng)由多個變形監(jiān)測點組成，每一個監(jiān)測點的變化并不獨立存在，既受其他監(jiān)測點的影響，也會對其他監(jiān)測點的變形產(chǎn)生影響。現(xiàn)有的變形預(yù)測模型多為單點預(yù)測模型，往往未考慮相鄰點之間的變形影響，從而忽略了相鄰點變形規(guī)律的整體關(guān)聯(lián)性[11]。因此，除了考慮時間因素外，還考慮相鄰點的變形關(guān)聯(lián)性對變形的影響程度?？梢岳肞earson相關(guān)系數(shù)衡量影響因素與監(jiān)測點變形之間的相關(guān)程度，計算過程為

(6)

3 顧及相鄰點變形關(guān)聯(lián)性的GWO-LSTM模型

3.1 模型預(yù)測流程

建立顧及相鄰點變形關(guān)聯(lián)性的GWO-LSTM模型，其變形預(yù)測整體框架包括數(shù)據(jù)預(yù)處理、基于GWO的超參數(shù)優(yōu)化、網(wǎng)絡(luò)訓(xùn)練與網(wǎng)絡(luò)預(yù)測，如圖2所示。通過GWO算法對LSTM模型中的初始學(xué)習(xí)率、隱藏層單元數(shù)目兩個網(wǎng)絡(luò)參數(shù)在搜索空間優(yōu)化，確定最佳參數(shù)組合。將某時刻監(jiān)測點的變形值與影響特征作為輸入數(shù)據(jù)，將下一時刻監(jiān)測點變形預(yù)測值作為輸出數(shù)據(jù)，通過LSTM迭代自適應(yīng)調(diào)整權(quán)重擬合形成GWO-LSTM模型。最后，把測試數(shù)據(jù)輸入訓(xùn)練網(wǎng)絡(luò)進行預(yù)測，將預(yù)測結(jié)果與真實值進行誤差對比并輸出。

圖2 GWO-LSTM模型變形預(yù)測整體框架

3.2 數(shù)據(jù)預(yù)處理

運營高速鐵路重點地段變形監(jiān)測為周期性監(jiān)測，其周期根據(jù)變形速率和評判標準動態(tài)調(diào)整[12]。受天窗時間、天氣狀況等條件限制，實際監(jiān)測無法按照等間隔周期進行。根據(jù)時間序列預(yù)測對監(jiān)測數(shù)據(jù)的要求，選用3次樣條插值函數(shù)將非等間隔監(jiān)測數(shù)據(jù)轉(zhuǎn)化為等間隔監(jiān)測[13]，其函數(shù)原理如下。

設(shè)區(qū)間[a，b]上有n+1個樣本點(xi，yi)(i=0，1，…，n)，函數(shù)S(x)在整個區(qū)間[a，b]為二次連續(xù)可微函數(shù)，在每個子區(qū)間[xk-1，xk](k=1，2，…，n)是一個不超過三次的多項式，在每一個結(jié)點上滿足S(xi)=yi(i=0，1，…，n)，則稱S(x)為三次樣條插值函數(shù)。

將變形監(jiān)測數(shù)據(jù)輸入于預(yù)測模型前，需要將其劃分為訓(xùn)練集ttr=[x1，x2，…，xm]和測試集tte=[xm+1，xm+2，…，xn]，其中限制條件為m

(7)

式中，x是變形監(jiān)測數(shù)據(jù)；y是歸一化后的結(jié)果；xmin和xmax分別是變形監(jiān)測數(shù)據(jù)中的最小值和最大值。

3.3 基于GWO的超參數(shù)優(yōu)化

LSTM模型預(yù)測性能取決于網(wǎng)絡(luò)超參數(shù)的選擇，主要的網(wǎng)絡(luò)超參數(shù)有初始學(xué)習(xí)率、隱藏層單元數(shù)目等，但目前沒有通用方法，多采用經(jīng)驗法確定[14]。已有許多學(xué)者開展相關(guān)研究，許寧提出采用多層網(wǎng)格搜索法，以一種網(wǎng)格遍歷的方式依次嘗試每種超參數(shù)組合[15]。多層網(wǎng)格搜索法雖然有不錯的尋優(yōu)能力，但存在容易陷入局部最優(yōu)、匹配完所有組合才能結(jié)束搜尋導(dǎo)致的效率低下等諸多缺陷，故在實際應(yīng)用中，一旦超參數(shù)個數(shù)增多，遍歷所有的參數(shù)組合將耗費大量時間，故該方法還不是一種非常智能的方法。針對以LSTM為基礎(chǔ)建立的運營高速鐵路變形預(yù)測模型，所涉超參數(shù)較多且搜索空間范圍較大，為提高超參數(shù)尋優(yōu)的精度和效率，決定引入GWO算法進行超參數(shù)組合優(yōu)化。

GWO算法源于生物界，是一類對灰狼的狩獵行為與社會等級層次進行模仿的新型群體智能優(yōu)化算法，其優(yōu)勢為全局收斂性好、參數(shù)少、易實現(xiàn)等[16]。在灰狼種群中，灰狼按等級劃分為α、β、δ及ω。每一個灰狼對應(yīng)著一組超參數(shù)，即α、β、δ及ω分別為最優(yōu)解、次優(yōu)解、第三優(yōu)解與候選解[17]。使用GWO算法對LSTM模型最優(yōu)參數(shù)組合搜尋，其主要步驟如下。

(1)確定超參數(shù)取值范圍，初始化灰狼種群，確認灰狼個體的位置向量。

(2)將預(yù)測結(jié)果的均方根誤差RMSE作為適應(yīng)度函數(shù)，學(xué)習(xí)訓(xùn)練樣本計算出灰狼的適應(yīng)度值并進行灰狼種群等級劃分。

(3)根據(jù)式(8)～式(13)，對灰狼個體信息進行位置更新，將位置更新后的適應(yīng)度函數(shù)值與上一代的進行比較，保留最優(yōu)適應(yīng)度函數(shù)值和最優(yōu)參數(shù)，直至迭代次數(shù)滿足，搜索到全局最優(yōu)參數(shù)組合，否則返回第(2)步繼續(xù)迭代。

(8)

Bk=2r1，k=1，2，3

(9)

(10)

(11)

Ak=2ar2-a，k=1，2，3

(12)

a=2-t/tmax

(13)

3.4 網(wǎng)絡(luò)訓(xùn)練

LSTM模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型相同，可以有多個隱藏層，單隱含層可以通過調(diào)節(jié)隱藏層單元數(shù)目來實現(xiàn)和多隱藏層幾乎一樣的效果[18]，故采用單隱藏層LSTM模型。LSTM模型訓(xùn)練時，采用GWO算法選定的最優(yōu)參數(shù)組合，將訓(xùn)練集ttr中影響特征與監(jiān)測點變形值輸入于網(wǎng)絡(luò)輸入層，經(jīng)前向傳播由全連接層回歸分析得出訓(xùn)練集ttr中下一時刻變形值，通過損失函數(shù)計算偏差，其損失函數(shù)采用均方誤差MSE。若超過預(yù)期值，需要通過BPTT算法反向傳播修正連接權(quán)重并采用自適應(yīng)Adam優(yōu)化算法調(diào)節(jié)網(wǎng)絡(luò)梯度[19]，進而得出LSTM訓(xùn)練的全局最優(yōu)解。

3.5 網(wǎng)絡(luò)預(yù)測

運營高速鐵路變形預(yù)測中，可采用單步預(yù)測與多步預(yù)測，預(yù)測方式又可分為直接多步預(yù)測、基于多輸入多輸出策略(MIMO)的多步預(yù)測、遞歸多步預(yù)測和隨時間推進的單步預(yù)測等[20]。對于直接多步預(yù)測和基于多輸入多輸出策略的多步預(yù)測，兩種方法雖然都建立每個時間步與當前狀態(tài)的聯(lián)系，但具有模型構(gòu)造復(fù)雜與訓(xùn)練困難等缺陷。遞歸多步預(yù)測與隨時間推進的單步預(yù)測都直接利用訓(xùn)練好的單步預(yù)測模型，不需要額外訓(xùn)練，其區(qū)別在于預(yù)測階段時間有沒有推進[21]。進行遞歸多步預(yù)測時，停留于時刻i，將預(yù)測值當作真實值加入歷史序列不斷遞歸預(yù)測下一時間步序列值，但這樣會產(chǎn)生誤差累積效應(yīng)。隨時間推進的單步預(yù)測是指隨時間推進將真實值加入歷史序列不斷往前擴展遞歸預(yù)測，即在時刻i預(yù)測時刻i+1，等到了i+1，知道真實值再預(yù)測時刻i+2，以此類推。其模型容易實現(xiàn)，預(yù)測精度取決于訓(xùn)練好的網(wǎng)絡(luò)。綜合實際應(yīng)用考慮，選用隨時間推進的單步預(yù)測進行研究。

預(yù)測時，首先將測試集tte中影響特征與監(jiān)測點變形值輸入訓(xùn)練好的網(wǎng)絡(luò)中，即可得到對應(yīng)的預(yù)測值，然后需要進行反歸一化處理，其函數(shù)關(guān)系見式(14)，并與真實值進行對比，求出預(yù)測模型精度。

x=y·(xmax-xmin)+xmin

(14)

式中，x是反歸一化后結(jié)果；y是預(yù)測值；xmin和xmax分別是變形監(jiān)測數(shù)據(jù)中的最小值和最大值。

3.6 預(yù)測性能指標

運營高速鐵路變形預(yù)測模型性能指標較多，采用RMSE、MAE和確定系數(shù)(R2)作為模型的評估指標，如式(15)～式(17)所示。預(yù)測模型RMSE和MAE越小，則預(yù)測精度越高；R2越大，則預(yù)測值與真實值相關(guān)程度越高。

(15)

(16)

(17)

4 實例應(yīng)用

4.1 工程概況

某運營高速鐵路位于華東平原地區(qū)，與多條重要高鐵相接，作為我國“八縱八橫”高鐵客運網(wǎng)主要通道之一。其中，K0245+002～K0246+044為無砟軌道路橋過渡段，受溫度等外界條件與時空效應(yīng)因素影響發(fā)生變形，故將其列為重點沉降監(jiān)測地段。從2017年5月25日到2018年11月16日，在該地段共完成37期監(jiān)測，監(jiān)測頻率原則上規(guī)定為1次/15 d，但受天窗期與天氣的影響無法嚴格執(zhí)行。其沉降監(jiān)測縱斷面分為上下行路肩斷面、上下行底座板外側(cè)斷面、上下行軌道板斷面，橫斷面每50～70 m布設(shè)1個，路肩CPⅢ點位布設(shè)如圖3所示。

圖3 CPⅢ點位布設(shè)

4.2 數(shù)據(jù)預(yù)處理

以變形較為嚴重的CPⅢ點245321與245322為例，分別對該點與其相鄰的CPⅢ點進行三次樣條插值處理，插值后累計沉降變化如圖4所示。通過Pearson相關(guān)系數(shù)法確定兩點的影響特征，如表1與表2所示。結(jié)果表明其相關(guān)系數(shù)均大于0.6，下一時刻的變形與上一時刻各點的變形存在強相關(guān)性。因此，分別選用245319、245321與245323的上一期沉降量作為245321下一期沉降量的影響特征，選用245320、245322與245324的上一期沉降量作為245322的影響特征，將構(gòu)建輸入向量維度為3，輸出向量維度為1的GWO-LSTM模型進行預(yù)測，可獲得36組樣本數(shù)據(jù)，將前29組數(shù)據(jù)作為訓(xùn)練集，后7組作為測試集，即預(yù)測期次為31～37期。

圖4 三次樣條插值后監(jiān)測點累計沉降變化

表1 245321相關(guān)性分析

表2 245322相關(guān)性分析

4.3 GWO訓(xùn)練尋優(yōu)

采用GWO算法對LSTM模型中初始學(xué)習(xí)率與隱藏層單元數(shù)兩個參數(shù)進行優(yōu)化。設(shè)置灰狼個體數(shù)為30，迭代次數(shù)為60，初始學(xué)習(xí)率與隱藏層單元數(shù)的搜索空間分別為0.001～0.9和1～30，LSTM模型中訓(xùn)練輪數(shù)為100，梯度閾值為1，學(xué)習(xí)率下降因子為0.2。經(jīng)過優(yōu)化，隨著迭代次數(shù)的遞增，GWO-LSTM模型可以在搜索空間中快速找到近似最優(yōu)解，245321與245322的適應(yīng)度函數(shù)值曲線如圖5所示，所搜尋到的最優(yōu)超參數(shù)如表3所示，并將其代入模型中進行網(wǎng)絡(luò)訓(xùn)練預(yù)測。

圖5 適應(yīng)度函數(shù)曲線

表3 最優(yōu)超參數(shù)

4.4 預(yù)測結(jié)果分析

為分析GWO-LSTM模型的擬合預(yù)測性能，建立BP模型與之進行比較，兩種方法對245321與245322的預(yù)測結(jié)果如圖6與圖7所示，預(yù)測精度見表4?？梢钥闯?，不論對于245321還是245322，兩個模型都能對其變化趨勢進行一定程度的擬合預(yù)測，該地段除了受時空效應(yīng)影響，還受溫度、風(fēng)速、荷載等環(huán)境因素影響，故所建立的模型不可避免地與實測值有一定程度的偏離。其中BP模型預(yù)測趨勢偏離實測值較大，而GWO-LSTM模型預(yù)測趨勢更接近實測值，表現(xiàn)出優(yōu)于BP模型的預(yù)測精度。

圖6 245321預(yù)測結(jié)果對比

圖7 245322預(yù)測結(jié)果對比

表4 模型精度評定對比

5 仿真實驗

5.1 仿真實驗驗證

為進一步驗證GWO-LSTM模型的擬合預(yù)測性能，通過3次樣條插值函數(shù)，將監(jiān)測頻次為1次/15d的37期監(jiān)測數(shù)據(jù)轉(zhuǎn)換為監(jiān)測頻次為1次/5d的109期監(jiān)測數(shù)據(jù)，模擬其變形趨勢如圖8所示。與之前同樣的預(yù)測方式，可獲得108組數(shù)據(jù)，前89組數(shù)據(jù)作為訓(xùn)練集，后19組作為測試集，分別對245321與245322的91～109期進行仿真實驗預(yù)測。

圖8 109期監(jiān)測點累計沉降變化

在其余參數(shù)不變的條件下，隨著迭代次數(shù)的遞增，245321與245322的適應(yīng)度函數(shù)值最終趨于收斂，曲線如圖9所示。所搜索到的最優(yōu)超參數(shù)如表5所示，并將其代入模型中進行網(wǎng)絡(luò)訓(xùn)練預(yù)測。

圖9 適應(yīng)度函數(shù)曲線

表5 最優(yōu)超參數(shù)

5.2 仿真實驗結(jié)果分析

對于三次樣條函數(shù)模擬出的245321與245322，GWO-LSTM模型與BP模型的預(yù)測結(jié)果如圖10、圖11所示，預(yù)測精度見表6。分析可知，GWO-LSTM模型的擬合預(yù)測曲線較BP模型更貼近真實曲線，進一步證明了GWO-LSTM模型對非線性數(shù)據(jù)的擬合預(yù)測能力強于BP模型。此外，結(jié)果也說明了建模時除了考慮影響特征因素外，還可以提高監(jiān)測頻次來減少預(yù)測數(shù)據(jù)的離散性，進而獲取更好的預(yù)測效果，這為未來運營高速鐵路自動化變形監(jiān)測大數(shù)據(jù)預(yù)測分析打下了基礎(chǔ)。

圖10 245321預(yù)測結(jié)果對比

表6 模型精度評定對比

6 結(jié)論

以某運營高速鐵路重點地段沉降監(jiān)測數(shù)據(jù)及仿真數(shù)據(jù)為例，建立顧及相鄰點變形關(guān)聯(lián)性的GWO-LSTM模型進行處理分析，得出以下結(jié)論。

(1)運營高速鐵路沉降變形是綜合影響因素作用下的結(jié)果，其預(yù)測建模不僅需要考慮外界環(huán)境的影響，還需要從時空角度上考慮相鄰監(jiān)測點變形的空間關(guān)聯(lián)性。

(2)相較于以往的經(jīng)驗試湊法，GWO算法可以快速實現(xiàn)LSTM模型的超參數(shù)尋優(yōu)，提高變形識別與預(yù)測效率。

(3)相較于BP模型，GWO-LSTM模型更適合應(yīng)用于運營高速鐵路沉降變形分析預(yù)測。

(4)雖然可以用GWO-LSTM模型實現(xiàn)單一監(jiān)測點未來短期分析預(yù)測，但只針對于單一監(jiān)測方式的數(shù)據(jù)，全線多源數(shù)據(jù)同步分析預(yù)測是以后研究的方向。