基于LSTM的軌道結(jié)構(gòu)溫度變形預(yù)測(cè)方法

姚逸行 劉建國(guó)

(1.同濟(jì)大學(xué)道路與交通工程教育部重點(diǎn)實(shí)驗(yàn)室 上海 201804；2.同濟(jì)大學(xué)上海市軌道交通結(jié)構(gòu)耐久與系統(tǒng)安全重點(diǎn)實(shí)驗(yàn)室 上海 201804)

1 概述

隨著我國(guó)鐵路交通網(wǎng)的迅速發(fā)展，鄰近鐵路工程施工愈加頻繁。為了控制線路變形，保障線路運(yùn)營(yíng)安全，這就要求鄰近鐵路工程在進(jìn)行合理化設(shè)計(jì)與施工的同時(shí)[1]，加強(qiáng)對(duì)軌道結(jié)構(gòu)變形的實(shí)時(shí)監(jiān)測(cè)。而影響監(jiān)測(cè)精度的重要干擾因素之一就是由溫度帶來(lái)的軌道結(jié)構(gòu)變形。楊震等[2]通過(guò)分析合武客專無(wú)砟軌道曲線段不平順譜，發(fā)現(xiàn)無(wú)論是軌向還是高低，8月份的譜線位置都明顯高于其他月份的譜線，說(shuō)明溫度力對(duì)無(wú)縫線路變形影響顯著。楊冠嶺[3]利用ANAYS軟件建立了有砟軌道無(wú)縫線路力學(xué)模型，考慮軌道橫豎向初始不平順矢度、橫豎向初始不平順波長(zhǎng)、曲線半徑、曲線線型、軌枕豎向位移，道床參數(shù)等因素，分析了在溫度力作用下軌道位移變化規(guī)律，較其實(shí)測(cè)數(shù)據(jù)結(jié)果較為保守。對(duì)于無(wú)砟線路，文獻(xiàn)[4－5]通過(guò)光纖光柵等位移傳感器監(jiān)測(cè)了橋隧過(guò)渡段的鋼軌橫向位移，其隨著日溫波動(dòng)呈現(xiàn)周期性的變化，變化幅度在0.3 mm左右。

事實(shí)上，由于實(shí)際的軌道結(jié)構(gòu)力學(xué)性質(zhì)復(fù)雜，其變形情況與溫度分布場(chǎng)之間并非是簡(jiǎn)單線性的映射關(guān)系，其變化規(guī)律難以通過(guò)傳統(tǒng)的統(tǒng)計(jì)學(xué)方法包括線性回歸、自回歸移動(dòng)平均值等進(jìn)行準(zhǔn)確描述。因此，在實(shí)際監(jiān)測(cè)工作時(shí)無(wú)法針對(duì)現(xiàn)場(chǎng)情況對(duì)溫度帶來(lái)的結(jié)構(gòu)變形進(jìn)行實(shí)時(shí)預(yù)測(cè)，從而抵消溫度帶來(lái)的數(shù)據(jù)誤差。從監(jiān)測(cè)數(shù)據(jù)中實(shí)時(shí)提取軌道結(jié)構(gòu)溫度變形的變化特點(diǎn)，從而做出滿足一定精度要求的預(yù)測(cè)，進(jìn)而消除溫度帶來(lái)的軌道結(jié)構(gòu)變形對(duì)鄰近鐵路工程軌道結(jié)構(gòu)變形監(jiān)測(cè)的干擾，還原由鄰近鐵路工程引起的真實(shí)軌道結(jié)構(gòu)變形，是亟待解決的問(wèn)題。

軌道結(jié)構(gòu)溫度變形實(shí)時(shí)預(yù)測(cè)可以視為一個(gè)非線性不穩(wěn)定的時(shí)間序列問(wèn)題。近年來(lái)，隨著專家學(xué)者對(duì)機(jī)器學(xué)習(xí)算法的深入研究，基于大數(shù)據(jù)的人工智能神經(jīng)網(wǎng)絡(luò)算法逐漸發(fā)展成熟，包括模糊推理系統(tǒng)(fuzzy inference system，F(xiàn)IS)、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)和支持向量機(jī)(support vector machine，SVM)等，其中的循環(huán)神經(jīng)網(wǎng)絡(luò)[6](recurrent neural network，RNN)在非線性擬合方面有著良好的表現(xiàn)，在手寫(xiě)識(shí)別[7]、機(jī)器翻譯[8]、文本分類(lèi)[9－10]以及醫(yī)學(xué)診斷[11]等方面都有廣泛的應(yīng)用。由于在處理復(fù)雜預(yù)測(cè)問(wèn)題上表現(xiàn)突出，并逐漸應(yīng)用于工程領(lǐng)域，如王增平等[12]針對(duì)短期電力負(fù)荷數(shù)據(jù)時(shí)序性特點(diǎn)，將GRU神經(jīng)網(wǎng)絡(luò)與DNN神經(jīng)網(wǎng)絡(luò)結(jié)合，提出了GRU-NN模型用于預(yù)測(cè)中國(guó)某地區(qū)的短期電力負(fù)荷，在兼顧時(shí)效性的同時(shí)預(yù)測(cè)精度達(dá)到97.12%。

長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory，LSTM)是在RNN基礎(chǔ)上，為了解決時(shí)間序列學(xué)習(xí)的長(zhǎng)期依賴問(wèn)題而改進(jìn)的一種特殊循環(huán)神經(jīng)網(wǎng)絡(luò)。本文提出了一種基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的軌道結(jié)構(gòu)溫度變形預(yù)測(cè)方法，以某盾構(gòu)下穿既有車(chē)站工程軌道結(jié)構(gòu)橫向變形監(jiān)測(cè)數(shù)據(jù)為算例，并將該方法與多層感知機(jī)(multi-layer perceptron，MLP)進(jìn)行對(duì)比。實(shí)驗(yàn)證明，與MLP相比，本文提出的預(yù)測(cè)方法預(yù)測(cè)精度更高，能夠滿足一般監(jiān)測(cè)工作的實(shí)際需要。

2 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)原理

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)由于引入了循環(huán)單元結(jié)構(gòu)，能夠在學(xué)習(xí)中保留過(guò)去信息，適合處理時(shí)間序列預(yù)測(cè)問(wèn)題，但其存在的長(zhǎng)期依賴問(wèn)題，即在反向傳播算法中會(huì)出現(xiàn)梯度消失與梯度爆炸的現(xiàn)象，會(huì)導(dǎo)致循環(huán)神經(jīng)網(wǎng)絡(luò)無(wú)法掌握長(zhǎng)時(shí)間跨度的非線性關(guān)系。

為了解決RNN的梯度消失問(wèn)題，LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)定義了一個(gè)新的循環(huán)單元結(jié)構(gòu)，其狀態(tài)由稱為遺忘門(mén)、輸入門(mén)以及輸出門(mén)決定。遺忘門(mén)決定對(duì)前一時(shí)刻的狀態(tài)信息的保留程度；輸入門(mén)會(huì)根據(jù)當(dāng)前時(shí)刻的輸入信息以及單元狀態(tài)決定信息更新程度；輸出門(mén)則負(fù)責(zé)從當(dāng)前時(shí)刻的單元結(jié)構(gòu)中輸出具體記憶。每個(gè)門(mén)都是一個(gè)單層神經(jīng)網(wǎng)絡(luò)，其參數(shù)通過(guò)模型訓(xùn)練學(xué)習(xí)確定，這些參數(shù)表示了遺忘、輸入或輸出的執(zhí)行程度。

假設(shè)xi為輸入，LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏層的單元結(jié)構(gòu)可以用以下公式表示:

式中，ft、it、t、ct、ot、ht分別代表遺忘門(mén)、輸入門(mén)、候選狀態(tài)、單元狀態(tài)、輸出門(mén)以及最終單元輸出；Wf、Uf、bf、Wi、Ui、bi、Wc、Uc、bc、Wo、Uo、bo為訓(xùn)練參數(shù)矩陣；⊙表示哈達(dá)瑪積。

之所以LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)能夠避免梯度消失及梯度爆炸的問(wèn)題，就在于其單元狀態(tài)ct的更新只涉及加法運(yùn)算，而非像RNN中使用sigmoid等激活函數(shù)進(jìn)行變換運(yùn)算。從而在反向傳播過(guò)程中，對(duì)于每一步運(yùn)算只會(huì)有恒定的誤差被傳播回去。因此，LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)能夠更好地學(xué)習(xí)數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系以進(jìn)行預(yù)測(cè)。

3 基于LSTM模型的軌道結(jié)構(gòu)溫度變形預(yù)測(cè)方法

3.1 預(yù)測(cè)模型求解

基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的軌道結(jié)構(gòu)溫度變形預(yù)測(cè)算法流程如圖1所示，具體步驟如下:

利用循環(huán)的冷卻水作為加濕的水源，避免濕式冷凝器直接排放冷卻水所帶來(lái)的水資源浪費(fèi)，省去風(fēng)冷式冷凝器中的軸流風(fēng)機(jī)所帶來(lái)的電能消耗，節(jié)約能源的同時(shí)沒(méi)有增加成本。建議在空調(diào)內(nèi)安裝制冷劑回收箱體對(duì)多余的制冷劑進(jìn)行回收，將回收的制冷劑充入前進(jìn)風(fēng)格柵對(duì)室內(nèi)空氣進(jìn)行預(yù)降溫，減小制冷劑蒸發(fā)溫度與被冷卻空氣溫度的差值，增大制冷效率，減少制冷劑的使用量，減少制冷劑的排放。

圖1 算法流程

(1)劃分?jǐn)?shù)據(jù)集。記軌道結(jié)構(gòu)第n個(gè)測(cè)點(diǎn)t時(shí)刻氣溫監(jiān)測(cè)值為，溫度變形監(jiān)測(cè)值為，則T時(shí)刻的模型輸入矩陣為。模型訓(xùn)練數(shù)據(jù)集為:

(2)數(shù)據(jù)歸一化。為了避免神經(jīng)網(wǎng)絡(luò)運(yùn)算求解時(shí)帶來(lái)的數(shù)值問(wèn)題，滿足求解需要，對(duì)數(shù)據(jù)進(jìn)行歸一化處理。公式如下:

溫度變形監(jiān)測(cè)值按上述公式類(lèi)似處理。

(3)模型預(yù)測(cè)。將經(jīng)過(guò)歸一化處理的訓(xùn)練數(shù)據(jù)集O作為模型輸入，根據(jù)模型輸出結(jié)果按照損失函數(shù)計(jì)算誤差梯度，并利用Adam優(yōu)化算法對(duì)預(yù)測(cè)模型中各個(gè)神經(jīng)單元的狀態(tài)進(jìn)行更新，以上過(guò)程記作一次訓(xùn)練。在模型學(xué)習(xí)到設(shè)定的訓(xùn)練次數(shù)(epoch)后，得到預(yù)測(cè)模型參數(shù)。

(4)模型輸出及數(shù)據(jù)還原。將測(cè)試數(shù)據(jù)集P作為輸入，根據(jù)預(yù)測(cè)模型參數(shù)求解預(yù)測(cè)結(jié)果，并對(duì)其進(jìn)行反歸一化處理，得到軌道結(jié)構(gòu)溫度變形預(yù)測(cè)值。

3.2 預(yù)測(cè)模型結(jié)構(gòu)及超參數(shù)設(shè)置

本文建立的LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)包含一個(gè)隱藏層，其層數(shù)為50。一次訓(xùn)練的樣本個(gè)數(shù)(batch_size)設(shè)置為72，窗口長(zhǎng)度(look_back)設(shè)置為12，激活函數(shù)選用‘tanh’與‘hard_sigmoid’。在模型訓(xùn)練參數(shù)的迭代更新方面，采用Adam(adaptive moment estimation)優(yōu)化算法代替?zhèn)鹘y(tǒng)的隨機(jī)梯度下降算法，最終使模型的損失函數(shù)輸出值降到最小，完成訓(xùn)練。同時(shí)，為了保證模型輸出結(jié)果在維度上與實(shí)際監(jiān)測(cè)值一致，在LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)之后需要再添加一個(gè)1維的全連接層。

其中，損失函數(shù)采用平均絕對(duì)誤差(Mean Absolute Error)，即:

式中，M為訓(xùn)練集樣本個(gè)數(shù)；為軌道結(jié)構(gòu)第n個(gè)測(cè)點(diǎn)t時(shí)刻溫度變形實(shí)際監(jiān)測(cè)值；為對(duì)應(yīng)的模型預(yù)測(cè)值。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 訓(xùn)練樣本選擇及數(shù)據(jù)預(yù)處理

本文采用了某地鐵盾構(gòu)下穿既有車(chē)站工程的軌道結(jié)構(gòu)變形監(jiān)測(cè)數(shù)據(jù)集。該工程下穿了車(chē)站中普速鐵路與客運(yùn)專線兩條鐵路。其中，該普速鐵路為電氣化鐵路，有砟道床，混凝土軌枕，普通客運(yùn)、貨運(yùn)段鐵路，最高速度160 km/h。監(jiān)測(cè)儀器采用徠卡TM30型全站儀，該型儀器角度監(jiān)測(cè)精度為0.5″，距離監(jiān)測(cè)精度為0.2 mm＋0.4 ppm。該監(jiān)測(cè)數(shù)據(jù)集包括了2018年7月14日至2018年8月17日10道共120個(gè)測(cè)點(diǎn)的軌道橫豎向變形數(shù)據(jù)以及氣溫?cái)?shù)據(jù)，采集間隔2 h，共m＝412組數(shù)據(jù)。

針對(duì)軌道結(jié)構(gòu)溫度變形的預(yù)測(cè)目標(biāo)，訓(xùn)練樣本中的軌道變形監(jiān)測(cè)數(shù)據(jù)應(yīng)盡可能排除溫度影響以外的干擾因素。同時(shí)考慮到監(jiān)測(cè)設(shè)備精度，最終選取遠(yuǎn)離下穿中心點(diǎn)且溫度變形幅值較大的普速鐵路8～10道兩側(cè)共6組軌道橫向變形監(jiān)測(cè)數(shù)據(jù)以及相應(yīng)的氣溫監(jiān)測(cè)數(shù)據(jù)作為實(shí)驗(yàn)樣本。實(shí)驗(yàn)樣本劃分比例取0.8，即s＝0.8 m(其中訓(xùn)練數(shù)據(jù)集的后25%數(shù)據(jù)作為驗(yàn)證集)。

為了進(jìn)一步降低監(jiān)測(cè)數(shù)據(jù)的噪點(diǎn)影響，先將實(shí)驗(yàn)樣本數(shù)據(jù)進(jìn)行適當(dāng)平滑處理，以8道96號(hào)測(cè)點(diǎn)為例，樣本數(shù)據(jù)平滑處理結(jié)果如圖2所示。之后將樣本數(shù)據(jù)歸一化至(－1，1)之間。最后將歸一化后的數(shù)據(jù)組成模型輸入矩陣。

圖2 監(jiān)測(cè)數(shù)據(jù)平滑處理結(jié)果

4.2 實(shí)驗(yàn)結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)

平均絕對(duì)誤差(MAE)能夠反映預(yù)測(cè)結(jié)果與實(shí)際值之間的絕對(duì)誤差，均方根誤差(RMSE)對(duì)預(yù)測(cè)結(jié)果中的誤差極值反應(yīng)更為敏感，而相關(guān)系數(shù)(CORR)則描述了預(yù)測(cè)結(jié)果與實(shí)際值間的相關(guān)程度。本文選取上述三項(xiàng)指標(biāo)作為評(píng)價(jià)預(yù)測(cè)結(jié)果的精度標(biāo)準(zhǔn)，其表達(dá)式如下:

4.3 實(shí)驗(yàn)求解與結(jié)果分析

將預(yù)處理后的訓(xùn)練數(shù)據(jù)集輸入模型進(jìn)行訓(xùn)練，以8道96號(hào)測(cè)點(diǎn)為例，其模型訓(xùn)練次數(shù)(epoch)與損失函數(shù)輸出值()的關(guān)系如圖3所示。

圖3 模型訓(xùn)練次數(shù)與損失函數(shù)值關(guān)系曲線

可以看出，無(wú)論是訓(xùn)練數(shù)據(jù)集還是測(cè)試數(shù)據(jù)集，預(yù)測(cè)模型在經(jīng)過(guò)350次訓(xùn)練后，已經(jīng)得到充分訓(xùn)練且損失函數(shù)輸出值衰減趨于穩(wěn)定，而訓(xùn)練次數(shù)過(guò)大或者過(guò)小會(huì)使模型產(chǎn)生過(guò)擬合或欠擬合的情況，影響預(yù)測(cè)精度的同時(shí)可能還會(huì)增加運(yùn)算時(shí)長(zhǎng)。因此，將350次作為該測(cè)點(diǎn)模型的終止訓(xùn)練條件。

同時(shí)，本文選擇多層感知機(jī)模型(MLP)與模型預(yù)測(cè)結(jié)果進(jìn)行對(duì)比用以評(píng)判算法性能優(yōu)劣。為了保證科學(xué)性與有效性，兩種方法的實(shí)驗(yàn)樣本及劃分比例均保持一致。

圖4為8道96號(hào)測(cè)點(diǎn)兩類(lèi)模型預(yù)測(cè)結(jié)果對(duì)比圖?？梢钥吹?，兩類(lèi)模型都能在一定程度上捕捉到軌道結(jié)構(gòu)橫向變形隨日溫變化的周期性變化趨勢(shì)，但在軌道結(jié)構(gòu)變形幅度的學(xué)習(xí)尤其是數(shù)據(jù)峰谷值特征的提取上，基于LSTM的軌道結(jié)構(gòu)溫度變形預(yù)測(cè)模型效果明顯更好。

圖4 8道96號(hào)測(cè)點(diǎn)預(yù)測(cè)結(jié)果對(duì)比

兩種模型各測(cè)點(diǎn)的預(yù)測(cè)結(jié)果評(píng)價(jià)見(jiàn)表1。

表1 兩種模型預(yù)測(cè)結(jié)果評(píng)價(jià)

可以看出，本文提出的基于LSTM的軌道結(jié)構(gòu)溫度變形預(yù)測(cè)模型相比于多層感知機(jī)模型(MLP)，在整體預(yù)測(cè)精度上表現(xiàn)地更好。在相關(guān)系數(shù)(CORR)、均方根誤差(RMSE)以及平均絕對(duì)誤差(MAE)三項(xiàng)指標(biāo)上其均值分別提高了0.36，降低了0.34以及0.29。

5 結(jié)論

本文提出了一種基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)模型的軌道結(jié)構(gòu)溫度變形預(yù)測(cè)方法，通過(guò)將往期氣溫及軌道結(jié)構(gòu)變形監(jiān)測(cè)數(shù)據(jù)作為學(xué)習(xí)樣本，利用訓(xùn)練后的預(yù)測(cè)模型以及當(dāng)前氣溫監(jiān)測(cè)值對(duì)軌道結(jié)構(gòu)溫度變形作出實(shí)時(shí)預(yù)測(cè)。主要結(jié)論如下:

(1)依據(jù)某地鐵盾構(gòu)下穿既有車(chē)站工程的監(jiān)測(cè)數(shù)據(jù)，對(duì)軌道結(jié)構(gòu)溫度變形作出預(yù)測(cè)，并將預(yù)測(cè)結(jié)果與多層感知機(jī)(MLP)進(jìn)行對(duì)比，結(jié)果表明本文提出的預(yù)測(cè)方法可以獲得更高的預(yù)測(cè)精度，其預(yù)測(cè)精度在0.2 mm以下。

(2)未來(lái)可以在學(xué)習(xí)樣本中增加對(duì)軌道結(jié)構(gòu)溫度變形相關(guān)的影響因素如軌溫等監(jiān)測(cè)數(shù)據(jù)，進(jìn)一步提高預(yù)測(cè)精度，使其適用于監(jiān)測(cè)等級(jí)更高的高速鐵路監(jiān)測(cè)數(shù)據(jù)降噪當(dāng)中。