基于長短期記憶神經(jīng)網(wǎng)絡的高鐵接觸網(wǎng)缺陷趨勢預測

薛逸凡，高仕斌

0 引言

接觸網(wǎng)是鐵路牽引供電系統(tǒng)的重要組成部分，因其設置于戶外露天環(huán)境，工作環(huán)境較為惡劣，容易受外界影響，且結構復雜，為高速鐵路牽引供電系統(tǒng)中故障率較高的子系統(tǒng)。接觸網(wǎng)的露天設置、無備用性使得對其缺陷趨勢的預測非常重要[1]。

對于接觸網(wǎng)故障、缺陷的預測，現(xiàn)有文獻主要基于時間序列回歸預測，如文獻[2]采用HoltWinters預測模型和GM（1,1）灰色預測模型構建組合時間序列預測方法對故障強度發(fā)展趨勢進行預測，文獻[3]基于協(xié)整理論的多元時間序列回歸模型（ARIMAX模型）對接觸網(wǎng)的故障數(shù)據(jù)進行預測分析。這些研究雖然能夠大致擬合短期內(nèi)缺陷趨勢，但在實際中，接觸網(wǎng)缺陷數(shù)據(jù)的采集受檢測周期影響，接觸網(wǎng)檢修前后，缺陷數(shù)據(jù)會呈現(xiàn)周期性變化，導致現(xiàn)有模型穩(wěn)定性和準確性有待提高。

隨著6C系統(tǒng)得以廣泛應用，在日常運行、檢測、維修等業(yè)務過程中產(chǎn)生并積累了豐富的數(shù)據(jù)， 具備了利用循環(huán)神經(jīng)網(wǎng)絡進行缺陷趨勢預測的條件。循環(huán)神經(jīng)網(wǎng)絡預測方法具備自學習能力，在對時序序列的非線性特征進行學習時具有一定優(yōu)勢。目前在國內(nèi)，循環(huán)神經(jīng)網(wǎng)絡方法在經(jīng)濟預測、語音識別、圖像字幕等領域有著較為廣泛的應用，但用于對接觸網(wǎng)進行缺陷趨勢預測的研究較少。

本文提出一種基于長短期記憶神經(jīng)網(wǎng)絡（LSTM）的高速鐵路接觸網(wǎng)缺陷趨勢預測模型，利用現(xiàn)場獲取的接觸網(wǎng)吊弦缺陷、外部缺陷、定位裝置缺陷等數(shù)據(jù)進行數(shù)據(jù)補全等預處理，并結合接觸網(wǎng)實際情況確定LSTM模型參數(shù)，實現(xiàn)可靠預測并進行校驗，為實現(xiàn)接觸網(wǎng)計劃性維修和預防性檢修提供參考。

1 循環(huán)神經(jīng)網(wǎng)絡預測方法

1.1 標準RNN方法

標準循環(huán)神經(jīng)網(wǎng)絡（RNN）是一類以時間序列數(shù)據(jù)為輸入，在序列的演進方向進行遞歸且所有節(jié)點（循環(huán)單元）按鏈式連接的遞歸神經(jīng)網(wǎng)絡[4]，廣泛應用于自然語言處理、電力負荷預測等領域。

與前饋神經(jīng)網(wǎng)絡相比，RNN隱藏層中的每個神經(jīng)元可以通過自鏈接循環(huán)使用，給定原始時間序列x= (x1,x2,…,xn)，通過迭代式（1）和式（2）計算出一個隱藏層序列h= (h1,h2,…,hn)和一個輸出序列y= (y1,y2,…,yn)。

式中：W為權重系數(shù)矩陣（如Wxh表示輸入層到隱藏層的權重系數(shù)矩陣，Whh表示隱藏層間的權重系數(shù)矩陣，Why表示隱藏層到輸出層的權重系數(shù)矩陣）；b為偏置向量（如bh表示隱藏層的偏置向量，by表示輸出層的偏置向量，）；fa為激活函數(shù)（如tanh函數(shù)）；下標t表示時刻。

圖1 RNN模型隱藏層細胞結構

RNN采用ht-1記憶t時刻之前的所有輸入信息，t時刻輸出的yt不僅受該時刻輸入xt的影響，還受ht-1的影響。RNN采用時間反向傳播（BPTT）算法進行訓練，訓練過程中存在梯度消失問題，導致RNN不能學習時間序列的長距離時序依賴關系。同時，標準RNN模型需要預先確定延遲窗口長度，在實際應用中很難獲得該參數(shù)的最優(yōu)值。將長短期記憶神經(jīng)網(wǎng)絡（LSTM）應用于缺陷數(shù)據(jù)時間序列預測，通過一定數(shù)量的先驗、歷史知識引導網(wǎng)絡學習數(shù)據(jù)間的聯(lián)系與趨勢，在神經(jīng)元中加入記憶單元和門控單元完成預測。較標準RNN而言，LSTM可解決“長期依賴”（long- term dependency）問題，即有用信息和預測點相隔較遠的情況下依然有較好的預測效果。

1.2 LSTM預測方法

LSTM以細胞狀態(tài)向量的形式來存儲神經(jīng)元對過往序列的宏觀理解和記憶，然后將上一個時間的細胞狀態(tài)、當前時間的輸入、上一時步的隱藏狀態(tài)綜合起來，構造出神經(jīng)元的歷史長期記憶。LSTM模型將隱藏層的RNN細胞替換為LSTM細胞，使其具有長期記憶能力[5]。LSTM模型細胞結構如圖2所示。

圖2 LSTM模型細胞結構

該模型前向計算方法可表示為

式中：i、f、c、o分別為輸入門、遺忘門、細胞狀態(tài)、輸出門；W和b分別為對應的權重系數(shù)矩陣和偏置項；σ和tanh分別為sigmoid和雙曲正切激活函數(shù)。

相比于RNN，LSTM增加隱藏狀態(tài)c，該隱藏狀態(tài)被稱為細胞狀態(tài)（圖3），使缺陷發(fā)生的內(nèi)在規(guī)律信息在結構塊中傳播。

圖3 LSTM結構塊中的細胞狀態(tài)

遺忘門以一定概率保留上一層的隱藏細胞狀態(tài)，決定從細胞狀態(tài)中留下哪些信息。當遺忘門輸出為0時，完全舍棄上一層細胞狀態(tài)；輸出為1時，完全保留上一層的隱含細胞狀態(tài)。遺忘門能夠去除接觸網(wǎng)缺陷統(tǒng)計序列中影響較小的部分。

輸入門的作用是向細胞狀態(tài)中添加新的信息，主要分為2個步驟：

Step1：通過一個tanh層和sigmoid層共同作用決定向細胞狀態(tài)中添加的信息內(nèi)容。

Step2：結合遺忘門更新細胞狀態(tài)。

輸入門從前序缺陷統(tǒng)計量中進一步篩選對預測有作用的信息，并添加到當前細胞狀態(tài)中，提高模型對接觸網(wǎng)缺陷內(nèi)在規(guī)律的學習程度。

輸出門為LSTM計算的最后一步，決定當前時刻的最終輸出。輸出門由更新后的細胞狀態(tài)、上一時刻輸出與當前時刻輸入共同決定。

2 基于LSTM的缺陷預測模型

2.1 模型框架

接觸網(wǎng)缺陷數(shù)據(jù)具有周期性和趨勢性，同時又受季節(jié)天氣變化、集中修等因素的影響，具有較大的不確定性。利用LSTM能學習長距離時序依賴的優(yōu)點，在考慮預測月當月相關因素對缺陷趨勢影響的基礎上，從橫向識別預測月當月缺陷變化的規(guī)律，從縱向識別其他年份該月份缺陷的變化規(guī)律。

考慮單變量的缺陷數(shù)量時間序列有限樣本點的數(shù)據(jù)特征，構建基于LSTM的缺陷數(shù)量預測模型的整體框架，如圖4所示。該模型架構包括輸入層、隱藏層、輸出層、網(wǎng)絡訓練以及網(wǎng)絡預測5個功能模塊：輸入層負責對原始故障時間序列進行初步處理以滿足網(wǎng)絡輸入要求；隱藏層采用圖4所示的LSTM細胞搭建單層循環(huán)神經(jīng)網(wǎng)絡；輸出層提供預測結果；網(wǎng)絡訓練采用Adam優(yōu)化算法；網(wǎng)絡預測采用迭代的方法逐點預測。

圖4 基于LSTM的故障時間序列預測模型框架

2.2 數(shù)據(jù)預處理

由于缺陷發(fā)生次數(shù)具有一定隨機性，且有缺失數(shù)據(jù)，本文進行數(shù)據(jù)預處理得到以月為采樣周期的接觸網(wǎng)單項缺陷時間序列，以便進行建模和預測。

2.2.1 數(shù)據(jù)上卷

由于接觸網(wǎng)單項缺陷數(shù)據(jù)均來源于運營的鐵路線路現(xiàn)場，所以存在一定的誤差，且各單項缺陷數(shù)據(jù)的檢測周期不同，統(tǒng)計收集的數(shù)據(jù)不符合時間序列的要求。在模型搭建初始，需要對各指標數(shù)據(jù)進行匯總，并以月份作為時序上卷周期，以月份為采樣周期對各單項缺陷數(shù)據(jù)進行數(shù)據(jù)上卷，使其成為時間序列。

2.2.2 數(shù)據(jù)補全

缺陷數(shù)據(jù)采樣存在一定的誤差和遺漏，LSTM需要輸入在時序維度上保持連續(xù)的數(shù)據(jù)[6]，對以月份為采樣周期的時間序列進行缺失值檢測，對前后時間間隔不大的缺失數(shù)據(jù)采用均值補全的方法進行處理，如式（4）所示。

式中：xb為b月份的時序缺失值；xb+i、xb-i分別為b+i、b-i月份的有效數(shù)據(jù)。

2.2.3 數(shù)據(jù)標準化

神經(jīng)網(wǎng)絡采用基于梯度下降的反向傳播算法進行訓練，數(shù)據(jù)太大或太小均可能造成無法找到最優(yōu)解。為此，本文采用最小-最大歸一化方法將數(shù)據(jù)歸一化到區(qū)間[0,1][7]，如式（5）所示。

式中：Xmax、Xmin分別為時間序列的最大值、最小值；X為原始值；Xnorm為標準化后的值。

2.3 模型訓練

本文采用Adam優(yōu)化方法對用于缺陷趨勢預測的LSTM網(wǎng)絡進行訓練，訓練的目的是調整網(wǎng)絡參數(shù)，使輸出值盡可能接近真實值[8]。模型訓練流程如圖5所示。

圖5中，②和③為前向推理過程，④為反向傳播過程，⑤和⑥為對網(wǎng)絡參數(shù)進行調整。損失函數(shù)包括均方根誤差（RMSE）損失、均方誤差（MES）損失、平均絕對誤差（MAE）損失、絕對百分比誤差（APE）損失。本文采用單項缺陷數(shù)據(jù)所有樣本APE的平均值（MAPE）作為損失函數(shù)衡量預測模型的整體性能[9]，表示為

圖5 模型訓練流程

式中：N為訓練樣本總數(shù)；為預測所得缺陷數(shù)據(jù)；Mi為實際缺陷數(shù)據(jù)。

3 實例分析

基于高速鐵路牽引供電安全檢測監(jiān)測（6C）系統(tǒng)所獲取的數(shù)據(jù)作為研究對象，選取京廣高鐵韶關高鐵接觸網(wǎng)工區(qū)、廣州北高鐵接觸網(wǎng)工區(qū)、廣州南接觸網(wǎng)工區(qū)缺陷數(shù)據(jù)中接觸網(wǎng)零部件（吊弦）缺陷和接觸網(wǎng)外部環(huán)境缺陷兩類缺陷數(shù)據(jù)進行接觸網(wǎng)缺陷趨勢預測。

3.1 吊弦缺陷預測

吊弦是鏈形懸掛中的重要組成部件之一[10]。對京廣高鐵相關工區(qū)2017年1月—2020年3月吊弦缺陷源數(shù)據(jù)進行月份序列編碼和缺失值補充，如圖6所示。

圖6 數(shù)據(jù)補全前后吊弦缺陷數(shù)據(jù)

圖6 中時序序列橫坐標1—39分別對應2017年1月—2020年3月?；谏鲜鰯?shù)據(jù)對LSTM模型進行訓練和參數(shù)調整，逐月預測2020年4—10月共計7個月的吊弦缺陷數(shù)量，并以源數(shù)據(jù)中的對應記錄作為標準值與模型值預測結果進行對比校驗，結果如圖7所示，圖中時序橫坐標1—7分別對應2020年4—10月。

圖7 2020年4—10月吊弦缺陷預測結果

由預測結果可知，采用本文所述LSTM模型預測的吊弦缺陷趨勢與實際趨勢基本一致，平均誤差次數(shù)為3.14，最大誤差為9次（2020年7月），且2020年4月預測結果與實際結果一致，表明LSTM模型可以學習吊弦缺陷發(fā)生的內(nèi)在規(guī)律，對缺陷發(fā)展趨勢的短期預測具有較好的效果。

3.2 外部環(huán)境缺陷預測

外部環(huán)境缺陷主要統(tǒng)計樹木侵限、異物、設備安裝工藝缺陷、設備侵蝕等[10]。對京廣高鐵相關工區(qū)2016年1月—2019年12月外部環(huán)境缺陷源數(shù)據(jù)進行月份序列編碼，如圖8所示。

圖8 中時序序列橫坐標1—48分別對應2016年1月—2019年12月?；谏鲜鰯?shù)據(jù)訓練LSTM模型進行參數(shù)調整，逐月預測2020年1—10月共計10個月的外部環(huán)境缺陷數(shù)量，并用源數(shù)據(jù)中的對應記錄作為標準值與模型值預測結果進行對比校驗，預測結果對比如圖9所示。

圖9 2020年1—10月外部環(huán)境缺陷預測結果

由預測結果對比可知，采用本文所述LSTM模型預測的外部缺陷趨勢與實際趨勢基本一致，最大誤差為40次（2020年9月），2020年1月、3—7月6個月的誤差均在4次以內(nèi)，表明LSTM模型可以學習外部環(huán)境缺陷發(fā)生的內(nèi)在規(guī)律，對缺陷發(fā)展趨勢的短期預測具有較好的效果。

4 結語

接觸網(wǎng)系統(tǒng)是一個較為特殊的系統(tǒng)，其功能復雜，既是電力機車的輸電線路，又是受電弓滑板的滑道，同時其工作條件惡劣，為高速鐵路牽引供電系統(tǒng)中的薄弱環(huán)節(jié)。根據(jù)本文所提出的方法，能夠較為準確地對接觸網(wǎng)系統(tǒng)前期缺陷統(tǒng)計量反映出來的發(fā)展過程和變化規(guī)律進行分析，預測下一時間段接觸網(wǎng)系統(tǒng)缺陷可能達到的水平，為科學制定接觸網(wǎng)維修計劃、預防性檢修提供了依據(jù)。