基于3D 卷積神經網(wǎng)絡的高鐵軌道質量指數(shù)預測方法

趙正陽，吳艷華，程智博，王云龍

（1. 中國鐵道科學研究院集團有限公司 電子計算技術研究所，北京 100081；2. 北京軌道交通運營管理有限公司，北京 102600）

高速鐵路新線運營里程已經超過2.2 萬km，占全球高速鐵路運營里程的50%以上。軌道質量指數(shù)（TQI，Track Quality Index）是評價高鐵線路質量狀態(tài)的關鍵指標，TQI 數(shù)據(jù)目前主要由高鐵綜合檢測車檢測得到，包括左高低、右高低、左軌向、右軌向、水平、軌距、三角坑7 項指標，通過專業(yè)軟件進行位置偏差校準后，形成以每200 m 為一個單位區(qū)段的評估數(shù)據(jù)。通過充分挖掘TQI 數(shù)據(jù)中的各類特征信息，能夠較為準確且合理地預測TQI 變化趨勢。目前，國內外已有大量專家學者對TQI 開展了趨勢變化分析及預測研究。早期學者基于綜合因子法[1]、灰色系統(tǒng)[2-6]、概率分布思想[7-8]對TQI 預測進行研究；近年來，F(xiàn)alamarzi[9]、Hakan Guler[10]、彭麗宇[11]等人通過建立人工神經網(wǎng)絡模型對軌道不平順或軌道幾何退化進行預測，這些模型相比于傳統(tǒng)預測方法具有更高的準確度。

目前基于神經網(wǎng)絡的TQI 預測模型已取得較佳效果，但各專家學者研究的方法及數(shù)據(jù)仍存在時間短、范圍小、數(shù)據(jù)特征單一等弊端。這些算法在鐵路TQI 預測場景中，無法滿足高鐵線路車輛密度大、影響因素繁多、運行狀態(tài)復雜、地質與周邊環(huán)境多樣的實際情況，對于TQI 的預測研究還存在較多不足。

本文基于高速鐵路工務設備大數(shù)據(jù)應用平臺[12]，利用TQI 檢測數(shù)據(jù)，結合時間、空間等維度的變化特征，構建用來預測TQI 的3D 卷積神經網(wǎng)絡模型。同時，為了驗證模型的準確性與有效性，將3D 卷積神經網(wǎng)絡模型與BP 神經網(wǎng)絡、卷積神經網(wǎng)絡進行了對比試驗。試驗結果表明，結合了時間、空間等多種特征的3D 卷積神經網(wǎng)絡對TQI 的預測精度較高，為高鐵軌道質量評估和預測提供新的思路。

1 TQI 預測模型流程及構建

1.1 TQI 預測模型流程

3D 卷積神經網(wǎng)絡構建的TQI 預測模型整體流程主要包括數(shù)據(jù)選取、數(shù)據(jù)集構建、訓練模型、模型評估4 部分，如圖1 所示。

圖1 TQI 預測模型流程

其中，m 為當前檢測數(shù)據(jù)的月份；k 為當前檢測數(shù)據(jù)的里程。

1.2 TQI 特征數(shù)據(jù)集構建

用于模型訓練的TQI 數(shù)據(jù)分別以檢測項、時間、空間3 個不同維度，對數(shù)據(jù)進行整合處理。

（1）檢測項：在3D 卷積神經網(wǎng)絡中不僅利用7 項檢測指標的標準差之和，且將每項檢測指標都作為模型的特征參數(shù)，利用原始特征提高模型的預測能力。

（2）時間：時間維度通常反應某區(qū)段的軌道狀態(tài)的連續(xù)變化情況。通過對時間維度的提取，可以更好的挖掘設備在不同月份、不同維修周期、不同運營狀態(tài)下的變化情況，提高模型預測的準確度。以某高鐵線上行K100 處2018 年數(shù)據(jù)為例，7 項檢測項與TQI 變化情況如圖2 所示。

圖2 K100 區(qū)段2018 年7 項檢測指標變化

（3）空間：由于單個區(qū)間的數(shù)據(jù)變化難以反應整體情況，故本文引入空間特征。通過鄰近的多區(qū)段檢測數(shù)據(jù)，挖掘預測區(qū)段受周邊環(huán)境、地質變化等特征的影響。某線路上行5 個相鄰區(qū)段TQI 變化情況如圖3 所示。

通過多維特征的整合，將某高鐵線的K100 ～K100.8 區(qū)段5 個月份7 項檢測指標數(shù)據(jù)形成的特征矩陣可視化至三維散點圖中，如圖4 所示。

圖3 2018 年1 月K100～K100.8 區(qū)段7 項檢測指標變化

圖4 三維數(shù)據(jù)集模型散點

其中，x軸為檢測項；y軸為檢測時間；z軸為檢測區(qū)段；散點大小代表對應監(jiān)測項的檢測值大小。

1.3 3D 卷積神經網(wǎng)絡構建

本文用于構建TQI 預測模型的3D 卷積神經網(wǎng)絡共8 層，包括1 層輸入層、2 層3D 卷積層、2 層3D池化層、1 層2D 卷積層、1 層2D 池化層、1 層全連接層。具體網(wǎng)絡模型結構如表1 所示。

表1 3D 卷積神經網(wǎng)絡結構

神經網(wǎng)絡內部卷積及池化層模型如圖5 所示。圖中最上方為卷積或池化層數(shù)，下方為輸入到下一層卷積的數(shù)據(jù)集矩陣特征形狀。

圖5 3D 卷積神經網(wǎng)絡內部結構

2 TQI 預測3D 卷積神經網(wǎng)絡優(yōu)化

為更好地進行TQI 預測，除使用L1 正則化防止過擬合之外，本文在模型參數(shù)初始化、學習速率、激活函數(shù)、損失函數(shù)、Dropout 方法等方面，對傳統(tǒng)的3D 卷積神經網(wǎng)絡進行了優(yōu)化。

2.1 訓練模型參數(shù)初始化

若僅將訓練模型全部初始化為0，則可能導致在反向傳播時，參數(shù)無法減小，依然全部為0，從而導致大量節(jié)點失效。為更好地預測TQI，本文采用了Xavier 方法[13]，其初始化公式如下：

其中，nin、nout分別為輸入層和輸出層神經元個數(shù)；初始化參數(shù)矩陣w中每個神經元的分布范圍應該處于U之間，并隨機產生，從而消除梯度彌散或梯度爆炸問題。

2.2 學習速率優(yōu)化

為在獲得較快訓練速率的同時，也可獲得最優(yōu)解，神經網(wǎng)絡采用了公式（2）對學習速率進行設置。

其中， δ 、 α、 β為訓練參數(shù)；epoch 為訓練迭代次數(shù)；MAE 為平均絕對誤差。當誤差增加時，學習速率增大，當誤差減小時，學習速率降低。通過對δ、α 、 β的調整，可獲得對神經網(wǎng)絡的最佳自適應學習速率。

2.3 激活函數(shù)優(yōu)化

每個卷積層的激活函數(shù)都用Mish 函數(shù)代替常用的ReLU 函數(shù)，Mish 計算公式如下：

Mish 函數(shù)曲線如圖6 所示。

相比于ReLU 函數(shù)，Mish 函數(shù)具有兩個特性：（1）可避免因封頂而飽和或過硬的0 邊界；（2）較好的平滑性保證了特征信息更好的傳遞。

圖6 Mish 函數(shù)曲線

2.4 損失函數(shù)優(yōu)化

本文選用Huber 損失函數(shù)，其結合了均方誤差（MSE）和MAE 的最佳特性。對于較小的誤差采用線性損失，對于較大誤差則采用二次損失，其函數(shù)如下：

其中，y為真實結果；為模型預測結果；δ為超參數(shù)，且將在模型訓練過程中自動優(yōu)化。

2.5 采用Dropout 方法

為在防止訓練過擬合的同時加快訓練速度，本文在神經網(wǎng)絡訓練過程中在全連接層采用Dropout 方法，每次隨機選取95%的神經元參與預測以防止過擬合。Dropout 在訓練過程中的公式如（5）～（7）所示：

其中，Bernoulli 函數(shù)為概率隨機函數(shù)，將以p的概率對全連接層所有神經元進行隨機生成0 或1，若當次訓練神經元被隨機為0，則該神經元停止工作；r(l)為第l層激活神經概率矩陣；y(l)為第l層神經元輸入向量；(l)為第l層神經網(wǎng)絡實際輸入向量；w(l+1)為權重矩陣；b(l+1)為偏移矩陣；f(x)為正向傳播函數(shù)。

3 實驗與分析

3.1 實驗環(huán)境與實驗數(shù)據(jù)

神經網(wǎng)絡評估環(huán)境選用Win10 系統(tǒng)，CPU 為i7-8700 3.20 GHz，16 GB 內存，語言環(huán)境為Python 3.6.6，深度學習框架為TensorFlow1.3，訓練可視化組件為TensorBoard，結果可視化組件為ECharts。本文利用上述環(huán)境搭建并測試基于3D 卷積神經網(wǎng)絡的高鐵TQI 預測模型。

選用某高鐵線路的檢測結果數(shù)據(jù)作為評估數(shù)據(jù)集。用前17 個月的11 952 條數(shù)據(jù)構建訓練集，第18 個月的996 條數(shù)據(jù)組成測試集，進行模型評估。

3.2 評估標準

預測未來一個月的TQI 數(shù)據(jù)是一種回歸問題，對于TQI 預測的評估標準主要包含以下兩點。

（1）MAE 或平均百分比絕對誤差（MAPE），公式如下：

（2）MSE 或均方根誤差（RMSE），具體評估公式如下：

公式（8）～（11）中，y和分別為真實TQI 與預測TQI；n為測試數(shù)據(jù)總量。

3.3 實驗對比與分析

3D 卷積神經網(wǎng)絡訓練過程中，訓練節(jié)點Dropout 為0.95，預測使用全部節(jié)點。訓練過程整體MSE 損失變化如圖7 所示。

圖7 3D 卷積神經網(wǎng)絡訓練過程損失

由圖7 可看出，訓練次數(shù)迭代約3 500 次后，模型達到收斂，此時模型的訓練MSE 約為0.006。

利用訓練后的模型進行預測，預測數(shù)據(jù)與真實數(shù)據(jù)對比結果如圖8 所示。

圖8 預測數(shù)據(jù)與真實數(shù)據(jù)對比

圖中，x軸為里程，y軸為TQI 值，藍色折線代表TQI 預測值，黃色折線代表TQI 真實值。通過圖8可看出，藍色折線與黃色折線擬合度較高，表明該模型可較為準確地預測出TQI 的整體變化規(guī)律。

將歷史月份的TQI 數(shù)據(jù)與預測結果使用3D 視圖進行可視化展示，結果如圖9 所示。

圖9 歷史數(shù)據(jù)與預測數(shù)據(jù)趨勢對比

圖中，X軸為時間；Y軸為里程；Z軸為TQI 數(shù)值。從圖中可看出預測數(shù)據(jù)走勢與歷史走勢具有很強的關聯(lián)性，較好地表現(xiàn)了TQI 的發(fā)展趨勢。

本文采用上述數(shù)據(jù)集，對文獻[11]中雙隱層BP神經網(wǎng)絡、經典的LeNet-5 卷積神經網(wǎng)絡和本文的3D 卷積神經網(wǎng)絡從MAE、MAPE、MSE、RMSE 4個指標進行對比，結果如表2、表3 所示。

表2 3 類預測方法各指標列表

由表2、表3 可知，相比雙隱層BP 神經網(wǎng)絡，3D 卷積神經網(wǎng)絡MAE 和MAPE 降低了41.48%，MSE降低了65.42%，RMSE 誤差降低了41.19%。相比經典的LeNet-5 卷積神經網(wǎng)絡，MAE 和MAPE 降低了26.32%，MSE 降低了39.93%，RMSE 降低了22.48%。對比結果表明，3D 卷積神經網(wǎng)絡有更好的擬合能力及穩(wěn)定性。

表3 3 類預測方法指標對比

4 結束語

為了更為準確地預測高鐵線路TQI，本文提出了利用TQI 檢測數(shù)據(jù)時空特征的3D 卷積神經網(wǎng)絡模型，并以某高鐵線路歷史檢測數(shù)據(jù)作為實驗數(shù)據(jù)，進行實驗驗證對比并得出以下結論：（1）利用3D卷積神經網(wǎng)絡可以更好的提取時間、空間等傳統(tǒng)方法難以提取的數(shù)據(jù)特征；（2）與BP 神經網(wǎng)絡、2D卷積神經網(wǎng)絡相比，3D 卷積神經網(wǎng)絡對TQI 預測結果的MAE、MSE 等都有顯著降低。

綜上，3D 卷積神經網(wǎng)絡在大范圍、長時間的TQI 變化趨勢預測上取得較好的效果，但本文未完全考慮換軌、精調等維修手段對TQI 造成的影響，下一步研究應將此類影響作為特征，納入預測模型。