基于LSTM網(wǎng)絡(luò)的鐵路貨運(yùn)量預(yù)測

程肇蘭，張小強(qiáng),2,3，梁 越

(1.西南交通大學(xué) 交通運(yùn)輸與物流學(xué)院，四川 成都 611756；2.綜合交通大數(shù)據(jù)應(yīng)用技術(shù)國家工程實(shí)驗(yàn)室，四川 成都 611756；3.綜合交通運(yùn)輸智能化國家地方聯(lián)合工程實(shí)驗(yàn)室，四川 成都 611756)

鐵路貨物運(yùn)輸長期以來扮演著國民經(jīng)濟(jì)發(fā)展中的重要角色，但隨著公路、航空等運(yùn)輸網(wǎng)絡(luò)的逐步完善以及顧客運(yùn)輸需求的變化，鐵路貨物運(yùn)輸正面臨其他運(yùn)輸方式的激烈競爭。鐵路運(yùn)輸企業(yè)需要制定靈活的運(yùn)輸計劃和營銷策略以改善鐵路貨物運(yùn)輸?shù)木置?，這就需要鐵路運(yùn)輸部門準(zhǔn)確預(yù)測并掌握計劃期內(nèi)的貨運(yùn)量。目前對鐵路貨運(yùn)量預(yù)測的研究主要側(cè)重于年度貨運(yùn)量預(yù)測，但短期貨運(yùn)量(月、日貨運(yùn)量)作為月度貨物運(yùn)輸計劃和旬日歷裝車計劃、車站貨運(yùn)日班計劃、空車運(yùn)用計劃等日常工作計劃編制的依據(jù)，其準(zhǔn)確預(yù)測在鐵路日常工作組織層面也有十分重要的意義。因此，如何提高鐵路短期貨運(yùn)量預(yù)測精度已然成為鐵路運(yùn)輸企業(yè)亟待解決的問題[1]。鐵路貨運(yùn)量因受到宏觀經(jīng)濟(jì)因素、競爭因素、運(yùn)輸貨物本身季節(jié)特性等影響而呈現(xiàn)上下浮動和季節(jié)波動特性。宏觀經(jīng)濟(jì)因素與競爭因素對貨運(yùn)量的影響存在滯后效應(yīng)，這種滯后效應(yīng)表現(xiàn)為前一段時間的經(jīng)濟(jì)情況、競爭情況影響后一段時間運(yùn)輸企業(yè)采取的經(jīng)營策略和貨主對運(yùn)輸方式的選擇，進(jìn)而影響鐵路貨運(yùn)量。多元回歸預(yù)測、支持向量機(jī)、BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)等預(yù)測方法[2-5]因在進(jìn)行鐵路短期貨運(yùn)量預(yù)測時沒有考慮到這種延遲和滯后效應(yīng)，所以預(yù)測精度有限。長短期記憶網(wǎng)絡(luò)(Long Short-term Memory, LSTM)特別適合處理和預(yù)測間隔和延遲相對較長的時間序列，已經(jīng)廣泛應(yīng)用于股票、短時交通流、疾病、點(diǎn)擊率等方面的預(yù)測，但在鐵路短期貨運(yùn)量預(yù)測方面的應(yīng)用較少。本文借助LSTM網(wǎng)絡(luò)模型研究鐵路短期貨運(yùn)量預(yù)測。

1 LSTM網(wǎng)絡(luò)理論

LSTM網(wǎng)絡(luò)是一種特殊類型的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)。

1.1 RNN

擁有輸入層-隱含層-輸出層結(jié)構(gòu)的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)如BP神經(jīng)網(wǎng)絡(luò)在相鄰兩層間一般采用全連接方式，但非相鄰兩層的神經(jīng)元之間沒有連接，同一層內(nèi)的神經(jīng)元間也無連接，見圖1(a)。RNN由BP神經(jīng)網(wǎng)絡(luò)改進(jìn)而來，與BP神經(jīng)網(wǎng)絡(luò)最大的不同之處在于RNN隱含層內(nèi)的神經(jīng)元之間存在連接。如圖1(b)所示，RNN中隱含層的輸入不僅包括輸入層的輸入還包括上一時刻隱藏層的輸出，這意味著RNN網(wǎng)絡(luò)會記憶前面的信息并應(yīng)用于當(dāng)前輸出的計算中。因其在記憶方面的能力，RNN網(wǎng)絡(luò)已經(jīng)成功應(yīng)用在語音識別、機(jī)器翻譯、音樂生成、文本生成等自然語言領(lǐng)域[6]。

圖1 BP神經(jīng)網(wǎng)絡(luò)與RNN對比

標(biāo)準(zhǔn)的RNN模型結(jié)構(gòu)見圖2。x(t)為t時刻的樣本輸入；h(t)為t時刻的隱藏狀態(tài)，由x(t)和t-1時刻的隱藏狀態(tài)共同決定h(t-1)；O(t)為t時刻模型輸出，只由h(t)決定；L(t)為t時刻的損失函數(shù)；y(t)則為訓(xùn)練樣本時的真實(shí)輸出；U、W、V為網(wǎng)絡(luò)共享參數(shù)。

圖2 標(biāo)準(zhǔn)RNN結(jié)構(gòu)

1.2 LSTM

RNN的兩種傳統(tǒng)算法——基于時間的反向傳播算法(Back-propagation Through Time, BPTT)和實(shí)時循環(huán)學(xué)習(xí)算法(Real-time Recurrent Learning，RTRL)，可能會因?yàn)槌霈F(xiàn)梯度爆炸或者梯度消失的情況而失效[7]，因此在實(shí)際中，標(biāo)準(zhǔn)RNN的應(yīng)用范圍有限，取得更多成果的大多是RNN的改進(jìn)網(wǎng)絡(luò)。LSTM網(wǎng)絡(luò)就是為了避免上述問題而專門設(shè)計的一種特殊類型的RNN網(wǎng)絡(luò)，在1997年由Sepp Hochreiter和Jürgen Schmidhuber第一次提出。LSTM的巧妙之處在于通過增加輸入門、遺忘門、輸出門以獲得變化的自循環(huán)權(quán)重，在模型參數(shù)固定的情況下，不同時刻的積分尺度得以動態(tài)改變，從而能夠規(guī)避梯度消失或者梯度爆炸的問題[8]。

f(t)=σ(Wf·[h(t-1),x(t)]+bf)

(1)

i(t)=σ(Wi·[h(t-1),x(t)]+bi)

(2)

(3)

(4)

o(t)=σ(Wo·[h(t-1),x(t)]+bo)

(5)

h(t)=o(t)·tanhC(t)

(6)

式中：f(t)為t時刻遺忘門的輸出；i(t)為t時刻輸入門的輸出；o(t)為t時刻輸出門的輸出；Wf、Wi、Wc、Wo和bf、bi、bc、bo分別為遺忘門、輸入門、細(xì)胞狀態(tài)、輸出門對應(yīng)的系數(shù)；σ為sigmoid激活函數(shù)；tanh為雙曲正切激活函數(shù)。

圖3 LSTM的隱藏層結(jié)構(gòu)

2 LSTM貨運(yùn)量預(yù)測模型構(gòu)建

鐵路貨運(yùn)量受許多因素影響。在現(xiàn)實(shí)中，影響因素值的統(tǒng)計最短周期往往較長，一般以月或更長的時間段進(jìn)行統(tǒng)計。日貨運(yùn)量的影響因素值往往因?yàn)橹芷谔潭鵁o法獲取。因此，對于不同時期(月、日)的貨運(yùn)量預(yù)測，應(yīng)當(dāng)依據(jù)不同時期的特點(diǎn)，分別建立LSTM貨運(yùn)量預(yù)測模型。針對月貨運(yùn)量預(yù)測，建立基于月貨運(yùn)量數(shù)據(jù)的LSTM多變量預(yù)測模型；針對日貨運(yùn)量預(yù)測，建立基于日貨運(yùn)量數(shù)據(jù)的LSTM時間序列預(yù)測模型。

2.1 模型輸入

對于基于月貨運(yùn)量數(shù)據(jù)的LSTM多變量預(yù)測模型，由于宏觀經(jīng)濟(jì)因素、競爭因素對貨運(yùn)量的影響存在滯后效應(yīng)，因此t時刻的貨運(yùn)量yt不僅受到t時刻影響因素Xt的影響，還同時受到t-1,t-2,…,t-k(k=1,2,3,…)時刻影響因素Xt-1,Xt-2,…,Xt-k的影響。且影響因素Xt-k的影響力隨k遞增而減弱。假設(shè)t月的貨運(yùn)量yt將同時受到t-1,t-2,…,t-k月影響因素的影響，忽略t-k月之前的影響因素的影響力。又考慮到t月不能觀察到在t+1月公布的t影響因素值。因此，基于月貨運(yùn)量數(shù)據(jù)的LSTM預(yù)測模型t時刻的輸入是t-1,t-2,…,t-k月影響因素值Xt-1,Xt-2,…,Xt-k及對應(yīng)的月貨運(yùn)量yt-1,yt-2,…,yt-k。

對于基于日貨運(yùn)量數(shù)據(jù)的LSTM時間序列模型，考慮難以準(zhǔn)確獲取影響因素每日統(tǒng)計值，模型t時刻的輸入為t-1,t-2,…,t-k時刻的日貨運(yùn)量yt-1,yt-2,…,yt-k。

2.2 模型結(jié)構(gòu)

兩個模型的基本結(jié)構(gòu)均為輸入層、隱含層和輸出層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。隱含層均采用多層LSTM單元?？梢酝ㄟ^網(wǎng)格搜索[10]方法確定合適的隱含層數(shù)、合適的神經(jīng)元個數(shù)超參數(shù)取值。本文采用的損失函數(shù)為均方差(Mean Squared Error, MSE)[11]，計算方法為

(7)

2.3 模型評估

為評估模型預(yù)測效果，采用均方根誤差RMSE、平均絕對值誤差MAE和R2平均絕對百分比誤差MAPE[12]。

各誤差計算方法如下所示：

(8)

(9)

(10)

(11)

3 實(shí)證案例

3.1 試驗(yàn)數(shù)據(jù)

本文的研究數(shù)據(jù)來自于中國鐵路廣州局集團(tuán)有限公司(以下簡稱廣鐵集團(tuán))2009—2017年的原始貨票數(shù)據(jù)記錄。在對貨票數(shù)據(jù)進(jìn)行去除廢票、刪除缺失值、去除不合理數(shù)據(jù)等數(shù)據(jù)清洗后，統(tǒng)計得到廣鐵集團(tuán)2009—2017年每日和每月的貨運(yùn)發(fā)送量，見圖4。總體上，兩者的隨機(jī)變動與周期性變動趨勢均比較明顯且保持大體一致：前者主要在5 000車上下波動，而后者在160 000車上下波動； 前者與后者均在每年2月份到達(dá)波谷，隨后上升并持續(xù)在小范圍內(nèi)波動。

圖4 廣鐵集團(tuán)2009—2017年貨運(yùn)發(fā)送量

3.2 鐵路貨運(yùn)量影響因素指標(biāo)選取及相關(guān)性分析

一個地區(qū)的鐵路貨運(yùn)量通常受到各個方面因素的影響，主要包括地區(qū)的宏觀經(jīng)濟(jì)運(yùn)行情況、市場供需結(jié)構(gòu)、外部競爭環(huán)境等外部因素和鐵路營業(yè)里程、運(yùn)輸能力、服務(wù)水平等內(nèi)部因素。在外部因素中，表示宏觀經(jīng)濟(jì)運(yùn)行狀況的地區(qū)生產(chǎn)總值對鐵路貨運(yùn)量大小起決定性作用。又考慮到鐵路貨物運(yùn)輸?shù)膶ο笾饕婕皣窠?jīng)濟(jì)重要組成部分中的第一產(chǎn)業(yè)和第二產(chǎn)業(yè)產(chǎn)品，第一產(chǎn)業(yè)總產(chǎn)值和第二產(chǎn)業(yè)增加值也能夠直接體現(xiàn)第一產(chǎn)業(yè)和第二產(chǎn)業(yè)的經(jīng)濟(jì)運(yùn)行情況。由于鐵路貨物運(yùn)輸?shù)奶攸c(diǎn)和性質(zhì)，其主要受到來自公路貨物運(yùn)輸?shù)母偁帲虼诉x取公路貨運(yùn)量表示對鐵路運(yùn)輸競爭力的大小。在內(nèi)部因素中，鐵路營業(yè)里程的增加特別是高速鐵路的大量投入運(yùn)營，能釋放平行的既有線運(yùn)輸能力并提高運(yùn)行圖中貨運(yùn)列車鋪畫密度，進(jìn)而提升貨物運(yùn)輸能力[13]。表1為2009—2017年原廣州鐵路局范圍(廣東省、湖南省、海南省)內(nèi)的部分月份影響因素取值[14]。

分析上述影響因素之間相關(guān)性和各影響因素對廣鐵集團(tuán)月貨運(yùn)量的影響大小，各影響因素之間、各影響因素與月總貨運(yùn)量的相關(guān)性系數(shù)圖，見圖5。

圖5 廣鐵集團(tuán)2009—2017貨運(yùn)量(單位：車)

圖5中，對角線部分代表各影響因素和月貨運(yùn)量自身分布，下三角部分畫出了對應(yīng)的散點(diǎn)圖，上三角部分則代表對應(yīng)的相關(guān)系數(shù)，星星越多表示兩者的相關(guān)性越強(qiáng)。由圖5可知，上述影響因素(不包括GDP)與鐵路月貨運(yùn)量均存在較強(qiáng)的相關(guān)性，且第一產(chǎn)業(yè)總產(chǎn)值和公路貨運(yùn)量與鐵路月貨運(yùn)量的相關(guān)性尤為突出。但GDP與鐵路月貨運(yùn)量的相關(guān)性不顯著，這可能是因?yàn)橐约径绕骄鵊DP代替每月實(shí)際GDP，不能體現(xiàn)GDP在季度內(nèi)的變化趨勢。在影響因素之間，GDP、第二產(chǎn)業(yè)增加值、第一產(chǎn)業(yè)總產(chǎn)值、鐵路運(yùn)營里程之間均存在很強(qiáng)的相關(guān)性。結(jié)合指標(biāo)數(shù)據(jù)獲取情況和以上分析，確定以下因素為鐵路貨運(yùn)量影響因素的指標(biāo)：第二產(chǎn)業(yè)增加值、第一產(chǎn)業(yè)總產(chǎn)值、鐵路運(yùn)營里程、公路貨運(yùn)量。

3.3 參數(shù)設(shè)置及試驗(yàn)結(jié)果

(1)基于月貨運(yùn)量數(shù)據(jù)的LSTM多變量預(yù)測模型及參數(shù)選擇

網(wǎng)絡(luò)構(gòu)建采用Keras框架實(shí)現(xiàn)LSTM[16]，將數(shù)據(jù)集分為訓(xùn)練集(前8年數(shù)據(jù))和測試集(后1年數(shù)據(jù))。通過反復(fù)試驗(yàn)發(fā)現(xiàn)，k=1且采用單層隱含層的LSTM網(wǎng)絡(luò)具有最好的預(yù)測精度，包含的節(jié)點(diǎn)數(shù)為6。模型采用Adam(Adaptive Moment Estimation)優(yōu)化算法[17]，激活函數(shù)采用tanh函數(shù)。

(2)基于日貨運(yùn)量數(shù)據(jù)的LSTM時間序列預(yù)測模型及參數(shù)選擇

模型將數(shù)據(jù)集的前70%作為訓(xùn)練集，后30%作為測試集。通過反復(fù)試驗(yàn)，確定時間步長k=1時，采用單層隱含層的LSTM網(wǎng)絡(luò)模型的預(yù)測精度最高，每層包含的節(jié)點(diǎn)數(shù)為5。優(yōu)化算法亦采用Adam，激活函數(shù)采用tanh函數(shù)。

(3)試驗(yàn)結(jié)果

表2為預(yù)測結(jié)果的評價指標(biāo)。

表1 部分月份影響因素取值

由表2可知，基于月貨運(yùn)量數(shù)據(jù)的LSTM多變量預(yù)測模型的預(yù)測結(jié)果顯示，測試集上16萬車左右的貨運(yùn)量的預(yù)測平均絕對值誤差在8 574車，平均絕對值百分比誤差為6.0%?；谌肇涍\(yùn)量數(shù)據(jù)的LSTM時間序列預(yù)測模型的預(yù)測結(jié)果顯示，測試集上5 200車左右的貨運(yùn)量的預(yù)測平均絕對值誤差在348車，平均絕對值百分比誤差在7.9%左右。兩者的預(yù)測精度均較高。

3.4 對比試驗(yàn)

為比較LSTM預(yù)測方法與其他預(yù)測方法的預(yù)測精度，本文采用另外兩種比較常用預(yù)測方法-時間序列預(yù)測模型[18]和BP神經(jīng)網(wǎng)絡(luò)預(yù)測[19]。類似地，對月貨運(yùn)量時間序列數(shù)據(jù)建立ARIMA(0,1,1)(0,1,2)[12]模型，模型為

(1-B)(1-B)Yt=(1+0.507 8B)

(1+0.915 7B12-0.246 6B24)εt

(11)

式中：Yt為時間序列；B為延遲算子；εt為白噪聲隨機(jī)誤差序列。

對日貨運(yùn)量數(shù)據(jù)的時間序列數(shù)據(jù)建立ARIMA(1,1,1)，模型為

Yt=0.262 6Yt-1+εt-0.705εt-1

(12)

建立基于月貨運(yùn)量數(shù)據(jù)的BP神經(jīng)網(wǎng)絡(luò)模型，采用3層網(wǎng)絡(luò)結(jié)構(gòu)，輸入層5個神經(jīng)元，隱含層包含15個神經(jīng)元。前8年數(shù)據(jù)作訓(xùn)練集，后1年數(shù)據(jù)作測試集。優(yōu)化算法采用Adam、激活函數(shù)采用tanh和損失函數(shù)采用MSE。建立基于日貨運(yùn)量數(shù)據(jù)的BP神經(jīng)網(wǎng)絡(luò)模型，同樣采用3層網(wǎng)絡(luò)結(jié)構(gòu)，輸入層1個神經(jīng)元，隱含層6個神經(jīng)元。前70%作訓(xùn)練集，后30%作測試集，其余參數(shù)與基于月貨運(yùn)量數(shù)據(jù)的BP神經(jīng)網(wǎng)絡(luò)模型相同。

表3為對比模型在測試集上的表現(xiàn)。

表2 LSTM預(yù)測結(jié)果評價指標(biāo)

通過比較LSTM模型與對比模型分別在訓(xùn)練集和測試集上的表現(xiàn)發(fā)現(xiàn)：LSTM模型總體上優(yōu)于時間序列模型和BP神經(jīng)網(wǎng)絡(luò)模型。其中，對于月貨運(yùn)量預(yù)測，在訓(xùn)練集上，ARIMA(0,1,1)(0,1,2)[12]的各項(xiàng)誤差指標(biāo)均優(yōu)于LSTM模型和BP神經(jīng)網(wǎng)絡(luò)模型；但在測試集上的表現(xiàn)卻差于后兩者。這可能是由于宏觀環(huán)境變化，2017年鐵路運(yùn)量有較大幅度回暖，但時間序列模型僅僅依據(jù)歷史的趨勢并未考慮這些客觀因素。對于日貨運(yùn)量預(yù)測，BP神經(jīng)網(wǎng)絡(luò)和LSTM模型的預(yù)測誤差雖然比較接近，但LSTM模型在測試集上的預(yù)測精度更高，模型的泛化能力更優(yōu)。ARIMA模型在訓(xùn)練集上的誤差很小，但測試集上的誤差較大，這可能是因?yàn)闇y試集覆蓋的時間段較長，隨著時間的推移時間序列模型預(yù)測的誤差變大。但LSTM在相同情況下表現(xiàn)出更高的預(yù)測精度，進(jìn)一步體現(xiàn)了LSTM模型良好的預(yù)測性能。

表3 對比模型預(yù)測結(jié)果評價指標(biāo)

圖6 預(yù)測貨運(yùn)量效果對比

圖6為分別各個預(yù)測方法的月貨運(yùn)量預(yù)測值和日貨運(yùn)量預(yù)測值與實(shí)際值的比較。其中，圖6(a)直觀表現(xiàn)出LSTM預(yù)測與BP預(yù)測效果接近，在2017年后的預(yù)測結(jié)果均優(yōu)于時間序列預(yù)測，與上文分析結(jié)果相一致。圖6(b)～圖6(d)以實(shí)際運(yùn)量為橫坐標(biāo)，預(yù)測運(yùn)量為縱坐標(biāo)。可以觀察斜線的斜率情況(斜率越接近1，預(yù)測效果越好)直觀判斷各模型的預(yù)測效果：LSTM預(yù)測明顯優(yōu)于BP和時間序列預(yù)測。

4 結(jié)論

結(jié)合實(shí)際情況，本文主要建立了基于月貨運(yùn)量數(shù)據(jù)的LSTM多變量預(yù)測模型和基于日貨運(yùn)量數(shù)據(jù)的LSTM時間序列預(yù)測模型。前者考慮了影響因素對貨運(yùn)量影響的滯后效應(yīng)，擁有較長時間的記憶能力，并能夠有效學(xué)習(xí)影響因素與貨運(yùn)量的關(guān)系；后者則集中考慮貨運(yùn)量時間序列的序列依賴性，構(gòu)建長時間序列的LSTM網(wǎng)絡(luò)。為體現(xiàn)LSTM網(wǎng)絡(luò)性能，分別建立了基于月貨運(yùn)量和基于日貨運(yùn)量的ARIMA模型和BP神經(jīng)網(wǎng)絡(luò)模型，通過對比以上模型在訓(xùn)練集和測試集上的預(yù)測結(jié)果指標(biāo)，發(fā)現(xiàn)構(gòu)建的基于月貨運(yùn)量數(shù)據(jù)LSTM多變量預(yù)測模型和基于日貨運(yùn)量數(shù)據(jù)的LSTM時間序列預(yù)測模型均擁有優(yōu)秀的預(yù)測精度，體現(xiàn)了LSTM網(wǎng)絡(luò)對長時間序列上的學(xué)習(xí)能力及泛化能力。LSTM網(wǎng)絡(luò)在預(yù)測中的良好表現(xiàn)，為鐵路短期貨運(yùn)量的預(yù)測提供一種預(yù)測思路，對鐵路日常運(yùn)輸組織具有十分重要的意義。在接下來的研究中，可以改進(jìn)LSTM模型，以進(jìn)一步提高模型的預(yù)測精度。