基于ARIMA-LSTM的貨運量組合預測方法研究

楊艷，黃晴，龍思，潘自翔，歐陽瑞祥

（長沙理工大學 交通運輸工程學院，湖南 長沙 410114）

近年來，中國貨運總量雖穩(wěn)步上漲，但貨運量增速總體呈緩慢下降趨勢，這是由于貨運量預測不準確、不合理而導致資源浪費。因此，需挖掘交通路網(wǎng)的運輸潛能，加強智能化、精細化管理[1]。貨運量預測是交通規(guī)劃、物流規(guī)劃等工作的基礎，為相關(guān)運輸工作的開展提供了數(shù)據(jù)支持[2]。貨運量的預測方法有傳統(tǒng)統(tǒng)計預測、神經(jīng)網(wǎng)絡預測和組合預測模型3種方法。

GODFREY 等人[3]提出了指數(shù)平滑模型，解決了貨運量日常需求預測的復雜性問題，但精度比ARIMA模型的差。NARENDRA等人[4]運 用ARIMA 模型，提出了基于趨勢的ARIMA 模型，并進行了驗證，研究結(jié)果表明：該模型優(yōu)于一般的ARIMA 模型和基于小波變換的ARIMA 模型。張麗莉等人[5]考慮為較復雜的非線性公路貨運量預測問題，提出了采用BP 神經(jīng)網(wǎng)絡根據(jù)其產(chǎn)生的誤差曲線對模型進行迭代優(yōu)化的方法，該模型具有較好的預測精度。周程等人[6]針對傳統(tǒng)預測方法無法捕捉貨運量的非線性關(guān)系問題，提出了先利用線性方法預測線性部分，再用BP 神經(jīng)網(wǎng)絡預測非線性部分的方法，其預測精度得到大幅度提高。

單一的預測模型由于自身的特點和局限性，處理復雜問題效果差，因此，許多學者對組合模型進行了研究。GUO 等人[7]提出先運用ARIMA 模型提取擬合風速數(shù)據(jù)的線性成分，再運用最小二乘法和支持向量機提取擬合非線性成分的組合預測方法，該組合模型提高了風速預測精度。馬濤[8]指出單一模型在預測過程中存在缺陷，構(gòu)建了4種不同的組合預測模型，對預測結(jié)果分別進行檢驗。石慶研等人[9]將LSTM 和ARIMA 預測的高度值運用于Critic 客觀賦權(quán)方法，處理非線性、非平穩(wěn)時間序列，提高了航跡預測的精度。王越敬[10]通過試驗，分別驗證了ARIMA、LSTM 模型及組合模型對標普500 指數(shù)的預測效果，研究結(jié)果表明：LSTM 模型優(yōu)于ARIMA 模型預測性能，而ARIMA-LSTM 組合模型的預測性能優(yōu)于單一模型的。盧生巧等人[11]提出了卷積神經(jīng)網(wǎng)絡和門控循環(huán)單元神經(jīng)網(wǎng)絡相結(jié)合的深度神經(jīng)網(wǎng)絡預測模型，研究結(jié)果表明：該模型具有更好的預測性能，可為交通管理與控制提供有效依據(jù)。這些組合模型能實現(xiàn)對單一模型的優(yōu)勢整合，對于線性與非線性問題，組合模型既能較好地擬合線性關(guān)系，又能恰當?shù)靥幚矸蔷€性關(guān)系。本研究以某貨運公司18 個月貨運量的數(shù)據(jù)為例，基于貨運數(shù)據(jù)時空特征及線性與非線性復合特點，構(gòu)建ARIMA 線性預測模型、LSTM 非線性預測模型和多種組合模型，對比各模型的預測精度，選擇最佳預測模型。

1 相關(guān)模型理論

1.1 ARIMA預測模型

ARIMA 模型線性預測功能強，其認為當前時間的序列值與過去的時間序列值和外界干擾量呈線性相關(guān)[12]。ARIMA(p,d,q)模型公式為：

式中：St為時間序列S的當期值；p，d和q是模型階數(shù)，均為1；φi(i=1,2,…,p)和θj(j=1,2,…,q)為模型參數(shù)；隨機干擾μt是均值為0、方差為σ2的白噪聲序列；St是前p階St-1,St-2,…,St-p和前q階μt-1,μt-2,…,μt-q的多元線性函數(shù)。

該模型預測分為平穩(wěn)性檢測、模型定階、白噪聲檢測及預測評估4 個部分。平穩(wěn)性是ARIMA模型構(gòu)建的前提，數(shù)據(jù)平穩(wěn)后才可用于預測未來的發(fā)展趨勢[13]。運用Python 語言中Statsmodels 庫，構(gòu)建貨運量時間序列ARIMA 模型。ARIMA 模型的建模具體流程如圖1所示。

圖1 ARIMA建模流程Fig.1 ARIMA modeling process

1.2 LSTM預測模型

1997 年，HOCHREITER 和SCHMIDHUBER提出長短記憶網(wǎng)絡（long short term memory network，簡稱為LSTM）預測模型[14]。2005 年，ALEX 對其進行改進并投入應用[15]，LSTM 在RNN循環(huán)神經(jīng)網(wǎng)絡的基礎上發(fā)展而來，可解決RNN 無法處理長距離序列的問題。

RNN 神經(jīng)網(wǎng)絡的基礎構(gòu)架分為輸入層、輸出層和隱藏層，通過對隱藏層間存在的神經(jīng)元進行聯(lián)系，保留數(shù)據(jù)之間的序列信息[16-17]，如圖2所示。

圖2 RNN神經(jīng)網(wǎng)絡基礎構(gòu)架Fig.2 RNN neural network infrastructure diagram

LSTM 提高了較長序列的學習能力，改良了RNN 神經(jīng)網(wǎng)絡的內(nèi)部結(jié)構(gòu)，其優(yōu)勢是具有不同的隱藏層。在原始RNN 神經(jīng)網(wǎng)絡中，隱藏層含有唯一的計算模塊，而LSTM神經(jīng)網(wǎng)絡在原隱藏層中新增一個可反映隱藏層變化程度細胞狀態(tài)模塊，將計算模塊與細胞狀態(tài)模塊合成在一起，構(gòu)成LSTM記憶模塊?！伴T”是神經(jīng)網(wǎng)絡用于選擇通過、去除或新增信息的控制單元。在LSTM神經(jīng)網(wǎng)絡中，門控制單元主要包含遺忘門、輸入門和輸出門，用來避免產(chǎn)生梯度消失或梯度爆炸的問題?！伴T”結(jié)構(gòu)依賴于Sigmoid 激活函數(shù)，輸出區(qū)間為[0,1]，0表示丟棄信息，1 表示全部保留信息，其他情況表示保留部分信息。LSTM 隱藏層的工作流程如圖3所示[17]。

圖3 LSTM運算流程Fig.3 LSTM operation flow chart

輸入門it、忘記門ft、輸出門ot、記憶細胞更新狀態(tài)Ct和隱藏層ht計算公式為：

式中：σ為Sigmoid 激活函數(shù)；bi、bf、bo、bc分別表示不同門對應的偏置；Wi、Wf、Wo、Wc分別表示不同門對應的權(quán)值；xt表示當前節(jié)點的輸入；ht表示當前節(jié)點的輸出；表示計算過程中的候選值向量；Ct-1為上一節(jié)點記憶更新狀態(tài)。

1.3 組合模型

不同組合模型有不同優(yōu)點，可提升單一預測性能，現(xiàn)有的組合模型可分為兩類：①基于誤差修正的串聯(lián)式組合；②基于權(quán)重分配的并聯(lián)式組合[18]。串聯(lián)、并聯(lián)的組合模型流程如圖4～5所示。

圖4 串聯(lián)組合模型流程Fig.4 Flow chart of series combination model

圖5 并聯(lián)組合模型流程Fig.5 Flow chart of parallel combination model

2 實例分析

2.1 實驗數(shù)據(jù)

以某貨運公司貨運物流運營平臺（簡稱公司）2018 年1 月1 日-2019 年3 月11 日訓練集數(shù)據(jù)為例，如圖6所示。利用Python語言處理原始數(shù)據(jù)中的異常信息，處理后的數(shù)據(jù)為原始數(shù)據(jù)的93%，為后續(xù)準確預測提供優(yōu)質(zhì)數(shù)據(jù)支撐。

圖6 貨運量數(shù)據(jù)波動走勢Fig.6 Fluctuation trend of freight volume data

2.2 組合模型應用

2.2.1 模型粒度

為評估模型預測的準確性，本研究采用均方根誤差（root mean square error，簡稱為RMSE）、平均絕對誤差（mean square error，簡稱為MSE）和平均絕對百分比誤差（mean absolute percent error，簡稱為MAPE）作為誤差評價指標。

式中：Yi為i時刻的真實值；為i時刻的預測值；n為樣本數(shù)。

2.2.2 串聯(lián)組合模型應用

采用串聯(lián)組合構(gòu)建預測方法，假設預測對象的時間序列yt由線性自相關(guān)主體Lt與非線性殘差Nt兩部分組成。因此，考慮線性與非線性擬合能力，將ARIMA 模型預測結(jié)果的非線性殘差數(shù)據(jù)作為LSTM預測模型的輸入變量。

試驗步驟為：

1）建立ARIMA 模型。根據(jù)時間序列的理論，建立ARIMA 模型。采 用2018 年1 月1 日—2019 年3 月12 日的貨運量數(shù)據(jù)和Python 語言建立ARIMA(1,1,1)模型，殘差數(shù)據(jù)見表1。建立的ARIMA(1,1,1)模型的殘差序列短期存在一定自相關(guān)性，不是白噪聲序列。表明：ARIMA 模型對時間序列數(shù)據(jù)的提取不夠充分，需進行第二步對數(shù)據(jù)的非線性相關(guān)部分進行提取。

表1 ARIMA模型殘差序列（節(jié)選）Table 1 Residual sequence of the ARIMA model(excerpt) t

2）構(gòu)建LSTM 神經(jīng)網(wǎng)絡模型，識別ARIMA模型的殘差序列。提取殘差序列數(shù)據(jù)，生成訓練集，輸入矩陣。訓練模型完成后，將模型的輸出作為貨運量時間序列的非線性部分預測。

3）將其兩部分預測值相加，得到串聯(lián)組合模型的貨運量預測值，結(jié)果見表2。

表2 串聯(lián)組合模型結(jié)果（節(jié)選）Table 2 Results of series combination model(excerpt)t

4）串聯(lián)組合的結(jié)果用3 種誤差評價指標進行預測精度評價分析，得到RMSE 值為114.340 0、MSE值為88.560 0、MAPE值為0.178 3，均優(yōu)于單一模型的誤差指標，從理論上驗證了組合模型預測精度更優(yōu)。

2.2.3 并聯(lián)組合模型應用

1）等權(quán)平均法：

2）誤差倒數(shù)法：

3）Critic客觀權(quán)重賦值法：

其中，rpj為指標P與指標j之間的相關(guān)系數(shù)，每個指標的信息含量由對比強度和沖突程度共同決定，則指標j的信息量Cj為：

其中，σj為第j個指標的標準差，即指標的對比度，rpj是評價指標p和j之間的相關(guān)系數(shù)。Cj越大，所包含的信息量越大，第j個指標的客觀權(quán)重Wj的計算式為：

并聯(lián)組合模型構(gòu)建的核心在于確定模型權(quán)重，本試驗選擇結(jié)合這3 種常用模型的權(quán)重確定方法，其公式為：

式中：yt為并聯(lián)組合模型的預測結(jié)果；wi為ARIMA 模型權(quán)重；Lt為ARIMA 預測的結(jié)果；wj為LSTM模型的權(quán)重；Mt為LSTM模型的預測結(jié)果。

并聯(lián)組合模型與串聯(lián)相比，更簡單快捷，只需將ARIMA 和LSTM 預測結(jié)果乘以并聯(lián)組合中對應的權(quán)重系數(shù)，即可得到試驗結(jié)果，不同方式并聯(lián)組合模型的權(quán)重見表3。各模型預測精度對比見表4。

表3 不同方式并聯(lián)組合模型權(quán)重確定Table 3 Weight determination of different parallel combination models

由表4可知，無論是串聯(lián)，還是并聯(lián)，組合模型的預測精度均高于單一模型的。在3種并聯(lián)組合中，采用誤差倒數(shù)法確定權(quán)重系數(shù)的組合模型誤差最小。表明：該模型的精確度在4種組合方式中最佳，可考慮將此組合方式確定為最佳預測模型。

表4 三種并聯(lián)組合及串聯(lián)組合誤差對比Table 4 Error comparison of three parallel combinations and series combinations

3 模型結(jié)果對比分析

在ARIMA 線性模型、LSTM 非線性模型和組合模型試驗中，選擇預測效果最好的ARIMALSTM 組合模型將貨運量預測值與真實值進行擬合，如圖7 所示。從圖7 中可以看出，組合模型的預測值與真實值的擬合程度最好，預測效果最佳，LSTM 非線性模型的擬合效果優(yōu)于ARIMA 線性模型的。

圖7 多種預測結(jié)果與真實值對比Fig.7 Comparison of various predicted results and real values

為直觀對比單一模型與組合模型的預測精度，比較各模型的真實值與預測值的相對誤差大小，用貨運量的實際值減去各方法得到的預測值，如圖8 所示。從圖8 可以看出，單一模型誤差相對組合模型誤差曲線的變化幅度大且不穩(wěn)定。表明：與單一模型的預測結(jié)果相比，組合模型的預測結(jié)果更精準、更穩(wěn)定，即組合模型的預測效果更佳。為準確地評價這3 種模型實現(xiàn)的貨運量預測效果，各模型的誤差效果對比情況見表5。

圖8 多種預測方法的誤差曲線Fig.8 Error curves of various prediction methods

表5 單一模型與最優(yōu)組合模型（誤差倒數(shù)法）效果對比Table 5 Comparison of the effects of the single model and the combined model

由表5 可知，在這3 種誤差指標中，LSTM 的各種誤差均比ARIMA 模型的值降低25%以上。表明：①LSTM 神經(jīng)網(wǎng)絡模型優(yōu)于ARIMA 模型；②由表4可知，無論何種方式的組合均比任意單一模型的預測效果佳。其中，表5中以誤差倒數(shù)確定權(quán)重系數(shù)的組合模型相較于ARIMA 的RMSE、MSE和MAPE，分別降低了40.66%、29.67%、51.45%；相較于LSTM 誤差分別降低了13.67%、10.75%、36.32%。表明：任何一種組合方式在理論和實踐中，都較單一模型提高了精度。

4 結(jié)論

以某貨運公司提供的2018年1月-2019年6月貨運數(shù)據(jù)為研究背景，基于貨運數(shù)據(jù)時空特征和線性與非線性相復合特點，構(gòu)建串聯(lián)式和并聯(lián)式組合預測模型。串聯(lián)組合為ARIMA 線性模型加上LSTM 非線性模型，對其殘值進行預測。并聯(lián)組合分別以等權(quán)平均、誤差倒數(shù)和Critic 客觀賦權(quán)的3種方式確定權(quán)重系數(shù)，對線性模型與非線性模型組合進行預測，同樣使用3種誤差評價指標進行分析與驗證，得到結(jié)論為：

1）任意一種ARIMA-LSTM 組合的貨運量預測模型精度均優(yōu)于單一模型的。

2）不同權(quán)重組合形式下模型的預測精度不同，試驗表明：用誤差倒數(shù)確定權(quán)重系數(shù)的并聯(lián)組合效果優(yōu)于其他3種組合模型的。

3）從時間與空間2個角度對貨運量進行分析。貨運量的時間特征主要從時間和空間2個角度進行分析，證實了貨運量具有時空分布規(guī)律，時空特征分析出的貨運數(shù)據(jù)具有季節(jié)性與趨勢性特征。采用ARIMA 和LSTM 循環(huán)神經(jīng)網(wǎng)絡兩種預測模型，提出了基于ARIMA-LSTM 的4 種組合預測模型。綜合考慮貨運量數(shù)據(jù)線性與非線性特征，實現(xiàn)對其預測，克服了單一預測模型的局限性。結(jié)果表明：任意一種ARIMA-LSTM 組合的貨運量預測精度均優(yōu)于單一模型的，且誤差倒數(shù)確定權(quán)重系數(shù)的并聯(lián)組合模型最優(yōu)。本研究得到的預測組合模型可為未來貨運量預測提供理論依據(jù)及實踐指導意義。