基于時空LSTM的OD客運(yùn)需求預(yù)測

林友芳，尹 康，黨 毅，郭晟楠，萬懷宇

(1.北京交通大學(xué) a.計算機(jī)與信息技術(shù)學(xué)院，b.交通數(shù)據(jù)分析與挖掘北京市重點(diǎn)實驗室，北京 100044； 2.民航旅客服務(wù)智能化應(yīng)用技術(shù)重點(diǎn)實驗室，北京 101318；3.北京久其軟件股份有限公司，北京 100082)

隨著人們出行需求的增加，交通領(lǐng)域的客運(yùn)需求預(yù)測越來越受到政府決策者、相關(guān)運(yùn)營公司的關(guān)注.交通領(lǐng)域的客運(yùn)需求有很多種，比如：1)城市內(nèi)區(qū)域間的出租車需求量，其準(zhǔn)確預(yù)測有利于降低空車率從而增加出租車司機(jī)收入、減少能源浪費(fèi)等；2)民航領(lǐng)域的航線客運(yùn)需求量，其精準(zhǔn)預(yù)測有利于航空公司進(jìn)行飛機(jī)排班調(diào)整、價格調(diào)整等從而降低航空公司運(yùn)營成本，提高服務(wù)質(zhì)量.因此如果能夠準(zhǔn)確地預(yù)測客運(yùn)需求，將對提前感知市場動態(tài)、預(yù)分配交通資源、改善用戶出行體驗等都具有十分重大的意義.

由于客運(yùn)需求具有動態(tài)時空特性，準(zhǔn)確地預(yù)測客運(yùn)需求具有很大的挑戰(zhàn)，主要原因如下：1)出發(fā)地-目的地(OD)的客運(yùn)需求時間序列本身在時間維度上存在很強(qiáng)的相關(guān)性；2)不同OD的客運(yùn)需求時間序列之間存在空間相關(guān)性.因此如何設(shè)計模型能同時捕獲數(shù)據(jù)在時間和空間維度上的相關(guān)性具有很大的難度.

目前，交通領(lǐng)域的時間序列數(shù)據(jù)預(yù)測模型主要分為兩大類.1)經(jīng)典的時間序列分析方法，如歷史平均模型(HA)、向量自回歸模型(VAR)[1]和自回歸滑動平均模型(ARIMA)[2]及其變體等已被廣泛應(yīng)用于交通預(yù)測問題.最近的研究在考慮引入其他技術(shù)模擬空間交互，如文獻(xiàn)[3]使用路網(wǎng)上的矩陣分解來獲取道路連接的區(qū)域之間的相關(guān)性以預(yù)測交通量.一些研究也提出通過正則化來平滑附近位置和時間點(diǎn)的預(yù)測差異以獲得臨近的時間依賴和空間依賴[4].然而這類模型大多重點(diǎn)關(guān)注于數(shù)據(jù)在時間維度上的變化特點(diǎn)，而對于空間維度的建模，大多是建立在假設(shè)附近地點(diǎn)的交通狀況相似的前提下，因此無法對空間和時間的復(fù)雜非線性關(guān)系進(jìn)行建模.2)利用機(jī)器學(xué)習(xí)方法針對交通數(shù)據(jù)復(fù)雜多變的特點(diǎn)進(jìn)行建模.傳統(tǒng)的機(jī)器學(xué)習(xí)方法如線性回歸(Linear regression)、支持向量機(jī)回歸(SVR)[5]等對于高維非線性的交通數(shù)據(jù)處理能力不足.

由于GPS的廣泛應(yīng)用，使得車輛軌跡等能反映客運(yùn)需求的數(shù)據(jù)收集變得十分便利；同時互聯(lián)網(wǎng)和移動智能終端技術(shù)的快速發(fā)展使得用戶在線查詢機(jī)票所占比例越來越高，從而產(chǎn)生大量查詢數(shù)據(jù)，這些查詢數(shù)據(jù)可以很好地反映航線需求.需求數(shù)據(jù)的積累為我們使用深度學(xué)習(xí)方法對需求量建模提供了很好的機(jī)會.近幾年循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)在序列學(xué)習(xí)中取得了很大的成功[6]，特別是長短期記憶網(wǎng)絡(luò)(LSTM)[7]的應(yīng)用使得RNN能夠?qū)W習(xí)長期的時間依賴性，可以有效緩解傳統(tǒng)RNN在訓(xùn)練時存在的梯度消失問題[8].例如，文獻(xiàn)[9]提出應(yīng)用LSTM網(wǎng)絡(luò)和自編碼器捕獲時間依賴關(guān)系，預(yù)測高峰時段和事故發(fā)生后等極端條件下的交通情況.然而，這些模型只能捕獲時間序列中的時間依賴性，而忽略了交通數(shù)據(jù)中廣泛存在的空間相關(guān)性.為了解決這個問題.文獻(xiàn)[10]提出了一種深度學(xué)習(xí)方法來同時提取交通數(shù)據(jù)的非線性空間和時間相關(guān)性.文獻(xiàn)[11]提出時空循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(SRCNs)預(yù)測交通流量，有效捕獲了交通數(shù)據(jù)的時間相關(guān)性與鄰近區(qū)域的空間相關(guān)性.文獻(xiàn)[12]提出了深度多視圖時空網(wǎng)絡(luò)(DMVST-Net)用于預(yù)測某區(qū)域的出租車需求.文獻(xiàn)[13]提出的卷積LSTM(ConvLSTM)，可用于捕獲序列的時間相關(guān)性以及部分臨近序列的空間相關(guān)性.總體來看，這些時空網(wǎng)絡(luò)模型處理的均為網(wǎng)格化的數(shù)據(jù)，且多數(shù)只能捕獲鄰近區(qū)域的空間關(guān)系.

準(zhǔn)確地預(yù)測交通客運(yùn)需求需要同時建模時間維度上的OD自身歷史客運(yùn)需求的規(guī)律，以及空間維度上與其他OD客運(yùn)需求序列之間的關(guān)聯(lián).但是現(xiàn)有方法都無法同時有效捕獲這些信息.因此，本文作者提出了一種新穎的基于時空LSTM的OD客運(yùn)需求預(yù)測模型(Spatio-Temporal LSTM for Passenger Demand Prediction，STLSTM-PDP).該模型改進(jìn)了傳統(tǒng)LSTM模型的細(xì)胞內(nèi)結(jié)構(gòu)，顯式地建模了序列內(nèi)部的時間依賴關(guān)系和序列之間的空間依賴關(guān)系，綜合預(yù)測未來一段時間所有OD的客運(yùn)需求量.選取民航領(lǐng)域的城市間相應(yīng)航線的實際訂票查詢量及城市內(nèi)區(qū)域間出租車實際客運(yùn)量作為交通領(lǐng)域的客運(yùn)需求代表，在這兩個真實數(shù)據(jù)集上的實驗結(jié)果證明，STLSTM-PDP模型優(yōu)于其他現(xiàn)有方法，極大地提高了預(yù)測準(zhǔn)確率.

1 問題定義

交通領(lǐng)域的客運(yùn)需求是針對特定的出發(fā)地(O)和特定的目的地(D)而言.如城市內(nèi)客運(yùn)需求可以由不同時間段、多個區(qū)域?qū)χg的出租車載客情況來反映；民航領(lǐng)域的客運(yùn)需求可由人們對未來不同出發(fā)日期的航線查詢量來反映.特定OD的客運(yùn)需求受人們作息時間的影響，在時間維度上呈現(xiàn)固有的規(guī)律性和趨勢性.除了OD客運(yùn)需求序列自身的規(guī)律之外，它還與其他OD的序列間存在相互影響與聯(lián)系，如圖1(a)所示的民航領(lǐng)域中的轉(zhuǎn)機(jī)需求，假設(shè)A→C地的機(jī)票售罄，必然會增加A→B及B→C的轉(zhuǎn)機(jī)需求；城市內(nèi)區(qū)域間客運(yùn)需求如圖1(b)所示，A地區(qū)到B地區(qū)的需求會受到A、B的分流和匯入的影響.由此可見，OD間的客運(yùn)需求需要從多條OD需求序列曲線的關(guān)聯(lián)性去分析.

本文中使用的符號及相關(guān)概念定義如下：

問題定義需求預(yù)測：對于所有OD對的客運(yùn)需求，已知n個觀測值{xt|t=1,2,…,n}，預(yù)測所有OD對的k個時間間隔后的需求值xt+k.

2 STLSTM-PDP模型

2.1 標(biāo)準(zhǔn)的LSTM結(jié)構(gòu)

標(biāo)準(zhǔn)的長短期記憶網(wǎng)絡(luò)(LSTM)細(xì)胞結(jié)構(gòu)如圖2所示.LSTM中新增加了門控單元用于控制時序信息的記憶和遺忘，更善于處理長序列數(shù)據(jù).在每個時間步t中，xt為輸入向量，ct為細(xì)胞狀態(tài)向量，ht是根據(jù)ct輸出的隱藏狀態(tài)向量，計算公式如下

(1)

圖2 標(biāo)準(zhǔn)LSTM框架圖Fig.2 Framework of the standard LSTM

2.2 STLSTM-PDP模型整體框架

每個OD對的客運(yùn)需求序列數(shù)據(jù)在時間維度存在關(guān)聯(lián)性，同時不同OD對之間也存在空間相關(guān)性.傳統(tǒng)LSTM單獨(dú)處理每條OD需求序列時，無法捕獲不同序列之間的相關(guān)性；同時處理多條需求序列時，在每一時刻，第1層LSTM將所有OD對需求數(shù)據(jù)xt∈RN作為該時刻的N維特征，通過神經(jīng)網(wǎng)絡(luò)提取、映射成一定維數(shù)特征后作為下一時刻及下一層LSTM網(wǎng)絡(luò)的輸入，即t時刻所有OD對信息被完全融合到一起統(tǒng)一提取特征，統(tǒng)一的特征顯然丟失了很多重要信息，無法充分捕獲N條序列的獨(dú)有特征及N條序列之間的相關(guān)性.因此，本文提出了STLSTM-PDP模型，顯式地建模需求序列的時空相關(guān)性，從而更加精準(zhǔn)地預(yù)測交通領(lǐng)域的客運(yùn)需求.STLSTM-PDP模型如圖3所示，包含時空長短期記憶網(wǎng)絡(luò)(STLSTM)模塊和融合(Fusion)模塊.

2.2.1 時空長短期記憶網(wǎng)絡(luò)

圖3 STLSTM-PDP模型框架Fig.3 Framework of STLSTM-PDP

(2)

2.2.2 融合空間依賴與時間依賴

Xfusion_t=Θ1°Hinner_t+Θ2°Hinter_t

(3)

(4)

圖4 時空長短期記憶網(wǎng)絡(luò)模塊結(jié)構(gòu)Fig.4 Framework of the STLSTM component

圖5 融合模塊結(jié)構(gòu)Fig.5 Framework of the Fusion component

2.2.3 客運(yùn)需求預(yù)測

(5)

式中：W∈RN×u_seq，b∈RN表示學(xué)習(xí)參數(shù).

2.3 模型訓(xùn)練

(6)

式中：θ表示STLSTM-PDP模型中的所有待學(xué)習(xí)參數(shù).

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集

3.1.1 民航重點(diǎn)航線客運(yùn)需求量數(shù)據(jù)

本文使用的民航重點(diǎn)航線客運(yùn)量數(shù)據(jù)集來自某在線訂票網(wǎng)站提供的真實機(jī)票查詢數(shù)據(jù)集，數(shù)據(jù)中包含以下信息：航線(由出發(fā)城市和目的城市共同確定)、出發(fā)日期、查詢?nèi)掌?、查詢小時、查詢次數(shù)(即查詢量，可以反映航線的客運(yùn)需求).

數(shù)據(jù)集中一共包含了10個國內(nèi)有機(jī)場的重點(diǎn)城市：北京、上海、深圳、成都、廣州、西安、鄭州、南京、武漢、天津.出發(fā)城市和目的城市的不同組合共構(gòu)成90條重點(diǎn)航線(OD對).選取查詢?nèi)掌趨^(qū)間為2014/12/17—2015/05/15(共150 d)對出發(fā)日期區(qū)間為2015/02/07—2015/05/15(共98 d)的查詢數(shù)據(jù)作為本文的實驗數(shù)據(jù)集，并從中選取查詢?nèi)掌谂c起飛日期間隔為7～17 d的序列作為訓(xùn)練集，查詢?nèi)掌谂c起飛日期間隔0～6 d的序列作為測試集.查詢數(shù)據(jù)的時間間隔為1 h，因此在本文的實驗中對樣本按每小時一次滑動構(gòu)建新的預(yù)測時間段.對于每一個出發(fā)日期，共有17×24=408個樣本，因此實驗數(shù)據(jù)共有98×408=48 552個樣本，其中訓(xùn)練集包含23 520個樣本，測試集包含16 464個樣本.

3.1.2 城市內(nèi)區(qū)域間出租車需求數(shù)據(jù)

本文使用的城市內(nèi)區(qū)域間的出租車客運(yùn)量數(shù)據(jù)由某城市的出租車GPS數(shù)據(jù)統(tǒng)計得出，該數(shù)據(jù)包含經(jīng)緯度坐標(biāo)、GPS時間、載客狀態(tài)等信息.首先根據(jù)出租車上下客點(diǎn)密度將城市劃分為10個區(qū)域，然后根據(jù)出租車GPS信息將各區(qū)域間的每半小時的客運(yùn)量進(jìn)行聚合，得到出租車客運(yùn)量數(shù)據(jù)集.

數(shù)據(jù)集中一共涉及到了某城市的10個區(qū)域，包含100個OD對.選取日期區(qū)間為2017/07/31—2017/09/11(共43 d)作為訓(xùn)練集，日期區(qū)間為2017/09/12—2017/09/30(共19 d)作為測試集.在本文的實驗中對樣本按每半小時一次滑動構(gòu)建新的預(yù)測時間段，因此實驗數(shù)據(jù)共有62×48=2 976個樣本，訓(xùn)練集包含2 064個樣本，測試集包含912個樣本.

3.2 基準(zhǔn)方法與評價指標(biāo)

本文將提出的STLSTM-PDP模型與其他5種現(xiàn)有的時間序列預(yù)測方法進(jìn)行對比.

Pre：使用前一天同時間段的值作為預(yù)測值，由于本文中預(yù)測長度最長為一天，因此Pre基準(zhǔn)方法的預(yù)測結(jié)果在預(yù)測間隔為一天之內(nèi)時，不隨預(yù)測間隔的改變而改變.

HA：使用歷史同時間段的平均值作為預(yù)測值，由于預(yù)測長度最長為一天，使用的同時段值均為一天前的值，因此在預(yù)測間隔為一天之內(nèi)時該方法的預(yù)測結(jié)果也不隨預(yù)測間隔的改變而改變.

ARIMA：自回歸移動平均模型(Autoregressive Integrated Moving Average Model)是一種著名的時間序列預(yù)測方法，其優(yōu)勢在于短期預(yù)測.

LSTM[7]：長短期記憶網(wǎng)絡(luò)(Long Short Term Memory Network)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，可以捕獲時間序列的長期模式.

ConvLSTM[13]：輸入變換和循環(huán)變換是通過卷積實現(xiàn)的LSTM網(wǎng)絡(luò)的變形，是當(dāng)前最新提出的一種神經(jīng)網(wǎng)絡(luò)預(yù)測模型，可以同時捕獲時間趨勢和臨近的空間關(guān)系.

本文采用平均絕對誤差(MAE)和均方根誤差(RMSE)作為評價指標(biāo)，具體計算公式如下

(7)

(8)

3.3 數(shù)據(jù)處理與參數(shù)設(shè)置

本文采用最大最小歸一化方法將原始需求量數(shù)據(jù)歸一到[-1,1]之間，最后評價模型時，將預(yù)測值反歸一回正常值，然后再與真實值進(jìn)行比較.

在STLSTM-PDP模型中，使用了2層STLSTM層和1層融合層，每次訓(xùn)練的樣本數(shù)量(batch size)為256. 學(xué)習(xí)率(learning rate)的設(shè)置方面，嘗試了如下取值{0.1,0.01,0.005,0.001,0.0005，0.0001}，綜合考慮預(yù)測效果及訓(xùn)練速度，最終將學(xué)習(xí)率設(shè)為0.001.在本文中對未來一天的交通客運(yùn)需求進(jìn)行預(yù)測，由于民航需求數(shù)據(jù)的時間間隔為1 h，因此預(yù)測間隔k在民航需求預(yù)測中取[1,24]；出租車需求數(shù)據(jù)的時間間隔為半小時，因此在出租車需求預(yù)測中k取[1,48].

3.4 結(jié)果分析

3.4.1 民航需求預(yù)測結(jié)果及分析

表1給出了本文提出的STLSTM-PDP模型與5種已有方法的MAE和RMSE值對比，從表1可以看出，STLSTM-PDP模型由于專門建模了序列之間的空間相關(guān)性，可以很好地描述如轉(zhuǎn)機(jī)需求帶來的序列之間的相關(guān)性，所以其MAE比其他方法降低了10.8%到41.4%，RMSE比其他方法降低了6.8%到49.1%，說明本文提出的模型在民航需求預(yù)測任務(wù)上明顯優(yōu)于其他方法.

表1 民航數(shù)據(jù)集上不同方法的預(yù)測結(jié)果對比Tab.1 Performance comparisons of different methods on the civil aviation dataset

圖6給出了在民航重點(diǎn)航線客運(yùn)需求數(shù)據(jù)集上不同模型的預(yù)測誤差隨k的變化情況.

圖6 不同預(yù)測模型的MAE、RMSE隨預(yù)測間隔變化(民航重點(diǎn)航線數(shù)據(jù)集)Fig.6 Comparison of MAE and RMSE along with prediction interval of different models(civil aviation data)

由于ARIMA模型的RMSE在k>8時就大于其他模型的最大誤差，且隨著k的增大，ARIMA模型的RMSE與其他模型的差距越來越大，因此未在圖中畫出.可以看出除了ARIMA在最近的3 h的短期預(yù)測有優(yōu)勢外，STLSTM-PDP模型均有較明顯優(yōu)勢.HA和Pre方法在k取值為[1,24]時誤差不變，但仍與STLSTM-PDP模型差距很大，且實驗證明k>24時預(yù)測誤差會明顯升高.STLSTM-PDP模型誤差上升趨勢相對平緩.由于STLSTM-PDP顯式建模了序列內(nèi)時間與序列間空間依賴，能夠更好地捕獲由轉(zhuǎn)機(jī)等因素帶來的序列間空間相關(guān)性，因此預(yù)測結(jié)果明顯優(yōu)于基本的LSTM模型以及僅捕獲部分臨近序列空間關(guān)系的ConvLSTM模型.

3.4.2 出租車需求預(yù)測結(jié)果及分析

表2給出了本文提出的STLSTM-PDP模型與5種已有方法在出租車數(shù)據(jù)集上的MAE和RMSE值對比，可以看出，STLSTM-PDP模型的MAE比其他方法降低了4.4%到8.3%，RMSE比其他方法降低了4.3%到12%.

表2 出租車數(shù)據(jù)集上不同方法的預(yù)測結(jié)果對比

圖7給出了在出租車需求數(shù)據(jù)集上不同模型的預(yù)測誤差隨預(yù)測間隔k的變化情況.由于ARIMA方法僅在預(yù)測1～2個點(diǎn)時有優(yōu)勢，隨k增大誤差明顯增大，且與其他方法差距較大，因此未在圖中畫出.從圖7中可以看出，深度學(xué)習(xí)預(yù)測模型效果要明顯優(yōu)于傳統(tǒng)預(yù)測方法，而LSTM由于僅能捕獲時間依賴，因此效果要比ConvLSTM和STLSTM-PDP差，而STLSTM-PDP模型由于使用兩個通道顯式建模了出租車需求量數(shù)據(jù)的時空依賴，預(yù)測結(jié)果具有一定優(yōu)勢，且隨著預(yù)測間隔的增大，性能下降較慢.

圖7 不同預(yù)測模型的MAE、RMSE隨預(yù)測間隔變化(出租車需求數(shù)據(jù)集)Fig.7 Comparison of MAE and RMSE along with prediction interval of different models(taxi demand data)

上述實驗結(jié)果表明，本文提出的STLSTM-PDP模型對預(yù)測未來較長一段時間的客運(yùn)需求是行之有效的.

4 結(jié)論

1) 研究了交通領(lǐng)域的需求預(yù)測問題，提出了STLSTM-PDP模型，設(shè)計了一種新穎的STLSTM細(xì)胞狀態(tài)，采用時空兩個通道顯式地建?？瓦\(yùn)需求時間序列的時間依賴關(guān)系和空間依賴關(guān)系.

2) 在民航重點(diǎn)航線真實訂票查詢數(shù)據(jù)集以及某城市出租車客運(yùn)量數(shù)據(jù)集上的實驗結(jié)果證明，本文提出的STLSTM-PDP模型優(yōu)于其他現(xiàn)有的預(yù)測方法，極大地提高了準(zhǔn)確率，從而有助于從業(yè)人員及時掌控交通領(lǐng)域客運(yùn)需求的變化動向，及時進(jìn)行合理的資源調(diào)度與安排，進(jìn)而有助于提升交通運(yùn)營部門的收益和用戶的出行體驗.STLSTM-PDP模型也為交通領(lǐng)域的時空數(shù)據(jù)建模問題提供了新的思路.