基于LSTM的短時(shí)交通流預(yù)測(cè)研究

曹博，高茂庭

（上海海事大學(xué)信息工程學(xué)院，上海 201306）

0 引言

交通流預(yù)測(cè)主要是對(duì)交通量的相關(guān)參數(shù)進(jìn)行預(yù)測(cè)。交通量也叫做交通流量，是指在指定時(shí)間段內(nèi)，通過道路某一地點(diǎn)、某一斷面或某一車道的交通實(shí)體數(shù)[1]。在智能交通系統(tǒng)（Intelligent Transportation Systems，ITS）領(lǐng)域[2]，交通控制與誘導(dǎo)系統(tǒng)是ITS研究的熱門核心課題，而實(shí)現(xiàn)交通誘導(dǎo)的關(guān)鍵是實(shí)時(shí)準(zhǔn)確地預(yù)測(cè)交通流。即利用現(xiàn)有道路的實(shí)時(shí)和歷史交通流數(shù)據(jù)，通過建立適合的模型對(duì)下一個(gè)時(shí)段的交通流進(jìn)行預(yù)測(cè)。交通流預(yù)測(cè)分為短期預(yù)測(cè)、中期預(yù)測(cè)和長(zhǎng)期預(yù)測(cè)，分別服務(wù)于不同的研究領(lǐng)域。而短時(shí)交通流預(yù)測(cè)能預(yù)測(cè)未來較短時(shí)間內(nèi)交通流狀態(tài)信息，可滿足城市交通控制系統(tǒng)對(duì)實(shí)時(shí)性及準(zhǔn)確性的要求，從而得出正確的控制策略，緩解交通堵塞，減少機(jī)動(dòng)車廢氣排放，降低交通事故發(fā)生率。

在短時(shí)交通流預(yù)測(cè)研究中，有兩類不同的數(shù)據(jù)驅(qū)動(dòng)預(yù)測(cè)方法被頻繁使用：一類是基于傳統(tǒng)統(tǒng)計(jì)理論的方法，另一類是基于神經(jīng)網(wǎng)絡(luò)的方法[3]?；诮y(tǒng)計(jì)的方法主要有卡爾曼濾波模型[4]、時(shí)間序列模型[5]、貝葉斯網(wǎng)絡(luò)[6]和馬爾可夫鏈[7]。它們假設(shè)未來預(yù)測(cè)的數(shù)據(jù)與過去的數(shù)據(jù)有相同的特性。，其方法理論簡(jiǎn)單、容易理解。但是，基于統(tǒng)計(jì)的方法大部分是基于線性的，而交通流變化具有隨機(jī)性和非線性的特點(diǎn)，這使得模型的性能變差。隨著深度學(xué)習(xí)在語音、圖像和自然語言處理等研究領(lǐng)域的廣泛應(yīng)用，基于神經(jīng)網(wǎng)絡(luò)的方法在交通大數(shù)據(jù)挖掘方面體現(xiàn)出越來越強(qiáng)大的應(yīng)用價(jià)值。Huang等人（2014）[8]和 Lv等人（2015）[9]分別使用了深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBN）和堆棧式自編碼器（Stacked Auto-Encoder，SAE）來預(yù)測(cè)短時(shí)交通流。但是，以上方法都需要預(yù)定義歷史輸入數(shù)據(jù)的長(zhǎng)度，不能自動(dòng)決定最優(yōu)的時(shí)間間隔，而且由于全連接神經(jīng)網(wǎng)絡(luò)里的每一個(gè)神經(jīng)元都與它上一層的神經(jīng)元連接，其計(jì)算代價(jià)高昂。

為了獲得更高的短時(shí)交通流預(yù)測(cè)精度，本文提出一種叫做LSTM的短時(shí)交通流預(yù)測(cè)模型。LSTM不僅能更有效地處理交通流的非線性和隨機(jī)性，而且在解決時(shí)間序列預(yù)測(cè)的長(zhǎng)時(shí)間依賴問題中展示了優(yōu)越的能力。LSTM能“記住”距當(dāng)前時(shí)間點(diǎn)較遠(yuǎn)的歷史信息，而且能自動(dòng)決定時(shí)間序列數(shù)據(jù)的最優(yōu)時(shí)間間隔。實(shí)驗(yàn)結(jié)果表明，LSTM模型在短時(shí)交通流預(yù)測(cè)中取得了更高的精確度。

1 基于LSTM的短時(shí)交通流預(yù)測(cè)模型

在眾多短時(shí)交通流預(yù)測(cè)方法中，神經(jīng)網(wǎng)絡(luò)因其處理高維數(shù)據(jù)的優(yōu)勢(shì)，靈活的模型結(jié)構(gòu)，強(qiáng)大的學(xué)習(xí)和泛化能力受到越來越多的關(guān)注。一般，神經(jīng)網(wǎng)絡(luò)可分為兩種類型，分別為前饋神經(jīng)網(wǎng)絡(luò)（Feed Forward Neural Network，F(xiàn)FNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Net?work，RNN）。兩者都能應(yīng)用到短時(shí)交通流預(yù)測(cè)中，其精確度主要受到交通流時(shí)間序列數(shù)據(jù)的歷史輸入的長(zhǎng)度的影響。對(duì)于傳統(tǒng)的FFNN來說，其沒有時(shí)間序列觀念，不能記憶早期歷史輸入信息，也不能決定輸入的最優(yōu)時(shí)間跨度。當(dāng)把FFNN應(yīng)用到短時(shí)交通流預(yù)測(cè)上時(shí)，需要手動(dòng)確定輸入的時(shí)間長(zhǎng)度。而RNN是時(shí)間序列建模的有力工具之一。RNN之所以稱為循環(huán)神經(jīng)網(wǎng)絡(luò)，是因?yàn)橐粋€(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)聯(lián)，具體表現(xiàn)形式為網(wǎng)絡(luò)會(huì)對(duì)前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，即隱藏層之間的節(jié)點(diǎn)不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出，還包括上一時(shí)刻隱藏層的輸出[10]。RNN構(gòu)建的網(wǎng)絡(luò)會(huì)對(duì)歷史時(shí)間點(diǎn)的信息進(jìn)行記憶，并將記憶留下的信息應(yīng)用到當(dāng)前神經(jīng)元的輸出計(jì)算中。

對(duì)于短時(shí)交通流數(shù)據(jù)而言，同一路段的車流量在時(shí)間關(guān)系上并不是完全無關(guān)的。交通流量有復(fù)雜的歷史依賴性，此刻的交通流狀態(tài)與上一時(shí)刻的歷史交通流狀態(tài)有一定程度的關(guān)聯(lián)，且可能導(dǎo)致下一時(shí)刻的交通流狀態(tài)產(chǎn)生變化。因交通流時(shí)間序列呈現(xiàn)的這個(gè)特點(diǎn)，采用循環(huán)神經(jīng)網(wǎng)絡(luò)則是非常合適的選擇。RNNs采用BPTT算法[11]作為訓(xùn)練算法，對(duì)于一般的RNN結(jié)構(gòu)而言，其循環(huán)結(jié)構(gòu)的特點(diǎn)容易造成梯度消失或梯度爆炸[12]，從而使RNN喪失學(xué)習(xí)連接較遠(yuǎn)信息的能力。為了解決這個(gè)問題，Hochreiter和Schmidhuber提出了LSTM網(wǎng)絡(luò)結(jié)構(gòu)[13]。

LSTM RNN被認(rèn)為是一種特殊形式的RNN，其結(jié)構(gòu)由一個(gè)輸入層、數(shù)個(gè)隱藏層和一個(gè)輸出層組成。LSTM的關(guān)鍵在于記憶單元（memory cell），它能克服傳統(tǒng)RNNs面臨的梯度消失或梯度爆炸問題。如圖1所示，LSTM主要包含三個(gè)門：一個(gè)輸入門（input gate），一個(gè)遺忘門（forget gate），一個(gè)輸出門（output gate），這三個(gè)門在激活函數(shù)的作用下，會(huì)產(chǎn)生0到1之間的數(shù)，用于把控門的開關(guān)。輸入門決定了輸入層信息如何傳遞到隱藏層的記憶模塊；遺忘門決定了如何對(duì)當(dāng)前時(shí)刻該記憶模塊的歷史信息進(jìn)行保留；輸出門決定了記憶模塊的信息如何傳遞出去。鑒于交通流狀態(tài)具有隨著時(shí)間動(dòng)態(tài)變化的特點(diǎn)，結(jié)合LSTMs在處理長(zhǎng)期依賴方面的優(yōu)勢(shì)，可用LSTMs提取交通流里的時(shí)間模式信息。

圖1 LSTM NN結(jié)構(gòu)圖

交通流歷史輸入序列可表示為X=(X1,X2…,XT)。對(duì)于q時(shí)刻，各站點(diǎn)的交通流則表示為其中，l1,…,ln代表一條高速公路上的n個(gè)站點(diǎn)。代表第n個(gè)站點(diǎn)在時(shí)刻q的交通流。本文中，交通流預(yù)測(cè)的目標(biāo)就是根據(jù)[1,T]時(shí)間段內(nèi)的歷史流量信息來預(yù)測(cè)T+a時(shí)刻各站點(diǎn)的交通流，a為某個(gè)常數(shù)。X被作為L(zhǎng)STMs的輸入，LSTMs的輸出則表示為H=(H1,H2,…,HT)，σ(?)是sigmoid函數(shù)，σh(?)是tanh函數(shù)。交通流的時(shí)間特征通過式（1）-式（6）迭代計(jì)算得出：

式（5）、式（6）中，“°”代表向量之間的 Hadamard product。得到LSTMs的輸出后，下一步是預(yù)測(cè)未來時(shí)刻的交通狀態(tài)。HT被作為一個(gè)全連接層的輸入。交通流的預(yù)測(cè)值可用式（7）計(jì)算，W2和b2分別代表LST?Ms的輸出層和全連接層之間的權(quán)重和偏置，YT+a就是整個(gè)模型的輸出，也即預(yù)測(cè)值。全連接層的目標(biāo)函數(shù)是預(yù)測(cè)值和實(shí)際值之間均方誤差的和。實(shí)驗(yàn)對(duì)整個(gè)模型進(jìn)行端到端的訓(xùn)練。

式（7）中，YT+a代表T+a時(shí)刻的交通流預(yù)測(cè)值，a是一個(gè)常數(shù)，代表時(shí)刻T之后的某個(gè)時(shí)間點(diǎn)。

2 實(shí)驗(yàn)

2.1數(shù)據(jù)集

本文數(shù)據(jù)集來自美國(guó)加利福利亞州交通管理局的Caltrans Performance Measurement System（PeMS）。路段Route 16664：101S Downtown SF to Millbrae的交通流數(shù)據(jù)將被用來進(jìn)行試驗(yàn)。該路段沿途共33個(gè)觀測(cè)站點(diǎn)，起止日期從01/01/2017到07/15/2017。交通流數(shù)據(jù)每隔30秒采集一次，最后聚合成時(shí)間間隔為5分鐘的聚合數(shù)據(jù)。根據(jù)先前的研究結(jié)果[14]，5分鐘的交通流數(shù)據(jù)更適合用來預(yù)測(cè)未來時(shí)刻的交通流，因?yàn)槿笔?shù)據(jù)只占整個(gè)數(shù)據(jù)集的一小部分。

對(duì)于缺失數(shù)據(jù)，本文采用相鄰數(shù)據(jù)平均法來填補(bǔ)數(shù)據(jù)集中的缺失值，即以缺失數(shù)據(jù)的相鄰數(shù)據(jù)的算術(shù)平均數(shù)代替。根據(jù)實(shí)際情況，交通流數(shù)據(jù)的最小值必定是0，而不可能是負(fù)數(shù)。觀察歷史數(shù)據(jù)，最大值不超過900。也就是說，正常情況下的短時(shí)交通流數(shù)據(jù)處于最小值和最大值之間，偏離這個(gè)區(qū)間的數(shù)據(jù)被稱為非常規(guī)數(shù)據(jù)。對(duì)于非常規(guī)數(shù)據(jù)，可把它視作缺失值，仍然采用相鄰數(shù)據(jù)平均法處理。

交通流數(shù)據(jù)隨時(shí)間變化的幅度較大，某些時(shí)段比如凌晨的車流量為0，而某些時(shí)段比如早晨和傍晚的車流量能達(dá)到幾百。為了消除數(shù)據(jù)大小差異給預(yù)測(cè)精度帶來的影響，一般用歸一化的方法對(duì)數(shù)據(jù)進(jìn)行變換。本文用min-max標(biāo)準(zhǔn)化的方法對(duì)原始數(shù)據(jù)進(jìn)行線性變換。經(jīng)過歸一化處理后，數(shù)據(jù)序列的相對(duì)大小并未改變，整體變化趨勢(shì)也保持一致。應(yīng)用歸一化后的數(shù)據(jù)進(jìn)行交通流預(yù)測(cè)，得到結(jié)果后采用反歸一化再對(duì)預(yù)測(cè)值進(jìn)行還原，最后得到最初量級(jí)的交通流數(shù)據(jù)。

本文數(shù)據(jù)被分為兩個(gè)子集：前5個(gè)月的數(shù)據(jù)作為訓(xùn)練集，其他的數(shù)據(jù)作為測(cè)試集。

2.2建立實(shí)驗(yàn)

本文設(shè)置歷史交通流信息的時(shí)間長(zhǎng)度為8，預(yù)測(cè)范圍為5分鐘，即式（7）中T的大小為8，a為1。所以，本文的預(yù)測(cè)目標(biāo)是根據(jù)前40分鐘的歷史交通流信息預(yù)測(cè)接下來5分鐘內(nèi)的車流量。

設(shè)置LSTM網(wǎng)絡(luò)結(jié)構(gòu)為1個(gè)輸入層、2個(gè)隱藏層、1個(gè)輸出層。在此基礎(chǔ)上進(jìn)行其他超參數(shù)的選擇。隱藏層中，設(shè)置H=(H1,H2,…,HT)在第一個(gè)LSTM層中每個(gè)時(shí)間點(diǎn)的特征維度為64，而在第二個(gè)LSTM層中其每個(gè)時(shí)間點(diǎn)的特征維度為512。具體的模型參數(shù)如表1所示。

表1 LSTM模型參數(shù)

LSTM的訓(xùn)練基于RMSprop優(yōu)化器[15]，因其在RNN模型的訓(xùn)練中表現(xiàn)良好[16]。tanh作為激活函數(shù)被用在狀態(tài)和輸出上，目標(biāo)函數(shù)為均方誤差（MSE）。批處理數(shù)量（Batch Size）設(shè)置為64，迭代次數(shù)設(shè)置為20。Dropout層和早停法（Early Stopping）被用來防止過擬合。Dropout是深度學(xué)習(xí)模型中的正則化方法，它的原理是在訓(xùn)練過程中隨機(jī)丟掉某些神經(jīng)元，減少神經(jīng)元之間的協(xié)同作用，提高模型的泛化能力。本文設(shè)置Dropout丟失率為50%。LSTM模型使用Keras深度學(xué)習(xí)框架構(gòu)建，callback參數(shù)被用來實(shí)時(shí)保存模型結(jié)構(gòu)、訓(xùn)練出來的權(quán)重及優(yōu)化器狀態(tài)。實(shí)驗(yàn)隨機(jī)選取10%的訓(xùn)練數(shù)據(jù)作為驗(yàn)證集。

2.3結(jié)果和比較分析

實(shí)驗(yàn)中，選擇SAEs[9]模型與LSTM模型作比較，并且兩種模型都分別選取表現(xiàn)最好的一組。平均絕對(duì)誤差（Mean Absolute Error，MAE）能很好地反映預(yù)測(cè)值誤差的實(shí)際情況，均方根誤差（Root Mean Squared Error，RMSE）可以評(píng)價(jià)數(shù)據(jù)與預(yù)測(cè)模型適應(yīng)性，故實(shí)驗(yàn)采用MAE和RMSE比較交通流預(yù)測(cè)模型的性能：

式（8）、式（9）中，Zst表示s站點(diǎn)在第t個(gè)時(shí)間間隔內(nèi)的交通流的預(yù)測(cè)值，Nst代表相應(yīng)的實(shí)際交通流，np是預(yù)測(cè)值的個(gè)數(shù)。LSTMs，SAEs模型的預(yù)測(cè)結(jié)果與真實(shí)值的比較分別如圖2、3所示。

圖2 LSTMs交通流預(yù)測(cè)結(jié)果

圖3 SAEs交通流預(yù)測(cè)結(jié)果

從測(cè)試集中隨機(jī)選取日期07/06/2017，并選擇第17個(gè)站點(diǎn)在這一天中所有交通流數(shù)據(jù)從而得到圖2、3的結(jié)果。從圖2、3中可看出，LSTMs和SAEs模型都能正確反映交通流變化的大體趨勢(shì)。兩種模型在交通流處于低峰期時(shí)與真實(shí)情況吻合得較好，但在交通流高峰期時(shí)，兩者與真實(shí)值相比都有一定差距。LSTMs與SAEs預(yù)測(cè)結(jié)果的比較如圖4所示。

圖4 LSTMs和SAEs預(yù)測(cè)結(jié)果比較

圖 4 給出了 LSTMs、SAEs在 10：00 到 14：00 時(shí)間段內(nèi)預(yù)測(cè)值與真實(shí)值的比較。從圖4可看出，LSTMs和SAEs與真實(shí)值之間都有一定間隔，而兩者預(yù)測(cè)值之間的間隔不大，說明LSTMs和SAEs的預(yù)測(cè)精度比較接近，在交通流高峰期11：00到12：00時(shí)間段內(nèi)，LSTMs的表現(xiàn)比SAEs稍好。為了更準(zhǔn)確反映LSTMs和SAEs預(yù)測(cè)結(jié)果的差異程度，表2給出了兩種模型的結(jié)果比較。

表2 兩種模型的MAE和RMSE

從表2可看出，LSTMs的MAE為27.38，RMSE為39.15，而 SAEs的 MAE 為 27.99，RMSE 為 39.37，LST?Ms比 SAEs表現(xiàn)稍好。說明LSTMs和SAEs這種state-of-the-art方法一樣，在短時(shí)交通流預(yù)測(cè)方面有不錯(cuò)的表現(xiàn)。而LSTMs模型處理時(shí)序數(shù)據(jù)時(shí)在一定程度上優(yōu)于SAEs。

3 結(jié)語

本文提出了一種基于LSTM的短時(shí)交通流預(yù)測(cè)模型。LSTM模型考慮了交通流數(shù)據(jù)的時(shí)序特點(diǎn)，能記住輸入數(shù)據(jù)的長(zhǎng)期歷史信息，并自動(dòng)決定輸入的最優(yōu)的時(shí)間間隔，在短時(shí)交通流預(yù)測(cè)方面表現(xiàn)出了不錯(cuò)的預(yù)測(cè)能力。與SAEs在同一個(gè)數(shù)據(jù)集上進(jìn)行的對(duì)比實(shí)驗(yàn)表明，LSTM取得了更好的預(yù)測(cè)效果。這表明LSTM模型在交通流預(yù)測(cè)應(yīng)用的有效性。

但LSTM模型還有很多需要完善的地方。短時(shí)交通流數(shù)據(jù)蘊(yùn)含時(shí)間特征，也包含空間特征。在空間層面，一條高速公路上的某個(gè)觀測(cè)站點(diǎn)的交通流不僅受到其上下游交通流狀況的影響，還受到相鄰高速公路的交通流狀況的影響。在短時(shí)交通流預(yù)測(cè)中，不能忽視交通流的空間依賴。另外，天氣、交通事故、交通管制等因素也對(duì)短時(shí)交通流有重要影響。在未來的研究中，將進(jìn)一步考慮這些因素，從而更準(zhǔn)確地預(yù)測(cè)短時(shí)交通流。