基于殘差增強(qiáng)門控循環(huán)神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測(cè)技術(shù)研究

金濤斌，盧 宇，徐 巖

（1. 廣州大灣區(qū)軌道交通產(chǎn)業(yè)投資集團(tuán)有限公司，廣東廣州 510405；2. 天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072）

1 引言

隨著我國(guó)城市化進(jìn)程的不斷加速，交通流量和交通信息量均急劇增加，而當(dāng)前城市軌道交通運(yùn)營(yíng)管理系統(tǒng)功能相對(duì)單一，沒有充分利用日常運(yùn)營(yíng)中長(zhǎng)期自然積累的海量數(shù)據(jù)，缺乏對(duì)城市軌道交通運(yùn)行的長(zhǎng)周期自動(dòng)監(jiān)控和預(yù)測(cè)。近年來，國(guó)家各相關(guān)部門紛紛出臺(tái)政策，支持智能、高效的城市軌道交通運(yùn)營(yíng)管理新技術(shù)、新產(chǎn)品、新模式的開發(fā)和應(yīng)用。同時(shí)，隨著科技的不斷發(fā)展，計(jì)算機(jī)運(yùn)算成本顯著降低，基于深度學(xué)習(xí)的時(shí)間序列預(yù)測(cè)方法已被廣泛應(yīng)用于各個(gè)領(lǐng)域。充分利用交通網(wǎng)絡(luò)的多維度、海量數(shù)據(jù)，用人工智能的方法來完成交通流量預(yù)測(cè)工作，可以更加精準(zhǔn)地追蹤、評(píng)價(jià)和預(yù)測(cè)交通流量的動(dòng)態(tài)性變化，對(duì)于交通樞紐壓力的估計(jì)、資源配置、人力調(diào)配都具有十分重要的作用。本文研究高性能深度學(xué)習(xí)交通流量預(yù)測(cè)算法，自動(dòng)捕捉輸入數(shù)據(jù)的時(shí)間相關(guān)性和依賴性，根據(jù)當(dāng)前狀態(tài)和歷史數(shù)據(jù)對(duì)大規(guī)模交通網(wǎng)絡(luò)中各個(gè)樞紐的交通流量進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)交通樞紐客流量的智能化、高效率、高準(zhǔn)確率預(yù)測(cè)，助力提升城市軌道交通運(yùn)營(yíng)管理水平。由于本文算法可應(yīng)用于各種類型交通（包括：城市軌道交通、公路交通等），故后文統(tǒng)一論述為“交通流量預(yù)測(cè)”“交通網(wǎng)絡(luò)”“交通樞紐”。

2 國(guó)內(nèi)外研究現(xiàn)狀

交通網(wǎng)絡(luò)所具有的拓?fù)涮攸c(diǎn)和極具時(shí)效性的時(shí)域特征導(dǎo)致在網(wǎng)絡(luò)中各個(gè)交通樞紐之間的相互關(guān)聯(lián)具有很強(qiáng)的動(dòng)態(tài)變化性。從時(shí)間特點(diǎn)而言，交通流量具有極強(qiáng)的周期性和非線性時(shí)域變化的特點(diǎn)，時(shí)間相關(guān)性也更復(fù)雜。在一周的同一天或同一天的同一時(shí)段，同一地點(diǎn)的交通流量通常相似，而前一時(shí)段的交通流量也會(huì)對(duì)后續(xù)時(shí)段產(chǎn)生很大影響。這使得交通流量預(yù)測(cè)長(zhǎng)期以來一直是一項(xiàng)具有挑戰(zhàn)性的任務(wù)[1]。

近年來，人們對(duì)高性能智能交通流量預(yù)測(cè)系統(tǒng)的開發(fā)越來越感興趣。交通流量預(yù)測(cè)的早期研究通常使用傳統(tǒng)的理論統(tǒng)計(jì)方法，如歷史平均值方法（HA）[2]，自回歸綜合移動(dòng)平均方法（ARIMA）[3]和向量自回歸方法（VAR）[4]。其中，ARIMA是應(yīng)用最廣泛的時(shí)間序列模型，為了提高模型的預(yù)測(cè)精度，引入了不同的變量加以改進(jìn)，如周期ARIMA[5]等。Van Hinsbergen等人通過最小化最優(yōu)解的方差，使用卡爾曼濾波器完成交通預(yù)測(cè)任務(wù)[6]。雖然傳統(tǒng)的統(tǒng)計(jì)方法相對(duì)簡(jiǎn)單且便于計(jì)算，但它們均需滿足基于時(shí)間序列的平穩(wěn)性假設(shè)[7]，而真實(shí)交通流量數(shù)據(jù)通常并不能嚴(yán)格滿足平穩(wěn)性要求。

隨著深度學(xué)習(xí)在語音識(shí)別和圖像處理等領(lǐng)域的逐漸成熟，越來越多的研究人員將深度學(xué)習(xí)應(yīng)用于時(shí)空數(shù)據(jù)預(yù)測(cè)[8]。卷積神經(jīng)網(wǎng)絡(luò)（CNN）已被廣泛用于捕捉歐幾里得空間中的時(shí)空相關(guān)性[9]。Huang等人提出擴(kuò)散卷積遞歸神經(jīng)網(wǎng)絡(luò)（DCRNN）模型，將圖卷積集成到編碼器-解碼器結(jié)構(gòu)的門控循環(huán)單元中[10]。于德新等人將門控循環(huán)單元（GRU）與遞歸神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)合，對(duì)交叉路口的交通流量進(jìn)行預(yù)測(cè)[11]。鳳少偉等人將K均值方法與GRU結(jié)合進(jìn)行交通流量預(yù)測(cè)，也取得較好效果[12]。Zhao等人將長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）和全連接網(wǎng)絡(luò)（FCN）集成，提出LSTM-FC網(wǎng)絡(luò)來提取時(shí)間序列數(shù)據(jù)的相關(guān)性[13]。Fang等人將卡爾曼濾波和LSTM結(jié)合用于短期交通流量預(yù)測(cè)[14]。

綜上所述，雖然這些方法基本實(shí)現(xiàn)了對(duì)時(shí)序數(shù)據(jù)的建模和分析，在交通流量預(yù)測(cè)方面取得了驚人的進(jìn)展，但捕獲長(zhǎng)期時(shí)間依賴性的能力有限，所得的預(yù)測(cè)結(jié)果仍然有較大的提高空間。

3 算法描述

3.1 門控循環(huán)單元

Cho等人在LSTM的基礎(chǔ)上提出了結(jié)構(gòu)更加緊湊的GRU，其結(jié)構(gòu)如圖1所示[15]。

圖1 GRU結(jié)構(gòu)示意圖

GRU將LSTM中的輸入門（input gate）和遺忘門（forgetting gate）整合成為更新門（update gate），用來控制過去時(shí)刻記憶信息參與當(dāng)前時(shí)刻信息計(jì)算的數(shù)據(jù)量，以及前一時(shí)間步的信息和當(dāng)前時(shí)間步的信息將被繼續(xù)傳遞到未來時(shí)間步的數(shù)據(jù)量，其計(jì)算公式如下：

式（1）中，zt為t時(shí)間步GRU單元的更新門輸出；σ為非線性激活函數(shù)，其輸出為（0，1）之間的數(shù)值，可以直接作為門控信號(hào)；Wz和Uz為更新門中可訓(xùn)練的模型參數(shù)；Xt為t時(shí)間步的輸入；Ht-1為前一時(shí)刻即t-1時(shí)間步的隱藏層狀態(tài)。

GRU的另一個(gè)門為重置門（reset gate），其計(jì)算方法與更新門類似：

式（2）中，rt為t時(shí)間步GRU單元的重置門輸出；Wr和Ur為重置門中可訓(xùn)練的模型參數(shù)。

得到2個(gè)門控信號(hào)后，首先根據(jù)當(dāng)前時(shí)刻輸入、前一時(shí)刻隱藏層狀態(tài) 以及重置門控信號(hào) ，計(jì)算得到：

最終得到當(dāng)前t時(shí)刻的隱藏層狀態(tài)Ht：

3.2 殘差連接

深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中容易過度擬合，最終會(huì)損害預(yù)測(cè)精度。為了解決這一潛在風(fēng)險(xiǎn)，文獻(xiàn)[16]提出在深度神經(jīng)網(wǎng)絡(luò)的某些層次之間增加額外的連接結(jié)構(gòu)，如圖2所示。加入殘差連接后，其映射函數(shù)H（x）的計(jì)算公式如下：

圖2 殘差連接示意圖

式（5）中，x為當(dāng)前殘差模塊的輸入特征；（·）為2 ～3層卷積、激活等操作。殘差連接既沒有增加額外的參數(shù)，也沒有增加計(jì)算復(fù)雜度，但有助于網(wǎng)絡(luò)模型學(xué)習(xí)到更多的信息，以進(jìn)一步提高模型的準(zhǔn)確性。

3.3 殘差增強(qiáng)的門控循環(huán)網(wǎng)絡(luò)

與LSTM類似，GRU被用于解決反向傳播中的長(zhǎng)時(shí)間建模和梯度消失等問題，它比LSTM具有更簡(jiǎn)單的結(jié)構(gòu)和更少的參數(shù)。但是，GRU仍然基于輸入數(shù)據(jù)的順序進(jìn)行迭代處理，當(dāng)建模長(zhǎng)時(shí)間序列時(shí)，預(yù)測(cè)效果會(huì)衰減。

殘差連接用于解決深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)的過擬合問題。在GRU中添加殘差結(jié)構(gòu)可以在一定程度上緩解長(zhǎng)時(shí)間建模的衰減效應(yīng)。傳統(tǒng)殘差結(jié)構(gòu)一般是在遞歸循環(huán)單元的輸入和輸出之間添加連接。本文算法選擇在迭代之間添加線性連接以構(gòu)建殘差增強(qiáng)門控遞歸單元（R-GRU），并將I個(gè)單元（對(duì)應(yīng)于I個(gè)歷史時(shí)間步長(zhǎng)）級(jí)聯(lián)起來，以形成殘差增強(qiáng)門控遞歸層，其結(jié)構(gòu)如圖3所示。R-GRU結(jié)構(gòu)可使信息能夠從一個(gè)單元直接傳播到另一個(gè)單元，這有助于網(wǎng)絡(luò)學(xué)習(xí)更多信息并進(jìn)一步提高模型的準(zhǔn)確性。

圖3 R-GRU結(jié)構(gòu)示意圖

添加殘差連接后，R-GRU的前饋傳播遞歸地進(jìn)行為：

式（6）～（10）中，為R-GRU單元在時(shí)間步t的輸出；αx和αh為超參數(shù)；Wh和Wox為可訓(xùn)練的模型參數(shù)。

4 實(shí)驗(yàn)與分析

為測(cè)試本文算法的性能，對(duì)4個(gè)公開的公路交通數(shù)據(jù)集PeMS03、PeMS04、PeMS07和PeMS08進(jìn)行了實(shí)驗(yàn)[17]，數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

表1 實(shí)驗(yàn)所用數(shù)據(jù)集信息

所有實(shí)驗(yàn)均在1臺(tái)配有3.6 GHz的Intel（R）Core i7-9700k處理器、1塊GeForce GTX 3080Ti GPU的電腦上完成。深度學(xué)習(xí)網(wǎng)絡(luò)模型基于Pytorch框架實(shí)現(xiàn)。實(shí)驗(yàn)采用了3種評(píng)估指標(biāo)：平均絕對(duì)誤差（MAE）、均方根誤差（RMSE）和平均絕對(duì)百分比誤差（MAPE）。上述指標(biāo)的計(jì)算公式為：

式（11）～式（13）中，ytrue（m）為第m個(gè)樣本的真實(shí)值；ypred（m）為第m個(gè)樣本的預(yù)測(cè)值，M為樣本數(shù)量。

實(shí)驗(yàn)中使用數(shù)據(jù)集中前1 h的歷史數(shù)據(jù)預(yù)測(cè)未來1 h的交通狀況。本文算法與其他算法的預(yù)測(cè)性能比較如表2所示?？梢钥闯?，由于交通流預(yù)測(cè)不是一個(gè)簡(jiǎn)單的時(shí)間序列線性分析問題，而是一個(gè)復(fù)雜的時(shí)空預(yù)測(cè)問題，所以傳統(tǒng)的統(tǒng)計(jì)模型（HA[2]、ARIMA[3]和VAR[4]）表現(xiàn)不佳。與基于深度學(xué)習(xí)的方法（LSTM-FC[13]和DCRNN[10]）相比，本文所提出的模型表現(xiàn)出具有競(jìng)爭(zhēng)力的性能，所有指標(biāo)均優(yōu)于上述算法。實(shí)驗(yàn)中使用的4個(gè)數(shù)據(jù)集在節(jié)點(diǎn)數(shù)和時(shí)間跨度上有很大差異，本文算法在所有這些數(shù)據(jù)集上都保持了較高的預(yù)測(cè)精度，這意味著本文算法能夠勝任不同交通網(wǎng)絡(luò)的預(yù)測(cè)任務(wù)。

表2 本文算法與其他算法的預(yù)測(cè)性能比較

為更加直觀的觀察算法預(yù)測(cè)性能，在PeMS04中隨機(jī)選擇2個(gè)節(jié)點(diǎn)（節(jié)點(diǎn)1和節(jié)點(diǎn)99），將流量真實(shí)值與本文算法預(yù)測(cè)值進(jìn)行可視化展示，如圖4所示。可以看到，真實(shí)值曲線非常不規(guī)則，在某些時(shí)間點(diǎn)上波動(dòng)很大，同時(shí)，不同節(jié)點(diǎn)的交通流變化模式也非常不同。而本文模型能夠準(zhǔn)確地捕捉并擬合不同節(jié)點(diǎn)中交通流量劇烈變化時(shí)的不同規(guī)律，尤其是在顯著變化的峰值或波谷時(shí)對(duì)流量變化較敏感，預(yù)測(cè)結(jié)果接近實(shí)際值。

圖4 PeMS04中節(jié)點(diǎn)1和節(jié)點(diǎn)99的真實(shí)值與預(yù)測(cè)值比較

5 結(jié)論

本文針對(duì)大規(guī)模交通網(wǎng)絡(luò)的流量預(yù)測(cè)問題，改進(jìn)了門控循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，通過增加殘差連接，提出基于殘差增強(qiáng)門控循環(huán)網(wǎng)絡(luò)的交通流量預(yù)測(cè)算法來預(yù)測(cè)未來時(shí)間步長(zhǎng)的交通狀況。在4個(gè)公開交通數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文算法在預(yù)測(cè)精度方面具有顯著競(jìng)爭(zhēng)力，能夠同時(shí)捕捉不同節(jié)點(diǎn)的流量變化規(guī)律，即使在流量變化非常不規(guī)則且變化較大的時(shí)間步，仍然能夠給出較準(zhǔn)確的預(yù)測(cè)結(jié)果。

高性能交通流量預(yù)測(cè)算法能夠及時(shí)有效地獲取未來某段時(shí)間內(nèi)的交通信息，及時(shí)做出合理的人員安排和引流部署，節(jié)約處理交通擁堵問題的經(jīng)濟(jì)開支，可緩解很多交通預(yù)測(cè)領(lǐng)域的現(xiàn)實(shí)問題，具有較高的研究?jī)r(jià)值和應(yīng)用價(jià)值。未來我們的研究將側(cè)重于同時(shí)考慮交通網(wǎng)絡(luò)的時(shí)間-空間變化特征，同時(shí)將影響交通流量的天氣、節(jié)假日信息和交通事故等因素納入模型，以進(jìn)一步提高預(yù)測(cè)精度。