基于混合多模態(tài)深度學(xué)習(xí)框架的交通量預(yù)測

吳文平，高銘悅

(宿州學(xué)院 信息工程學(xué)院，安徽 宿州 234000)

0 引言

隨著城市化的推進(jìn)和機動車數(shù)量的快速增長，城市和景區(qū)每年的擁堵情況逐年嚴(yán)重，造成時間和燃料的浪費，也帶來了環(huán)境污染和一系列的安全問題，同時致使交通網(wǎng)絡(luò)效率低下，如表1所示[1]。因此，城市和景區(qū)交通流的預(yù)測研究有著重要的意義。

表1 2020年第二季度全國百城交通擁堵排名TOP10的城市

對交通擁堵的早期研判和對交通流的預(yù)測是指導(dǎo)交通管理科學(xué)決策的重要依據(jù)，是實現(xiàn)智能交通的關(guān)鍵，是智能交通的重要輔助手段[2]。在過去的幾十年中，學(xué)者們嘗試用數(shù)學(xué)方程和模擬技術(shù)來預(yù)測交通流，但是由于交通流的預(yù)測受天氣、節(jié)假日和時空關(guān)聯(lián)性等外界因素的影響，傳統(tǒng)的數(shù)學(xué)模型和淺層學(xué)習(xí)算法很難準(zhǔn)確地描述交通網(wǎng)絡(luò)，所以交通流的預(yù)測存在很大的不確定性。隨著物聯(lián)網(wǎng)的發(fā)展和交通數(shù)據(jù)采集技術(shù)的廣泛應(yīng)用，交通流預(yù)測已經(jīng)進(jìn)入大數(shù)據(jù)時代。

交通流的預(yù)測越來越依賴各類傳感器及其采集的相關(guān)多模態(tài)數(shù)據(jù)，如交通量、速度、行程時間、密度、天氣和事故等。但傳統(tǒng)模型不能很好地預(yù)測交通量，因此交通量預(yù)測模型需要數(shù)據(jù)驅(qū)動[3]。近些年深度學(xué)習(xí)在圖像處理和自然語言處理等方面都取得了極大的進(jìn)展，交通量的預(yù)測需要綜合時間、空間和天氣等多個模態(tài)數(shù)據(jù)進(jìn)行分析，本文在多模態(tài)深度學(xué)習(xí)框架的基礎(chǔ)上，從多個層次自動提取相關(guān)數(shù)據(jù)，利用深層特征深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks,CNN)—門控循環(huán)單元(gated recurret unit,GRU)模型[4]來提高交通量預(yù)測的準(zhǔn)確度，為實現(xiàn)智能交通奠定基礎(chǔ)。

1 混合多模態(tài)深度學(xué)習(xí)框架(HMDLF)

1.1 單模態(tài)數(shù)據(jù)的時空特征處理

交通量不僅與時間有關(guān)，還與地理位置有關(guān)，以2019年“十一”期間全國高速的交通量[6]為例(見圖1)，高速去程擁堵發(fā)生在9月30日晚上11點左右，返程擁堵出現(xiàn)在10月5日16點左右，說明交通量數(shù)據(jù)與歷史局部特征的數(shù)據(jù)密切相關(guān)[7]。交通量時間序列的上下文信息相互關(guān)聯(lián)，這些數(shù)據(jù)點的行為存在類似性。換言之，交通流的鄰近數(shù)據(jù)點和周期性間隔數(shù)據(jù)之間通常有很強的相關(guān)性，交通流時間序列數(shù)據(jù)的局部鄰域特征與長相關(guān)特征之間存在相關(guān)性。

圖1 2019年“十一”期間全國高速交通量

1.2 多模態(tài)數(shù)據(jù)的相互依賴性

交通量數(shù)據(jù)的預(yù)測與多種因素密切相關(guān)。交通量數(shù)據(jù)的非線性特征是由自由流、故障流和擁堵流綜合決定的。由于行駛環(huán)境是快速變化的，在故障流和擁堵流的情況下，多種模態(tài)數(shù)據(jù)(交通速度、交通行程時間、交通事故、節(jié)假日和天氣情況等)都會對交通量的預(yù)測產(chǎn)生影響，而這些多模態(tài)數(shù)據(jù)的變化又是高度復(fù)雜非線性的，而且存在著相互依賴性，這對交通量的預(yù)測是一個不小的挑戰(zhàn)。

為了解決上述兩個關(guān)鍵問題，筆者采用CNN和GRU相結(jié)合的多模態(tài)深度學(xué)習(xí)框架來對交通量進(jìn)行預(yù)測，模型框架如圖2所示[8]。

圖2 混合多模態(tài)深度學(xué)習(xí)框架

一般說來，由于不同模態(tài)數(shù)據(jù)的統(tǒng)計特性不同(每種模態(tài)具有不同的表示形式和結(jié)構(gòu))，很難使用淺層模型進(jìn)行融合建模。多模態(tài)深度特征學(xué)習(xí)是指在多特征層次融合的基礎(chǔ)上，如多模態(tài)交通數(shù)據(jù)的特征串聯(lián)或局部趨勢特征與長相關(guān)特征的線性組合，將CNN和GRU神經(jīng)網(wǎng)絡(luò)相結(jié)合，把注意力機制作為一個CNN-GRU注意力模塊，考慮單模態(tài)交通數(shù)據(jù)的時空依賴性。然后基于多個CNN-GRU注意力模塊，融合不同形態(tài)交通數(shù)據(jù)的共享表示特征。

1.3 CNN空間局部特征學(xué)習(xí)

CNN是一個前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以對覆蓋區(qū)域的一部分做出反應(yīng)。CNN具有良好的圖像處理性能，一些研究者也將其用于時間序列分析。CNN有三個級聯(lián)層(convolutional layer、activation layer和pooling layer)。由于交通流數(shù)據(jù)的時移性和周期性，筆者使用一維CNN進(jìn)行序列局部趨勢學(xué)習(xí)，通過CNN的卷積運算提取局部趨勢特征，這些特征可以作為本文提出的多模式深度學(xué)習(xí)框架中更深層次的表現(xiàn)。CNN的三層模型[9]可描述為：

Clj=∑ixl-1iWlij+blj，

(1)

xlj=(clj)，

(2)

xl+1j=pool(xlj)。

(3)

其中，式(1)表示卷積運算，式(2)表示激活函數(shù)，常用的有Tanh函數(shù)和ReLU函數(shù)，這里采用的是ReLU函數(shù)，式(3)表示池化函數(shù)，常用的池化函數(shù)有最大池化tf.nn.max_pool和平均池化tf.nn.avg_pool，這里采用的是平均池化tf.nn.avg_pool。xl-1i和Clj分別表示convolutinal layer的輸入和輸出。

1.4 CNN-GRU時空相互依賴性特征學(xué)習(xí)

GRU是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，是處理時間序列預(yù)測的一種常用動態(tài)系統(tǒng)，圖3是一個典型的GRU框圖[10]。GRU有一個重置門和一個更新門，它能夠?qū)W習(xí)捕捉不同時間尺度上的依賴關(guān)系，如果重置門被激活，那么它傾向于學(xué)習(xí)短期依賴關(guān)系，否則，它傾向于捕捉長期依賴關(guān)系。

圖3 經(jīng)典GRU框圖

經(jīng)典的GRU系統(tǒng)在學(xué)習(xí)過程中存在一個問題：由于時空依賴，上下文(觀察片段)對時間序列的深層表示沒有同等的貢獻(xiàn)。增加的注意力層會在HMDLF模型應(yīng)該參與的每個模態(tài)數(shù)據(jù)的共享表示中選擇時空上下文，并促進(jìn)對下一個時間序列值的精確預(yù)測，其工作原理如圖4所示。它根據(jù)GRU層輸出的不同時空步預(yù)測的隱狀態(tài)計算出相應(yīng)的注意力權(quán)值，利用softmax函數(shù)對輸入時間序列上的注意力向量et進(jìn)行歸一化處理[式(4)～(6)]，得到隱狀態(tài)的加權(quán)和。

圖4 基于注意機制的GRU框圖

et=tanh(whht+bh)，

(4)

(5)

(6)

式中，ht為GRU層的輸出隱藏狀態(tài)；ch為模型中隨機數(shù)；e′t為下一個注意力向量；γ為每個輸入序列數(shù)據(jù)的最終共享表示。

2 預(yù)測結(jié)果對比分析

采用的數(shù)據(jù)集是洛杉磯高速路數(shù)據(jù)集“metr-la.h5”對主流的幾種模型進(jìn)行對比分析，80%用于訓(xùn)練，20%用于驗證。

定量分析結(jié)果見表2。其中給出了SVR(不同核)、ARIMA、LR、DTR、RIDGE、RNN、LSTM、GRU、CNN、CNN-GRU和筆者提出的HMDLF框架[11](三個不同模塊：CNN-LSTM、CNN-GRU和帶有注意力機制的CNN-GRU)的模型誤差比較分析。發(fā)現(xiàn)HMDLF在預(yù)測精度方面優(yōu)于其他方法。與基線模型相比，筆者的HDMLF模型(帶有注意力機制的CNN-GRU模塊)可以將RMSE值降低到4.35，顯著提高了精度?；€深度學(xué)習(xí)模型的RMSE值近似，特別是CNN、CNN-LSTM和CNN-GRU，這意味著訓(xùn)練單模態(tài)數(shù)據(jù)并不能明顯提高性能。

表2 HMDLF模型的RMSE值及其與其他基線模型的比較

HMDLF模型(特別是帶有注意力機制的CNN-GRU模塊)和基線深度學(xué)習(xí)方法的預(yù)測性能優(yōu)于SVR、ARIMA等經(jīng)典的淺層機器學(xué)習(xí)方法。單時態(tài)數(shù)據(jù)的時變性和長時程相關(guān)性是充分利用時變特性的原因。此外，HMDLF模型(帶有注意力機制的CNN-GRU模塊)還充分利用了多模態(tài)交通流相關(guān)序列數(shù)據(jù)之間的相互依賴性。實驗結(jié)果表明，筆者提出的混合多模態(tài)深度學(xué)習(xí)框架可以通過融合這些深層特征信息來提高學(xué)習(xí)效率。

通過對實驗數(shù)據(jù)的比較分析，可以發(fā)現(xiàn)，在筆者提出的混合模型中，使用GRU比使用LSTM能獲得更好的預(yù)測性能。這是因為GRU比LSTM更簡單，超參數(shù)更少，但仍然具有與LSTM相同的性能，因此更容易修改。在某些情況下GRU需要更少的訓(xùn)練時間，效率更高，并且在筆者提出的混合模型中使用CNN-GRU basic模塊顯示了最佳的重鑄性能，這在GRU的實驗中得到了驗證。在某些情況下優(yōu)于LSTM，如圖5所示。

圖5 各種模型預(yù)測結(jié)果比較

通過對以上數(shù)據(jù)的對比分析可知，筆者提出的HMDLF模型對長交通量數(shù)據(jù)(包括工作日和節(jié)假日，正常情況或異常情況)的高峰或低谷點預(yù)測是有效的，如圖5所示。交通量預(yù)測能夠很好地與實際情況相匹配，這意味著筆者提出的混合多模態(tài)深度學(xué)習(xí)預(yù)測框架能夠有效地學(xué)習(xí)多模態(tài)輸入交通數(shù)據(jù)的趨勢性、相互依賴性和時空相關(guān)性，有助于智能交通系統(tǒng)的發(fā)展。

3 結(jié)論和展望

本文提出的混合多模態(tài)深度學(xué)習(xí)模型(HMDLF)適用于非自由流的交通量預(yù)測。首先，模型整合了一維CNN和GRU作為一個基本模塊，來捕捉單模態(tài)交通數(shù)據(jù)局部趨勢和長相關(guān)性之間的相關(guān)特征。其次，CNN-GRU輔助注意力機制基于聯(lián)合自適應(yīng)的多模態(tài)表示和融合學(xué)習(xí)框架，能夠更有效地挖掘和學(xué)習(xí)多模態(tài)輸入交通數(shù)據(jù)的深層非線性相關(guān)特征，如交通速度、流量、通過時間和天氣狀況等。

該方法在交通流預(yù)測方面的主要改進(jìn)來自特征融合的多模態(tài)學(xué)習(xí)，它考慮了不同交通量數(shù)據(jù)之間的相關(guān)性，因為交通狀況與流量、速度、事件性質(zhì)等有關(guān)。該方法的主要特點包括時間序列的局部趨勢和長依賴性學(xué)習(xí)，峰值和波谷點具有容錯性的魯棒匹配，有效地利用多模式交通數(shù)據(jù)的時空相關(guān)性，通過對實際交通數(shù)據(jù)集的多角度實驗，驗證了模型在各種情況下的有效性。作為研究方向，筆者認(rèn)為相鄰交通網(wǎng)絡(luò)節(jié)點之間的交通流狀況是相互依存的。如何分析和利用這種相互依賴關(guān)系，對提高交通流預(yù)測模型的性能具有重要意義，但短時間內(nèi)有效的數(shù)據(jù)采集是一大障礙，交通事故或極端天氣情況下的數(shù)據(jù)采集更加困難。混合多模態(tài)深度學(xué)習(xí)框架還需要使用更多的交通數(shù)據(jù)集進(jìn)一步研究和完善。