基于時(shí)空卷積注意力網(wǎng)絡(luò)的道路速度預(yù)測(cè)研究

胡錚 林楊 曾秋霖 舒泰 武筱彬

摘? 要：針對(duì)交通流數(shù)據(jù)建模時(shí)空特性挖掘不足的問(wèn)題，提出了STGAN網(wǎng)絡(luò)。運(yùn)用時(shí)空?qǐng)D卷積和注意力機(jī)制挖掘道路網(wǎng)絡(luò)時(shí)空規(guī)律。注意力機(jī)制使得網(wǎng)絡(luò)對(duì)相鄰道路和歷史時(shí)間數(shù)據(jù)的關(guān)注度不同，其分組注意力卷積的機(jī)制能夠使得網(wǎng)絡(luò)訓(xùn)練擺脫路網(wǎng)空間拓?fù)湟?guī)模的限制，并使模型可運(yùn)用在較大規(guī)模的路網(wǎng)上。實(shí)驗(yàn)表明，STGAN模型在寧波高、快速路和主干路上速度預(yù)測(cè)誤差比DCRNN小，在寧波數(shù)據(jù)集上預(yù)測(cè)速度表現(xiàn)出良好的精度。

關(guān)鍵詞：公路運(yùn)輸；速度預(yù)測(cè)；時(shí)空依賴(lài)；注意力；圖卷積

中圖分類(lèi)號(hào)：TP39；U495? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）05-0128-04

Research on Road Speed Prediction Based on Spatiotemporal Convolution Attention Network

—A Case Study of Ningbo's Main Road Network

HU Zheng， LIN Yang， ZENG Qiulin， SHU Tai， WU Xiaobin

（Ningbo Transportation Development Research Center， Ningbo? 315042， China）

Abstract： STGAN network is proposed to solve the problem of insufficient mining of spatiotemporal characteristics of traffic flow data modeling. The spatiotemporal graph convolution and attention mechanism is used to mine the spatiotemporal laws of road network. The attention mechanism makes the network pay different attention to adjacent roads and historical time data. Its grouping attention convolution mechanism can make the network training get rid of the restriction of the spatial topological scale of the road network， and make the model can be applied to a large scale road network. The experiment shows that the STGAN model has a smaller speed prediction error than DCRNN in Ningbo high-speed， expressway and trunk roads， and the prediction speed shows good accuracy on Ningbo data set.

Keywords： road transportation; speed prediction; spatiotemporal dependence; attention; graph convolution

0? 引? 言

隨著機(jī)動(dòng)車(chē)數(shù)量的快速增加，而城市路網(wǎng)承載能力有限，城市路網(wǎng)的擴(kuò)張難以企及機(jī)動(dòng)車(chē)數(shù)量的增加速度，道路交通管理已經(jīng)成為當(dāng)前城市治理的難題之一。在互聯(lián)網(wǎng)技術(shù)和人工智能技術(shù)高度發(fā)達(dá)的今天，智能交通系統(tǒng)已被廣泛應(yīng)用于城市交通監(jiān)測(cè)及治理[1]，交通管理部門(mén)可以基于歷史路網(wǎng)交通流數(shù)據(jù)預(yù)測(cè)得到未來(lái)時(shí)段的交通狀況，預(yù)先進(jìn)行交通資源分配或智能調(diào)度交通信號(hào)來(lái)對(duì)道路通行進(jìn)行控制。出行者可以根據(jù)預(yù)測(cè)得到的路網(wǎng)交通狀態(tài)來(lái)規(guī)劃出行時(shí)間及出行方式，更好地進(jìn)行路徑規(guī)劃。精確實(shí)時(shí)的交通流預(yù)測(cè)可以幫助改善交通堵塞、交通事故等一系列道路交通問(wèn)題，對(duì)城市交通管理和綜合治理水平的提高具有重要意義。

交通流數(shù)據(jù)具有明顯的時(shí)間和空間的模式規(guī)律，國(guó)內(nèi)外眾多研究者針對(duì)交通流預(yù)測(cè)問(wèn)題提出了多種預(yù)測(cè)方法，分別從交通流的時(shí)間特性、空間特性、時(shí)空依賴(lài)等多方面展開(kāi)了深入研究，各自具有不同的優(yōu)點(diǎn)及適用范圍：

（1）時(shí)間序列模型。早在1975年時(shí)空相關(guān)性的概念就被提出，將時(shí)間序列計(jì)算模型延伸至空間領(lǐng)域，構(gòu)建了時(shí)空序列分析模型框架，從而能夠定量地測(cè)量時(shí)空依賴(lài)性。Moorthy將時(shí)間序列的移動(dòng)平均自回歸方法（ARMA）引入到交通流的預(yù)測(cè)當(dāng)中，開(kāi)啟了ARMA預(yù)測(cè)的大門(mén)。

（2）統(tǒng)計(jì)方法模型。Asif [2]等考慮到研究時(shí)空特性可以改善智能交通系統(tǒng)的性能，提出了利用K-means挖掘路網(wǎng)層面和路段層面的時(shí)空性能趨勢(shì)結(jié)合SVM對(duì)路網(wǎng)速度進(jìn)行預(yù)測(cè)。李樹(shù)彬[3]等通過(guò)層次聚類(lèi)判定交通流狀態(tài)，并結(jié)合相空間重構(gòu)和XGBoost算法提出了一種短時(shí)交通流預(yù)測(cè)模型。

（3）深度學(xué)習(xí)。Yang等[4]使用特征增強(qiáng)的LSTM方法用于交通流量預(yù)測(cè)，以遏制單一特征長(zhǎng)序列卷積導(dǎo)致的梯度下降問(wèn)題。朱凱利等[5]基于圖神經(jīng)網(wǎng)絡(luò)進(jìn)行交通流量和速度預(yù)測(cè)，利用圖卷積（GCN）捕獲圖的拓?fù)浣Y(jié)構(gòu)。Li等[6]引入擴(kuò)散卷積神經(jīng)網(wǎng)絡(luò)（DCRNN）進(jìn)行路網(wǎng)流量預(yù)測(cè)，基于圖上的雙向隨機(jī)游走來(lái)捕獲空間相關(guān)性，并使用具有預(yù)定采樣的編碼器-解碼器架構(gòu)來(lái)捕獲時(shí)間相關(guān)性，在規(guī)模較大的路網(wǎng)下有效。Wu等[7]基于WaveNet網(wǎng)絡(luò)預(yù)測(cè)時(shí)空交通流取得不錯(cuò)的效果。Rasaizadi等[8]使用人工神經(jīng)網(wǎng)絡(luò)和K-nearest鄰居混合的模型預(yù)測(cè)預(yù)測(cè)小時(shí)交通量和每小時(shí)平均流量速度，根據(jù)結(jié)果敏感性分析后，得出影響K-nearest和預(yù)測(cè)精度的關(guān)鍵特征。

交通流受到路段狀況、天氣情況、人為活動(dòng)等多種事件因素的影響，使得其具有高度的時(shí)變性、多模式性以及不確定性等特點(diǎn)，也增加了對(duì)交通流準(zhǔn)確預(yù)測(cè)的難度。本文針對(duì)短時(shí)交通量受隨機(jī)因素影響大、非線性強(qiáng)、時(shí)空規(guī)律多模態(tài)的特點(diǎn)，將時(shí)空卷積注意力網(wǎng)絡(luò)應(yīng)用于交通量預(yù)測(cè)的研究。

1? 時(shí)空卷積注意力預(yù)測(cè)模型

本文基于STGAN網(wǎng)絡(luò)進(jìn)行道路流量預(yù)測(cè)，STGAN模型有四個(gè)組成模塊，分別是位置編碼模塊、時(shí)空編碼器、時(shí)空解碼器和輸出模塊。如圖1所示。

1.1? 注意力模塊

在時(shí)空編碼器中分別使用了局部注意力模塊和分組注意力模塊，分別對(duì)交通流速度數(shù)據(jù)的時(shí)間和空間模式規(guī)律進(jìn)行建模。局部注意力機(jī)制用提取時(shí)序數(shù)據(jù)中的時(shí)間維度上的多模式依賴(lài)關(guān)系，基于不同的卷積核在時(shí)間序列上滑動(dòng)提取不同范圍內(nèi)的局部特征，基于Attention機(jī)制利用因果卷積在局部時(shí)間特征上挖掘交通流時(shí)序數(shù)據(jù)的時(shí)間依賴(lài)關(guān)系。

組范圍卷積注意力用于學(xué)習(xí)交通流路段節(jié)點(diǎn)間的空間依賴(lài)，使得它們難以捕獲空間依賴(lài)的動(dòng)態(tài)性和多模式性。由于實(shí)際應(yīng)用中路網(wǎng)規(guī)模大，圖注意力卷積的關(guān)于路網(wǎng)節(jié)點(diǎn)數(shù)N的計(jì)算復(fù)雜度是O（N2），對(duì)算力和內(nèi)存都將是挑戰(zhàn)。另外，路網(wǎng)中節(jié)點(diǎn)依賴(lài)隨著距離降低，反映在圖上就是節(jié)點(diǎn)依賴(lài)關(guān)系雖鄰域的階數(shù)增加而降低。組范圍卷積注意力使用核大小和步長(zhǎng)均為k的一維卷積將輸入節(jié)點(diǎn)分組，以降低網(wǎng)絡(luò)復(fù)雜性，組數(shù)通過(guò)式（1）計(jì)算：

（1）

其中? 表示向下取整函數(shù)，N表示路段節(jié)點(diǎn)的數(shù)量。卷積核k決定了組內(nèi)節(jié)點(diǎn)數(shù)量及組的數(shù)量，卷積操作將組內(nèi)節(jié)點(diǎn)信息進(jìn)行匯聚，之后使用注意力機(jī)制計(jì)算組間的注意力分?jǐn)?shù)，隨后將得到的注意力得分矩陣作為圖的鄰接權(quán)重矩陣，表示組與組之間的相關(guān)關(guān)系。

1.2? 位置編碼器

STGAN沒(méi)有用到LSTM的序列卷積，其采用了位置編碼器提取速度時(shí)間序列的位置信息，位置編碼器借鑒了Transformer中位置編碼的做法來(lái)考慮序列位置信息，如式（2）：

（2）

其中pos表示序列的位置，i表示編碼向量的位置下標(biāo)。由于交通流預(yù)測(cè)任務(wù)中使用歷史觀測(cè)值對(duì)未來(lái)值進(jìn)行預(yù)測(cè)，歷史輸入和預(yù)測(cè)輸出在序列上并不是獨(dú)立的，具有前后位置關(guān)系。如模型輸入的歷史時(shí)間步長(zhǎng)為P，預(yù)測(cè)輸出的時(shí)間步長(zhǎng)為Q，則據(jù)式（2）計(jì)算第1個(gè)位置到第P+Q個(gè)位置的連續(xù)編碼向量為：PE={PE1，PE2，…，PEP+Q}，為了在模型中考慮這種前后位置信息，本文將輸入序列和前P個(gè)位置編碼向量做加性和，如式（3）所示，其中⊕表示元素和，Xin表示輸入的交通流序列， 和? 將用于時(shí)空編碼器和時(shí)空解碼器的輸入：

（3）

1.3? 時(shí)空編碼器

時(shí)空編碼器由并行的空間編碼器和時(shí)間編碼器組成。每個(gè)空間編碼器層包含兩個(gè)子層，分別是組范圍卷積注意力和全連接前饋網(wǎng)絡(luò)。歷史觀測(cè)數(shù)據(jù)首先經(jīng)過(guò)一個(gè)1×1的卷積層被轉(zhuǎn)換為 ，然后輸入空間編碼器產(chǎn)生輸出 ，每個(gè)時(shí)間編碼器層由局部范圍卷積注意機(jī)制和前饋網(wǎng)絡(luò)組成，時(shí)間編碼器的其他部分與空間編碼器相同。在連續(xù)位置編碼嵌入后， 被饋送到時(shí)間編碼器并產(chǎn)生輸出 、 和? 經(jīng)過(guò)拼接后產(chǎn)生時(shí)空編碼器的最終輸出 。

1.4? 時(shí)空解碼器

時(shí)空解碼器由時(shí)間解碼器和空間解碼器串行組成，其中時(shí)間解碼器和空間解碼器都由L個(gè)相同的子層堆疊而成，解碼器中使用到的殘差連接、層正則化以及前饋網(wǎng)絡(luò)都和編碼器相同。時(shí)間解碼器中的注意力機(jī)制為局部范圍卷積注意力，將連續(xù)位置編碼模塊的輸出作為輸入，通過(guò)L層堆疊后生成輸出 。空間解碼器中使用的注意力機(jī)制是組范圍卷積注意力，空間解碼器的最后一個(gè)子層生成時(shí)空解碼器的最終輸出 。

1.5? 輸出模塊

在輸出模塊中，時(shí)空解碼器輸出的時(shí)空特征作為輸出模塊的輸入。輸出模塊由兩個(gè)1×1的標(biāo)準(zhǔn)卷積層組成，將時(shí)空解碼器的輸出轉(zhuǎn)換成期望的預(yù)測(cè)輸出，公式表示為：

（4）

2? 模型性能評(píng)估

本文提出的速度預(yù)測(cè)模在PMES數(shù)據(jù)集中的交通流速度進(jìn)行驗(yàn)證，如表1所示，PMES美國(guó)加州運(yùn)輸機(jī)構(gòu)性能檢測(cè)系統(tǒng)收集的高速公路交通監(jiān)控?cái)?shù)據(jù)，數(shù)據(jù)按照5 min時(shí)間跨度進(jìn)行切片，分別記錄了交通流量、平均速度和路段占用率，該數(shù)據(jù)集質(zhì)量較高不存在數(shù)據(jù)缺失的問(wèn)題。

2.1? 模型試驗(yàn)設(shè)置

將PEMS數(shù)據(jù)集劃分為70%訓(xùn)練集、30%驗(yàn)證集，本文使用Adam優(yōu)化器搭配閾值為5的梯度裁剪來(lái)訓(xùn)練模型。初始學(xué)習(xí)率為0.001，權(quán)重衰減為0.000 1，并且在每個(gè)數(shù)據(jù)集上訓(xùn)練模型150個(gè)批次，PEMS04數(shù)據(jù)集batch size為32，PEMS07數(shù)據(jù)集batch size為16。為防止過(guò)擬合，采取drop out和earl stop在驗(yàn)證集上的損失連續(xù)10個(gè)批次沒(méi)有減少時(shí)，停止訓(xùn)練，所有訓(xùn)練基于i9-9900K、RTX2080和128 GB內(nèi)存的Windows平臺(tái)進(jìn)行。

如表2所示，PEMS04和PEMS07的輸入輸出步長(zhǎng)均12，即用過(guò)去一個(gè)小時(shí)的而速度序列預(yù)測(cè)未來(lái)一個(gè)小時(shí)的速度序列。由于PEMS07道路數(shù)量多，組范圍卷積數(shù)量調(diào)整為100，編碼器和解碼器堆疊層數(shù)設(shè)置為4，損失函數(shù)選擇L1。

2.2? 試驗(yàn)結(jié)果

本文將所實(shí)現(xiàn)的STGAN模型與以下基準(zhǔn)模型進(jìn)行比較，包括傳統(tǒng)時(shí)間序列分析方法ARMA、時(shí)間序列深度學(xué)習(xí)預(yù)測(cè)方法FC-LSTM[4]、基于深度圖神經(jīng)網(wǎng)絡(luò)的方法DCRNN[6]、WaveNet[7]等模型，模型評(píng)價(jià)指標(biāo)選擇RMSE和MAPE。由表3多步預(yù)測(cè)平均誤差可知，相比FC-LSTM的序列卷積，時(shí)空卷積和圖注意力機(jī)制對(duì)交通流的多模式時(shí)空建模更有效；加入transformer結(jié)構(gòu)的STGAN比DCRNN在PMES-07數(shù)據(jù)集上表現(xiàn)更優(yōu)，原因在于PMES-07相比節(jié)點(diǎn)數(shù)量PMES-04更多，時(shí)空關(guān)系更復(fù)雜，與此同時(shí)，分組卷積在減少計(jì)算量的同時(shí)，挖掘路網(wǎng)節(jié)點(diǎn)之間的時(shí)空相關(guān)性依賴(lài)也更有效。

在圖2中的多步預(yù)測(cè)誤差圖中，隨著預(yù)測(cè)步長(zhǎng)的增加，F(xiàn)C-LSTM、DCRNN和STGAN預(yù)測(cè)誤差都在增加，在PEMS-07上的增加速度大于PEMS-04，STGAN在多步預(yù)測(cè)中精度較高，誤差上升速度慢于DCRNN。

3? 寧波路網(wǎng)速度預(yù)測(cè)

為了驗(yàn)證STGAN網(wǎng)絡(luò)在國(guó)內(nèi)城市交通速度預(yù)測(cè)的實(shí)際應(yīng)用效果，本文在寧波市高、快速路速度數(shù)據(jù)集（NB_expressway）和寧波主干道速度數(shù)據(jù)（NB_trunk_road）集上，訓(xùn)練STGAN模型并評(píng)估預(yù)測(cè)效果。

3.1? 預(yù)測(cè)案例

寧波路網(wǎng)運(yùn)行速度由浮動(dòng)車(chē)GPS地圖匹配與高德路況數(shù)據(jù)融合得到，每5 min計(jì)算一次全網(wǎng)道路運(yùn)行速度，幾乎覆蓋寧波城區(qū)所有主要道路，寧波路網(wǎng)信息及數(shù)據(jù)采集時(shí)間如表4所示。

由于車(chē)流在路網(wǎng)中時(shí)空分布不均勻的天然屬性，導(dǎo)致路網(wǎng)速度監(jiān)控?cái)?shù)據(jù)存在不同程度的缺失，高速數(shù)據(jù)缺失9.13%、快速路缺失14.82%、主干道缺失23.36%，缺失程度隨道路等級(jí)降低而加重。根據(jù)歷史速度數(shù)據(jù)分組統(tǒng)計(jì)得出寧波市道路運(yùn)行速度均值如表5所示，針對(duì)速度缺失不嚴(yán)重的路段進(jìn)行缺失值填補(bǔ)，以適當(dāng)緩解速度缺失對(duì)預(yù)測(cè)模型訓(xùn)練及預(yù)測(cè)精度的影響。STGCN具體的訓(xùn)練參數(shù)設(shè)置如表6所示，由于主干道數(shù)量多，NB_trunk_road分組卷積數(shù)量設(shè)置為6，transformer編碼解碼結(jié)構(gòu)設(shè)置為6，為降低顯存壓力，將批次大小調(diào)整為8。

3.2? 預(yù)測(cè)效果

由表7知，STGAN模型在寧波高、快速路和主干路上速度預(yù)測(cè)誤差比DCRNN小，在高、快速路上，預(yù)測(cè)誤差低0.39%，在主干路上低0.84%。在圖3多步預(yù)測(cè)誤差圖中，STGAN在NB_expressway和NB_trunk_road速度數(shù)據(jù)集上的預(yù)測(cè)誤差均隨著預(yù)測(cè)步長(zhǎng)的增加，并且主干道誤差上升明顯快于高、快速路，表明STGAN對(duì)路況更加復(fù)雜的城市主干道交通流時(shí)空關(guān)系建模能力有所下降，STGAN在寧波高快速路和主干路的預(yù)測(cè)效果如圖4所示。

4? 結(jié)? 論

本文提出的STGAN網(wǎng)絡(luò)預(yù)測(cè)道路速度，在開(kāi)放數(shù)據(jù)集上達(dá)到與主流標(biāo)準(zhǔn)模型一致水平的預(yù)測(cè)精度，其優(yōu)勢(shì)在于結(jié)合時(shí)空注意力機(jī)制時(shí)，使用局部注意力卷積和分組注意力卷積網(wǎng)絡(luò)訓(xùn)練參數(shù)收斂速度快。另外，分組注意力卷積用于學(xué)習(xí)交通流路段節(jié)點(diǎn)間的空間依賴(lài)，使得網(wǎng)絡(luò)捕獲空間依賴(lài)的動(dòng)態(tài)性和多模式性。在寧波實(shí)際道路速度預(yù)測(cè)場(chǎng)景中，誤差比傳統(tǒng)模型小，證明了模型的有效性；同時(shí)需要注意的是，在城市主干道速度預(yù)測(cè)中，由于路網(wǎng)結(jié)構(gòu)復(fù)雜，道路數(shù)量多，易受交通信號(hào)限制，速度預(yù)測(cè)難度增加，模型存在預(yù)測(cè)精度下降的問(wèn)題，下一步需投入更多精力解決此問(wèn)題。

參考文獻(xiàn)：

[1] 冉斌．世界智能交通進(jìn)展與趨勢(shì) [J].中國(guó)公路，2018（14）：22-23.

[2] ASIF M T，DAUWELS J，CHONG Y G，et al. Spatiotemporal Patterns in Large-Scale Traffic Speed Prediction [J].IEEE Transactions on Intelligent Transportation Systems，2014，15（2）：794-804.

[3] 李樹(shù)彬，孔祥科，李青桐，等.考慮混沌特性的PSR-XGBoost短期交通流預(yù)測(cè)（英文） [J].東南大學(xué)學(xué)報(bào)：英文版，2022，38（1）：92-96.

[4] YANG B L，SUN S L，LI J Y，et al. Traffic flow prediction using LSTM with feature enhancement [J].Neurocomputing，2019，332：320-327.

[5] 朱凱利，朱海龍，劉靖宇，等.基于圖卷積神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測(cè) [J].智能計(jì)算機(jī)與應(yīng)用，2019，9（6）：168-170+177.

[6] LI Y G，YU R，SHAHABI C，et al. Diffusion Convolutional Recurrent Neural Network： Data-Driven Traffic Forecastingg [J/OL]. arXiv：1707.01926 [cs.LG].[2022-09-28].https：//arxiv.org/abs/1707.01926.

[7] WU Z H，PAN S R，LONG G D，et al. Graph WaveNet for Deep Spatial-Temporal Graph Modeling [J/OL]. arXiv：1906.00121 [cs.LG].[2022-09-29].https：//arxiv.org/abs/1906.00121.

[8] RASAIZADI A，ARDESTANI A，SEYEDABRISHAMI S. Traffic management via traffic parameters prediction by using machine learning algorithms [J].IJHCM（International Journal of Human Capital Management），2021，6（1）：57-68.

作者簡(jiǎn)介：胡睜（1985—），男，漢族，浙江寧波人，高級(jí)工程師，碩士，研究方向：交通信息化。

收稿日期：2022-10-20

基金項(xiàng)目：寧波市交通運(yùn)輸局科技項(xiàng)目（202117）