基于圖注意力機制的交通流預(yù)測模型

周安眾, 謝丁峰

(湖南工業(yè)職業(yè)技術(shù)學(xué)院信息工程學(xué)院, 湖南 長沙 410208)

0 引言(Introduction)

近年來,研究人員為了消除交通流預(yù)測中的時空因素的影響,采用了各種深度學(xué)習(xí)模型[1]。其中,圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network,GCN)用于建模交通網(wǎng)絡(luò)這類非歐結(jié)構(gòu)數(shù)據(jù)已被證明是有效的[2]。在時間建模方面,遞歸神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是短時交通流預(yù)測(30 min以內(nèi))中的常用方法[3]。然而,對更長時間(45 min以上)的交通流預(yù)測效果仍不理想[4],具體原因如下。

(1)路網(wǎng)中節(jié)點信息不僅隨相鄰節(jié)點變化,還間接受到更遠距離節(jié)點(高階節(jié)點)的影響。傳統(tǒng)深度學(xué)習(xí)模型以局部特征為中心,需要疊加多層結(jié)構(gòu)提取全局特征,訓(xùn)練時容易出現(xiàn)梯度彌散問題,不能有效提取長距離空間依賴關(guān)系。

(2)交通流量發(fā)生周期性的變化,如日高峰時間或其他周期事件,有必要引入長期的歷史時間依賴關(guān)系捕捉周期特征。長短期記憶網(wǎng)絡(luò)和門控循環(huán)單元常用來提取長距離時間依賴關(guān)系,但在迭代訓(xùn)練時可能會導(dǎo)致誤差累積[5-7]。

綜上所述,本文提出一種結(jié)構(gòu)化圖注意力網(wǎng)絡(luò)模型(Structural Graph Attention Network,SGAN)。一方面,SGAN采用注意力機制替代了傳統(tǒng)深度學(xué)習(xí)架構(gòu)中的局部卷積核,使其在長距離約束情況下能高效提取時空特征。另一方面,SGAN在計算注意力系數(shù)時利用節(jié)點的結(jié)構(gòu)信息,不僅考慮了節(jié)點之間的特征相關(guān)性,還考慮了節(jié)點的連接方式。

1 問題描述(Problem statement)

對于交通流預(yù)測任務(wù),建立圖G=(V,ε,A),其中V是圖G中的節(jié)點集,ε是邊集,反映節(jié)點之間的連通性。A∈N×N表示G的鄰接矩陣。同時,建立矩陣X(t)∈N×d作為t時刻的輸入特征矩陣,其中N表示節(jié)點數(shù),d表示特征的維度。給定圖G中T個時間步的輸入特征序列(X=[x(t-T+1),…,x(t)]),通過學(xué)習(xí)映射函數(shù)f預(yù)測未來T′個時間步的交通流(Y=[x(t+1),…,x(t+T′)])。G提供了圖的空間信息,T則提供了圖中交通流的時間信息,學(xué)習(xí)函數(shù)f將輸入的T個歷史時間步數(shù)據(jù)映射到未來的T′個時間步上。

2 模型架構(gòu)(Model architecture)

2.1 整體架構(gòu)

本文提出的SGAN整體架構(gòu)如圖1所示,由多個時空注意力模塊組成,每個模塊包含一個空間依賴層(Spatial Dependencies Layer, SDL)和一個時間依賴層(Temporal Dependencies Layer, TDL),并加入了殘差結(jié)構(gòu)[8]。歷史周期數(shù)據(jù)經(jīng)過特征轉(zhuǎn)換后作為時空注意力模塊的輸入,并通過多個SDL和TDL生成最終輸出。SDL主要關(guān)注節(jié)點在圖上的結(jié)構(gòu)依賴關(guān)系,而TDL則主要關(guān)注節(jié)點在時間步上的順序依賴關(guān)系。

圖1 SGAN模型的整體架構(gòu)圖Fig.1 The overall architecture of the SGAN model

一般來說,輸入的T個歷史時間步與待預(yù)測的T′個時間步相鄰,為最近一個小時內(nèi)的歷史觀測數(shù)據(jù)。此外,每日和每周的長期歷史觀測數(shù)據(jù)也能幫助預(yù)測未來交通流的周期變化[9],日數(shù)據(jù)設(shè)為待預(yù)測時間前一天的相同時間步,周數(shù)據(jù)設(shè)為待預(yù)測時間前一周的相同時間步,則最近的小時數(shù)據(jù)記為Xh,日數(shù)據(jù)記為Xd,周數(shù)據(jù)記為Xw,將三個數(shù)據(jù)進行連接作為SGAN的最終輸入數(shù)據(jù):

X=concat(Xh,Xd,Xw)

(1)

數(shù)據(jù)經(jīng)過連接后包含交通流不同的周期模式,有利于模型提取長期影響下的周期變化特征,然后通過一個全連接層對其特征進行變換,得到一個高維向量,輸入到時空注意力模塊進行特征提取[10]。

2.2 空間依賴層

交通網(wǎng)絡(luò)圖中不同位置的節(jié)點因不同的連接方式導(dǎo)致其重要性存在差異,SDL中引入圖注意力機制自適應(yīng)地計算每個節(jié)點的注意力系數(shù),即節(jié)點的重要度[11]。對于節(jié)點vi,對應(yīng)特征為xi,則其輸出特征zi通過公式(2)計算:

(2)

本質(zhì)上,公式(2)是對vi的鄰居節(jié)點的聚合操作[12]。xj是鄰居節(jié)點特征,W∈dx×dz是待學(xué)習(xí)的參數(shù)矩陣,σ是激活函數(shù),αij是vi相對于vj的注意力系數(shù),由以下公式計算:

(3)

其中,n是vi的鄰居節(jié)點數(shù)量,eij利用公式(2)中的共享參數(shù)W對特征進行變換,再由單層前饋神經(jīng)網(wǎng)絡(luò)函數(shù)a得到:

eij=a(Wxi,Wxj)

(4)

公式(2)通過聚合vi的鄰居節(jié)點特征得到zi,沒有考慮每個節(jié)點的連接方式。如圖2所示,假設(shè)以A為中心節(jié)點,接收來自其鄰居節(jié)點的信息,圖3中D的不同邊數(shù)將導(dǎo)致傳遞到節(jié)點A的信息強度不同。因此,需要考慮中心節(jié)點與其相鄰節(jié)點之間的拓撲關(guān)系,并對拓撲結(jié)構(gòu)進行編碼,從而得到圖的空間依賴關(guān)系。

圖2 A節(jié)點接收鄰居節(jié)點傳遞的信息Fig.2 Node A receiving information transmitted by neighboring nodes

圖3 鄰居節(jié)點的結(jié)構(gòu)不同導(dǎo)致信息傳遞強度不同F(xiàn)ig.3 Different information intensities caused by different structures of neighboring nodes

基于以上問題,在注意力機制中引入結(jié)構(gòu)信息。首先將單位矩陣I添加到鄰接矩陣A中,為每個節(jié)點創(chuàng)建一個自循環(huán):

(5)

(6)

(7)

(8)

圖4 SDL提取高階鄰居節(jié)點的結(jié)構(gòu)信息Fig.4 SDL extracting structural information of high-order neighbor

(9)

隨著k的增加,注意力機制將應(yīng)用于更高階的節(jié)點,即更長距離的節(jié)點。結(jié)合公式(2),定義vi與第k階鄰居的注意力機制如下:

(10)

將提取到的不同階特征連接起來:

(11)

2.3 空間依賴層

圖5 TDL提取節(jié)點不同時間步之間的依賴關(guān)系Fig.5 TDL extracting dependencies between nodes at different time steps

(12)

(13)

(14)

為了提高特征的表達能力,采用多頭注意力[14],由n個并行的注意力機制共同輸出,并連接為最終的輸出:

(15)

模型將上述多個時空模塊進行堆疊,形成多層結(jié)構(gòu),并采用具有ReLU激活函數(shù)的全連接層作為模型的最終輸出:

Y=ReLU(φH+b)∈T′

(16)

公式(16)不僅再次提高了特征表示的能力,還將最終的輸出變換為真實預(yù)測值的維度,其中T′是用于預(yù)測的時間步長數(shù)。

3 實驗(Experiment)

3.1 數(shù)據(jù)集描述

本文在以下三個真實交通數(shù)據(jù)集上驗證SGAN的性能。

(1)METR-LA:該數(shù)據(jù)集包含從美國洛杉磯高速公路上的探測器收集的交通信息,選擇了其中207個傳感器從2012年3月1日到2012年6月30日采集的數(shù)據(jù)。

(2)PeMS-BAY:該數(shù)據(jù)集由美國加利福尼亞州運輸機構(gòu)(CalTrans)收集,包含325個傳感器從2017年1月到2017年5月采集的數(shù)據(jù)。

(3)PeMS-S:該數(shù)據(jù)集也是由美國加利福尼亞州運輸機構(gòu)(CalTrans)收集,由228個傳感器從2012年5月至2012年6月采集的數(shù)據(jù)。

以上所有數(shù)據(jù)集的時間步長的間隔為5 min,應(yīng)用Z-Score標準化,70%的數(shù)據(jù)用于訓(xùn)練,20%的數(shù)據(jù)用于測試,其余10%的數(shù)據(jù)用于驗證。

3.2 實驗設(shè)置

本文實驗均由谷歌TensorFlow深度學(xué)習(xí)平臺實現(xiàn),運行在NVIDIA Titan RTX GPU平臺上,使用RMSprop優(yōu)化器,迭代訓(xùn)練50次。三個周期數(shù)據(jù)的時間步長為Th=12,Td=12,Tw=12,歷史時間步長總和T=36。預(yù)測時間步長T′=12,通過全連接神經(jīng)網(wǎng)絡(luò)將輸入的原始周期數(shù)據(jù)轉(zhuǎn)換為16維的特征向量,作為第一個時空注意力模塊的輸入。整個架構(gòu)堆疊2個時空注意力模塊,每個模塊采用8頭注意力機制,高階參數(shù)k為3。

3.3 基準模型與評價指標

本文采用三個度量標準用于評估SGAN的性能,包括平均絕對誤差(MAE)、均方根誤差(RMSE)和平均絕對百分比誤差(MAPE),將SGAN與以下代表性的基準模型進行比較。

(1)ARIMA:差分自回歸移動平均模型,一種時間序列分析方法[15]。

(2)FC-LSTM:解決了LSTM只考慮時序,沒有考慮空間相關(guān)性的問題,使用了帶有全連接層的LSTM模型提取時空依賴關(guān)系[16]。

(3)STGCN:時空圖卷積模型,使用CNN卷積的方式提取時空依賴關(guān)系[17]。

(4)DCRNN:擴散卷積循環(huán)神經(jīng)網(wǎng)絡(luò),將交通流建模為擴散過程,采用擴散卷積提取空間依賴關(guān)系,采用RNN提取時間依賴關(guān)系[18]。

(5)Graph WaveNet:一種圖神經(jīng)網(wǎng)絡(luò)架構(gòu),采用擴散圖卷積提取空間依賴關(guān)系,采用帶空洞的卷積核提取時間依賴關(guān)系[19]。

(6)ASTGCN:時空注意力模型,結(jié)合注意力機制和卷積核同時捕獲時空依賴關(guān)系[9]。

(7)SLCNN:結(jié)構(gòu)學(xué)習(xí)卷積模型,將傳統(tǒng)的CNN擴展到圖域并學(xué)習(xí)圖的結(jié)構(gòu)信息用于交通流預(yù)測[20]。

(8)NS-SGAN:在SGAN的基礎(chǔ)上,去除了SDL和TDL中的轉(zhuǎn)移矩陣和結(jié)構(gòu)化向量,評估SGAN中結(jié)構(gòu)化設(shè)計的有效性。

3.4 實驗結(jié)果

表1和表2分別顯示了在METR-LA和PeMS-BAY數(shù)據(jù)集上,SGAN與其他基準模型在15 min、30 min和60 min時的預(yù)測結(jié)果比較,從中可以看出,基于圖結(jié)構(gòu)的STGCN、GraphWaveNet以及本文的SGAN大部分數(shù)據(jù)皆優(yōu)于FC-LSTM等非圖結(jié)構(gòu)模型,說明交通網(wǎng)絡(luò)的結(jié)構(gòu)信息對交通預(yù)測至關(guān)重要。與其他時空模型相比,采用了注意力機制的SGAN大部分數(shù)據(jù)優(yōu)于基于卷積的STGCN和基于遞歸的DCRNN模型,而SGAN采用注意力機制提取長距離依賴關(guān)系,在60 min的預(yù)測中優(yōu)勢更明顯,表明注意力機制在長時預(yù)測方面更有效。同時,SGAN的結(jié)果明顯優(yōu)于去除結(jié)構(gòu)化信息的NS-SGAN,證明了注意力機制中的結(jié)構(gòu)信息是重要的。

表 1 SGAN和基準模型在METR-LA上的性能比較

表3比較了SGAN與基準模型在PeMS-S數(shù)據(jù)集上針對15 min、30 min、45 min和60 min交通流的預(yù)測結(jié)果。采用圖結(jié)構(gòu)和注意力機制的模型,其表現(xiàn)優(yōu)于包括ARIMA和FC-LSTM在內(nèi)的時間序列模型,與基于GCN和RNN結(jié)構(gòu)的STGCN、DCRNN模型相比,采用注意力機制的SGAN效果更優(yōu)。由于ASTGCN只是部分采用注意力機制,仍然結(jié)合了卷積核進行特征提取,因此其無法有效提取長距離依賴關(guān)系,需要多個獨立模塊分別提取不同的周期特征,增加了模型的復(fù)雜性。相比Graph WaveNet,SGAN在45 min和60 min的預(yù)測上表現(xiàn)更好,證明了注意機制對更長時間交通流預(yù)測的能力;Graph WaveNet由于采用了小感受野的卷積核,因此在提取短距離依賴方面的表現(xiàn)不錯,在長距離依賴方面不如SGAN有效,特別是SGAN采用完全的注意力機制,可以直接提取長距離時空依賴性,不需要通過疊加太深的層增加感受野,從而降低了模型訓(xùn)練的難度。

表 3 在PeMS-S 數(shù)據(jù)集上的實驗結(jié)果對比

本文還分析了高階情況下模型的性能,圖6顯示了在PeMS-BAY數(shù)據(jù)集上MAE取不同k值的結(jié)果比較?？梢钥闯?k值越大,數(shù)據(jù)集上的MAE結(jié)果越小。當模型考慮更高階的鄰居時,k必須設(shè)置得足夠大,以覆蓋每個節(jié)點足夠遠的鄰居。然而,高階信息意味著更多的參數(shù),當參數(shù)數(shù)量增加時,訓(xùn)練時過擬合問題會導(dǎo)致效果不明顯。此外,對于較大的k值,經(jīng)過多層特征提取后,圖上節(jié)點的信息傳遞會過于平滑,注意力系數(shù)的權(quán)重會趨向于平均分配,對節(jié)點失去區(qū)分性。

圖6 PeMS-BAY數(shù)據(jù)集上取不同k值的MAE結(jié)果Fig.6 MAE results of different values of k on PeMS-BAY

為了觀察注意力機制的影響,從SDL提取出學(xué)習(xí)到的注意力系數(shù)矩陣并可視化。從PeMS-S數(shù)據(jù)集中隨機選擇的16個傳感器(節(jié)點),其連接的結(jié)構(gòu)如圖7所示。圖8是當k=1時的注意力系數(shù)熱力圖,點(x,y)處的像素值表示節(jié)點x對節(jié)點y的注意力系數(shù),像素值顏色越深,表示對應(yīng)的注意力系數(shù)權(quán)重越高。由于鄰接矩陣A的對稱性,因此系數(shù)矩陣也具有對稱的形式。當k大于1時,觀察到許多較深色的非對角塊,因為階數(shù)增加時,在感受野中有更多的節(jié)點,相當于可以提取到更長距離的節(jié)點依賴關(guān)系。以節(jié)點11為例,圖8只考慮一階鄰居節(jié)點,如節(jié)點2、7、8及其自身。當k值增大時,可以從圖9和圖10中看到,節(jié)點11與更遠處的節(jié)點產(chǎn)生了明顯的注意力系數(shù),即考慮了長距離的空間依賴性。

圖7 隨機選取節(jié)點形成的結(jié)構(gòu)圖Fig.7 Structure diagram formed by randomly selecting nodes

圖8 k為1時注意力系數(shù)熱力圖Fig.8 Heat map of attention coefficient when k is 1

圖9 k為2時注意力系數(shù)熱力圖Fig.9 Heat map of attention coefficient when k is 2

圖10 k為3時注意力系數(shù)熱力圖Fig.10 Heat map of attention coefficient when k is 3

4 結(jié)論(Conclusion)

本文提出了一種基于圖注意力機制的交通流預(yù)測模型,該模型摒棄了傳統(tǒng)的卷積、遞歸單元,采用注意力機制能有效地提取交通網(wǎng)絡(luò)圖中的長距離時空依賴關(guān)系。同時,在注意力機制中引入了空間結(jié)構(gòu)和時間結(jié)構(gòu)信息,使模型不僅考慮了節(jié)點之間的特征相關(guān)性,還考慮了節(jié)點的連接方式,在長距離時空上能有效區(qū)分不同的節(jié)點。在真實數(shù)據(jù)集上的實驗表明,該模型的預(yù)測結(jié)果明顯優(yōu)于現(xiàn)有模型。