基于時空注意力圖卷積神經(jīng)網(wǎng)絡(luò)的交通速度預(yù)測

黃偉堅 李春貴

摘? 要：交通速度是衡量交通狀態(tài)的一個重要指標(biāo)，實時、準(zhǔn)確的交通速度預(yù)測是構(gòu)建智能交通系統(tǒng)的重要一環(huán)。針對交通速度存在隨機性、非線性、時空相關(guān)性等問題，提出了一種新的基于注意力機制和圖卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的交通速度預(yù)測模型。首先，使用注意力機制構(gòu)建時空注意力權(quán)重矩陣，再聯(lián)合圖卷積方法捕獲交通信息中的空間相關(guān)性特征;然后，通過門控時卷積的方法獲取時間相關(guān)性;最后，將所提模型與其他5個基準(zhǔn)模型分別在2組公開的交通速度數(shù)據(jù)集上進行預(yù)測。實驗結(jié)果表明，該預(yù)測模型在2個數(shù)據(jù)集上的準(zhǔn)確率分別為75.1%和86.6%，比先進的基準(zhǔn)模型的準(zhǔn)確率高3%左右。說明所提模型具有較高的準(zhǔn)確率和穩(wěn)定性，可為交通管理提供科學(xué)依據(jù)。

關(guān)鍵詞：交通速度預(yù)測;注意力機制;圖卷積;時空相關(guān)性

中圖分類號：TP183;U491.2? ? ? ? ? ? ? ? DOI：10.16375/j.cnki.cn45-1395/t.2022.01.009

0? ? 引言

交通在日常生活當(dāng)中起著至關(guān)重要的作用，構(gòu)建健康有序的智能交通管理系統(tǒng)，緩解交通擁堵成為了當(dāng)今社會的迫切需求。交通速度是反映交通狀況的一個重要因素，精準(zhǔn)的交通速度預(yù)測不僅可以為交通管理者提供科學(xué)的交通規(guī)劃依據(jù)，還可以為出行者規(guī)劃出行路線，從而有效地緩解交通擁堵問題。交通速度作為交通流的主要參數(shù)，反映交通路網(wǎng)的服務(wù)水平。然而，由于交通路網(wǎng)在不同時段的交通道路之間存在著不同的交通狀態(tài)，在路網(wǎng)中不同位置的車輛速度也存在顯著的差異性，因此，交通速度具有復(fù)雜的時空相關(guān)性。

目前常見的交通預(yù)測模型分為3大類：基于統(tǒng)計理論方法的模型、基于傳統(tǒng)機器學(xué)習(xí)方法的模型、基于深度學(xué)習(xí)方法的模型。隨著互聯(lián)網(wǎng)的發(fā)展和大數(shù)據(jù)時代的到來，交通數(shù)據(jù)量急劇增長，一些傳統(tǒng)的交通預(yù)測方法難以在智能交通的實際應(yīng)用中達到滿意的效果，因此，基于深度學(xué)習(xí)的算法模型成為了研究熱點。近年來，基于神經(jīng)網(wǎng)絡(luò)方法的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在自然語言處理領(lǐng)域中應(yīng)用甚廣。Ma等[1]首次提出了將長短期記憶網(wǎng)絡(luò)（LSTM）應(yīng)用于交通速度預(yù)測，利用循環(huán)神經(jīng)網(wǎng)絡(luò)捕獲交通速度在不同時間片段中的潛在相關(guān)性，并取得不錯的預(yù)測效果。Fu等[2]利用LSTM和門控循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU）進行短時交通流預(yù)測，實驗結(jié)果表明，基于LSTM和GRU等循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測效果優(yōu)于傳統(tǒng)的時間序列模型。秦勝君等[3]提出基于LSTM模型的交通軌跡異常挖掘模型，提高了異常檢測的精度。雖然循環(huán)神經(jīng)網(wǎng)絡(luò)常被用于處理時序數(shù)據(jù)，但其本身存在著梯度消失和梯度爆炸的風(fēng)險。為了同時捕獲交通數(shù)據(jù)中的空間相關(guān)性和時間相關(guān)性，羅文慧等[4]通過結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）和支持向量回歸（SVR）的方法用于交通流預(yù)測，利用一維CNN來捕獲交通路網(wǎng)下的空間相關(guān)性，通過SVR模型挖掘交通流量的時間變化特征。由于交通數(shù)據(jù)不是標(biāo)準(zhǔn)的網(wǎng)格數(shù)據(jù)，交通網(wǎng)絡(luò)具有復(fù)雜的拓撲結(jié)構(gòu)，因此，基于CNN的預(yù)測方法具有局限性。Yu等[5]提出STGCN模型，通過使用圖神經(jīng)網(wǎng)絡(luò)和普通一維卷積神經(jīng)網(wǎng)絡(luò)進行交通速度預(yù)測。雖然該方法使用了圖神經(jīng)網(wǎng)絡(luò)來捕獲交通信息的空間特征，但是，該模型在時間維度上還是延續(xù)傳統(tǒng)的一維卷積神經(jīng)網(wǎng)絡(luò)，導(dǎo)致模型在獲取交通信息的時間相關(guān)性方面受限。為了避免傳統(tǒng)CNN和RNN存在的缺點，更好地捕獲交通數(shù)據(jù)中的時空相關(guān)性，本文將提出一種新的基于注意力機制和圖卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的交通速度預(yù)測模型，用于提高交通速度預(yù)測的準(zhǔn)確率。

1? ? 問題描述與模型構(gòu)建

1.1? ?問題描述及定義

以交通速度預(yù)測作為目標(biāo)。交通速度預(yù)測是指根據(jù)道路上交通速度的歷史數(shù)據(jù)來預(yù)測未來一段時間的交通速度，如式（1）所示：

[[Xt+1， Xt+2， …， Xt+P]=f（Xt?t?， …， Xt?1， Xt）]，? ? ?（1）

其中：[t?]表示輸入的時間序列長度，[P]表示被預(yù)測的時間序列長度，[X∈? N×t]為特征矩陣，[?]為實數(shù)集，[N]為道路總數(shù)，[t]為歷史數(shù)據(jù)的時間序列總長度。

交通路網(wǎng)具有拓撲特性，使用圖[G=（V， E， A）]來表示路網(wǎng)結(jié)構(gòu)，如圖1所示，將每一段交通道路假設(shè)為一個節(jié)點，[V]表示所有節(jié)點的集合，[V=（v1， v2， …， vN）]，[N]為道路總數(shù)，道路之間通過邊來連接，[E]表示邊的集合。用鄰接矩陣[A∈?N×N]表示道路之間的連通關(guān)系，[Wij]表示節(jié)點[i]到節(jié)點[j]的權(quán)重關(guān)系。

1.2? ? 模型結(jié)構(gòu)

由于交通速度預(yù)測問題存在著復(fù)雜的時間相關(guān)性和空間相關(guān)性，為了提高預(yù)測準(zhǔn)確率，降低訓(xùn)練誤差，提出一種新型的交通速度預(yù)測模型：基于時空注意力機制下的圖時序卷積神經(jīng)網(wǎng)絡(luò)模型（ST-AGTCN）。ST-AGTCN包含3大模塊：1）注意力模塊，利用注意力機制模塊，通過對輸入的交通數(shù)據(jù)進行學(xué)習(xí)，從而構(gòu)建出時空注意力矩陣[S'];2）GCN模塊，使用與切比雪夫多項式近似的GCN方法來獲取交通數(shù)據(jù)的空間相關(guān)性特征;3）門控時卷積模塊，通過門控時卷積捕獲交通數(shù)據(jù)的時間相關(guān)性特征。ST-AGTCN模型總體框架如圖2所示。

1.3? ?注意力模塊

由于交通路網(wǎng)信息隨時間動態(tài)變化，因此，在不同的時間段中，每個節(jié)點的相關(guān)性權(quán)重是動態(tài)變化的。注意力機制的核心思想是根據(jù)輸入數(shù)據(jù)自適應(yīng)地關(guān)注最相關(guān)的特征。本文使用Soft-attention機制[6]，構(gòu)建時空注意力權(quán)重矩陣，動態(tài)地捕獲交通速度在交通網(wǎng)絡(luò)上的時空相關(guān)性特征。

在時間維度上，不同時間段之間的交通速度存在著相關(guān)性。通過注意力機制對輸入數(shù)據(jù)賦予不同的時間相關(guān)性權(quán)重[7]，可根據(jù)當(dāng)前的輸入數(shù)據(jù)動態(tài)調(diào)整時間注意力矩陣[W]，如式（2）所示：

[W=Vt?σ（（XTU1）U2（U3X）+bt）]，? ? ? ? ?（2）

式中：[W∈?t?×t?]是時間相關(guān)性的權(quán)重矩陣;[X∈?N×t?]是輸入的特征矩陣;[Vt， bt∈?t?×t?]、[U1∈?N]、[U2∈?C×N]、[U3∈?C]，為該注意力網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù);[N]為節(jié)點數(shù);[t?]表示輸入的時間序列長度;[C]為特征通道數(shù)，在本文中，設(shè)[C]=1。

使用softmax函數(shù)對時間注意力矩陣進行歸一化處理，然后對輸入數(shù)據(jù)進行時間相關(guān)性加權(quán)處理來動態(tài)調(diào)整輸入數(shù)據(jù)，如式（3）所示：

[W'i， j=exp（Wi， j）j=1t exp（Wi， j）]，? ? ? ? ? ? ? ? ? ? ? ?（3）

[Xh=（X1， X2， …， Xt?）=（X1， X2， …， Xt?）W'] ，? ? （4）

式中：[Wi， j∈?t?×t?]表示第[i]個時間段和第[j]個時間段的交通速度的時間相關(guān)性矩陣，[Xh∈?N×C×t?]表示在時間維度上動態(tài)調(diào)整后的特征矩陣。

在空間維度上，由于不同路段之間的交通狀態(tài)互相影響，因此，使用注意力機制對不同節(jié)點構(gòu)建權(quán)重矩陣，如下所示：

[S=Vs·σ（（XhQ1）Q2（Q3Xh）T+bs）]，? ? ? ? ?（5）

[S'i， j=exp（Si， j）j=1N exp（Si， j）] ，? ? ? ? ? ? ? ? ? ? （6）

其中：[S∈?N×N]是時空注意力矩陣，根據(jù)當(dāng)前的 輸入動態(tài)來計算;[Vs，bs∈?N×N]、[Q1∈?t?]、[Q2∈?C×t?]、[Q3∈?C]為注意力網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù);[Xh∈?N×t?]是在時間維度上處理過的輸入數(shù)據(jù)，將[Xh]作為當(dāng)前層的輸入，計算出時空注意力矩陣[S]，然后使用softmax函數(shù)對時空注意力矩陣進行歸一化處理;[S'i， j]矩陣元素的數(shù)值大小表示對應(yīng)節(jié)點[i]和節(jié)點[j]之間時空相關(guān)性強度?；贕uo等[8]的研究，當(dāng)執(zhí)行圖卷積操作時，聯(lián)合注意力矩陣[S'i， j]動態(tài)提取交通數(shù)據(jù)的空間特征。

1.4? ?圖卷積模塊

如何利用交通網(wǎng)絡(luò)各觀測節(jié)點之間的空間相關(guān)性一直是交通預(yù)測中重點研究的問題。卷積神經(jīng)網(wǎng)絡(luò)（CNN）在計算機視覺領(lǐng)域中得到了很好的應(yīng)用[9]，但是CNN模型只適用于在歐式空間中處理網(wǎng)格數(shù)據(jù)，并不適用于具有復(fù)雜拓撲結(jié)構(gòu)的交通網(wǎng)絡(luò)。如圖3所示，圖像數(shù)據(jù)屬于網(wǎng)格數(shù)據(jù)，而交通數(shù)據(jù)是具有拓撲結(jié)構(gòu)的圖數(shù)據(jù)。近年來利用圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）的方法處理具有拓撲結(jié)構(gòu)的圖數(shù)據(jù)受到了廣泛關(guān)注。GCN 分為2個主流派：基于頻譜圖理論的方法[10]和基于空間域的方法[11]。本文將采用基于頻譜圖理論的方法從交通數(shù)據(jù)中提取空間特征。

在譜圖分析中，圖由其對應(yīng)的拉普拉斯矩陣表示。圖拉普拉斯矩陣定義為：

[L=D?A] ，? ? ? ? ? ? ? ? ? ? ? ?（7）

標(biāo)準(zhǔn)化的拉普拉斯矩陣定義為：

[L=IN?D?12AD?12=UΛUT] ，? ? ? ?（8）

式中：[IN]為單位矩陣，[A∈?N×N]為鄰接矩陣，[D∈?N×N]為度矩陣，[Λ]為[L]矩陣的特征值組成的對角矩陣。

在頻譜圖理論中，輸入特征[x∈?N×t?]被視為圖上的信號，信號[x]通過圖形傅里葉變換被變換到譜域。GCN是通過在傅里葉域中對角化的線性算子來代替經(jīng)典卷積算子而實現(xiàn)的卷積運算[12]。信號[x]在圖上的卷積操作表示為：

[gθ?Gx=gθ（L）x=gθ（UΛUT）x=Ugθ（Λ）UTx].? （9）

如式（9）所示，[gθ]為卷積核;[?G]表示圖形的卷積運算;[L∈?N×N]，為圖拉普拉斯矩陣;[Λ∈?N×N];[UTx] 表示[x]的傅里葉變換。

當(dāng)圖的規(guī)模較大時，計算[L]矩陣特征值分解的復(fù)雜度會變得很高。為了解決特征值分解計算成本高的問題，采用切比雪夫多項式近似的GCN方法有效地解決了這個問題[13]。如式（10）所示：

[gθ?Gx=gθ（L）x≈k=0k?1 θktk（L）x] ，? ? ? ?（10）

式中：[θk∈?k]是切比雪夫多項式的系數(shù)向量，[L=2L/λmax?In]，[λmax]是拉普拉斯矩陣[L]的最大特征值。切比雪夫多項式的遞歸定義為：

[tkx=2xtk?1x?tk?2x]，? ? ? ? （11）

其中：[t0x=1]，[t1x=x]。本文通過切比雪夫多項式近似方法完成圖卷積運算，將中心節(jié)點周圍0到k -1階的鄰居節(jié)點的相關(guān)信息進行聚合。

為了動態(tài)調(diào)整鄰居節(jié)點之間的相關(guān)性，將時空注意力矩陣[S'∈?N×N]與切比雪夫多項式[tk（L）]相結(jié)合。最終，GCN公式如式（12）所示：

[gθ?Gx=gθ（L）x=k=0k?1 θk（tk（L）⊙S'）x] ，? ? ? （12）

其中，[⊙]為哈達瑪積（Hadamard product）。在捕獲了節(jié)點之間的空間相關(guān)性之后，將GCN的輸出進一步堆疊到門控時卷積模塊;通過門控時卷積模塊，進一步提取交通數(shù)據(jù)在各個時間片段上的時間相關(guān)性特征。

1.5? ?門控時卷積模塊

交通數(shù)據(jù)是一組時間序列數(shù)據(jù)，有著復(fù)雜的時間相關(guān)性。傳統(tǒng)的CNN處理時間序列數(shù)據(jù)具有效率低、信息易泄露等風(fēng)險。由于CNN只能通過不斷增加卷積層和增大卷積核的方式才能擴大感受野，所以很難提取長時間序列的時間相關(guān)性特征。常用于處理長時間序列的循環(huán)神經(jīng)網(wǎng)絡(luò)方法有著梯度爆炸和梯度消失等缺點[14]。為了解決上述問題，受wavenet模型的啟發(fā)[15]，采用門控時卷積的方法來捕獲交通數(shù)據(jù)的時間相關(guān)性特征;使用擴張因果卷積作為時間卷積網(wǎng)絡(luò)（TCN），用于捕獲交通數(shù)據(jù)在時間片段上的變化趨勢，如圖4所示。

TCN通過控制擴張因子的大小和增加層的深度使感受野以指數(shù)級放大，從而減少網(wǎng)絡(luò)疊加層數(shù)，減少了模型的參數(shù)量。擴張因果卷積操作如式（13）表示：

[x?f（t）=s=0l?1 f（s）x（t?d×s）]，? ? ? ?（13）

式中：[x∈?t] 為當(dāng)前的輸入數(shù)據(jù);[f∈?l]為卷積操作的濾波器;[d]為擴張因子，用于控制空洞數(shù)量;[l]表示卷積所在的層數(shù)。

門控時卷積模型是基于TCN的變形。門控時卷積模型由兩部分組成，如式（14）所示：

[hout=g（Θ1?X+a）⊙σ（Θ2?X+b）]，? ? ? （14）

式中：[?]表示卷積操作;[Θ1]、[Θ2]、[a]、[b]為模型參數(shù);[g]是一個tanh激活函數(shù)，用來增加非線性;[σ]是一個sigmoid函數(shù)，是一個濾波器，用于過濾無用信息，保留有用信息。門控時卷積模型結(jié)構(gòu)如? 圖5所示，[1*1]是一個全連接層，用來調(diào)整輸入的? ?維度。

經(jīng)過門控時卷積提取時間特征后，在輸出處增加一個ReLU 激活函數(shù)。之后，再經(jīng)過一個全連接層，通過線性變換得出最終的輸出結(jié)果，如式（15）所示：

[Output=Linear（ReLU（hout））].? ? ? ? ?（15）

2? ? ST-AGTCN模型訓(xùn)練

2.1? ?實驗數(shù)據(jù)的選取

為消除非典型車流量的影響，以工作日的交通速度作為研究目標(biāo)，選取了國內(nèi)和國外2個公開數(shù)據(jù)集來評估模型的預(yù)測性能。

SZ-taxi數(shù)據(jù)集：該數(shù)據(jù)集采集了深圳市羅湖區(qū)2015年1月1日—1月31日所有工作日的出租車軌跡數(shù)據(jù)，并選擇羅湖區(qū)的156條主要道路作為研究區(qū)域，將采集到的數(shù)據(jù)樣本每15 min聚合一次。該數(shù)據(jù)集包含2個數(shù)據(jù)矩陣，一個是特征矩陣X，該矩陣描述了每條道路在不同時段的交通速度，矩陣的每一行數(shù)據(jù)表示每段交通道路在該時段的交通速度，每一列數(shù)據(jù)表示同一段道路在不同時段的交通速度;另一個數(shù)據(jù)矩陣是156[×]156的鄰接矩陣A，該矩陣用0和1描述道路與道路之間的連接? ? 關(guān)系。

PeMSD7數(shù)據(jù)集：該交通速度數(shù)據(jù)集由美國加州交通運輸部在加州第七區(qū)通過228條道路的交通傳感器采集，并將采集到的數(shù)據(jù)樣本每5 min聚合一次。PeMSD7數(shù)據(jù)集記錄了加州第七區(qū)2012年5月1日—6月30日的車輛速度。該數(shù)據(jù)集包含2個數(shù)據(jù)矩陣，同上所述，一個是特征矩陣X，另一個是228[×]228的節(jié)點距離矩陣，鄰接矩陣A是根據(jù)交通路網(wǎng)中站點之間的距離計算的，計算公式如? ? ?式（16）所示：

[Aij=exp （?dijσ2）， i≠j and exp（?dijσ2）≥?0，? otherwise]，? （16）

式中：[Aij]表示節(jié)點[i]和節(jié)點[j]的連通關(guān)系;[dij]表示節(jié)點之間的距離;[σ2]、[?]是控制鄰接矩陣[A]的分布和稀疏性的閾值，按照經(jīng)驗將2個閾值分別設(shè)置為[σ2=10]、[?=0.5]。

為了減小預(yù)測誤差，利用min-max標(biāo)準(zhǔn)化方法對原始數(shù)據(jù)進行標(biāo)準(zhǔn)化，使其落到[0，1]內(nèi)，如? ? ?式（17）所示：

[z=x?xminxmax?xmin]，? ? ? ? ? ? ? ? ? ? ? （17）

式中：[z]表示歸一化后的數(shù)據(jù)，[x]為原始數(shù)據(jù)，[xmin]為原始數(shù)據(jù)的最小值，[xmax]為最大值。本文將數(shù)據(jù)集進行劃分，80%數(shù)據(jù)作為訓(xùn)練集，20%數(shù)據(jù)用作測試集，通過ST-AGTCN模型預(yù)測各路段未來? ? 15 min、30 min的交通速度。

2.2? ?實驗環(huán)境與參數(shù)設(shè)定

實驗在Ubuntu20.04.2操作系統(tǒng)中的PyCharm2020.2.1社區(qū)版的環(huán)境下進行，Python 版本為3.7，Intel（R） Core（TM） i7-8700 CPU @ 3.20 GHz，運行內(nèi)存16 GB，顯卡型號為GTX TITAN X，顯存為12 GB。使用Pytorch 深度學(xué)習(xí)框架來搭建ST-AGTCN模型，其中還使用到了數(shù)學(xué)工具包Numpy和Pandas，并將機器學(xué)習(xí)庫Scikit-learn用作屬性的預(yù)處理工作和相關(guān)機器學(xué)習(xí)模型的實現(xiàn)。在本實驗中，使用12個歷史觀測數(shù)據(jù)作為單次輸入大小，即[t?=12]，輸入批量大小設(shè)置為32?？紤]到計算效率和預(yù)測性能的提高程度，在圖卷積模塊，對切比雪夫多項式在[k={1，2，3，4}]的情況下進行了實驗。當(dāng)[k=3]時，模型訓(xùn)練效果最佳。在門控時卷積模塊中的時卷積網(wǎng)絡(luò)中使用了8層，每層的擴張因子設(shè)置為[1，2，1，2，1，2，1，2]，卷積核大小設(shè)置為3，卷積核個數(shù)為64。選擇Adam優(yōu)化算法作為優(yōu)化器，初始學(xué)習(xí)率設(shè)置為[γ=0.001]，正則化超參數(shù)設(shè)置為[λ=0.001 5]，將訓(xùn)練輪次設(shè)置為1 000次。如圖6所示，在訓(xùn)練過程中，當(dāng)訓(xùn)練輪次為? ?1 000時，ST-AGTCN預(yù)測模型的準(zhǔn)確率最高且趨向于穩(wěn)定。

2.3? ?損失函數(shù)

在模型訓(xùn)練過程中，本實驗的訓(xùn)練目的是降低交通速度真實值和預(yù)測值之間的誤差。ST-AGTCN的損失函數(shù)如式（18）所示：

[loss=||Vt?Vt||+λLreg]，? ? ? ? ? ? ? ? （18）

式中：[Vt]是實際交通速度值;[Vt]是預(yù)測值;[Lreg]是[L]2正則化項，用于防止過擬合;[λ]是一個正則化超參數(shù)。

2.4? ?性能評估指標(biāo)

為了評估不同模型的預(yù)測效果，采用3種常用于評價回歸任務(wù)效果的評價指標(biāo)。

[△]為平均絕對誤差（MAE），計算公式如下：

[△=1ni=1n Vi?Vi].? ? ? ? ? ? ? （19）

[σ]為均方根誤差（RMSE），[σ]對預(yù)測高速度值比較敏感，即當(dāng)較差的預(yù)測模型在預(yù)測高速度值時會出現(xiàn)比較大的[σ]值，計算公式如下：

[σ=1ni=1n （Vi?Vi）212].? ? ? ? ? ? （20）

[A]為準(zhǔn)確率（Accuracy），模型預(yù)測性能越好，準(zhǔn)確率越高，計算公式如下：

[A=1?||V?V||F||V||F].? ? ? ? ? ? ? ?（21）

3? ? 實驗結(jié)果與分析

為了更直觀地觀測ST-AGTCN模型的預(yù)測效果，在SZ-taxi數(shù)據(jù)集和PeMSD7數(shù)據(jù)集上分別選取一條道路，并將ST-AGTCN模型在15 min時間序列上的預(yù)測結(jié)果進行可視化。如圖7所示，圖中的黑色實線是真實的交通速度值，綠色實線為? ?ST-AGTCN模型的交通速度預(yù)測結(jié)果。從圖中可以看出，綠色線條的變化趨勢和黑色線條的變化趨勢基本吻合，說明了ST-AGTCN模型擁有不錯的擬合效果，并在交通速度預(yù)測任務(wù)中表現(xiàn)良好。

將ST-AGTCN模型的預(yù)測性能與以下5個基準(zhǔn)模型進行比較：

1）HA：歷史平均法[16]，該模型用同時刻的歷史數(shù)據(jù)求平均的方法來預(yù)測未來時刻的交通數(shù)據(jù)。

2）ARIMA：自回歸綜合移動平均法[17]，一種時間序列預(yù)測模型，將時間序列擬合到參數(shù)模型中，對未來時刻的交通數(shù)據(jù)進行預(yù)測。

3）SVR：支持向量回歸模型[18]，使用核函數(shù)將數(shù)據(jù)從低維空間映射到高維空間，通過線性支持向量機的方法獲得輸入與輸出之間的關(guān)系，對未來時刻的交通數(shù)據(jù)進行預(yù)測。

4）STGCN：時空圖卷積模型，該模型通過使用GCN和普通一維CNN進行交通速度預(yù)測。

5）T-GCN：時間圖卷積模型[19]，該模型通過使用GCN和GRU相結(jié)合的方法進行交通速度預(yù)測。

在表1和表2中記錄了ST-AGTCN模型和其他5個基準(zhǔn)模型分別在2個交通速度數(shù)據(jù)集上進行15 min和30 min交通速度預(yù)測的結(jié)果。

1） 訓(xùn)練誤差：訓(xùn)練誤差越小，模型的預(yù)測性能越好。從表1和表2的數(shù)據(jù)可看出，ST-AGTCN 模型的MAE誤差和RMSE誤差的值在15 min和30 min的交通速度預(yù)測任務(wù)中均比其他模型小。如圖8所示，圖8（a）和圖8（b）顯示了各個模型在SZ-taxi數(shù)據(jù)集上的RMSE值，圖8（c）和圖8（d）顯示了各個模型在PeMSD7數(shù)據(jù)集上的RMSE值。從圖8可以看出，ST-AGTCN的RMSE值在所有模型當(dāng)中最小，說明ST-AGTCN模型的預(yù)測性能優(yōu)于其他5個基準(zhǔn)模型。

2）傳統(tǒng)模型的評估：從表1和表2 的數(shù)據(jù)可以看出，在15 min和30 min的交通速度預(yù)測任務(wù)中，從預(yù)測性能上來看，基于深度學(xué)習(xí)方法的模型在交通速度預(yù)測任務(wù)中比傳統(tǒng)的機器學(xué)習(xí)模型和時間序列模型性能更好。STGCN、T-GCN、ST-AGTCN都是基于深度學(xué)習(xí)方法的模型，SVR是傳統(tǒng)機器學(xué)習(xí)模型，HA和ARIMA是傳統(tǒng)的時間序列分析模型。在SZ-taxi數(shù)據(jù)集的15 min交通速度預(yù)測任務(wù)中，STGCN模型的預(yù)測準(zhǔn)確率比HA模型高了2.4%，比ARIMA模型高了25.8%，比SVR模型高了1.1%;T-GCN模型的預(yù)測準(zhǔn)確率比HA模型高了3.5%，比ARIMA模型高了26.9%，比SVR模型高了2.2%; ST-AGTCN模型的預(yù)測準(zhǔn)確率比HA模型高了6.0%，比ARIMA模型高了29.4%，比SVR模型高了4.7%。由于HA模型和ARIMA模型是在將交通速度假設(shè)為平穩(wěn)的時間序列數(shù)據(jù)的前提下進行的交通預(yù)測，實際上這并不符合交通速度具有非線性、非平穩(wěn)的特點，特別是當(dāng)利用歷史數(shù)據(jù)進行多步預(yù)測的時候，預(yù)測誤差會累計傳播。而SVR模型主要根據(jù)核函數(shù)思想，完成對輸入輸出關(guān)系之間的映射。這些方法都沒有考慮到交通信息的空間相關(guān)性，難以處理具有復(fù)雜時空相關(guān)性的交通信息，因此，它們的預(yù)測效果差于基于深度學(xué)習(xí)方法的預(yù)測模型。

3）基于深度學(xué)習(xí)方法模型的評估：將STGCN、T-GCN、ST-AGTCN這3個預(yù)測模型進行比較，三者都利用了圖卷積方法從交通數(shù)據(jù)中提取空間相關(guān)性特征。在空間維度上，STGCN和T-GCN都使用了一階近似的GCN方法， ST-AGTCN模型使用切比雪夫多項式近似的GCN方法。在時間維度上，STGCN模型使用普通一維CNN處理，T-GCN模型使用GRU處理交通信息的時間相關(guān)性。如1.4節(jié)所述，使用CNN或者RNN的方法處理時序數(shù)據(jù)具有一定的局限性。ST-AGTCN模型通過增加注意力模塊，根據(jù)輸入數(shù)據(jù)構(gòu)建出時空注意力矩陣;聯(lián)合圖卷積獲取空間相關(guān)性特征，并通過門控時卷積方法捕獲交通信息中的時間相關(guān)性特征。通過實驗結(jié)果可知，在2個數(shù)據(jù)集上的15 min和30 min交通速度預(yù)測任務(wù)當(dāng)中， ST-AGTCN的預(yù)測準(zhǔn)確率高于STGCN和T-GCN。例如，在SZ-taxi數(shù)據(jù)集的15 min交通速度預(yù)測任務(wù)當(dāng)中，ST-AGTCN的預(yù)測準(zhǔn)確率比STGCN高3.6%，比T-GCN高2.5%。該實驗結(jié)果表明了ST-AGTCN模型在挖掘交通信息的時空相關(guān)性特征方面具有優(yōu)勢。

4? ?總結(jié)

交通速度隨著時間和路段的不同而不斷變化，具有強烈的時空相關(guān)性、隨機性、非線性等特點。針對這些問題，本文基于注意力機制和圖卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法提出了ST-AGTCN模型，通過挖掘交通速度的時空相關(guān)性特征，提高交通速度預(yù)測準(zhǔn)確率。實驗結(jié)果表明，ST-AGTCN預(yù)測模型的準(zhǔn)確率高于其他5個基準(zhǔn)模型，在挖掘交通信息的時空相關(guān)性特征方面具有優(yōu)勢。該預(yù)測模型為交通管理和交通出行提供了科學(xué)依據(jù)。今后將進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置，探究將ST-AGTCN模型應(yīng)用于其他具有時空結(jié)構(gòu)的預(yù)測場景，如社交網(wǎng)絡(luò)預(yù)測、空氣質(zhì)量預(yù)測等現(xiàn)實場景。

參考文獻

[1]? ? ?MA X L，TAO Z M，WANG Y H，et al.Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J].Transportation Research Part C：Emerging Technologies，2015，54：187-197.

[2]? ? ?FU R，ZHANG Z，LI L.Using LSTM and GRU neural network methods for traffic flow prediction[C]//Youth Academic Annual Conference of Chinese Association of Automation （YAC），IEEE，2016.

[3]? ? ?秦勝君，李婷.一種基于長短記憶模型的交通軌跡異常挖掘模型[J].廣西科技大學(xué)學(xué)報，2021，32（2）：58-64.

[4]? ? ?羅文慧，董寶田，王澤勝.基于 CNN-SVR 混合深度學(xué)習(xí)模型的短時交通流預(yù)測[J].交通運輸系統(tǒng)工程與信息，2017，17（5）：68-74.

[5]? ? ?YU B，YIN H，ZHU Z.Spatio-temporal graph convolutional neural network：a deep learning framework for traffic forecasting[C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence

（IJCAI），2018：3634-3640.

[6]? ? ?VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need[C]//31st Conference on Neural Information Processing Systems（NIPS），2017：5998-6008.

[7]? ? ?FENG X C，GUO J，QIN B.Effective deep memory networks for distant supervised relation extraction[C]//Proceedings of the 26th International Joint Conference on Artificial Intelligence（IJCAI），2017：4002-4008.

[8]? ? ?GUO S N，LIN Y F，F(xiàn)ENG N，et al.Attention based spatial-temporal graph convolutional networks for traffic flow forecasting[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019：922-929.

[9]? ? ?朱宗洪，李春貴，李煒，等.改進Faster R-CNN模型的汽車噴油器閥座瑕疵檢測算法[J].廣西科技大學(xué)學(xué)報，2020，31（1）：1-10.

[10]? ?DEFFERRARD M，BRESSON X，VANDERGHEYNST P.Convolutional neural networks on graphs with fast localized spectral filtering[C]//30th Conference on Neural Information Processing Systems（NIPS），2016：3844-3852.

[11]? ?HAMILTON W L，YING R，LESKOVEC J.Inductive representation learning on large graphs[C]//Conference on Neural Information Processing Systems（NIPS），2017：1024-1034.

[12]? ?朱凱利，朱海龍，劉靖宇，等.基于圖卷積神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測[J].智能計算機與應(yīng)用，2019，9（6）：168-170，177.

[13]? ?SIMONOVSKY M，KOMODAKIS N.Dynamic edge-conditioned filters in convolutional neural networks on graphs[C]//Conference on Computer Vision and Pattern Recognition（CVPR），2017：3693-3702.

[14]? ?袁華，陳澤濠.基于時間卷積神經(jīng)網(wǎng)絡(luò)的短時交通流預(yù)測算法[J].華南理工大學(xué)學(xué)報（自然科學(xué)版），2020，48（11）：107-113，122.

[15]? ?OORD A V D，DIELEMAN S，ZEN H，et al.WaveNet：a generative model for raw audio[EB/OL].arXiv：1609.03499，2016[2021-08-01].https：//arxiv.org/abs/1609.03499v2.

[16]? ?LIU J，GUAN W.A summary of traffic flow forecasting methods[J].Journal of Highway and Transportation? ? ? Research and Development，2004，21（3）：82-85.

[17]? ?WILLIAMS B M，HOEL L A.Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process： theoretical basis and empirical results[J].Journal of Transportation Engineering，2003，129（6）：664-672.

[18]? ?SMOLA A J，SCH?LKOPF B.A tutorial on support? vector regression[J].Statistics and Computing，2004，14（3）：199-222.

[19]? ?ZHAO L，SONG Y J，ZHANG C，et al.T-GCN：a temporal graph convolutional network for traffic? ? ? ? ? prediction[J].IEEE Transactions on Intelligent Transportation Systems，2020，21（9）：3848-3858.

Attention-based spatio-temporal graph convolutional neural network for traffic speed prediction

HUANG Weijian， LI Chungui*

（School of Electrical， Electronic and Computer Science， Guangxi University of Science and Technology，

Liuzhou 545616， China）

Abstract： Traffic speed is an important indicator to measure the traffic state. Real-time and accurate traffic speed prediction is an important part of building an intelligent traffic system. Towards the? ? ?problems of the randomness， nonlinearity and spatio-temporal correlation of traffic speed， a traffic speed prediction model is proposed by using the attention based spatio-temporal graph convolutional neural network. Firstly， the spatial and temporal attention weight matrix is constructed by using the? ? ?attention mechanism， with the spatial correlation features of traffic information captured by combining with the graph convolution method.? Secondly， the time correlation is obtained by gating time? ? ? ? ? ?convolution.? Finally， the proposed model and the other five benchmark models are tested on two public traffic speed data sets respectively. Experimental results show that the accuracy of the prediction model is 75.1% and 86.6% on the two data sets respectively， which is about 3% higher than the advanced benchmark models. It shows that the proposed model can provide important scientific basis for traffic control with its high accuracy and stability.

Key words： traffic speed prediction; attention mechanism; graph convolution; spatial-temporal? ? ? ? ?correlation

（責(zé)任編輯：黎? 婭）