基于時空多維的VMD-GAT-Attention短時交通流量組合預測模型

田帥帥, 殷禮勝, 何怡剛

(合肥工業(yè)大學 電氣與自動化工程學院,安徽 合肥 230009)

近年來,智能交通領域的建設日益凸顯,交通規(guī)劃和交通誘導成為智能交通領域的研究熱點,而準確的交通流量預測更是交通規(guī)劃和誘導的前提,其中,短時交通流量預測精度逐漸被作為交通領域的關鍵性問題[1-3]。面對復雜交通環(huán)境的預測精度要求不斷提高,使用單一模型難以應對具有時空特性、非線性等多特性的短時交通流量預測,學者們針對此交通領域,研究了眾多的組合模型。文獻[4]通過使用圖卷積網(wǎng)絡和門控遞歸單元相結(jié)合的組合模型方法,同時捕獲交通流量的時空特征,但忽略了交通流量序列的非線性特點,難以預測劇烈變化的交通流量;文獻[5]使用變分模態(tài)分解(variational mode decomposition,VMD)算法處理非線性、非平穩(wěn)交通領域的客流量數(shù)據(jù),并通過構(gòu)建的神經(jīng)網(wǎng)絡進行組合模型的預測,但是并未對VMD算法的分解參數(shù)進行分析,容易造成數(shù)據(jù)分解不夠充分,同時忽略了預測節(jié)點周邊的空間特性;文獻[6]利用集成經(jīng)驗模態(tài)分解算法將原始序列分解為多個模態(tài),再使用雙向長短期記憶神經(jīng)網(wǎng)絡和注意力機制進行交通流量的預測,細化交通流量預測的需求,提取交通流量的時間特征,同樣并未考慮到預測交通節(jié)點的空間特征,沒有更進一步探索交通流量中時間與空間的內(nèi)在依賴性。

從交通流量序列的時空依賴性、非線性的內(nèi)在規(guī)律角度來看,以上研究忽略了交通流量中的時空依賴性的內(nèi)在規(guī)律或者序列的非線性、非平穩(wěn)性特點,沒有充分挖掘交通流量的內(nèi)在規(guī)律,各有其缺點。綜上所述,本文提出一種基于改進粒子群優(yōu)化的VMD、結(jié)合圖注意力網(wǎng)絡(graph attention networks,GAT)與注意力機制相結(jié)合的組合預測模型。首先,在時間維度上,利用改進粒子群算法(improved particle swarm optimization,IPSO)優(yōu)化VMD,將非線性的交通流量時間序列分解為不同頻率的相對平穩(wěn)的時間序列信號,確保VMD算法能夠充分而有效地挖掘交通流量時間序列的信息;利用分解后的每組序列與原始序列的相關性系數(shù),構(gòu)建有效的分解模態(tài);其次,在空間維度上,針對有效的分解模態(tài)的相關性系數(shù)來構(gòu)建不同的GAT,提取相對穩(wěn)定的交通流量數(shù)據(jù)中的空間特征;同時,利用注意力機制共同構(gòu)建深度學習模型,以提取時空信息,通過計算每個時空特征注意力權重,使交通流量預測的精度進一步得到提升;最后,使用PeMS現(xiàn)實數(shù)據(jù)集進行交通預測模型的搭建,并與子模型GAT模型、VMD-GAT模型、VMD-GAT-Attention和PSO-VMD-GAT-Attention,以及長短期記憶網(wǎng)絡(long short-term memory,LSTM)、差分自回歸移動平均模型(autoregressive integrated moving averaga model,ARIMA)等多個模型的擬合效果以及預測精度進行對比,以驗證組合預測模型的可行性和優(yōu)越性。

1 交通流量預測組合模型相關理論

1.1 交通流量預測問題的形式化描述

交通路網(wǎng)中的短時交通流量具有非線性、時空依賴性特點,其中,路網(wǎng)中的節(jié)點更是具有典型的空間拓撲關系。交通路網(wǎng)中車流量通過預測節(jié)點的變遷示意圖如圖1所示,其中,{1,2,…,n}為預測節(jié)點,箭頭的指向表示道路車輛行駛方向,由此車輛行駛過程中通過預測道路節(jié)點,使相鄰道路節(jié)點共同組成動態(tài)交通路網(wǎng),路網(wǎng)上車流量的變化構(gòu)成了相應的時空交通流量,即Q(t)=(q1[t-Δt,t],…,q1[t-mΔt,t-(m-1)Δt],q2[t-Δt,t],…,q2[t-mΔt,t-(m-1)Δt],…,qn[t-Δt,t],…,qn[t-mΔt,t-(m-1)Δt])。其中:Δt為交通流量采樣時間間隔;n為交通路網(wǎng)連接節(jié)點個數(shù);m為時間間隔個數(shù)。本文通過以上時空數(shù)據(jù)Q(t),預測交通路網(wǎng)未來n個節(jié)點交通流量(q1[t,t+Δt],q2[t,t+Δt],…,qn[t,t+Δt])。

圖1 交通路網(wǎng)中車流量通過預測節(jié)點的變遷示意圖

為了有針對性地解決交通預測問題，首先利用IPSO優(yōu)化VMD算法,將交通流量分解為相對平穩(wěn)的交通流量信號;然后利用GAT提取平穩(wěn)交通信號下的路網(wǎng)空間特征;最后利用注意力機制將各個模態(tài)提取到的空間特征節(jié)點進行融合,進而提高模型預測精度。

1.2 粒子群算法的改進

粒子群算法(particle swarm optimization,PSO)屬于一種仿生算法,具有收斂速度快,所需調(diào)整參數(shù)少的特點[7],但PSO有易陷入局部最優(yōu)解以及收斂速度慢的缺點,本文提出改進粒子群算法IPSO。

(1) 算法在搜尋過程中,粒子速度的權重系數(shù)w一般為常數(shù),易陷入局部最優(yōu)值。因此為動態(tài)地調(diào)整搜尋空間,以保證更有效地收斂到全局最優(yōu)解，設置自適應權重,即

w=

(1)

其中:wmax、wmin分別為初始慣性權重的最大值和最小值;f(xj)為當前迭代中的第xj個粒子的適應度值;fave、fmin分別為當前所有粒子適應度的平均值和最小值。

(2)

(3)

(4)

其中:N為粒子的個數(shù);fbest為當前全局最優(yōu)粒子對應的適應度;fmax為當前粒子群中最大適應度值;s為2～4的隨機數(shù)。

利用變異結(jié)果與當前迭代中全局最優(yōu)位置結(jié)合的變異方法,保證粒子變異優(yōu)異性。

(5)

1.3 VMD算法

VMD是一種自適應、非遞歸的新型提取信號特征的方法[8]。本質(zhì)上屬于維納濾波,在處理含有噪聲的信號中具有更好的魯棒性,VMD算法詳細分解推導過程參見文獻[9]。

通過VMD算法將交通流量時間序列Q(t)分解為K個平穩(wěn)的交通流量模態(tài)分量。核心求解是通過約束條件,即分解的K個交通流量模態(tài)之和等于原交通流量,不斷迭代更新交通流量分解模態(tài)的中心頻率wk和帶寬,由此分解得到K個本征模態(tài)函數(shù)(intrinsic mode function,IMF)。

(1) 將交通流量Q(t)模態(tài)分解的約束性變分問題轉(zhuǎn)化為非約束性變分問題。引入拉格朗日乘法算子λ(t)和二次懲罰因子α,以求解交通流量序列分解的最優(yōu)解。其中,非約束性變分問題模型為:

L({Qk(t)},{wk},λ(t))=

(6)

其中:Qk(t)為第k個交通流量分解模態(tài);?t為對t求偏導;δ(t)為狄克拉函數(shù);*為卷積運算符。

(2) 采用乘法算子交替法,以不斷搜尋增廣拉格朗日函數(shù)鞍點的方式,迭代得出交通流量分解模態(tài)Qk(t)、wk及λ(t),尋找交通流量分解的最優(yōu)交通流量分解模態(tài)集合。

(3) 在頻域范圍內(nèi),利用在范數(shù)下的傅里葉等距變換求解交通流量分解的變分問題，即

(7)

(8)

VMD算法的求解實際上是將分解的K個交通流量模態(tài)在頻域中求解,然后利用傅里葉變換到時域,得到分解模態(tài){Q1(t),Q2(t),…,Qk(t)}。

1.4 交通路網(wǎng)下的GAT

GAT是在圖卷積網(wǎng)絡的基礎上引入注意力機制,對圖結(jié)構(gòu)中每個節(jié)點的臨近節(jié)點進行特征線性變換與加權求和[10]。核心思想是通過關注每個圖節(jié)點的鄰接節(jié)點特征來更新每個節(jié)點的特征向量的表示,隱式地為一個鄰域內(nèi)的不同節(jié)點指定不同的權重。

在交通路網(wǎng)當中,預測節(jié)點在實際空間中相互連接,構(gòu)成了相應的圖結(jié)構(gòu)。將圖1交通路網(wǎng)轉(zhuǎn)化為有向圖結(jié)構(gòu),如圖2所示。路網(wǎng)中預測節(jié)點用圖節(jié)點表示,車輛在道路上沿節(jié)點行駛的路線用有向邊表示。

圖2 交通路網(wǎng)轉(zhuǎn)換的圖結(jié)構(gòu)

(9)

(10)

1.5 注意力機制

注意力機制應用場合廣泛,在自然語言處理領域與交通領域效果十分顯著[11-12]。核心思想是從大量信息中有選擇地篩選出重要信息,計算不同信息的權重系數(shù)。

圖3 注意力機制模型結(jié)構(gòu)

2 短時交通流量組合預測模型構(gòu)建

為解決短時交通流量非線性、時空依賴性,構(gòu)建針對性的IPSO-VMD-GAT-Attention組合模型挖掘深層特征,總體框架如圖4所示。

圖4 IPSO-VMD-GAT-Attention組合模型總體框架

VMD算法作為一種改進模態(tài)分解算法,在頻域上能自適應分解出相對平穩(wěn)的時序模態(tài);同時,使用IPSO優(yōu)化VMD算法選取適當參數(shù),保證交通流量的充分分解;其次使用圖注意力網(wǎng)絡提取空間特征信息,以及注意力機制聚焦主要信息權重和降低次要信息權重。

2.1 短時交通流量分解的IPSO-VMD算法

VMD算法能分解出相對平穩(wěn)的模態(tài)分量,但VMD算法分解結(jié)果又受到分解模態(tài)個數(shù)K和二次懲罰項系數(shù)α的影響[13-14]。改進粒子群算法優(yōu)化的變分模態(tài)分解(IPSO-VMD)算法結(jié)構(gòu)如圖5所示,對此,使用IPSO-VMD算法結(jié)構(gòu)進行組合參數(shù)尋優(yōu)。

圖5 IPSO-VMD算法結(jié)構(gòu)

IPSO-VMD算法分解交通流量步驟如下:

(1) 選取1.1節(jié)構(gòu)建的交通流量數(shù)據(jù)Q(t)為VMD分解的序列,作為算法輸入數(shù)據(jù)。

(11)

(12)

(5) 利用步驟(4)產(chǎn)生的(K,α)粒子信息,使用VMD算法的分解,得到K個相對平穩(wěn)的交通流量子序列{Q1(t),Q2(t),…,Qk(t)}。

(6) 對VMD算法分解后的K個交通流量分解模態(tài),計算對應的包略熵[14],即

(13)

其中:Qj為分解后的第i個交通流量分解模態(tài);pj為Qj歸一化數(shù)據(jù);Ej為分解模態(tài)Qj對應的包略熵,即Qj對應的適應度值,以此更新全局最優(yōu)值與個體局部最優(yōu)值。

(7) 若尚未達到最大迭代次數(shù)或仍有下降趨勢,返回步驟(3)繼續(xù)執(zhí)行,否則利用全局最優(yōu)粒子信息(K,α),通過VMD算法分解輸出K個交通流量模態(tài)分量。

2.2 基于相關性改進的深度學習模型

通過VMD算法分解后的相對平穩(wěn)交通流量模態(tài),是包含有噪聲的分解模態(tài)。而利用相關性系數(shù)可有效分析分解模態(tài)與原交通流量的相關性,進而選擇有效分解模態(tài);同時,采用不同GAT來提取不同的相對平穩(wěn)時間序列的空間特征;但是,由于不同的分解模態(tài)包含信息量是不同的,若提取特征維度數(shù)設置不當,會影響模型體積的增大以及預測精度,導致訓練困難。本文采用有效分解模態(tài)的相關性系數(shù),確定GAT的輸出維度,以針對不同分解模態(tài)構(gòu)建基于短時交通流量的深度學習模型。

2.2.1 利用相關性改進的深度學習模型

通過上述有關模型相關性的分析,本文將相關性系數(shù)應用于如下2個方面:① 利用分解模態(tài)與原交通流量相關性系數(shù)大于0.1的條件,篩選出有效的分解模態(tài);② 使用有效分解模態(tài)對應的相關性系數(shù)搭建各自的GAT。

計算交通流量分解模態(tài){Q1(t),…,Qi(t),…,Qk(t)}與原交通流量Q(t)的相關性系數(shù)ρ(Q(t),Qi(t)),即

(14)

其中:x、y分別為原交通流量與交通流量分解模態(tài)序列;ρ(x,y)為序列x與y的相關性系數(shù);E(x)為序列x的數(shù)學期望[15]。

通過計算得到的K個交通流量分解模態(tài)與原交通流量兩者相關性系數(shù){ρ1,ρ2,…,ρk},選擇相關性系數(shù)大于0.1的v個分解模態(tài){Q1(t),Q2(t),…,Qv(t)}作為有效分解模態(tài)。

利用有效分解模態(tài)的相關性系數(shù){ρ1,ρ2,…,ρv}來確定GAT的特征輸出維度，即以最小相關性系數(shù)ρmin作為基值,計算相應GAT的特征輸出維度,計算公式為:

(15)

其中:計算得到的ρ0為原交通流量的自相關系數(shù);Ni為第i個交通流量模態(tài)分量對應GAT的特征輸出維度;ρi為第i個交通流量模態(tài)分量與原交通流量序列的相關性系數(shù)。

為構(gòu)建深度學習的總體結(jié)構(gòu)框架,利用相關性改進的深度學習模型如圖6所示,框架中對VMD算法分解的有效模態(tài)分量分別構(gòu)建不同的GAT,挖掘了平穩(wěn)交通流量的空間信息;其次引入注意力機制對GAT輸出的空間特征賦予不同的權重系數(shù),加強了對主次信息的提取與辨別能力,從而實現(xiàn)交通流量的預測。

圖6 利用相關性改進的深度學習模型

2.2.2 基于短時交通流量的深度學習模型

(16)

(2) GAT層。 對分解后的相對平穩(wěn)時間序列與原交通序列進行空間特征的提取。

(17)

(18)

(3) 注意力層。以時間的角度,提高主要空間特征xi的權重,降低次要空間特征權重。由(19)～(21)式針對不同的空間特征計算得出注意力權重系數(shù)αi和輸出矩陣Pt,即

σi=tanh(waxi+ba)

(19)

(20)

(21)

其中:σi為xi與Pt的關聯(lián)程度;wa為注意力層連接權重矩陣;αi為注意力權重系數(shù);softmax函數(shù)為對σi進行歸一化處理。

Yt=σl(wlPt+bl)

(22)

其中:σl為激活函數(shù);wl為權重矩陣;bl為偏置。

(5) 損失函數(shù)與優(yōu)化算法。本文深度學習模型選擇均方誤差(mean square error,MSE)函數(shù)作為優(yōu)化目標,其中目標函數(shù)計算公式為:

(23)

對于優(yōu)化算法,選擇Adam算法更新模型中的偏置與權值,采用mini-batch進行訓練,batch-size設置為64,學習步長初始設置為0.001,從第30個epoch開始,每隔10個epoch學習率衰減為原來的1/5,dropout設置為0.4。

2.3 基于交通流量的組合預測算法

本文為解析交通流量的時空依賴性、非線性的特征,針對性地提出了短時交通流量IPSO-VMD-GAT-Attention組合預測模型,模型框架如圖7所示。

圖7 短時交通流量的IPSO-VMD-GAT-Attention組合預測流程圖

具體步驟如下。

(1) 將實際預測路網(wǎng)按照1.1節(jié)道路節(jié)點進行連接,構(gòu)成時空數(shù)據(jù)Q(t)作為VMD算法輸入數(shù)據(jù)。

(2) 使用IPSO算法搜尋VMD最優(yōu)參數(shù),然后分解時空數(shù)據(jù)Q(t)得到k個IMF序列。

(3) 分別計算分解模態(tài)的相關性系數(shù),將相關性系數(shù)大于0.1的模態(tài)作為有效模態(tài),并計算對應GAT特征輸出維度數(shù),構(gòu)建的相關性與GAT特征維度見表1所列。

表1 交通序列間的相關性系數(shù)及GAT特征維度

(4) 利用相關性系數(shù)構(gòu)建GAT,并與注意力機制搭建如圖6所示的深度學習模型。將步驟(3)提取的有效模態(tài)分量與原始數(shù)據(jù)作為深度學習模型的輸入數(shù)據(jù),并進行訓練,設置參數(shù)。

(5) 訓練組合模型。判斷誤差是否處于最大誤差范圍內(nèi)且一定范圍內(nèi)沒有變化,以及是否在最大迭代范圍內(nèi)利用訓練好的模型進行預測。

3 工程應用

3.1 短時交通流量數(shù)據(jù)選取

實驗數(shù)據(jù)取自于加州高速路網(wǎng)PeMS交通流量數(shù)據(jù)集,交通數(shù)據(jù)集采集點分布地圖如圖8所示。交通數(shù)據(jù)采集自2018年1月1日至2月14日之間共31個交通節(jié)點且間隔為5 min的數(shù)據(jù)信息。將前36 d數(shù)據(jù)作為訓練數(shù)據(jù),其余作為測試數(shù)據(jù),同時使用前6個時刻交通流預測下一時刻的交通流。

圖8 交通數(shù)據(jù)集采集分布點

采用線性函數(shù)歸一化原始數(shù)據(jù),歸一化后的部分交通流量原始數(shù)據(jù)如圖9所示,圖9中，橫軸為每5 min采樣得到的數(shù)據(jù)。由圖9可知，交通流量在大趨勢上是一致的,但是具體到細微之處,是完全不一樣的,需深層次挖掘交通流量特征。

圖9 部分原始交通流量數(shù)據(jù)曲線

3.2 基于PeMS數(shù)據(jù)組合預測模型應用實現(xiàn)

利用IPSO算法搜尋VMD算法最優(yōu)分解參數(shù),IPSO和PSO尋優(yōu)迭代曲線如圖10所示。

圖10 IPSO和PSO迭代曲線

由圖10可知,IPSO-VMD算法尋優(yōu)能力更好且收斂速度快,而PSO-VMD算法陷入局部最優(yōu)解中。最終得到的最優(yōu)參數(shù)組合為(1 324,9),輸出IMF1～IMF9共9個分解模態(tài)。計算相關性系數(shù)大于0.1,得到IMF1～IMF5有效分解模態(tài),有效模態(tài)的部分序列如圖11所示。

分解后采樣序列圖11 有效模態(tài)的部分序列圖

計算有效模態(tài)與原交通流量的相關性系數(shù)及GAT特征輸出維度數(shù)，見表2所列。

表2 相關性系數(shù)及GAT特征維度數(shù)

在實際中GAT注意力的個數(shù)在不同深度學習任務中選取是不同的。通過實驗得到注意力個數(shù)與預測誤差如圖12所示,由圖12可知,注意力個數(shù)為3時是合適的。

圖12 不同注意力數(shù)下的誤差柱狀圖

構(gòu)建圖6結(jié)構(gòu)模型進行預測,交通路網(wǎng)下的交通流量擬合圖如圖13所示。

圖13中交通流量的單位為每5 min通過的車輛總數(shù)。由圖13a可知,各交通節(jié)點預測值與真實值的擬合曲線比較接近;由圖13b可知,單節(jié)點交通流量總體上十分接近,即使在變化劇烈的12:30—13:00時刻也有較好的擬合效果。

圖13 交通路網(wǎng)下的交通流量擬合

3.3 實驗結(jié)果分析

為更全面評價模型的有效性與優(yōu)越性,選擇預測值與原始值的平均絕對誤差EMA、均方根誤差ERMS和平均百分比誤差EMAP評價模型。

(25)

(26)

(27)

不同交通流預測方法的誤差對比見表3所列,預測結(jié)果與實際值在某一節(jié)點的變化擬合圖和某一時刻所有節(jié)點的擬合圖如圖14所示。

由表3可知,本文提出的預測模型與未考慮空間特征的時間序列模型LSTM深度學習網(wǎng)絡以及ARIMA算法相比,預測誤差都低,說明從空間維度考慮交通路網(wǎng)問題是有效的,能夠提高預測精度;同時,本文從時間維度將VMD算法進行交通流量時間序列分解,使非線性交通流量序列得以轉(zhuǎn)為平穩(wěn)序列;而且IPSO算法能夠更快地尋找到全局最優(yōu)值,同時注意力機制的應用提高模型對交通特征的分析能力,也進一步提升了預測精度。

表3 不同交通流預測模型誤差對比

由圖14a可知,在12:30—13:00之間交通流量劇烈變化的時間段內(nèi),只考慮時間特性的LSTM與ARIMA模型與只考慮空間特性的GAT模型相比,也說明了從空間角度分析交通流量效果比從時間角度分析較好。

圖14 多個模型下交通路網(wǎng)下交通流量擬合對比

同時,觀察VMD-GAT時空交通流量擬合效果有些偏差,說明簡單地從時空角度分析,預測效果一般,而具有時空特征且進一步使用注意力機制模型的VMD-GAT-Attention與PSO-VMD-GAT-Attention模型,卻有很好的交通流量預測精度;同時,使用IPSO算法優(yōu)化的IPSO-VMD-GAT-Attention模型擬合效果又有所改善。由圖14b可知,對于IPSO-VMD-GAT-Attention模型擬合效果最好,且該模型在交通路網(wǎng)上的所有預測節(jié)點有更高的擬合,而其余預測模型在不同預測點有較大的差別、預測精度不一。由此可知,IPSO-VMD-GAT-Attention組合預測模型不僅在總體上提高了短時交通流量的預測精度,而且各個預測點的值與實際值擬合程度較高。

4 結(jié) 論

根據(jù)交通流量的時空依賴性、非線性特點,本文提出了一種基于IPSO優(yōu)化的VMD算法,并與GAT以及注意力相結(jié)合的組合預測模型。通過仿真對比結(jié)果可知,在交通流量預測精度方面,使用GAT提取空間特性與LSTM、ARIMA等時間序列預測模型相比,從空間角度分析交通流量,對于預測精度有較大提升;同時,使用VMD算法將非線性交通流量序列轉(zhuǎn)化為平穩(wěn)時間序列是有效的;對于提取的交通流量時空特征,不能簡單地組合,應靈活地運用注意力機制,將時空特征很好地融合在一起,在一定程度上能提高短時交通流量的預測精度。但是,本模型沒有考慮假期、天氣、事故等對交通流量的影響,即沒有考慮更高維度的影響,此類問題將是下一步的研究方向。