面向高速公路事故風險預(yù)測的深度學(xué)習方法

阮鴻柱,黃小弟,王金寶,杜夢輝

(1.云南省綜合交通發(fā)展中心,云南 昆明 650031;2.北京交通大學(xué) 計算機與信息技術(shù)學(xué)院,北京 100044)

0 引 言

交通事故對公共安全造成了嚴重威脅。如果能夠提前準確預(yù)測高速公路的交通事故風險,管理部門可以更好地進行交通規(guī)劃,減少交通事故,并發(fā)布交通事故風險警告,駕駛員可以選擇更安全的路線,避免交通危險。

交通事故風險預(yù)測是指在觀測到的歷史交通事故基礎(chǔ)上,預(yù)測目標位置在未來時間可能發(fā)生潛在交通事故的風險值[1]。除歷史事故風險值之外,還可以分析導(dǎo)致事故發(fā)生的外部因素,如天氣、時間、車流量等。早期的一些研究使用統(tǒng)計方法或線性機器學(xué)習模型,例如支持向量機[2],差分整合移動平均自回歸模型[3]挖掘交通事故的歷史發(fā)生模式。但是,這些方法難以捕獲到交通事故數(shù)據(jù)中復(fù)雜且非線性的時空相關(guān)性。因此,一些研究基于深度學(xué)習方法,利用非線性模型提升交通事故風險預(yù)測的準確性[4-9]。

盡管現(xiàn)有的很多深度學(xué)習方法已被有效地應(yīng)用于交通事故風險預(yù)測,但是仍存在以下兩個挑戰(zhàn),從而影響了現(xiàn)有方法的預(yù)測精度。

第一個挑戰(zhàn)是交通事故具有不均衡的空間分布[10],比如在交通量較大或者路段交匯情況較復(fù)雜的路段,交通事故數(shù)量可能較多,而一些路況較好的路段上交通事故數(shù)量可能較少。圖卷積網(wǎng)絡(luò)已被廣泛應(yīng)用于捕獲路網(wǎng)中交通數(shù)據(jù)的空間相關(guān)性,但是傳統(tǒng)的圖卷積網(wǎng)絡(luò)需要預(yù)定義鄰接關(guān)系圖以學(xué)習節(jié)點間的空間相關(guān)性。由于有限的先驗知識,預(yù)定義圖難以全面地反映空間相關(guān)性。一方面,由于不同的路段結(jié)構(gòu)特征,相鄰路段的事故分布差異可能較大;另一方面,相隔較遠的路段,由于具有相似的拓撲連接關(guān)系,可能具有相似的事故分布。

第二個挑戰(zhàn)在于交通事故在時間維的分布非常稀疏[11]。由于事故的偶發(fā)性,一些路段在大部分時間的事故風險值為零。由于缺乏事故風險樣本,訓(xùn)練好深度神經(jīng)網(wǎng)絡(luò)具有較大的挑戰(zhàn)。此外,由于非風險樣本的數(shù)量遠大于風險樣本的數(shù)量,交通事故預(yù)測將偏向于輸出零事故風險的結(jié)果,而不是發(fā)現(xiàn)潛在的事故風險。交通事故數(shù)量在時間維稀疏的問題,并沒能被之前的工作很好地解決。

針對以上兩個挑戰(zhàn),該文提出一種基于對比學(xué)習的自適應(yīng)時空圖卷積網(wǎng)絡(luò)(Contrastive Learning Based Adaptive Spatio-Temporal Graph Convolutional Network,CASTGCN)用于交通事故風險預(yù)測。對于第一個挑戰(zhàn),基于矩陣分解的思想,該文使用自適應(yīng)圖卷積網(wǎng)絡(luò)[12]以數(shù)據(jù)驅(qū)動的方式學(xué)習節(jié)點間的空間相關(guān)性,解決交通事故空間分布不均衡的問題。對于第二個挑戰(zhàn),該文設(shè)計了一種對比學(xué)習方法,該方法基于Mixup策略[13]生成足夠多的事故風險樣本。設(shè)計的Mixup策略利用事故數(shù)據(jù)中固有的周期模式,通過聚合兩個相鄰周的具有相同小時片的樣本來實現(xiàn)數(shù)據(jù)增強,如果任一樣本是風險樣本,生成的樣本將被標記為具有混合得分的風險樣本,否則被標記為非風險樣本。經(jīng)過數(shù)據(jù)增強,非風險樣本和風險樣本的比例差將顯著減小。然后利用風險和非風險樣本構(gòu)建正例和負例進行有監(jiān)督的對比學(xué)習。通過對比學(xué)習使得模型更好地區(qū)分風險樣本和非風險樣本的嵌入表示,從而提升事故預(yù)測的準確度。

貢獻總結(jié)為:首先,基于自適應(yīng)圖卷積網(wǎng)絡(luò)以數(shù)據(jù)驅(qū)動的方式挖掘交通數(shù)據(jù)中復(fù)雜的空間相關(guān)性;其次,基于交通事故數(shù)據(jù)的周期性設(shè)計了一種Mixup策略并將其整合到對比學(xué)習方法中,解決事故數(shù)據(jù)在時間維稀疏的問題,使得模型可以更好地區(qū)分風險樣本和非風險樣本;最后,基于桂林市高速公路數(shù)據(jù),將提出方法與多種預(yù)測方法進行對比,驗證了提出方法的有效性和先進性。

1 前置定義

1.1 高速公路路網(wǎng)

將高速公路路網(wǎng)定義為一個無向圖G=(L,E),其中L={l0,l1,…,lM}是|L|=M個路段的集合,E是|E|=Q條邊的集合。如果車輛可以從路段li通向路段lj,則路段li和路段lj存在連接關(guān)系,(li,lj)表示連接路段li和路段lj的邊。

1.2 交通事故風險

首先,根據(jù)交通事故的具體情況將其分為3種類型:輕型事故、中型事故、嚴重事故。對于第t個時間間隔中的一個路段,給定第k個類型的交通事故數(shù)量nk,該路段的風險指數(shù)(risk)定義為不同類別交通事故的加權(quán)求和:

(1)

其中,wk表示不同類型交通事故的權(quán)重:w1=1表示輕型事故,w2=2表示中型事故,w3=3表示嚴重事故。

1.3 圖信號矩陣

在第t個時間間隔內(nèi),觀測到高速公路路網(wǎng)G上的圖信號用矩陣Xt=(xt,1,xt,2,…,xt,M)T∈RM×C表示,其中xt,i∈RC表示第t個時間間隔內(nèi)路段lj的C個觀測量的取值。

1.4 交通事故風險預(yù)測

在交通事故風險預(yù)測任務(wù)中,給定歷史T個時間間隔的時空圖信號矩陣χ=(X1,X2,…,XT),預(yù)測所有路段在第T+1個時間間隔的交通風險指數(shù):

YT+1=Fθ(X1,X2,…,XT)

(2)

其中,θ為模型參數(shù),YT+1∈RM為預(yù)測得到的所有路段的事故風險指數(shù)值。

2 方法介紹

該文提出一種基于對比學(xué)習的自適應(yīng)時空圖卷積網(wǎng)絡(luò)(CASTGCN)用于交通事故風險預(yù)測,如圖1所示。輸入歷史多個時間間隔的時空圖信號矩陣,通過自適應(yīng)空間相關(guān)性建模、自適應(yīng)時間相關(guān)性建模、卷積層捕獲時空圖信號矩陣中的時空相關(guān)性,然后通過預(yù)測層得到各個路段在未來的交通風險指數(shù),采用均方誤差損失函數(shù)指導(dǎo)模型訓(xùn)練。另一方面,通過Mixup數(shù)據(jù)增廣方法生成事故風險樣本,通過自適應(yīng)時空相關(guān)性建模得到風險樣本和非風險樣本的嵌入表示,利用增廣樣本的嵌入表示進行有監(jiān)督的對比學(xué)習,使模型更好地區(qū)分風險樣本和非風險樣本。

圖1 基于對比學(xué)習的自適應(yīng)圖卷積網(wǎng)絡(luò)

2.1 輸入層

2.2 自適應(yīng)空間相關(guān)性建模

圖卷積網(wǎng)絡(luò)因其具有學(xué)習圖結(jié)構(gòu)數(shù)據(jù)中的空間相關(guān)性的能力被廣泛用于交通流預(yù)測。目前普遍使用的圖卷積計算公式如下:

(3)

其中,A∈RN×N為鄰接矩陣,D為度矩陣,X∈RN×C為圖信號輸入,H∈RN×F為圖卷積計算的輸出,W∈RC×F和b∈RF為可學(xué)習參數(shù)。圖卷積通過一組共享的參數(shù)W和b聚合節(jié)點自身和鄰接節(jié)點信息,實現(xiàn)空間特征提取。

傳統(tǒng)圖卷積計算通常使用預(yù)定義的鄰接矩陣A,鄰接矩陣A通?；诰嚯x計算得到。這種方法的局限性在于節(jié)點特征在圖上的傳播將完全依賴于預(yù)定義的圖結(jié)構(gòu),而預(yù)定義的圖結(jié)構(gòu)難以保證其能完全包含路網(wǎng)交通數(shù)據(jù)中復(fù)雜的空間相關(guān)性。一方面,由于不同的路段結(jié)構(gòu)特征,相鄰路段的事故分布差異可能較大;另一方面,相隔較遠的路段,由于具有相似的拓撲連接關(guān)系,可能具有相似的事故分布,如圖2所示。

圖2 桂林高速公路事故(圓點)的空間分布 (2022年3月5日8時至2022年3月12日8時)

(4)

自適應(yīng)鄰接矩陣不需要任何先驗知識,在訓(xùn)練過程中通過反向傳播機制學(xué)習自適應(yīng)鄰接矩陣的參數(shù),以數(shù)據(jù)驅(qū)動的方式學(xué)習路網(wǎng)交通數(shù)據(jù)中的空間相關(guān)性。

(5)

其中Xt為第t個時間片下的圖信號矩陣。

2.3 自適應(yīng)時間相關(guān)性建模

在時間維度上,不同時間段的路網(wǎng)信息之間存在顯著的相關(guān)性,在不同情況下的時間相關(guān)性也不同。因此基于注意機制[14]對歷史不同時間步的交通數(shù)據(jù)賦予不同相關(guān)性。使用如下公式計算出時間注意力矩陣:

C=V·σ(((H)TU1)U2(U3H)+e)

(6)

(7)

其中,V,e∈RT×T,U1∈RN,U2∈RF×M,U3∈RF是可學(xué)習參數(shù)。時間相關(guān)性矩陣C的值根據(jù)輸入的圖信號矩陣自適應(yīng)學(xué)習得到,其中元素Ci,j表示時間片i和j下路網(wǎng)信息的相關(guān)性。最后,使用Softmax函數(shù)對矩陣進行歸一化。用計算得到時間注意力矩陣與空間相關(guān)性建模得到的嵌入表示相乘,得到新的時空圖表示:

H'=HC'=(HS-T+1,HS-T+2,…,HS)

(8)

H'(r)=ReLU(Φ*H'(r-1))∈RFr×M×Tr

(9)

其中,*表示標準卷積計算,Φ為時間維卷積核參數(shù),Fr表示第r步卷積后圖節(jié)點的特征維度,Tr表示第r步卷積后時間維度大小。最終輸出為:

Z=ReLU(Φ*H'(R))∈RFout×M

(10)

在得到聚合前T個時間段時空相關(guān)性的路段嵌入表示Z后,通過一個多層感知機作為預(yù)測器,得到所有路段在第T+1個時間段的交通風險指數(shù)YT+1=MLP(Z)。

2.4 基于Mixup的數(shù)據(jù)增廣

傳統(tǒng)的對比學(xué)習方法[15]通過對樣本進行數(shù)據(jù)增強得到正樣本對和負樣本對,然后利用正、負樣本對計算對比損失以實現(xiàn)表示學(xué)習。表示學(xué)習的目的是使正樣本對在嵌入空間中的差異性更小,負樣本對在嵌入空間中的差異性更大,從而使得模型更好地區(qū)分正樣本對和負樣本對。盡管傳統(tǒng)的對比學(xué)習方法在很多領(lǐng)域廣泛應(yīng)用,但是,由于交通事故數(shù)據(jù)的稀疏性(如圖3所示),引入對比學(xué)習難以直接使模型更好地區(qū)分事故風險樣本和非事故風險樣本。相比于大量的非事故風險樣本,少量的事故風險樣本使得模型難以學(xué)習到事故風險數(shù)據(jù)的分布,從而難以調(diào)整模型參數(shù)實現(xiàn)事故風險的預(yù)測。

(a)嚴關(guān)塘堡互通-溶江至溶江-靈川西路段

(b)桂林東-堯山至堯山-靈川路段圖3 桂林高速公路事故數(shù)量隨時間的分布(2021年11月20日0時至2022年6月1日0時)

為減輕因事故風險樣本稀疏帶來的影響,該文基于Mixup數(shù)據(jù)增廣方法生成足夠多的事故風險樣本。通過對交通事故的時空分析可知,其發(fā)生時間具有以周為單位的周期性,即不同周的相同周中天發(fā)生交通事故的概率相比于不同周中天發(fā)生交通事故的概率更接近?；谶@種周期性,通過構(gòu)造兩個連續(xù)周具有相同時間戳樣本xi和xj的凸組合生成增廣樣本:

Xmix={λxi+(1-λ)xj|ti-tj=7天}

(11)

Ymix={λyi+(1-λ)yj|ti-tj=7天}

(12)

其中,λ為混合參數(shù),用于調(diào)節(jié)兩個數(shù)據(jù)源的影響。如果xi或xj為事故風險樣本,則將生成的增廣樣本標記為事故風險樣本。

2.5 對比學(xué)習方法

在實現(xiàn)基于Mixup的數(shù)據(jù)增廣后,通過對比學(xué)習方法利用增廣后的數(shù)據(jù)解決事故風險數(shù)據(jù)在時間維度稀疏的問題。

首先,根據(jù)數(shù)據(jù)增廣后的風險值對生成的事故風險/非風險樣本進行分組,得到正例集合和負例集合。具體的,風險值大于0的樣本構(gòu)成正例集合,風險值等于0的樣本構(gòu)成負例集合。

然后,將正例集合和負例集合輸入由自適應(yīng)空間相關(guān)性建模和自適應(yīng)時間相關(guān)性建模構(gòu)成的編碼器f(·),通過映射函數(shù)g(·)得到增廣樣本的嵌入表示Zpos和Zneg:

Zpos={g(f(xi))|xi∈Xmix,yi>0}

(13)

Zneg={g(f(xi))|xi∈Xmix,yi=0}

(14)

最后,利用增廣樣本的嵌入表示在潛在空間進行有監(jiān)督的對比學(xué)習,使得模型更好地區(qū)分事故風險樣本和非事故風險樣本。受益于基于Mixup的數(shù)據(jù)增廣,更多的事故風險樣本的特征可以被模型充分利用,從而防止對比學(xué)習在非事故風險樣本上發(fā)生過擬合,通過學(xué)習到更好的事故風險嵌入表示實現(xiàn)更準確的交通事故風險預(yù)測。

在交通事故風險預(yù)測中,對比損失的目的是使得事故風險樣本的嵌入表示構(gòu)成的正樣本的相似度更高,非事故風險樣本的嵌入表示構(gòu)成的負樣本對的相似度更低:

(15)

其中,sim(·)表示余弦相似度。

2.6 損失函數(shù)

訓(xùn)練過程中,損失函數(shù)包括通過原始數(shù)據(jù)計算的事故風險預(yù)測損失LF和增廣數(shù)據(jù)計算的對比損失LC。LF由預(yù)測值和真實值的均方誤差計算得到:

(16)

總的損失函數(shù)L為兩項損失函數(shù)的組合,參數(shù)α控制對比學(xué)習的影響:

L=LF+αLC

(17)

2.7 模型訓(xùn)練

模型訓(xùn)練的損失函數(shù)使用均方誤差函數(shù),優(yōu)化算法選用Adam算法[16],Adam算法是一種基于“動量”思想的隨機梯度下降算法,在迭代前計算梯度的二階動量并計算滑動平均值,并用于更新參數(shù)。

3 實驗與結(jié)果

實驗使用桂林市路網(wǎng)區(qū)域的交通數(shù)據(jù),共有36個路段,從2019年11月20日到2022年6月1日。按6∶2∶2的比例劃分訓(xùn)練集、驗證集和測試集,使用訓(xùn)練集的均值和標準差對所有數(shù)據(jù)進行歸一化,輸入T=10個時間步的數(shù)據(jù),預(yù)測未來1個時間步的交通事故風險指數(shù)。

3.1 評價指標

從回歸和排序兩方面驗證提出的模型的預(yù)測性能。該文用平均絕對誤差(Mean Absolute Error,MAE)從回歸的角度評價預(yù)測準確率。通過Recall和MAP以排序的角度評測事故風險區(qū)域的預(yù)測準確度。在時間間隔t(1≤t≤T),如果在kt個路段存在事故風險,Recall表示真實具有事故風險的kt個路段與預(yù)測得到事故風險值最高的kt個路段的重合率。MAP表示預(yù)測路段的平均準確率。MAE越低,表示模型預(yù)測的交通事故風險指數(shù)越準確,Recall和MAP越高則表示模型識別事故風險的能力越強。MAE,Recall,MAP的計算公式為:

(18)

(19)

(20)

3.2 基線模型

將提出模型(CASTGCN)與其他6種現(xiàn)有可用于交通事故風險指數(shù)預(yù)測的模型進行了對比。

MLP[17]:多層感知機,通過設(shè)置隱藏層捕獲高階函數(shù)關(guān)系。

LSTM[18]:一種經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)模型,廣泛用于處理序列數(shù)據(jù)。

SVM[19]:一種基于交通流穩(wěn)定性系數(shù)和支持向量機的交通風險預(yù)測方法。

ISTGCN[11]:一種使用改進的時空圖卷積網(wǎng)絡(luò)預(yù)測交通風險的方法。

ASTGCN[20]:一種用于交通指數(shù)預(yù)測的基于注意力的時空圖卷積模型,其在時間和空間為都應(yīng)用了集合注意力機制的卷積操作。

AGCRN[12]:一種應(yīng)用了自適應(yīng)圖卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)的交通風險預(yù)測模型。

3.3 實驗與環(huán)境設(shè)置

文中模型基于Pytorch框架實現(xiàn),自適應(yīng)圖神經(jīng)網(wǎng)絡(luò)的節(jié)點嵌入維度為32,圖卷積、時間注意力卷積、隱藏層大小均設(shè)置為32,對比損失權(quán)重α設(shè)置為0.2,混合參數(shù)λ設(shè)置為0.1。時間注意力卷積模塊在時間維度堆疊了3層卷積得到最終預(yù)測結(jié)果。模型訓(xùn)練采用了Adam優(yōu)化算法,初始學(xué)習率為0.000 1,訓(xùn)練批次大小為128。實驗使用Python 3.6編寫,Pytorch框架版本1.10.2,硬件配置如表1所示。

表1 實驗硬件配置

3.4 實驗結(jié)果分析

按上述使用不同的方法在相同場景下進行預(yù)測,結(jié)果如表2所示。

表2 不同方法在數(shù)據(jù)集上的實驗結(jié)果比較

從表2可以看出,文中模型在3種評價指標中均達到了最佳性能。其中,MLP是經(jīng)典深度學(xué)習結(jié)構(gòu),可以用于幾乎所有預(yù)測任務(wù),但由于其結(jié)構(gòu)單一,在預(yù)測事故風險時缺少相應(yīng)的模塊建模路網(wǎng)信息的時空相關(guān)性,導(dǎo)致效果并不理想。SVM基于交通流穩(wěn)定性系數(shù)為輸入,并且不需要搜索最優(yōu)參數(shù),效果優(yōu)于MLP,但這種方法將各個路段的特征及風險當作獨立的樣本,無法建模路網(wǎng)信息的時空相關(guān)性,因此預(yù)測能力有限。

LSTM有能力捕獲時間序列上長短期依賴,但是其難以捕獲空間維度上路網(wǎng)信息的相關(guān)性,其效果仍然有限。ISTGCN,ASTGCN和AGCRN作為時空數(shù)據(jù)預(yù)測模型,都集成了空間和時間兩個維度的處理模塊。然而,ISTGCN和ASTGCN都基于預(yù)定義的鄰接矩陣捕獲特征的空間屬性,其效果稍弱于使用了自適應(yīng)圖卷積的AGCRN,因為基于預(yù)定義的圖難以建模路網(wǎng)信息中完整的空間相關(guān)性。該文基于Mixup策略設(shè)計數(shù)據(jù)增廣方法,使用對比學(xué)習解決事故數(shù)據(jù)在時間維稀疏的問題,獲得了更好的事故風險樣本的嵌入表示。此外,該文將自適應(yīng)圖學(xué)習和注意力機制結(jié)合,以數(shù)據(jù)驅(qū)動的方式挖掘交通數(shù)據(jù)中復(fù)雜的時空相關(guān)性,從而實現(xiàn)了最佳效果。

3.5 消融實驗分析

為進一步分析模型各個組件的作用,設(shè)計了原模型的3個變體進行消融實驗,將這3個變體與原模型進行比較。變體的描述如下:

wo_S:在原CASTGCN基礎(chǔ)上,不使用自適應(yīng)圖卷積建模路網(wǎng)信息的空間相關(guān)性;

wo_T:在CASTGCN基礎(chǔ)上,不使用時間注意力機制建模路網(wǎng)信息的時間相關(guān)性;

wo_Cta:在CASTGCN基礎(chǔ)上,不使用對比學(xué)習方法,將對比損失權(quán)重α設(shè)置為0。

消融實驗的結(jié)果如表3所示。

表3 消融實驗結(jié)果

首先,在不建模路網(wǎng)信息的空間相關(guān)性的情況下(wo _S),模型在各項指標上都有所降低,由于具有相似拓撲連接關(guān)系,相似流量等交通量變化情況路段間的事故風險存在相關(guān)性,因此該文通過自適應(yīng)圖卷積捕獲路網(wǎng)信息的空間相關(guān)性是有效的。此外,在不建模路網(wǎng)信息的時間相關(guān)性的情況下(wo _T),模型表現(xiàn)顯著降低,因此該文基于注意力機制自適應(yīng)地學(xué)習路網(wǎng)信息的時間相關(guān)性對于準確地事故風險預(yù)測是有效的。最后,在不使用對比損失的情況下(wo _Cta),模型效果有所降低,這說明基于Mixup策略的數(shù)據(jù)增廣緩解了事故數(shù)量稀疏的影響,引入對比損失可以使模型更好地區(qū)分風險樣本和非風險樣本,因此實現(xiàn)了更準確的事故風險預(yù)測。

4 結(jié)束語

為更準確地預(yù)測高速公路的事故風險,該文提出了一種基于自適應(yīng)時空相關(guān)性建模和對比學(xué)習的深度學(xué)習模型。使用自適應(yīng)圖卷積網(wǎng)絡(luò)捕獲路網(wǎng)信息的空間相關(guān)性,解決基于預(yù)定義圖的圖卷積運算難以包含路網(wǎng)信息完整空間相關(guān)性的問題。此外,基于注意力機制自適應(yīng)建模路網(wǎng)信息的時間相關(guān)性,然后通過卷積層進一步聚合相鄰時間片間的信息。接著,基于Mixup策略實現(xiàn)數(shù)據(jù)增廣,解決交通事故在時間維度分布稀疏的問題,并利用對比學(xué)習方法使模型更好地區(qū)分風險樣本和非風險樣本,以實現(xiàn)更準確的事故風險預(yù)測。最后,通過實驗證明了提出方法的有效性和先進性。今后將進一步挖掘高速公路靜態(tài)特征數(shù)據(jù),比如是否存在彎道、匝道、下坡等,以更全面地建模影響高速公路事故風險的因素。