基于注意力機(jī)制的短時(shí)交通流預(yù)測(cè)模型研究

摘要 在交通流預(yù)測(cè)領(lǐng)域，一些經(jīng)典的預(yù)測(cè)方法雖然計(jì)算效率高，但忽略了交通數(shù)據(jù)的高度非線性和動(dòng)態(tài)性，只適用于精度要求低、運(yùn)行狀態(tài)平穩(wěn)的交通流預(yù)測(cè)。如今，深度學(xué)習(xí)與預(yù)測(cè)模型相結(jié)合，在挖掘大交通數(shù)據(jù)中深層次、隱含的時(shí)空關(guān)聯(lián)方面取得了良好效果。文章根據(jù)短時(shí)交通流量在時(shí)空序列數(shù)據(jù)中的依賴性和非線性相關(guān)的特點(diǎn)，提出了一種基于注意力（Attention）機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向門控循環(huán)網(wǎng)絡(luò)（BiGRU）組合的預(yù)測(cè)模型（CNN-Attention-BiGRU，簡(jiǎn)稱CN-AM-BG），以預(yù)測(cè)短時(shí)交通流?；谡鎸?shí)路網(wǎng)的交通數(shù)據(jù)進(jìn)行對(duì)比分析，結(jié)果證明相比單變量輸入，多變量特征輸入對(duì)提高模型預(yù)測(cè)精度的效果更為顯著。作為智能交通系統(tǒng)的重要基礎(chǔ)，為交通控制提供更為精準(zhǔn)的交通流預(yù)測(cè)，從而提前減緩或避免擁堵形成，對(duì)于制定交通誘導(dǎo)和交通控制方案，提高道路交通安全具有重要意義。

關(guān)鍵詞 交通流預(yù)測(cè)；神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；門控遞歸單元；注意力機(jī)制

中圖分類號(hào) U491 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 2096-8949（2024）20-0042-03

0 引言

對(duì)于交通控制和實(shí)時(shí)交通誘導(dǎo)來說，交通流預(yù)測(cè)的準(zhǔn)確性和可靠性是其實(shí)現(xiàn)的必要條件和重要基礎(chǔ)。深度學(xué)習(xí)技術(shù)具有理論上逼近任意復(fù)雜函數(shù)的強(qiáng)大能力，可以對(duì)各種交通任務(wù)中更復(fù)雜的模式進(jìn)行建模，因此深度學(xué)習(xí)技術(shù)在各種交通應(yīng)用中得到了廣泛應(yīng)用，并取得了一些先進(jìn)成果。Jiang[1]等利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和殘差網(wǎng)絡(luò)將地理空間數(shù)據(jù)轉(zhuǎn)換為圖像進(jìn)行了交通預(yù)測(cè)；Duan等[2]針對(duì)城市交通數(shù)據(jù)的非線性和時(shí)空特性，提出了將提取空間特征的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和捕捉時(shí)間信息的長(zhǎng)短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)相結(jié)合，對(duì)城市交通流進(jìn)行了預(yù)測(cè)，CNN-LSTM具有更高的預(yù)測(cè)精度和更短的時(shí)間消耗；Guo等[3]提出了一種基于注意力機(jī)制的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)（ASTGCN）模型，通過時(shí)空注意力模塊能有效地捕捉交通數(shù)據(jù)中的動(dòng)態(tài)時(shí)空關(guān)聯(lián)性；殷禮勝等[4]使用自適應(yīng)變分模態(tài)分解（VMD）將時(shí)空交通流量序列進(jìn)行了細(xì)化，提高平穩(wěn)性后再使用結(jié)合注意力機(jī)制層的雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BiLSTM）進(jìn)行了交通流預(yù)測(cè)，進(jìn)一步提升了建模的精確度；劉明宇等[5]構(gòu)建了多層多深度門控循環(huán)單元（GRU）預(yù)測(cè)短時(shí)交通流，通過與支持向量機(jī)（SVM）等三種基線模型進(jìn)行了綜合對(duì)比，證明GRU模型預(yù)測(cè)性能最優(yōu)。

綜上，當(dāng)交通流數(shù)據(jù)波動(dòng)性和不穩(wěn)定性較大時(shí)，單一的深度學(xué)習(xí)模型難以較好地學(xué)習(xí)數(shù)據(jù)的動(dòng)態(tài)變化，組合模型在提高預(yù)測(cè)模型精度方面更具有優(yōu)勢(shì)，且上述模型大多只考慮對(duì)單一方向的交通流進(jìn)行預(yù)測(cè)，從而忽略了預(yù)測(cè)時(shí)間點(diǎn)之后的交通流對(duì)預(yù)測(cè)點(diǎn)的影響。該文提出了一種基于注意力（Attention）機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（CNN）和雙向門控循環(huán)網(wǎng)絡(luò)（BiGRU）組合的預(yù)測(cè)模型（CN-AM-BG）進(jìn)行短時(shí)交通流預(yù)測(cè)。通過注意力機(jī)制降低歷史數(shù)據(jù)的特征損失，并通過提高對(duì)重要節(jié)點(diǎn)數(shù)據(jù)的關(guān)注度，提高模型對(duì)數(shù)據(jù)深層特征關(guān)系的捕捉。

1 深度學(xué)習(xí)組合模型的構(gòu)建

1.1 設(shè)計(jì)CNN網(wǎng)絡(luò)捕獲數(shù)據(jù)空間特征

CNN在深層次特征學(xué)習(xí)方面具備一定優(yōu)勢(shì)。它可以充分利用空間信息，對(duì)道路網(wǎng)絡(luò)進(jìn)行卷積運(yùn)算，以捕捉交通數(shù)據(jù)復(fù)雜的空間相關(guān)性。以流量值為預(yù)測(cè)指標(biāo)，按照路段上下游順序及時(shí)間序列順序提取流量數(shù)據(jù)，進(jìn)而構(gòu)造二維矩陣，利用卷積層對(duì)特征矩陣X進(jìn)行卷積運(yùn)算，通過池化層進(jìn)一步縮小運(yùn)算量、全連接層中節(jié)點(diǎn)的數(shù)量，最后通過全連接層得到CNN的最終輸出。

1.2 設(shè)計(jì)BiGRU網(wǎng)絡(luò)深度學(xué)習(xí)數(shù)據(jù)時(shí)序特征

GRU即門控循環(huán)單元結(jié)構(gòu)，它和LSTM同為傳統(tǒng)RNN的變體，能夠有效捕捉交通數(shù)據(jù)中的時(shí)間相關(guān)性，避免梯度消失或爆炸問題。與LSTM網(wǎng)絡(luò)相比，GRU在保持良好的計(jì)算精度的同時(shí)結(jié)構(gòu)更簡(jiǎn)單，計(jì)算更快捷。GRU的核心結(jié)構(gòu)可以分為兩個(gè)部分進(jìn)行解析，分別是更新門和重置門。

GRU的原理是利用門單元控制歷史和當(dāng)前信息的傳遞，其一次向前傳遞過程如下：首先計(jì)算更新門和重置門，分別為zt和rt，計(jì)算公式如下：

zt=σ（Ws[ht-1，xt]+bs） （1）

rt=σ（Wr[ht-1，xt]+br） （2）

h?t=tanh（W[ht-1?rt，xt]+bh） （3）

ht=（1?zt）?h?t+zt?ht?1 （4）

更新門zt的主要作用是決定當(dāng)前輸入信息需要保留多少。式中，xt——當(dāng)前GRU單元的輸入信息，ht?1——前一個(gè)隱態(tài)傳輸?shù)男畔?。他們分別乘以各自的權(quán)重后匯入一個(gè)非線性的sigmoid函數(shù)，再經(jīng)過sigmoid函數(shù)激活后輸出激活值z(mì)t。輸出值在0～1之間，zt的值越接近1，則說明上一時(shí)間步的信息被保留得越多。?——哈達(dá)瑪積，xt——輸入信息，ht——t時(shí)刻時(shí)隱態(tài)的信息，Wz、Wr和W——權(quán)重矩陣，bz、br、bh是對(duì)應(yīng)的偏置矢量。

重置門rt主要決定了模型應(yīng)“忘記”過去的多少信息。輸入的信息xt和前一單元的輸出信息ht?1分別乘以各自的權(quán)重后求和，再經(jīng)過一個(gè)sigmoid函數(shù)激活后輸出rt。rt的輸出范圍為0～1，越接近0代表遺忘信息越多，1則代表完全保留信息。

式中，傳統(tǒng)的GRU結(jié)構(gòu)通常沿序列方向進(jìn)行單向傳播，每次計(jì)算只與過去信息相關(guān)。但在考慮交通流的未來數(shù)據(jù)受現(xiàn)在數(shù)據(jù)影響時(shí)，能夠?qū)?shí)時(shí)數(shù)據(jù)產(chǎn)生反饋，需要利用未來的反饋信息對(duì)模型進(jìn)行修正。

BiGRU模型由正向傳遞和反向傳遞的GRU共同組成，水平方向表示時(shí)間序列的雙向流動(dòng)，垂直方向則表示從輸入層到輸出層的單向傳遞過程。將正向輸入序列和反向輸入序列的輸出結(jié)果進(jìn)行結(jié)合，則為最終的輸出結(jié)果。計(jì)算公式如下：

h ? t=g（xtWf xh+h ? t?1Wf hh+bf h） （5）

h?t=g（xtWb xh+h?t?1Wb hh+bb h） （6）

ht=comcat（h ? t，h??t） （7）

yt=g（htWhq+bq） （8）

式中，h ? t和h?t——前向和后向GRU網(wǎng)絡(luò)的輸出向量，xt——輸入信息，g——非線性激活函數(shù)，Wf xh、Wf hh——正向傳遞的權(quán)重矩陣，Wb xh、Wb hh——反向傳遞的權(quán)重矩陣，bb h、bf h——偏移項(xiàng)， yt——最終輸出結(jié)果。

1.3 引入注意力機(jī)制

注意力機(jī)制是一種模仿人腦注意力的資源分配機(jī)制，在某一特定時(shí)刻，大腦把注意力集中在起決定性作用的信息，減少甚至忽略對(duì)無關(guān)信息的注意，以捕捉數(shù)據(jù)的重要特征[6]。注意力機(jī)制通過概率分配方式，對(duì)關(guān)鍵信息分配足夠的關(guān)注度，提取重要時(shí)間點(diǎn)的信息特征，避免預(yù)測(cè)網(wǎng)絡(luò)模型將不同節(jié)點(diǎn)進(jìn)行同樣對(duì)待，從而提高模型的準(zhǔn)確率。Attention層的輸入為經(jīng)過GRU網(wǎng)絡(luò)層激活處理的輸出向量H，根據(jù)權(quán)重分配原則計(jì)算不同特征向量所對(duì)應(yīng)的概率，不斷更新迭代出較優(yōu)的權(quán)重參數(shù)矩陣，最后通過全連接層輸出預(yù)測(cè)結(jié)果。

1.4 CNN-Attention-BiGRU組合模型

該文提出了結(jié)合注意力機(jī)制的混合神經(jīng)網(wǎng)絡(luò)交通流預(yù)測(cè)模型（CNN-Attention-BiGRU，簡(jiǎn)稱CN-AM-BG），該組合模型的核心結(jié)構(gòu)包含CNN、BiGRU和注意力機(jī)制?；绢A(yù)測(cè)流程如下：首先將道路流量的空間和時(shí)間特征整合為一個(gè)二維矩陣作為模型的輸入，模型通過CNN層可以捕捉道路流量的空間依賴性；接著將產(chǎn)生的空間特征矩陣輸入BiGRU訓(xùn)練模塊以捕捉流量的時(shí)間依賴性；最后引入注意力機(jī)制，根據(jù)分配權(quán)重的概率重點(diǎn)關(guān)注輸入序列中權(quán)重更高的區(qū)域，從而捕捉序列中的核心特征信息，由全連接層輸出最終的預(yù)測(cè)結(jié)果。模型中每層結(jié)構(gòu)描述如下：

（1）輸入層：采用最小最大標(biāo)準(zhǔn)化技術(shù)將歷史交通流數(shù)據(jù)映射到[0，1]之間，作為預(yù)測(cè)模型的輸入。

（2）CNN層：主要對(duì)輸入的交通流序列進(jìn)行特征提取。

（3）GRU層：將CNN層輸出的特征矩陣輸入BiGRU層，通過正向GRU層和反向GRU層進(jìn)一步挖掘數(shù)據(jù)在時(shí)間維度上的特征信息，利用時(shí)序信息在反向GRU層的信息傳遞對(duì)模型進(jìn)行修正。

（4）Attention層：根據(jù)權(quán)重分配原則計(jì)算不同特征向量所對(duì)應(yīng)的概率，不斷更新迭代出較優(yōu)的權(quán)重參數(shù)矩陣，輸出權(quán)重值。

（5）輸出層：通過全連接層輸出預(yù)測(cè)結(jié)果。

2 算例分析

2.1 數(shù)據(jù)與評(píng)價(jià)指標(biāo)

該文的實(shí)驗(yàn)數(shù)據(jù)來源于加州交通局績(jī)效評(píng)估系統(tǒng)（PeMS），該系統(tǒng)通過在道路關(guān)鍵位置設(shè)置相關(guān)傳感器獲取交通數(shù)據(jù)。數(shù)據(jù)來源道路是San Diego路網(wǎng)中標(biāo)號(hào)為15-N的高速公路，截取某連續(xù)路段的16個(gè)探測(cè)器所記錄的交通流數(shù)據(jù)作為樣本數(shù)據(jù)，時(shí)序數(shù)據(jù)按5 min為間隔排列。

預(yù)測(cè)模型的側(cè)重點(diǎn)不同，則預(yù)測(cè)效果也不盡相同。因此，需要通過適當(dāng)?shù)闹笜?biāo)評(píng)估一個(gè)模型是否有足夠的預(yù)測(cè)能力，通常用模型預(yù)測(cè)值與實(shí)際值的誤差評(píng)估模型的預(yù)測(cè)精度。該實(shí)驗(yàn)評(píng)估指標(biāo)選擇MAE（平均絕對(duì)誤差）作為損失函數(shù)，MAE、RMSE（均方根誤差）和MAPE（平均絕對(duì)百分比誤差）作為評(píng)價(jià)模型性能的指標(biāo)。以上三個(gè)指標(biāo)值越小，則模型誤差越小、精度越高。數(shù)學(xué)表達(dá)式如下：

MAE=1 n∑ n i=1|y??yi| （9）

MAPE=1 n∑ n i=1|y?i?yi| yi ×100% （10）

RMSE=√1 n∑ n i=1（y??yi）E6iALqv3Eyrxi5M/jCuvsQ==2 （11）

2.2 預(yù)測(cè)模型訓(xùn)練

該文使用Tensor Flow中Keras框架搭建實(shí)驗(yàn)所需模型，并且在python3.6環(huán)境中進(jìn)行訓(xùn)練和預(yù)測(cè)。模型訓(xùn)練過程涉及激活函數(shù)、損失函數(shù)、優(yōu)化算法、批量數(shù)（Batch size）、迭代次數(shù)（epoch）等各類參數(shù)的調(diào)優(yōu)，超參數(shù)的選擇會(huì)對(duì)模型的準(zhǔn)確性產(chǎn)生直接影響，預(yù)測(cè)模型的超參數(shù)將盡量保持一致。交通流數(shù)據(jù)以前90%的數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，后10%數(shù)據(jù)為測(cè)試數(shù)據(jù)。將交通流數(shù)據(jù)按照空間位置關(guān)系及時(shí)間序列整合為二維矩陣，作為模型的輸入。為了驗(yàn)證CN-AM-BG模型的預(yù)測(cè)精度和穩(wěn)定性，選取了三種基于深度學(xué)習(xí)方法的交通流預(yù)測(cè)模型進(jìn)行結(jié)果對(duì)比。預(yù)測(cè)模型超參數(shù)設(shè)置如下：

（1）單一維度模型。

LSTM模型：隱層數(shù)為1，隱層單元為32；激活函數(shù)為ReLU；Batch size為32；應(yīng)用Dropout正則化隨機(jī)丟棄不重要的特征，dropout值設(shè)為0.01，優(yōu)化算法為Adam；模型迭代次數(shù)為100。

（2）組合模型。

CNN-GRU模型：CNN模型卷積層為3層，每層卷積核個(gè)數(shù)分別為32/64/128個(gè)，卷積核大小為1×3；池化層采用最大池化；激活函數(shù)為ReLU，優(yōu)化算法為Adam；Batch size為32；模型迭代次數(shù)為100；GRU為改進(jìn)的LSTM模型，模型的超參數(shù)設(shè)置與LSTM模型相同。

（3）結(jié)合注意力機(jī)制的組合模型。

CN-AM-BG模型：卷積層數(shù)為3層，BiGRU為1層，Attention層為1層，Attention層神經(jīng)元個(gè)數(shù)為128，激活函數(shù)都采用ReLU；優(yōu)化算法為Adam；Batch size為32；Dropout值為0.02；學(xué)習(xí)率為0.001；時(shí)間窗設(shè)置為6，時(shí)間跨度為30 min；模型迭代次數(shù)為100。

2.3 結(jié)果分析

對(duì)各模型應(yīng)用同一數(shù)據(jù)集進(jìn)行預(yù)測(cè)，各模型預(yù)測(cè)結(jié)果評(píng)價(jià)指標(biāo)對(duì)比如表1所示。與單一模型LSTM相比，CN-AM-BG模型性能指標(biāo)MAE、RMSE、MAPE分別降低了5.78、6.93、8.48；與組合模型CNN-GRU相比，MAE、RMSE、MAPE分別降低了0.91、1.98、1.45。

時(shí)間序列模型LSTM的預(yù)測(cè)誤差較大，模型無法預(yù)測(cè)即將到達(dá)的交通流峰值。CNN-GRU模型結(jié)合CNN網(wǎng)絡(luò)及GRU網(wǎng)絡(luò)的優(yōu)點(diǎn)，識(shí)別了短時(shí)交通流數(shù)據(jù)的空間局部特征，并且保留了挖掘時(shí)間特征的能力，可以預(yù)測(cè)早晚高峰時(shí)段的交通流變化，該模型有效提高了預(yù)測(cè)精度，體現(xiàn)了混合模型在交通流預(yù)測(cè)中的優(yōu)越性。

CN-AM-BG組合預(yù)測(cè)模型利用注意力機(jī)制，重點(diǎn)關(guān)注長(zhǎng)序列數(shù)據(jù)中的特征信息，預(yù)測(cè)結(jié)果誤差最小。與組合模型CNN-GRU相比，預(yù)測(cè)精度得到進(jìn)一步提升，預(yù)測(cè)效果更貼合真實(shí)值，達(dá)到較高的預(yù)測(cè)水準(zhǔn)。

通過各模型的預(yù)測(cè)誤差對(duì)比結(jié)果可知，相比單一維度的LSTM模型而言，組合模型可以綜合考慮時(shí)空序列數(shù)據(jù)中更為復(fù)雜的模式和特征，預(yù)測(cè)效果更優(yōu)；而相比組合模型CNN-GRU來說，CN-AM-BG模型利用注意力機(jī)制重點(diǎn)關(guān)注長(zhǎng)序列數(shù)據(jù)中的特征信息，更進(jìn)一步降低了模型的預(yù)測(cè)誤差。

3 結(jié)論

該文從交通流量序列非平穩(wěn)和隨機(jī)性特征出發(fā)，為提升交通流預(yù)測(cè)的準(zhǔn)確度，提出了改進(jìn)的CN-AM-BG預(yù)測(cè)模型。模型深度結(jié)合交通流的時(shí)空特征，先在網(wǎng)絡(luò)底層使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行局部空間特征的提取，得到包含空間信息的特征向量，再利用結(jié)合注意力機(jī)制層的雙向GRU網(wǎng)絡(luò)，同時(shí)考慮雙向的交通流數(shù)據(jù)提取時(shí)間特征，并考慮上下游交通流對(duì)預(yù)測(cè)點(diǎn)產(chǎn)生的影響。通過實(shí)驗(yàn)仿真結(jié)果可知，其預(yù)測(cè)精確度明顯優(yōu)于單個(gè)的LSTM模型、CNN-GRU組合模型，具有較強(qiáng)的預(yù)測(cè)性能和泛化能力，能夠滿足短時(shí)交通流預(yù)測(cè)精度的要求，可為交通流預(yù)測(cè)提供理論參考和方法依據(jù)。

參考文獻(xiàn)

[1]JIANG W， ZHANG L. Geospatial data to images： A deep-learning framework for traffic forecasting[J]. Tsinghua Science and Technology， 2019（1）：52-64.

[2]DUAN Z ， YANG Y ， ZHANG K ， et al. Improved Deep Hybrid Networks for Urban Traffic Flow Prediction Using Trajectory Data[J]. IEEE Access， 2018（6）：31820-31827.

[3]Guo S， LIN Y， FENG N， et al. Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2019（33）：922-929.

[4]殷禮勝，孫雙晨，魏帥康，等.基于自適應(yīng)VMD-Attention-BiLSTM的交通流組合預(yù)測(cè)模型[J].電子測(cè)量與儀器學(xué)報(bào)，2021（7）：130-139.

[5]劉明宇，吳建平，王鈺博，等.基于深度學(xué)習(xí)的交通流量預(yù)測(cè)[J].系統(tǒng)仿真學(xué)報(bào)，2018（11）：4100-4105.

[6]杜圣東，李天瑞，楊燕，等.一種基于序列到序列時(shí)空注意力學(xué)習(xí)的交通流預(yù)測(cè)模型[J].計(jì)算機(jī)研究與發(fā)展，2020（8）：1715-1728.

收稿日期：2024-07-12

作者簡(jiǎn)介：魏榮（1995—），女，碩士，助理工程師，研究方向：交通規(guī)劃與管理。