基 于 Transformer - ESIM 的高速公路交通狀態(tài)識別模型

薛相全，龐明寶 （河北工業(yè)大學(xué) 土木與交通學(xué)院，天津 300401）

0 引 言

高速公路交通狀態(tài)的精準(zhǔn)識別是提升其運行效率的關(guān)鍵，早期的研究集中于雙指數(shù)平滑法、McMaster 和貝葉斯算法等數(shù)理統(tǒng)計算法[1-3]，后集中于模糊聚類、人工神經(jīng)網(wǎng)絡(luò)、支持向量機等機器學(xué)習(xí)方法[4-6]，以上研究多為利用單一參數(shù)或同等對待多元參數(shù)，但高速公路交通流時空分布不均使不同參數(shù)的影響程度不同[7]，如純主線路段干擾少，速度參數(shù)影響程度高；而匝道附近路段分、合流使車輛加減速頻繁，則流量參數(shù)的影響程度高，若不加以區(qū)分，會使?fàn)顟B(tài)識別結(jié)果存在一定誤差。

為區(qū)分多元交通流參數(shù)影響差異性，如李曉璐等[7]和余慶等[8]引入熵權(quán)法區(qū)分參數(shù)的影響權(quán)重以改進(jìn)模糊聚類算法并建立相應(yīng)的高速公路交通狀態(tài)識別模型。但熵權(quán)法需要人為設(shè)置評價指標(biāo)閾值以供其計算參數(shù)指標(biāo)權(quán)重，這使其存在一定主觀因素，且聚類算法參數(shù)設(shè)置敏感可能會出現(xiàn)特征提取遺漏問題，使多元參數(shù)特征不能有效融合，無法提供更多有效信息，狀態(tài)識別準(zhǔn)確性有待提升。

而考慮多元交通流參數(shù)的狀態(tài)識別算法關(guān)鍵在于特征的有效提取和融合。Transformer 模型利用自注意力機制強大的學(xué)習(xí)和表示能力能夠自主給予多元參數(shù)以合適權(quán)重，使其在特征提取過程中信息損失減少，精準(zhǔn)性高[9-12]，同時并行化處理也可節(jié)約時間，近年來成為圖像、文本分類的最新方法；且增強序列模型（Enhanced Sequential Inference Model, ESIM） 可以強化多元參數(shù)特征的相似性和差異性，進(jìn)一步加強了信息的有效融合，提高了分類效率[13]，但其不涉及多元交通流參數(shù)的高速公路狀態(tài)分類識別研究。基于此，本文考慮多元交通流參數(shù)對于交通狀態(tài)影響差異性，基于Transformer-ESIM 模型強大的自適應(yīng)學(xué)習(xí)能力給予多元交通參數(shù)以合適權(quán)重并實現(xiàn)有效融合，建立高速公路交通狀態(tài)分類識別模型，通過實際交通流數(shù)據(jù)予以驗證。

1 狀態(tài)識別系統(tǒng)結(jié)構(gòu)

1.1 系統(tǒng)結(jié)構(gòu)

本文構(gòu)建的多元交通流參數(shù)高速公路狀態(tài)分類識別系統(tǒng)結(jié)構(gòu)如圖1 所示。其中描述交通流特性的參數(shù)指標(biāo)包括車流量、平均速度和占有率。

圖1 狀態(tài)識別系統(tǒng)結(jié)構(gòu)

1.2 系統(tǒng)原理

基本原理如下：（1） 信息采集子系統(tǒng)采集的流量、速度和占有率等參數(shù)數(shù)據(jù)存儲在數(shù)據(jù)庫中，并對數(shù)據(jù)進(jìn)行預(yù)處理以滿足交通狀態(tài)分類識別和其他交通管理控制的需要。（2） 將處理后的多元交通流參數(shù)輸入到Transformer 編碼層并行化提取有效特征，其中編碼層主要由多頭注意力機制層和前饋神經(jīng)網(wǎng)絡(luò)層組成。（3） 將編碼后的序列輸入到交叉注意力層，基于ESIM 強化各交通流參數(shù)特征的相似性和差異性，緩解由于直接融合參數(shù)特征而忽略參數(shù)彼此間影響的問題。（4） 將經(jīng)過池化的有效信息特征輸入到分類層中完成交通狀態(tài)的分類識別。

2 基于Transformer-ESIM 交通狀態(tài)分類識別模型

2.1 Transformer 編碼層

為實現(xiàn)多元交通流參數(shù)數(shù)據(jù)的并行化特征的有效提取，減少訓(xùn)練時間，本文通過構(gòu)建Transformer 編碼層解決。Transformer編碼層由多頭自注意力機制層和前饋神經(jīng)網(wǎng)絡(luò)層組成。

2.1.1 多頭注意力機制。多頭注意力機制利用自注意力操作可以給予不同特征以不同的權(quán)重來有效獲取信息，流程如下：

其中：SoftMax()·為非線性函數(shù)；dk為Kn的維度。

（2） 對第m 個注意力頭進(jìn)行自注意力操作，見式（5），每個頭對輸入的交通流序列數(shù)據(jù)信息的關(guān)注程度存在差異，學(xué)習(xí)到的關(guān)系不同，待各頭注意力計算完成后進(jìn)行多頭拼接可防止過擬合現(xiàn)象如式（6） 所示，對比簡單加權(quán)平均準(zhǔn)確性更高。

其中：LayerNorm()·為歸一化函數(shù)，Res()·為殘差網(wǎng)絡(luò)函數(shù)，yn為輸入序列，f yn()為映射關(guān)系，Yn為完成層殘差和歸一化的序列數(shù)據(jù)。

2.1.2 前饋神經(jīng)網(wǎng)絡(luò)層。由于前饋神經(jīng)網(wǎng)絡(luò)層的輸入和輸出不存在依賴關(guān)系，其一般由全連接層和激活函數(shù)層組成，全連接層增加模型的線性學(xué)習(xí)能力，激活函數(shù)增加非線性學(xué)習(xí)能力，將經(jīng)過多注意力機制處理后的向量Yn輸入到前饋神經(jīng)網(wǎng)絡(luò)層，見式（8），并進(jìn)行層殘差和歸一化完成最終編碼，見式（9），以避免過擬合現(xiàn)象。

其中：SoftMax()·為全連接層所用函數(shù)，Relu()·為激活函數(shù)層所用函數(shù)，W1、W2為前饋神經(jīng)網(wǎng)絡(luò)層的權(quán)重矩陣，b1、b2為前饋神經(jīng)網(wǎng)絡(luò)層的偏置。

2.2 ESIM-交叉注意力層

多元交通流參數(shù)融合可提高狀態(tài)識別準(zhǔn)確性。但現(xiàn)有研究主要是對多元交通流參數(shù)分別提取特征再輸入到一個特征融合層進(jìn)行直接融合，而忽略多元交通流參數(shù)間的狀態(tài)影響差和彼此間的相互作用。而ESIM 交叉注意力機制可以強化不同交通流參數(shù)間的相似性和差異性，其流程如下：

（1） 相似性計算。計算不同交通流參數(shù)數(shù)據(jù)特征的相似度矩陣，獲取多元參數(shù)間的相似信息如式（10） 至式（15）。

其中：za、zb、zc分別后經(jīng)過信息差異化增強的流量、速度和占有率的特征。

（3） 池化操作。對增強后的流量、速度和占有率序列數(shù)據(jù)進(jìn)行池化操作來完成特征融合以提升模型魯棒性，見式（19）。由于拼接后可能會存在對序列長度敏感，適應(yīng)能力降低，因此，對三個序列進(jìn)行平均池化和最大池化，并將最后的結(jié)果放入一組定長向量中來獲得更好的效果。

其中：pa,average、pb,average、pc,average分別為流量、速度和占有率的平均池化向量；pa,max、pb,max、pc,max分別為流量、速度和占有率的最大池化向量。

2.3 分類層

充分考慮多元參數(shù)間差異性，在完成流量、速度和占有率的特征信息加強后進(jìn)行暢通、穩(wěn)定、擁堵和擁塞4 種交通狀態(tài)分類識別，采用SoftMax 分類器輸出特征融合數(shù)據(jù)pi每個狀態(tài)類別的概率值，最后選擇其中數(shù)值最大者的對應(yīng)類別為預(yù)測的狀態(tài)類別，見式（20）。

其中：si為模型預(yù)測類別的輸出概率；W3為全連接層的權(quán)重矩陣；b3為全連接層的偏置。

選擇交叉熵為損失函數(shù)如式（21），來完成模型參數(shù)訓(xùn)練及動態(tài)更新。

3 實驗分析

3.1 實驗背景及設(shè)置

以京港澳高速保定互通→清苑為實驗路段，該路段含5 對出入口匝道和2 座與其它高速互通立交橋，主線單向4 車道，小、大車限速值分別為120km/h、100km/h，該路段為保定市繞城高速東環(huán)段，人們出行頻繁，有明顯高峰期特征，能呈現(xiàn)各種交通狀態(tài)。利用河北高速公路公司預(yù)處理后提供的2019 年10 月的流量、速度和占有率數(shù)據(jù)進(jìn)行實驗。選擇每周一到周五6:00～21:00 其中2 周的交通流參數(shù)數(shù)據(jù)，數(shù)據(jù)采集時間間隔為5min，參數(shù)數(shù)據(jù)正常，無異常點，利用成熟的狀態(tài)評價體系，構(gòu)成由暢通、穩(wěn)定、擁堵和擁塞組成的4 種狀態(tài)數(shù)據(jù)庫[15]，每種類別交通流參數(shù)包含1 800 條數(shù)據(jù)，共包含5 400 條數(shù)據(jù)，其中各類別數(shù)據(jù)分布情況如表1 所示，并將數(shù)據(jù)集按4:1 分為訓(xùn)練集和測試集。實驗基于TensorFlow1.15 框架完成，Anaconda 版本為5.1.1，Python 版本為3.8，CUDA 版本為11.3，Keras 版本為2.1，設(shè)置學(xué)習(xí)率為0.001，Dropout 為0.5，迭代100 次。本文選擇正確率Accuracy 作為模型的評價指標(biāo)，見式（22）。

表1 不同類別狀態(tài)數(shù)據(jù)分布數(shù)

其中：Acc 為準(zhǔn)確率；T 為類別被預(yù)測正確的個數(shù)；F 為類別被預(yù)測失誤的個數(shù)。

3.2 實驗結(jié)果及分析

為驗證本文提出的狀態(tài)識別模型的有效性，將多元交通流參數(shù)進(jìn)行有效融合后的狀態(tài)識別結(jié)果和利用不同參數(shù)融合后進(jìn)行狀態(tài)識別的結(jié)果進(jìn)行對比，結(jié)果如表2 所示。

基于本模型，利用流量數(shù)據(jù)進(jìn)行實驗為情景1，利用流量、占有率數(shù)據(jù)為情景2，利用流量、速度與占有率數(shù)據(jù)為情景3，得到不同情景下的損失曲線變化情況如圖2 所示。

由表2 和圖2 可以看出：（1） 不同類型的交通流參數(shù)對于狀態(tài)影響程度存在差異性。識別精度占有率最高，流量其次，速度最低。這是因為在一定的時間間隔內(nèi)，相對流量和占有率而言，速度的波動情況較頻繁，對于模型的學(xué)習(xí)能力產(chǎn)生一定干擾，但識別準(zhǔn)確性均在合理范圍內(nèi)，表明了方法的有效性。（2） 隨著融合交通流參數(shù)的類別增加，模型的準(zhǔn)確性也在逐漸增加，對比單一參數(shù)數(shù)據(jù)，多元參數(shù)數(shù)據(jù)能夠給予模型更多的有效信息，而Transformer 模型利用多頭注意力機制給予合適權(quán)重實現(xiàn)并行化提取多元參數(shù)的特征信息，且多元參數(shù)的特征進(jìn)行相似性和差異性增強后，特征信息實現(xiàn)了有效融合，狀態(tài)識別的準(zhǔn)確性得以提升。（3）三種情景下，迭代開始時，損失函數(shù)值迅速下降，達(dá)到一定代數(shù)，損失函數(shù)下降速度變緩，最后趨于穩(wěn)定，達(dá)到收斂，這表示本模型在不同情景下均有效，表明了模型的適應(yīng)能力較強；情景1 收斂速度最慢，約于50 代實現(xiàn)收斂，期間波動次數(shù)較多，情景2 收斂速度適中，情景3 收斂速度最快，約于40 代收斂，波動次數(shù)少，這是因為多元參數(shù)能提供更多有效信息給予模型，且本方法充分考慮到不同交通流參數(shù)的相似性和差異性，信息特征能夠得到充分利用，因而能迅速達(dá)到收斂，減少了訓(xùn)練時間，這進(jìn)一步證明了本方法的有效性。

圖2 不同情景下?lián)p失函數(shù)曲線

表2 不同融合參數(shù)的交通狀態(tài)識別準(zhǔn)確率

3.3 與其他方法對比分析

為進(jìn)一步驗證本方法的有效性，本文基于上述設(shè)置的三種情景，分別利用不同的方法進(jìn)行分類識別。其中方法1 為模糊聚類算法；方法2 為BP 神經(jīng)網(wǎng)絡(luò)算法；方法3 為支持向量機算法；方法4 為本方法未進(jìn)行信息增強僅簡單拼接；方法5 為本方法。表3 為不同情景下不同方法的狀態(tài)識別準(zhǔn)確率。

由表3 可以發(fā)現(xiàn)：（1） 在不同情景下，隨著交通流參數(shù)類別增加，不同方法的交通狀態(tài)的識別準(zhǔn)確度呈現(xiàn)增加趨勢，這是因為隨著交通流參數(shù)類別增加，各方法獲取更多有效信息的機會增加，機器學(xué)習(xí)的能力得以進(jìn)一步發(fā)揮，各方法能夠更充分理解不同交通流參數(shù)數(shù)據(jù)中的特征信息，有利于得出精準(zhǔn)的判別。（2） 在不同情景下，對比模糊聚類、BP 神經(jīng)網(wǎng)絡(luò)和支持向量機等傳統(tǒng)的機器學(xué)習(xí)算法，基于深度學(xué)習(xí)的Transformer 模型的狀態(tài)識別精度較高，充分體現(xiàn)了Transformer 模型的優(yōu)越性，其所用的注意力機制給予不同特征以合適權(quán)重使得信息傳遞的過程產(chǎn)生的損耗較少，學(xué)習(xí)能力更強，并行化處理使更多有效信息被利用，訓(xùn)練時間更短，能夠滿足工程實際的需要。（3） 對比方法4和方法5 可以發(fā)現(xiàn)，將多元交通流參數(shù)進(jìn)行簡單拼接的狀態(tài)識別效果稍差，這是因為不同類別的交通流參數(shù)的影響程度并不同，若僅是簡單拼接，雖然模型接收的信息量增加，但不能使模型接收到的有效信息量增加，Transformer 模型處理非線性問題的強大能力沒有得到充分發(fā)揮，而經(jīng)過ESIM 交叉注意力層進(jìn)行信息相似性和差異性增強后進(jìn)行有效融合后使得該問題得以解決。

表3 不同情景下不同方法的狀態(tài)識別準(zhǔn)確率單位：%

4 結(jié)束語

利用實際的多元交通流參數(shù)數(shù)據(jù)進(jìn)行實驗，本文提出基于Transformer-ESIM 的高速公路交通狀態(tài)識別模型，實驗結(jié)果表明：（1） 在不同交通需求情景下，本方法的識別準(zhǔn)確性均在有效范圍內(nèi)，特別是融合流量、速度和占有率后的準(zhǔn)確性最高，充分體現(xiàn)了本方法能夠充分利用多元交通流參數(shù)對狀態(tài)影響的差異性；（2） 在不同交通需求情景下，對比其他傳統(tǒng)機器學(xué)習(xí)方法，本方法充分發(fā)揮Transformer 對于非線性數(shù)據(jù)的處理能力，狀態(tài)識別的精準(zhǔn)度最高，充分體現(xiàn)了本方法的優(yōu)越性，能夠滿足工程實際需要。

本研究僅是初步研究，對大規(guī)模高速公路網(wǎng)絡(luò)的狀態(tài)預(yù)判以提升運行效率有待進(jìn)一步研究。