基于Attention-BiLSTM網(wǎng)絡(luò)的車輛換道意圖識別

黃開啟,羅 濤

(江西理工大學(xué) 機(jī)電工程學(xué)院,江西 贛州 341000)

換道意圖識別系統(tǒng)能準(zhǔn)確感知周圍車輛的駕駛行為,讓駕駛員預(yù)先察覺到可能發(fā)生的危險,有效降低汽車高速行駛過程中換道操作所造成的交通事故,增強(qiáng)智能車輛的決策規(guī)劃能力,提高行駛的安全性和舒適性[1]。目前,換道意圖識別是新一代高級輔助駕駛系統(tǒng)(Advanced driver assistance system,ADAS)的關(guān)鍵技術(shù)和研究熱點(diǎn)[2]。近年來,國內(nèi)外學(xué)者采用機(jī)器學(xué)習(xí)的方法對識別車輛換道意圖進(jìn)行了廣泛研究[3]。Mandalia等[4]采用支持向量機(jī)(Support vector machine,SVM)預(yù)測駕駛員的換道意圖,然而該方法難以反映出車輛換道過程的連續(xù)性特征。Li等[5]利用道路幾何特征和目標(biāo)車輛的歷史狀態(tài)信息,設(shè)計(jì)了一種基于動態(tài)貝葉斯網(wǎng)絡(luò)(Dynamic bayesian network,DBN)的車輛換道預(yù)測模型,然而DBN模型沒有綜合考慮車輛之間的交互影響,識別精度難以滿足要求。Kumar等[6]提出了一種支持向量機(jī)和貝葉斯網(wǎng)絡(luò)相結(jié)合的換道意圖識別方法,由于忽視了車輛跟隨傳感器精度的影響,導(dǎo)致系統(tǒng)誤報(bào)率較高。Liu等[7]采用隱馬爾科夫模型(Hidden markov model,HMM)對駕駛員駕駛意圖進(jìn)行預(yù)測,雖然HMM可以對任意長度的時間序列進(jìn)行建模,但是無法體現(xiàn)出上下文時間特征序列之間的關(guān)聯(lián)性特征。

目前,深度學(xué)習(xí)在棋類對弈、圖像識別和自然語言處理等領(lǐng)域展示出強(qiáng)勁的智能模擬功效,非常適合于換道意圖的時空大數(shù)據(jù)特征識別和決策推理[8]。季學(xué)武等[9]設(shè)計(jì)了一種基于長短期記憶(Long short-term memory,LSTM)網(wǎng)絡(luò)的駕駛意圖識別和車輛軌跡預(yù)測模型,然而未考慮車輛間交互信息來識別車輛的駕駛意圖。蔡英鳳等[10]利用卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)車輛社交特征,建立了一種基于LSTM網(wǎng)絡(luò)的周圍車輛行為識別模型,雖然其識別準(zhǔn)確率高于SVM模型和HMM模型,但是沒有研究未來時刻車輛行駛狀態(tài)對當(dāng)前車輛行駛狀態(tài)的影響,導(dǎo)致模型無法獲得完成的車輛行為特征參數(shù)信息。郭景華等[11]基于車輛的軌跡信息,構(gòu)建了一種Residual BiLSTM車輛切入意圖識別模型,能夠較早地預(yù)測出車輛切入意圖,提高了車輛的感知能力和行駛安全性。BiLSTM通常以各時步隱含層狀態(tài)的平均值作為車輛換道行為分類的依據(jù),然而難以區(qū)分車輛行駛的每個時刻不同特征對識別結(jié)果的貢獻(xiàn)度。為充分有效利用車輛行駛狀態(tài)的歷史時刻和未來時刻特征信息,筆者提出了一種基于Attention-BiLSTM網(wǎng)絡(luò)的換道意圖識別方法。在研究主車行駛狀態(tài)特征及其與周圍車輛之間交互行為的基礎(chǔ)上,采用具有雙向(Bidirectional)傳播機(jī)制的BiLSTM來模擬駕駛員對周圍車輛換道情況的推理過程,通過引入模擬人腦推理行為的注意力(Attention)機(jī)制對網(wǎng)絡(luò)權(quán)重進(jìn)行自適應(yīng)分配,以充分利用換道特征向量編碼信息,增強(qiáng)各時步特征的有效性和避免網(wǎng)絡(luò)特征信息損失,從而實(shí)現(xiàn)換道意圖的實(shí)時準(zhǔn)確識別。

1 換道意圖識別分析

1.1 換道過程分析

車輛換道過程如圖1所示。圖1中:T0為駕駛員產(chǎn)生換道意圖時刻;T1為駕駛員完成周圍交通環(huán)境安全檢查并開始進(jìn)行換道操作時刻;T2為駕駛員控制車輛開始跨越車道線時刻;T3為駕駛員完成換道操作時刻。駕駛員控制車輛進(jìn)行換道時,車輛的側(cè)向速度、橫向加速度以及橫向位移等特征參數(shù)會明顯變大,換道結(jié)束后,這些特征參數(shù)又回到車輛保持車道行駛變化范圍。因此,根據(jù)這些特征參數(shù)的數(shù)據(jù)變化情況,從而判斷出換道開始時刻和換道結(jié)束時刻。在T1到T2階段,駕駛員進(jìn)行換道操作,其駕駛行為容易被其他車輛傳感器感知,故筆者針對該階段研究目標(biāo)車輛的換道意圖。

圖1 車輛換道過程

1.2 換道場景分析

駕駛員在開始進(jìn)行換道操作之前,需要判斷車輛周圍行車環(huán)境是否可以安全進(jìn)行換道。建立x-0-y坐標(biāo)系,車輛換道場景示意圖如圖2所示。圖2中:S1為目標(biāo)車輛;S為主車;L1,L2,S1,S2,R1,R2為主車的周圍車輛。假設(shè)周圍車輛數(shù)量為n,實(shí)際車輛行駛中存在某輛車缺失的情況,因此n≤6。

圖2 車輛換道場景示意圖

主車裝備各類傳感器和駕駛意圖識別系統(tǒng),用于獲取主車的行駛狀態(tài)以及周圍車輛的行駛信息,對原始數(shù)據(jù)進(jìn)行處理,提取以下特征參數(shù)作為換道意圖識別模型的輸入:

1)目標(biāo)車輛相對于周圍車輛的行車間距(Distance headway,DHW)。

2)目標(biāo)車輛相對于周圍車輛的車頭時距(Time headway,THW)。

3)目標(biāo)車輛相對于周圍車輛的碰撞時間(Time to collision,TTC)。

4)目標(biāo)車輛的縱向速度Vx、側(cè)向速度Vy、縱向加速度ax和側(cè)向加速度ay。

5)目標(biāo)車輛與周圍車輛之間的前視距離df和后視距離db。

2 換道意圖識別模型

在實(shí)際交通環(huán)境中,車輛之間存在頻繁的交互作用,因此僅考慮與目標(biāo)車輛物理狀態(tài)相關(guān)的特征,難以獲得準(zhǔn)確的換道意圖。車輛換道過程具有動態(tài)性、連續(xù)性以及時序性等特點(diǎn),車輛當(dāng)前時刻的輸出不僅與歷史狀態(tài)相關(guān),而且受未來狀態(tài)影響。與傳統(tǒng)的車輛行駛環(huán)境相比,在智能網(wǎng)聯(lián)的交通環(huán)境中,由傳感器獲得的車輛特征參數(shù)序列的尺寸會顯著增大,無關(guān)信息也可能更多。因此,為了縮短序列信息傳遞的距離,提高模型訓(xùn)練速度和識別精度,將注意力機(jī)制引入BiLSTM中,構(gòu)建Attention-BiLSTM換道意圖識別模型,有助于進(jìn)一步開發(fā)有效和準(zhǔn)確的ADAS和智能交通系統(tǒng)。

Attention-BiLSTM換道意圖識別模型由特征向量輸入層、隱含層和輸出層組成,其中,隱含層包括BiLSTM層、Attention層和Dense層。筆者所提出的Attention-BiLSTM模型結(jié)構(gòu)如圖3所示。

圖3 Attention-BiLSTM結(jié)構(gòu)示意

2.1 雙向長短期記憶網(wǎng)絡(luò)

LSTM以門結(jié)構(gòu)特征來模擬人腦的遺忘機(jī)制和記憶機(jī)制,從而克服長序列訓(xùn)練過程中的梯度消失或者梯度爆炸問題[12],實(shí)現(xiàn)對任意時間序列建模。

在LSTM體系結(jié)構(gòu)中,記憶單元用于信息的輸入和輸出,Γf為遺忘門;Γu為更新門;Γo為輸出門;ct-1為t-1時刻的細(xì)胞狀態(tài)輸入;ht-1為t-1時刻的輸出;xt為當(dāng)前時刻的輸入;ht為輸出;ct為細(xì)胞狀態(tài)。LSTM的推理過程[13]為

Γf=σ(wf[ht-1,xt]+bf)

(1)

Γu=σ(wu[ht-1,xt]+bu)

(2)

Γo=σ(wo[ht-1,xt]+bo)

(3)

(4)

(5)

ht=Γo·tanhct

(6)

(7)

(8)

(9)

式中:w1為輸入層到前向LSTM的權(quán)重系數(shù);w2為前向LSTM單元層之間的權(quán)重系數(shù);w3為輸入層到后向LSTM的權(quán)重系數(shù);w5為后向LSTM單元層之間的權(quán)重系數(shù);w4為前向LSTM到輸出層的權(quán)重系數(shù);w6為后向LSTM到輸出層的權(quán)重系數(shù);bft,bbt,bot分別為各相應(yīng)部分的偏置矩陣。

2.2 注意力機(jī)制

Attention機(jī)制與人類視覺所特有的大腦信號處理機(jī)制相似,通過計(jì)算每個特征序列的權(quán)重以模擬人類思維,從大量特征序列信息中提取出最重要信息,在機(jī)器翻譯、語音識別、圖像和文本分類等領(lǐng)域具有優(yōu)異的性能表現(xiàn)[15]。在雙向傳播BiLSTM網(wǎng)絡(luò)的基礎(chǔ)上引入Attention機(jī)制,以縮短序列信息傳遞的距離,從而捕捉最重要的狀態(tài)信息。Attention-BiLSTM通過計(jì)算不同時刻BiLSTM中輸出特征向量的權(quán)重,增強(qiáng)特征向量對識別結(jié)果貢獻(xiàn)度差異性影響,有效防止換道意圖部分序列信息在數(shù)據(jù)傳遞中丟失。針對序列分析問題,Attention以概率分布的方式,使模型在訓(xùn)練過程中能夠根據(jù)特征序列信息的重要程度來賦予權(quán)重值,不僅可以提高模型識別的準(zhǔn)確率,而且不會增加模型計(jì)算和存儲成本。

將BiLSTM模型的輸出矩陣H=[h1,h2,…,ht]輸入到注意力機(jī)制的隱藏層中,獲得Attention層的初始狀態(tài)矩陣S=[s1,s2,…,st]。根據(jù)S中每個特征重要程度分配相應(yīng)的權(quán)重,并將不同權(quán)重系數(shù)at與其對應(yīng)的初始狀態(tài)向量相乘并累加,最終得到Attention層的輸出向量Y,計(jì)算式為

et=tanh(vtSt+bt)

(10)

(11)

(12)

式中:vt為權(quán)重矩陣;bt為偏置量;et為狀態(tài)向量St所確定的能量值。

2.3 輸出層

輸出層的輸入為Attention層的輸出,利用Softmax函數(shù)進(jìn)行計(jì)算,從而得到車輛換道意圖識別概率。取概率最大值作為車輛換道意圖識別結(jié)果,計(jì)算式為

yt=Softmax(wkY+bk)

(13)

(14)

式中:wk為連接權(quán)重;bk為偏置量。

3 試驗(yàn)與分析

3.1 試驗(yàn)數(shù)據(jù)集

模型驗(yàn)證和測試采用開源的車輛軌跡數(shù)據(jù)集HighD,該數(shù)據(jù)集是通過使用無人機(jī)來采集車輛特征信息,數(shù)據(jù)采集示意圖如圖4所示[16]。HighD數(shù)據(jù)集包括6個不同地點(diǎn)、16.5 h測量時長、110 000輛車輛軌跡數(shù)據(jù)以及5 600條完整的車輛換道記錄信息,總行駛距離為45 000 km。每條車輛軌跡包含車輛ID、橫縱向坐標(biāo)、速度、加速度、前視距離、后視距離、TTC、DHW、THW和所在車道等信息。

圖4 HighD數(shù)據(jù)采集路段的鳥瞰視角

目標(biāo)車輛在換道過程中,橫向位置和縱向位置會明顯發(fā)生變化。采用滑動時窗法[17]從HighD數(shù)據(jù)集中提取車輛橫向運(yùn)動和縱向運(yùn)動的軌跡序列,總樣本為17 595個序列,按8∶2的比例原則,隨機(jī)劃分訓(xùn)練集和測試集,即訓(xùn)練集為14 076個序列,測試集為3 519個序列。

3.2 試驗(yàn)設(shè)置

試驗(yàn)基于Pytorch深度學(xué)習(xí)框架構(gòu)建Attention-BiLSTM模型,所使用的硬件配置為Inter Core i5-10300H 2.50 GHZ CPU,GTX1650顯卡,4 G顯存,16 G內(nèi)存,操作系統(tǒng)為Windows10系統(tǒng)。

試驗(yàn)以均方誤差作為損失函數(shù),以Adam作為優(yōu)化器,經(jīng)過多次訓(xùn)練迭代后保存模型,根據(jù)準(zhǔn)確率值和綜合F1分?jǐn)?shù),最終優(yōu)選出的模型試驗(yàn)超參數(shù)設(shè)置如表1所示。

表1 模型試驗(yàn)參數(shù)

3.3 評價指標(biāo)

試驗(yàn)在訓(xùn)練集中訓(xùn)練模型,訓(xùn)練結(jié)束后保存模型,在測試集中測試模型并進(jìn)行評估,使用準(zhǔn)確率和F1分?jǐn)?shù)作為試驗(yàn)的評價指標(biāo),定義如下:

1)準(zhǔn)確率Acc:指預(yù)測正確的結(jié)果占總樣本的比例。

(15)

式中:TP表示預(yù)測為正樣本,真實(shí)為正樣本;FP表示預(yù)測為負(fù)樣本,真實(shí)為正樣本;FN表示預(yù)測為負(fù)樣本,真實(shí)為正樣本;TN表示預(yù)測為負(fù)樣本,真實(shí)為負(fù)樣本。對于三分類問題,首先計(jì)算出向左換道、向右換道和車道保持這3類意圖的準(zhǔn)確率;然后對這3類準(zhǔn)確率進(jìn)行綜合;最后得出模型評價的準(zhǔn)確率。

2)F1分?jǐn)?shù):指精確率P和召回率R的調(diào)和平均值,表達(dá)式為

(16)

(17)

(18)

對于試驗(yàn)有3種換道意圖,取微觀平均F1micro為綜合分?jǐn)?shù),其方法是通過計(jì)算所有類別總的P和R,得到的F1值即為F1micro。

3.4 對比試驗(yàn)結(jié)果分析

為了驗(yàn)證提出的Attention-BiLSTM模型的有效性,在同一數(shù)據(jù)集上,分別與Xia等[18]構(gòu)建關(guān)于目標(biāo)車輛的HMM換道意圖識別模型、Kim等[19]提出基于SVM的車輛換道意圖識別模型、Fu等[20]建立識別車輛換道意圖的LSTM網(wǎng)絡(luò)模型以及宋曉琳等[21]提出使用條件隨機(jī)場(Conditional Random Field,CRF)和Attention優(yōu)化的LSTM網(wǎng)絡(luò)換道意圖識別模型進(jìn)行對比試驗(yàn),分別計(jì)算模型的準(zhǔn)確率和F1分?jǐn)?shù),試驗(yàn)結(jié)果如表2所示。

表2 不同模型意圖識別結(jié)果

由表2可看出:提出的Attention-BiLSTM模型與其他4種模型相比較,在準(zhǔn)確率值和分?jǐn)?shù)值兩方面表現(xiàn)更加優(yōu)異,比HMM,SVM,LSTM,LSTM-Attention-CRF準(zhǔn)確率分別提高0.237,0.190,0.132,0.043,從而驗(yàn)證筆者模型對車輛換道意圖識別的有效性。進(jìn)一步分析,具有時序特征的LSTM網(wǎng)絡(luò)模型比傳統(tǒng)機(jī)器學(xué)習(xí)SVM,HMM模型更加適用于車輛換道意圖識別,相較于LSTM模型和LSTM-Attention-CRF模型,筆者提出的Attention-BiLSTM模型對時序特征信息提取更加全面,能有效防止時序特征信息在傳遞過程中損失,使得換道意圖識別性能更佳。

3.5 消融試驗(yàn)結(jié)果分析

雖然對比試驗(yàn)結(jié)果說明Attention-BiLSTM模型整體上優(yōu)于其他4種模型,能夠準(zhǔn)確識別出車輛的換道意圖,但是其畢竟不屬于同種類型混合試驗(yàn)?zāi)Ｐ偷膶Ρ?缺乏一定的試驗(yàn)說服力,因此,利用同一數(shù)據(jù)集進(jìn)行消融試驗(yàn),試驗(yàn)結(jié)果如表3所示。Attention-BiLSTM模型的準(zhǔn)確率為0.844,綜合分?jǐn)?shù)為0.800,與LSTM,BiLSTM,LSTM-Attention模型相比較,準(zhǔn)確率分別提升了0.132,0.120,0.022,綜合分?jǐn)?shù)分別提升了0.105,0.085,0.026。在LSTM模型中,單獨(dú)引入注意力機(jī)制或者雙向傳播機(jī)制,性能都可以得到一定提升,同時引入這兩種機(jī)制,換道識別性能最佳。

表3 消融試驗(yàn)結(jié)果

通過混淆矩陣圖來分析模型預(yù)測結(jié)果,具體情況如圖5所示。Attention-BiLSTM意圖識別模型對車道保持、左換道和右換道3種意圖的識別結(jié)果分別為78.40%,80.30%,87.20%,均優(yōu)于LSTM,BiLSTM,LSTM-Attention模型。

圖5 混淆矩陣

采用受試者工作特征曲線(Receiver operating characteristic curve,ROC)和ROC曲線下面積(Area under ROC curve,AUC)進(jìn)一步對4種模型的整體預(yù)測性能進(jìn)行評價,具體情況如圖6所示。ROC曲線越靠近左上角,假正例率越小,真正例率越大,即AUC值越大,說明模型的平均預(yù)測性能越好。LSTM,BiLSTM,LSTM-Attention和Attention-BiLSTM的AUC值分別為0.836,0.853,0.919,0.925,說明Attention-BiLSTM模型具有較高的意圖識別性能。

圖6 各模型ROC曲線

4 結(jié) 論

實(shí)時準(zhǔn)確識別復(fù)雜道路環(huán)境中車輛的換道意圖是ADAS的核心技術(shù),提出了一種基于Attention-BiLSTM的車輛換道意圖識別模型,綜合考慮主車與周圍車輛之間的交互行為,充分利用車輛行駛狀態(tài)的歷史時刻和未來時刻特征信息,引入雙向傳播機(jī)制對BiLSTM層序列特征分配權(quán)重,從而提高換道意圖模型的識別性能。采用真實(shí)道路數(shù)據(jù)對模型進(jìn)行訓(xùn)練和測試,試驗(yàn)結(jié)果表明:該模型有效提高了網(wǎng)絡(luò)的識別能力,識別準(zhǔn)確率為0.844,能夠準(zhǔn)確識別出車輛換道意圖,提高車輛的感知能力和安全性能,為人機(jī)共駕車輛提供良好的決策依據(jù)。

本文得到了江西理工大學(xué)研究生創(chuàng)新專項(xiàng)資金項(xiàng)目(ZS2020-S059)的資助。