基于形變長短期記憶網(wǎng)絡(luò)的換道意圖預(yù)測

田晟, 胡嘯

(華南理工大學(xué)土木與交通學(xué)院, 廣州 510641)

據(jù)統(tǒng)計,車輛換道過程中產(chǎn)生的交通事故約占事故總數(shù)的18%[1],為保障自動駕駛車輛在混合交通環(huán)境下的行駛安全,車輛需要具備對周圍車輛換道意圖預(yù)測的能力[2]。近年來智能網(wǎng)聯(lián)普及與各類傳感器精度提高,車輛行駛數(shù)據(jù)得以實時記錄傳遞,基于行駛數(shù)據(jù)的換道意圖預(yù)測是混合交通流穩(wěn)定的重要保障,也有利于自動駕駛進一步發(fā)展。

車輛換道是駕駛員根據(jù)周圍環(huán)境發(fā)展態(tài)勢判斷是否變更車道的綜合決策過程。為探究換道與駕車環(huán)境之間的隱性關(guān)系,部分學(xué)者采用機器學(xué)習(xí)進行研究。Dietmar等[3]、Xu等[4]基于貝葉斯網(wǎng)絡(luò)對包含車輛換道在內(nèi)等多種駕駛行為進行預(yù)測;Oh等[5]采用二元邏輯回歸法建立車輛換道模型,對走走停停與正常交通條件下的換道意圖進行預(yù)測;多數(shù)學(xué)者根據(jù)車輛自然行駛過程中采集的運動數(shù)據(jù)、駕駛員數(shù)據(jù)進行研究,支持向量機模型[6](support vector machine, SVM)、隱馬爾可夫模型[7](hidden markov model, HMM)、極端梯度提升[8](extreme gradient boosting, XGBoost)、隨機森林模型[9](random forest, RF)等各類機器學(xué)習(xí)模型或多個模型的級聯(lián)模型均被應(yīng)用于換道意圖預(yù)測中。然而學(xué)者們發(fā)現(xiàn)這些機器學(xué)習(xí)模型在處理車輛換道這類本質(zhì)為時間序列分類問題上,對原始數(shù)據(jù)利用不足、數(shù)據(jù)隱含信息丟失使得預(yù)測精度在長時域上表現(xiàn)不佳,且在短時域的預(yù)測準(zhǔn)確度還存在一定的上升空間。

為尋求更準(zhǔn)確更穩(wěn)定的預(yù)測效果,一種特殊的卷積神經(jīng)網(wǎng)絡(luò)——長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)由于其處理時間序列問題的出色表現(xiàn),成為了車輛換道研究的主流模型。Zyner等[10]以車輛運行的位置數(shù)據(jù)以及運動數(shù)據(jù)輸入LSTM中以識別車輛的行駛意圖;Aida等[11]結(jié)合LSTM與車輛軌跡曲線,提出了一個對道路上車輛的運動行為進行分類的框架;Xie等[12]基于自然行駛數(shù)據(jù)集,將深度置信網(wǎng)絡(luò)(deep belief networks, DBN)與LSTM融合用于挖掘換道潛在特征;王皓昕等[13]提出一種結(jié)合時間信息加權(quán)指數(shù)損失函數(shù)的LSTM模型,結(jié)合了運動數(shù)據(jù)與駕駛員眼動數(shù)據(jù),具有良好的意圖預(yù)測效果;隨著研究深入,雙向長短期記憶網(wǎng)絡(luò)[14](BiLSTM)、時空網(wǎng)絡(luò)[15](CNN-LSTM)等各類以LSTM為底層模型的改進模型被提出,改進后的模型結(jié)合不同網(wǎng)絡(luò)優(yōu)勢,相較于原始LSTM,在短時域的預(yù)測上都能維持良好的準(zhǔn)確度,然而隨著時間序列長度不斷增加,模型出現(xiàn)梯度消失等現(xiàn)象開始不穩(wěn)定,預(yù)測準(zhǔn)確度出現(xiàn)波動,下降明顯。

因而對于時域偏長、特征偏多車輛換道意圖預(yù)測研究,如何在較長的預(yù)判時間下仍然保證一定的預(yù)測準(zhǔn)確度是亟待解決的一個問題。2020年的國際學(xué)習(xí)表征會議(international conference on learning representations, ICRL)上,來自牛津大學(xué)的Melis等[16]在LSTM單元結(jié)構(gòu)上,調(diào)整原始結(jié)構(gòu)的遺忘門,在遺忘門輸入處增加兩個門控單元,提出了形變長短期記憶網(wǎng)絡(luò)(mogrifier long short-term memory,M-LSTM),試驗結(jié)果證明該模型在長時域表現(xiàn)相比原始LSTM增加明顯。已有一部分學(xué)者將該模型結(jié)構(gòu)運用于其他領(lǐng)域的研究,結(jié)果證明M-LSTM網(wǎng)絡(luò)在長時域的表現(xiàn)均普遍優(yōu)于LSTM[17-19]。

受此研究啟發(fā),鑒于該模型在長時域問題研究的優(yōu)秀表現(xiàn),提出基于M-LSTM的換道意圖預(yù)測模型。本文中數(shù)據(jù)集采用自然駕駛條件下采集的“下一代仿真數(shù)據(jù)集” (next generation simulation,NGSIM),在特征選取方面為體現(xiàn)車輛換道與環(huán)境的交互性,除車輛的運動信息外,同時選取目標(biāo)車輛周圍環(huán)境信息輸入模型中,并于其他模型在不同預(yù)判時間下進行效果對比,驗證模型的預(yù)判性與準(zhǔn)確性。

1 自然駕駛數(shù)據(jù)預(yù)處理

自然駕駛數(shù)據(jù)集包含了車輛在運行過程中的各項原始數(shù)據(jù),具有豐富的車輛信息以及環(huán)境信息。傳感器技術(shù)與通信技術(shù)的發(fā)展使得這類數(shù)據(jù)的采集傳遞愈加便捷。選取自然駕駛數(shù)據(jù)集NGSIM數(shù)據(jù)集中US-101路段數(shù)據(jù)用于檢驗。該數(shù)據(jù)集記錄了一定時間內(nèi)小汽車通過特定路段的軌跡信息,包括車輛位置、速度、加速度等運動信息以及目標(biāo)的周圍車輛ID、間距等環(huán)境信息。其中的US-101路段為高速公路路段,檢測區(qū)長度為640 m,數(shù)據(jù)采集的時間是07:50—08:35,檢測間隔為10幀/s。研究路段如圖1所示。

圖1 US-101路段結(jié)構(gòu)圖Fig.1 US-101 section structure

原始自然駕駛數(shù)據(jù)集存在一定的誤差和噪聲,軌跡與速度信號抖動對預(yù)測準(zhǔn)確率影響大,故首先采用SG(Savitzky-Golay)濾波器對原始數(shù)據(jù)進行濾波處理。SG濾波器是一種以多項式最小二乘法擬合為基礎(chǔ)的濾波方法,可以使原始數(shù)據(jù)分布特性得到最高限度的保留。濾波窗口長度取41,多項式擬合的階數(shù)取3。任意選取某換道車輛的軌跡數(shù)據(jù)為例(圖中選取換道車輛編號為8),經(jīng)濾波處理后的數(shù)據(jù)與原始數(shù)據(jù)的對比如圖2所示。

圖2 第8號車軌跡數(shù)據(jù)平滑效果對比圖Fig.2 Comparison of data smoothing results of vehicle No. 8

2 車輛換道意圖預(yù)測模型

2.1 換道車輛數(shù)據(jù)集篩選與標(biāo)注

將車輛運行軌跡與車道線的交點定義為換道點。將預(yù)判時長T定義為序列最末尾采樣時刻至換道時刻的時間間隔。根據(jù)不同預(yù)判時間T篩選換道序列生成數(shù)據(jù)集。而后對不同換道方向的序列進行標(biāo)注,車輛不換道保持直行標(biāo)注為0,車輛向左變更車道標(biāo)注為1,車輛向右變道標(biāo)注為2。車輛向左變道的標(biāo)注示意圖如圖3所示,車輛換道軌跡與車道線的交點為換道點。

圖3 左換道車輛標(biāo)注示意圖Fig.3 Schematic diagram of the labeling of vehicles changing lanes to the left

得到的序列總數(shù)為58 380,其中車道保持43 470個序列、車輛左轉(zhuǎn)8 940個序列、車輛右轉(zhuǎn)5 970個序列。這是由于車輛行駛以直線行駛為主,故直線行駛類的序列數(shù)會大于左轉(zhuǎn)與右轉(zhuǎn)序列數(shù)。

在試驗過程中,為了防止模型過擬合,需要保持三類駕駛行為的數(shù)據(jù)量保持一致,故每類數(shù)據(jù)參照右轉(zhuǎn)序列數(shù)統(tǒng)一選取5 970個序列進行標(biāo)注,將其中的80%作為訓(xùn)練集,20%作為測試集。

2.2 模型輸入?yún)?shù)

車輛行駛是一個與周圍環(huán)境進行交互的行為,車輛換道需要駕駛員根據(jù)運動狀況與周圍環(huán)境變化對是否進行換道做出判斷。因此輸入數(shù)據(jù)需要包括車輛運動信息與環(huán)境信息[20]。

換道相較于跟馳,不同之處在于車輛垂直方向的移動,故選取車輛橫向移動距離Δd為運動信息輸入;選取與周圍車輛的橫向相對距離Δx、縱向相對距離Δy、相對速度v為環(huán)境信息輸入。目標(biāo)車輛及周圍車輛參數(shù)標(biāo)注如圖4所示。表示為

圖4 車輛及參數(shù)標(biāo)注示意圖Fig.4 Schematic diagram of the labeling of vehicles

Et=[Ct,St],t=(T-Th,…,T-1,T)

(1)

Ct=Δdt,t-1

(2)

St=(Δxt,1i,Δyt,1i,vt,1i)

(3)

式中:Ct為t時刻目標(biāo)車輛運動信息;St為t時刻環(huán)境信息;Th為預(yù)判時間,反映輸入軌跡的長度;Δdt,t-1為目標(biāo)車輛t-1～t時刻的橫向位移;Δxt,1i為t時刻目標(biāo)車輛與第i輛車的縱向距離;Δyt,1i為t時刻目標(biāo)車輛與第i輛車的橫向距離;vt,1i為t時刻目標(biāo)車輛與第i輛車的速度差。

2.3 M-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

LSTM屬于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)網(wǎng)絡(luò)的一種,但結(jié)構(gòu)特殊,對于處理時序問題有著很好的效果,其單元結(jié)構(gòu)如圖5所示。M-LSTM的單元結(jié)構(gòu)圖與輸入輸出的交互控制過程如圖6所示。

ct、ht、gt為t時刻的單元、隱藏、候選單元狀態(tài);it、ft、ot為t時刻的輸入、遺忘、輸出單元狀態(tài);et為當(dāng)前時刻的輸入圖5 LSTM單元結(jié)構(gòu)圖Fig.5 LSTM cell structure diagram

圖6 M-LSTM單元結(jié)構(gòu)圖Fig.6 M-LSTM cell structure diagram

計算過程與原始LSTM相似,根據(jù)上一時刻的輸出結(jié)果ht-1、ct-1,結(jié)合當(dāng)前時刻模型的輸入et,通過輸入門、遺忘門、輸出門計算得出當(dāng)前時刻的ht與ct。其中各個參數(shù)的計算公式為

μt=sigmoid(wμet+bμ)

(4)

h′t-1=2ht-1⊙μt

(5)

it=sigmoid[wih′t-1+bi]

(6)

ft=sigmoid[wfh′t-1+bf]

(7)

gt=sigmoid[wgh′t-1+bg]

(8)

ot=sigmoid[woh′t-1+bo]

(9)

ct=ftct-1+itgt

(10)

ht=ottanh(ct-1)

(11)

式中:μt為中間控制狀態(tài);w和b分為權(quán)重和偏置項;為Hadamard乘積,哈達瑪積,表示矩陣中對應(yīng)位置元素相乘。

與LSTM結(jié)構(gòu)不同的是,M-LSTM引入了中間控制狀態(tài)μt,μt可理解為當(dāng)前時刻輸入信息對模型上一時刻的輸出ht-1的控制權(quán)重,ht-1經(jīng)過μt的控制轉(zhuǎn)化為h′t-1再輸入模型。相較于LSTM優(yōu)點在于加強了上一時刻輸出與這一時刻輸入的交互,研究表明,兩層sigmoid函數(shù)的交互控制可以顯著增強輸入特征,在本文中該結(jié)構(gòu)將當(dāng)前時刻輸入與上一時刻輸出進行充分交互,即將兩個時刻的運動信息與環(huán)境信息進行充分融合,有利于模型充分挖掘換道隱性特征,提高預(yù)測準(zhǔn)確率。

M-LSTM車輛換道意圖識別模型如圖7所示,對自然駕駛數(shù)據(jù)集預(yù)處理后,構(gòu)建換道樣本集。將時間序列E作為模型的輸入,模型預(yù)測結(jié)構(gòu)采用三層M-LSTM堆疊組成,損失函數(shù)采用Categorical_crossentropy,優(yōu)化器為Adam,訓(xùn)練周期(epoch)設(shè)為100,dropout率為0.5,學(xué)習(xí)率α=0.001對模型進行訓(xùn)練和測試,通過Softmax函數(shù)將結(jié)果轉(zhuǎn)換為不同換道行為的概率分布P,由于車輛最終只能選擇一種駕駛行為,判定輸出概率最大的類別為預(yù)測類別,即車輛的預(yù)測換道意圖。

t=(T-Th,…,T-1,T);P0、P1、P2分別為左換道、右換道、保持直行的概率圖7 換道意圖識別流程圖Fig.7 Lane changing intention recognition flowchart

3 模型驗證及結(jié)果分析

為驗證所提出的M-LSTM在不同預(yù)判時間下預(yù)測換道意圖的準(zhǔn)確性,選取機器學(xué)習(xí)模型SVM、原始LSTM模型進行橫向?qū)Ρ?其次選取預(yù)判時間3.0、2.5、2.0、1.5、1.0、0.5 s進行縱向?qū)Ρ?。本文中選取的評價指標(biāo)為精確率(預(yù)測為正例的樣本中預(yù)測正確的比例)、召回率(被預(yù)測正確的正例占總實際正例樣本的比例)、F1-分?jǐn)?shù) (精度和召回率分?jǐn)?shù)的諧波平均值)和準(zhǔn)確率(正例和負例中預(yù)測正確數(shù)量占總數(shù)量的比例)。試驗結(jié)果如表1、圖8所示。

表1 各模型預(yù)測準(zhǔn)確率Table 1 Prediction accuracy results of models

圖8 不同預(yù)判時間準(zhǔn)確度對比圖Fig.8 Accuracy comparison chart of different anticipated times

由表1與圖8可得,在不同的預(yù)判時間下,本文提出的M-LSTM模型預(yù)測整體準(zhǔn)確率均高于其他模型,越接近換道點預(yù)測準(zhǔn)確率越高。當(dāng)預(yù)判時間長度為1.0 s時,本模型準(zhǔn)確率保持在0.9以上,優(yōu)于原始LSTM模型,這表明模型保留并提高了LSTM模型在短時域預(yù)測問題的優(yōu)勢。

當(dāng)預(yù)判時間增加時,各模型的預(yù)測準(zhǔn)確率均有所下降,這是由于隨著時間長度的增加,數(shù)據(jù)長度增加,換道特征被運動信息與環(huán)境信息影響干擾, 易造成誤識別?？梢钥闯霎?dāng)預(yù)判時間為2.5 s時,仍可以達到0.813 0的預(yù)測準(zhǔn)確率。據(jù)統(tǒng)計,高速公路車輛完成一整套換道動作的時間為3.5～6.5 s[21],若取中間值5 s,則車輛開始換道操作到行駛至換道點的時間約為2.5 s。這表明該模型可以在大部分車輛剛出現(xiàn)換道操作時模型就能準(zhǔn)確的預(yù)測出車輛是否具有換道意圖;而當(dāng)預(yù)判時間為3 s時,預(yù)測準(zhǔn)確率為0.751 5,仍能維持較高的預(yù)測準(zhǔn)確率,預(yù)測結(jié)果具有很高的參考性。

從準(zhǔn)確率隨預(yù)判時間的增加而下降的整體趨勢來看,M-LSTM準(zhǔn)確率平緩下降,而LSTM與SVM模型準(zhǔn)確率迅速下降。分析原因,這是由于LSTM在長時域預(yù)測時,仍會出現(xiàn)遠距離記憶消失、梯度消失、特征丟失等問題,而M-LSTM的特殊底層結(jié)構(gòu)將運動信息與環(huán)境信息做了充分的交互融合,可以根據(jù)車輛自身運動狀態(tài)和周圍環(huán)境判斷是否具有換道條件,進而預(yù)測是否具有換道意圖。使輸入特征顯著增強,更易捕捉到換道的隱藏特征,模型在長時域預(yù)測時更易識別出換道意圖,提高了模型的魯棒性與穩(wěn)定性。

表2與圖9為預(yù)判時間為0.5 s時的模型試驗結(jié)果,預(yù)測整體準(zhǔn)確率為0.938 3,相較原始LSTM模型表現(xiàn)提高了4.32%,短時域下預(yù)測準(zhǔn)確率有所提高。預(yù)測錯誤出現(xiàn)在換道與直行之間,向左換道與向右換道之間在該試驗中沒有出現(xiàn)預(yù)測混淆。原因是這兩類換道動作的差異性大,橫向位移方向不同,很難造成誤判[22]。直線行駛與換道之間的判斷混淆主要原因可能是駕駛員對當(dāng)前換道條件產(chǎn)生了誤判,例如,由于安全距離等限制,產(chǎn)生換道意圖但被迫放棄換道,或者是由于車輛駕駛時的抖震造成數(shù)據(jù)的偏差。

表2 0.5 s下的M-LSTM模型性能結(jié)果Table 2 M-LSTM model performance results at 0.5 s

圖9 換道意圖預(yù)測模型混淆矩陣Fig.9 Confusion matrix of model

在不同預(yù)判時間下M-LSTM模型對不同換道方向的預(yù)測試驗結(jié)果如表3與圖10所示。

表3 不同預(yù)判時間下M-LSTM模型性能結(jié)果Table 3 Performance results under different pre-judgment time

圖10 不同預(yù)判時間準(zhǔn)確度對比圖Fig.10 Accuracy comparison chart of different anticipated times

由表3、圖10可以看出,直線行駛的預(yù)測準(zhǔn)確率在不同的預(yù)判時間下均高于換道,原因可能是:直線行駛相較于換道行為更穩(wěn)定,不會出現(xiàn)明顯的換道特征如:橫向位移、加減速等[23],模型預(yù)測此類駕駛動作的難度較小,而預(yù)測錯誤的原因可能是駕駛員具有換道意圖,車輛具有明顯的換道動作后但由于安全條件限制放棄換道,從而被誤識別為換道行為。

換道識別準(zhǔn)確率較低的原因可能是在長預(yù)判時間下還沒表現(xiàn)出明顯換道特征,如橫向位移、加減速等,此時模型只能根據(jù)周圍提取的環(huán)境信息對車輛是否換道進行判斷,此時模型易將此類動作識別為直線行駛。而右換道的識別準(zhǔn)確率整體高于左換道,這是由于研究路段的最左側(cè)存在進出口匝道,交通流狀況相對混亂、環(huán)境信息復(fù)雜,車輛向左換道預(yù)測難度增大。

總結(jié)以上,本文提出的模型在換道前1.0 s預(yù)測準(zhǔn)確率達到90%以上,在換道前2.5 s預(yù)測準(zhǔn)確率維持在80%以上,相較于原始LSTM均有所提高,不同預(yù)判時間下均表現(xiàn)良好,模型具有較好的準(zhǔn)確性與預(yù)判性。

4 結(jié)論

針對傳統(tǒng)LSTM模型在長時域換道意圖預(yù)測表現(xiàn)不佳的問題,在自然駕駛條件下,提出了一種基于M-LSTM的預(yù)測模型,該結(jié)構(gòu)將車輛運動信息與環(huán)境信息經(jīng)過充分融合后作為模型的輸入,顯著增強輸入特征,防止了由于時域過長數(shù)據(jù)量增多而造成換道重要特征的丟失。通過與原始LSTM與SVM的試驗對比,該模型在不同的預(yù)判時間下準(zhǔn)確度均有明顯提高,在1.0、2.5 s下的預(yù)測準(zhǔn)確度分別達到90%與80%以上,為自動駕駛車輛準(zhǔn)確提前識別換道意圖提供技術(shù)支持,保障行駛安全。

本文中所采用的數(shù)據(jù)為高速公路直線路線車輛行駛生成,是否適用于其他道路情形還值得商榷,且車輛在道路上行駛還存在強制換道、放棄換道、等待換道等多種類型,今后的研究可拓展適用范圍,細分車輛動作,使模型能適應(yīng)不同環(huán)境,精準(zhǔn)預(yù)測換道類型。