基于改進(jìn)雙向長短時記憶網(wǎng)絡(luò)的自動駕駛車輛駕駛意圖識別*

何東 趙茂杰 王梓楠

（重慶交通大學(xué)，重慶 400074）

1 前言

高速混行環(huán)境下，自動駕駛車輛可以通過車聯(lián)網(wǎng)技術(shù)實時共享彼此的駕駛意圖，理解當(dāng)前的行駛環(huán)境，但是人工駕駛汽車無法與車聯(lián)網(wǎng)發(fā)生相關(guān)信息的交換，自動駕駛汽車只能通過人工駕駛汽車外在的行為特征對駕駛員的意圖（直行、左換道、右換道等）進(jìn)行推斷。

目前，駕駛意圖識別方法可以分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的駕駛意圖識別方法和基于深度學(xué)習(xí)的駕駛意圖識別方法。在基于深度學(xué)習(xí)的方法中，神經(jīng)網(wǎng)絡(luò)模型和長短時記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)模型應(yīng)用較為廣泛[1]。Huang 等[2]將深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)（Deep-Learning Neural Network，DNN）應(yīng)用于換道行為辨識，對復(fù)雜的換道行為特征進(jìn)行有效擬合，但DNN對時序特征的捕捉能力較弱，因此近年來該模型關(guān)注度較低。LSTM 網(wǎng)絡(luò)因其具有強(qiáng)烈的時序捕捉能力，十分貼合駕駛意圖識別的應(yīng)用場景，是當(dāng)前研究者關(guān)注的重點[3]。Phillips 等[4]通過對采集的十字路口交通數(shù)據(jù)使用LSTM 搭建意圖識別模型，實現(xiàn)對左轉(zhuǎn)、右轉(zhuǎn)和直行意圖的預(yù)測，驗證了LSTM網(wǎng)絡(luò)對真實采集時序數(shù)據(jù)特征的捕捉能力。黃玲等[5]提出了一種高速公路人機(jī)混行環(huán)境下基于LSTM神經(jīng)網(wǎng)絡(luò)的換道意圖識別模型，該模型在人機(jī)混行環(huán)境下對車輛換道行為具有較高的識別精度，其改進(jìn)在于引入均方根傳播（Root Mean Square propagation，RMSpro）算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的超參數(shù)，以規(guī)避人工調(diào)參帶來的影響?；蒿w等[6]使用雙向長短時記憶（Bidirectional Long Short-Term Memory，Bi LSTM）網(wǎng)絡(luò)模型識別駕駛行為中的異常狀態(tài)，將Bi LSTM 與全連接神經(jīng)網(wǎng)絡(luò)（Fully Connected Neural Network，F(xiàn)CNN）相結(jié)合，充分發(fā)揮了二者的優(yōu)勢。

從研究進(jìn)程和相應(yīng)的指標(biāo)來看，深度學(xué)習(xí)模型總體表現(xiàn)優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型。以LSTM 模型為代表的深度學(xué)習(xí)模型以強(qiáng)大的擬合能力與對時間序列特征的捕捉能力使其在駕駛意圖識別上的表現(xiàn)整體強(qiáng)于傳統(tǒng)機(jī)器學(xué)習(xí)模型。然而，部分研究還存在周圍車輛交互特征考慮不足、忽視駕駛風(fēng)格、人工調(diào)參困難等問題。

本文提出一種基于改進(jìn)Bi LSTM 網(wǎng)絡(luò)的駕駛意圖識別模型，以目標(biāo)車輛軌跡序列、駕駛風(fēng)格、周圍車輛的交互特征作為模型的輸入，并使用鯨魚優(yōu)化算法對模型的超參數(shù)進(jìn)行尋優(yōu)來規(guī)避人工調(diào)參。最后對NGSIM數(shù)據(jù)集的數(shù)據(jù)進(jìn)行處理、驗證，證明該模型在車輛駕駛意圖識別方面具有較高的準(zhǔn)確性。

2 改進(jìn)雙向長短時記憶網(wǎng)絡(luò)

2.1 雙向長短時記憶網(wǎng)絡(luò)

LSTM 神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）的一類變種，相較于RNN，它通過引入“門”結(jié)構(gòu)和細(xì)胞概念控制信息的流動，從而克服了困擾RNN 的梯度爆炸及梯度消失問題。該網(wǎng)絡(luò)最基本的單元結(jié)構(gòu)如圖1 所示，它與RNN 的區(qū)別在于，該單元結(jié)構(gòu)中存在遺忘門（Forget Gate）、更新門（Input Gate）、輸出門（Output Gate）3 種特殊的“門”結(jié)構(gòu)以及用于儲存和傳遞之前時刻狀態(tài)信息的細(xì)胞（Cell）結(jié)構(gòu)，以實現(xiàn)信息的流通[7]。圖1 中，xt為當(dāng)前時刻t的輸入，ht、Ct分別為t時刻的輸出信息和存儲在細(xì)胞中的狀態(tài)信息為輸入門對輸入xt進(jìn)行信息更新后產(chǎn)生的新的輸入向量，σ為sigmoid 激活函數(shù)，ft、it、Ot分別為遺忘門、輸入門、輸出門，wf、wi、wo分別為遺忘門、輸入門、輸出門的權(quán)重系數(shù)，wc為(t-1)時刻與t時刻的連接權(quán)重系數(shù)。

圖1 LSTM基本單元結(jié)構(gòu)

LSTM 雖然解決了RNN 存在的問題，但它自身只能利用過去的特征信息，而忽略了未來的信息，故在此基礎(chǔ)上誕生了Bi LSTM 神經(jīng)網(wǎng)絡(luò)[8]。該模型包含2個獨(dú)立的LSTM網(wǎng)絡(luò)，模型所需的參數(shù)分別以正向和反向的形式輸入到2個LSTM網(wǎng)絡(luò)中，然后將2 個網(wǎng)絡(luò)提取出的特征向量進(jìn)行拼接獲得模型最終特征向量，經(jīng)過正向和反向的特征提取，最終的拼接向量同時擁有過去和未來的信息，其結(jié)構(gòu)流程如圖2 所示。為正向運(yùn)算過程為反向運(yùn)算過程：

圖2 Bi LSTM結(jié)構(gòu)流程

式中，f為激活函數(shù)為t時刻正向LSTM 網(wǎng)絡(luò)的輸出分別為正向偏置和權(quán)重為t時刻反向LSTM網(wǎng)絡(luò)的輸出分別為反向偏置和權(quán)重。

將正向LSTM 網(wǎng)絡(luò)及反向LSTM 網(wǎng)絡(luò)的輸出向量拼接在一起，即為Bi LSTM網(wǎng)絡(luò)的輸出：

2.2 駕駛意圖識別模型

本文基于Bi LSTM 網(wǎng)絡(luò)搭建駕駛意圖識別模型，模型架構(gòu)如圖3所示。

圖3 Bi LSTM駕駛意圖識別模型

圖3中，時間序列輸入層將Xt=(x1,x2,x3,…,xt)分別輸入正向和反向LSTM 網(wǎng)絡(luò)，序列中的每一個時刻t的輸入xt在該模型中都會獲得正向輸出和反向輸出再進(jìn)行拼接獲得向量將xt'輸入到全連接層中獲得輸出yt=wxt'+b，其中w、b為全連接層的權(quán)重和偏置。將yt輸入SoftMax 層，通過激活函數(shù)獲得t時刻輸入的左換道、右換道、直行3 種類別各自的概率，然后使用分類層將概率最大的類別輸出，作為當(dāng)前時刻的駕駛意圖。

2.3 Bi LSTM 超參數(shù)優(yōu)化

Bi LSTM 網(wǎng)絡(luò)的超參數(shù)對模型的性能影響較大，隱含層節(jié)點數(shù)、學(xué)習(xí)率是其中重要的超參數(shù)指標(biāo)。隱含層節(jié)點數(shù)越多，模型的性能越好，精度也會越高，但需要的計算資源會越大，也越耗時，且節(jié)點數(shù)超過一定閾值后反而會降低模型的性能，但節(jié)點數(shù)過小則可能不會收斂，準(zhǔn)確率也會降低；學(xué)習(xí)率的選擇決定模型能否收斂，學(xué)習(xí)率過大時模型難以收斂，學(xué)習(xí)率過小時模型訓(xùn)練耗時更長，且可能陷入“局部最優(yōu)”陷阱。

正確選擇隱含層節(jié)點數(shù)和學(xué)習(xí)率既可以提高訓(xùn)練速度，也能提高模型精度。因此，為獲取這2個超參數(shù)的最優(yōu)解，本文使用鯨魚優(yōu)化算法（Whale Optimization Algorithm，WOA）對Bi LSTM 的損失函數(shù)進(jìn)行尋優(yōu)，算法迭代曲線收斂且損失函數(shù)結(jié)果最小時對應(yīng)的超參數(shù)即為最優(yōu)解。WOA Bi-LSTM 的算法流程如圖4所示。其中，p為行為選擇概率，X(t)為t時刻鯨魚所處的位置，X*(t)為最佳包圍位置，Xrand(t)為當(dāng)前隨機(jī)鯨魚個體的位置，D、D'、D"分別為當(dāng)前鯨魚個體與最佳個體、最佳包圍位置、隨機(jī)鯨魚個體之間的距離，A、C分別為權(quán)重系數(shù)，b為常量系數(shù)，l為[-1,1]區(qū)間上的隨機(jī)數(shù)。

圖4 WOA-Bi LSTM 算法流程

鯨魚優(yōu)化算法通過模擬鯨魚族群的捕獵行為來更新優(yōu)化參數(shù)，該算法包括包圍獵物、攻擊獵物和隨機(jī)搜尋獵物3 個環(huán)節(jié)[9]。每條鯨魚的位置都代表一個可行解，對于N個待優(yōu)化參數(shù)，可將鯨魚的位置設(shè)定為X=(x1,x2,x3,…,xN)。

使用WOA 模型對Bi LSTM 網(wǎng)絡(luò)的損失函數(shù)進(jìn)行尋優(yōu)。優(yōu)化算法的迭代次數(shù)均設(shè)置為50次，優(yōu)化器均使用Adam，損失函數(shù)設(shè)為交叉熵，WOA- Bi LSTM 模型中的鯨魚種群數(shù)設(shè)為30 個，迭代次數(shù)設(shè)為20 次，Bi LSTM 網(wǎng)絡(luò)的輸入為目標(biāo)車輛的運(yùn)動狀態(tài)特征方程構(gòu)造的駕駛意圖數(shù)據(jù)集；根據(jù)WOA 模型迭代收斂的輸出結(jié)果，適應(yīng)度曲線收斂時的適應(yīng)度對應(yīng)的鯨魚位置向量即為最優(yōu)解，對應(yīng)的最優(yōu)隱含層節(jié)點數(shù)為82個，最優(yōu)學(xué)習(xí)率為0.001 6。

3 駕駛意圖識別模型仿真分析

3.1 基于改進(jìn)滑動窗口算法的數(shù)據(jù)預(yù)處理

交互場景中通常存在多個交通參與者，自動駕駛汽車會受到周圍車輛間交互的影響，交互特征的選擇對于準(zhǔn)確識別人工駕駛車輛的意圖至關(guān)重要?？紤]到橫向距離對車輛行駛安全的重要性[10]，將橫向距離作為交互特征之一引入駕駛意圖識別任務(wù)，設(shè)li、di分別為第i輛目標(biāo)車輛與自動駕駛汽車的橫、縱向相對距離，周圍車輛交互特征fsocial可表達(dá)為：

式中，xi為第i輛目標(biāo)車與自動駕駛汽車的橫、縱向相對距離構(gòu)成的向量。

交互特征描述的是自動駕駛車輛與周圍車輛的交互行為，識別駕駛意圖還需選擇目標(biāo)車輛的運(yùn)動狀態(tài)特征ft=(v,a,x,y,vy,ay)，其中v、a分別為目標(biāo)車輛的速度、加速度，x、y分別為目標(biāo)車輛的縱、橫坐標(biāo)，vy、ay分別為目標(biāo)車輛的橫向速度、橫向加速度。

不同風(fēng)格的駕駛員面臨相同駕駛場景時產(chǎn)生的駕駛意圖有所不同，因此，精準(zhǔn)識別目標(biāo)車輛的駕駛意圖還需要引入其駕駛風(fēng)格特征，其特征向量為：

綜上所述，駕駛意圖識別模型的輸入iv由交互特征、目標(biāo)車輛運(yùn)動狀態(tài)特征、駕駛風(fēng)格特征構(gòu)成：

完成特征參數(shù)選取后，需要對NGSIM 數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行篩選并提取相應(yīng)的特征數(shù)據(jù)，同時，分類模型是有監(jiān)督學(xué)習(xí)模型，需要對駕駛意圖數(shù)據(jù)進(jìn)行車輛行為標(biāo)注。Deo 等[11]針對該問題提出了一種通過時間標(biāo)定換道行為的方法，首先尋找車輛在換道點的時刻t，然后將車輛處于區(qū)間[t-4 s,t+4 s]的車輛行為標(biāo)定為左、右換道，但Wang 等[12]通過對NGSIM 數(shù)據(jù)集的觀察發(fā)現(xiàn)，許多車輛在t-4 s時刻并未產(chǎn)生換道意圖，仍然處于車道保持狀態(tài)，因此直接根據(jù)4 s 的時間標(biāo)定換道行為存在一定誤差。而李文禮等[13]使用橫向位移達(dá)到車道寬作為換道完成的標(biāo)定參數(shù)，提高了換道行為標(biāo)定的準(zhǔn)確率。受以上研究的啟發(fā)，本文提出一種結(jié)合橫向位移的滑動窗口算法對相應(yīng)數(shù)據(jù)進(jìn)行提取并賦予標(biāo)簽，如圖5所示。

圖5 改進(jìn)滑動窗口數(shù)據(jù)提取算法

由圖5可知，改進(jìn)的數(shù)據(jù)提取方法定義為：找尋車輛換道點St對應(yīng)的時刻t，然后提取車輛軌跡序列中t-4 s 和t+4 s 時刻對應(yīng)的采樣點并計算二者橫向位移的差值。若該差值大于車道寬3.75 m，則將該條軌跡標(biāo)定為換道成功。若該差值小于3.75 m，則以換道點所在的時刻為中心，在兩端取相互對稱的2 個采樣點S1、S2并計算二者橫向位移的差值，當(dāng)該差值達(dá)到3.75 m 時，則將S1對應(yīng)的時刻t1定義為換道起始時刻，將S2對應(yīng)的時刻t2定義為換道結(jié)束時刻，落入?yún)^(qū)間[t1,t2]的采樣點均為換道過程點。

用以上方法對NGSIM 數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行換道行為標(biāo)定，并采用前文駕駛意圖識別模型進(jìn)行數(shù)據(jù)處理，提取時長為4 s的軌跡序列作為試驗時模型的輸入數(shù)據(jù)，最終共獲取樣本數(shù)據(jù)23 800 組，其中左換道標(biāo)簽數(shù)據(jù)4 977 組、右換道標(biāo)簽數(shù)據(jù)6 331組、直行標(biāo)簽數(shù)據(jù)12 492 組，按7∶1.5∶1.5 的比例將數(shù)據(jù)集劃分成訓(xùn)練集、驗證集和測試集。

3.2 仿真結(jié)果分析

選擇使用不同超參數(shù)的Bi LSTM 網(wǎng)絡(luò)作為試驗對比，網(wǎng)絡(luò)的迭代次數(shù)均設(shè)置為50 次，損失函數(shù)均為交叉熵?fù)p失函數(shù)，各模型參數(shù)設(shè)置及在訓(xùn)練集上的訓(xùn)練耗時和最后一次迭代的準(zhǔn)確率如表1 所示。訓(xùn)練時各模型損失函數(shù)下降曲線及準(zhǔn)確率上升曲線分別如圖6、圖7所示。

表1 不同超參數(shù)網(wǎng)絡(luò)訓(xùn)練集表現(xiàn)

圖6 損失函數(shù)下降曲線

圖7 準(zhǔn)確率上升曲線

從表1、圖6、圖7中可以看出，WOA-Bi LSTM 在各模型中損失函數(shù)最低、收斂速度最快、性能最優(yōu)。此外，從表1中可以看出，學(xué)習(xí)率及隱含層節(jié)點數(shù)對模型的準(zhǔn)確率和訓(xùn)練耗時均有影響。在采用與WOA-Bi LSTM 相同的學(xué)習(xí)率的條件下，選擇Bi LSTM1 和Bi LSTM2 這2 個不同隱含層節(jié)點數(shù)的網(wǎng)絡(luò)進(jìn)行訓(xùn)練時，隱含層節(jié)點數(shù)增加，模型的準(zhǔn)確率提高，但是訓(xùn)練所需的時間和計算資源也會隨之增加。此外，當(dāng)隱含層節(jié)點數(shù)到達(dá)一定閾值后，增加隱含層節(jié)點數(shù)反而可能導(dǎo)致準(zhǔn)確率下降，這在WOA-Bi LSTM 和Bi LSTM2 中均有所體現(xiàn)。當(dāng)選擇與WOA-Bi LSTM 節(jié)點數(shù)相同的網(wǎng)絡(luò)Bi LSTM3、Bi LSTM4 進(jìn)行訓(xùn)練時，相較于較小初始學(xué)習(xí)率的模型，較大初始學(xué)習(xí)率的模型訓(xùn)練所需的時間較短，但準(zhǔn)確率相對較低。而學(xué)習(xí)率數(shù)值過小，會使網(wǎng)絡(luò)陷入局部最優(yōu)，同樣降低模型的識別準(zhǔn)確率，例如Bi LSTM3 網(wǎng)絡(luò)。雖然該網(wǎng)絡(luò)在損失函數(shù)上的表現(xiàn)較為優(yōu)異，但其識別準(zhǔn)確率卻是所有模型中最低的。

綜上所述，選擇合理的隱含層節(jié)點數(shù)和初始學(xué)習(xí)率對模型的性能有較大影響。使用優(yōu)化后的Bi LSTM 對測試集數(shù)據(jù)進(jìn)行識別，結(jié)果如圖8 所示。其中：前3 行白色方格給出了模型辨識正確的樣本數(shù)量和該類駕駛意圖辨識正確的樣本數(shù)占測試集總樣本數(shù)的比例；深灰色方格給出了模型辨識錯誤的樣本數(shù)量和該類駕駛意圖辨識錯誤的樣本數(shù)占測試集總樣本數(shù)的比例；第4 列淺灰色方格給出了模型對各類駕駛意圖辨識正確的樣本數(shù)占該類別駕駛意圖總樣本數(shù)的比例；第4 行淺灰色方格給出了該類別駕駛意圖辨識準(zhǔn)確率；第4 行白色方格給出了模型在測試集上的總體辨識準(zhǔn)確率。

圖8 測試集混淆矩陣

從圖8 中可以看出，模型在測試集上的識別準(zhǔn)確率較高，達(dá)到97.5%，且模型對右換道數(shù)據(jù)識別準(zhǔn)確率（97.2%）大于左換道數(shù)據(jù)識別準(zhǔn)確率（95.3%），這是因為左換道訓(xùn)練數(shù)據(jù)相對于右換道較少，模型在訓(xùn)練時，對于右換道特征的理解學(xué)習(xí)強(qiáng)于左換道，但二者的識別準(zhǔn)確率均較高，說明模型對于左、右換道識別能力較強(qiáng)。

4 結(jié)束語

本文針對高速混行環(huán)境下周圍車輛的駕駛意圖識別問題，首先，提出一種結(jié)合橫向位移的滑動窗口算法對NGSIM 數(shù)據(jù)集的數(shù)據(jù)進(jìn)行處理、提取并構(gòu)造駕駛意圖特征數(shù)據(jù)集，然后基于該數(shù)據(jù)集提出一種改進(jìn)雙向長短時記憶網(wǎng)絡(luò)駕駛意圖識別模型，并使用鯨魚優(yōu)化算法對該模型中的學(xué)習(xí)率和隱含層節(jié)點數(shù)進(jìn)行超參數(shù)優(yōu)化，以規(guī)避人工調(diào)參對模型性能的負(fù)面影響。通過對比發(fā)現(xiàn)，鯨魚優(yōu)化算法獲得的最優(yōu)超參數(shù)可有效提高模型的識別準(zhǔn)確率。在NGSIM 數(shù)據(jù)集測試集上，模型的識別準(zhǔn)確率達(dá)到了97.5%，左、右換道和直行的識別準(zhǔn)確率分別為95.3%、97.2%、98.3%，識別耗時為1.35 s，表明該模型能夠?qū)崟r精確識別駕駛意圖，為周圍車輛的軌跡預(yù)測提供幫助。