智能駕駛系統(tǒng)對周邊交通車輛預期軌跡的單模態(tài)網絡預測方法*

高振海 鮑明喜 高菲 唐明弘 呂穎

（1.吉林大學，汽車仿真與控制國家重點實驗室，長春 130000；2.中國第一汽車股份有限公司研發(fā)總院，長春 130013；3.汽車振動噪聲與安全控制綜合技術國家重點實驗室，長春130013）

主題詞：軌跡預測 行為意圖識別 交互式行為

1 前言

智能駕駛局部動態(tài)駕駛地圖（Local Dynamic Driving Map，LDDM）[1-2]是對復雜的動態(tài)行駛交通環(huán)境進行態(tài)勢認知的緊湊道路環(huán)境建模方法。智能駕駛系統(tǒng)預期軌跡預測技術基于各類傳感器融合信息和高精度地圖所給出的道路拓撲結構、交通信息對本車的周邊交通車輛進行預測，可得到交通車輛未來時刻的軌跡信息和行為信息，是LDDM的重要組成部分。

近年來，很多學者針對車輛的軌跡預測模型進行了研究。軌跡預測模型大致分為基于物理約束的預測模型和基于數據驅動的預測模型[3-4]。基于物理約束的預測模型主要考慮車輛運動狀態(tài)、汽車特性以及道路環(huán)境等狀態(tài)量，采用動力學和運動學模型預測車輛未來的運動趨勢，但此模型過于依賴車輛當前狀態(tài)的確定性和模型輸入的完整性。Barth 等[5]通過卡爾曼濾波方法[6-8]和蒙特卡羅法對輸入變量進行建模，來提高運動軌跡的預測精度，然而，此方法不適用于解決車輛軌跡的高度非線性[9]問題，使得該方法無法預測長時域車輛狀態(tài)信息。

為解決動態(tài)環(huán)境下長時域預測準確度低的問題，深度學習在軌跡預測方面受到越來越多學者的關注。Kim等[10]提出利用長短時記憶（Long Short-Term Memory，LSTM）網絡預測未來2 s內車輛的位置。Deo等[11-13]提出基于卷積社交池的LSTM網絡模型，該方法預測了交通車輛未來行駛軌跡的分布情況，但忽略了交通車輛交互作用的影響。Khakzar 等[14]提出了基于LSTM 網絡的雙學習模型（Double Learning Model，DLM），但輸入特征空間維度的增長會增加網絡模型的訓練難度，難以滿足智能駕駛汽車的實時性要求。Xie 等[15]僅基于LSTM 神經網絡構建的車道變換的數據驅動模型，沒有考慮車道保持等駕駛行為對模型的影響。Lin等[16]基于時空注意力LSTM著重分析了車輛歷史軌跡和相鄰車輛對目標車輛的影響，沒有考慮駕駛意圖對模型的影響。Xiao等[17]基于上下文信息LSTM 構建了車輛行為意圖模型和軌跡預測模型，預測車輛未來單模態(tài)軌跡，但在軌跡預測模型中沒有應用意圖識別模型輸出的意圖概率，導致軌跡預測模型輸出的軌跡存在較大誤差。

綜合對現(xiàn)有研究的分析，當前智能駕駛軌跡預測主要存在3 個問題：缺乏對交通車輛未來態(tài)勢和具體行為的認知分析；通過神經網絡模型預測交通車輛軌跡無法在端到端形式下提高預測精度，需要優(yōu)化算法補充模型的不足；沒有充分考慮被預測車輛和周邊交通車輛以及周邊交通車輛之間的交互作用信息對模型的影響。

本文提出單雙向LSTM（Monodirectional and Bidirectional LSTM，MB-LSTM）對智能駕駛系統(tǒng)預期軌跡的單模態(tài)網絡預測方法，通過提取被預測車輛和周邊交通車輛之間的交互特征信息，構建軌跡預測模型，為車輛認知交通環(huán)境的動態(tài)態(tài)勢提供先驗信息。

2 模型框架

2.1 交通車輛軌跡預測模型

為準確認知復雜的智能駕駛交通環(huán)境，需要對智能駕駛交通車輛及其所處駕駛場景進行具體化預測。智能駕駛交通車輛在駕駛過程中會產生車道保持、左換道、右換道、加減速等多種駕駛行為，在行駛過程中，被預測車輛的具體駕駛行為會影響本車對所處復雜交通行駛環(huán)境的認知，同時影響決策規(guī)劃[18]等模塊的決策和控制。

本文提出的交通車輛軌跡預測方法由行為意圖識別模塊和軌跡預測模塊組成，如圖1所示。智能駕駛交通車輛行為意圖識別模塊輸出未來車輛出現(xiàn)車道保持、左換道、右換道、加速左換道、加速右換道5種駕駛行為的概率。交通車輛軌跡預測模塊輸出未來狀態(tài)車輛的坐標信息(X,Y)和行為信息(vx,vy)，其中，vx、vy分別為車輛的縱、橫速度。

圖1 交通車輛預期軌跡預測模型

基于LSTM 網絡和多層感知機（MultiLayer Perceptron，MLP）構建智能駕駛交通車輛行為意圖識別模塊，輸入交通車輛的歷史狀態(tài)信息，通過歸一化指數函數（Softmax函數）計算各駕駛行為意圖的概率。

設智能駕駛交通車輛的歷史狀態(tài)特征信息M為車輛運動預測模型的輸入向量，C=(c1,c2,c3,c4,c5)為駕駛行為意圖識別模塊輸出的意圖類別向量，c1～c5分別代表直線行駛、左換道、右換道、加速左換道、加速右換道5 種駕駛意圖類別。智能駕駛交通車輛在動態(tài)交通環(huán)境中行駛時，換道原因一般是獲取更大的行駛空間，或者避免碰撞，降低車輛間的事故發(fā)生率。因此，本文將左、右換道具體駕駛行為意圖劃分為加速換道和一般換道。駕駛意圖類別概率向量為：

式中，ωi=P(ci|M),i=1,2,3,4,5為駕駛意圖為ci的概率。

交通車輛軌跡預測模塊由LSTM和MLP構成，全連接層網絡提取車輛歷史狀態(tài)的特征信息作為LSTM 的輸入，LSTM 為提高當前狀態(tài)的前后關聯(lián)性將輸入的特征信息組成上下文向量，車輛軌跡向量結合LSTM生成的上下文向量和駕駛行為意圖識別模塊輸出的行為識別向量。MLP輸入車輛軌跡向量，并輸出智能駕駛交通車輛未來的軌跡坐標信息和行為信息。

2.2 環(huán)境特征信息提取

在復雜的動態(tài)交通環(huán)境中，智能駕駛交通車輛運動預測不僅需考慮被預測車輛的運動狀態(tài)，還應考慮被預測車輛的環(huán)境信息。為使運動預測模型理解車輛間的交互行為，輸入信息包括被預測車輛歷史特征信息及環(huán)境特征信息，輸入信息為：

式中，Mt為t時刻智能駕駛交通車輛預期軌跡預測模型的輸入量；為t時刻被預測車輛的特征信息；Et為t時刻被預測車輛周邊交通車輛的特征信息和交互作用特征信息；T為車輛歷史軌跡時間長度；xt、yt分別為t時刻被預測車輛縱、橫坐標；分別為t時刻被預測車輛縱、橫向速度；分別為t時刻被預測車輛縱、橫向加速度；dhw、thw、ttc分別為被預測車輛與前方車輛的車頭間距、車頭時距、碰撞時間。

圖2 被預測車輛8方位示意

3 交通車輛預期軌跡預測模塊

3.1 LSTM

LSTM 網絡[19]是門控循環(huán)神經網絡，包含遺忘門（Forget Gate）、輸入門（Input Gate）、輸出門（Output Gate）以及與隱藏狀態(tài)形狀相同的記憶細胞，如圖3 所示。LSTM 的輸入信息為當前時間步輸入Xt、上一時間步隱藏狀態(tài)Ht-1和記憶細胞Ct-1。全連接層激活函數σ和tanh函數為：

圖3 LSTM細胞結構

遺忘門決定上一時刻細胞狀態(tài)中遺忘的比例，輸入門決定當前輸入是否對細胞狀態(tài)有貢獻，輸出門控制候選記憶輸出。輸入門It、遺忘門Ft、輸出門Ot分別為：

候選記憶細胞選擇新信息，記憶細胞組合上一時間步記憶細胞和當前時間步候選記憶細胞的信息，并通過輸入門、遺忘門控制信息流動：

式中，Wxc∈Rd×h、Whc∈Rh×h為權重參數；bc∈R1×h為偏差參數；為候選記憶細胞。

當前時間步隱藏狀態(tài)由輸出門控制：

3.2 交通車輛行為意圖識別模塊

交通車輛行為意圖識別模塊根據被預測車輛及其周邊交通車輛的運動狀態(tài)和交互信息理解其運行規(guī)律，能準確判斷被預測車輛未來狀態(tài)的駕駛意圖，模型框架見圖1。整個模型由LSTM 模塊和MLP 組合搭建完成。歷史狀態(tài)信息M首先經過具有128個神經元、激活函數為Relu 的全連接層（Fully Connected Layers，F(xiàn)C），編碼后的向量傳遞至深層循環(huán)神經網絡中，深層循環(huán)神經網絡采用雙層LSTM 網絡結構，隱藏特征為256，隨機失活（Dropout）比率為0.5。每一時間步LSTM 單元讀取當前時間步的輸入特征信息M和歷史時間步的隱藏狀態(tài)Ht-1，更新當前時間步的隱藏狀態(tài)ht，即ht=f(ht-1,M)。最后經過MLP 神經網絡和Softmax函數輸出直線行駛、左換道、右換道、加速左換道、加速右換道5種駕駛意圖類別概率矩陣C。Softmax函數為：

式中，zn為第n個駕駛行為意圖的輸出值，駕駛行為意圖多分類的輸出值在[0,1]范圍內且和為1的概率分布；l為駕駛行為意圖分類的類別數量。

車輛行為意圖識別模塊采用多分類交叉熵作為損失函數，采用Adam 優(yōu)化器，學習率為0.000 2。車輛行為意圖識別模塊損失函數為：

式中，Lc為行為意圖識別模塊損失函數；yn是第n個樣本標簽的獨熱編碼；pn為第n個預測樣本的類別概率。

3.3 交通車輛軌跡預測模塊

交通車輛軌跡預測模塊是由雙向LSTM網絡、單向LSTM 網絡、MLP 網絡和經過全連接層特征提取后的行為意圖識別模塊輸出的概率向量Ω。車輛當前時間步的狀態(tài)不僅與歷史時刻的時序狀態(tài)有關，還和未來的狀態(tài)有關。被預測車輛當前時刻的特征信息通過雙向LSTM網絡同時獲得歷史時刻的時序信息和未來時刻的時序信息，組成上下文信息用于判斷車輛當前的狀態(tài)特征。雙向循環(huán)神經網絡結構如圖4所示，雙向LSTM中6個獨特的權值在每一個時間步重復利用，6個權值分別對應輸入到向前和向后隱含層（ω1、ω3）、隱含層到隱含層自己（ω2、ω5）、向前和向后隱含層到輸出層（ω4、ω6），但是向前和向后隱含層之間沒有信息流動。

圖4 雙向循環(huán)神經網絡

歷史狀態(tài)信息M經過2個具有256個神經元、激活函數為tanh 的全連接層，分別傳入雙向深層循環(huán)神經LSTM網絡、單向深層循環(huán)神經LSTM網絡，隱藏特征為512，Dropout 比率為0.5。最后由MLP 網絡輸出被預測車輛3 s后的軌跡和速度。交通車輛軌跡預測模塊損失函數采用均方誤差（Mean Square Error，MSE）損失函數，采用Adam優(yōu)化器，學習率為0.000 5。均方誤差損失函數為：

式中，Le為均方誤差損失函數；k為樣本數量；yi為真實數據；為預測數據。

4 試驗分析

4.1 數據預處理

選取德國亞琛工業(yè)大學開源的HighD[20]自然車輛軌跡數據集用于訓練、驗證和測試本文提出的軌跡預測模型。該數據集為智能駕駛提供豐富的測試數據，涉及110 000 輛車，記錄了5 600 次完整的車道變換。原HighD 軌跡數據采樣頻率為25 Hz，為符合試驗場景并降低計算成本，將HighD 數據集采樣頻率定為8 Hz，HighD數據集場景如圖5所示。

圖5 HighD數據集場景

車輛行為意圖識別模塊需要提取HighD 數據集中直線行駛、左換道、右換道、加速左換道、加速右換道5種駕駛軌跡，并添加相對應的標簽(0,1,2,3,4)。以圖6所示的車輛右換道為例，車輛的換道軌跡分類步驟為：提取軌跡與車道線的交點，記錄此刻時間；計算偏航角θ；正反向推演采樣點偏航角；如果|θ|＜θb（換道起始點航向角閾值），定義為直線行駛，反之定義為換道；確定換道起點和換道終點。偏航角θ為：

圖6 車輛右換道軌跡示意

由于車道保持工況遠多于換道工況，所以提取的序列中車道保持類別遠多于換道類別。隨機選取整個數據集中80%的數據作為訓練集、10%的數據作為驗證集，其余10%的數據作為測試集。

4.2 交通車輛行為意圖識別模塊性能分析

交通車輛行為意圖識別模塊的精度對車輛輸出軌跡具有至關重要的作用。采用負對數似然損失（Negative Loglikehood Loss，NLL）為模型的損失函數，行為意圖識別模型損失函數如圖7 所示，訓練過程損失值穩(wěn)定于0.058 4，驗證過程損失值穩(wěn)定于0.079 6，車輛行為意圖識別模塊收斂效果顯著?；煜仃嚕–onfusion Matrix）是機器學習中監(jiān)督學習常用的可視化方法，混淆矩陣如表1 所示。車輛行為意圖分類器采用的評價指標為精確率、召回率、F1 分數（F1-Score）、準確率。以二分類為例，精確率p，召回率r，F(xiàn)1分數F1和準確率a分別為：

表1 行為意圖識別混淆矩陣 次

圖7 行為意圖識別模型訓練過程

式中，Tp、Tn、Fp、Fn分別為真正例、真負例、假正例、假負例數量。

行為意圖識別性能度量如表2所示，輸入歷史軌跡時域3 s，行為意圖識別性能指標均較好：車輛駕駛行為精確率p均達到90%以上；直線行駛、左換道和右換道駕駛行為召回率達到97%以上，加速左換道和加速右換道駕駛行為召回率達到81%以上；車道保持、左換道和右換道駕駛行為F1 分數達到97%以上，加速左換道和加速右換道駕駛行為F1 分數達到85%以上；準確率反映了模型的準確程度，模型的準確率達到了98%以上，行為意圖識別模型準確度如圖8所示。由圖8可知，雖然在意圖識別模塊會產生一定的誤判，但很少產生相反類型的判斷，由此表明車輛行為意圖識別模塊具有較好意圖識別能力，滿足車輛運動軌跡預測模塊的要求。

圖8 行為意圖識別模型準確度

表2 行為意圖識別性能度量

4.3 完整模型性能分析

以均方根誤差（Root Mean Square Error，RMSE）作為完整模型預測結果的衡量標準，對比僅被預測車輛位置特征信息（XY-LSTM）、增加被預測車輛的速度特征信息（VLSTM）、增加周圍車輛的特征信息（E-LSTM）模型在預測時域為3 s內的坐標均方根誤差，以檢驗模型的有效性。

如圖9 所示，通過對比XY-LSTM、V-LSTM、ELSTM 和本文提出的MB-LSTM 算法可以看出，在LSTM網絡架構的基礎上，輸入被預測車輛的位置信息以及增加速度信息和周圍車輛的特征信息，均能大幅提高模型精度，且本文提出的MB-LSTM 在長時域軌跡誤差低于其余算法，模型精度也處于較高水平。

圖9 模型RMSE對比

本文從測試集中挑選一段完整的代表性軌跡序列，滑動輸入車輛行為意圖識別模塊。所提取的軌跡序列車輛編號為666。圖10～圖12 分別給出了目標車輛在不同時刻下車輛666 軌跡序列的歷史信息和預測信息的駕駛行為意圖識別概率、軌跡坐標和車輛的側、縱向速度。x軸為車輛隨時間變化的縱向坐標位置，原始y軸坐標信息與圖10～圖12中y軸坐標信息相反，因此車道6在車道7的左側，屬于加速左換道行為。

圖10 換道初始點前性能預測

圖11 換道初始點時性能預測

圖12 換道初始點后性能預測

圖10 中預測時間是距換道初始點1.08 s 處，圖12中預測時間是距換道初始點2.04 s處。

從圖10a中可以看出，在換道初始點前行為意圖預測最大概率為車道保持，為99.9%，且在軌跡序列離換道初始點前1.08 s 就預測未來可能的意圖行為加速左換道。在換道初始點時，車道保持概率不斷下降，從99.9%降為接近于0%，而車道向左加速換道概率不斷增加，從0%增加至99.9%。由此可見，駕駛行為意圖識別模塊具有良好的辨別車輛行為的能力。

而圖11a、12a 中，隨著距離換道初始點的距離越近，車道保持狀態(tài)特征信息減少，換道行為略有延遲并且換道行為會產生一定的誤差。圖11a中，加速換道行為概率從0%提高至99%所需時間為0.72 s，并且左換道突然上漲，最大概率為46.84%，但換道過程中，最大概率仍為車道保持和加速左換道，對判斷駕駛行為意圖影響較小。

在圖12a中，加速換道行為概率從0%提高至99.9%所需時間為0.84 s，在換道過程中，駕駛行為最大概率依次為車道保持、左換道和加速左換道，并且左換道的行為概率最大為67.93%，但隨著時間步增長，左換道概率不斷減小，加速左換道概率不斷提高，左換道最大概率持續(xù)時間僅為0.12 s。通過圖10b、圖11b、圖12b中車輛的預測軌跡和真實軌跡的對比可以看出，預測軌跡和真實軌跡在換道初始點前、換道初始點時和換道初始點后趨勢相同并且誤差相差不大，由圖10b 可知，在換道初始點前1.08 s就可以準確預測車輛未來3 s的軌跡，表明所提出的模型在軌跡預測方面有良好的表現(xiàn)。圖10c、圖10d、圖11c、圖11d、圖12c、圖12d 表明，預測與原始的側、縱向速度具有一致的趨勢，預測時間越短，精度越高，且隨著預測時間的增長，預測精度不斷下降。換道初始點前預測的縱向速度最大相差0.72 m/s，橫向速度最大相差0.072 58 m/s。

由此表明，所提出的MB-LSTM 運動預測模型誤差較小且具有良好表現(xiàn)，接近車輛真實的行駛軌跡。

5 結束語

本文設計了一種基于MB-LSTM 網絡的駕駛行為意圖識別模型和軌跡預測模型的單模態(tài)預期軌跡預測方法，提取復雜的動態(tài)交通環(huán)境中被預測車輛與周邊交通車輛之間的狀態(tài)特征信息和環(huán)境交互特征信息，駕駛行為意圖識別模型識別車輛車道保持、左換道、右換道、加速左換道以及加速右換道的多種行為意圖概率，軌跡預測模型根據歷史3 s 的狀態(tài)特征信息預測車輛未來3 s的坐標信息和側、縱向速度，并利用HighD數據集進行訓練和測試。驗證結果表明，所提出的軌跡預測模型基于被預測車輛和周邊交通車輛的狀態(tài)信息以及交互作用信息在駕駛行為意圖識別和軌跡行為輸出方面均具有良好的表現(xiàn)，彌補了智能駕駛系統(tǒng)預期軌跡預測具體行為和環(huán)境交互特征信息的不足，可為后續(xù)工作交通環(huán)境的動態(tài)態(tài)勢認知提供先驗信息。