無(wú)人駕駛汽車周邊車輛行為識(shí)別算法研究*

蔡英鳳，邰康盛，王 海，李祎承，陳 龍

(1.江蘇大學(xué)汽車工程研究院，鎮(zhèn)江 212013； 2.江蘇大學(xué)汽車與交通工程學(xué)院，鎮(zhèn)江 212013)

前言

智能化是國(guó)際汽車產(chǎn)業(yè)的主要發(fā)展方向，對(duì)于提升交通運(yùn)輸系統(tǒng)的高效性、安全性、節(jié)能性等具有重要作用[1]。 智能車輛利用自車傳感器或者車車協(xié)同、車路協(xié)同等完成行駛環(huán)境的感知識(shí)別。 其中，周邊車輛目標(biāo)的駕駛行為識(shí)別是環(huán)境感知的重要內(nèi)容，屬于高層次環(huán)境感知的范疇。 在智能車輛動(dòng)態(tài)運(yùn)行過(guò)程中，對(duì)周圍車輛行為的可靠估計(jì)可幫助智能車輛制定合理高效的規(guī)劃軌跡和決策控制，從而確保駕駛安全而不會(huì)失去太多舒適感或過(guò)于保守[2]。 由于真實(shí)交通環(huán)境復(fù)雜多變，以及交通主體行為具有隨機(jī)性和不可預(yù)測(cè)性的特點(diǎn)，對(duì)周圍車輛行為的識(shí)別仍然是構(gòu)建無(wú)人駕駛系統(tǒng)的難點(diǎn)。例如，每個(gè)交通環(huán)境參與者的最終目標(biāo)、駕駛風(fēng)格以及駕駛狀態(tài)存在較大差異，即使在相同的駕駛環(huán)境下決策選擇也有可能不同，從而導(dǎo)致車輛行為在較長(zhǎng)時(shí)間范圍內(nèi)難以推測(cè)。 盡管存在這些難點(diǎn)，但仍然有下列條件使它成為一個(gè)能夠解決的實(shí)際問(wèn)題:

(1)同一種典型的周邊車輛行為，其行駛軌跡具有一定的相似性；

(2)結(jié)構(gòu)化道路有明確的車道結(jié)構(gòu)和運(yùn)動(dòng)方向，車輛行為可通過(guò)一些可觀測(cè)的歷史數(shù)據(jù)去推測(cè)。

在車輛行為分析的研究方面，學(xué)者們不斷進(jìn)行探索研究，常見(jiàn)的方法可分為兩種:基于邏輯規(guī)則的算法和基于機(jī)器學(xué)習(xí)的算法。 基于邏輯規(guī)則的算法可通過(guò)相對(duì)簡(jiǎn)單的專家規(guī)則推斷車輛將來(lái)可能發(fā)生的行為，如間隙選擇換道預(yù)測(cè)模型[3]和個(gè)性化換道最小安全距離模型，這類方法對(duì)車輛行為的推斷具有較強(qiáng)的解釋性，但對(duì)數(shù)據(jù)的穩(wěn)定性和完整性有較高的要求，泛化效果較差，難以在實(shí)際路況中得到有效運(yùn)用。 目前主流的車輛行為識(shí)別方法是基于機(jī)器學(xué)習(xí)的方法，如貝葉斯網(wǎng)絡(luò)(BN)、支持向量機(jī)(SVM)、隱馬爾科夫模型(HMM)等。 黨彤[4]基于節(jié)點(diǎn)序優(yōu)化建立了多特征貝葉斯行為分類模型，計(jì)算不同車輛行為的概率，但該方法需在周邊車輛的完整行為過(guò)程結(jié)束后才能進(jìn)行識(shí)別，無(wú)法滿足智能車輛動(dòng)態(tài)行駛過(guò)程中的軌跡規(guī)劃與決策控制需求。 祝儷菱等[5]提出了一種基于SVM 的車輛行駛狀態(tài)識(shí)別方法，通過(guò)將低維空間線性不可分的樣本映射至高維空間，在二分類問(wèn)題上有顯著的優(yōu)勢(shì)，能很好地反映樣本的類間差異性，但該類方法忽略了時(shí)間序列的漸近性特征，無(wú)法反映車輛行為序列的連貫性屬性。 隱馬爾科夫模型，由于具備強(qiáng)大的時(shí)序建模能力，能很好地貼合車輛行為特征，受到學(xué)術(shù)界的廣泛關(guān)注，如李建平等[6]為不同車輛行為整體構(gòu)建HMM 模型來(lái)學(xué)習(xí)車輛的連續(xù)特征， Geng 等[7]分別為每個(gè)駕駛行為建立HMM 模型進(jìn)行分類，還有其他學(xué)者對(duì)模型進(jìn)行了改進(jìn)，有 HHMM[8]、HMMSVM[9]、GM-HMM[10]、GA-HMM[11]、HMM-BN[12]等模型，進(jìn)一步提高了識(shí)別精度，但現(xiàn)有基于隱馬爾科夫模型的車輛行為識(shí)別方法大多假設(shè)車輛未來(lái)的狀態(tài)獨(dú)立于一切過(guò)去的狀態(tài)，且狀態(tài)變化的概率是固定的，完全忽略了上下文特征信息之間的關(guān)聯(lián)性，在車輛行為分析方面面臨瓶頸。 同時(shí)，針對(duì)實(shí)際交通場(chǎng)景下的周邊車輛行為識(shí)別，基于機(jī)器學(xué)習(xí)的方法常常將車輛作為單一個(gè)體開(kāi)展研究，忽略了目標(biāo)車輛處于交通網(wǎng)絡(luò)中的社交信息，即鄰域車輛群體之間的交互影響。

隨著深度學(xué)習(xí)的發(fā)展，眾多具有優(yōu)異表現(xiàn)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)(DNN)，例如遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu)(RNN)，被廣泛用于時(shí)間序列數(shù)據(jù)分析領(lǐng)域。 RNN將時(shí)序的概念引入到網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，隱藏層之間的互連結(jié)構(gòu)反映出時(shí)間序列之間的相互影響關(guān)系，對(duì)于解決具有鄰域社交信息的序列分析具有重要研究?jī)r(jià)值。 然而RNN 存在著梯度消失、梯度爆炸和長(zhǎng)期記憶能力不足等問(wèn)題，對(duì)較長(zhǎng)時(shí)間跨度的車輛行為序列誤檢率較高。 長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)模型是RNN 的一種變體，它通過(guò)在網(wǎng)絡(luò)中加入細(xì)胞結(jié)構(gòu)，在語(yǔ)音識(shí)別、機(jī)器翻譯、風(fēng)電預(yù)測(cè)等[13-15]領(lǐng)域取得一系列重大突破，有學(xué)者開(kāi)始考慮將此模型應(yīng)用到車輛和行人的行為分析上。 季學(xué)武等[16]利用LSTM 模型構(gòu)建車輛意圖識(shí)別模塊，Alahi 等[17]還將LSTM 網(wǎng)絡(luò)應(yīng)用到行人意圖理解的問(wèn)題上。 LSTM模型不再停留在簡(jiǎn)單的車輛特征序列的匹配上，而是進(jìn)一步深入到車輛行為語(yǔ)義理解的層次，能夠抓住長(zhǎng)遠(yuǎn)的上下文信息，具有出色的非線性擬合能力和抽象挖掘能力。 但是，現(xiàn)有車輛行為L(zhǎng)STM 識(shí)別算法中通常是將最后時(shí)步的隱含層狀態(tài)值或各時(shí)步的隱含層狀態(tài)值的平均值作為車輛行為分類的高級(jí)表達(dá)依據(jù)，缺乏每個(gè)時(shí)刻特征對(duì)識(shí)別結(jié)果貢獻(xiàn)程度差異性的考慮，從而導(dǎo)致部分信息在隱層單元數(shù)據(jù)的傳遞過(guò)程中丟失，這使得在復(fù)雜交通環(huán)境中，周邊車輛行為識(shí)別算法的識(shí)別精度無(wú)法達(dá)到理想要求。

針對(duì)上述現(xiàn)有車輛行為方法識(shí)別精度不高、未考慮目標(biāo)車輛的鄰域交通場(chǎng)景信息的問(wèn)題，本文中提出了一種引入周邊目標(biāo)車輛社交特征的注意力長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型(SLSTMAT)的無(wú)人駕駛周邊車輛行為識(shí)別算法，以提高無(wú)人駕駛對(duì)周邊車輛行為的識(shí)別精度和實(shí)時(shí)性。 其中，模型輸入特征中包括交通場(chǎng)景中目標(biāo)車輛、道路及鄰域車輛的信息，來(lái)模擬交通場(chǎng)景對(duì)目標(biāo)車輛決策的影響，并對(duì)社交特征進(jìn)行卷積操作處理(CNN)，降低該部分信息的數(shù)據(jù)維度并提取有效信息，以提高識(shí)別算法的實(shí)時(shí)性。算法模型采用正反雙向結(jié)構(gòu)LSTM 網(wǎng)絡(luò)為主體框架，并在LSTM 網(wǎng)絡(luò)中引入注意力機(jī)制對(duì)各時(shí)步下LSTM 單元輸出進(jìn)行加權(quán)，以此作為最終行為推測(cè)的依據(jù)，從而增強(qiáng)各時(shí)步下特征的有效性和避免網(wǎng)絡(luò)特征信息損失。

本文中主要貢獻(xiàn):(1)將車輛行為識(shí)別問(wèn)題轉(zhuǎn)化為深度學(xué)習(xí)中的序列學(xué)習(xí)與分類問(wèn)題，利用交通場(chǎng)景的低級(jí)時(shí)序信息表征周邊目標(biāo)車輛行為的高級(jí)語(yǔ)義信息；(2)在無(wú)人駕駛周邊車輛行為算法中考慮了目標(biāo)車輛的鄰域交通信息，實(shí)現(xiàn)交通主體之間的相互關(guān)聯(lián)，并將目標(biāo)車輛的社交特征輸入到卷積神經(jīng)網(wǎng)絡(luò)提取出有效信息；(3)搭建了以LSTM 網(wǎng)絡(luò)為主體的識(shí)別算法模型，引入注意力機(jī)制，提高算法的識(shí)別精度；(4)將實(shí)車采集和HighD Dataset 的車輛自然軌跡數(shù)據(jù)進(jìn)行預(yù)處理生成訓(xùn)練和測(cè)試樣本集，對(duì)所提出的無(wú)人駕駛周邊車輛識(shí)別算法進(jìn)行驗(yàn)證。

1 模型理論基礎(chǔ)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型采用局部連接和權(quán)重共享的方式，對(duì)原始數(shù)據(jù)進(jìn)行更高層次和更抽象的處理，能夠有效自動(dòng)提取數(shù)據(jù)中的內(nèi)部特征。 其內(nèi)部神經(jīng)網(wǎng)絡(luò)層主要由卷積層、池化層和全連接層等組成，CNN 結(jié)構(gòu)如圖1 所示。 此結(jié)構(gòu)減少了權(quán)重的數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度。 模型通過(guò)使用卷積層和池化層獲取有效信息，自動(dòng)提取數(shù)據(jù)中的特征向量，有效降低了特征提取和數(shù)據(jù)重構(gòu)的復(fù)雜度，提高了數(shù)據(jù)特征質(zhì)量，針對(duì)鄰域車輛信息帶來(lái)的數(shù)據(jù)維度擴(kuò)展，CNN 可為提取出目標(biāo)車輛社交特征中較為重要的特征和保證算法實(shí)時(shí)性打下基礎(chǔ)。

1.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

圖1 CNN 結(jié)構(gòu)圖

LSTM 的經(jīng)典結(jié)構(gòu)是由 Hochreiter 和 Schmidhuber 于 1997 年提出，每個(gè) LSTM 由 1 個(gè)單元和 3 個(gè)門(mén)組成，包括記憶單元、輸入門(mén)、遺忘門(mén)和輸出門(mén)，LSTM 單元結(jié)構(gòu)如圖2 所示。

圖2 LSTM 單元結(jié)構(gòu)

圖中t為時(shí)間步長(zhǎng)(t∈[1，n]，n為時(shí)間步長(zhǎng)的總數(shù))，t時(shí)刻下記憶單元ct通過(guò)自我重復(fù)連接記憶前一時(shí)步的單元狀態(tài)，it輸入門(mén)控制輸入、激活流入內(nèi)部單元狀態(tài)，輸出門(mén)ot控制輸出、激活流入LSTM 單元輸出，遺忘門(mén)ft縮放記憶單元狀態(tài)，使LSTM 能夠自適應(yīng)地忘記或重置記憶單元的存儲(chǔ)值。 因此，LSTM 自然能夠?qū)W習(xí)輸入序列的長(zhǎng)期和短期依賴性，使LSTM 適用于解決高度動(dòng)態(tài)的周車行為識(shí)別任務(wù)。 設(shè)LSTM 網(wǎng)絡(luò)的輸入量為

變量之間的關(guān)系可描述為

式中:gt為t時(shí)刻輸入到記憶單元前的備選狀態(tài)；Wxi、Wxf、Wci、Wcf、Wxc、Whc、Wxo、Who、Wco為網(wǎng)絡(luò)各部分之間的連接權(quán)值矩陣；bi、bf、bc、bo為偏置量；ht-1為t-1 時(shí)刻的隱藏層狀態(tài)；σ為 sigmoid 函數(shù)；tanh為雙曲正切激活函數(shù)。

1.3 注意力機(jī)制

注意力機(jī)制(Attention)是一種模擬人腦注意力的模型，借鑒了人腦在某個(gè)特定時(shí)刻對(duì)事物的注意力會(huì)集中到特定的地方，而減少甚至是忽略對(duì)其他部分的注意力。 針對(duì)序列分析問(wèn)題時(shí)，Attention 通過(guò)對(duì)序列特征賦予不同的權(quán)重，通過(guò)概率分配的方式讓模型在訓(xùn)練過(guò)程中知道數(shù)據(jù)中哪一部分信息是重要的，從而使模型高度關(guān)注這些信息，提高模型的準(zhǔn)確率，而且不會(huì)增加計(jì)算和存儲(chǔ)成本。 因此將Attention 機(jī)制引入LSTM 模型中，有效突出影響周邊車輛行為的因素，從而改善識(shí)別效果，Attention 結(jié)構(gòu)如圖3 所示。 圖中，xt(t∈[1，n]) 表示 LSTM 網(wǎng)絡(luò)的輸入，ht(t∈[1，n]) 對(duì)應(yīng)于每一個(gè)輸入通過(guò) LSTM 得到的隱藏層輸出，αt(t∈[1，n]) 為 Attention 機(jī)制對(duì)LSTM 隱藏層輸出的注意力概率分布值，y為引入Attention 機(jī)制的LSTM 網(wǎng)絡(luò)輸出。

圖3 Attention 機(jī)制結(jié)構(gòu)

2 周邊車輛行為識(shí)別算法

2.1 車輛社交特征

無(wú)論是自動(dòng)駕駛系統(tǒng)還是人類駕駛員，車輛行為的生成機(jī)制都是從意圖需求和預(yù)期收益開(kāi)始，這就會(huì)受到周圍其他車輛的交互影響。 顯然，需要額外的信息來(lái)減少未來(lái)的不確定性。 針對(duì)識(shí)別問(wèn)題，為了讓模型更好地理解這種交互作用，最終得出的行為識(shí)別概率分布將取決于目標(biāo)車輛的軌跡歷史和周圍車輛在每一時(shí)刻的行駛軌跡。 因此，算法的特征數(shù)據(jù)包括被識(shí)別車輛本身及其環(huán)境的信息，車輛社交特征集合可表示為

對(duì)于目前的智能車而言，能夠獲得周圍交通車信息的方式有兩種:車載傳感器和車聯(lián)網(wǎng)。 車聯(lián)網(wǎng)技術(shù)可以為行為識(shí)別帶來(lái)非常有價(jià)值的先驗(yàn)信息，比如把駕駛員意圖或駕駛系統(tǒng)決策結(jié)果甚至是未來(lái)的行駛軌跡直接發(fā)送給其他車輛。 目前交通環(huán)境下絕大多數(shù)汽車還未配備車聯(lián)網(wǎng)技術(shù)，考慮到數(shù)據(jù)傳輸?shù)聂敯粜院桶踩?，現(xiàn)今區(qū)域內(nèi)車車通信網(wǎng)絡(luò)還需進(jìn)一步完善才能對(duì)交通產(chǎn)生有利的促進(jìn)作用。 考慮周圍車輛的特征信息，是主車在沒(méi)有車聯(lián)網(wǎng)提供先驗(yàn)信息的條件下，能夠僅僅依賴車載傳感器獲取到的，由此識(shí)別算法所使用能夠表征車輛行為的目標(biāo)車輛社交特征，如圖4 所示，位于中心位置的車輛為目標(biāo)車輛，其余為該車的鄰域車輛。

圖4 表征目標(biāo)車輛行為的社交特征

定義目標(biāo)車輛的狀態(tài)信息:

式中:dleft和dright分別為目標(biāo)車輛與左右車道線的橫向距離；η為目標(biāo)車輛的航向角；vx為目標(biāo)車輛的橫向速度。

將被識(shí)別車輛的周圍8 輛車作為其交互影響對(duì)象，研究時(shí)所關(guān)注的車輛集合定義為

式中:ΓF，ΓR，ΓLF，ΓLA，ΓLR，ΓRF，ΓRA，ΓRR分別為被識(shí)別車輛前方、后方、左前、左鄰、左后、右前、右鄰、右后方的車輛。

對(duì)每輛目標(biāo)鄰域車輛的位置與速度信息，定義

式中: Δxi為i位置車輛與目標(biāo)車輛的橫向相對(duì)距離；Δyi為i位置車輛與目標(biāo)車輛的縱向相對(duì)距離；Δvi為i位置車輛與目標(biāo)車輛相對(duì)縱向速度。

對(duì)于車道信息，定義

式中:Mleft為左車道標(biāo)志位，當(dāng)目標(biāo)車輛左側(cè)有車道存在時(shí)置為1，否則為0；Mright為右車道標(biāo)志位，當(dāng)目標(biāo)車輛右側(cè)有車道存在時(shí)置為1，否則為0。

車輛的行為都是對(duì)一段連續(xù)的駕駛過(guò)程而言的，單一時(shí)刻的觀測(cè)量無(wú)法對(duì)車輛行為進(jìn)行判斷，所以，采用動(dòng)態(tài)滑動(dòng)時(shí)窗的方法來(lái)獲取車輛的歷史軌跡特征作為算法的輸入量，在每個(gè)時(shí)刻t下，以Δtc為時(shí)間間隔采樣軌跡上的多個(gè)特征點(diǎn)組成。

2.2 識(shí)別模型結(jié)構(gòu)

現(xiàn)實(shí)交通場(chǎng)景中各車輛的行為具有多樣性和不確定性，直接輸出周圍目標(biāo)車輛行為的標(biāo)簽往往是不能夠被決策模塊有效使用，甚至?xí)`導(dǎo)造成錯(cuò)誤的規(guī)劃，因此為了給智能車輛提供完備信息，通過(guò)識(shí)別模型推測(cè)計(jì)算出車輛不同典型行為的概率。 與許多相關(guān)研究類似，需要重點(diǎn)關(guān)注于車輛在側(cè)向上的行為，因?yàn)槠湎鄬?duì)于縱向行為，它更難以直接觀測(cè)到。S＝(s1，s2，s3)為周邊目標(biāo)行為識(shí)別的類別向量，s1、s2和s3分別對(duì)應(yīng)左換道(LCL)、保持車道(LK)和右換道(LCR)3 種典型行為；Y＝ (w1，w2，w3)為模型的輸出向量，wi分別代表各個(gè)行為類別的概率值，則目標(biāo)車輛行為的概率計(jì)算可表達(dá)為wi＝P(si｜I)，i＝1，2，3，I為算法的原始特征輸入量。 所提出的無(wú)人駕駛周邊車輛行為識(shí)別算法框架如圖5所示，主要由特征提取層、LSTM 網(wǎng)絡(luò)層、Attention 層和輸出層組成。 目標(biāo)車輛的社交特征作為輸入，通過(guò)動(dòng)態(tài)滑動(dòng)時(shí)窗的方法提取，設(shè)計(jì)卷積操作、池化處理使目標(biāo)車輛社交特征信息深度增加與特征降維，與目標(biāo)車輛自身信息、車道信息共同組成后續(xù)層的輸入量。 LSTM 層與Attention 層從所提特征中學(xué)習(xí)車輛行為的變化規(guī)律以實(shí)現(xiàn)識(shí)別功能，最后通過(guò)輸出層得到識(shí)別結(jié)果。

算法模型的描述如下。

圖5 所提出的周邊車輛行為識(shí)別算法SLSTMAT 框架

(1)特征提取層。 算法輸入為周邊目標(biāo)車輛可觀測(cè)的歷史狀態(tài)信息組成的原始社交特征I＝[O1，…，OT-1，OT]，T表示動(dòng)態(tài)滑動(dòng)時(shí)窗的大小。 根據(jù)目標(biāo)車輛社交特征的特點(diǎn)，構(gòu)建由2 個(gè)卷積層、1 個(gè)池化層、1 個(gè)Flatten 層組成的 CNN 框架，將卷積層設(shè)計(jì)為一維卷積(Conv1D)，并選取ReLU 激活函數(shù)進(jìn)行激活，卷積層1 和卷積層2 卷積核大小皆為3，個(gè)數(shù)為64。

式中:C1、C2分別為卷積層 1、卷積層 2 的輸出；W1、W2為權(quán)重矩陣；b1、b2為偏置；?為卷積操作。

為保留更多數(shù)據(jù)波動(dòng)信息，池化層選取一維最大池化(MaxPooling1D):

式中:P3為池化層輸出；函數(shù)max 表示池化操作；b3為偏置量。

經(jīng)過(guò)卷積層和池化層的處理后原始數(shù)據(jù)被映射到隱層特征空間，搭建Flatten 層將池化后提取得到特征向量。 特征輸出層的輸出長(zhǎng)度為l，可表示為HC ＝[hc1，hc2，…，hcl]。

(2)LSTM 層。 傳統(tǒng)LSTM 網(wǎng)絡(luò)是從左到右的單向傳遞，只能獲得上文的信息，而不能將下文的信息傳遞給上層，然而車輛行為當(dāng)前時(shí)刻的輸入不僅依賴之前的軌跡幀，還依賴于之后的軌跡幀。 因此，采用的是Bi-LSTM 雙向網(wǎng)絡(luò)，單向LSTM 網(wǎng)絡(luò)單元數(shù)為128，兩個(gè)單元相互結(jié)合充分考慮了軌跡幀前后的時(shí)序信息，為正向隱含層輸出，為反向隱含層輸出，則網(wǎng)絡(luò)的輸出層單時(shí)刻元素使得模型可以同時(shí)學(xué)習(xí)車輛過(guò)去和將來(lái)的狀態(tài)數(shù)據(jù)。

(3) Attention 層。 Attention 層的輸入信息為L(zhǎng)STM 層中Bi-LSTM 雙向網(wǎng)絡(luò)的輸出矩陣H＝[h1，h2，…，hl]。 其中hi為每個(gè)時(shí)刻 Bi-LSTM 網(wǎng)絡(luò)隱含節(jié)點(diǎn)的輸出，i∈{1，2，…，l}。hi占車輛行為的注意力比重使用得分函數(shù)Score表示，分值越大，hi對(duì)車輛行為表征的貢獻(xiàn)權(quán)重就越大。

式中:w、W、U為權(quán)重矩陣；b為偏置量；tanh 為非線性激活函數(shù)；可視為車輛狀態(tài)信息高一級(jí)的行為表示向量，在訓(xùn)練過(guò)程中首先對(duì)h進(jìn)行隨機(jī)初始化，并作為一個(gè)參數(shù)逐步更新。

接著對(duì)每個(gè)時(shí)步的得分Score進(jìn)行歸一化計(jì)算，獲得各個(gè)輸入分配的注意力概率分布矩陣A＝[α1，α2，…，αl]，其中:

Attention 層在第t時(shí)刻的輸出為

(4)輸出層。 為獲取各車輛行為的概率，使算法輸出在0～1 之間，最終輸出層為Softmax函數(shù)，車輛行為識(shí)別概率向量公式為

式中:Wv為連接權(quán)重；bv為偏置量。

取概率最大值為車輛行為識(shí)別結(jié)果:

3 試驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文中所使用的車輛軌跡數(shù)據(jù)一部分源于德國(guó)亞琛工業(yè)大學(xué)汽車工程研究所的開(kāi)源數(shù)據(jù)集HighD[18]。 該機(jī)構(gòu)采用無(wú)人機(jī)圖像，以鳥(niǎo)瞰視角從德國(guó)高速公路上約420 m 距離的路程提取車輛的特征信息，圖6 所示為所采集路段的鳥(niǎo)瞰視角。 公開(kāi)的數(shù)據(jù)集包括6 個(gè)地點(diǎn)、16.5 h、11 萬(wàn)輛車輛的可用數(shù)據(jù)，總行駛距離為45 000 km，還包括了5 600條完整的變道記錄，可滿足交通場(chǎng)景的驗(yàn)證要求。 與大多數(shù)研究采用駕駛模擬器采集的數(shù)據(jù)相比，用于模型驗(yàn)證的真實(shí)數(shù)據(jù)使模型更健壯和實(shí)用。 與較為經(jīng)典的 NIGSIM 軌跡數(shù)據(jù)集相比，HighD 數(shù)據(jù)集能有效解決假性重疊碰撞的問(wèn)題，并提供了更為完整的車輛狀態(tài)信息，尤其是車輛的換道次數(shù)、前車碰撞預(yù)警時(shí)間以及其周圍車輛的ID等信息，這為本文中研究的車輛交互識(shí)別提供了豐富的研究素材，在數(shù)據(jù)的預(yù)處理方面也減免了大量的工作。

圖6 HighD 數(shù)據(jù)采集路段的鳥(niǎo)瞰視角

盡管HighD 數(shù)據(jù)集采集路段與我國(guó)公路結(jié)構(gòu)相似，多為雙向雙車道或三車道，但為了避免模型對(duì)HighD 數(shù)據(jù)集發(fā)生過(guò)擬合以及增強(qiáng)訓(xùn)練模型的泛化性能，用于訓(xùn)練和驗(yàn)證的車輛軌跡原始數(shù)據(jù)集另一部分來(lái)源于由真實(shí)路況下無(wú)人駕駛試驗(yàn)平臺(tái)采集的車輛軌跡數(shù)據(jù)，采集路段主要位于江蘇省鎮(zhèn)江市京江路附近。 如圖7 所示，所使用的無(wú)人駕駛試驗(yàn)平臺(tái)以奇瑞艾瑞澤5E 電動(dòng)汽車為主體，配備有GPS組合慣導(dǎo) JY901B、速騰 RS-LiDAR-32/16*2 多線激光雷達(dá)、高性能工控機(jī)、Delphi-ESR 前后置毫米波雷達(dá)、Minieye 高清攝像機(jī)等車載設(shè)備。

圖7 基于奇瑞艾瑞澤5E 的無(wú)人駕駛試驗(yàn)平臺(tái)

無(wú)人駕駛試驗(yàn)平臺(tái)充分結(jié)合GPS 和慣性導(dǎo)航技術(shù)，并通過(guò)RTK 技術(shù)進(jìn)行差分解算，能夠減少建筑物、樹(shù)木的遮擋影響，提供主車準(zhǔn)確的位置、速度信息以及姿態(tài)解算結(jié)果。 平臺(tái)主要通過(guò)速騰激光雷達(dá)獲得周邊車輛的位置、速度信息，該雷達(dá)基于ROS 系統(tǒng)實(shí)時(shí)錄取車輛自身及感知數(shù)據(jù)。 創(chuàng)建trajectory＿ node 節(jié)點(diǎn)，該節(jié)點(diǎn)實(shí)時(shí)訂閱速騰雷達(dá)感知模塊Perception SDK 發(fā)出的含有周邊車輛位置中心和速度、航向角的話題/box＿info 和/track＿info，完成錄制后將數(shù)據(jù)包中的數(shù)據(jù)由主車的局部坐標(biāo)系轉(zhuǎn)換為道路的全局坐標(biāo)系。 本文中使用的是一個(gè)類似于笛卡爾坐標(biāo)系的道路聯(lián)合坐標(biāo)系，縱向y軸指向高速公路的運(yùn)動(dòng)方向，橫向x軸是垂直于它的方向，使得算法也能適用在彎曲道路上。 針對(duì)目標(biāo)車輛的道路信息，則通過(guò)車輛橫向位置與車道個(gè)數(shù)、車道線的位置去判斷。

3.2 數(shù)據(jù)預(yù)處理

車輛軌跡數(shù)據(jù)是通過(guò)無(wú)人機(jī)高清攝像頭或車載傳感器采集后直接獲取或間接處理得到的，系統(tǒng)誤差及測(cè)量誤差的存在使交通參量序列值噪聲較大，尤其是速度信號(hào)抖動(dòng)明顯，因此預(yù)先采用了Savizkg-Golag 濾波算法對(duì)車輛的坐標(biāo)、速度進(jìn)行降噪預(yù)處理。 針對(duì)本文中主要研究無(wú)人駕駛周邊目標(biāo)車輛的橫向行為，需要在數(shù)據(jù)集中提取不同車輛行為的軌跡序列并做相應(yīng)的標(biāo)注。 如圖8 所示，該目標(biāo)車輛將要執(zhí)行左換道行為，車輛軌跡和車道線的交點(diǎn)表示為換道點(diǎn)。 計(jì)算車輛每個(gè)時(shí)刻相對(duì)車道線的航向角:

計(jì)算判定行為的航向角ηo時(shí)，使用的是間隔一個(gè)時(shí)刻的目標(biāo)車輛位置，來(lái)增強(qiáng)不同行為類別ηo的區(qū)分度，以防止目標(biāo)車輛在做車道保持行為時(shí)被誤標(biāo)簽為換道行為。 目標(biāo)車輛每次剛開(kāi)始執(zhí)行換道行為的時(shí)刻表示為換道起始點(diǎn)，剛執(zhí)行完換道行為的時(shí)刻表示為換道終止點(diǎn)。 為減少噪聲誤差造成的誤判，從換道點(diǎn)向前遍歷，若連續(xù)3 個(gè)點(diǎn)為換道起始航向角閾值)，則第1 個(gè)點(diǎn)認(rèn)定為換道起始點(diǎn)；同理從換道點(diǎn)向后遍歷，若連續(xù)3 個(gè)點(diǎn)ηe(ηe為換道終止航向角閾值)，則第1 個(gè)點(diǎn)認(rèn)定為換道終止點(diǎn)；換道起始與終止點(diǎn)(包括這兩個(gè)點(diǎn))定義為換道過(guò)程點(diǎn)。 根據(jù)試驗(yàn)效果，選取滑動(dòng)時(shí)窗即序列長(zhǎng)度T為20。 若軌跡序列的最后一個(gè)節(jié)點(diǎn)為換道過(guò)程點(diǎn)時(shí)，根據(jù)軌跡序列起始點(diǎn)車輛的橫向位置分別判斷為左換道序列和右換道序列；若軌跡序列的最后一個(gè)節(jié)點(diǎn)不為換道過(guò)程點(diǎn)，則定義為車道保持序列。

由于直線行駛工況遠(yuǎn)多于換道工況，所以提取車輛的車道保持序列數(shù)目顯然是遠(yuǎn)遠(yuǎn)大于換道序列的，為防止訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合，每個(gè)行為序列集中選取的序列數(shù)量相同，最終從760 個(gè)目標(biāo)車輛中提取出90 000 個(gè)樣本序列(每個(gè)行為類別的序列樣本分別為3 000 個(gè))，按8∶2 的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、測(cè)試集。

3.3 試驗(yàn)細(xì)節(jié)

參考車輛軌跡預(yù)測(cè)相關(guān)的文獻(xiàn)[22]，為消減各原始數(shù)據(jù)數(shù)值跨度和單位不同帶來(lái)的影響，采用min-max 歸一化法將原始數(shù)據(jù)轉(zhuǎn)化在(0， 1)之間，計(jì)算公式為

式中:x為原始數(shù)據(jù)；為歸一化后的數(shù)據(jù)；xmax、xmin為樣本數(shù)據(jù)的最大值和最小值。

為便于模型網(wǎng)絡(luò)的訓(xùn)練，還需要對(duì)樣本集的車輛行為標(biāo)簽采用“one-hot”熱向量編碼。 為體現(xiàn)本文中所提算法在無(wú)人駕駛周邊車輛行為識(shí)別的性能效果，采用了兩種現(xiàn)有算法和兩種不完備模型對(duì)算法進(jìn)行對(duì)比分析，具體如下:

(1)SVM，支持向量機(jī)算法，需要將具有時(shí)序特征轉(zhuǎn)化為多維向量進(jìn)行分類；

(2)HMM，隱馬爾可夫算法，是車輛行為識(shí)別效果較穩(wěn)定的傳統(tǒng)模型代表之一；

(3)SLSTM，相比SLSTMAT 算法，模型輸入量未引入注意力機(jī)制，而是直接將LSTM 網(wǎng)絡(luò)最后一個(gè)時(shí)步隱含層向量ht輸入到Softmax 層；

(4)LSTMAT，相比 SLSTMAT 算法，模型輸入量未考慮目標(biāo)車輛的周圍車輛信息以及道路信息。

模型在識(shí)別模型的訓(xùn)練過(guò)程中，選取Adam (adaptive moment estimation)優(yōu)化算法對(duì)模型參數(shù)進(jìn)行優(yōu)化。 Adam 是一種可以替代傳統(tǒng)隨機(jī)梯度下降過(guò)程的1 階優(yōu)化算法，該算法能夠基于訓(xùn)練數(shù)據(jù)以實(shí)現(xiàn)誤差反向傳播，迭代更新神經(jīng)網(wǎng)絡(luò)的權(quán)重，使損失函數(shù)輸出值逐步收斂達(dá)到最優(yōu)。 為使目標(biāo)函數(shù)收斂得更加平穩(wěn)，同時(shí)也為提高算法效率，每次只取小批量樣本進(jìn)行訓(xùn)練。 損失函數(shù)為多類交叉熵?fù)p失函數(shù)，損失函數(shù)為

式中:為某一樣本序列對(duì)應(yīng)車輛行為類別的實(shí)際概率；wi為某一樣本序列對(duì)應(yīng)車輛行為類別的識(shí)別概率；S為每批次樣本容量batch＿size大小，試驗(yàn)中選取為100。

識(shí)別算法基于Python3 語(yǔ)言編寫(xiě)，基于Keras 框架加以實(shí)現(xiàn)。 試驗(yàn)平臺(tái)硬件配置主要參數(shù)Intel Core i5-8600K 3.60 GHz，GTX 1080 和 DDR3 16 GB 內(nèi)存，操作系統(tǒng)為Ubuntu Linux 16.04。

3.4 車輛行為識(shí)別試驗(yàn)

對(duì)于標(biāo)簽識(shí)別任務(wù)，定量分析常常以總體準(zhǔn)確度(Accuracy)、精確率(Precision)、召回率(Recall)、F1-score 作為評(píng)價(jià)指標(biāo)。 總體準(zhǔn)確度為識(shí)別正確的樣本個(gè)數(shù)占總樣本個(gè)數(shù)的比例，精確率為識(shí)別正確的正樣本個(gè)數(shù)占車輛行為識(shí)別判定為正樣本的樣本個(gè)數(shù)的比例，召回率為識(shí)別正確的正樣本個(gè)數(shù)占真正的正樣本個(gè)數(shù)的比例，F(xiàn)1-score 為精確率與召回率的調(diào)和平均值。 車輛行為測(cè)試集的結(jié)果如表1 所示。

表1 測(cè)試集定量分析性能結(jié)果

將所提出的SLSTMAT 模型與其他算法的結(jié)果進(jìn)行比較，表1 顯示了所提算法相較于其他算法在準(zhǔn)確率方面有著顯著的優(yōu)勢(shì)，總體準(zhǔn)確度達(dá)到了94.01%。 引入注意力機(jī)制和目標(biāo)車輛的交互信息，能夠有效提高各類別車輛行為識(shí)別的精確率、召回率以及F1-score，尤其是對(duì)車道保持行為識(shí)別的提升較為明顯，相對(duì)于 SVM 算法，F(xiàn)1-score 精度提升了14.88%。 這是因?yàn)樵谡鎸?shí)路況中即使是車道保持行為，目標(biāo)車輛也會(huì)不可避免在車道中心線兩側(cè)發(fā)生之字形左右晃動(dòng)，這種晃動(dòng)容易使車輛行為識(shí)別系統(tǒng)將車輛保持行為誤判為換道行為。 此外，SLSTMAT 算法通過(guò)引入注意力機(jī)制，持續(xù)關(guān)注整個(gè)換道行為樣本序列全時(shí)刻的特征變化，促使目標(biāo)車輛換道初期換道特征不顯著的樣本序列能夠被識(shí)別出來(lái)，減少了換道行為被誤認(rèn)定為車道行為的樣本數(shù)量，從而對(duì)于左右換道兩種行為識(shí)別提升的召回率顯著大于車道保持行為。 綜上，所提SLSTMAT 算法引入的注意力機(jī)制能抓住更加穩(wěn)健的時(shí)間信息，可以有效降低行為結(jié)果的誤判。

3.5 車輛行為預(yù)判試驗(yàn)

對(duì)周邊目標(biāo)車輛橫向行為的識(shí)別，最重要的是能夠正確地感知到目標(biāo)車輛的換道趨勢(shì)。 作為自動(dòng)駕駛系統(tǒng)視覺(jué)模塊的后端與決策系統(tǒng)的前端，周車行為識(shí)別算法應(yīng)該盡早地識(shí)別出目標(biāo)車輛的行為態(tài)勢(shì)。這是因?yàn)榫窒抻谲囕d傳感器與運(yùn)動(dòng)控制器，只有在一定范圍內(nèi)預(yù)判出周邊目標(biāo)車輛的行為態(tài)勢(shì)才具有實(shí)際意義。 定義車輛從當(dāng)前位置到行駛至換道點(diǎn)所需時(shí)間為預(yù)判時(shí)間，從測(cè)試集的單次換道車輛中挑選不同預(yù)判時(shí)間下的序列作為輸入。 圖9 所示為預(yù)判時(shí)間范圍在區(qū)間-3 s-0 內(nèi)各類算法的識(shí)別效果。

圖9 不同預(yù)判時(shí)間的識(shí)別效果

由圖9 可知:LSTM 系列網(wǎng)絡(luò)較HMM 與SVM 方法在識(shí)別預(yù)判性能上有著顯著的優(yōu)勢(shì)；SLSTMAT 算法相比起其他模型，能夠在目標(biāo)車輛換道前2.5 s 范圍內(nèi)提供較好的識(shí)別精度，在目標(biāo)車輛在換道前2 s， 就能較為準(zhǔn)確地識(shí)別出換道行為，準(zhǔn)確度可達(dá)到80%；在車輛行駛至換道點(diǎn)前1 s 內(nèi)識(shí)別精度在90%以上。 究其原因，算法能夠“設(shè)身處地”站在被識(shí)別車輛的角度“觀察”路況，在抓住交通環(huán)境的重要信息，并對(duì)目標(biāo)車輛的未來(lái)行為做出合理的預(yù)判。結(jié)構(gòu)化道路下車輛的平均換道時(shí)間在5 s 左右，假設(shè)換道點(diǎn)前和換道點(diǎn)后各占一半，基于SLSTMAT 的周車行為識(shí)別算法能在目標(biāo)車輛開(kāi)始執(zhí)行換道動(dòng)作之前就能做出合理推斷。

4 結(jié)論

本文中提出了一種基于SLSTMAT 模型的周邊車輛行為識(shí)別方法，能考慮LSTM 單元每個(gè)時(shí)步的注意力貢獻(xiàn)權(quán)重來(lái)提高算法的特征表達(dá)能力，并通過(guò)CNN 網(wǎng)絡(luò)融合目標(biāo)車輛歷史信息以及與周圍車輛之間的信息進(jìn)而對(duì)車輛行為進(jìn)行交互建模。 該模型顯示在實(shí)車采集和開(kāi)源車輛軌跡數(shù)據(jù)集上能實(shí)現(xiàn)較高的識(shí)別準(zhǔn)確度，算法可行性和實(shí)用性強(qiáng)。 此外，算法的定性分析顯示了引入注意力機(jī)制、并對(duì)鄰域車輛、道路信息進(jìn)行交互建模以識(shí)別給定車輛的未來(lái)運(yùn)動(dòng)，能夠顯著提高換道前2.5 s 范圍內(nèi)的識(shí)別準(zhǔn)確度，在車輛行駛至換道點(diǎn)前1 s 內(nèi)識(shí)別精度達(dá)到90%以上，能提高后續(xù)決策系統(tǒng)的實(shí)時(shí)性，對(duì)于智能汽車技術(shù)的產(chǎn)業(yè)化應(yīng)用具有重要的推動(dòng)作用。 今后的研究工作將主要針對(duì)兩個(gè)方面:第一是嘗試分析目標(biāo)車輛在典型交通場(chǎng)景下的高級(jí)語(yǔ)義行為，第二是考慮如何在保證識(shí)別精度的同時(shí)兼顧識(shí)別算法的計(jì)算成本。