基于圖模型和注意力機(jī)制的車輛軌跡預(yù)測(cè)方法

連靜, 丁榮琪, 李琳輝, 王雪成, 周雅夫

(1.大連理工大學(xué) 工業(yè)裝備結(jié)構(gòu)分析國(guó)家重點(diǎn)實(shí)驗(yàn)室, 遼寧 大連 116024; 2.大連理工大學(xué) 汽車工程學(xué)院, 遼寧 大連 116024)

0 引言

由于交通環(huán)境中的復(fù)雜交互行為,導(dǎo)致車輛未來軌跡具有高動(dòng)態(tài)性、隨機(jī)性的特點(diǎn),使得軌跡預(yù)測(cè)問題充滿挑戰(zhàn)。軌跡預(yù)測(cè)作為自動(dòng)駕駛系統(tǒng)中承上啟下的重要環(huán)節(jié),對(duì)車輛合理決策、安全行駛具有重要意義。因此,車輛軌跡預(yù)測(cè)方法研究成為自動(dòng)駕駛領(lǐng)域探索的一個(gè)重要方向[1]。預(yù)測(cè)方法通常由場(chǎng)景建模、特征提取融合和軌跡估計(jì)三部分組成,其中場(chǎng)景建模和特征提取融合對(duì)于提高預(yù)測(cè)軌跡精度具有重要作用[2]。

場(chǎng)景建模方法可以分為兩類:一類將地圖語(yǔ)義信息渲染成柵格化地圖,如CoverNet[3]和MultiPath[4]等方法,將道路元素和車輛觀測(cè)軌跡分別渲染成不同顏色和形狀的掩膜,使圖片同時(shí)包含環(huán)境信息和車輛交互信息。這類方法極大地降低了場(chǎng)景建模的復(fù)雜度,但存在柵格化過程中部分有效信息丟失和柵格圖感受野有限等問題[5]。另一類是基于圖論的場(chǎng)景建模方法,例如LaneRCNN[6]和LaneGCN[7]等方法,將有向無(wú)環(huán)圖用于表示高精度地圖中的車道連接關(guān)系[8],增強(qiáng)網(wǎng)絡(luò)對(duì)復(fù)雜拓?fù)涮卣鞯奶崛∧芰?。此?Trajectron++[9]還將圖模型拓展到車輛交互,實(shí)現(xiàn)了動(dòng)態(tài)場(chǎng)景的圖模型表示。這類方法能實(shí)現(xiàn)部分場(chǎng)景的準(zhǔn)確建模,可有效擴(kuò)展地圖感受野,實(shí)現(xiàn)對(duì)數(shù)據(jù)長(zhǎng)距離依賴關(guān)系的高效提取。但上述方法均是從單一角度對(duì)場(chǎng)景建模,未同時(shí)涵蓋動(dòng)態(tài)和靜態(tài)特征。為實(shí)現(xiàn)交通場(chǎng)景的完整描述,本文方法分別利用車道圖和車交互圖對(duì)交通場(chǎng)景建模,從數(shù)據(jù)角度確保場(chǎng)景特征的完整。

對(duì)應(yīng)于上述兩種場(chǎng)景建模方法,代表性特征提取融合方法分別是圖像卷積和注意力機(jī)制。對(duì)于圖像卷積,常被用來隱式提取車道拓?fù)浣Y(jié)構(gòu)和車輛間交互。柵格化建模方法MultiPath[4]和HOME[10]利用卷積神經(jīng)網(wǎng)絡(luò)完成車輛-環(huán)境特征交互融合。這種方式可以顯著減少參數(shù)量和計(jì)算量,且由于其參數(shù)共享的特性,對(duì)特征有一定的記憶性[11],但作為一種隱式的特征提取方法,缺乏可解釋性。對(duì)于注意力機(jī)制[12],則被用來顯式完成中間特征的交互融合。Mercat等[13]將多頭注意力中的多頭用來表示場(chǎng)景中多種可能的交互方式;曾偉良等[14]將時(shí)空?qǐng)D注意力應(yīng)用于交叉路口的車輛軌跡預(yù)測(cè)。但這些方法僅使用了一種注意力機(jī)制,為充分發(fā)揮其優(yōu)勢(shì),本文除利用多頭交叉注意力[13]模擬環(huán)境-車輛特征的多種交互可能外,還在車輛交互提取階段利用自注意力機(jī)制,根據(jù)信息重要程度為特征分配不同注意力權(quán)重,以有效克服循環(huán)神經(jīng)網(wǎng)絡(luò)的部分缺點(diǎn),提高特征質(zhì)量,增加模型可解釋性。

基于以上分析,本文從場(chǎng)景建模和特征融合兩個(gè)角度入手,提出一種基于圖模型和注意力機(jī)制的多模態(tài)軌跡預(yù)測(cè)方法。與現(xiàn)有工作相比,本文的主要貢獻(xiàn)包括:1)采用基于圖模型的場(chǎng)景建模方法,同時(shí)對(duì)交通場(chǎng)景靜態(tài)環(huán)境和動(dòng)態(tài)交互進(jìn)行建模,實(shí)現(xiàn)場(chǎng)景信息的完整表達(dá);2)采用多種注意力機(jī)制完成車輛交互特征的提取和交通場(chǎng)景中靜態(tài)信息與動(dòng)態(tài)信息的高效融合,增加模型的可解釋性。在Argoverse軌跡預(yù)測(cè)數(shù)據(jù)集上進(jìn)行測(cè)試,實(shí)驗(yàn)結(jié)果表明,相比于當(dāng)前主流方法,預(yù)測(cè)指標(biāo)有不同程度的提高。

1 預(yù)測(cè)模型構(gòu)建

1.1 軌跡預(yù)測(cè)問題描述

車輛軌跡預(yù)測(cè),即根據(jù)被預(yù)測(cè)車輛觀測(cè)信息和環(huán)境信息來估計(jì)未來一段時(shí)間內(nèi)的軌跡。輸入包括過去時(shí)間段L內(nèi),車輛的觀測(cè)軌跡Pobs={(xt-L,yt-L),…,(xt,yt)}和觀測(cè)狀態(tài)Sobs={(vt-L,at-L,ht-L),…,(vt,at,ht)},其中(x,y)表示俯視圖中車輛中心坐標(biāo),(v,a,h)分別表示車輛的速度、加速度和朝向角度,下標(biāo)表示車輛的觀測(cè)時(shí)刻。此外,地圖信息對(duì)實(shí)現(xiàn)精確的軌跡預(yù)測(cè)同樣重要[4-5]。道路的拓?fù)浣Y(jié)構(gòu)決定著車輛未來的可能行駛方向,車道的走向和紅綠燈信息影響著車輛的未來軌跡分布。因此,軌跡預(yù)測(cè)輸入還包括高精度地圖信息,其中包含由車道拓?fù)潢P(guān)系、中心線坐標(biāo)序列組成的幾何信息和由紅綠燈狀態(tài)、車道類型等組成的語(yǔ)義信息。

1.2 軌跡預(yù)測(cè)模型

圖1為本文預(yù)測(cè)模型,按照編碼-交互-解碼結(jié)構(gòu)設(shè)計(jì),分為三部分:特征提取、特征融合和軌跡生成。模型輸入包括包含地圖信息的車道圖和包含觀測(cè)軌跡及車輛間交互關(guān)系的車交互圖;通過車道圖卷積操作提取地圖特征,通對(duì)車交互圖節(jié)點(diǎn)進(jìn)行累加獲得聚合特征,并由聚合特征進(jìn)行自注意力加權(quán)獲取車輛交互信息;然后利用堆疊的注意力模塊,即車輛交互信息對(duì)地圖特征進(jìn)行注意力加權(quán)(車輛對(duì)車道注意力,Vehicle to Lane Attention,V2L),再由加權(quán)的地圖特征對(duì)車輛交互信息進(jìn)行注意力篩選(車道對(duì)車輛注意力,Lane to Vehicle Attention,L2V),得出融合地圖信息與交互信息的編碼特征;最終通過軌跡生成模塊實(shí)現(xiàn)對(duì)交互特征的解碼,生成預(yù)測(cè)軌跡及對(duì)應(yīng)置信度評(píng)分。

圖1 預(yù)測(cè)模型總體結(jié)構(gòu)

2 交通場(chǎng)景建模

2.1 車道圖構(gòu)建

所用地圖數(shù)據(jù)包含多組車道及對(duì)應(yīng)的連接關(guān)系。每條車道由多個(gè)分段對(duì)應(yīng)中心線組成,中心線是俯視圖車道中心的位置坐標(biāo)序列。對(duì)于車道連接關(guān)系,車輛不違反交通規(guī)則能夠直接到達(dá)的車道分段則視為相互連通。

類似于LaneGCN[7],采用車道圖來表示地圖數(shù)據(jù),如圖2左下圖所示,圓點(diǎn)表示圖節(jié)點(diǎn),箭頭代表車道分段的連接關(guān)系。組成一條車道的每個(gè)分段看作一個(gè)圖節(jié)點(diǎn)。對(duì)預(yù)測(cè)場(chǎng)景,首先獲得與預(yù)測(cè)車輛相關(guān)的車道,即以當(dāng)前時(shí)刻車輛位置為中心,沿車道方向劃定矩形邊界框,對(duì)框內(nèi)與被預(yù)測(cè)車輛當(dāng)前所處車道相互連通的車道進(jìn)行采集,以減少計(jì)算量,提高預(yù)測(cè)速度。綜合考慮預(yù)測(cè)時(shí)長(zhǎng)和軌跡長(zhǎng)度,邊界框長(zhǎng)寬均取100 m。

圖2 車道圖及車交互圖構(gòu)建示意圖

將采集到的車道轉(zhuǎn)換成有向圖G(v,{pre,suc,left,right}),其中v表示車道段,即圖中節(jié)點(diǎn);道路的拓?fù)浣Y(jié)構(gòu)通過不同邊的連接關(guān)系來表示,分別是前續(xù)(pre)、后繼(suc)、左鄰(left)和右鄰(right),車道節(jié)點(diǎn)間鄰接關(guān)系代表類型的邊。此后,將使用車道節(jié)點(diǎn)來替代車道段的說法。每個(gè)車道節(jié)點(diǎn)嵌入信息包含語(yǔ)義信息和幾何信息,語(yǔ)義信息由獨(dú)熱向量表示,代表該段車道是否為轉(zhuǎn)彎車道,當(dāng)前是否由紅燈控制;幾何信息包括該段車道的中心序列。

2.2 車交互圖構(gòu)建

將當(dāng)前的交通場(chǎng)景中車輛交互關(guān)系抽象成一個(gè)時(shí)空?qǐng)DG(V,E),其中,節(jié)點(diǎn)V表示不同車輛,圖邊E表示不同車輛之間的交互行為,如圖2右下圖所示,圓點(diǎn)表示車輛節(jié)點(diǎn),箭頭表示車輛之間的交互行為。判斷車輛之間是否會(huì)有交互行為,依據(jù)是當(dāng)前時(shí)刻兩車之間的歐式距離,若距離小于某一閾值d(本文取d=40 m),則認(rèn)為車輛之間會(huì)有交互行為產(chǎn)生,在圖中表現(xiàn)為邊連接。每個(gè)節(jié)點(diǎn)嵌入信息包含觀測(cè)軌跡信息Pobs和狀態(tài)信息Sobs。此處采用有向圖來對(duì)交通場(chǎng)景進(jìn)行建模,相比于無(wú)向圖[15-16],有向圖更能夠體現(xiàn)出交通場(chǎng)景中車輛之間不對(duì)稱的影響[9]。

3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

3.1 特征提取

對(duì)車道圖采用車道卷積操作[7]進(jìn)行地圖特征提取。當(dāng)車道圖給定時(shí),首先對(duì)節(jié)點(diǎn)信息進(jìn)行編碼?？紤]到節(jié)點(diǎn)的形狀特性(大小和方向)和位置特性(中心坐標(biāo)),通過下式進(jìn)行特征提取,得到表征該節(jié)點(diǎn)的特征向量為

(1)

(2)

式中:F0和Fr分別表示預(yù)測(cè)車輛當(dāng)前所處車道節(jié)點(diǎn)及其鄰接節(jié)點(diǎn)特征,r表示節(jié)點(diǎn)之間的鄰接關(guān)系;W0表示可訓(xùn)練的權(quán)重矩陣;A表示節(jié)點(diǎn)鄰接矩陣;c為超參數(shù),表示膨脹大小。當(dāng)r∈{pre,suc}時(shí)c∈{1,2,4,16,32},當(dāng)r∈{left,right}時(shí)取c=1;即膨脹卷積操作只對(duì)當(dāng)前節(jié)點(diǎn)的前續(xù)和后繼節(jié)點(diǎn),因?yàn)檐嚨赖拈L(zhǎng)距離依賴通常只是沿車道方向發(fā)生。

車道圖特征提取模塊基于上述車道圖卷積操作。由車道圖卷積層和線性連接層組成的殘差塊,經(jīng)過4次堆疊,輸出特征通道數(shù)為128的車道圖特征向量Fveh。

圖3 車輛交互特征融合結(jié)構(gòu)示意圖

(3)

按照節(jié)點(diǎn)間連接關(guān)系,將所有節(jié)點(diǎn)特征向量進(jìn)行逐元素的疊加求和,得到節(jié)點(diǎn)聚合特征Hn。特征聚合方式選擇疊加求和而不是拼接[5],是為了利用確定的網(wǎng)絡(luò)結(jié)構(gòu)來處理圖中節(jié)點(diǎn)數(shù)量隨場(chǎng)景不同而變化的問題,而且能夠保存節(jié)點(diǎn)數(shù)量信息[17-18]。由于自注意力機(jī)制能減少對(duì)外部信息的依賴,擅長(zhǎng)捕捉數(shù)據(jù)內(nèi)部相關(guān)性[19-20],將聚合特征由如下自注意力網(wǎng)絡(luò)進(jìn)行交互建模,得到表征車輛相互影響的特征。

(4)

3.2 特征融合

在軌跡預(yù)測(cè)任務(wù)中,輸入信息包含了時(shí)變的車輛狀態(tài)軌跡信息以及結(jié)構(gòu)復(fù)雜的地圖信息,此處采用堆疊的多頭注意力機(jī)制,使生成預(yù)測(cè)軌跡的特征向量能夠?qū)Ｗ⒂谧钪匾奶卣鱗21]。該模塊受人類駕駛習(xí)慣啟發(fā):當(dāng)車輛在道路中行駛時(shí),駕駛員首先關(guān)注的是道路的拓?fù)浣Y(jié)構(gòu),因?yàn)檫@決定著駕駛員可能的行駛方向,然后根據(jù)周圍交通環(huán)境,如與周圍車輛的交互,確定具體的路徑。

模塊中車輛對(duì)車道注意力通過車交互圖特征對(duì)車道圖特征進(jìn)行注意力篩選,將交通信息引入道路特征;車道對(duì)車輛注意力通過隱含交通信息的車道圖向量對(duì)車交互圖特征進(jìn)行注意力編碼,完成地圖信息與車輛交互信息的融合。兩部分擁有相同的結(jié)構(gòu),但不共享參數(shù)。每個(gè)部分均包含兩個(gè)殘差塊,每塊中包含一個(gè)多頭注意力層、一個(gè)全連接層和一個(gè)殘差連接,結(jié)構(gòu)如圖4所示。

圖4 車輛對(duì)車道注意力部分(V2L)結(jié)構(gòu)示意圖

以車輛對(duì)車道注意力為例,輸入包括車輛交互特征向量Fveh和車道圖特征向量Flane。為實(shí)現(xiàn)車輛對(duì)車道注意力,即車交互圖特征對(duì)車道圖特征進(jìn)行注意力加權(quán)編碼,將車輛信息引入道路特征;參照式(4)使用Fveh計(jì)算Qi,使用Flane計(jì)算Ki、Vi。特征編碼過程如式(5)所示。

(5)

式中:Hi表示第i個(gè)頭所表示的車道圖特征;F′lane表示經(jīng)全連接融合后的車道圖特征向量。由于F′lane中包含了觀測(cè)軌跡、狀態(tài)和環(huán)境等多種信息,需要足夠的維度來表示,參考文獻(xiàn)[13]將特征方向上的通道數(shù)定為128。再與Flane做殘差連接并歸一化,得出篩選后的車道圖特征。

3.3 軌跡生成

車輛未來軌跡天然就是多模態(tài)的[1],首先,車輛行駛的意圖會(huì)有多種可能,表現(xiàn)為多個(gè)可能的目的地;其次,即使同一目的地也會(huì)有不同的到達(dá)路徑。對(duì)于給出的多條預(yù)測(cè)軌跡,根據(jù)置信度評(píng)分獲取最大概率預(yù)測(cè)軌跡。預(yù)測(cè)軌跡生成模塊以特征融合模塊的輸出,即車交互圖特征向量I作為輸入,得到k條(本文k=6)多模態(tài)預(yù)測(cè)軌跡及其對(duì)應(yīng)置信度評(píng)分。該模塊一共兩個(gè)分支,回歸分支負(fù)責(zé)生成k條多模態(tài)預(yù)測(cè)軌跡,分類分支產(chǎn)生每條軌跡對(duì)應(yīng)的置信度評(píng)分。

對(duì)于回歸分支,融合模塊輸出向量I通過一個(gè)帶有殘差模塊的三層全連接網(wǎng)絡(luò),得到預(yù)測(cè)軌跡

(6)

(7)

(8)

3.4 損失函數(shù)

對(duì)車道圖與車交互圖建模完成后,后續(xù)整個(gè)網(wǎng)絡(luò)中的模塊均是可微的,因此實(shí)驗(yàn)采用下面的損失函數(shù)來端到端地訓(xùn)練整個(gè)網(wǎng)絡(luò)。損失函數(shù)對(duì)應(yīng)于上述兩條預(yù)測(cè)分支

Ltotal=aLreg+Lcls

(9)

式中:Ltotal表示全部損失;Lreg表示回歸損失;Lcls表示分類損失;α為超參數(shù),用于平衡網(wǎng)絡(luò)的回歸和分類權(quán)重,此處α=1。

對(duì)于回歸損失,為防止模式崩潰,且希望預(yù)測(cè)軌跡終點(diǎn)能夠準(zhǔn)確命中真實(shí)駕駛意圖,使得預(yù)測(cè)軌跡與真實(shí)軌跡相近,對(duì)于被預(yù)測(cè)車輛的k條預(yù)測(cè)軌跡,選擇其中具有最小最終距離誤差的預(yù)測(cè)軌跡P用以計(jì)算回歸損失,采用平滑L1損失對(duì)每個(gè)預(yù)測(cè)時(shí)間點(diǎn)進(jìn)行計(jì)算:

(10)

(11)

式中:T為預(yù)測(cè)時(shí)長(zhǎng);pt為第t時(shí)刻最小最終位移誤差預(yù)測(cè)軌跡的坐標(biāo);為第t時(shí)刻真實(shí)軌跡的坐標(biāo);xi表示x中的第i個(gè)元素,x為預(yù)測(cè)軌跡與真實(shí)軌跡之間的偏移誤差。平滑L1損失定義如下式:

(12)

對(duì)于分類損失,為生成多樣的預(yù)測(cè)結(jié)果和增強(qiáng)預(yù)測(cè)軌跡的可信度,在試驗(yàn)了多種損失函數(shù)(負(fù)對(duì)數(shù)似然損失、交叉熵?fù)p失和最大間隔損失)之后,最終選擇對(duì)P的置信度評(píng)分Opred做最大間隔損失,得出分類損失:

(13)

4 實(shí)驗(yàn)結(jié)果及分析

4.1 數(shù)據(jù)集

采用Argoverse軌跡預(yù)測(cè)數(shù)據(jù)集[22]對(duì)本文方法進(jìn)行評(píng)估。數(shù)據(jù)集包含340k+條從邁阿密和匹茲堡收集的真實(shí)駕駛數(shù)據(jù)。每條數(shù)據(jù)時(shí)長(zhǎng)為5 s(50幀),包含車輛的標(biāo)簽及位置序列等信息,前2 s數(shù)據(jù)用作模型輸入,后3 s真實(shí)軌跡用于訓(xùn)練預(yù)測(cè)模型及驗(yàn)證模型預(yù)測(cè)效果。整個(gè)數(shù)據(jù)集分為三個(gè)部分:205k+條訓(xùn)練數(shù)據(jù)、39k+條驗(yàn)證數(shù)據(jù)和78k+條測(cè)試數(shù)據(jù),其中測(cè)試數(shù)據(jù)只包含前2 s信息。除車輛的軌跡序列外,數(shù)據(jù)集還提供矢量化的高精度地圖,包括精確的車道信息及中心線連接信息、柵格化的可行駛區(qū)域信息和道路高度信息。

4.2 參數(shù)設(shè)置

實(shí)驗(yàn)運(yùn)行在安裝有Ubuntu 18.04 LTS操作系統(tǒng)的服務(wù)器上,主要硬件配置包括CPU Intel Xeon E5-2620、GPU NVIDIA Titan X和32G RAM,使用Pytorch1.4.0深度學(xué)習(xí)框架。首先對(duì)數(shù)據(jù)集數(shù)據(jù)進(jìn)行預(yù)處理,將交通場(chǎng)景中車輛軌跡數(shù)據(jù)和高精地圖轉(zhuǎn)化成相應(yīng)的車交互圖和車道圖,然后對(duì)整個(gè)模型進(jìn)行訓(xùn)練。訓(xùn)練批次大小設(shè)置為72,共36個(gè)輪次。

采用數(shù)據(jù)集基準(zhǔn)中提供的基本預(yù)測(cè)參數(shù)與評(píng)價(jià)指標(biāo)。基本預(yù)測(cè)參數(shù)包括多模態(tài)數(shù)量為k=1和k=6,預(yù)測(cè)軌跡時(shí)長(zhǎng)3 s;評(píng)價(jià)指標(biāo)包括最小平均位移誤差(minADEk)、最小最終位移誤差(minFDEk)和漏失率(MRk),這些評(píng)價(jià)指標(biāo)同時(shí)適用于單模態(tài)(k=1)和多模態(tài)(k=6)軌跡預(yù)測(cè),分別表示如下:

(14)

(15)

(16)

(17)

4.3 實(shí)驗(yàn)結(jié)果

使用數(shù)據(jù)集中測(cè)試集數(shù)據(jù)進(jìn)行軌跡預(yù)測(cè),將得到的結(jié)果與數(shù)據(jù)集提供的基準(zhǔn)預(yù)測(cè)方法和另外4種主流模型進(jìn)行對(duì)比,結(jié)果如表1所示。對(duì)比模型分別為采用恒定速度的基準(zhǔn)方法、采用加權(quán)最鄰近回歸的基準(zhǔn)方法、采用多頭注意力的軌跡預(yù)測(cè)方法(Jean)、由終點(diǎn)驅(qū)動(dòng)的軌跡預(yù)測(cè)(TNT)方法和圖注意力方法(WIMP)。評(píng)價(jià)指標(biāo)越小,表示模型預(yù)測(cè)結(jié)果與真實(shí)軌跡之間偏移越小,預(yù)測(cè)越準(zhǔn)確。

表1 預(yù)測(cè)結(jié)果對(duì)比

從表1中可以看出,本文提出方法在平均位移誤差和終點(diǎn)位移誤差上均優(yōu)于目前主流方法。其中,相較于采用恒定速度的基準(zhǔn)預(yù)測(cè)方法,本文方法在單模態(tài)指標(biāo)上分別提升41.2%、42.8%、25.9%,在多模態(tài)指標(biāo)上分別提升63.2%、75.1%、78.2%;相較于采用加權(quán)最鄰近回歸的基準(zhǔn)預(yù)測(cè)方法,在單模態(tài)指標(biāo)上分別提升49.5%、50.6%、31.0%,在多模態(tài)指標(biāo)上分別提升49.7%、58.8%、72.2%。基準(zhǔn)方法由于只考慮軌跡數(shù)據(jù),完全忽略車輛所處的交通環(huán)境和場(chǎng)景交互信息,且所用預(yù)測(cè)方法較為簡(jiǎn)單,因此在整個(gè)軌跡預(yù)測(cè)任務(wù)中精度最低。相比于Jean方法,本文方法在單模態(tài)指標(biāo)上分別提升0%、8%、13%,在多模態(tài)指標(biāo)上分別提升14%、5%、-15%。 本文方法考慮了交通環(huán)境對(duì)預(yù)測(cè)軌跡的影響,并將其與車輛間交互特征進(jìn)行綜合考慮,說明多頭注意力機(jī)制能夠充分考慮交通場(chǎng)景的環(huán)境特征和交互特征,提高軌跡預(yù)測(cè)精度。相比于TNT方法,本文方法在單模態(tài)指標(biāo)上分別提升2%、1%、-1%,在多模態(tài)指標(biāo)上分別提升8%、12%、-15%;相比于WIMP方法,在單模態(tài)指標(biāo)上分別提升4%、3%、4%,在多模態(tài)指標(biāo)上分別提升4%、5%、11%。上述兩種方法僅使用單獨(dú)的圖方法對(duì)場(chǎng)景建模,進(jìn)一步證明了本文方法使用車道圖和車交互圖對(duì)交通場(chǎng)景建模的有效性,可有效提高預(yù)測(cè)軌跡的準(zhǔn)確性。

為了更加直觀地分析預(yù)測(cè)結(jié)果,將預(yù)測(cè)結(jié)果進(jìn)行可視化,圖5展示了部分預(yù)測(cè)結(jié)果。

圖5 預(yù)測(cè)結(jié)果可視化

如圖5所示,真實(shí)軌跡總是與某條預(yù)測(cè)軌跡重合,表明本文方法能夠準(zhǔn)確預(yù)測(cè)車輛軌跡。如圖5(a)、圖5(b)和圖5(c)所示,模型能夠根據(jù)車輛自身狀態(tài)(歷史軌跡、速度和所在位置)和地圖信息,給出合理多樣的預(yù)測(cè)軌跡,從而體現(xiàn)出意圖的多樣性。同時(shí),模型對(duì)于車輛的速度也能夠準(zhǔn)確進(jìn)行預(yù)測(cè),如圖5(d)所示,當(dāng)車輛以較高速度通過彎道時(shí),預(yù)測(cè)軌跡較為集中,一致沿當(dāng)前或臨近車道呈現(xiàn)不同的速度分布,而低速時(shí)則會(huì)如圖5(a)中呈現(xiàn)出多種可能的方向。如圖5(e)所示,為起步加速過程,模型預(yù)測(cè)軌跡與真實(shí)軌跡一致。如圖5(f)所示,當(dāng)車輛沿車道持續(xù)斜向行駛時(shí),模型也能夠識(shí)別到車輛換道意圖,從而給出恰當(dāng)?shù)念A(yù)測(cè)。

4.4 消融實(shí)驗(yàn)

為了觀察各個(gè)模塊在整個(gè)模型中所發(fā)揮的作用,本文通過消融實(shí)驗(yàn)對(duì)模型進(jìn)行研究。實(shí)驗(yàn)以包含車輛觀測(cè)軌跡和狀態(tài)信息的車交互圖為基礎(chǔ),然后逐步加入車道圖和特征融合模型組件,在驗(yàn)證集數(shù)據(jù)上進(jìn)行軌跡預(yù)測(cè),預(yù)測(cè)結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)預(yù)測(cè)結(jié)果

由表2可知,以僅含車交互圖的模型所獲得的評(píng)價(jià)指標(biāo)為準(zhǔn),隨著V2L模型組件和L2V模型組件的逐步添加,所有評(píng)價(jià)指標(biāo)均在不斷減小,表明所有模塊均有助于提升模型預(yù)測(cè)準(zhǔn)確率,驗(yàn)證了所有模型組件的有效性。當(dāng)特征融合模塊僅包含V2L時(shí),評(píng)價(jià)指標(biāo)相較于只有車交互圖的模型分別提升15.0%、7.5%、11.9%、18.0%;當(dāng)特征融合模塊僅包含L2V時(shí),相較于只有車交互圖的模型分別提升23.8%、18.4%、18.8%、27.1%,表明僅利用車交互圖所包含的信息,不足以實(shí)現(xiàn)準(zhǔn)確的軌跡預(yù)測(cè),而車道圖為軌跡預(yù)測(cè)提供的環(huán)境信息,對(duì)提高預(yù)測(cè)精度有極大的幫助,且前者較后者提升幅度更大,表明L2V部分在特征融合模塊中發(fā)揮著更重要的作用。當(dāng)特征融合模塊同時(shí)包含V2L和L2V兩部分之后,預(yù)測(cè)精度達(dá)到最優(yōu),表明特征融合是雙向的,任何一部分的缺失都會(huì)導(dǎo)致預(yù)測(cè)效果的下降。因此,本文充分考慮交通場(chǎng)景的靜態(tài)特性和動(dòng)態(tài)交互,并實(shí)現(xiàn)高效融合,用于車輛軌跡預(yù)測(cè),取得領(lǐng)先于主流方法的優(yōu)秀效果。

為探究不同多模態(tài)軌跡數(shù)量k和不同預(yù)測(cè)時(shí)長(zhǎng)對(duì)預(yù)測(cè)結(jié)果的影響,本文還對(duì)驗(yàn)證集預(yù)測(cè)軌跡進(jìn)行了統(tǒng)計(jì)研究,結(jié)果分別如圖6和圖7所示。

圖6 多模態(tài)預(yù)測(cè)軌跡數(shù)量對(duì)預(yù)測(cè)結(jié)果的影響

圖7 預(yù)測(cè)時(shí)長(zhǎng)對(duì)預(yù)測(cè)結(jié)果的影響

圖6為3 s預(yù)測(cè)時(shí)長(zhǎng)下不同多模態(tài)預(yù)測(cè)軌跡數(shù)量k對(duì)預(yù)測(cè)結(jié)果的影響。由圖6可知,k與預(yù)測(cè)指標(biāo)minADE和minFDE均呈負(fù)相關(guān)趨勢(shì),即k越大,預(yù)測(cè)指標(biāo)數(shù)值越小。在對(duì)預(yù)測(cè)軌跡進(jìn)行評(píng)價(jià)時(shí),由評(píng)價(jià)指標(biāo)定義可知,k值越大,表明單個(gè)預(yù)測(cè)智能體被納入評(píng)價(jià)的軌跡越多,有更大可能統(tǒng)計(jì)到更準(zhǔn)確的預(yù)測(cè)軌跡,因此使k與評(píng)價(jià)指標(biāo)呈負(fù)相關(guān)趨勢(shì)。

圖7為不同預(yù)測(cè)時(shí)長(zhǎng)對(duì)預(yù)測(cè)結(jié)果的影響。由圖7可知,隨著預(yù)測(cè)時(shí)間的增長(zhǎng),各預(yù)測(cè)指標(biāo)數(shù)值均呈現(xiàn)不同程度的增長(zhǎng),表明預(yù)測(cè)時(shí)長(zhǎng)越長(zhǎng),模型的預(yù)測(cè)準(zhǔn)確度越差。這是因?yàn)楫?dāng)預(yù)測(cè)時(shí)長(zhǎng)較短,如1 s左右時(shí),車輛狀態(tài)更多由動(dòng)力學(xué)因素決定,會(huì)有更大概率保持原有的運(yùn)動(dòng)狀態(tài)行進(jìn),因此更容易被模型所預(yù)測(cè);當(dāng)預(yù)測(cè)時(shí)長(zhǎng)更長(zhǎng),如3 s甚至更長(zhǎng)時(shí),影響車輛未來軌跡的因素更多是車輛之間的交互、車道的拓?fù)潢P(guān)系和走向等,這類特征建模對(duì)模型有更高的要求,使長(zhǎng)時(shí)的軌跡更不容易被準(zhǔn)確預(yù)測(cè)。

5 結(jié)論

本文提出了一種基于有向圖模型和注意力機(jī)制的軌跡預(yù)測(cè)方法。通過場(chǎng)景建模、特征提取融合和預(yù)測(cè)軌跡解碼實(shí)現(xiàn)了結(jié)構(gòu)化道路場(chǎng)景中車輛多模態(tài)軌跡的預(yù)測(cè),并對(duì)模型開展了消融研究。得出主要結(jié)論如下:

1)通過將高精度地圖和車輛間交互轉(zhuǎn)化為有向圖,能夠?qū)崿F(xiàn)交通場(chǎng)景靜態(tài)特征和動(dòng)態(tài)交互特征的準(zhǔn)確建模,以及場(chǎng)景信息的完整描述;

2)多種注意力機(jī)制的使用,可高效完成特征提取和融合,增加模型的可解釋性;

3)實(shí)驗(yàn)結(jié)果表明,本文方法能夠有效預(yù)測(cè)各場(chǎng)景下的車輛未來軌跡,且具有較高的準(zhǔn)確度及泛化能力。

但本文預(yù)測(cè)方法交互圖建模時(shí),只考慮車輛之間的交互,且依賴高精度地圖對(duì)交通場(chǎng)景建模,因此適用于有高精度地圖覆蓋的結(jié)構(gòu)化道路場(chǎng)景。未來研究中,在本文方法基礎(chǔ)上,可考慮面向包含行人、騎行者和車輛的混雜交通場(chǎng)景,開展算法拓展研究。同時(shí),對(duì)于無(wú)高精度地圖覆蓋場(chǎng)景,探索接入基于車載傳感器生成的局部矢量地圖,可以提升算法對(duì)更多場(chǎng)景的適應(yīng)性。