基于深度學(xué)習(xí)的智能體軌跡預(yù)測(cè)文獻(xiàn)綜述

章璐璐, 李思照?

(1. 哈爾濱工程大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 黑龍江 哈爾濱 150001;2. 電子政務(wù)建模仿真國(guó)家工程實(shí)驗(yàn)室, 黑龍江 哈爾濱 150001)

0 引言

隨著科技水平的提高,人工智能新興應(yīng)用的需求不斷增長(zhǎng),自動(dòng)駕駛已經(jīng)成為一個(gè)熱點(diǎn)話題。 其中一個(gè)重要的問(wèn)題是自動(dòng)駕駛汽車如何預(yù)測(cè)附近智能體的未來(lái)軌跡,以減少交通事故的發(fā)生,提高道路的安全性。 因此,需要采取一些機(jī)制使自動(dòng)駕駛汽車能夠判斷智能體的當(dāng)前狀態(tài)和預(yù)測(cè)其下一步的行為。 智能體主要包括行人和車輛。 對(duì)于行人而言,行人的軌跡主要由自身、周圍的其他行人、環(huán)境因素和目標(biāo)意圖等驅(qū)動(dòng)。 與行人相比,車輛的軌跡預(yù)測(cè)主要取決于交通規(guī)則、駕駛環(huán)境、駕駛員的精神狀態(tài)以及其他車輛的行為。 自動(dòng)駕駛汽車需要通過(guò)一些機(jī)制去學(xué)習(xí)交通規(guī)則、相應(yīng)的法規(guī)和交通標(biāo)志,還要能夠辨別行人的社會(huì)互動(dòng)和非正式的社會(huì)規(guī)則,這樣才能幫助自動(dòng)駕駛汽車預(yù)測(cè)道路參與者的軌跡,以確定下一步如何展開(kāi),最大化地保障智能體的安全[1]。

近年來(lái),國(guó)內(nèi)外研究學(xué)者在軌跡預(yù)測(cè)領(lǐng)域已經(jīng)有了長(zhǎng)足的發(fā)展,大多通過(guò)建立軌跡預(yù)測(cè)模型模擬智能體的軌跡。 由于傳統(tǒng)動(dòng)力學(xué)模型很難根據(jù)一些運(yùn)動(dòng)學(xué)方法預(yù)測(cè)行人下一時(shí)間點(diǎn)的行為,常規(guī)的算法很容易使預(yù)測(cè)結(jié)果傾向于一種折衷的軌跡,所以需要從過(guò)去的軌跡中推測(cè)未來(lái)的軌跡序列,或者從行人的行為習(xí)慣中學(xué)習(xí)得到。 因此軌跡預(yù)測(cè)算法已經(jīng)從傳統(tǒng)動(dòng)力學(xué)模型轉(zhuǎn)向深度學(xué)習(xí)模型。 深度學(xué)習(xí)的軌跡預(yù)測(cè)方法近年來(lái)非常流行,因?yàn)樗粌H考慮物理相關(guān)因素和道路結(jié)構(gòu)、智能體之間的交互,而且能適應(yīng)更復(fù)雜的交通場(chǎng)景。 Sighencea 等[2]研究討論了基于深度學(xué)習(xí)的行人軌跡預(yù)測(cè)方法,首先從傳感器技術(shù)方面進(jìn)行了分析,并且對(duì)基于深度學(xué)習(xí)方法的行人軌跡預(yù)測(cè)模型進(jìn)行了詳細(xì)闡述,還討論了目前用于行人軌跡預(yù)測(cè)的數(shù)據(jù)集。 Lefèvre 等[3]對(duì)自動(dòng)駕駛車輛軌跡模型提出了3 個(gè)級(jí)別的分類:基于物理的模型、基于機(jī)動(dòng)的模型和基于交互感知的模型。 基于物理的模型認(rèn)為車輛的運(yùn)動(dòng)主要取決于物理定律,分別為動(dòng)力學(xué)模型和運(yùn)動(dòng)學(xué)模型。 基于機(jī)動(dòng)的模型包括基于原型軌跡和基于意圖的模型,即根據(jù)駕駛員的意圖來(lái)預(yù)測(cè)車輛接下來(lái)的行為。 基于交互感知的模型即車輛的運(yùn)動(dòng)受到場(chǎng)景中其他車輛運(yùn)動(dòng)的影響。 然而,智能體軌跡的隨機(jī)性和場(chǎng)景交互方面仍具有高度的挑戰(zhàn)性,因此預(yù)測(cè)智能體較長(zhǎng)一段時(shí)間的軌跡很有必要,這對(duì)自動(dòng)駕駛汽車自主決策并避免碰撞有重大意義。 在文獻(xiàn)[2]的基礎(chǔ)上,本文將根據(jù)深度學(xué)習(xí)的方法對(duì)智能體軌跡預(yù)測(cè)模型進(jìn)行歸納整理。

本文第2 部分介紹了在自動(dòng)駕駛場(chǎng)景中行人和車輛軌跡預(yù)測(cè)的模型;第3 部分介紹了軌跡預(yù)測(cè)中常用的數(shù)據(jù)集;第4 部分討論了軌跡預(yù)測(cè)中常用的評(píng)估指標(biāo),并比較了幾種經(jīng)典模型在公開(kāi)數(shù)據(jù)集上的性能;第5 部分針對(duì)行人和車輛軌跡預(yù)測(cè)中存在的問(wèn)題,對(duì)現(xiàn)有的方法進(jìn)行了總結(jié)和展望。

1 智能軌跡預(yù)測(cè)模型論述

本節(jié)主要總結(jié)當(dāng)前基于深度學(xué)習(xí)的軌跡預(yù)測(cè)方法及其優(yōu)缺點(diǎn)。 該方法主要將代理之間的交互、場(chǎng)景結(jié)構(gòu)或環(huán)境因素作為深度學(xué)習(xí)模型的輸入,最終輸出軌跡或智能體的意圖,基本框架如圖1 所示。近年來(lái),軌跡預(yù)測(cè)方法主要有基于物理和機(jī)器學(xué)習(xí)的方法。 基于物理的方法主要有動(dòng)力學(xué)模型,通常包括高斯過(guò)程、卡爾曼濾波等。 與物理的方法不同,基于機(jī)器學(xué)習(xí)的方法主要采用數(shù)據(jù)驅(qū)動(dòng)來(lái)預(yù)測(cè)智能體的軌跡,主要包括支持向量機(jī)、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等。 然而,前者結(jié)構(gòu)過(guò)于簡(jiǎn)單,只能適應(yīng)簡(jiǎn)單的預(yù)測(cè)場(chǎng)景和短時(shí)間的軌跡預(yù)測(cè),無(wú)法分析智能體運(yùn)動(dòng)的復(fù)雜模式,而后者不能捕捉各種動(dòng)態(tài)的交通場(chǎng)景且在推理過(guò)程中計(jì)算復(fù)雜度相對(duì)較高,因此需要深度學(xué)習(xí)的軌跡預(yù)測(cè)方法。 深度學(xué)習(xí)的方法主要有循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network,GAN)和混合網(wǎng)絡(luò)等,本節(jié)主要詳述有關(guān)深度學(xué)習(xí)方法的軌跡預(yù)測(cè)方法。

圖1 基于深度學(xué)習(xí)的軌跡預(yù)測(cè)模型基本框架Fig.1 Basic framework of trajectory prediction model based on deep learning

1.1 基于RNN 的軌跡預(yù)測(cè)模型

早期最簡(jiǎn)單的RNN 由單層網(wǎng)絡(luò)構(gòu)成,但對(duì)于序列型數(shù)據(jù),原始的神經(jīng)網(wǎng)絡(luò)很難處理。 為了建模序列問(wèn)題,RNN 通過(guò)引入隱藏層對(duì)數(shù)據(jù)進(jìn)行特征提取,再轉(zhuǎn)換為輸出,但無(wú)法對(duì)數(shù)據(jù)狀態(tài)長(zhǎng)期記憶,于是出現(xiàn)了長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)。 LSTM 是RNN 的一種變體,通過(guò)引入記憶單元解決了長(zhǎng)序列預(yù)測(cè)梯度消失的問(wèn)題,并通過(guò)控制門對(duì)信息的協(xié)調(diào),解決了時(shí)間序列預(yù)測(cè)中長(zhǎng)期依賴的問(wèn)題。 于是,LSTM 被用于分析智能體的軌跡,主要是將智能體軌跡序列輸入到RNN 的模型中,然后輸出預(yù)測(cè)軌跡,具體框架如圖2 所示。

圖2 基于RNN 的軌跡預(yù)測(cè)框架Fig.2 Trajectory prediction framework based on RNN

為了在復(fù)雜的城市交通中安全高效地導(dǎo)航,自動(dòng)駕駛車輛必須對(duì)周圍的交通代理做出可靠的預(yù)測(cè)。 Alahi 等[4]近年來(lái)第一個(gè)將RNN 模型應(yīng)用到行人軌跡預(yù)測(cè)中,提出了一種“社會(huì)” LSTM(Social LSTM,S-LSTM)模型,S-LSTM 通過(guò)RNN 對(duì)每個(gè)行人的軌跡進(jìn)行建模,首先為每條行人軌跡分配一個(gè)LSTM 模型,然后通過(guò)基于N×N的網(wǎng)格池來(lái)保留空間信息并結(jié)合代理周圍所有行人的信息,引入“社會(huì)池”使不同LSTM 層自動(dòng)地學(xué)習(xí)行人軌跡之間的相互作用,最后將行人軌跡建模為雙變量高斯分布,生成無(wú)沖突的軌跡。 該模型在LSTM 每一步運(yùn)行之間加入了“社會(huì)”池化層,解決了行人之間的交互問(wèn)題,但模型結(jié)構(gòu)較為單一,只考慮了行人之間的交互,而忽略各種對(duì)象(例如自行車和汽車等)和場(chǎng)景背景(例如路況和建筑物)的影響。 與此同時(shí),基于“社會(huì)”池化的模型在每次訓(xùn)練時(shí)都要與輸入的“社會(huì)”向量進(jìn)行計(jì)算,使預(yù)測(cè)結(jié)果的實(shí)時(shí)性不高。

受S-LSTM[4]架構(gòu)的啟發(fā),許多研究已成功地將此方法轉(zhuǎn)移到車輛軌跡預(yù)測(cè)中。 Zyner 等[5-6]提出的主要是在無(wú)信號(hào)的環(huán)形交叉路口處預(yù)測(cè)駕駛員的行為意圖,文獻(xiàn)[5]使用LSTM 作為序列分類器預(yù)測(cè)車輛的機(jī)動(dòng)。 為了預(yù)測(cè)目標(biāo)車輛未來(lái)的位置,Altché 等[7]通過(guò)引入LSTM 實(shí)現(xiàn)車輛軌跡預(yù)測(cè)。 該模型為橫向位置預(yù)測(cè)了最好的結(jié)果,雖能夠準(zhǔn)確預(yù)測(cè)高速公路上車輛未來(lái)的縱向和橫向軌跡,但是對(duì)于速度預(yù)測(cè)卻不夠精確,需要提供車輛類型信息。孟憲偉等[8]將意圖預(yù)測(cè)和軌跡預(yù)測(cè)相結(jié)合,構(gòu)建換道軌跡預(yù)測(cè)方法系統(tǒng)。 為了探索不同交通主體的運(yùn)動(dòng)模式,Ma 等[9]提出了一種基于LSTM 的實(shí)時(shí)流量預(yù)測(cè)算法——TrafficPredict,該算法由實(shí)例層和類別層組成,實(shí)例層學(xué)習(xí)代理的軌跡和交互,類別層用于學(xué)習(xí)屬于同一類型的代理的行為模式,以改進(jìn)預(yù)測(cè)。在設(shè)計(jì)的4D 圖形中,時(shí)空中的所有信息都可以被利用和傳輸,但算法的精確度根據(jù)交通狀況和過(guò)去軌跡的持續(xù)時(shí)間而變化,并沒(méi)有考慮到車道方向、交通信號(hào)等約束。 因此,該方法具有一定的局限性。

然而,車輛的軌跡預(yù)測(cè)涉及高度不確定性,智能體無(wú)法唯一確定車輛在交叉口或換道時(shí)將移動(dòng)的方向。 因此,預(yù)測(cè)結(jié)果不能表示為單一的軌跡,自動(dòng)駕駛車輛需要考慮周圍車輛未來(lái)運(yùn)動(dòng)的多模態(tài)性。 為了使軌跡多模態(tài)化,Zyner 等[6]提出了一種預(yù)測(cè)駕駛員意圖的不確定性方法,該方法在駕駛員可能選擇的預(yù)測(cè)路徑上產(chǎn)生多模態(tài)輸出分布。 模型主要使用RNN 與混合密度網(wǎng)絡(luò)(Mixture Density Network,MDN)相結(jié)合,并采用加權(quán)高斯混合模型(Gaussian Mixture Modeling,GMM)進(jìn)行預(yù)測(cè),其參數(shù)通過(guò)編碼器-解碼器3 層LSTM 獲得,然后使用概率最高的模態(tài)對(duì)預(yù)測(cè)軌跡進(jìn)行聚類。 但是當(dāng)車輛在高維空間中運(yùn)行時(shí),由于數(shù)值不穩(wěn)定,MDN 很難訓(xùn)練。 Ding等[10]提出了一個(gè)用于城市自動(dòng)駕駛的在線2 級(jí)車輛軌跡預(yù)測(cè)框架,利用LSTM 網(wǎng)絡(luò)開(kāi)發(fā)了一個(gè)策略預(yù)測(cè)網(wǎng)絡(luò),該方法具有高度的靈活性,能夠適應(yīng)各種復(fù)雜的環(huán)境,同時(shí)結(jié)合意圖提高預(yù)測(cè)精度,但沒(méi)有考慮到車輛之間的交互。 而Deo 等[11]則提出了一種可以用于高速公路上的車輛機(jī)動(dòng)和軌跡預(yù)測(cè)的LSTM 模型。 模型編碼器LSTM 將車道結(jié)構(gòu)和所有車輛的軌跡歷史編碼到上下文向量中,輸出每一時(shí)刻的Y=[y(t+1),y(t+2),…,y(t+tf)]的概率分布和未來(lái)的t時(shí)刻的坐標(biāo)位置。 模型在編碼器上下文向量中分別附加一個(gè)對(duì)應(yīng)于橫向和縱向機(jī)動(dòng)類別的向量,添加的機(jī)動(dòng)上下文允許解碼器LSTM 生成機(jī)動(dòng)特定概率分布。 該模型在2 個(gè)真實(shí)的大型高速公路車輛軌跡數(shù)據(jù)集上體現(xiàn)了較低的預(yù)測(cè)誤差,但是機(jī)動(dòng)分類不夠精確且在復(fù)雜的交通場(chǎng)景中很難應(yīng)用。 針對(duì)文獻(xiàn)[6,11]中出現(xiàn)的問(wèn)題,Kawasaki 等[12]提出了一種基于車道的多模式預(yù)測(cè)網(wǎng)絡(luò),可以處理任意形狀和數(shù)量的車道,能夠預(yù)測(cè)每條車道的未來(lái)軌跡和各個(gè)車道被選擇的概率。 受卡爾曼濾波器(KF)和LSTM 思想的啟發(fā),在網(wǎng)絡(luò)中引入了車輛運(yùn)動(dòng)模型約束,采用KF 方法與預(yù)測(cè)方法相結(jié)合,提高了參數(shù)估計(jì)的能力和預(yù)測(cè)精度。 Xing等[13]提出了一種基于LSTM 的聯(lián)合時(shí)間序列建模方法來(lái)預(yù)測(cè)前方車輛的運(yùn)動(dòng)軌跡。 模型首先采用無(wú)監(jiān)督聚類算法識(shí)別3 種不同的駕駛風(fēng)格,然后使用高斯混合模型為每輛車生成特定的駕駛風(fēng)格并用最大信息系數(shù)的算法識(shí)別。 與基于物理和機(jī)動(dòng)的方法相比,將交通環(huán)境考慮到運(yùn)動(dòng)預(yù)測(cè)中,可以對(duì)周圍車輛進(jìn)行更長(zhǎng)期和更精確的運(yùn)動(dòng)預(yù)測(cè)。

由于一些LSTM 模型不能同時(shí)描述不同車輛的空間作用以及軌跡之間的時(shí)間關(guān)系,因此無(wú)法準(zhǔn)確估計(jì)密集交通中相互作用的影響。 Dai 等[14]提出了一種基于時(shí)空LSTM 的軌跡預(yù)測(cè)模型(ST-LSTM)。首先采用Structural-RNN[13]的思想,通過(guò)修改后的LSTM 模型對(duì)所有車輛的軌跡和車輛之間的相互作用進(jìn)行建模,將時(shí)間關(guān)系和空間交互構(gòu)造為不同的時(shí)間序列,同時(shí)引入快捷連接處理梯度消失。 模型主要研究密集交通中車輛端到端的非線性的軌跡,然后通過(guò)評(píng)估空間的相互作用并根據(jù)交互影響程度的先驗(yàn)知識(shí)來(lái)評(píng)估網(wǎng)絡(luò)中的權(quán)重,最終輸出目標(biāo)車輛修正后的軌跡序列。 實(shí)驗(yàn)表明,ST-LSTM 可以比單狀態(tài)模型(M-LSTM)預(yù)測(cè)得更加精確,但數(shù)據(jù)集樣本較少,有一定的局限性。 Ding 等[15]采用RNN進(jìn)行編碼,并在此基礎(chǔ)上提出了一種新穎的車輛行為交互網(wǎng)絡(luò)(Vehicle Behavior Interaction Network,VBIN)在每個(gè)交互對(duì)的隱藏狀態(tài)和連接特征中捕獲車輛交互。 這種方法在高速公路場(chǎng)景中實(shí)現(xiàn)了2.622 s 的最大平均預(yù)測(cè)時(shí)間,表明它能夠捕捉長(zhǎng)時(shí)間車輛未來(lái)的行為。 因?yàn)楝F(xiàn)有的研究主要集中在相鄰車輛的空間相互作用,而不管時(shí)間依賴性如何,所以Jiang 等[16]提出了一種時(shí)空注意力LSTM 編碼器-解碼器模型(STAM-LSTM)來(lái)預(yù)測(cè)車輛軌跡。 與現(xiàn)有方法相比,該模型可以從空間和時(shí)間維度提取車輛的綜合特征,有效地捕捉時(shí)間依賴性對(duì)生成車輛未來(lái)軌跡的影響,但還未在更復(fù)雜的場(chǎng)景中預(yù)測(cè)性能,模型的復(fù)雜性較高。

在軌跡預(yù)測(cè)問(wèn)題中,文獻(xiàn)[17-19]將行人之間的交互刻畫為圖形。 Yan 等[17]將行人集合建模為時(shí)空?qǐng)D,時(shí)空?qǐng)D的邊通過(guò)與RNN 相連,分別捕捉單個(gè)行人和行人之間的交互信息,最終輸出雙變量高斯分布的參數(shù)。 該方法雖可以對(duì)時(shí)空信息進(jìn)行有效建模,但比較復(fù)雜。 Haddad 等[18]提出了一種新的基于時(shí)空?qǐng)D的LSTM 網(wǎng)絡(luò),在擁擠的環(huán)境中,考慮了行人與行人、行人與靜態(tài)對(duì)象的交互,然后對(duì)行人的軌跡做出預(yù)測(cè)。 模型中的時(shí)空?qǐng)D有2 類點(diǎn)和3 類邊,2 類點(diǎn)分別是行人點(diǎn)和靜態(tài)物品點(diǎn),3 類邊是同一時(shí)刻不同點(diǎn)的連邊,模型使用LSTM 替換時(shí)空?qǐng)D中的部件,將時(shí)空?qǐng)D因式化分解,最終基于輸出結(jié)果是二維正態(tài)分布的假設(shè),求出預(yù)測(cè)的位置或計(jì)算損失值。 相較于S-LSTM 和SGAN,Structural-RNN 在靜態(tài)物體較多的場(chǎng)景中,錯(cuò)誤率顯著降低。 Salzmann 等[19]則提出了Trajectron++,能夠結(jié)合代理的動(dòng)態(tài)和異構(gòu)數(shù)據(jù),并根據(jù)場(chǎng)景結(jié)構(gòu)不同而做出不同的預(yù)測(cè),是一種模塊化的、圖形結(jié)構(gòu)的循環(huán)模型。 該方法可以生成以目標(biāo)車輛與代理運(yùn)動(dòng)為條件的不同軌跡的預(yù)測(cè),并在真實(shí)的軌跡預(yù)測(cè)數(shù)據(jù)集上展示它的性能,優(yōu)于一系列最先進(jìn)的確定性和生成性的方法。

總體而言,基于RNN 的智能體軌跡預(yù)測(cè)已經(jīng)從單一的軌跡轉(zhuǎn)向多模態(tài)軌跡,所研究的預(yù)測(cè)場(chǎng)景不再單一,數(shù)據(jù)集所包含的信息也越來(lái)越豐富,但它們?cè)诮？臻g關(guān)系和圖像數(shù)據(jù)方面存在不足。 同時(shí)有圖神經(jīng)網(wǎng)絡(luò)的參與,使得軌跡預(yù)測(cè)的結(jié)果更加精確,但圖神經(jīng)網(wǎng)絡(luò)的效率與先前的方法相比較為低下。相信隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,基于LSTM 的軌跡預(yù)測(cè)方法會(huì)更加成熟。

1.2 基于CNN 的軌跡預(yù)測(cè)模型

CNN 是深度神經(jīng)網(wǎng)絡(luò)之一,在圖像分類和語(yǔ)義識(shí)別等領(lǐng)域都有很好的性能。 CNN 一般由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成。 由于CNN 能夠很好地學(xué)習(xí)對(duì)象的特征,因此調(diào)整適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)和參數(shù),可以有效鑒別這些特征。 CNN 以智能體的歷史軌跡為輸入,通過(guò)卷積層的疊加并通過(guò)全連接層輸出未來(lái)軌跡[20],具體框架如圖3所示。

圖3 基于CNN 的軌跡預(yù)測(cè)框架Fig.3 Trajectory prediction framework based on CNN

現(xiàn)有的研究大多采用LSTM 學(xué)習(xí)智能體的行為,但預(yù)測(cè)精度不高,計(jì)算速度較慢,往往忽略了智能體的姿勢(shì)和方向信息以及與場(chǎng)景的交互。 一些神經(jīng)網(wǎng)絡(luò)采用CNN 處理數(shù)據(jù),將其作為光柵圖像進(jìn)行輸入。 文獻(xiàn)[21]使用CNN 預(yù)測(cè)短期時(shí)間的車輛軌跡,并將單個(gè)參與者的周圍環(huán)境編碼為光柵圖像作為輸入,但輸出的軌跡較為單一。 文獻(xiàn)[22]使用變分自編碼器來(lái)估計(jì)未來(lái)軌跡的采樣分布。 然而,該方法不能生成置信度分?jǐn)?shù)來(lái)提供一組軌跡排序,需要大量的預(yù)測(cè)來(lái)覆蓋所有的搜索空間,然后使用逆最優(yōu)控制提取最終的排序子集。 Cui 等[23]考慮了交通行為的不確定性和車輛在道路上可能遇到的情況,提出了一種基于深度卷積網(wǎng)絡(luò)的自動(dòng)駕駛多模態(tài)的軌跡預(yù)測(cè)方法,給定第i個(gè)參與者的300 pixel×300 pixel 的光柵圖像,在時(shí)間步長(zhǎng)tj處估計(jì)狀態(tài)Si,j,并使用CNN 模型預(yù)測(cè)M個(gè)可能的未來(lái)狀態(tài)序列,其 中m表示模式指數(shù),H表示預(yù)測(cè)狀態(tài)的未來(lái)連續(xù)的時(shí)間步數(shù)。 實(shí)驗(yàn)結(jié)果表明,在更長(zhǎng)的預(yù)測(cè)范圍中,多模態(tài)預(yù)測(cè)比單模態(tài)預(yù)測(cè)更加明顯,且能夠做出更多的選擇。

然而一些CNN 模型也可用于處理智能體的軌跡。 Marchetti 等[24]基于持久記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)(Memory Augmented Neural Network,MANN)的車輛軌跡預(yù)測(cè)方法提出了MANTRA 模型,用于解決軌跡預(yù)測(cè)問(wèn)題中的多態(tài)性。 該模型是一個(gè)具有自動(dòng)編碼結(jié)構(gòu)的編碼-解碼器,MANN 被訓(xùn)練成只保留最有意義和非冗余的樣本,然后將其拼接成隱藏狀態(tài),并通過(guò)GRU 網(wǎng)絡(luò)得到預(yù)測(cè)的軌跡情況。 通過(guò)用CNN對(duì)行人的周圍上下文進(jìn)行編碼,并提供給細(xì)化模塊來(lái)調(diào)整預(yù)測(cè)。 該模型考慮了環(huán)境和物理的約束,并利用語(yǔ)義地圖集成周圍的環(huán)境信息。 與文獻(xiàn)[21-22]相比,MANTRA 模型能夠直接估計(jì)一小組排列軌跡,這些軌跡能顯示出足夠的多樣性,可以覆蓋多種模態(tài)的未來(lái)軌跡。 Wang 等[25]提出了一種基于多信息的卷積神經(jīng)網(wǎng)絡(luò)(MI-CNN),結(jié)合行人姿勢(shì)和三維空間信息來(lái)識(shí)別行人意圖,并采用包含目標(biāo)行人周圍所有類別的三維幾何信息的深度圖來(lái)預(yù)測(cè)行人軌跡。 模型的結(jié)構(gòu)主要包括幀編碼器、基于CNN的編碼器-解碼器和注意模塊,幀編碼器使用三維邊界框[26]方法確定目標(biāo)行人的三維尺寸信息,利用深度估計(jì)模型提取深度圖,為了捕捉行人的運(yùn)動(dòng)狀態(tài),利用預(yù)訓(xùn)練模型HigherNet 提取行人每一幀的關(guān)鍵姿勢(shì)。 與LSTM 相比,該模型利用卷積的并行計(jì)算特性,加快了計(jì)算速度。 與S-LSTM 和SGAN 相比,該模型在MOT20 上產(chǎn)生了優(yōu)越的性能。 根據(jù)Social-bigat 中將LSTM 的輸入傳給GCN 的方法,Mohamed 等[27]提出了時(shí)空?qǐng)D卷積網(wǎng)絡(luò),利用時(shí)空卷積建模時(shí)序,從圖中提取空間和時(shí)間信息,從而創(chuàng)建合適的嵌入。 模型主要包括2 部分:時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)(Spatio-Temporal Graph Convolutional Neural Network,ST-GCNN)和時(shí)間外推網(wǎng)絡(luò)(TXP-CNN)。ST-GCNN 將行人軌跡的交互用圖表示,圖形建完后采用時(shí)空卷積操作以提取特征,TXP-CNN 將這些特征作為輸入,輸入T×P×N(行人位置的P維,N為行人數(shù)量,T為時(shí)間步數(shù)),并預(yù)測(cè)所有行人作為一個(gè)整體的未來(lái)軌跡。 為了評(píng)估該方法,社會(huì)時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)(Social Spatio-Temporal Graph Convolutional Neural Network,Social-STGCNN) 在 ETH 和UCY 數(shù)據(jù)集上優(yōu)于現(xiàn)有模型,并可以從很少的樣本中學(xué)習(xí)數(shù)據(jù)的特征,同時(shí)定性分析了在避免碰撞、平行行走和個(gè)體遇到群體等情況下的網(wǎng)絡(luò)性能。 由于Social-STGCNN 所提出的內(nèi)核的非線性計(jì)算非常耗時(shí),且固定核無(wú)法從數(shù)據(jù)中學(xué)習(xí)交互信息,會(huì)錯(cuò)誤地表示社會(huì)交互關(guān)系,因此Zhang 等[28]提出了社會(huì)交互加權(quán)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)(Social Interaction-Weighted Spatio-Temporal Convolutional Neural Network,Social-IWSTCNN),它避免了耗時(shí)的非線性計(jì)算,能夠用數(shù)據(jù)驅(qū)動(dòng)的方式從行人的相對(duì)位置學(xué)習(xí)此類社會(huì)互動(dòng)注意力權(quán)重。 網(wǎng)絡(luò)中的空間特征由社會(huì)互動(dòng)提取器提取,包括輸入位置嵌入特征和社會(huì)互動(dòng)特征。時(shí)間特征由TCN 學(xué)習(xí),TCN 對(duì)序列空間特征使用卷積運(yùn)算來(lái)捕獲序列的時(shí)間模式。 最后,在提取每個(gè)行人的空間和時(shí)間特征后,使用CNN 推斷長(zhǎng)期軌跡。 雖然該方法在Waymo 開(kāi)放數(shù)據(jù)集中的典型場(chǎng)景中已經(jīng)顯示出良好的性能,但準(zhǔn)確預(yù)測(cè)稀疏擁擠場(chǎng)景的未來(lái)軌跡仍然具有挑戰(zhàn)性,需要考慮多種因素,如車輛與環(huán)境的交互。 因?yàn)橛懈鞣N因素影響車輛的運(yùn)動(dòng),Lu 等[29]提出了一種基于編碼器-解碼器架構(gòu)的異構(gòu)上下文感知圖卷積網(wǎng)絡(luò),該網(wǎng)絡(luò)主要通過(guò)時(shí)空動(dòng)態(tài)圖卷積網(wǎng)絡(luò)利用了交互模式的時(shí)空演變,并捕獲高保真的交互上下文。 然而模型并未引入豐富的基礎(chǔ)設(shè)施且并未擴(kuò)展到行人與車輛之間的相互作用。

CNN 的軌跡預(yù)測(cè)方法主要用于處理圖像特征以及智能體的軌跡,這些功能能夠模擬智能體的交互和行駛場(chǎng)景,并以占用地圖的形式輸出,但2D CNN 缺乏對(duì)數(shù)據(jù)序列建模的處理,這是智能體軌跡隨時(shí)間變化所必需的。

1.3 基于GAN 的軌跡預(yù)測(cè)模型

雖然LSTM 在軌跡預(yù)測(cè)的精度方面取得了理想的結(jié)果,但是大多預(yù)測(cè)結(jié)果為單一軌跡,是一種折衷的狀態(tài),結(jié)果會(huì)與數(shù)據(jù)集形成高度的擬合。 因此,一些學(xué)者使用GAN 處理軌跡預(yù)測(cè)問(wèn)題。 GAN 主要由一個(gè)生成器(Generator,G)和判別器(Discriminator,D)組成,G 主要負(fù)責(zé)產(chǎn)生虛擬數(shù)據(jù),D 主要負(fù)責(zé)判斷數(shù)據(jù)是否是真實(shí)數(shù)據(jù)。 在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,G和D 相互對(duì)抗:G 通過(guò)接收噪聲z生成偽樣本,D 用于接收并區(qū)分真實(shí)樣本和偽樣本,并輸出結(jié)果,具體軌跡預(yù)測(cè)框架如圖4 所示。

圖4 基于GAN 的軌跡預(yù)測(cè)框架Fig.4 Trajectory prediction framework based on GAN

為了預(yù)測(cè)軌跡的多模態(tài)分布,Gupta 等[30]提出了一個(gè)考慮場(chǎng)景中所有智能體影響的GAN 模型——Social-GAN。 模型由一個(gè)RNN 編碼器-解碼器、生成器和池化層以及鑒別器組成。 模型首先對(duì)每個(gè)行人使用一個(gè)LSTM,編碼器通過(guò)了解每一個(gè)人的狀態(tài)和軌跡歷史,將含有上下文的輸入作為編碼,接著利用池化模塊進(jìn)行人與人之間的交互,最后用解碼器生成預(yù)測(cè)軌跡。 與S-LSTM 相比,引入了噪聲z且采用了GAN 模型,提出了一個(gè)改進(jìn)的多樣性損失函數(shù),使網(wǎng)絡(luò)中產(chǎn)生不同的樣本,通過(guò)隨機(jī)采樣并選擇L2 意義上的“最佳”結(jié)果生成k個(gè)可接受的預(yù)測(cè)軌跡,但該模型采用了傳統(tǒng)的GAN 方法,會(huì)使網(wǎng)絡(luò)訓(xùn)練不穩(wěn)定,且在經(jīng)過(guò)特征提取時(shí)最大池化后會(huì)忽略行人的其他特征,最終導(dǎo)致預(yù)測(cè)結(jié)果不夠精確。 與S-GAN 不同的是,Sadeghian 等[31]提出了可以預(yù)測(cè)出符合社會(huì)和物理約束的Sophie 模型,不僅考慮了場(chǎng)景中的所有行人,還考慮了場(chǎng)景的上下文信息。 模型由3 個(gè)關(guān)鍵組件組成:特征提取模塊、注意模塊和基于LSTM 的GAN 模塊。 首先,特征提取模塊使用CNN 從場(chǎng)景中提取當(dāng)前幀的圖像并利用LSTM 對(duì)代理之間索引不變但時(shí)間相關(guān)的特征進(jìn)行編碼;其次,使用注意模塊學(xué)習(xí)行人之間的交互以及他們對(duì)每個(gè)代理未來(lái)路徑的影響,同時(shí)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)場(chǎng)景的空間約束;最后,LSTM 解碼器用于預(yù)測(cè)未來(lái)每個(gè)代理的時(shí)間依賴狀態(tài),通過(guò)應(yīng)用GAN方法,強(qiáng)制生成更真實(shí)的軌跡來(lái)提高生成器模型的性能。 實(shí)驗(yàn)表明,通過(guò)聯(lián)合建模場(chǎng)景上下文和行人的軌跡信息,模型比單獨(dú)使用這些信息時(shí)表現(xiàn)更好,更能生成可接受的軌跡。

Kosaraju 等[32]在對(duì)噪聲具有敏感性的基礎(chǔ)上使得GAN 網(wǎng)絡(luò)生成多模態(tài)的軌跡,提出了基于圖形的生成性對(duì)抗網(wǎng)絡(luò)Social-BiGAT,通過(guò)更好地模擬場(chǎng)景中行人的社交互動(dòng),生成真實(shí)的多模態(tài)軌跡。網(wǎng)絡(luò)的場(chǎng)景圖像和行人軌跡特征分別由VGG 網(wǎng)絡(luò)和LSTM 提取,根據(jù)特征的差異使用基于點(diǎn)積和圖注意網(wǎng)絡(luò)的注意機(jī)制,最終得到合理的輸入向量。整體模型由4 個(gè)主要網(wǎng)絡(luò)組成,每個(gè)網(wǎng)絡(luò)又由3 個(gè)關(guān)鍵模塊組成,分別是生成器、2 種形式的鑒別器(行人和場(chǎng)景)和潛在的空間編碼器。 生成器將從多元正態(tài)分布中采樣的噪聲向量z 作為輸入,并以物理場(chǎng)景上下文Cp(i)、行人場(chǎng)景上下文CLs(i)和行人編碼Vs(i)為條件,然后通過(guò)解碼器LSTM 生成多個(gè)時(shí)間步的軌跡。 鑒別器分別對(duì)行人和場(chǎng)景進(jìn)行操作,利用2 個(gè)鑒別器對(duì)該體系結(jié)構(gòu)進(jìn)行對(duì)抗性訓(xùn)練,以輸出真實(shí)的局部和全局軌跡。 為保證模型對(duì)噪聲反應(yīng)的敏感性和合理性,Social-BiGAT 還借鑒了Cycle GAN 的思想,引入了由預(yù)測(cè)軌跡反推噪聲的潛在場(chǎng)景編碼器,該編碼器學(xué)習(xí)生成最能共同代表場(chǎng)景的噪聲的均值和方差,能夠產(chǎn)生軌跡的多模態(tài)。該方法不僅很好地解決了S-GAN 遺留的問(wèn)題,還能為特定的行人以及多個(gè)行人生成多模態(tài)軌跡。Amirian 等[33]通過(guò)對(duì)傳統(tǒng)GAN 架構(gòu)的改進(jìn)提出了一種預(yù)測(cè)行人與他人交互運(yùn)動(dòng)的新方法——Social-Ways。 模型主要通過(guò)對(duì)Info-GAN 修改,首先是在輸入中新增了潛在編碼,棄用了SGAN 中的L2 損失函數(shù),在鑒別器加入了一個(gè)子網(wǎng)絡(luò)用于產(chǎn)生信息損失。然后,將行人的軌跡編碼、注意力池化后的交互信息、噪聲和潛在編碼等輸入作為解碼器的輸入,解碼出行人i的預(yù)測(cè)軌跡。 該模型引入基于交互信息的信息損失函數(shù),增強(qiáng)了模型對(duì)多合理軌跡的預(yù)測(cè)能力。 然而,現(xiàn)有的大多數(shù)方法不能完全提取行人之間的交互信息,Fang 等[34]提出了一種基于GAN 模型的注意力機(jī)制(Atten-GAN)來(lái)模擬行人之間交互信息的社會(huì)關(guān)系。 該方法不僅能夠提供符合社會(huì)規(guī)范的各種社會(huì)可接受的預(yù)測(cè)軌跡,而且在預(yù)測(cè)精度方面優(yōu)于現(xiàn)有的基于生成模型的方法。 為了動(dòng)態(tài)預(yù)測(cè)周圍車輛的未來(lái)軌跡,Zhong 等[35]提出了生成模型(STGM),利用條件變分自動(dòng)編碼器(CVAE)構(gòu)建STGM 框架,將輸入增加到模態(tài)分布中,以獲得模態(tài)方向的軌跡,且提出了新的模態(tài)抽樣技巧,作為CVAE 中傳統(tǒng)隨機(jī)抽樣的替代方法以使預(yù)測(cè)結(jié)果更加穩(wěn)定。

總體而言,基于GAN 的軌跡預(yù)測(cè)方法能夠保證智能體軌跡最終的預(yù)測(cè)精度,能夠在復(fù)雜模型上生成合理、穩(wěn)定、可接受的預(yù)測(cè)結(jié)果。

1.4 混合網(wǎng)絡(luò)

由于單一的網(wǎng)絡(luò)不能夠處理復(fù)雜的數(shù)據(jù),因此采用混合網(wǎng)絡(luò)處理智能體的軌跡。 一些軌跡預(yù)測(cè)模型分別從LSTM 和CNN 中提取時(shí)間和空間特征。Lee 等[22]引入了一種深度隨機(jī)逆最優(yōu)控制(IOC)RNN 編碼器-解碼器框架DESIRE,即選通循環(huán)單元(GRU) 的 RNN 變體與條件變分自動(dòng)編碼器(CVAE)相結(jié)合,用于預(yù)測(cè)動(dòng)態(tài)場(chǎng)景中車輛的未來(lái)軌跡。 模型首先采用2 個(gè)獨(dú)立的編碼器分別對(duì)行人i的過(guò)去軌跡和未來(lái)y的軌跡進(jìn)行編碼,并將這2 種編碼串聯(lián)輸入到一個(gè)具有非線性激活函數(shù)的完全連接層(fc),然后通過(guò)CVAE 引入隨機(jī)變量Zi,可以獲得一組編碼中各種假設(shè)的未來(lái)預(yù)測(cè)樣本。 其次,設(shè)計(jì)一個(gè)RNN 評(píng)分回歸模塊,將獎(jiǎng)勵(lì)分配給每一個(gè)預(yù)測(cè)的假設(shè)樣本,根據(jù)長(zhǎng)期累積的獎(jiǎng)勵(lì)衡量結(jié)果的優(yōu)越性。 與S-LSTM 相比,DESIRE 將CVAE 與RNN相結(jié)合,使模型具有較強(qiáng)的可伸縮性和靈活性,同時(shí)也結(jié)合動(dòng)態(tài)和靜態(tài)的場(chǎng)景,考慮了行人之間的交互,使用逆最優(yōu)控制生成了長(zhǎng)期的預(yù)測(cè),但數(shù)據(jù)集不夠大,在一些罕見(jiàn)的駕駛環(huán)境中,很難預(yù)測(cè)智能體的軌跡。 為了獲得單模態(tài)軌跡,Rasouli 等[36]采用了具有車載攝像頭系統(tǒng)的行人意圖估計(jì)和軌跡預(yù)測(cè)模型,模型主要包括意圖估計(jì)模型和軌跡預(yù)測(cè)框架,意圖估計(jì)模型的編碼器接收t時(shí)間內(nèi)帶有行人的方形圖像輸入到CNN,與LSTM 處理后再將其組合輸入給解碼器,解碼器使用含有128 個(gè)隱藏單元的LSTM輸出t+τ之前的未來(lái)軌跡。 該實(shí)驗(yàn)與傳統(tǒng)LSTM 相比,短期預(yù)測(cè)差距不大,從長(zhǎng)期來(lái)看,該模型的性能更好。 Xie 等[37]使用法國(guó)NGSIM 和Creteil 環(huán)形交叉路口的數(shù)據(jù)集,通過(guò)預(yù)測(cè)誤差、RMSE、MAE 和偏差評(píng)估CNN-LSTM 模型的預(yù)測(cè)性能,并將預(yù)測(cè)結(jié)果與CNN,LSTM 和GRU 進(jìn)行對(duì)比。 實(shí)驗(yàn)結(jié)果表明,該方法的RMSE、MAE 和偏差都最小化,能夠準(zhǔn)確預(yù)測(cè)周圍車輛的軌跡。 雖然該方法為自動(dòng)駕駛汽車等無(wú)人系統(tǒng)的安全運(yùn)行和正確決策提供了有效的方法,但是未處理多個(gè)車輛的信息。 Xue 等[38]基于場(chǎng)景和交互感知提出了 Social-Scene-LSTM ( SSLSTM),是一種用于行人軌跡預(yù)測(cè)的分層LSTM 模型,在已有考慮相鄰路人之間影響的S-LSTM 模型之上額外增加了行人背景的因素。 SS-LSTM 采用了行人模塊、社會(huì)模塊和場(chǎng)景模塊這3 種模塊預(yù)測(cè)行人的軌跡。 行人模塊主要捕捉每個(gè)行人過(guò)去的軌跡信息,并對(duì)觀察到的軌跡進(jìn)行編碼;社會(huì)模塊捕捉每個(gè)行人周圍的場(chǎng)景信息,并為每個(gè)行人繪制一張占用地圖,將社會(huì)規(guī)模因素納入模型中;場(chǎng)景模塊用于捕獲有關(guān)場(chǎng)景布局的信息。 網(wǎng)絡(luò)根據(jù)3 個(gè)模塊捕捉到的信息生成向量,拼接后形成解碼器的輸入,最終做出軌跡預(yù)測(cè)。 與S-LSTM、時(shí)空注意網(wǎng)絡(luò)不同的是,SS-LSTM 模型的輸出不是基于高斯二維分布,而是直接將解碼后的輸出經(jīng)線性變換后得到預(yù)測(cè)軌跡的坐標(biāo)值,且模型在數(shù)據(jù)集ETH,UCY 上有更好的性能。

智能體的運(yùn)動(dòng)交互過(guò)程中存在顯著的不確定性,不確定性通常都是多模態(tài)的,為了預(yù)測(cè)智能體多模態(tài)的軌跡,Eiffert 等[39]基于有無(wú)車輛的人群中預(yù)測(cè)行人的軌跡,提出了PCGAN(Probabilistic Crowd GAN)模型。 該模型由一個(gè)生成器和一個(gè)經(jīng)過(guò)逆向訓(xùn)練的鑒別器組成。 生成器由RNN 編碼器、圖形車輛-行人注意(GVAT)模塊、RNN 解碼器和MDN 組成。 GVAT 模塊主要擴(kuò)展了圖形注意網(wǎng)絡(luò),對(duì)場(chǎng)景中所有行人及車輛行人之間的社會(huì)互動(dòng)進(jìn)行建模,同時(shí)考慮車輛行人之間的距離。 MDN 主要為代理的未來(lái)軌跡生成多模態(tài)。 然后通過(guò)解碼器產(chǎn)生多模態(tài)的軌跡,并通過(guò)鑒別器與真實(shí)軌跡進(jìn)行對(duì)比輸出合理的結(jié)果。 該方法通過(guò)與SGAN 的比較,SGAN僅限于多個(gè)樣本的平均誤差,而本方法通過(guò)估計(jì)每個(gè)路徑的可能性,可以降低對(duì)抗訓(xùn)練時(shí)產(chǎn)生的誤差。雖然該方法對(duì)所有數(shù)據(jù)集都表現(xiàn)良好,但只能預(yù)測(cè)12 個(gè)時(shí)間步長(zhǎng)的軌跡。 由于LSTM 編碼器用來(lái)學(xué)習(xí)車輛行為的動(dòng)向,卻不能獲取到車輛之間的依賴性,故Deo 等[40]引入了一個(gè)“卷積社會(huì)池層”。 模型通過(guò)預(yù)測(cè)6 種機(jī)動(dòng)類別的分布以及每個(gè)機(jī)動(dòng)等級(jí)的概率來(lái)預(yù)測(cè)車輛未來(lái)的軌跡。 但該模型完全依賴于車輛軌跡來(lái)推斷機(jī)動(dòng)類別和未來(lái)軌跡。 由于智能體的運(yùn)動(dòng)具有隨機(jī)性,且受到目標(biāo)、場(chǎng)景和代理之間的互動(dòng)等多種因素的影響,導(dǎo)致智能體的數(shù)量不固定,大多數(shù)的建模方法都是以代理或空間位置為中心的編碼方式,而Zhao 等[41]將場(chǎng)景與行人之間的交互進(jìn)行共同建模,提出了多智能體張量融合(Multi-Agent Tensor Fusion,MATF)的編碼解碼架構(gòu),該架構(gòu)主要以代理和空間為中心方法使MATF保留所有智能體和環(huán)境的空間布局。 為了捕捉未來(lái)預(yù)測(cè)軌跡的不確定性,根據(jù)所有代理過(guò)去的軌跡、靜態(tài)場(chǎng)景上下文和隨機(jī)噪聲輸入,使用了條件生成對(duì)抗訓(xùn)練來(lái)表示有限樣本組上軌跡的分布,該模型在NGSIM 數(shù)據(jù)集中軌跡預(yù)測(cè)方面取得了最先進(jìn)的結(jié)果。 與文獻(xiàn)[40]相比,MATF 的預(yù)測(cè)表現(xiàn)較好。 通過(guò)實(shí)驗(yàn)證明,在比NGSIM 更復(fù)雜的場(chǎng)景環(huán)境中,場(chǎng)景和多智能體交互的表示對(duì)于軌跡的準(zhǔn)確預(yù)測(cè)是必要的。

然而,現(xiàn)有方法通常強(qiáng)調(diào)行人和周圍環(huán)境之間的空間交互,忽略了預(yù)測(cè)的平滑性和時(shí)間一致性。Li 等[42]旨在通過(guò)對(duì)基于多尺度圖的空間變換器進(jìn)行建模,并通過(guò)使用名為“記憶回放”的軌跡平滑算法綜合空間信息并糾正時(shí)間不一致的軌跡;還提出了一種新的評(píng)估指標(biāo),用于預(yù)測(cè)多種軌跡的全面性,但該方法只適用于單個(gè)智能體。 與旨在學(xué)習(xí)影響個(gè)人步行行為因素的現(xiàn)有行人軌跡預(yù)測(cè)文獻(xiàn)不同,Zhang 等[43]提出了一種稱為分步注意力的深度學(xué)習(xí)模型預(yù)測(cè)行人軌跡。 該模型直接從輸入序列學(xué)習(xí)軌跡模式,而無(wú)需對(duì)環(huán)境設(shè)置做任何假設(shè),這使得分步注意力更加穩(wěn)健,并適用于范圍較大的場(chǎng)景。

2 數(shù)據(jù)集

軌跡預(yù)測(cè)在不同場(chǎng)景下的數(shù)據(jù)集多種多樣,下面主要介紹影響力較大的公開(kāi)數(shù)據(jù)集,主要包括應(yīng)用于行人、車輛以及行人與車輛的混合數(shù)據(jù)集,如表1 所示。

表1 常見(jiàn)的軌跡預(yù)測(cè)數(shù)據(jù)集Tab.1 Common trajectory prediction dataset

行人軌跡數(shù)據(jù)集主要是ETH[44]和UCY[45],其中包含行人交互、非線性軌跡、避免碰撞和群體行人的軌跡坐標(biāo)等,同時(shí)包含從固定的俯視圖記錄的5 個(gè)獨(dú)特的室外環(huán)境信息[46]。 其中,ETH 數(shù)據(jù)集包括ETH和Hotel 兩個(gè)數(shù)據(jù)集,由3 個(gè)視頻片段和1 804 張圖片組成,主要是沒(méi)有社交互動(dòng)的筆直的行人軌跡。UCY 包括Zara1,Zara2 和Univ 三個(gè)數(shù)據(jù)集,由5 個(gè)視頻片段組成,其中包含了2 206 條直線運(yùn)動(dòng)和曲線運(yùn)動(dòng)不同特征的行人軌跡。 與ETH 不同,UCY 數(shù)據(jù)集包含了大量行人和場(chǎng)景之間的互動(dòng),軌跡特征多種多樣。

車輛軌跡數(shù)據(jù)集主要是 HighD[47]和nuScenes[48],HighD 主要記錄了高速公路上的車輛的行駛軌跡。 數(shù)據(jù)規(guī)模包括6 個(gè)地點(diǎn),11 萬(wàn)輛車,4.5 萬(wàn)km 的總行駛距離,447 h 的總記錄時(shí)間。nuScenes 是用于城市道路的數(shù)據(jù)集,共包含1 000 個(gè)且每個(gè)時(shí)長(zhǎng)為20 s 的場(chǎng)景。 除此以外,還有NGSIM[49]數(shù)據(jù)集,經(jīng)研究發(fā)現(xiàn)其存在精度不足、坐標(biāo)漂移等問(wèn)題,使用頻率不高。

行人和車輛的混合數(shù)據(jù)集主要是 Stanford Drone[50],JAAD[51]和KITTI[52]跟蹤數(shù)據(jù)集,Stanford Drone 是2016 年8 月提出的,由無(wú)人機(jī)在斯坦福校園各處俯拍的視頻和圖像組成,包括行人、車輛和滑板車等各類型的智能體,是當(dāng)前最流行的數(shù)據(jù)集之一,數(shù)據(jù)規(guī)模包括了8 個(gè)場(chǎng)景,19 000 個(gè)目標(biāo),185 000 條含有標(biāo)簽的互動(dòng)信息。 JAAD 主要記錄十字路口的車輛和行人軌跡,從240 h 的行駛記錄中,提取346 個(gè)5~10 s 的視頻片段。 KITTI 主要包括21 個(gè)訓(xùn)練序列和29 個(gè)測(cè)試序列,其中的標(biāo)簽不僅包含了行人的軌跡坐標(biāo)還有2D 邊界框信息以及GPS 位置。

3 評(píng)估指標(biāo)

智能體軌跡預(yù)測(cè)的評(píng)估指標(biāo)有很多,在文獻(xiàn)[53]中有其他軌跡預(yù)測(cè)指標(biāo)的詳細(xì)介紹,下面只介紹關(guān)于行人和車輛軌跡預(yù)測(cè)的常用指標(biāo)。

3.1 行人軌跡預(yù)測(cè)評(píng)估指標(biāo)

行人軌跡預(yù)測(cè)的評(píng)估指標(biāo)主要包括平均位移誤差(Average Displacement Error,ADE)和最終位移誤差(Final Displacement Error,FDE)。

ADE 代表在整個(gè)預(yù)測(cè)時(shí)間內(nèi)每一個(gè)行人的預(yù)測(cè)位置與真實(shí)位置歐式距離之差的平均值,即:

式中,n為軌跡數(shù)量;Tpred為預(yù)測(cè)的最大幀;Tobs為觀測(cè)到的幀;Dij為第i條軌跡在第j個(gè)位置處,預(yù)測(cè)軌跡的位置與真實(shí)軌跡位置之間的歐式距離:

FDE 表示t時(shí)刻預(yù)測(cè)的最終位置與真實(shí)位置之間的歐式距離差值:

3.2 車輛軌跡預(yù)測(cè)評(píng)估指標(biāo)

車輛軌跡預(yù)測(cè)的評(píng)估指標(biāo)主要包括平均絕對(duì)誤差(Mean Absolute Error,MAE)和均方根誤差(Root Mean Squared Error,RMSE)。

MAE 主用于衡量預(yù)測(cè)誤差et的平均值大小,RMSE 是測(cè)量預(yù)測(cè)誤差平均值的平方根,即:

式中,n為軌跡數(shù)量;et為預(yù)測(cè)軌跡與真實(shí)軌跡之間的位移誤差。 MAE 與RMSE 是回歸問(wèn)題中最常見(jiàn)的2 個(gè)指標(biāo),作用大致相似。 與MAE 相比,RMSE 由于使用了平方誤差,因此對(duì)較大的預(yù)測(cè)誤差比較敏感。

3.3 性能評(píng)估

在軌跡預(yù)測(cè)領(lǐng)域,預(yù)測(cè)軌跡常用的數(shù)據(jù)集是ETH 和UCY 數(shù)據(jù)集。 雖然后期也有學(xué)者提出關(guān)于軌跡預(yù)測(cè)的大型數(shù)據(jù)集,但由于先前的方法在這些數(shù)據(jù)集上驗(yàn)證缺乏實(shí)驗(yàn)數(shù)據(jù),因此本小節(jié)主要?dú)w納部分軌跡預(yù)測(cè)經(jīng)典模型在ETH 和UCY 數(shù)據(jù)集上的性能,如表2 所示。

表2 各軌跡預(yù)測(cè)方法在ETH,UCY 數(shù)據(jù)集上的性能Tab.2 Performance of trajectory prediction methods on ETH and UCY datasets

從表2 可以看出,在2 個(gè)主流的數(shù)據(jù)集上,基于深度學(xué)習(xí)的軌跡預(yù)測(cè)方法在精度上遠(yuǎn)遠(yuǎn)比傳統(tǒng)的方法預(yù)測(cè)效果要好。 基于Trajectron++的性能最為顯著,該方法的ADE 值和FDE 值達(dá)到了0.19 和0.41,比以Social-Ways 為首的生成式網(wǎng)絡(luò)有了顯著的提升。 基于圖網(wǎng)絡(luò)的軌跡預(yù)測(cè)方法發(fā)展較為迅速,從S-RNN 時(shí)期性能為傳統(tǒng)方法的2 倍到Social-STGCNN 已經(jīng)超過(guò)了Social-Ways 性能,在ETH 和UCY 數(shù)據(jù)集上優(yōu)于現(xiàn)有模型,并可以從很少的樣本中學(xué)習(xí)數(shù)據(jù)的特征。 因此,如果能夠設(shè)計(jì)較好的損失函數(shù)以及網(wǎng)絡(luò)結(jié)構(gòu),基于深度學(xué)習(xí)的軌跡預(yù)測(cè)方法可以更好地預(yù)測(cè)出智能體的軌跡。

4 結(jié)論與展望

主要對(duì)全文進(jìn)行總結(jié),概括基于深度學(xué)習(xí)的智能體軌跡預(yù)測(cè)的優(yōu)缺點(diǎn)和未來(lái)的發(fā)展方向。

4.1 總結(jié)

在過(guò)去的十年中,由于傳統(tǒng)的軌跡預(yù)測(cè)方法僅適用于簡(jiǎn)單場(chǎng)景和短期預(yù)測(cè),而基于深度學(xué)習(xí)的方法可以在更長(zhǎng)的時(shí)間范圍內(nèi)進(jìn)行準(zhǔn)確預(yù)測(cè),所以軌跡預(yù)測(cè)的研究已經(jīng)從基于物理的方法轉(zhuǎn)向基于深度學(xué)習(xí)的方法。 本文主要研究了基于深度學(xué)習(xí)的軌跡預(yù)測(cè)方向的文獻(xiàn),將行人和車輛的軌跡預(yù)測(cè)文獻(xiàn)以模型的形式進(jìn)行分類介紹,并進(jìn)行總結(jié)。 智能軌跡預(yù)測(cè)的發(fā)展吸引了越來(lái)越多的學(xué)者,但仍面臨著各種挑戰(zhàn),本文也概述了未來(lái)軌跡預(yù)測(cè)研究的潛在方向,以供讀者閱讀。 “預(yù)測(cè)是困難的,尤其是對(duì)未來(lái)某一時(shí)段的預(yù)測(cè)”[54],這句話也適用于智能體的軌跡預(yù)測(cè),基于深度學(xué)習(xí)的方法明顯優(yōu)于傳統(tǒng)軌跡預(yù)測(cè)模型,也表明了當(dāng)今人工智能的發(fā)展非常迅速,隨著技術(shù)的更新以及算法性能的提高,智能軌跡預(yù)測(cè)一定能迎來(lái)一個(gè)新的時(shí)期。

4.2 展望

近些年來(lái),軌跡預(yù)測(cè)正朝著復(fù)雜的預(yù)測(cè)方向發(fā)展。 目前人工智能領(lǐng)域主要使用深度學(xué)習(xí)處理智能體的軌跡預(yù)測(cè)問(wèn)題,以便更好地估計(jì)真實(shí)數(shù)據(jù)與上下文之間的關(guān)系。 主要從算法、數(shù)據(jù)集和評(píng)估指標(biāo)進(jìn)行展望,軌跡預(yù)測(cè)在未來(lái)將有以下幾個(gè)方向:

① 算法:目前的算法通過(guò)輸入高清圖像、考慮智能體之間交互的相關(guān)因素,以此生成符合智能體意圖的多模態(tài)軌跡從而實(shí)現(xiàn)高精度。 然而,大多數(shù)方法都是在特定的場(chǎng)景,如十字路口、高速公路和無(wú)信號(hào)的環(huán)形交叉口等,但智能體的行駛場(chǎng)景多種多樣,未來(lái)應(yīng)該開(kāi)發(fā)一種能夠適用各種環(huán)境且具有魯棒性的模型來(lái)預(yù)測(cè)智能體的軌跡。

② 數(shù)據(jù)集:當(dāng)前的智能軌跡預(yù)測(cè)數(shù)據(jù)集的應(yīng)用場(chǎng)景大多是采用俯瞰視角的道路交通場(chǎng)景,這種數(shù)據(jù)集不能夠支撐實(shí)際的應(yīng)用。 除了要考慮智能體之間的交互、場(chǎng)景信息、智能體的狀態(tài),還應(yīng)將道路規(guī)則納入數(shù)據(jù)的輸入中。 然而當(dāng)前的智能軌跡預(yù)測(cè)沒(méi)有一個(gè)統(tǒng)一的基準(zhǔn),這就決定了基于深度學(xué)習(xí)方法下的軌跡預(yù)測(cè)模型很難與其他方法做一個(gè)比較,一個(gè)好的軌跡預(yù)測(cè)模型必須要綜合利用不同的信息,因此創(chuàng)建一個(gè)信息完備(各種視角、場(chǎng)景結(jié)構(gòu)和軌跡信息等)的用于軌跡預(yù)測(cè)的基準(zhǔn)數(shù)據(jù)集是有必要的[46]。

③ 評(píng)估指標(biāo):除了常用的評(píng)估指標(biāo)外,還應(yīng)考慮概率度量和算法的效率、算法的計(jì)算時(shí)間,提高模型的可信度。