時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景元建模方法*

張夢寒 ,杜德慧 ,張銘茁 ,張 雷 ,王 耀 ,周文韜

1(華東師范大學(xué) 軟件工程學(xué)院,上海 200062)

2(上海市高可信重點實驗室(華東師范大學(xué)),上海 200062)

3(教育部可信軟件國際合作聯(lián)合實驗室(華東師范大學(xué)),上海 200062)

4(同濟大學(xué) 上海自主智能無人系統(tǒng)科學(xué)中心,上海 201210)

近年來,大數(shù)據(jù)、人工智能、自動駕駛、智慧城市、智能交通等領(lǐng)域的快速發(fā)展促進了新一代信息技術(shù)的廣泛應(yīng)用,將所產(chǎn)生的海量數(shù)據(jù)用于安全攸關(guān)場景中進行建模分析是一個亟待解決的問題.把地球觀測所產(chǎn)生的時空數(shù)據(jù),與公眾媒體數(shù)據(jù)(例如,城市攝像頭、社交媒體、個人活動等)進行有效的時空融合、高可信建模、大數(shù)據(jù)處理及面向特定領(lǐng)域的時空數(shù)據(jù)應(yīng)用,已成為空間信息技術(shù)領(lǐng)域和大數(shù)據(jù)應(yīng)用領(lǐng)域的研究熱點.尤其是全球衛(wèi)星導(dǎo)航定位系統(tǒng)(global navigation satellite system,簡稱GNSS)、中國遙感衛(wèi)星(remote sensing,簡稱RS)、地理信息系統(tǒng)(geographic information system,簡稱GIS)和智慧城市(smart city)綜合技術(shù)的日新月異,使得時空數(shù)據(jù)更加豐富,也呈現(xiàn)出高空間分辨率、高時間分辨率、高光譜分辨率、高精準時空標識與多維屬性等特點.時空軌跡數(shù)據(jù)是一種特殊的時空數(shù)據(jù),涵蓋了幾何、光譜、行為以及語義關(guān)聯(lián)等信息,具有海量、異構(gòu)、動態(tài)等特點,反映出現(xiàn)實世界的多元性和復(fù)雜性,因此,對其進行數(shù)據(jù)建模、描述、評估與驗證等多層次的分析、數(shù)據(jù)驅(qū)動的應(yīng)用開發(fā),已成為感知、認知與控制客觀世界數(shù)據(jù)形態(tài)的重要途徑[1-3].

與此同時,汽車自動駕駛技術(shù)的飛速發(fā)展,引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注,但也帶來了一系列的安全問題.例如,2020 年9 月5 日一輛特斯拉Model X 失控造成交通事故2 死6 傷,狀況慘烈[4];在2020 年6 月初,特斯拉Model 3 在臺灣嘉義的高速公路上撞上一輛側(cè)翻在地的白色廂式貨車,汽車的自動駕駛和輔助駕駛系統(tǒng)均未采取任何減速措施[4].這一系列的自動駕駛車輛造成的交通事故給人們敲響了警鐘,在自動駕駛汽車正式投入市場之前還有著漫長的路程,需要大量的實驗來保證自動駕駛的安全性.根據(jù)蘭德公司的研究報告[5],要足夠表明自動駕駛汽車在傷亡方面的可靠性,需要進行數(shù)億至數(shù)千億英里的公共道路測試.但是,隨著駕駛自動化級別越來越高,規(guī)模越來越大,實車測試不能滿足驗證需求.然而,仿真測試使用一些計算方法、仿真軟件以及仿真參數(shù)實現(xiàn)的虛擬場景仿真,得到的數(shù)據(jù)并不能完全代表真實汽車自動駕駛的行駛數(shù)據(jù)[6].因此,若要加速自動駕駛汽車快速、安全上路,不僅要依靠仿真測試,還需要提高自動駕駛汽車場景建模的準確性和數(shù)據(jù)分析的有效性,其中,高質(zhì)量時空軌跡數(shù)據(jù)的挖掘與利用是實現(xiàn)自動駕駛真實場景建模的關(guān)鍵[7,8].但目前,面向真實時空軌跡數(shù)據(jù)的場景建模方法和技術(shù)仍然存在不足之處:自動駕駛場景建模的研究主要聚焦在建模場景的設(shè)計上,重點討論仿真的結(jié)果,而沒有一套系統(tǒng)的模型驅(qū)動和數(shù)據(jù)驅(qū)動協(xié)同開發(fā)的建模方法,不方便對真實數(shù)據(jù)的管理以及高質(zhì)量數(shù)據(jù)的生成,且存在缺乏良好可讀性的場景描述語言和難以進行形式化驗證的問題.雖然GeoScenario[9]和Scenic[10]較其他場景建模語言更簡潔,可讀性有一定的提高,但它們的描述方式對于領(lǐng)域?qū)＜也粔蛴押?也無法使用形式化方法對場景進行驗證分析.總之,現(xiàn)階段亟需一套時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景建模方法,將真實物理世界中的自動駕駛場景進行抽象建模,以實現(xiàn)構(gòu)建特定的安全場景庫,為汽車自動駕駛領(lǐng)域的場景建模、仿真、驗證奠定基礎(chǔ).

針對以上問題,本文提出一種時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景元建模方法,用于指導(dǎo)安全攸關(guān)場景的建模、仿真、驗證以及安全場景庫的構(gòu)建,將時空軌跡數(shù)據(jù)更好地應(yīng)用于自動駕駛領(lǐng)域的場景建模中,為自動駕駛領(lǐng)域的數(shù)據(jù)驅(qū)動和模型驅(qū)動協(xié)同開發(fā)的場景建模提供一種可行的解決方案.自動駕駛汽車在真實環(huán)境中行駛會產(chǎn)生該車的軌跡路線,通過獲得該軌跡周邊的靜態(tài)及動態(tài)場景形成特定的時空軌跡數(shù)據(jù),用于自動駕駛場景的數(shù)據(jù)支撐.首先,使用開源地圖(open street map,簡稱OSM)[11]抽取道路網(wǎng)絡(luò)結(jié)構(gòu)并將其建模成靜態(tài)場景模型,使用地圖匹配算法用自動駕駛車輛的GPS 定位軌跡點匹配到該路網(wǎng)場景模型中,并使用車載傳感器、車聯(lián)網(wǎng)等技術(shù)采集周邊動態(tài)信息(包括其他車輛、行人等);通過相關(guān)部門獲取該段路網(wǎng)的相關(guān)速度限制、交通管制情況、交通擁塞情況等,實現(xiàn)特定時空軌跡數(shù)據(jù)的采集.然后,經(jīng)過數(shù)據(jù)的清洗、融合、統(tǒng)一表達之后得到真實世界的場景軌跡數(shù)據(jù)集.最后,使用自動駕駛安全場景建模語言自動實例化方法,將結(jié)構(gòu)化的軌跡數(shù)據(jù)集用作自動駕駛場景模型的輸入,以便于自動實例化自動駕駛的場景模型,實現(xiàn)自動駕駛真實場景的建模與仿真,并實例化自動駕駛車輛在多場景下的運行情況,從而構(gòu)建對應(yīng)的自動駕駛安全攸關(guān)場景庫,為后期工作提供數(shù)據(jù)支撐.

綜上,本文主要工作包括:

(1) 提出一種時空軌跡數(shù)據(jù)驅(qū)動的汽車自動駕駛安全場景元建模方法.該方法支持模型驅(qū)動和數(shù)據(jù)驅(qū)動協(xié)同開發(fā),為自動駕駛領(lǐng)域場景建模提供一種新的研究思路;

(2) 提出一種基于元對象機制(meta object facility,簡稱MOF)[12,13]的時空軌跡數(shù)據(jù)元建模技術(shù)體系,并結(jié)合汽車自動駕駛領(lǐng)域知識,構(gòu)建時空軌跡數(shù)據(jù)元模型,用于指導(dǎo)時空軌跡數(shù)據(jù)驅(qū)動的領(lǐng)域建模;

(3) 結(jié)合我們前期的研究成果——自動駕駛安全場景建模語言(autonomous driving specification modeling language,簡稱ADSML)[14],實現(xiàn)自動實例化自動駕駛安全場景,用于構(gòu)建面向汽車自動駕駛領(lǐng)域的場景模型庫.

本文第1 節(jié)介紹時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景元建模方法.第2 節(jié)對時空軌跡數(shù)據(jù)元建模方法加以介紹,包括時空軌跡的元數(shù)據(jù)結(jié)構(gòu)、基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系、時空軌跡數(shù)據(jù)元模型和數(shù)據(jù)的預(yù)處理及質(zhì)量評價.第3 節(jié)結(jié)合自動駕駛場景建模語言ADSML,基于時空軌跡數(shù)據(jù)元模型,自動實例化時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景模型,實際應(yīng)用表明,該方法具有可行性.第4 節(jié)對相關(guān)工作進行對比、分析.最后,總結(jié)全文并對未來值得關(guān)注的研究方向進行探討.

1 時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景建模

根據(jù)安全場景建模所面臨的問題,本文提出時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景元建模方法.該方法的核心思想是結(jié)合數(shù)據(jù)驅(qū)動工程、汽車自動駕駛安全場景領(lǐng)域需求和國際標準[15-18],從復(fù)雜的時空軌跡數(shù)據(jù)抽象出面向汽車自動駕駛領(lǐng)域的時空軌跡數(shù)據(jù)元模型.根據(jù)時空軌跡數(shù)據(jù)集構(gòu)建時空軌跡數(shù)據(jù)的知識庫,進而將時空軌跡數(shù)據(jù)與領(lǐng)域模型相結(jié)合,以數(shù)據(jù)驅(qū)動和模型驅(qū)動協(xié)同開發(fā)的方式,設(shè)計、開發(fā)高可信的自動駕駛軟件系統(tǒng).具體地,根據(jù)MOF 元建模理論及方法,構(gòu)建時空軌跡數(shù)據(jù)的元模型,為GIS、GNSS、RS 等多維、異構(gòu)時空軌跡數(shù)據(jù)提供統(tǒng)一的數(shù)據(jù)元模型,構(gòu)建數(shù)據(jù)的統(tǒng)一表示形式,以支持時空軌跡數(shù)據(jù)的融合、轉(zhuǎn)換、共享等.進而,在時空軌跡數(shù)據(jù)元模型的指導(dǎo)下,構(gòu)建面向自動駕駛領(lǐng)域的場景模型,最終實現(xiàn)構(gòu)建系統(tǒng)的架構(gòu)模型.

如圖1 所示,該建?？蚣苤饕ㄆ叽竽K:時空軌跡數(shù)據(jù)采集、時空軌跡數(shù)據(jù)預(yù)處理及質(zhì)量評價、基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系、時空軌跡數(shù)據(jù)元模型構(gòu)建、自動駕駛安全場景建模語言設(shè)計、自動駕駛安全場景及場景庫的構(gòu)建以及自動駕駛安全場景規(guī)約與驗證.本文的討論重點是第3 模塊和第4 模塊,下面對這7 個模塊進行簡要的描述.

(1) 時空軌跡數(shù)據(jù)采集:從全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS、天地一體化遙感RS、三維地理信息系統(tǒng)3DGIS、開源地圖OSM、物聯(lián)網(wǎng)(Internet of Thing,簡稱IoT)、車聯(lián)網(wǎng)(vehicle to X,簡稱V2X)、車載傳感器Sensor 及自動駕駛領(lǐng)域知識(autonomous driving system,簡稱ADS)中收集可度量和不可度量的具有時間與空間關(guān)系的數(shù)據(jù),構(gòu)成時空軌跡數(shù)據(jù),包括時間數(shù)據(jù)、空間數(shù)據(jù)、光譜數(shù)據(jù)、人文數(shù)據(jù)、社會數(shù)據(jù)、數(shù)據(jù)質(zhì)量以及自動駕駛領(lǐng)域知識和其他數(shù)據(jù),并根據(jù)自動駕駛領(lǐng)域知識和需求,抽象出了時空軌跡的元數(shù)據(jù)結(jié)構(gòu),用于指導(dǎo)時空軌跡數(shù)據(jù)的處理和后期的應(yīng)用.這部分內(nèi)容將在第2.1 節(jié)和第2.4 節(jié)給出詳細的介紹.

Fig.1 Meta-modeling framework of autonomous driving safety-critical scenarios based on spatio-temporal trajectory model圖1 時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景元建?？蚣?/p>

(2) 時空軌跡數(shù)據(jù)預(yù)處理及質(zhì)量評價:通過對時空軌跡數(shù)據(jù)清洗、融合和統(tǒng)一表達,并提出時空軌跡數(shù)據(jù)的質(zhì)量評價模型,為處理得到的時空軌跡數(shù)據(jù)提供質(zhì)量評價標準,確保得到高質(zhì)量的時空軌跡數(shù)據(jù).這部分內(nèi)容將在第2.4 節(jié)詳細加以介紹.

(3) 基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系:基于MOF建?？蚣芴岢隽藭r空軌跡數(shù)據(jù)元建模技術(shù)體系,元建模的層次劃分,為元數(shù)據(jù)的建模、元數(shù)據(jù)的交換、共享、互操作奠定了基礎(chǔ).此外,基于時空軌跡數(shù)據(jù)的元建模技術(shù)體系,可以結(jié)合不同的領(lǐng)域知識,設(shè)計、開發(fā)領(lǐng)域建模語言,實現(xiàn)數(shù)據(jù)驅(qū)動和模型驅(qū)動協(xié)同開發(fā)的領(lǐng)域建模.這部分內(nèi)容將在第2.2 節(jié)加以討論.

(4) 時空軌跡數(shù)據(jù)元模型構(gòu)建:結(jié)合汽車自動駕駛的領(lǐng)域知識模型和時空軌跡數(shù)據(jù)元建模技術(shù)體系,構(gòu)建出汽車自動駕駛領(lǐng)域的時空軌跡數(shù)據(jù)元模型,指導(dǎo)時空軌跡數(shù)據(jù)在自動駕駛領(lǐng)域的場景建模分析,用于構(gòu)建面向該領(lǐng)域場景模型的數(shù)據(jù)輸入.這部分內(nèi)容將在第2.3 節(jié)詳細加以討論.

(5) 自動駕駛安全場景建模語言設(shè)計:我們前期工作實現(xiàn)的一種面向自動駕駛領(lǐng)域的場景建模語言ADSML,這里簡單給出了該語言的語法及語義;介紹了ADSML 的圖形化建模工具,幫助建模人員建模汽車自動駕駛的安全場景模型.這部分內(nèi)容將在第3.1 節(jié)加以討論.

(6) 自動駕駛安全場景及場景庫的構(gòu)建:結(jié)合高質(zhì)量的時空軌跡數(shù)據(jù)和汽車自動駕駛安全場景建模語言實例化場景模型,進而構(gòu)建面向自動駕駛領(lǐng)域的安全場景庫.該場景庫為自動駕駛安全場景規(guī)約和驗證奠定了基礎(chǔ).這部分內(nèi)容將在第3.2 節(jié)加以討論.

(7) 自動駕駛安全場景規(guī)約與驗證:該模塊的主要功能是使用信號時態(tài)邏輯(signal temporal logic,簡稱STL)[19]規(guī)約場景的需求,也支持基于該場景庫使用統(tǒng)計模型檢測技術(shù)驗證、分析場景模型的安全性質(zhì),為汽車自動駕駛安全行駛做前期驗證工作,并為該場景庫賦予更加明確的作用.這是我們下一階段的研究重點.

時空軌跡數(shù)據(jù)驅(qū)動的安全場景元建模方法涵蓋了汽車自動駕駛領(lǐng)域的場景建模、仿真、驗證工作的全過程,為自動駕駛技術(shù)的產(chǎn)業(yè)落地提供了安全場景仿真測試技術(shù)支撐.本文將重點討論如何采用該方法來解決時空數(shù)據(jù)驅(qū)動的安全場景元建模問題,其中,面向自動駕駛領(lǐng)域的時空軌跡數(shù)據(jù)元建模方法是本文工作的主要貢獻之一.

2 面向汽車自動駕駛的時空軌跡數(shù)據(jù)元建模

根據(jù)時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景元建模方法,本節(jié)將重點討論如何根據(jù)自動駕駛的領(lǐng)域特征,構(gòu)建時空軌跡的元數(shù)據(jù)結(jié)構(gòu)、基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系、時空軌跡數(shù)據(jù)元模型.最后結(jié)合數(shù)據(jù)評價模型給出高質(zhì)量的時空軌跡數(shù)據(jù)評價方法.

2.1 時空軌跡的元數(shù)據(jù)結(jié)構(gòu)

時空軌跡數(shù)據(jù)包含了豐富的時空特征信息,具有來源多樣化、海量異構(gòu)等特征,既需要對時空軌跡數(shù)據(jù)中隱含的價值信息作深入的挖掘分析,還需對時空軌跡數(shù)據(jù)進行高效的處理,以此挖掘分析、抽象建模出自動駕駛車輛的真實行駛場景模型.本文所提出的自動駕駛時空軌跡數(shù)據(jù)不僅包括當(dāng)前自動駕駛車輛的軌跡數(shù)據(jù),還包括車輛周邊靜態(tài)信息(例如,空間信息、光譜信息、人文信息以及社會信息等)和動態(tài)環(huán)境信息(例如,交通參與者信息等).因此,根據(jù)時空軌跡數(shù)據(jù)特征以及自動駕駛領(lǐng)域場景建模的需求,抽象出了自動駕駛車輛的時空軌跡數(shù)據(jù)的元數(shù)據(jù)結(jié)構(gòu),如圖2 所示.

時空軌跡的元數(shù)據(jù)結(jié)構(gòu)是構(gòu)建時空軌跡數(shù)據(jù)及其應(yīng)用的基礎(chǔ)[2,3].利用GNSS 得到的空間位置和觀測時間信息,元數(shù)據(jù)可表示為GNSSinfo=f(φ,μ,H,tp,π),其中,(φ,μ,H)分別表示GNSS 所處空間位置的經(jīng)緯度坐標和高程值;(tp,π)分別表示GNSS 接收機的觀測時間和其他參數(shù).利用遙感設(shè)備(天基、空基和地基)實現(xiàn)對地觀測,所獲得的地物波譜信息表示為RS info=f(x,y,z,λ,tR),其中,(x,y)為空間位置參數(shù);(z)為對應(yīng)于(x,y)的觀測值(與空間分辨率有關(guān));(λ)為所使用的電磁波段(與光譜分辨率有關(guān));(tR)為對地同一目標物的重復(fù)觀測周期.對于GIS,可表示為GISinfo={i,j,T(A),tG}.其中,(i,j)為系統(tǒng)所采用的空間位置坐標;T(A)為系統(tǒng)坐標(i,j)所對應(yīng)的空間特征與相應(yīng)屬性;(tG)為系統(tǒng)信息的時間特征.使用開源地圖OSM 獲取環(huán)境中的路網(wǎng)結(jié)構(gòu)信息,表示為OSMinfo={R},R表示獲取的路網(wǎng)結(jié)構(gòu)數(shù)據(jù).對于來自于物聯(lián)網(wǎng)和社交媒體的人文與社會數(shù)據(jù),可表示為 Moreinfo={C(α,β,τ,HT),S(γ,ψ,ω,TC),t,π}.其中,C(α,β,τ,HT)為人文屬性的參數(shù)及其信息集合,S(Y,ψ,ω,TC)為社會屬性參數(shù)及其信息集合,t為信息采集時間標識,π為其他多源數(shù)據(jù).針對車載傳感器及車聯(lián)網(wǎng)等技術(shù)獲取的信息表示為SV={P,G},P和G分別表示采集的交通參與者以及軌跡點集.ADS 為汽車自動駕駛領(lǐng)域知識模型.質(zhì)量評價模型D表示為時間精度(TA)、定位精度(PA)、數(shù)據(jù)準確性(DA)、時空一致性(TSC)、軌跡完整度(TI)以及采樣頻率(SF).

因此,可以統(tǒng)一描述信息載體的空間關(guān)系K(φ,μ,H,R,P,G)、時間關(guān)系T(tp,tG)、光譜特征A(λ)、人文屬性C(α,β,τ,HT)、社會屬性S(Y,ψ,ω,TC)、質(zhì)量評價模型D(TA,PA,DA,TSC,TI,SF)、自動駕駛領(lǐng)域知識ADS 以及其他數(shù)據(jù)π.構(gòu)建統(tǒng)一的時空元數(shù)據(jù)表達式:Spatio-TemporalMetadata=f{K(φ,μ,H,R,P,G)、T(tp,tG)、(λ)、C(α,β,τ,HT)、S(Y,ψ,ω,TC)、D(TA,PA,DA,TSC,TI,SF)、ADS、π}相關(guān)表達將多時相、多尺度、多類型、多源異構(gòu)等時空信息統(tǒng)一在時間尺度與空間坐標下的動態(tài)管理,綜合分析了時間分辨率、空間分辨率、光譜分辨率和地理標識的精細化,實現(xiàn)了時空數(shù)據(jù)的有效記錄、承載、共享和交換.時空軌跡的元數(shù)據(jù)結(jié)構(gòu)是對軌跡數(shù)據(jù)的結(jié)構(gòu)化描述,為自動駕駛場景元建模方法奠定基礎(chǔ),同時還是保證數(shù)據(jù)質(zhì)量的關(guān)鍵.

Fig.2 Metadata structure of spatiotemporal trajectory data圖2 時空軌跡的元數(shù)據(jù)結(jié)構(gòu)

2.2 基于MOF的時空軌跡數(shù)據(jù)元建模技術(shù)體系

本文基于MOF 實現(xiàn)了時空軌跡數(shù)據(jù)的元建模技術(shù)體系.具體地,MOF 元建模機制包含4 層結(jié)構(gòu):元元模型層M3、元模型層M2、模型層M1 以及實例層M0,從M0 到M3 抽象程度逐漸增加.元建模的層次劃分為元數(shù)據(jù)的建模,元數(shù)據(jù)的交換、共享、互操作奠定了基礎(chǔ).此外,基于此技術(shù)體系,可以結(jié)合不同的領(lǐng)域知識,設(shè)計、開發(fā)領(lǐng)域建模語言,實現(xiàn)數(shù)據(jù)驅(qū)動和模型驅(qū)動協(xié)同開發(fā)的領(lǐng)域建模,幫助構(gòu)建領(lǐng)域模型.

圖3 所示為本文提出的基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系,其抽象層次由M3 到M0 層構(gòu)成,具體如下.

(1) 元元模型M3 層:高度抽象出汽車自動駕駛時空軌跡數(shù)據(jù)的元元模型,定義了時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景建模相關(guān)概念、需求及抽象語義;

(2) M2 元模型層:這是元元模型的實例,根據(jù)OMG 規(guī)定的軟件工程中的元模型開發(fā)標準,將數(shù)據(jù)元元模型分為3 個模塊:數(shù)據(jù)元模型模塊、工具元模型模塊以及數(shù)據(jù)存儲元模型模塊.在數(shù)據(jù)元模型模塊中,根據(jù)汽車自動駕駛領(lǐng)域的需求、概念、特征[14]等抽象出數(shù)據(jù)元模型,包括七大類:數(shù)據(jù)標簽(tag)、數(shù)據(jù)來源(source)、數(shù)據(jù)內(nèi)容(content)、場景契約(contract)、數(shù)據(jù)質(zhì)量(quality)、場景安全(critical)及軌跡數(shù)據(jù)(track),這些信息基本涵蓋了自動駕駛安全場景建模領(lǐng)域所必需的數(shù)據(jù);工具元模型模塊設(shè)計了獲取安全場景時空軌跡數(shù)據(jù)的接口實現(xiàn)標準,可以更方便地處理時空軌跡數(shù)據(jù),為場景建模提供持續(xù)的數(shù)據(jù)流輸入;數(shù)據(jù)存儲元模型模塊制定了數(shù)據(jù)存儲規(guī)范,可以使數(shù)據(jù)以可讀的形式呈現(xiàn)出來,并對數(shù)據(jù)模型進行分析和評估;

(3) 模型M1 層:它不僅是元模型的實例化,還是實例層數(shù)據(jù)的格式化表達和存儲.將M2 元模型層更直觀地表達為數(shù)據(jù)結(jié)構(gòu)、XML 文檔模型、數(shù)據(jù)模型.對于自動駕駛安全場景建模,將元模型層中抽象出的7 類數(shù)據(jù)(例如Tag 等)具體化,主要表現(xiàn)為數(shù)據(jù)標識(Identification)、真實數(shù)據(jù)(RealWorld)、時間參數(shù)(Temporal)、空間參數(shù)(Spatial)、光譜參數(shù)(Spectrum)、社會參數(shù)(Society)、人文參數(shù)(Environment)、自動駕駛領(lǐng)域知識(ADS)、契約約束(Contracts)、違規(guī)事件(IllegalEvent)、軌跡特征(Tracks)及時空軌跡數(shù)據(jù)質(zhì)量評價(QualityEvaluation)這12元組的數(shù)據(jù)結(jié)構(gòu);基于XML 編碼格式,為以上數(shù)據(jù)結(jié)構(gòu)設(shè)計了XML 文檔模型,存儲高質(zhì)量時空軌跡數(shù)據(jù);將以上XML 文檔模型表示成時空軌跡數(shù)據(jù)模型;

(4) 實例M0 層:根據(jù)模型層所需要的數(shù)據(jù)結(jié)構(gòu),為模型提供數(shù)據(jù)來源,指出12 維時空軌跡數(shù)據(jù)主要來自全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS、天地一體化遙感RS、三維地理信息系統(tǒng)3DGIS、開源地圖OSM、物聯(lián)網(wǎng)IoT、車聯(lián)網(wǎng)V2X、車載傳感器Sensor、自動駕駛領(lǐng)域知識ADS 等,為時空軌跡數(shù)據(jù)的采集提供方法,為數(shù)據(jù)模型提供數(shù)據(jù)采集和處理.

Fig.3 Spatio-temporal trajectory data meta-modeling technology system based on MOF圖3 基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系

以上為基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系,從數(shù)據(jù)的采集及預(yù)處理、數(shù)據(jù)的模型及數(shù)據(jù)封裝存儲、數(shù)據(jù)元模型等,為時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景建模提供數(shù)據(jù)支撐和技術(shù)參考.

2.3 時空軌跡數(shù)據(jù)元模型

在基于模型驅(qū)動的軟件開發(fā)方法中,元建模是對某一特定領(lǐng)域的“概念(事件、條件等)”進行抽象表示的集合.元模型是基于模型抽象出模型公有的、本質(zhì)的建模元素,是模型的模型.第2.1 節(jié)介紹的時空軌跡的元數(shù)據(jù)結(jié)構(gòu)可以指導(dǎo)建模人員從采集的海量數(shù)據(jù)中捕獲自動駕駛領(lǐng)域所需要的數(shù)據(jù),通過將其封裝成時空軌跡數(shù)據(jù)元模型,方便建模人員從模型驅(qū)動的角度構(gòu)建自動駕駛場景模型,從而為自動駕駛場景建模工具提供結(jié)構(gòu)化數(shù)據(jù).因此,本文根據(jù)第2.2 節(jié)中的基于MOF 的時空軌跡數(shù)據(jù)元建模技術(shù)體系抽象出汽車自動駕駛時空軌跡數(shù)據(jù)元模型,指導(dǎo)自動駕駛安全場景的構(gòu)建,具體如圖4 所示.

圖4 展示了基于汽車自動駕駛安全場景建模的時空軌跡數(shù)據(jù)元模型(spatio-temporal trajectory meta model,簡稱STTMM).為方便建模、仿真、驗證的研究,在第2.2 節(jié)所介紹的內(nèi)容的指導(dǎo)下,將7 類數(shù)據(jù)元模型作為時空軌跡數(shù)據(jù)元模型的核心部分:數(shù)據(jù)標簽、數(shù)據(jù)來源(source)、數(shù)據(jù)內(nèi)容、場景契約、數(shù)據(jù)質(zhì)量、場景安全以及軌跡數(shù)據(jù).在此基礎(chǔ)上,12 維時空軌跡數(shù)據(jù)作為其擴展共同構(gòu)成時空軌跡數(shù)據(jù)元模型,使得元模型更加細粒度地建模汽車自動駕駛的時空軌跡數(shù)據(jù),主要包括數(shù)據(jù)標識、真實數(shù)據(jù)、時間參數(shù)、空間參數(shù)、光譜參數(shù)、社會參數(shù)、人文參數(shù)、自動駕駛領(lǐng)域知識、契約約束、違規(guī)事件、軌跡特征、時空軌跡數(shù)據(jù)質(zhì)量評價這12 元組的數(shù)據(jù)結(jié)構(gòu).

Fig.4 Meta-model of spatio-temporal trajectory data圖4 時空軌跡數(shù)據(jù)的元模型

其中,數(shù)據(jù)標簽細化為數(shù)據(jù)標識,主要描述自動駕駛安全場景中的特征信息;數(shù)據(jù)來源細化為真實數(shù)據(jù),記錄了從真實世界中獲取時空軌跡數(shù)據(jù)的來源及方式.例如,GNSS 等;數(shù)據(jù)內(nèi)容細化為時間參數(shù)、空間參數(shù)、光譜參數(shù)、社會參數(shù)、人文參數(shù)、自動駕駛領(lǐng)域知識,其中,時間參數(shù)包括時間戳、觀測時間和系統(tǒng)時間,空間參數(shù)包括經(jīng)度值、緯度值、高程值、道路信息、周邊行人,光譜參數(shù)包括全光譜,社會參數(shù)包括農(nóng)業(yè)、工業(yè)、商業(yè)、交通管制情況,環(huán)境參數(shù)包括人口、分布、地理、交通狀態(tài),自動駕駛領(lǐng)域知識包括國際標準ISO 26262、領(lǐng)域知識;契約約束細化為契約約束,是自動駕駛安全場景下存在的約束條件,包括車輛最大速度、高度、寬度以及控制兩車距離;數(shù)據(jù)質(zhì)量細化為時空軌跡數(shù)據(jù)質(zhì)量評價,描述了時空軌跡數(shù)據(jù)的6 維質(zhì)量評價指標,即時間精度、定位精度、數(shù)據(jù)準確性、時空一致性、軌跡完整度以及采樣頻率;場景安全細化為違規(guī)事件,表示該自動駕駛安全場景是否為安全狀態(tài),記錄了幾種典型的違規(guī)場景.例如,是否有闖紅燈、占道、事故等情況;軌跡數(shù)據(jù)細化為軌跡特征,主要描述自動駕駛車輛的時空軌跡數(shù)據(jù),包括軌跡采樣點、軌跡采樣間隔、軌跡采樣方法.

時空軌跡數(shù)據(jù)的元模型為自動駕駛汽車安全場景建模提供數(shù)據(jù)支撐,結(jié)合該元模型可將時空軌跡數(shù)據(jù)進行結(jié)構(gòu)化的表示及存儲,進而支持以數(shù)據(jù)驅(qū)動的方式自動實例化自動駕駛的場景模型.

2.4 高質(zhì)量的時空軌跡數(shù)據(jù)管理

高質(zhì)量的時空軌跡數(shù)據(jù)是自動駕駛安全場景建模的核心,決定了數(shù)據(jù)驅(qū)動場景模型驗證的準確性和可靠性.因此需要經(jīng)過時空軌跡數(shù)據(jù)的采集、預(yù)處理及質(zhì)量評價模型來確保時空軌跡數(shù)據(jù)的質(zhì)量.時空軌跡數(shù)據(jù)的準確采集和處理是為汽車自動駕駛安全場景建模提供高質(zhì)量逼真數(shù)據(jù)的首要工作.其次,在構(gòu)建抽象的自動駕駛安全場景時,由于原始時空軌跡數(shù)據(jù)的來源比較復(fù)雜,且存在數(shù)據(jù)格式不一致以及數(shù)據(jù)缺失等問題,因此需要對不同來源的數(shù)據(jù)作數(shù)據(jù)融合、數(shù)據(jù)清洗和數(shù)據(jù)統(tǒng)一表示.最后,需要用一套數(shù)據(jù)質(zhì)量評價方法對得到的時空軌跡數(shù)據(jù)進行量化評估,確保得到高質(zhì)量的時空軌跡數(shù)據(jù).圖1 所示模塊1 和模塊2 的具體實現(xiàn)方法如下.

(1) 時空軌跡數(shù)據(jù)采集

高質(zhì)量數(shù)據(jù)的精準獲取直接決定了汽車自動駕駛安全場景的真實性和有效性.根據(jù)第2.2 節(jié)中數(shù)據(jù)元建模技術(shù)體系的指導(dǎo),針對自動駕駛汽車時空軌跡數(shù)據(jù)的靜態(tài)數(shù)據(jù),使用OpenStreetMap(OSM)獲取自動駕駛車輛所在的路網(wǎng)結(jié)構(gòu)信息,根據(jù)時空軌跡的元數(shù)據(jù)結(jié)構(gòu)抽取其中的關(guān)鍵道路信息,用于構(gòu)建自動駕駛場景的路網(wǎng)及靜態(tài)環(huán)境建模.針對自動駕駛汽車時空軌跡以及周邊的動態(tài)數(shù)據(jù)的獲取,使用GPS 定位技術(shù)獲取自動駕駛車輛的實時定位以獲取其軌跡數(shù)據(jù)[20],在GPS 定位的同時通過車載雷達、攝像頭、傳感器、車聯(lián)網(wǎng)等技術(shù)探測車輛周邊所有方向的物體,獲取自動駕駛車輛周邊車輛信息和行人信息,構(gòu)成時空軌跡數(shù)據(jù).以上可完成自動駕駛時空軌跡數(shù)據(jù)的采集工作.

(2) 時空軌跡數(shù)據(jù)預(yù)處理

采集到時空軌跡數(shù)據(jù)之后可以對數(shù)據(jù)進行預(yù)處理,主要是清洗時空軌跡數(shù)據(jù)中相似重復(fù)數(shù)據(jù)、不完整數(shù)據(jù)處理、錯誤數(shù)據(jù)等[21].針對OSM 數(shù)據(jù),已有一套成熟的方法處理從OSM 上下載的地圖數(shù)據(jù),例如ArcGIS 等;針對GPS 獲取的自動駕駛車輛軌跡數(shù)據(jù),由于時空數(shù)據(jù)的海量特點,軌跡數(shù)據(jù)的采集一般采用低頻采樣技術(shù)[22],這樣會造成車輛GPS 定位點的定位軌跡與車輛實際所在地點的地圖軌跡存在一定的誤差,使用地圖匹配算法糾正自動駕駛車輛的軌跡數(shù)據(jù),以解決數(shù)據(jù)冗余高、精度差、不一致等問題[23];針對視頻數(shù)據(jù),由于在還原汽車自動駕駛場景時,需要使用到圖像視頻數(shù)據(jù),對道路結(jié)構(gòu)及周圍的環(huán)境進行分析,采用已有的圖像視頻數(shù)據(jù)挖掘的方法(例如自頂向下[24])對其處理;針對傳感器數(shù)據(jù),傳感器主要獲取周邊環(huán)境數(shù)據(jù),且在獲取傳感器數(shù)據(jù)時,會存在很多的冗余點和噪音點,現(xiàn)有的傳感器數(shù)據(jù)處理主要包括卡爾曼濾波等方法[25].

(3) 時空軌跡數(shù)據(jù)的質(zhì)量評價模型

時空軌跡數(shù)據(jù)的質(zhì)量影響著自動駕駛場景建模的準確性,傳統(tǒng)時空數(shù)據(jù)質(zhì)量評價方法無法有效地評價自動駕駛領(lǐng)域的時空軌跡數(shù)據(jù)的質(zhì)量,需要在此基礎(chǔ)上建立時空軌跡數(shù)據(jù)的質(zhì)量評價模型.本文參考了已有的時空數(shù)據(jù)質(zhì)量評價方法[22,26],結(jié)合自動駕駛汽車時空軌跡的元數(shù)據(jù)結(jié)構(gòu)和時空軌跡數(shù)據(jù)元模型,抽出了6 個評價指標,建立了自動駕駛車輛時空軌跡數(shù)據(jù)質(zhì)量評價模型.

如圖5 所示,時空軌跡數(shù)據(jù)質(zhì)量評價模型包括6 個評價指標:時間精度(TA)、定位精度(PA)、數(shù)據(jù)準確性(DA)、時空一致性(TSC)、軌跡完整度(TI)、采樣頻率(SF),這些是反映該領(lǐng)域知識的關(guān)鍵屬性,是評價面向自動駕駛領(lǐng)域的時空軌跡數(shù)據(jù)質(zhì)量的關(guān)鍵指標.關(guān)于每個指標權(quán)重的確定,本文結(jié)合時空數(shù)據(jù)評價體系和其他領(lǐng)域中的數(shù)據(jù)評價方法,采用專家打分法和層次分析法[27,28]得到指標的權(quán)重.同時,采用模糊綜合評價方法[29]解決時空軌跡數(shù)據(jù)的模糊不確定性,使得評價結(jié)果更具有合理性.各項指標對應(yīng)的評價公式也相應(yīng)給出.因此,數(shù)據(jù)質(zhì)量可以表示為

該評價模型很好地衡量了時空軌跡數(shù)據(jù)的質(zhì)量.有了時空軌跡數(shù)據(jù)質(zhì)量評價模型之后,就可以分析數(shù)據(jù)的質(zhì)量優(yōu)劣,對有輕量問題的數(shù)據(jù)做二次清洗工作,也可直接刪除有嚴重質(zhì)量問題的數(shù)據(jù).在后續(xù)工作中,我們將進一步討論評價模型,使其更加精確、有效.

Fig.5 Data quality evaluation model of spatio-temporal trajectory data圖5 時空軌跡數(shù)據(jù)的質(zhì)量評價模型

3 時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景建模

本節(jié)結(jié)合自動駕駛場景建模語言ADSML,討論如何將時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景元建模方法應(yīng)用到自動駕駛場景建模中,通過對時空軌跡數(shù)據(jù)的建模、分析,并將分析后的高質(zhì)量時空軌跡數(shù)據(jù)用于自動實例化ADSML 模型,從而構(gòu)建具有時空特征的自動駕駛場景模型.ADSML 是我們團隊前期實現(xiàn)的一種面向自動駕駛領(lǐng)域的建模語言,不僅為該領(lǐng)域提供了有效的建模技術(shù),還為以模型驅(qū)動和數(shù)據(jù)驅(qū)動協(xié)同開發(fā)的方式構(gòu)建自動駕駛系統(tǒng)奠定了基礎(chǔ).

3.1 ADSML自動駕駛場景建模語言

安全場景建模是對汽車自動駕駛安全場景進行仿真、驗證分析的基礎(chǔ),構(gòu)建場景模型需要根據(jù)該領(lǐng)域的數(shù)據(jù)元模型及領(lǐng)域知識,設(shè)計面向汽車自動駕駛的場景建模語言.因此,本課題組設(shè)計了自動駕駛場景建模語言ADSML,其遵循時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景元建模方法,建模人員首先分析需要建模的場景,從時空軌跡數(shù)據(jù)元模型中抽象出需要建模的元素以及元素的屬性,并根據(jù)場景分析抽象的結(jié)果使用ADSML 構(gòu)建場景模型,以支持模型驗證分析.ADSML 的主要特征之一是實現(xiàn)了場景元素構(gòu)建和隨機混成自動機交互式建模,能夠支持可視化建模與形式化建模的同步交互,幫助設(shè)計者構(gòu)建面向形式化驗證的場景模型.基于元編程系統(tǒng)(meta programming system,簡稱MPS)已在開源工具中實現(xiàn)了該建模語言.

ADSML 語法簡記為ADSML:=(Scenario,Contract,SHA),包含3 個部分,其中,

(1) 場景Scenario:簡記為Scenario:=(Map,Weather,RoadNetWork,Entity),描述了場景中所包含的靜態(tài)結(jié)構(gòu)元素;

(2) 契約Contract:簡記為Contract:=(Rule,Event),契約模塊關(guān)聯(lián)至場景描述模塊的實體應(yīng)遵守的規(guī)則和場景實體的部分動態(tài)行為,其中,動態(tài)行為是通過事件觸發(fā)器來描述的,即在某個條件下會觸發(fā)場景的某些元素的狀態(tài)變化;

(3) 隨機混成自動機SHA:用以描述場景實體動態(tài)行為,關(guān)聯(lián)或依賴于場景描述模塊和契約模塊.隨機混成自動機能夠很好地建模狀態(tài)的變化以及場景中實體的生命周期,為后期場景行為的正確性分析奠定基礎(chǔ).

ADSML 的具體語法和語義可參考團隊中的另一篇文獻[14].ADSML 建模實例如圖6 所示.

Fig.6 Case study:Overtaking scenario modeling with spatio-temporal trajectory data-driven modeling approach圖6 時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛變道超車場景示例

3.2 基于ADSML的自動駕駛安全場景實例化建模

本節(jié)提出基于時空軌跡數(shù)據(jù)元模型及元建模方法,結(jié)合自動駕駛安全場景模型ADSML 自動實例化自動駕駛的安全場景,并構(gòu)建自動駕駛安全場景庫.

自動駕駛場景自動實例化過程包括:(1) 高質(zhì)量時空軌跡數(shù)據(jù)的獲取:首先使用第2.4節(jié)中提到的方法,經(jīng)過時空軌跡數(shù)據(jù)采集、預(yù)處理及質(zhì)量評價等步驟獲取高質(zhì)量自動駕駛車輛的實時軌跡數(shù)據(jù).然后在第2.3 節(jié)時空軌跡數(shù)據(jù)元模型的指導(dǎo)下,根據(jù)時空軌跡數(shù)據(jù)的采樣頻率將其轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù),并以可讀的XML 格式存儲成數(shù)據(jù)文件,用于后續(xù)的場景建模和數(shù)據(jù)分析;(2) ADSML 自動駕駛場景建模:將時空軌跡數(shù)據(jù)按照時序關(guān)系導(dǎo)入ADSML 建模語言中并生成模型.其中,在第2.2 節(jié)數(shù)據(jù)元建模技術(shù)體系中為ADSML 的場景建模工具提供了時空軌跡數(shù)據(jù)接口,從而實現(xiàn)持續(xù)的數(shù)據(jù)流輸入,進而自動實例化場景模型;(3) 場景模型的安全性驗證:在得到ADSML 場景實例之后,使用圖1 所示模塊7 中的方法可以從模型中提取自動駕駛從車輛行程的隨機混成自動機,用于判斷該自動駕駛車輛是否按照某種既定的模式運行,若有像第2.3 節(jié)時空軌跡數(shù)據(jù)元模型中所提到的不合法事件發(fā)生,則將有可能使得該系統(tǒng)進入安全攸關(guān)狀態(tài)下,促使系統(tǒng)將該異常向上級報告.以上3 步為高可信時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛安全場景自動實例化建模提供了完整的方法,并且可以用該實例化的自動駕駛場景來學(xué)習(xí)預(yù)測自動駕駛車輛何時會進入不安全狀態(tài),以確保自動駕駛系統(tǒng)的安全運行.

使用上述實例化方法,用ADSML 自動駕駛場景建模語言建模自動駕駛變道超車場景模型,建模效果如圖6所示.其中,圖6(a)展示了ADSML 場景建模描述示例,包括地圖map 和路網(wǎng)結(jié)構(gòu)road network(對應(yīng)于GNSS、GIS、OSM 的數(shù)據(jù)來源)、天氣weather(對應(yīng)于RS 的數(shù)據(jù)來源)、場景實體entities(對應(yīng)于V2X、自動駕駛車輛采集的信息),其中,場景實體包括當(dāng)前車輛(veh_e)、前方車輛(veh_0f)、后方車輛(veh_1b),且車輛veh_e 和veh_0f 在同一車道,車輛veh_1b 在另一車道.在該場景中,車輛veh_e 需要變道到另一車道并超過車輛veh_0f,因此需要控制車輛的行駛速度以保證在不碰撞車輛veh_1b 的前提下超過車輛veh_0f;圖6(b)展示了超車場景中的隨機混成自動機,包括當(dāng)前自動駕駛車輛(veh_ego)、時鐘(timer)、控制器(controller)和模擬器(monitor)等,其中,veh_ego 中定義了當(dāng)前車輛的運行狀態(tài)及屬性,模擬受控車veh_e 的狀態(tài),包括前進、允許/不允許超車、加速/減速、返回原車道、結(jié)束超車等,并通過通道和控制器Controller 與其他模型進行交互,以此來建模其變道超車行為;圖6(c)展示了超車場景的契約模塊(對應(yīng)于時空軌跡數(shù)據(jù)中的契約Contract,描述了該場景中3 種車輛應(yīng)遵守的規(guī)則及其部分動態(tài)屬性,速度均應(yīng)限制在20m/s 內(nèi),該契約也可以輔助隨機混成自動機的建模;圖6(d)展示了自動駕駛車輛變道超車場景的可視化仿真模型圖,車輛veh_e 將會沿著紅線執(zhí)行變道超車,在仿真過程中會實時判斷自動駕駛汽車的運行狀態(tài),為其安全運行提供大量的安全性分析,以保障車輛的安全行駛.最后,可通過分析場景模型仿真結(jié)果,判別車輛是否或在何時會進入不安全狀態(tài),并使用UPPAAL 工具對隨機混成狀態(tài)機進行驗證分析.以上便是基于自動駕駛場景元建模方法指導(dǎo)構(gòu)建自動駕駛場景模型的實例化模型.

有了自動駕駛安全場景模型的自動化實例方法之后便可以使用該方法生成大量的場景模型,用于構(gòu)造自動駕駛安全場景庫.本文設(shè)計了時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景庫生成自動平臺,如圖1 中模塊6 所示,典型場景模型主要包括直行道路、丁字路口、十字路口以及環(huán)島等;針對特定車輛行為的場景,可以構(gòu)建對應(yīng)的安全場景庫,例如車輛加速、車輛變道、超車、跟車、會車以及車輛事故等;針對應(yīng)用場景可以構(gòu)建園區(qū)、機場、礦區(qū)、停車場、港口、高速公路、城市道路等場景庫[30,31].這些場景對后續(xù)的實車測試及形式化驗證工作有著重要的作用,為自動駕駛技術(shù)的發(fā)展提供可信支撐.

4 相關(guān)工作分析

本文研究時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景元建模方法,相關(guān)工作主要包括時空軌跡數(shù)據(jù)的應(yīng)用、時空軌跡數(shù)據(jù)元建模以及自動駕駛安全場景元建模方法.

時空軌跡數(shù)據(jù)的應(yīng)用主要集中在時空軌跡數(shù)據(jù)的高效存儲查詢、抽取與更新路網(wǎng)信息、活動模式識別等[32,33],很少有基于時空軌跡數(shù)據(jù)的建模驗證相關(guān)的研究.其中,曾衍偉等人[26]提出了空間數(shù)據(jù)質(zhì)量控制與評價技術(shù)體系,從空間數(shù)據(jù)誤差的來源分析了空間數(shù)據(jù)的質(zhì)量模型、質(zhì)量控制方法以及質(zhì)量檢驗與評價方法;袁輝等人[22]將所有浮動車的行駛數(shù)據(jù)匯集成浮動車數(shù)據(jù),并提出了浮動車軌跡數(shù)據(jù)的質(zhì)量評價模型,從9 個維度衡量數(shù)據(jù)的質(zhì)量問題.由于自動駕駛汽車的時空軌跡數(shù)據(jù)與傳統(tǒng)的時空軌跡大數(shù)據(jù)稍有不同[34],且以上工作不能用于自動駕駛領(lǐng)域的場景建模分析,因此,本文在原有的時空軌跡數(shù)據(jù)以及我們團隊張雷老師前期工作[2.3]的基礎(chǔ)上,所提出的自動駕駛時空軌跡數(shù)據(jù)不僅包括自動駕駛車輛本身的軌跡數(shù)據(jù),還包括車輛周邊靜態(tài)信息(例如,空間信息、光譜信息、人文信息以及社會信息等)和動態(tài)環(huán)境信息(例如,交通參與者信息等),將自動駕駛車輛行駛過程中的靜態(tài)環(huán)境信息以及動態(tài)行為信息整合成具有自動駕駛領(lǐng)域建模特征的時空軌跡數(shù)據(jù),用于后期對自動駕駛安全場景的建模、仿真與驗證[35].

在時空軌跡數(shù)據(jù)元建模方面,時空元數(shù)據(jù)及元建模思想現(xiàn)已廣泛應(yīng)用于各類安全攸關(guān)領(lǐng)域中,張雷等人[3]將構(gòu)建時空元數(shù)據(jù)的方法概括為7 個步驟,形成和完善了高可信時空元數(shù)據(jù),推動了空間信息產(chǎn)業(yè)中的高可信軟件的發(fā)展;Fatehah等人[36]提出了設(shè)計元模型和過程元模型,使用UPPAAL驗證器對智能建筑進行形式化建模和驗證.時空元數(shù)據(jù)及元建模技術(shù)的發(fā)展與應(yīng)用已取得初步成果,但目前現(xiàn)有的研究多集中在智能建筑以及地理信息的應(yīng)用[37],在汽車自動駕駛領(lǐng)域中關(guān)于元數(shù)據(jù)和元建模的研究工作較少.因此,本文根據(jù)自動駕駛的領(lǐng)域知識,不僅構(gòu)建了帶有自動駕駛領(lǐng)域特征的時空軌跡的元數(shù)據(jù)結(jié)構(gòu)、時空軌跡數(shù)據(jù)的元模型、質(zhì)量評價方法,為模型驅(qū)動和數(shù)據(jù)驅(qū)動的協(xié)同開發(fā)智能系統(tǒng)奠定了基礎(chǔ),還可用于指導(dǎo)該領(lǐng)域數(shù)據(jù)驅(qū)動的場景模型構(gòu)建,這是本文工作與已有工作的不同之處.

在自動駕駛安全場景建模方法方面,現(xiàn)有的自動駕駛安全場景建模與仿真測試技術(shù)各有優(yōu)勢,關(guān)注點各不相同.其中,自動化及測試系統(tǒng)標準協(xié)會(Association for Standardization of Automation and Measuring Systems,簡稱ASAM)[16]組織了兩個項目OpenScenario[17]和OpenDrive[18],OpenScenario 是一種開放文件格式,用于描述駕駛模擬應(yīng)用程序中的動態(tài)內(nèi)容,其靜態(tài)內(nèi)容由OpenDrive 所支持.此外,UC Berkeley 的Seshia 研究組設(shè)計了一種用于描述駕駛場景描述語言Scenic[10],并且能夠借助DeepGTAV[38]在GTAV 模擬器上生成仿真場景.Rodrigo 等人[9]提出一種用于自動駕駛場景表示的開源領(lǐng)域特定語言GeoScenario,具有簡單、可擴展的特點,主要用于構(gòu)建駕駛場景模擬器的基礎(chǔ)設(shè)施.Althoff[39]等人提出的CommonRoad 為自動駕駛場景描述創(chuàng)建了特定的文件格式,但是沒有用于場景描述的特定領(lǐng)域描述語言DSL.Bach 等人[40]使用了圖形化的建模技術(shù)進行場景建模,提出一種基于模型的自動駕駛功能開發(fā)和測試方法,但其目前能建模的場景元素非常少.總之,現(xiàn)有的自動駕駛場景建模雖然具有一定的優(yōu)勢,但也存在一些不足,比如缺乏可讀性較好的建模描述語言、難以使用形式化方法對駕駛場景的安全性進行驗證分析.本文的主要工作是提出一種時空軌跡數(shù)據(jù)驅(qū)動的自動駕駛場景建模方法,構(gòu)建了ADS 領(lǐng)域的元數(shù)據(jù)模型,將高質(zhì)量的時空軌跡數(shù)據(jù)引入到自動駕駛場景建模中,并結(jié)合ADSML 語言進行場景建模,使得自動駕駛場景建模可高度還原,幫助使用形式化方法對駕駛場景的安全性作實時評估.

5 總結(jié)展望

汽車自動駕駛、車聯(lián)網(wǎng)、人工智能以及大數(shù)據(jù)等技術(shù)得到了空前的發(fā)展,然而數(shù)據(jù)爆炸式的增長及運行環(huán)境的開放、復(fù)雜性使得此類系統(tǒng)的安全問題變得日益嚴峻.此外,遙感、地理信息系統(tǒng)、全球?qū)Ш叫l(wèi)星系統(tǒng)以及傳感器等技術(shù)的高速發(fā)展,使得人們獲得時空軌跡數(shù)據(jù)更加便利,但是,如何基于海量的數(shù)據(jù)實現(xiàn)汽車自動駕駛系統(tǒng)的安全場景建模,也是人們面臨的主要挑戰(zhàn)之一.針對以上問題,本文提出將時空軌跡數(shù)據(jù)進行統(tǒng)一、融合,提出一種面向自動駕駛領(lǐng)域的時空軌跡數(shù)據(jù)元建模方法,為安全場景的建模奠定了數(shù)據(jù)建?；A(chǔ),便于實現(xiàn)數(shù)據(jù)的統(tǒng)一、處理、重用.結(jié)合我們前期的工作——自動駕駛安全場景建模語言ADSML,詳細討論了如何使用ADSML 實現(xiàn)場景實例化,案例應(yīng)用表明,該方法能夠有效地生成安全場景的抽象模型.以上工作為安全場景的抽象建模提供了一種時空軌跡數(shù)據(jù)驅(qū)動的安全場景建模方法,能夠有效地建模ADS 的安全場景,構(gòu)建場景模型庫,為汽車自動駕駛的仿真、驗證提供了一條便捷的途徑.

在下一階段的工作中,我們將重點關(guān)注如何使用STL 規(guī)約語言刻畫場景中的行為約束,并結(jié)合統(tǒng)計模型檢測技術(shù)分析、驗證自動駕駛場景中的隨機行為.其中,研究如何結(jié)合運行時驗證與統(tǒng)計模型檢測技術(shù),用于分析STL 規(guī)約的正確性,對于驗證分析自動駕駛場景模型的正確性具有重要意義,是我們未來工作的研究重點.