基于混合現(xiàn)實(shí)的數(shù)字孿生自動(dòng)駕駛測試環(huán)境構(gòu)建①

高彥東, 王由道

1(長安大學(xué) 信息工程學(xué)院, 西安 710064)

2(長安大學(xué), 西安 710018)

1 引言

伴隨著物聯(lián)網(wǎng)、云計(jì)算以及人工智能、大數(shù)據(jù)等新一代信息技術(shù)的不斷發(fā)展, 工業(yè)信息化、智能制造和智慧城市的研究進(jìn)程正在迅速推進(jìn).同時(shí)我國提出的“中國制造2025”與德國“工業(yè)4.0”完成合作對接, 以實(shí)現(xiàn)部署全面推進(jìn)實(shí)施制造強(qiáng)國戰(zhàn)略[1].數(shù)字孿生(digital-twin)作為工業(yè)4.0的主要概念之一, 被越來越多的應(yīng)用于工業(yè)領(lǐng)域和研究計(jì)劃[2].其中, 基于數(shù)字孿生的測試和檢測作為一項(xiàng)能夠?qū)⑽锢硐到y(tǒng)與虛擬系統(tǒng)實(shí)現(xiàn)虛實(shí)結(jié)合和信息融合的應(yīng)用方向[3], 在自動(dòng)駕駛測試中也發(fā)揮著重要的作用.現(xiàn)階段基于場景庫的自動(dòng)駕駛測試體系中, 主要包括軟件仿真SIL (Software In the Loop)、硬件在環(huán)HIL (Hardware In the Loop)、整車在環(huán)VIL (Vehicle In the Loop)以及封閉、開放和半開放場景下的實(shí)車場地測試和道路測試幾種方法[4].其中, SIL是通過虛擬仿真軟件進(jìn)行的測試, HIL是在將真實(shí)的控制器單元部署在虛擬的測試環(huán)境中對進(jìn)行測試, VIL是在汽車實(shí)驗(yàn)室中將整車作為對象進(jìn)行測試,實(shí)車場地測試和道路測試是實(shí)車分別在測試場和道路中進(jìn)行的測試.基于數(shù)字孿生的自動(dòng)駕駛測試需要倚靠與物理空間中結(jié)構(gòu)、狀態(tài)對應(yīng)一致的真實(shí)車輛作為測試對象, 并在虛擬空間中實(shí)現(xiàn)同步對應(yīng).

數(shù)字孿生通過將物理模型和傳感器數(shù)據(jù)在虛擬空間中實(shí)現(xiàn)映射從而構(gòu)建起物理世界與信息世界的溝通橋梁[5], 數(shù)字孿生體能夠在虛擬系統(tǒng)中呈現(xiàn)出完整的生命周期; 同時(shí)將真實(shí)環(huán)境的內(nèi)容融入到虛擬場景, 并實(shí)現(xiàn)雙向交互式反饋的過程又稱為混合現(xiàn)實(shí)[6], 這一技術(shù)的特點(diǎn)是能夠通過虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)物理實(shí)體與虛擬空間的互動(dòng), 同時(shí)又具備將數(shù)據(jù)融合分析和決策迭代優(yōu)化應(yīng)用于物理實(shí)體的功能性擴(kuò)展中, 從而實(shí)現(xiàn)虛實(shí)結(jié)合, 虛實(shí)交互的系統(tǒng)形態(tài).

本文針對現(xiàn)階段幾種自動(dòng)駕駛測試體系中無法同時(shí)將車輛動(dòng)力、道路、駕駛員納入測試環(huán)境中的情況,或者忽略了價(jià)值成本、安全性、可重復(fù)性方面的問題,提出了一種混合現(xiàn)實(shí)的數(shù)字孿生三維交通環(huán)境構(gòu)建方法, 通過數(shù)字孿生技術(shù)將物理空間中的真實(shí)車輛以數(shù)字孿生體的形式映射到虛擬的三維場景中; 同時(shí)將虛擬三維場景中的道路、天氣以及光照環(huán)境以視覺形式反饋給駕駛員; 不僅如此, 車輛數(shù)字孿生體可以與虛擬場景中的其他交通參與者產(chǎn)生交互行為, 以此構(gòu)建混合現(xiàn)實(shí)的數(shù)字孿生三維交通環(huán)境.

2 相關(guān)工作

現(xiàn)階段的數(shù)字孿生技術(shù)在研究構(gòu)建混合現(xiàn)實(shí)的場景方面, 正處于不斷發(fā)展完善的過程中, 伍朝輝等[7]從數(shù)字孿生概念、發(fā)展和關(guān)鍵技術(shù)的角度對交通場景數(shù)字孿生的研究與應(yīng)用進(jìn)行了分析和展望; 由國家工信部發(fā)布的《數(shù)字孿生應(yīng)用白皮書2020》[8]中指出了將建立實(shí)體的數(shù)字化映射作為虛擬仿真與真實(shí)環(huán)境相結(jié)合的自動(dòng)駕駛測試系統(tǒng)中包含的搭建虛擬仿真平臺數(shù)字孿生系統(tǒng)的核心之一.Wang等[9,10]利用車載到云V2C (Vehicle-to-Cloud)通信, 通過將傳感器數(shù)據(jù)經(jīng)過服務(wù)器傳輸?shù)教摂M空間中經(jīng)過相應(yīng)的模型計(jì)算得到?jīng)Q策提議并實(shí)時(shí)反饋給駕駛員; Pan等[11]通過將現(xiàn)實(shí)世界中獲取的具有紋理特征的圖像和連續(xù)片段的視頻通過特征匹配融合到虛擬場景中, 在虛擬場景中構(gòu)建出更加真實(shí)的數(shù)字孿生體.Wu等[12]設(shè)計(jì)出一種將二維全景圖、衛(wèi)星紋理和三維模型融合在一起的大尺度場景多視角實(shí)時(shí)監(jiān)控的混合現(xiàn)實(shí)框架, 并用于生成數(shù)字孿生的三維道路場景.

在與自動(dòng)駕駛測試場景的構(gòu)建相關(guān)的研究中, 李銀國等[13]提出了一種基于雙目視覺的三維場景重建方法, 可以用于大規(guī)模智能駕駛場景的場景重建, 并且能夠滿足智能駕駛系統(tǒng)的實(shí)時(shí)需求.湯輝等[14]研究了一種將模擬駕駛器融入到自動(dòng)駕駛場景中, 同時(shí)駕駛員通過駕駛模擬器控制后臺駕駛車輛, 模擬現(xiàn)實(shí)世界中的駕駛行為, 該方法可以很好地促進(jìn)自主駕駛車輛的仿真測試.Song等[15]提出了一種涵蓋傳感器模塊、車輛動(dòng)力學(xué)模塊、場景模塊和控制算法模塊的虛擬聯(lián)合仿真技術(shù)平臺, 解決了包括全天候道路、傳感器選型設(shè)計(jì)、自動(dòng)控制算法、駕駛性能測試等難以驗(yàn)證的難題, 同時(shí)提高了系統(tǒng)的自主駕駛性能.

綜上所述, 數(shù)字孿生技術(shù)在構(gòu)建虛實(shí)結(jié)合的自動(dòng)駕駛測試場景方法研究方面, 一直以來處于相對比較空缺的地位.而通過虛實(shí)結(jié)合形式構(gòu)建的自動(dòng)駕駛測試場景, 相比較于傳統(tǒng)的幾種測試方法中的SIL而言具有真實(shí)車輛和控制單元的優(yōu)勢, 對于HIL則可以實(shí)現(xiàn)將整車作為對象的測試, 相比于VIL可以實(shí)現(xiàn)更低成本, 并且能夠在不同道路環(huán)境中進(jìn)行的測試, 而對比實(shí)地測試場和道路測試, 具備更好的安全性、可重復(fù)性, 成本低廉等特點(diǎn).

3 車輛數(shù)字孿生體的構(gòu)建

3.1 空間坐標(biāo)映射

為了實(shí)現(xiàn)物理空間中的真實(shí)車輛與虛擬空間中對應(yīng)的數(shù)字孿生體在位姿上的一致性, 需要將車輛數(shù)字孿生體在虛擬世界坐標(biāo)系下的位置、旋轉(zhuǎn)角度的變換進(jìn)行耦合.假設(shè)在虛擬世界坐標(biāo)系下, 車輛數(shù)字孿生體的當(dāng)前坐標(biāo)為p(x,y,z), 經(jīng)過齊次坐標(biāo)變換后為p′(x′,y′,z′), 則p′與p之間的變換矩陣表示為:

其中,T表示平移矩陣, 如式(2)所示:

其中,Tx,Ty,Tz分別表示物體在x,y,z三個(gè)坐標(biāo)軸方向上的平移分量.

R表示旋轉(zhuǎn)矩陣, 分別在x,y,z三個(gè)坐標(biāo)軸方向上具有對應(yīng)不同旋轉(zhuǎn)角度的旋轉(zhuǎn)矩陣Rx,Ry,Rz, 并且有如下關(guān)系:

繞x軸旋轉(zhuǎn)角度為 α的旋轉(zhuǎn)矩陣Rx為:

繞y軸旋轉(zhuǎn)角度為 β的旋轉(zhuǎn)矩陣Ry為:

繞z軸旋轉(zhuǎn)角度為 γ 的旋轉(zhuǎn)矩陣Rz為:

經(jīng)過以上的變換過程, 可以實(shí)現(xiàn)將物理空間中真實(shí)車輛的位姿變化映射到虛擬空間中對應(yīng)的車輛數(shù)字孿生體.

3.2 碰撞檢測模型

由于物理空間中的車輛具有真實(shí)的實(shí)體結(jié)構(gòu), 因此在虛擬空間中為了滿足對應(yīng)的實(shí)際要求, 需要對虛擬空間中的車輛數(shù)字孿生體設(shè)置相應(yīng)的約束條件.

本文采用基于包圍盒[16]的碰撞檢測.其中最常用的是分離軸定理SAT (Separating Axis Theorem)[17]下的碰撞檢測模型, 如圖1所示.

圖1 分離軸定理原理圖

對于A、B兩個(gè)具有OBB屬性的碰撞物體, 其中心點(diǎn)與頂尖的間距在分離軸S上的投影分別為l1與l2,且A、B兩個(gè)物體的中心點(diǎn)之間的間距在分離軸S上的投影為L, 那么驗(yàn)證A、B兩個(gè)物體是否發(fā)生碰撞的條件為:

當(dāng)碰撞檢測標(biāo)志 δ ＞0時(shí), 表明A、B兩個(gè)物體之間處于分離狀態(tài); 當(dāng) δ ≤0時(shí), 則表明A、B物體之間發(fā)生碰撞.

3.3 虛擬場景注冊

虛擬場景注冊是為了突出數(shù)字孿生原型在虛擬空間的表達(dá)過程中具有一致的空間和時(shí)間屬性, 并且具有與物理實(shí)體相同的生命周期, 以便用于數(shù)字孿生系統(tǒng)的可見性和預(yù)測性以及假設(shè)分析的應(yīng)用研究[18].

本文構(gòu)建出的虛擬空間中的車輛數(shù)字孿生體, 在時(shí)空屬性上與物理空間中的車輛具有一致性.其中的時(shí)空屬性包括車輛ID (Identity Document)、GPS(Global Positioning System)位置坐標(biāo)P、行駛速度V、航向角 θ、時(shí)間戳T.通過車輛ID建立具有時(shí)間序列的車輛時(shí)空屬性參數(shù)表, 如表1所示.

表1 車輛時(shí)空屬性參數(shù)表

時(shí)空屬性中行駛速度和航向角的表達(dá)方式中, 行駛速度除了在虛擬空間中的參數(shù)與物理空間形成一致,另外在虛擬空間中通過基于PhysX物理引擎[19]的車輛動(dòng)力單元對車輛孿生體的運(yùn)動(dòng)進(jìn)行驅(qū)動(dòng); 航向角參數(shù)通過本文3.1節(jié)虛擬空間映射中的旋轉(zhuǎn)矩陣R將相應(yīng)的參數(shù)值代入計(jì)算, 從而實(shí)現(xiàn)將物理空間中真實(shí)車輛的航向角與虛擬空間中車輛數(shù)字孿生體對應(yīng)的航向角形成一致關(guān)系.

4 混合現(xiàn)實(shí)系統(tǒng)環(huán)境

本文依據(jù)數(shù)字孿生五維結(jié)構(gòu)模型[3]設(shè)計(jì)出一種面向混合現(xiàn)實(shí)的自動(dòng)駕駛測試系統(tǒng)模型, 包括物理層、數(shù)據(jù)層以及測試層.其中物理層包含物理空間中由駕駛員操控的真實(shí)車輛和V2X車載通信設(shè)備, 用于構(gòu)成車輛數(shù)字孿生體的原型; 數(shù)據(jù)層包含具有時(shí)間序列的真實(shí)車輛時(shí)空屬性和對應(yīng)的參數(shù)以及通過LTE-V和TCP/IP分別構(gòu)成的V2X通信單元和數(shù)據(jù)傳輸通信單元; 測試層主要包含虛擬空間中的車輛數(shù)字孿生體以及基于封閉測試場地的三維場景建模、虛擬的圖像傳感器和交通參與者, 用于構(gòu)成虛擬空間中的測試主體和測試環(huán)境, 如圖2所示.

圖2 混合現(xiàn)實(shí)系統(tǒng)環(huán)境

基于上述自動(dòng)駕駛測試系統(tǒng)模型構(gòu)建的混合現(xiàn)實(shí)系統(tǒng)環(huán)境由真實(shí)單元和虛擬單元構(gòu)成; 真實(shí)單元包含由物理空間中駕駛員操控的真實(shí)車輛和封閉測試場地;虛擬單元包含圖像傳感器、基于封閉測試場地的三維場景建模以及交通參與者.混合現(xiàn)實(shí)的系統(tǒng)環(huán)境結(jié)構(gòu)示意圖如圖3所示.

圖3 混合現(xiàn)實(shí)系統(tǒng)環(huán)境

5 實(shí)驗(yàn)結(jié)果分析

本文通過虛擬現(xiàn)實(shí)平臺Unity3D搭建混合現(xiàn)實(shí)測試環(huán)境, 實(shí)際中的測試主體為一輛比亞迪電動(dòng)汽車、測試道路為長安大學(xué)交通運(yùn)輸部認(rèn)定自動(dòng)駕駛封閉場地測試基地、數(shù)據(jù)的采集和傳輸過程通過搭載的智能車載終端以及布設(shè)在測試基地中的路側(cè)設(shè)施完成.

場地方面, 實(shí)際測試路段選擇的是一段空曠、無遮擋的150 m直線道路, 如圖4所示.

圖4 封閉場地測試路段

實(shí)驗(yàn)過程中的測試環(huán)境和場地道路如圖5所示.

圖5 實(shí)際道路測試環(huán)境

道路行駛測試過程中, 車輛和智能車載終端的相關(guān)參數(shù)和配置方法見表2.

表2 車輛及智能車載終端參數(shù)表

如圖6所示為混合現(xiàn)實(shí)系統(tǒng)虛擬場景中的數(shù)字孿生車輛行駛過程, 左下角為駕駛員視角.

圖6 虛擬場景車輛行駛過程

對應(yīng)于數(shù)字孿生原型車輛, 虛擬場景中作為測試主體的數(shù)字孿生車輛, 其動(dòng)力學(xué)參數(shù)需要結(jié)合實(shí)際的車輛配置以及虛擬物理引擎的碰撞特征經(jīng)過相應(yīng)計(jì)算后進(jìn)行調(diào)整, 虛擬場景中數(shù)字孿生車輛的參數(shù)配置見表3.

表3 數(shù)字孿生車輛參數(shù)表

根據(jù)安全性能評估測試方法, 分別在場景中設(shè)置了虛擬車輛、行人, 并且進(jìn)行不同項(xiàng)目的安全測試, 圖7和圖8分別為車輛碰撞檢測和行人碰撞檢測項(xiàng)目測試.

圖7 車輛碰撞檢測

圖8 行人碰撞檢測

虛擬空間中的數(shù)字孿生車輛具有基于包圍盒的碰撞檢測系統(tǒng)和剛體(RigidBody)[20]組件屬性, 因而在與虛擬的車輛和行人發(fā)生碰撞時(shí)會產(chǎn)生物理碰撞效果,圖9和圖10分別為數(shù)字孿生車輛與虛擬的車輛和行人之間發(fā)生碰撞的結(jié)果及示意圖.

圖9 車輛碰撞結(jié)果及示意圖

圖10 行人碰撞結(jié)果及示意圖

碰撞檢測邊界指的是具有包圍盒結(jié)構(gòu)的物體的邊緣屬性, 中心距離是指兩個(gè)物體的包圍盒中心點(diǎn)之間的距離.

實(shí)際測試過程中的結(jié)果表明, 本文構(gòu)建的混合現(xiàn)實(shí)數(shù)字孿生自動(dòng)駕駛測試環(huán)境具有實(shí)際車輛與虛擬交通參與者之間的交互特征, 并且能夠進(jìn)行基本的碰撞測試.

系統(tǒng)性能方面, 通過在50 ms、200 ms和1000 ms采樣頻率下對采集的數(shù)據(jù)序列進(jìn)行了丟包情況的統(tǒng)計(jì)分析, 統(tǒng)計(jì)標(biāo)準(zhǔn)為序列時(shí)間內(nèi)兩次采樣間隔超過采樣頻率, 結(jié)果如表4所示.

表4 不同采樣頻率丟包情況

以及在系統(tǒng)在各采樣頻率下運(yùn)行的幀率, 測試環(huán)境為Windows 7操作系統(tǒng), CPU: Intel Core i5-3210M,內(nèi)存: 8 GB, 顯卡: GTX660M, 測試的結(jié)果如圖11所示.

圖11 各采樣頻率下的系統(tǒng)運(yùn)行幀率

對以上的實(shí)驗(yàn)結(jié)果進(jìn)行分析, 從計(jì)算結(jié)果角度來看, 數(shù)字孿生車輛原型在真實(shí)道路下的行駛軌跡與映射在虛擬空間中的車輛行駛軌跡基本吻合, 且二者呈現(xiàn)線性相關(guān); 同時(shí)文中分別測試了3種采樣頻率下, 數(shù)字孿生車輛在虛擬空間的行駛過程中分別與道路、車輛、建筑的碰撞檢測.結(jié)果表明數(shù)字孿生車輛在不同采樣頻率下均能準(zhǔn)確識別所有的碰撞物體, 但對于車輛和建筑的識別有先后次序的差別, 最先檢測到車輛的是采用200 ms采樣頻率下的識別結(jié)果, 最先檢測到建筑的是采用50 ms采樣頻率下的識別結(jié)果.另外, 從系統(tǒng)性能來看, 文中分別統(tǒng)計(jì)了幾種采樣頻率下的丟包情況, 采樣頻率在200 ms和1000 ms的條件下, 系統(tǒng)的數(shù)據(jù)采集均未出現(xiàn)丟包; 而當(dāng)采樣頻率設(shè)置為50 ms時(shí), 出現(xiàn)了很嚴(yán)重的丟包情況; 最后文中還分析了各采樣頻率下的系統(tǒng)運(yùn)行幀率, 當(dāng)系統(tǒng)工作在50 ms和200 ms的采樣頻率下時(shí), 均出現(xiàn)明顯的掉幀情況,而在1000 ms采樣頻率下, 系統(tǒng)的平均幀率相比較其他兩種采樣頻率的系統(tǒng)幀率要高, 并且沒有出現(xiàn)特別明顯的掉幀情況.

以上結(jié)果表明, 文中構(gòu)建的混合現(xiàn)實(shí)的數(shù)字孿生自動(dòng)駕駛測試環(huán)境中數(shù)字孿生原型車輛的位置和軌跡能夠很好地表達(dá)在虛擬空間中, 同時(shí)能夠?qū)χ車奈矬w進(jìn)行有效識別并檢測到碰撞物體.系統(tǒng)性能結(jié)果分析表明, 當(dāng)系統(tǒng)運(yùn)行在200 ms采樣頻率下不會出現(xiàn)丟包但會出現(xiàn)一定的掉幀情況, 當(dāng)在1000 ms采樣頻率下時(shí), 既不會出現(xiàn)丟包也不會出現(xiàn)掉幀情況, 此時(shí)環(huán)境下的系統(tǒng)運(yùn)行最穩(wěn)定.

6 結(jié)束語

本文提出了一種基于混合現(xiàn)實(shí)的數(shù)字孿生自動(dòng)駕駛測試環(huán)境的構(gòu)建方法, 通過構(gòu)建基于真實(shí)車輛的數(shù)字孿生體, 實(shí)現(xiàn)了數(shù)字孿生車輛原型在虛擬空間中的坐標(biāo)映射和碰撞檢測; 同時(shí)基于數(shù)字孿生五維結(jié)構(gòu)模型構(gòu)建了混合現(xiàn)實(shí)的自動(dòng)駕駛測試系統(tǒng)模型, 并且通過實(shí)驗(yàn)對比分析了3種采樣頻率下的車輛數(shù)字孿生計(jì)算結(jié)果的準(zhǔn)確性以及系統(tǒng)的性能, 得出了車輛具有很好的數(shù)字孿生特性以及系統(tǒng)在特定條件下具有穩(wěn)定性的結(jié)論.下一步將考慮車輛在網(wǎng)絡(luò)傳輸和通信過程中產(chǎn)生的延時(shí)問題, 通過解決和改善系統(tǒng)延時(shí)特性, 能夠進(jìn)一步提高車輛數(shù)字孿生結(jié)果的準(zhǔn)確性和可靠性.