基于專利分析的自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)研究

王軍雷 王亮亮 王靜 牛錫靜

（1.中國汽車技術(shù)研究中心有限公司，天津 300300；2.中國第一汽車股份有限公司研發(fā)總院，長春 130013）

主題詞：場景庫搭建 數(shù)據(jù)處理 自動(dòng)生成 專利分析 技術(shù)布局

1 前言

自動(dòng)駕駛汽車在真正商業(yè)化應(yīng)用前，需要經(jīng)歷大量的道路測試，但采用路測來優(yōu)化自動(dòng)駕駛算法耗費(fèi)的時(shí)間與成本很高，自動(dòng)駕駛相應(yīng)交通法規(guī)及保險(xiǎn)理賠機(jī)制的缺失也制約了自動(dòng)駕駛汽車路測的大范圍開展，極端交通條件和危險(xiǎn)場景復(fù)現(xiàn)困難且測試安全存在隱患，形成全球認(rèn)可的自動(dòng)駕駛汽車產(chǎn)業(yè)鏈體系比較困難，這些問題都給自動(dòng)駕駛汽車系統(tǒng)研發(fā)測試帶來了諸多困難[1]。

目前，基于場景庫的仿真測試是解決自動(dòng)駕駛路測問題的重要路線。仿真測試主要通過構(gòu)建虛擬場景庫，實(shí)現(xiàn)自動(dòng)駕駛感知、決策規(guī)劃、控制等算法的閉環(huán)仿真測試，滿足自動(dòng)駕駛測試的要求。仿真測試可以在一定程度上替代實(shí)際道路測試，提升測試效率，縮短開發(fā)周期[2-3]。

本文采用專利分析方法，分析自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)的專利布局情況和重點(diǎn)研發(fā)方向，梳理其在關(guān)鍵技術(shù)點(diǎn)的技術(shù)發(fā)展路線。

2 自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利分析

2.1 數(shù)據(jù)采集范圍及相關(guān)說明

本文使用的專利檢索數(shù)據(jù)庫為中國汽車技術(shù)研究中心自主研發(fā)的全球汽車專利數(shù)據(jù)庫，收錄了全球104個(gè)國家1.5億余條汽車及相關(guān)領(lǐng)域的專利，對(duì)全球汽車領(lǐng)域重要企業(yè)的專利按照技術(shù)領(lǐng)域、技術(shù)效果、技術(shù)手段3 個(gè)維度進(jìn)行人工標(biāo)引。在數(shù)據(jù)庫的技術(shù)領(lǐng)域模塊選取自動(dòng)駕駛汽車節(jié)點(diǎn)，并用虛擬場景、場景構(gòu)建、場景建模、傳感器仿真、要素提取、場景測試、場景庫等關(guān)鍵詞進(jìn)行檢索，檢索截止日期為2022年6月30日，得到虛擬場景庫構(gòu)建領(lǐng)域的相關(guān)專利。由于專利公開時(shí)間的滯后，2021～2022年的數(shù)據(jù)僅供參考。

2.2 專利公開趨勢分析

截至2022年6月，國內(nèi)虛擬場景數(shù)據(jù)庫構(gòu)建技術(shù)專利公開趨勢如圖1所示，可劃分為2個(gè)階段：第1個(gè)階段為2011～2016年，此階段為虛擬場景數(shù)據(jù)庫構(gòu)建技術(shù)的萌芽期，專利公開量每年不足200 件，且大多進(jìn)行探索性基礎(chǔ)研究；第2個(gè)階段為2017年至今，隨著國家出臺(tái)一系列政策和規(guī)劃，促進(jìn)自動(dòng)駕駛汽車產(chǎn)業(yè)的發(fā)展，專利公開量增長速度明顯提升，年增長率超過50%，此階段技術(shù)進(jìn)入快速發(fā)展期，但專利公開量總體不大。結(jié)合相關(guān)專利的增長勢頭與公開量級(jí)情況可以推測，自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)具有較大的布局潛力。

圖1 自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利公開態(tài)勢

2.3 專利技術(shù)構(gòu)成及發(fā)展態(tài)勢分析

如圖2所示，自動(dòng)駕駛汽車虛擬場景庫構(gòu)建按技術(shù)層次分為場景庫構(gòu)建、場景庫應(yīng)用以及場景庫運(yùn)維3個(gè)層面。其中，場景庫構(gòu)建技術(shù)作為自動(dòng)駕駛汽車場景庫的基礎(chǔ)共性技術(shù)，是專利布局的重點(diǎn)。場景庫應(yīng)用是基于已建成的智能網(wǎng)聯(lián)汽車虛擬場景庫開展的進(jìn)一步深入的研究應(yīng)用。

圖2 自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利技術(shù)構(gòu)成

如圖3所示，智能網(wǎng)聯(lián)汽車虛擬場景庫前期相關(guān)專利以數(shù)據(jù)采集與數(shù)據(jù)處理為主，其他技術(shù)處于零星申請(qǐng)狀態(tài)，從2018年開始，仿真技術(shù)、場景構(gòu)建、功能開發(fā)等技術(shù)發(fā)展勢頭強(qiáng)勁。從應(yīng)用層面看，仿真技術(shù)與場景構(gòu)建技術(shù)是基于場景庫的車輛測試與功能開發(fā)的前提，此類技術(shù)申請(qǐng)量快速提升反映出場景庫領(lǐng)域的參與者數(shù)量逐步提升，技術(shù)的發(fā)展存在較大的空間。

圖3 自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)趨勢

2.4 專利申請(qǐng)人研發(fā)點(diǎn)布局

如圖4所示，自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)專利申請(qǐng)人自身的研發(fā)側(cè)重點(diǎn)存在較大差異。其中：百度主要進(jìn)行布局的研發(fā)點(diǎn)為數(shù)據(jù)處理及車輛仿真技術(shù)方面；騰訊關(guān)注的重點(diǎn)在于場景測試用例生成與自然場景下車輛的測試評(píng)價(jià)；當(dāng)家移動(dòng)關(guān)注的重點(diǎn)在于數(shù)據(jù)處理中的場景環(huán)境的建模與仿真。高校方面：同濟(jì)大學(xué)研發(fā)關(guān)注點(diǎn)主要在基于場景庫的算法開發(fā)與典型工況測試；吉林大學(xué)研發(fā)關(guān)注點(diǎn)與同濟(jì)大學(xué)基本一致，同時(shí)還較為關(guān)注仿真技術(shù)；清華大學(xué)研發(fā)關(guān)注點(diǎn)較多，有多個(gè)團(tuán)隊(duì)在該領(lǐng)域展開研究，研究方向集中在數(shù)據(jù)處理及功能測試評(píng)價(jià)領(lǐng)域。中汽數(shù)據(jù)主要關(guān)注場景庫構(gòu)建及測試用例的開發(fā)與應(yīng)用；福特在場景庫搭建中主要布局了數(shù)據(jù)處理技術(shù)。

圖4 申請(qǐng)人研發(fā)點(diǎn)專利布局情況

2.5 關(guān)鍵技術(shù)分析

為保證自動(dòng)駕駛汽車仿真測試時(shí)的場景類型足夠豐富，需要收集大量的典型場景數(shù)據(jù)并建立仿真測試場景庫。本文將重點(diǎn)研究數(shù)據(jù)處理、仿真技術(shù)、場景庫構(gòu)建及基于場景庫的功能開發(fā)4個(gè)方面的相關(guān)專利，通過閱讀專利文獻(xiàn)，梳理上述各技術(shù)的發(fā)展路線。

2.5.1 數(shù)據(jù)處理技術(shù)

數(shù)據(jù)處理技術(shù)包含靜態(tài)數(shù)據(jù)提取和動(dòng)態(tài)數(shù)據(jù)提取2個(gè)方面。其中，靜態(tài)數(shù)據(jù)提取主要為虛擬場景庫構(gòu)建過程中高精度地圖的構(gòu)建部分內(nèi)容，具體包括路網(wǎng)數(shù)據(jù)、路口數(shù)據(jù)、路面數(shù)據(jù)、路面標(biāo)識(shí)數(shù)據(jù)、車道線數(shù)據(jù)等多個(gè)方面。動(dòng)態(tài)數(shù)據(jù)提取則主要包括動(dòng)態(tài)指示設(shè)備、交通參與者等。數(shù)據(jù)處理技術(shù)的難點(diǎn)主要集中在提高靜態(tài)數(shù)據(jù)構(gòu)圖效率及動(dòng)態(tài)數(shù)據(jù)信息零散方面。

2.5.1.1 提高地圖構(gòu)建工作的自動(dòng)化率

針對(duì)現(xiàn)行技術(shù)方案對(duì)于高精度地圖的構(gòu)建存在的負(fù)荷大、生產(chǎn)效率低的問題，騰訊在專利CN110796714A[4]中提出一種使得地圖要素的整體編輯工作更加高效、準(zhǔn)確和便捷的地圖構(gòu)建方法，如圖5 所示：基于目標(biāo)場景的第一地圖進(jìn)行圖像分割而獲得深度圖，再通過反投影法獲得第一地圖點(diǎn)云分布；第二地圖進(jìn)行點(diǎn)云分割進(jìn)而提取特征點(diǎn)形成第二點(diǎn)云分布；對(duì)第一、第二點(diǎn)云分布進(jìn)行矢量化，完成目標(biāo)場景的三維地圖。該方法將圖像分割法和點(diǎn)云分割法相結(jié)合，針對(duì)不同特征的地圖要素采用不同的分割算法獲得不同地圖要素的點(diǎn)云分布，從而使得地圖要素的整體編輯工作更加高效、準(zhǔn)確和便捷，進(jìn)而輔助編輯人員更好地完成地圖構(gòu)建工作，提升地圖構(gòu)建工作的自動(dòng)化率。

圖5 圖像數(shù)據(jù)及點(diǎn)云數(shù)據(jù)結(jié)合方式示意[4]

2.5.1.2 提高動(dòng)態(tài)數(shù)據(jù)完整性

針對(duì)利用固定位置信息采集設(shè)備進(jìn)行移動(dòng)軌跡獲取方案存在的數(shù)據(jù)零散問題，51WORLD 在專利CN112131327A[5]∕CN111780774A[6]中提出一種運(yùn)動(dòng)軌跡的生成方法，如圖6 所示，通過道路模擬圖和運(yùn)動(dòng)物體初始軌跡點(diǎn)序列（通過數(shù)組儲(chǔ)存），利用尋路算法生成樣條曲線后進(jìn)行插值補(bǔ)點(diǎn)處理，生成目標(biāo)物體的運(yùn)動(dòng)軌跡，尤其是在采集到的初始軌跡點(diǎn)的數(shù)量較少時(shí)，生成有效的運(yùn)動(dòng)軌跡，提高了運(yùn)動(dòng)軌跡的準(zhǔn)確度。該方法基于真實(shí)路網(wǎng)數(shù)據(jù)，針對(duì)每對(duì)相鄰的初始運(yùn)動(dòng)軌跡點(diǎn)確定物體在路網(wǎng)矢量圖中的目標(biāo)路徑，從目標(biāo)路徑中選取目標(biāo)運(yùn)動(dòng)軌跡點(diǎn)，從而擬合完整的運(yùn)動(dòng)軌跡，解決了固定位置信息獲取裝置獲取的車輛位置信息零散不易形成車輛運(yùn)動(dòng)軌跡的問題。

圖6 運(yùn)動(dòng)軌跡生成示意

2.5.2 仿真技術(shù)

仿真技術(shù)主要是指場景環(huán)境仿真和車輛仿真，重點(diǎn)在于模擬真實(shí)環(huán)境中的道路場景要素、交通流信息及周邊車輛運(yùn)動(dòng)行為。其中交通流信息仿真技術(shù)伴隨人工智能、云計(jì)算、大數(shù)據(jù)技術(shù)的發(fā)展，從微觀交通流仿真的機(jī)理型解析模型發(fā)展到通過強(qiáng)化學(xué)習(xí)得到最優(yōu)駕駛策略的機(jī)器學(xué)習(xí)模型，具體技術(shù)路線如圖7所示。

圖7 仿真技術(shù)路線圖

2.5.3 場景庫構(gòu)建技術(shù)

場景構(gòu)建技術(shù)將場景數(shù)據(jù)傳到場景重構(gòu)工具鏈中，經(jīng)過坐標(biāo)轉(zhuǎn)換、3D 渲染等步驟在虛擬仿真平臺(tái)中自動(dòng)實(shí)現(xiàn)場景的復(fù)現(xiàn)。作為仿真測試技術(shù)的關(guān)鍵，傳統(tǒng)基于專家經(jīng)驗(yàn)的場景枚舉生成方法已無法滿足大規(guī)模仿真測試的需求，如圖8所示，2019年開始，場景自動(dòng)生成及泛化技術(shù)進(jìn)入快速發(fā)展期，成為場景庫構(gòu)建技術(shù)發(fā)展的重點(diǎn)。此技術(shù)側(cè)重于解決現(xiàn)階段場景多樣性、交互性、生成效率等方面的不足。

圖8 場景庫構(gòu)建技術(shù)研發(fā)趨勢

2.5.3.1 提高場景多樣性，實(shí)現(xiàn)多工況覆蓋

基于高精度地圖的虛擬場景構(gòu)建過程中，側(cè)重于道路信息而自動(dòng)生成的場景比較單一，還需要額外手工添加豐富的場景元素。針對(duì)這一問題，騰訊在專利CN110795819A[7]中提出一種自動(dòng)駕駛仿真場景的生成方法，如圖9 所示：獲取預(yù)先確定的高精度地圖中目標(biāo)區(qū)域上的道路信息，根據(jù)道路信息生成目標(biāo)區(qū)域上的自動(dòng)駕駛仿真場景中的虛擬路面；獲取預(yù)先確定的自動(dòng)駕駛車輛在目標(biāo)區(qū)域上感測到的點(diǎn)云感知數(shù)據(jù)和圖像感知數(shù)據(jù)，其中，點(diǎn)云感知數(shù)據(jù)用于表示目標(biāo)區(qū)域上的場景元素的空間信息，圖像感知數(shù)據(jù)用于表示場景元素的顏色信息；將點(diǎn)云感知數(shù)據(jù)與和圖像感知數(shù)據(jù)進(jìn)行融合，得到第一融合感知數(shù)據(jù)，用于表示場景元素的空間信息和類別信息，類別信息是根據(jù)場景元素的顏色信息確定得到的；將第一融合感知數(shù)據(jù)與虛擬路面進(jìn)行融合，得到目標(biāo)區(qū)域上的自動(dòng)駕駛仿真場景，其中，目標(biāo)區(qū)域上的自動(dòng)駕駛仿真場景用于顯示虛擬路面以及由空間信息和類別信息表示的場景元素，達(dá)到了根據(jù)高精地圖中的道路信息生成自動(dòng)駕駛場景中的虛擬路面，根據(jù)點(diǎn)云感知數(shù)據(jù)和圖像感知數(shù)據(jù)確定自動(dòng)駕駛仿真場景中的場景元素的目的，從而實(shí)現(xiàn)了將自動(dòng)駕駛仿真場景中虛擬路面和場景元素融合的技術(shù)效果。

圖9 高精度地圖和場景元素融合后的仿真場景的示意[7]

現(xiàn)有自動(dòng)駕駛虛擬場景庫建設(shè)中，多采用原始數(shù)據(jù)進(jìn)行標(biāo)注、場景生成與導(dǎo)入，存在場景庫建設(shè)不夠完備、不能完全覆蓋所有可能工況的問題。中汽數(shù)據(jù)在專利CN111967124A[8]中提出一種重組場景通用擴(kuò)增的生成方法，包括：根據(jù)測試需求確定場景生成的關(guān)鍵要素，包括靜態(tài)要素（道路信息和環(huán)境信息）和動(dòng)態(tài)要素（本車信息和交通參與者信息），每種信息均設(shè)定相關(guān)字段；基于自然駕駛數(shù)據(jù)庫歷史數(shù)據(jù)，使用統(tǒng)計(jì)分析方法確定每個(gè)要素字段的取值域及各要素字段之間是否具有相關(guān)性，對(duì)于沒有相關(guān)性的要素，取值域內(nèi)隨機(jī)選取遍歷，對(duì)于具有相關(guān)性的要素，利用統(tǒng)計(jì)分析方法得到約束條件，在字段的約束條件對(duì)應(yīng)取值域內(nèi)選?。桓鶕?jù)遍歷得到的靜態(tài)要素信息和動(dòng)態(tài)要素信息，對(duì)場景元素進(jìn)行排列重組。該方案基于自然駕駛數(shù)據(jù)庫中的歷史數(shù)據(jù)，在統(tǒng)計(jì)學(xué)基礎(chǔ)上對(duì)不同要素進(jìn)行重組排列，實(shí)現(xiàn)快速生成重組場景及場景擴(kuò)增，以達(dá)到覆蓋所有可能工況的目的。

2.5.3.2 優(yōu)化場景中車輛交互模式，提高虛擬測試契合程度

自動(dòng)駕駛汽車工作環(huán)境和狀態(tài)復(fù)雜多樣，具有強(qiáng)不確定性特征，現(xiàn)有的場景生成及泛化技術(shù)大多采用離線生成方式，被測對(duì)象不參與生成過程，因此無法運(yùn)用動(dòng)態(tài)反饋實(shí)時(shí)修正場景狀態(tài)來提高測試場景的契合度。華為在專利CN114139329A[13]中提出，首先根據(jù)靜態(tài)本體的設(shè)計(jì)約束（按照道路規(guī)范來設(shè)計(jì)）、動(dòng)態(tài)本體的行為（車輛與車道間位置關(guān)系、車輛間位置關(guān)系、車輛限速、車輛行駛方向約束等）和場景設(shè)計(jì)需求，確定動(dòng)態(tài)本體的初始狀態(tài)，再結(jié)合交通流仿真模型（跟馳模型、換道模型、信號(hào)燈反應(yīng)模型、匯入模型等）確定動(dòng)態(tài)本體的行駛軌跡，最終生成測試場景模型。以換道模型為例，車輛存在進(jìn)入匝道的動(dòng)機(jī)時(shí)，且臨近匝道口的第一車道為期望車道：如果車輛位于第三車道上，該車輛在與匝道口間的距離大于80 m時(shí)完成換道，方能確保行車安全，如果車輛位于第二車道上，則該車輛需換道時(shí)與匝道路口間的最小換道距離為40 m（圖10）。動(dòng)態(tài)本體在不同交通流仿真模型的控制下行駛，即可以確定動(dòng)態(tài)本體的行駛軌跡。通過確定動(dòng)態(tài)本體的初始狀態(tài)和行駛軌跡，在動(dòng)態(tài)場景中可以體現(xiàn)各交通參與者間復(fù)雜的動(dòng)態(tài)交互。

圖10 車輛換道模型示意

2.5.4 場景庫的功能開發(fā)

場景庫的功能開發(fā)是基于已建成的自動(dòng)駕駛汽車虛擬場景庫開展的進(jìn)一步深入的研究應(yīng)用。針對(duì)當(dāng)前仿真測試中，人車沖突場景中的行人模型簡單，只能進(jìn)行簡單的場景測試，無法滿足自動(dòng)駕駛測試需求的問題，清華大學(xué)在專利CN112131756A[14]中提出一種考慮個(gè)體激進(jìn)度的行人穿行場景仿真模型，為體現(xiàn)行人在交通場景中的個(gè)體差異性，需要賦予行人單獨(dú)的內(nèi)在邏輯，邏輯的主要功能為復(fù)現(xiàn)人車交互過程中的一系列決策，通過元胞自動(dòng)機(jī)的行人模擬機(jī)制，將道路劃分為網(wǎng)格，行人具有基礎(chǔ)的屬性，該屬性決定平均意義下該個(gè)體的速度、加速度等特點(diǎn)，具體的運(yùn)動(dòng)則通過對(duì)周圍8 個(gè)方格的具體情況進(jìn)行實(shí)時(shí)判定來產(chǎn)生，如果預(yù)測在某個(gè)方格會(huì)與其他個(gè)體產(chǎn)生碰撞，便通過交互函數(shù)產(chǎn)生一個(gè)占據(jù)潛在沖突區(qū)域的概率。此方法充分體現(xiàn)了行人在真實(shí)場景中的決策連續(xù)性以及對(duì)側(cè)向來車距離的敏感性，能夠較好地還原人車交互的過程。以色列初創(chuàng)公司Autobrains 在專利US16867107 中提出針對(duì)特定地形或情形下的場景仿真生成技術(shù)，采用深度神經(jīng)網(wǎng)絡(luò)多模型推理方法，可解決在惡劣天氣條件下，繁忙交通區(qū)域內(nèi)高違法點(diǎn)的仿真場景生成技術(shù)，通過不同仿真引擎之間的相互關(guān)聯(lián)，對(duì)多個(gè)對(duì)象的行為模式進(jìn)行推導(dǎo)（車輛是否闖紅燈、行人是否在斑馬線處過馬路、行人是否攜帶手提包或推車、車輛在未打信號(hào)等情況下改變車道等）。

3 結(jié)束語

本文從專利公開態(tài)勢、專利技術(shù)構(gòu)成、關(guān)鍵技術(shù)點(diǎn)等方面剖析了自動(dòng)駕駛汽車虛擬場景庫構(gòu)建技術(shù)的專利布局和技術(shù)發(fā)展路線。雖然近幾年場景庫構(gòu)建技術(shù)進(jìn)入快速發(fā)展期，專利公開量持續(xù)增長，但研究多集中在簡單的數(shù)據(jù)處理及場景生成等方面，無法完全滿足高級(jí)別自動(dòng)駕駛的測試需求。未來研究應(yīng)著力突破動(dòng)靜態(tài)數(shù)據(jù)融合重構(gòu)技術(shù)，提高動(dòng)態(tài)數(shù)據(jù)識(shí)別速度以及場景自動(dòng)生成效率。