基于多支柱的自動(dòng)駕駛汽車測(cè)試評(píng)價(jià)體系構(gòu)建方法概述

王韋清

摘 要：如何客觀準(zhǔn)確的對(duì)自動(dòng)駕駛汽車功能、性能進(jìn)行測(cè)試評(píng)價(jià)，已成為其準(zhǔn)入和上路通行落地最需要解決的問題。本文基于多支柱法，對(duì)安全性、合規(guī)性、智能性等多維度的自動(dòng)駕駛汽車測(cè)試評(píng)價(jià)體系構(gòu)建方法進(jìn)行了概述，并對(duì)評(píng)價(jià)指標(biāo)組合、解耦及計(jì)算閾值求解、迭代方法進(jìn)行了分析。

關(guān)鍵詞：自動(dòng)駕駛汽車；多支柱法；測(cè)試評(píng)價(jià)體系；閾值計(jì)算

中央級(jí)公益性科研院所基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目 ： 面向自動(dòng)駕駛準(zhǔn)入的交通安全場(chǎng)景庫(kù)及仿真測(cè)試技術(shù)研究（111041000000180001220302）

目前，自動(dòng)駕駛汽車技術(shù)日益成熟，但大規(guī)模商業(yè)化落地前仍面臨諸多挑戰(zhàn)，如何驗(yàn)證自動(dòng)駕駛汽車多維功能性能的安全性、合規(guī)性以及可靠性等方面尚未有系統(tǒng)、完整的方案。國(guó)際上對(duì)于智能網(wǎng)聯(lián)汽車的測(cè)試評(píng)價(jià)采用的多支柱法[1-2]測(cè)評(píng)體系已獲得廣泛共識(shí)，是在封閉場(chǎng)地和開放道路測(cè)試出現(xiàn)效率低、成本高且無法遍歷所有測(cè)試場(chǎng)景時(shí)，綜合高確定性、高置信度、高可靠性的仿真模擬的保障復(fù)雜自動(dòng)駕駛系統(tǒng)合理驗(yàn)證與評(píng)估的方式。

1多支柱如何實(shí)現(xiàn)協(xié)同測(cè)評(píng)

從仿真模擬、封閉場(chǎng)地至開放道路，測(cè)試覆蓋的范圍和功能逐漸減小，而真實(shí)交通場(chǎng)景出現(xiàn)概率和評(píng)價(jià)維度反之。基于仿真測(cè)試和封閉場(chǎng)地測(cè)試的評(píng)價(jià)結(jié)果，可以不斷完善評(píng)價(jià)準(zhǔn)則和測(cè)試場(chǎng)景庫(kù)。其中封閉場(chǎng)地測(cè)試承擔(dān)承上啟下的作用，對(duì)于高危險(xiǎn)性、低概率、復(fù)現(xiàn)難度大的場(chǎng)景可以進(jìn)行功能和性能的測(cè)試評(píng)估，其測(cè)試精度可控的特點(diǎn)能夠最大程度保障自動(dòng)駕駛性能真實(shí)評(píng)價(jià)，可以驗(yàn)證仿真和道路測(cè)試的準(zhǔn)確性。開放道路測(cè)試覆蓋了日常典型駕駛場(chǎng)景且具有偶發(fā)性，能夠?qū)ψ詣?dòng)駕駛系統(tǒng)應(yīng)對(duì)真實(shí)交通狀況的能力進(jìn)行評(píng)價(jià)，通過開放道路測(cè)試得出的危險(xiǎn)場(chǎng)景，可以反饋到仿真測(cè)試中，有針對(duì)性的去迭代場(chǎng)景參數(shù)。而仿真測(cè)試場(chǎng)景覆蓋度最大，能夠復(fù)現(xiàn)各種可能性的場(chǎng)景、測(cè)試自動(dòng)駕駛系統(tǒng)的決策控制能力，避免問題進(jìn)入場(chǎng)地道路測(cè)試環(huán)節(jié)，降低風(fēng)險(xiǎn)，是自動(dòng)駕駛汽車安全上路的必要條件。三者之間互相補(bǔ)充，形成測(cè)評(píng)閉環(huán)，共同促進(jìn)自動(dòng)駕駛汽車的研發(fā)和標(biāo)準(zhǔn)體系建立。

2多支柱測(cè)評(píng)體系的構(gòu)建

2.1場(chǎng)景選取和搭建

基于自動(dòng)駕駛汽車ODC覆蓋的方法和不同場(chǎng)景的關(guān)鍵影響因子設(shè)計(jì)測(cè)試方案[3]，確定測(cè)試規(guī)則和通過條件。通過中國(guó)道路運(yùn)行特征及通行規(guī)則分析，基于收集的自然駕駛、事故調(diào)查和道路測(cè)試等多源異構(gòu)數(shù)據(jù)[4]進(jìn)行關(guān)鍵要素提取，得到邏輯場(chǎng)景。將場(chǎng)景劃分出不同道路類型、交通標(biāo)志標(biāo)線、天氣環(huán)境狀況、車輛通行狀態(tài)等層級(jí)，每一層級(jí)可以細(xì)分，如道路相關(guān)場(chǎng)景可分為高速、城市道路、窄路窄橋、匝道、環(huán)島、隧道等，道路又可以進(jìn)一步考慮曲率、坡度、破損度等特征對(duì)自動(dòng)駕駛汽車功能性能的影響。通過道路設(shè)計(jì)、交通流分析、實(shí)際道路場(chǎng)景分析等方法，構(gòu)建基于道路交通情景的測(cè)試場(chǎng)景。

在仿真場(chǎng)景搭建中使用較為頻繁的有PreScan、VTD、Vissim等平臺(tái)，通過構(gòu)建復(fù)雜的交通環(huán)境，編輯交通標(biāo)志標(biāo)牌、樹木和建筑物等基礎(chǔ)組件，模擬機(jī)動(dòng)車、自行車和行人等交互行為，修改雨、雪、霧等天氣條件以及能見度來構(gòu)建豐富的仿真場(chǎng)景。場(chǎng)地測(cè)試中利用模擬交通參與者，基于路側(cè)系統(tǒng)集成和氣象模擬等技術(shù)，搭建包含真實(shí)交通要素的場(chǎng)地測(cè)試場(chǎng)景。道路測(cè)試中依托于區(qū)域特色的開放試點(diǎn)道路，結(jié)合邊緣計(jì)算、毫米波雷達(dá)、通信單元等智能路側(cè)設(shè)備，全域覆蓋高精定位和高精地圖，構(gòu)建滿足安全性和魯棒性測(cè)試的差異化道路測(cè)試場(chǎng)景。如甘肅開放的測(cè)試路段依托公路貨運(yùn)大通道，同時(shí)又具備人車稀少、極寒極旱、強(qiáng)紫外線、風(fēng)沙雨雪等環(huán)境條件，具有構(gòu)建典型、極端測(cè)試場(chǎng)景的優(yōu)勢(shì)。

2.2場(chǎng)景復(fù)現(xiàn)及參數(shù)研究

場(chǎng)景參數(shù)的設(shè)計(jì)是保證場(chǎng)景復(fù)現(xiàn)的關(guān)鍵，由于道路結(jié)構(gòu)、測(cè)試環(huán)境和實(shí)時(shí)變化的駕駛行為導(dǎo)致場(chǎng)景復(fù)雜多樣，需要設(shè)計(jì)各ODD中的關(guān)鍵參數(shù)提取方法，進(jìn)行參數(shù)采樣統(tǒng)計(jì)，并建立時(shí)間與場(chǎng)景覆蓋度的關(guān)聯(lián)模型。根據(jù)交規(guī)、自然駕駛、交通事故等數(shù)據(jù)提取環(huán)境天氣、道路類型、標(biāo)志標(biāo)線等靜態(tài)和速度、加速度、航向角等動(dòng)態(tài)測(cè)試工況參數(shù)，通過多次測(cè)試驗(yàn)證參數(shù)設(shè)計(jì)有效性，確定系統(tǒng)邊界并優(yōu)化后記錄場(chǎng)景參數(shù)，實(shí)現(xiàn)場(chǎng)景高度還原和復(fù)現(xiàn)。

測(cè)試場(chǎng)景的覆蓋度具有不可窮舉的特點(diǎn)，尤其是具有偶發(fā)性的道路測(cè)試場(chǎng)景。從統(tǒng)計(jì)學(xué)角度來說道路測(cè)試場(chǎng)景覆蓋度與測(cè)試?yán)锍毯蜏y(cè)試時(shí)長(zhǎng)成正相關(guān)[5]，基于海量采集的道路測(cè)試數(shù)據(jù)構(gòu)建場(chǎng)景是最簡(jiǎn)單的方法，但效率較低?？梢愿鶕?jù)場(chǎng)景中主車與其他目標(biāo)物的相對(duì)位置及相對(duì)運(yùn)動(dòng)關(guān)系，進(jìn)一步抽取特征元素，通過場(chǎng)景參數(shù)重組、確定泛化區(qū)間、隨機(jī)化擴(kuò)充等方式來構(gòu)建。對(duì)于前期積累數(shù)據(jù)建立的測(cè)試周期與場(chǎng)景覆蓋關(guān)聯(lián)模型，周期更新的測(cè)試數(shù)據(jù)可以實(shí)現(xiàn)數(shù)據(jù)反哺，不斷訓(xùn)練和驗(yàn)證模型參數(shù)，當(dāng)然要預(yù)先進(jìn)行測(cè)試數(shù)據(jù)異常值檢驗(yàn)和誤差分析，若更新的數(shù)據(jù)僅個(gè)別特征發(fā)生變化、其余情況基本一致，則不必重復(fù)驗(yàn)證所有數(shù)據(jù)?；谙到y(tǒng)架構(gòu)和設(shè)計(jì)運(yùn)行條件進(jìn)行分析，從測(cè)試功能、性能等需求及安全、合規(guī)等評(píng)價(jià)角度出發(fā)，有針對(duì)性的進(jìn)行道路測(cè)試用例的設(shè)計(jì)，對(duì)于難以覆蓋的Corner Case結(jié)合仿真模擬、封閉場(chǎng)地進(jìn)行測(cè)試，這樣即使無法做到全覆蓋的情況下，也能滿足區(qū)域、道路、氣候、交通等特征下的測(cè)試驗(yàn)證需求。

2.3測(cè)試數(shù)據(jù)采集存儲(chǔ)和解析

由于測(cè)試過程中可能存在網(wǎng)絡(luò)延時(shí)和通訊干擾等問題，需要對(duì)多源高并發(fā)數(shù)據(jù)利用高同步、高精度的采集存儲(chǔ)工具，實(shí)現(xiàn)高效采集、無損存儲(chǔ)和數(shù)據(jù)保真。為解決測(cè)試時(shí)存在的交通參與者行為特征難以識(shí)別的問題，需要基于車輛動(dòng)力學(xué)、自動(dòng)控制理論、軟件工程、統(tǒng)計(jì)分析、數(shù)據(jù)解析融合技術(shù)等，結(jié)合車輛行為、交通狀況等動(dòng)態(tài)要素和道路拓?fù)浣Y(jié)構(gòu)、交通標(biāo)志標(biāo)線等靜態(tài)要素，以及車輛軌跡等自動(dòng)駕駛系統(tǒng)交互數(shù)據(jù)進(jìn)行解析，結(jié)構(gòu)化處理后得到包含目標(biāo)物信息、環(huán)境信息、交通標(biāo)志信息、信號(hào)燈信息、車道信息、輪胎接地點(diǎn)信息等可用于自動(dòng)化評(píng)價(jià)的測(cè)試數(shù)據(jù)。

2.4評(píng)價(jià)體系和方法

從交規(guī)遵守能力和事故預(yù)防能力驗(yàn)證需求的角度出發(fā)，對(duì)于測(cè)試中基準(zhǔn)邏輯場(chǎng)景和復(fù)雜危險(xiǎn)場(chǎng)景，采取拆解動(dòng)態(tài)駕駛?cè)蝿?wù)的思想，結(jié)合高精度的仿真數(shù)據(jù)及多模態(tài)的道路場(chǎng)地測(cè)試數(shù)據(jù)，分析動(dòng)靜態(tài)場(chǎng)景要素。通過相關(guān)工具解析目標(biāo)物信息、環(huán)境信息、交通標(biāo)志信息等結(jié)構(gòu)化數(shù)據(jù)，針對(duì)不同指標(biāo)對(duì)評(píng)價(jià)結(jié)果的影響程度，基于層次分析法、熵權(quán)法等算法，構(gòu)造判斷矩陣研究評(píng)價(jià)指標(biāo)組合的權(quán)重。建立不同指標(biāo)值的規(guī)范化、加權(quán)和聚合方法，將指標(biāo)組合值映射到不同評(píng)價(jià)維度，構(gòu)建衡量典型駕駛功能優(yōu)劣的仿真模擬、封閉場(chǎng)地和開放道路測(cè)試協(xié)同評(píng)價(jià)指標(biāo)體系，實(shí)現(xiàn)基于多支柱的自動(dòng)駕駛汽車功能、性能、安全、合規(guī)等評(píng)價(jià)指標(biāo)在不同場(chǎng)景下科學(xué)合理的評(píng)估驗(yàn)證。

3測(cè)評(píng)體系研究維度

測(cè)評(píng)維度應(yīng)以自動(dòng)駕駛的故障響應(yīng)、系統(tǒng)安全、人機(jī)交互、目標(biāo)檢測(cè)、數(shù)據(jù)存儲(chǔ)和人車路協(xié)同等重點(diǎn)功能測(cè)試需求為依據(jù)，結(jié)合復(fù)雜環(huán)境條件下的仿真模擬、封閉場(chǎng)地、開放道路等組合測(cè)試手段，針對(duì)不同場(chǎng)景，進(jìn)行基礎(chǔ)道路、交通設(shè)施、交通狀況、環(huán)境等不同層級(jí)的評(píng)價(jià)指標(biāo)設(shè)計(jì)，從安全性、合規(guī)性、智能性、可靠性、舒適性、能效性等多維度進(jìn)行評(píng)價(jià)指標(biāo)提取，建立指標(biāo)到數(shù)值空間的映射并實(shí)現(xiàn)量化，通過加權(quán)以及參數(shù)賦予對(duì)不同場(chǎng)景下高適應(yīng)度、高匹配度的組合評(píng)價(jià)指標(biāo)進(jìn)行綜合分析。

4評(píng)價(jià)指標(biāo)閾值確定方法

現(xiàn)有自動(dòng)駕駛安全性評(píng)價(jià)指標(biāo)閾值主要由經(jīng)驗(yàn)設(shè)置所得，雖簡(jiǎn)單但適用場(chǎng)景覆蓋度不高，可以結(jié)合比較法、波動(dòng)法、專家咨詢法與數(shù)理統(tǒng)計(jì)方法進(jìn)行求解?？紤]交通沖突嚴(yán)重程度劃分邊界，基于交通規(guī)則常態(tài)化設(shè)計(jì)和交通事故危害調(diào)查，以及智能駕駛系統(tǒng)接管事件風(fēng)險(xiǎn)挖掘等方式，可以提取評(píng)價(jià)指標(biāo)閾值參考區(qū)間并進(jìn)行比較分析。

對(duì)于待確定閾值的指標(biāo)，參考人類駕駛?cè)笋{駛行為特性統(tǒng)計(jì)[6]，通常需要收集如自然駕駛數(shù)據(jù)、風(fēng)險(xiǎn)場(chǎng)景測(cè)試數(shù)據(jù)、交通事故數(shù)據(jù)等，根據(jù)車輛運(yùn)行軌跡和動(dòng)態(tài)駕駛行為計(jì)算該評(píng)價(jià)指標(biāo)在時(shí)間序列下的歷史值分布，并使用核密度估計(jì)等方法建立概率分布模型，在一定置信度下利用模型殘差的計(jì)算方法來確定閾值。例如在惡劣天氣且能見度較低的情況下應(yīng)保持合適的安全速度和安全距離，車輛應(yīng)以不急不緩的制動(dòng)減速度進(jìn)行自我調(diào)整，減速度區(qū)間的上下限可以通過采集的穩(wěn)定收斂自然駕駛數(shù)據(jù)及惡劣天氣物理模擬場(chǎng)景測(cè)試數(shù)據(jù)進(jìn)行計(jì)算。

5評(píng)價(jià)指標(biāo)解耦及閾值迭代更新方法

不同指標(biāo)之間存在沖突與依賴關(guān)系，因此需要研究不同測(cè)試算法和測(cè)試場(chǎng)景下評(píng)價(jià)指標(biāo)的解耦方法，建立每個(gè)評(píng)價(jià)指標(biāo)獨(dú)立的等級(jí)衡量標(biāo)準(zhǔn)，創(chuàng)建自動(dòng)駕駛汽車評(píng)價(jià)指標(biāo)融合度模型。由于評(píng)價(jià)指標(biāo)適用場(chǎng)景不同且具有閾值的差異問題，需結(jié)合開放道路隨機(jī)測(cè)試場(chǎng)景特征與封閉場(chǎng)地特定測(cè)試場(chǎng)景特征，分析不同場(chǎng)景下指標(biāo)閾值的敏感性。通過研究自動(dòng)駕駛汽車測(cè)試運(yùn)行數(shù)據(jù)與道路幾何特征，建立起不同場(chǎng)景的交通沖突動(dòng)態(tài)判別模型。

在求解評(píng)價(jià)指標(biāo)閾值后，需要使用數(shù)理統(tǒng)計(jì)的方法進(jìn)行指標(biāo)閾值的校準(zhǔn)與驗(yàn)證，實(shí)現(xiàn)測(cè)評(píng)的可靠性、有效性以及適用性，通過誤差分析不斷調(diào)整參數(shù)或模型，盡可能減少評(píng)價(jià)模型出現(xiàn)過擬合、閾值過度發(fā)散等情況。應(yīng)用測(cè)試數(shù)據(jù)反復(fù)迭代的方法，既保證了測(cè)試用例有足夠泛化代表性、盡可能多的覆蓋中國(guó)特色的測(cè)試場(chǎng)景特征，又驗(yàn)證了在近似服從同一數(shù)據(jù)分布下的同類場(chǎng)景中評(píng)價(jià)指標(biāo)閾值的合理性。

6結(jié)論與展望

以上通過分析多支柱法下自動(dòng)駕駛汽車協(xié)同測(cè)試評(píng)價(jià)方法，對(duì)測(cè)試場(chǎng)景選取、搭建、復(fù)現(xiàn)、泛化以及測(cè)試數(shù)據(jù)采集、存儲(chǔ)和解析進(jìn)行了概述，并從評(píng)價(jià)指標(biāo)的提取方法、組合權(quán)重、閾值求解以及數(shù)據(jù)迭代等方面進(jìn)行分析，可以為自動(dòng)駕駛汽車測(cè)評(píng)技術(shù)研究和運(yùn)行安全水平驗(yàn)證提供啟示。自動(dòng)駕駛綜合測(cè)評(píng)不僅要考慮功能安全，還要考慮預(yù)期功能安全，通過構(gòu)建中國(guó)特色的測(cè)試用例庫(kù)，對(duì)區(qū)域、道路、氣候、交通特征和中國(guó)駕駛員行為習(xí)慣等方面深入挖掘，進(jìn)行針對(duì)上路通行需求的工況覆蓋度高、場(chǎng)景類型豐富的測(cè)試評(píng)價(jià)技術(shù)研究，從而推動(dòng)自動(dòng)駕駛企業(yè)自我評(píng)估和第三方檢驗(yàn)技術(shù)發(fā)展、加快我國(guó)高級(jí)別自動(dòng)駕駛汽車準(zhǔn)入落地。

參考文獻(xiàn)

[1]Proposal for a new UN Regulation on uniform provisions concerning the approval of vehicles with regards to ALKS，ECE/TRANS/ WP.29/2020/81.

[2]Proposal for the Future Certification of Automated/Autonomous Driving Systems，E C E / T R ANS/ W P. 2 9 / GRVA / 2 0 1 9 / 1 3 ， ht t p： // www.unece.org/trans/main/wp29/wp29wgs/ wp29grva/grva2019.html.

[3]劉法旺，何豐，周時(shí)瑩，梁偉強(qiáng)，何博，陳貞，徐曉慶，曹建永.基于場(chǎng)景的智能網(wǎng)聯(lián)汽車模擬仿真測(cè)試評(píng)估方法與實(shí)踐[J/OL].汽車工程學(xué)報(bào)：1-11[2022-11-14]. http：//kns.cnki.net/kcms/ detail/50.1206.U.20220805.1658.002.html.

[4]孫巍，應(yīng)朝陽(yáng)，潘漢中，等. 基于交通事故案例解構(gòu)的自動(dòng)駕駛車輛測(cè)試場(chǎng)景構(gòu)建方法和測(cè)試方法，CN108765235A[P]. 2018.

[5]鹿暢，劉穎，趙麗影，等. 自動(dòng)駕駛路測(cè)融合度建模與分析[J]. 同濟(jì)大學(xué)學(xué)報(bào)：自然科學(xué)版，2022（005）：050.

[6]劉瑞，馬志雄，武彪，等. 駕駛員駕駛行為的統(tǒng)計(jì)學(xué)特性[J]. 同濟(jì)大學(xué)學(xué)報(bào)：自然科學(xué)版，2019（6）：10.

交通運(yùn)輸部印發(fā)《關(guān)于促進(jìn)道路交通自動(dòng)駕駛技術(shù)發(fā)展和應(yīng)用的指導(dǎo)意見》

2020年交通運(yùn)輸部發(fā)布《關(guān)于促進(jìn)道路交通 自動(dòng)駕駛技術(shù)發(fā)展和應(yīng)用的知道意見》提出，到2025年，自動(dòng)駕駛基礎(chǔ)理論研究取得積極進(jìn)展，道路基礎(chǔ)設(shè)施智能化、車路協(xié)同等關(guān)鍵技術(shù)及產(chǎn)品研發(fā)和測(cè)試驗(yàn)證取得重要突破；出臺(tái)一批自動(dòng)駕駛方面的基礎(chǔ)性、關(guān)鍵性標(biāo)準(zhǔn)；建成一批國(guó)家級(jí)自動(dòng)駕駛測(cè)試基地和先導(dǎo)應(yīng)用示范工程，再不分場(chǎng)景實(shí)現(xiàn)規(guī)?；瘧?yīng)用，推動(dòng)自動(dòng)駕駛技術(shù)產(chǎn)業(yè)化落地。

以習(xí)近平新時(shí)代中國(guó)特色社會(huì)主義思想為指導(dǎo)，深入貫徹黨的十九大和十九屆二中、三中、四中、五中全會(huì)精神，堅(jiān)定不移的貫徹新發(fā)展理念，充分發(fā)揮新驅(qū)動(dòng)在交通強(qiáng)國(guó)建設(shè)中的第一動(dòng)力總用，以關(guān)鍵技術(shù)研發(fā)為支撐，以典型場(chǎng)景示范為先導(dǎo)，以政策和標(biāo)準(zhǔn)為保障，堅(jiān)持鼓勵(lì)創(chuàng)新、多元發(fā)展、試點(diǎn)先行、確保安全的原則，加快推動(dòng)自動(dòng)假死技術(shù)在我國(guó)道路交通運(yùn)輸中發(fā)展應(yīng)用，全面提升交通運(yùn)輸現(xiàn)代化水平，更好滿足人民群眾多元化、高品質(zhì)出行需求，為加快建設(shè)交通強(qiáng)國(guó)提供支撐。

到2025年，自動(dòng)駕駛基礎(chǔ)理論研究去的積極進(jìn)展，道路基礎(chǔ)設(shè)施智能化、車路協(xié)同等關(guān)鍵技術(shù)及產(chǎn)品研發(fā)和測(cè)試驗(yàn)證取得重要突破；出臺(tái)一批自動(dòng)駕駛方面的基礎(chǔ)性、關(guān)鍵性標(biāo)準(zhǔn)；建成一批國(guó)家級(jí)自動(dòng)駕駛測(cè)試基地和先導(dǎo)應(yīng)用示范工程，在部分場(chǎng)景實(shí)現(xiàn)規(guī)?；瘧?yīng)用，推動(dòng)自動(dòng)駕駛技術(shù)產(chǎn)業(yè)化落地。