智能網聯(lián)汽車測試場景三維評價模型研究

田思波 郭潤清 樊曉旭 童寶鋒

摘? 要：測試驅動型開發(fā)是智能網聯(lián)汽車技術發(fā)展的重要路徑，而測試場景作為測試驅動型開發(fā)過程的核心要素，需要建立科學合理的建模和分類方法。首先，從應用層面定義了智能網聯(lián)汽車測試場景的三個評價指標;其次，提出了測試場景評價的三維建模與評價方法;最后，結合具體應用案例分析了測試場景三維評價模型的應用場景。提出的測試場景三維評價模型對智能網聯(lián)汽車的測試與評價具有重要指導作用。

關鍵詞：智能網聯(lián)汽車;測試場景;三維模型;測試與評價

中圖分類號：U467.1? ? ? ?文獻標識碼：A? ? ? ?文章編號：1005-2550（2020）01-0046-05

Three-dimensional Evaluation Model Research on Test Scenario? of Intelligent and Connected Vehicle

TIAN Si-bo1，2， GUO Run-qing1，2， FAN Xiao-xu1，2， TONG Bao-feng1，2

（ 1.Shanghai SH Intelligent Automotive Technology Co， Ltd， Shanghai 201804， China;

2. Shanghai International Automobile City Group Co.， Ltd， Shanghai 201805，China）

Abstract： Test-driven development is an important path for the technology development of intelligent and connected vehicle， as the key element of test-driven development， test scenario need to be established scientific and reasonable modeling and classification method. Firstly， three evaluation indexes of intelligent and connected vehicle test scenario are defined from the application level. Then， three-dimensional modeling and evaluation method are proposed. Finally， the application scenarios of three-dimensional evaluation model of test scenario are analyzed with specific application cases. Three-dimensional evaluation model of test scenario proposed will have great impact on test and evaluation of intelligent and connected vehicle.

前言

近年來，中國智能網聯(lián)汽車在國家產業(yè)政策和新技術的推動下迅速發(fā)展。智能網聯(lián)汽車技術的發(fā)展需要科學完整的測試驗證和評價體系的支撐[1，9]，而測試場景則是測試與評價體系的基礎。智能網聯(lián)汽車的技術研發(fā)依賴測試驅動型開發(fā)體系[2]，由于目前還很難形成智能網聯(lián)的正向研發(fā)體系，這就更凸顯了測試場景的重要性。

由于測試場景的重要性，國內外學者對測試場景進行了大量的研究。Ulbrich S.等從多個維度分析了測試場景的術語定義，并且建議自動駕駛領域要能夠保持測試場景術語定義的一致性和連續(xù)性[3]。Go K.等指出測試場景在不同的環(huán)境下有不同的用途，但是場景描述的元素都是一致的[4]。Bagschik G.等提出了一種潛在危險場景生成方法用于風險評估[5]。Menzel T.等從描述層面將測試場景分為三種類型：功能場景、邏輯場景和具體場景[6]。Galen E.等提出了一種基于性能表現(xiàn)邊界發(fā)現(xiàn)與識別的自動駕駛挑戰(zhàn)性和多樣性測試場景的生成方法[7]。但是，針對自動駕駛測試場景，目前研究缺少從應用層面科學合理的測試場景分類和評價的方法。

本文首先從應用層面定義智能網聯(lián)汽車測試場景的三個評價指標，然后根據(jù)三個評價指標建立三維智能網聯(lián)汽車測試場景評價模型，最后介紹智能網聯(lián)汽車測試場景三維評價模型的具體應用。

2? ? 智能網聯(lián)汽車測試場景主要評價指標

智能網聯(lián)汽車測試場景是指與測試相關的外部場地、道路、氣象和交通參與者以及車輛自身的駕駛任務和狀態(tài)等信息的集合，主要用來考察智能網聯(lián)汽車相關自動駕駛功能及相應的性能表現(xiàn)。

2.1? ?智能網聯(lián)汽車測試場景基本要素

智能網聯(lián)汽車測試場景的基本組成要素主要包含以下四個方面[8]（如圖1所示）：1）戰(zhàn)術操縱行為是指相應測試場景下需要執(zhí)行的駕駛任務;2）設計運行域（Operational Design Domain， ODD）是指自動駕駛系統(tǒng)功能定義的測試運行范圍;3）事件探測及響應是指相應測試場景下自動駕駛系統(tǒng)需要探測的物體或者事件以及應做出的響應;4）失效模式是指相應測試場景下自動駕駛系統(tǒng)測試失敗的可能表現(xiàn)形式。

2.2? ?智能網聯(lián)汽車測試場景主要評價指標

智能網聯(lián)汽車測試場景主要用來考察智能網聯(lián)汽車相關自動駕駛功能及相應的性能表現(xiàn)?；谥悄芫W聯(lián)汽車測試場景的基本組成要素，本文提出了智能網聯(lián)汽車測試場景的三個主要評價指標：復雜度、性能表現(xiàn)和危險度，如圖2所示。其中，復雜度主要是指智能網聯(lián)汽車自動駕駛任務的難度和交通環(huán)境的復雜度;性能表現(xiàn)主要是指智能網聯(lián)汽車自動駕駛任務的完成度、對交通效率的影響和乘坐舒適度;危險度主要是指智能網聯(lián)汽車功能失效對人和車輛造成的危害。通過這三個評價指標可以對智能網聯(lián)汽車測試場景進行一個全面綜合的評價。

3? ? 智能網聯(lián)汽車測試場景三維建模

下面對智能網聯(lián)汽車測試場景基本要素和主要評價指標的關系進行闡述，如圖3所示。戰(zhàn)術操縱行為決定了測試車輛要執(zhí)行的自動駕駛任務的復雜程度，設計運行域則決定了測試車輛完成自動駕駛任務所運行的駕駛環(huán)境復雜程度，因此，戰(zhàn)術操縱行為和設計運行域共同決定了測試場景的復雜度評價指標;事件探測及響應體現(xiàn)了測試車輛在相應的駕駛任務下對道路交通參與者或者障礙物的響應，反應了測試車輛的完成相應自動駕駛任務的具體性能，因此，事件探測及響應決定了測試場景的性能表現(xiàn)評價指標;失效模式體現(xiàn)了測試車輛在執(zhí)行自動駕駛任務時可能出現(xiàn)的功能失效或任務失敗的具體形式，以及可能造成的危害，因此，失效模式決定了測試場景的危險度。通過以上分析可以看出，對于智能網聯(lián)汽車測試場景來說，復雜度、性能表現(xiàn)和危險度三個評價指標是相對獨立的。

根據(jù)智能網聯(lián)汽車測試場景三個評價指標的相對獨立性關系，可以建立智能網聯(lián)汽車測試場景三維模型，如圖4所示，其中，復雜度、性能表現(xiàn)和危險度分別為測試場景三維模型的三個坐標軸。每一個坐標軸均代表相應指標的具體表現(xiàn)，且均為正值，這樣每個測試場景都可以從建立的三維模型第一象限空間中找到自己的位置，從而可以從三維空間的角度對測試場景進行全面綜合的評價。

根據(jù)當前智能網聯(lián)汽車的發(fā)展階段，目前還無法對測試場景的評價指標給出一個相對定量的數(shù)值。因此，本文是采用定性方法對測試場景進行評價，把建立的三維模型的第一象限空間劃分為8個正方體（如圖4所示），這樣每個相鄰正方體之間僅有一個評價指標之間的變化，很容易進行不同測試場景之間的橫向對比分析，從而可以有效提高測試場景的分類和使用效率。

4? ? 智能網聯(lián)汽車測試場景三維評價模型應用

4.1? ?測試場景分類方法

根據(jù)智能網聯(lián)汽車測試場景三維評價模型，對于任何一個測試場景，首先從復雜度、性能表現(xiàn)和危險度三個維度進行評價。從定性分析角度，三個評價指標均用高和低兩個定性指標進行評價分類，這樣測試場景三維評價模型所劃分的8個正方體的每個正方體所對應的評價指標的關系如表1所示：

根據(jù)圖4和表1可以看出，如果某一測試場景位于1號空間內，則表明該測試場景的復雜度、性能表現(xiàn)和危險度均相對較低，如果位于7號空間內，則表明該測試場景的復雜度、性能表現(xiàn)和危險度均相對較高。因此，對于三維空間內的任何一個測試場景，都可以找到其對應的三維評價指標。

4.2? ?測試場景三維評價模型應用案例

下面將通過幾個典型測試場景的分類案例，結合測試場景三維評價指標的定義，介紹測試場景三維評價模型的應用方法。

1.自車U型掉頭測試場景（圖5所示），對自動駕駛汽車來說，該測試場景的復雜度較低，性能表現(xiàn)相對較低，危險度同樣較低，因此，該測試場景應該被劃分在1號空間內。

2.自車躲避連續(xù)障礙物測試場景（圖6所示），對自動駕駛汽車來說，該測試場景的復雜度較高，性能表現(xiàn)相對較低，危險度同樣較低，因此，該測試場景應該被劃分在2號空間內。

3.自車遇到有遮擋行人橫穿馬路測試場景（圖7所示），對自動駕駛汽車來說，該測試場景的復雜度較高，性能表現(xiàn)相對較高，危險度同樣較高，因此，該測試場景應該被劃分在7號空間內。

4.自車探測并避讓對向來車測試場景（圖8所示），對自動駕駛汽車來說，該測試場景的復雜度較高，性能表現(xiàn)相對較低，危險度同樣較高，因此，該測試場景應該被劃分在6號空間內。

通過以上四個測試場景的分類案例可以看出，對于任何一個測試場景，我們都可以在測試場景三維評價模型中找到其對應的空間位置。而不同空間位置代表的含義各不相同，因此，在測試場景實際應用過程中，可以根據(jù)我們的測試需求從相應的三維空間中找到合適的測試場景。當前階段，安全性是智能網聯(lián)汽車研發(fā)所關注的首要因素，因此在智能網聯(lián)汽車的測試與評價過程中，我們應當對5，6，7，8號空間內的測試場景給予更多的關注。對于1，2，3，4號空間內的測試場景，我們應該根據(jù)研發(fā)測試需求進行選擇，比如1號空間，測試場景的復雜度低，但是性能表現(xiàn)卻相對較差，我們就需要進行特別關注，有助于進行技術的迭代升級。

5? ? 結束語

當前智能網聯(lián)汽車的技術發(fā)展離不開測試驅動型開發(fā)，而測試驅動型開發(fā)又需要科學合理的測試場景。本文提出了用于智能網聯(lián)汽車測試驅動型開發(fā)的測試場景三維評價模型，并對三維評價模型的應用進行了案例介紹。本文提出的測試場景三維評價模型意義如下：1）根據(jù)三維評價模型，有利于對現(xiàn)有測試場景進行科學合理的分類;2）利用三維評價模型，可以高效選擇測試評價所需測試場景和測試用例，提高測試評價的效率。下一步需要根據(jù)建立的三維評價模型，對相應測試場景三維評價模型的評價指標進行量化研究。

參考文獻：

[1]李克強，戴一凡，李升波，等. 智能網聯(lián)汽車（ ICV ） 技術的發(fā)展現(xiàn)狀及趨勢[J]. 汽車安全與節(jié)能學報，2017，8（1）： 1-14.

[2]Li Li， Yilun Lin， Nanning Zheng， et al. Artificial Intelligence Test： A Case Study of Intelligent Vehicles[J]. Artif Intell Rev， 2018， 50：441–465.

[3]Ulbrich S.， Menzel T.， Reschka A.， et al. Defining and Substantiating the Terms Scene， Situation， and Scenario for Automated Driving[C]//IEEE 18th International Conference on Intelligent Transportation Systems （ITSC）. Las Palmas， Spain： IEEE， 2015.

[4]Go K.， Carroll J. M.. The Blind Men and the Elephant： Views of Scenario-based System Design. Interactions， 2004， 11（6）： 44-53.

[5]Bagschik G.， Reschka A.， Stolte T.， et al. Identification of Potential Hazardous Events for an Unmanned Protective Vehicle[C]// IEEE Intelligent Vehicles Symposium. Gothenburg， Sweden： IEEE， 2016.

[6]Menzel T ， Bagschik G ， Maurer M . Scenarios for Development， Test and Validation of Automated Vehicles[C]//IEEE Intelligent Vehicles Symposium. Changsu， China： IEEE， 2018.

[7]Galen E.， Paul G.， R. Chad， et al. Adaptive Generation of Challenging Scenarios for Testing and Evaluation of Autonomous Vehicles[J]. The Journal of Systems and Software， 2018， 137：197-215.

[8]J3016. Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems[S]. Society of Automotive Engineers （SAE）， 2016.

[9]陳龍. 基于多源數(shù)據(jù)挖掘的汽車智能駕駛系統(tǒng)有效性評價[D]. 北京：清華大學， 2017.