自動駕駛場景采集及模擬仿真場景重構(gòu)的技術(shù)研究

劉海威 甘 雨

(上海機(jī)動車檢測認(rèn)證技術(shù)研究中心有限公司，上海 201805)

0 前言

隨著第5代移動通信(5G)、大數(shù)據(jù)網(wǎng)絡(luò)和人工智能等技術(shù)的不斷發(fā)展，以及汽車“新四化”(電動化、網(wǎng)聯(lián)化、智能化、共享化)進(jìn)程的不斷推進(jìn)，自動駕駛技術(shù)迎來了新的發(fā)展機(jī)遇。如今，不僅有汽車產(chǎn)業(yè)鏈相關(guān)企業(yè)投身于自動駕駛領(lǐng)域，還有眾多的科技巨頭、家電制造企業(yè)、出行公司如谷歌、百度、阿里、美團(tuán)、滴滴、小米和華為等公司也在加入，這極大地加快了自動駕駛算法迭代速度和傳感器換代進(jìn)程。

自動駕駛技術(shù)的研究主要包括感知、定位、決策和規(guī)劃控制等。目前，針對自動駕駛感知決策算法和規(guī)劃控制算法測試的方式主要有實(shí)車測試和虛擬仿真測試。由于實(shí)車測試不能夠覆蓋所有的設(shè)計(jì)場景，并且存在很大的不確定性和危險(xiǎn)性，因此虛擬仿真測試得到了廣泛的應(yīng)用。

自動駕駛虛擬仿真測試方案包括2大類：基于里程的測試方案和基于場景分類的測試方案?；诶锍痰臏y試方案是讓自動駕駛車輛在虛擬場景下連續(xù)不斷的行駛，從而測試自動駕駛車輛的魯棒性和算法的可靠性。基于場景分類的測試方案是將測試場景進(jìn)行分類，其中較常用的分類有：法規(guī)場景、事故場景、自然駕駛場景、預(yù)期功能安全場景和車聯(lián)網(wǎng)場景等，利用場景分類方案可以快速測試出算法存在的缺陷，加快測試速度。目前，比較常見的是將2種測試方案結(jié)合，這樣可以達(dá)到更加靈活高效的測試效果。

本文介紹了自動駕駛仿真場景的建設(shè)方案，包括從場景采集到數(shù)據(jù)處理、再到場景重構(gòu)的整個(gè)流程，重點(diǎn)分析了場景重構(gòu)的技術(shù)難點(diǎn)，并提出相應(yīng)的解決方案。

1 系統(tǒng)總體架構(gòu)

圖1 自動駕駛虛擬仿真測試系統(tǒng)總體架構(gòu)

自動駕駛場景采集和模擬仿真場景重構(gòu)系統(tǒng)的架構(gòu)如圖1所示。其中，自動駕駛場景采集車作為其他硬件的載體，配備有激光雷達(dá)、毫米波雷達(dá)、組合慣性導(dǎo)航定位系統(tǒng)、智能攝像頭等，同時(shí)通過總線數(shù)據(jù)采集設(shè)備可以獲取采集車的車身總線信息，包括制動轉(zhuǎn)向和底盤控制器等相關(guān)信號。圖1中虛線框內(nèi)部分為模擬仿真場景重構(gòu)系統(tǒng)，該系統(tǒng)由規(guī)則場景自動篩選提取、場景目標(biāo)車和目標(biāo)車道提取，以及仿真場景自動化修正3個(gè)部分組成。

1.1 自動駕駛場景采集車

采集車硬件部分組成見表1。借助感知部件可以實(shí)現(xiàn)目標(biāo)物和車道線實(shí)時(shí)標(biāo)注、傳感器真值數(shù)據(jù)管理、車載顯示和遠(yuǎn)程顯示等功能。

表1 自動駕駛場景采集車硬件組成

1.2 仿真場景重構(gòu)

自動駕駛仿真場景重構(gòu)系統(tǒng)的組成如圖2所示。該系統(tǒng)通過真值算法和數(shù)據(jù)清洗2種方式對采集車采集的真值數(shù)據(jù)進(jìn)行后處理。處理后的數(shù)據(jù)可以進(jìn)行數(shù)據(jù)回放、場景預(yù)處理和數(shù)據(jù)片段截取，仿真場景重構(gòu)系統(tǒng)對后處理后的場景再進(jìn)行優(yōu)化，最后生成可以被仿真軟件識別并可以進(jìn)行自動駕駛仿真測試的仿真場景。

圖2 自動駕駛仿真場景重構(gòu)系統(tǒng)

1.3 技術(shù)難點(diǎn)

將采集車采集到的傳感器數(shù)據(jù)轉(zhuǎn)化為自動駕駛虛擬仿真軟件可以識別的場景數(shù)據(jù)是本文重點(diǎn)研究的技術(shù)內(nèi)容。實(shí)現(xiàn)該技術(shù)方案的技術(shù)難點(diǎn)主要有以下3個(gè)方面。① 采集時(shí)間戳同步。自動駕駛采集車工作時(shí)，產(chǎn)生的數(shù)據(jù)量比較大，例如激光雷達(dá)所產(chǎn)生的點(diǎn)云數(shù)據(jù)、毫米波雷達(dá)輸出的目標(biāo)物、車身總線傳來的車載總線數(shù)據(jù)、攝像頭記錄的圖像數(shù)據(jù)，以及導(dǎo)航定位系統(tǒng)傳輸?shù)拇跀?shù)據(jù)，這些數(shù)據(jù)都需統(tǒng)一時(shí)間標(biāo)記以確保所有的設(shè)備數(shù)據(jù)同步被記錄。② 場景數(shù)據(jù)清洗。由于傳感器采集的原始真值數(shù)據(jù)中包含很多的無用數(shù)據(jù)，需要通過一定的算法進(jìn)行濾波處理，這個(gè)過程需要完成：轉(zhuǎn)化數(shù)據(jù)格式、檢查缺失數(shù)據(jù)、刪除多余的片段、連接字符串和轉(zhuǎn)換時(shí)間格式等操作。③ 基礎(chǔ)場景修正。由于自動化場景提取仍存在很多的缺陷和不足，自動化提取后生成的場景直接導(dǎo)入至仿真軟件中存在抖動、車輛閃現(xiàn)等問題，因此需要對自動化提取后的場景進(jìn)行修正處理。

2 場景采集與重構(gòu)方案

2.1 場景數(shù)據(jù)預(yù)處理

解決時(shí)間戳同步主要有3個(gè)步驟：① 獲取多個(gè)傳感器數(shù)據(jù)信息和授時(shí)信息，其中多個(gè)傳感器數(shù)據(jù)信息包括圖像數(shù)據(jù)、組合慣導(dǎo)數(shù)據(jù)、車輛輪速數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)等；② 根據(jù)所獲得的授時(shí)信息對多個(gè)傳感器進(jìn)行時(shí)間戳同步，將各傳感器分別對應(yīng)各自的時(shí)間戳；③ 將處理后的數(shù)據(jù)通過對應(yīng)的傳輸通道發(fā)送給計(jì)算機(jī)中央處理單元。

采集車所采集的傳感器真值數(shù)據(jù)，需經(jīng)過以下幾個(gè)步驟依次按序進(jìn)行清洗，如圖3所示。真值數(shù)據(jù)經(jīng)過數(shù)據(jù)清洗后，數(shù)據(jù)可以達(dá)到場景重構(gòu)的數(shù)據(jù)輸入格式標(biāo)準(zhǔn)。

圖3 場景數(shù)據(jù)清洗

2.2 場景數(shù)據(jù)后處理

場景后處理包括場景提取和場景優(yōu)化。場景提取是以數(shù)據(jù)清洗后的傳感器真值數(shù)據(jù)為輸入，通過智能算法對場景篩選，提取得到關(guān)鍵場景信息。場景提取可以分為基于單一信號提取和基于組合參數(shù)場景提取2種方式。針對描述比較單一的場景可以使用單一信號提取的方式，該方式可以快速地實(shí)現(xiàn)場景提取，數(shù)據(jù)處理的效率高，但是提取后的場景元素不全面；基于組合參數(shù)場景提取的方式適用于復(fù)雜場景，該方式通過多組參數(shù)可以將場景中的目標(biāo)物和車道線描述的更為全面，但是處理的時(shí)間較長且對計(jì)算機(jī)的性能要求比較高。

場景優(yōu)化是指在自動提取場景后，對場景中存在的不足加以優(yōu)化，使得修改后的場景能夠滿足自動駕駛仿真測試的要求。場景優(yōu)化主要是針對場景中的目標(biāo)物和場景中生成的車道線。場景優(yōu)化的界面有4個(gè)，如圖4所示。

車道修正包括對車道的彎曲程度、車道的數(shù)目和車道線型進(jìn)行修改，同時(shí)還可以延長、縮短、裁剪車道線的長度。障礙物的修正主要是處理由于傳感器誤識別所產(chǎn)生的錯(cuò)誤目標(biāo)無信息，通過該系統(tǒng)可以實(shí)現(xiàn)對目標(biāo)物數(shù)量和車輛類型的修改、車輛的屬性信息確認(rèn)、車輛的刪減、目標(biāo)車輛編號的跟蹤串聯(lián)等。經(jīng)過車道修正和目標(biāo)物修正后再對場景進(jìn)行編譯生成，可以獲得在仿真軟件中運(yùn)行的標(biāo)準(zhǔn)場景和對應(yīng)的交通流。

圖4 場景優(yōu)化控制界面

3 場景采集過程和對比分析

3.1 采集準(zhǔn)備

在開始試驗(yàn)之前需要針對車輛狀況和設(shè)備連接情況進(jìn)行檢查，其中包括：① 檢查設(shè)備之間通信連接；② 檢查激光雷達(dá)驅(qū)動設(shè)置、獲取數(shù)據(jù)和參數(shù)標(biāo)定；③ 檢查攝像頭驅(qū)動設(shè)置、獲取數(shù)據(jù)和參數(shù)標(biāo)定；④ 檢查導(dǎo)航定位系統(tǒng)驅(qū)動設(shè)置、獲取數(shù)據(jù)和參數(shù)標(biāo)定；⑤ 檢查場景數(shù)據(jù)記錄儲存系統(tǒng)在工控機(jī)中運(yùn)行狀況；⑥ 檢查各設(shè)備之間同步協(xié)議配置、對齊時(shí)間戳。

3.2 采集實(shí)施

設(shè)備啟動后，采集車自動采集車輛周圍目標(biāo)車的總線信息、車道信息、自車定位數(shù)據(jù)和攝像頭數(shù)據(jù)。為了保證數(shù)據(jù)的安全性和防止檢驗(yàn)設(shè)備出錯(cuò)，該采集系統(tǒng)每10 min自動保存1次數(shù)據(jù)。采集車正常數(shù)據(jù)采集時(shí)的狀態(tài)如圖5所示，其中包括前攝像頭識別信息、地圖中車輛位置信息、車輛傳感器通道和通信狀態(tài)信息、車輛油門和制動踏板輸入信息和車輛輔助功能觸發(fā)狀態(tài)信息等。

圖5 采集車數(shù)據(jù)采集界面

3.3 結(jié)果分析

采集結(jié)束后，可以通過數(shù)據(jù)回放的方式來判斷采集車的運(yùn)行狀態(tài)，如圖6所示。由圖6可知，場景采集系統(tǒng)工作運(yùn)轉(zhuǎn)正常，采集車在平穩(wěn)運(yùn)轉(zhuǎn)過程中速度、車輪轉(zhuǎn)角、發(fā)動機(jī)轉(zhuǎn)速曲線等一系列信號均能實(shí)時(shí)被采集監(jiān)測。在監(jiān)控界面中加入圖表，可以為技術(shù)人員觀察設(shè)備運(yùn)行狀態(tài)提供便利。

圖6 采集車速度、車輪轉(zhuǎn)向角和發(fā)動機(jī)轉(zhuǎn)速情況

自動駕駛場景采集車的數(shù)據(jù)在遷移至場景重構(gòu)服務(wù)器后，經(jīng)過真值數(shù)據(jù)處理和場景優(yōu)化，可以實(shí)現(xiàn)自動駕駛仿真軟件中的場景重構(gòu)。采集車實(shí)時(shí)的數(shù)據(jù)回放和在虛擬仿真軟件中運(yùn)行的場景如圖7所示。通過車道線、交通流、相對位置、相對速度等維度進(jìn)行對比分析可知，通過場景采集車采集和仿真場景重構(gòu)技術(shù)能夠很好地還原自然場景，為自動駕駛相關(guān)的測試服務(wù)提供便利。

圖7 采集車實(shí)測場景和仿真場景對比

4 結(jié)語

本文對自動駕駛汽車仿真技術(shù)進(jìn)行了研究。通過研究自動駕駛場景采集車，獲得了適合自動駕駛場景采集和仿真場景重構(gòu)的解決方案。通過場景預(yù)處理和后處理，將真實(shí)道路上采集獲得傳感器數(shù)據(jù)轉(zhuǎn)化成虛擬仿真生成的場景數(shù)據(jù)，實(shí)現(xiàn)了自然駕駛場景采集到場景轉(zhuǎn)化重構(gòu)的過程。最后，闡述了開展自動駕駛場景采集的實(shí)施步驟，并開展對比試驗(yàn)，對重構(gòu)場景進(jìn)行了測試驗(yàn)證。

本文對自動駕駛場景采集及模擬仿真場景重構(gòu)技術(shù)進(jìn)行了初步探究，為解決自動駕駛場景構(gòu)建研究提供參考。目前，本文提出方案的場景轉(zhuǎn)化效率還未得到進(jìn)一步驗(yàn)證，這是自動駕駛場景采集課題下一個(gè)階段的重點(diǎn)研究方向。