基于數(shù)據(jù)的輕量化感知融合方案

劉姣 彭小權(quán)

摘 要：自動(dòng)駕駛等級(jí)分為L0駕駛輔助，L1輔助駕駛，L2部分自動(dòng)駕駛，L3條件自動(dòng)駕駛，L4高度自動(dòng)駕駛和L5完全自動(dòng)駕駛。汽車的自動(dòng)駕駛系統(tǒng)由感知、決策和執(zhí)行三個(gè)模塊組成，其中感知是自動(dòng)駕駛系統(tǒng)的基礎(chǔ)。針對(duì)不同的駕駛等級(jí)，感知模塊所配置的傳感器種類、數(shù)量和系統(tǒng)的環(huán)境感知能力明顯不同。

關(guān)鍵詞：傳感器;數(shù)據(jù)融合;過程分析

0 前言

目前可以批量供貨的車載傳感器由提供目標(biāo)輪廓信息的圖像類和提供目標(biāo)位置信息的雷達(dá)類。圖像類包括攝像頭和（成像）激光雷達(dá)。雷達(dá)類包含超聲波雷達(dá)、毫米波雷達(dá)和激光雷達(dá)（測距）。其中激光雷達(dá)的圖像識(shí)別能力遠(yuǎn)遠(yuǎn)不如攝像頭，但其具有所有雷達(dá)中最強(qiáng)的位置識(shí)別能力。自動(dòng)駕駛系統(tǒng)要獲得完整的目標(biāo)信息，融合技術(shù)必不可少，感知融合技術(shù)根據(jù)融合的信息類型包括：目標(biāo)級(jí)的感知融合、特征級(jí)的感知融合和數(shù)據(jù)級(jí)的感知融合?；跀?shù)據(jù)級(jí)的感知融合得到的目標(biāo)信息，才能滿足到L4/L5的感知需求。

1 傳感器數(shù)據(jù)融合

L4/L5的感知模塊輸出的數(shù)據(jù)包括：環(huán)境建模、目標(biāo)識(shí)別（類別、尺寸、距離和速度等）數(shù)據(jù)和目標(biāo)跟蹤（位置和軌跡等）數(shù)據(jù)等。因此感知融合技術(shù)也分為環(huán)境數(shù)據(jù)融合、目標(biāo)識(shí)別數(shù)據(jù)融合和目標(biāo)跟蹤數(shù)據(jù)融合。一般來說，數(shù)據(jù)級(jí)的融合存在運(yùn)算量特別大的問題，要求車載電腦具有很強(qiáng)的圖像處理能力和數(shù)學(xué)運(yùn)算能力同時(shí)要由冗余，因此通常會(huì)配置很多GPU和CPU。另外在特殊的場景對(duì)算法提出了更高的要求，例如目標(biāo)域環(huán)境對(duì)信噪比不明顯（從傳感器的識(shí)別能力角度）的場景。

目前的多傳感器數(shù)據(jù)融合的常用方法隨機(jī)概率和人工智能兩大類。隨機(jī)概率類方法有加權(quán)平均法，卡爾曼濾波法，多貝葉斯估計(jì)法，D-S（Dempster-Shafer）證據(jù)推理和產(chǎn)生式規(guī)則等基礎(chǔ)算法及其改進(jìn)型。人工智能及所說的AI（Artificial Intelligence）技術(shù)類則有模糊邏輯理論，神經(jīng)網(wǎng)絡(luò)，粗集理論和專家系統(tǒng)等，其中神經(jīng)網(wǎng)絡(luò)算法是目前研究最深入和應(yīng)用最廣泛的算法。隨著汽車和自動(dòng)駕駛商業(yè)化的進(jìn)展，融合技術(shù)需要不斷提升。當(dāng)路面的自動(dòng)駕駛車輛占比遠(yuǎn)超過有人駕駛的時(shí)候，自動(dòng)駕駛車輛的風(fēng)險(xiǎn)度才能明顯降低。

2 傳感器數(shù)據(jù)融合的過程

本文提出一種低運(yùn)算量的數(shù)據(jù)級(jí)的融合方案，基于成熟的圖像算法并結(jié)合AI技術(shù)，充分利用各傳感器的特點(diǎn)和避免傳感器的缺點(diǎn)，基于現(xiàn)有的融合算法增加“反饋式和回溯式”數(shù)據(jù)級(jí)的融合方案，達(dá)到相同的融合效果的條件下能明顯減低運(yùn)算數(shù)據(jù)量和提升運(yùn)算速度。

在融合過程中，根據(jù)本車上某傳感器的特性識(shí)別的較高信值目標(biāo)，對(duì)其他傳感器的數(shù)據(jù)進(jìn)行局部處理從而得到高信值的目標(biāo)。例如圖1明暗度不明顯影響圖像中，雷達(dá)可以識(shí)別出區(qū)域（H4：H7）（V5：V6）有目標(biāo)，圖像處理可以根據(jù)該輸入單獨(dú)對(duì)區(qū)域（H4：H7）（V5：V6）降低閾值從而得到目標(biāo)清晰的圖像信息。

在融合過程中，根據(jù)本車與目標(biāo)的相對(duì)關(guān)系形成的特定功能場景（例如AEB，ACC和LKA等），回溯對(duì)應(yīng)設(shè)定時(shí)間（下文的a和b）內(nèi)已經(jīng)處理過的數(shù)據(jù)重新修訂融合結(jié)果，從而使得獲得更佳精確的目標(biāo)和目標(biāo)軌跡。例如圖1明暗度不明顯影響圖像中，雷達(dá)可以識(shí)別出區(qū)域（H4：H7）（V5：V6）有目標(biāo)，圖像處理可以疊加過去a秒內(nèi)該目標(biāo)所在的區(qū)域的圖片并進(jìn)行近視疊加從而獲得清晰的圖像信息。例如圖2背景噪音影響毫米波雷達(dá)中，融合系統(tǒng)通過處理已經(jīng)識(shí)別噪音因里有目標(biāo)，雷達(dá)處理可以根據(jù)該輸入對(duì)過去b秒內(nèi)的雷達(dá)數(shù)據(jù)重新對(duì)比和處理從而得到噪音里的目標(biāo)和目標(biāo)軌跡，使得系統(tǒng)能獲得該目標(biāo)進(jìn)入噪音區(qū)域一直到離開噪音區(qū)域的全過程數(shù)據(jù)。

目前的車載電腦的常見軟硬件架構(gòu)有特斯拉的車載中央計(jì)算機(jī)，英偉達(dá)的Xavier計(jì)算平臺(tái)，ZF的ProAI自動(dòng)駕駛車載計(jì)算機(jī)，華為的MDC車載智能駕駛計(jì)算平臺(tái)。他們的共性是冗余一套硬件架構(gòu)，通過軟件系統(tǒng)進(jìn)行管理，能確保至少有一套硬件系統(tǒng)處于正常的工作狀態(tài)。甚至有的硬件平臺(tái)，會(huì)比較兩套硬件系統(tǒng)運(yùn)行和計(jì)算的結(jié)果，通過軟件系統(tǒng)進(jìn)行處理最終計(jì)算結(jié)果。

本融合方案對(duì)車載電腦的軟硬件架構(gòu)提出了新的要求，如圖3車載電腦的軟硬件架構(gòu)。對(duì)于多核，多個(gè)GUP/CPU核中只預(yù)留一個(gè)冗余GPU/CPU核，多個(gè)內(nèi)存中預(yù)留兩個(gè)內(nèi)存。對(duì)于單核，多個(gè)GUP/CPU中預(yù)留一個(gè)冗余GPU/CPU，多個(gè)內(nèi)存中預(yù)留兩個(gè)內(nèi)存。這樣的硬件架構(gòu)相對(duì)冗余一套硬件或冗余一套系統(tǒng)做備份成本低得多。軟件重啟方式，是當(dāng)某一個(gè)運(yùn)算或存儲(chǔ)區(qū)間出現(xiàn)故障時(shí)，在下一個(gè)時(shí)鐘將運(yùn)算或存儲(chǔ)轉(zhuǎn)移到冗余的區(qū)間，重啟出現(xiàn)故障的區(qū)間。硬件重啟方式，是如果當(dāng)前場景允許重啟出現(xiàn)故障的硬件部分而不是空間。

3 結(jié)束語

自動(dòng)駕駛的系統(tǒng)如果做到對(duì)相關(guān)環(huán)境內(nèi)的目標(biāo)100%識(shí)別，100%可信和100%冗余，那樣硬件成本將會(huì)急劇上升，會(huì)嚴(yán)重影響自動(dòng)駕駛的全面應(yīng)用。相對(duì)研究和論證革命性的融合感知算法利用現(xiàn)有的算法在細(xì)節(jié)上設(shè)計(jì)和拓?fù)淙诤细兄惴ㄍ瑯又匾瑯釉O(shè)計(jì)和制造合理的輕量化感知融合軟硬件架構(gòu)是必要的。

參考文獻(xiàn)：

[1]宋強(qiáng)，熊偉，何友.多傳感器多目標(biāo)系統(tǒng)誤差融合估計(jì)算法[J].北京航空航天大學(xué)學(xué)報(bào)，2012，38（06）：835-841.