無(wú)人駕駛環(huán)境感知中多源數(shù)據(jù)融合應(yīng)用綜述

祖國(guó)強(qiáng) 何俏君 張志德 徐偉

（1.廣東省智能網(wǎng)聯(lián)汽車創(chuàng)新中心有限公司，廣州 511400；2.廣州汽車集團(tuán)股份有限公司汽車工程研究院，廣州 511400）

主題詞：多源數(shù)據(jù)融合 感知 卡爾曼 深度學(xué)習(xí)

DS Dempster Shafer

ROI Region of Interest

RoarNet Region Approximation Refinement Network

AVOD Aggregate View Object Detection

MV3D Multi-View 3D Object Detection

MCU Microcontroller Unit

SoC System on a Chip

1 前言

隨著汽車保有量的持續(xù)增加，交通事故日益高發(fā)，這給人們出行甚至城市發(fā)展都帶來(lái)了嚴(yán)峻的挑戰(zhàn)，而以無(wú)人駕駛為核心的新型智能交通系統(tǒng)在一定程度上改善了交通運(yùn)輸?shù)男?提高了行車的安全性。通常，依據(jù)無(wú)人駕駛系統(tǒng)的功能定義，可將無(wú)人駕駛系統(tǒng)分為4大主要功能模塊：感知融合、融合定位、路徑規(guī)劃和決策控制。其中，感知融合模塊以攝像頭、激光雷達(dá)、毫米波雷達(dá)傳感器的原始數(shù)據(jù)為輸入，并根據(jù)各傳感器的感知特性對(duì)信息進(jìn)行融合，以獲得更準(zhǔn)確的自車位姿信息、狀態(tài)信息以及道路、障礙物、行駛區(qū)域周邊環(huán)境信息。感知融合模塊是無(wú)人駕駛系統(tǒng)中其它模塊的源頭，整個(gè)無(wú)人駕駛系統(tǒng)的性能很大程度上有感知融合模塊的性能決定。在感知融合模塊，常用的傳感器有攝像頭、毫米波雷達(dá)、激光雷達(dá)。不同的傳感器有不同的優(yōu)缺點(diǎn)及特定用途，通過(guò)對(duì)目前國(guó)內(nèi)外感知領(lǐng)域研究現(xiàn)狀調(diào)查發(fā)現(xiàn)以下結(jié)論。

攝像頭在無(wú)人駕駛系統(tǒng)中是必不可少的。其優(yōu)點(diǎn)主要有2方面：（1）攝像頭成本低，且是最接近于人類感知環(huán)境的傳感器；（2）攝像頭輸出具有豐富的語(yǔ)義信息，同時(shí)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法已趨于成熟，可以最大程度的挖掘其中信息，獲取盡可能準(zhǔn)確的感知信息，比如物體的類別、交通牌信息、車道線信息等。但是攝像頭還存在一些缺點(diǎn)：實(shí)時(shí)性差、易受環(huán)境（光線、天氣）影響、不能準(zhǔn)確地檢測(cè)前車速度和車距，以獲得精確的環(huán)境細(xì)節(jié)信息、縱向方向上的分辨率較低。

毫米波雷達(dá)是無(wú)人駕駛系統(tǒng)中最成熟的傳感器，其優(yōu)勢(shì)在于環(huán)境適應(yīng)性強(qiáng)，可直接獲取目標(biāo)準(zhǔn)確的速度、距離、角度信息，可以彌補(bǔ)攝像頭的不足，但是雷達(dá)輸出的障礙物列表噪聲較大、漏檢率與誤檢率較高、同時(shí)存在無(wú)法給出跟蹤目標(biāo)的類別信息、尺寸信息。

激光雷達(dá)與毫米波雷達(dá)不同，使用工作頻率更高的激光束，因此具有分辨率高、隱蔽性強(qiáng)的優(yōu)點(diǎn)。然而，其工作時(shí)受天氣的影響較大，相較于在晴天的感知效果，激光雷達(dá)在雨、濃煙、濃霧的異常天氣里感知距離大幅縮短，對(duì)異常天氣的魯棒性較差。

對(duì)于單一類型的傳感器來(lái)說(shuō)，某一采樣時(shí)刻只能獲取環(huán)境的1個(gè)片面數(shù)據(jù)，數(shù)據(jù)量少，其信息只能描述環(huán)境的局部特征。同時(shí)，單一類型的傳感器有自己的局限性，雖然可以通過(guò)改進(jìn)系統(tǒng)硬件性能或優(yōu)化算法，來(lái)提升單一傳感器的性能，但是仍不能滿足在復(fù)雜交通工況中的對(duì)感知性能的要求。而多源傳感器系統(tǒng)通過(guò)多類型、多視角傳感器獲得更多種類和數(shù)量的數(shù)據(jù)，因此能夠更加全面的描述環(huán)境，這是因?yàn)槎嘣磦鞲衅髦g的互補(bǔ)數(shù)據(jù)不僅擴(kuò)展了單源傳感器的性能（圖1）及空間上的觀測(cè)范圍，還提高了系統(tǒng)的感知維度與感知準(zhǔn)確度，增強(qiáng)了環(huán)境適應(yīng)能力與分辨能力，更重要的是增強(qiáng)了系統(tǒng)應(yīng)對(duì)不同天氣情況、光照情況的魯棒性。

圖1 多源數(shù)據(jù)融合示意

多源數(shù)據(jù)融合的具體過(guò)程如下：

（1）多源傳感器獨(dú)立工作獲得觀測(cè)數(shù)據(jù)；

（2）對(duì)各傳感器數(shù)據(jù)進(jìn)行預(yù)處理；

（3）對(duì)預(yù)處理之后的數(shù)據(jù)進(jìn)行信息提取，獲取觀測(cè)對(duì)象的特征信息；

（4）在數(shù)據(jù)融合中心使用特定算法對(duì)觀測(cè)對(duì)象的多源信息進(jìn)行融合，獲得對(duì)環(huán)境的一致性描述。

2 多源數(shù)據(jù)融合算法

多源數(shù)據(jù)融合算法是感知融合領(lǐng)域的核心內(nèi)容。通過(guò)對(duì)多源數(shù)據(jù)在數(shù)據(jù)級(jí)、特征級(jí)、目標(biāo)級(jí)不同層次進(jìn)行融合處理，可以獲得目標(biāo)的高精度描述。目前主流的融合算法有加權(quán)平均法、貝葉斯方法、卡爾曼濾波原理、DS證據(jù)理論推理和深度學(xué)習(xí)，不同的算法有不同的適用環(huán)境及各自的優(yōu)缺點(diǎn)。

2.1 加權(quán)平均法

加權(quán)平均法比較簡(jiǎn)單、直觀，多個(gè)傳感器獨(dú)立探測(cè)的數(shù)據(jù)，乘上相應(yīng)的權(quán)值，然后累加求和并取平均值，將其結(jié)果作為融合結(jié)果。該方法較容易實(shí)現(xiàn)，實(shí)時(shí)性好。但是，其權(quán)值的分配和取值有一定的主觀性，且方法過(guò)于簡(jiǎn)單，融合效果不夠穩(wěn)定，實(shí)用性較差。

2.2 貝葉斯方法

貝葉斯方法基于先驗(yàn)概率，并不斷結(jié)合新的數(shù)據(jù)信息得到新的概率，其公式如式（1）。

貝葉斯方法的主要局限性在于其工作基于先驗(yàn)概率，而先驗(yàn)概率往往需要通過(guò)大量的數(shù)據(jù)統(tǒng)計(jì)來(lái)實(shí)現(xiàn)。

2.3 卡爾曼濾波理論

卡爾曼濾波理論是1 種利用線性狀態(tài)方程，通過(guò)系統(tǒng)輸入的觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法，卡爾曼濾波法能合理并充分的處理多種差異很大的傳感器信息，并能適應(yīng)復(fù)雜多樣的環(huán)境?；诳柭鼮V波的遞推特性，不僅可以對(duì)當(dāng)前狀態(tài)進(jìn)行狀態(tài)估計(jì)，而且可以對(duì)未來(lái)狀態(tài)進(jìn)行預(yù)測(cè)，通過(guò)狀態(tài)估計(jì)、狀態(tài)預(yù)測(cè)的不斷迭代實(shí)現(xiàn)對(duì)被測(cè)狀態(tài)的最優(yōu)估計(jì)?？柭鼮V波算法常用的公式如下。

式中，是狀態(tài)矩陣，是狀態(tài)協(xié)方差矩陣，是卡爾曼增益矩陣，其中下標(biāo)11為上一時(shí)刻數(shù)值，1為當(dāng)前時(shí)刻數(shù)值；F是前后時(shí)刻的狀態(tài)轉(zhuǎn)移矩陣；Q是當(dāng)前時(shí)刻的預(yù)測(cè)噪聲協(xié)方差；H是觀測(cè)矩陣到狀態(tài)的轉(zhuǎn)移矩陣；R是傳感器的噪聲協(xié)方差矩陣；z是傳感器測(cè)量向量。

2.4 DS證據(jù)理論

DS證據(jù)理論是基于貝葉斯估計(jì)方法，Dempster首先通過(guò)構(gòu)造1個(gè)不確定性推理模型，將命題的不確定性轉(zhuǎn)化為集合的不確定性，Shafer在此基礎(chǔ)上對(duì)其進(jìn)行了完善。其最大特點(diǎn)是將“區(qū)間”轉(zhuǎn)化為“點(diǎn)”，用“點(diǎn)估計(jì)”的方法描述不確定信息，算法的靈活度高是該方法最大的特點(diǎn)。而DS證據(jù)理論的缺點(diǎn)主要有3點(diǎn)：（1）算法的時(shí)間復(fù)雜度與樣本量的平方成正比，這意味著運(yùn)算量會(huì)隨樣本數(shù)量的增加而指數(shù)增長(zhǎng)；（2）證據(jù)理論的判決規(guī)則常常有很大的主觀性；（3）證據(jù)理論在多源輸入存在沖突時(shí)效果不好，因此在無(wú)人駕駛多源數(shù)據(jù)融合系統(tǒng)構(gòu)建時(shí)需要著重考慮如何解決證據(jù)沖突問(wèn)題。

2.5 深度學(xué)習(xí)方法

深度學(xué)習(xí)模型的底層原理是基于現(xiàn)代神經(jīng)科學(xué)，由大量模擬人類神經(jīng)的基本處理單元組成，因此又稱為深度學(xué)習(xí)網(wǎng)絡(luò)。在訓(xùn)練階段，網(wǎng)絡(luò)的輸入?yún)?shù)是傳感器的原始數(shù)據(jù)，網(wǎng)絡(luò)輸出與人為標(biāo)注的真值之間的誤差以方向梯度傳遞的方式更新網(wǎng)絡(luò)參數(shù)，通過(guò)大量數(shù)據(jù)、多次迭代訓(xùn)練以優(yōu)化網(wǎng)絡(luò)參數(shù)，進(jìn)而消除非目標(biāo)參量的干擾，完成相應(yīng)的智能任務(wù)。模型具有較強(qiáng)的容錯(cuò)能力與自適應(yīng)能力，且能夠模擬復(fù)雜的非線性映射，例如深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)可基于攝像頭圖形進(jìn)行目標(biāo)檢測(cè)，進(jìn)而得到目標(biāo)的運(yùn)動(dòng)、位姿特征信息。在無(wú)人駕駛過(guò)程中存在著大量不確定信息，比如多傳感器數(shù)據(jù)及其噪聲、行人車輛等目標(biāo)的突發(fā)狀況，對(duì)這些不確定信息的融合過(guò)程等同于不確定性的推理過(guò)程。而深度學(xué)習(xí)網(wǎng)絡(luò)可以通過(guò)獲取的傳感器信息，迭代優(yōu)化網(wǎng)絡(luò)權(quán)值，獲得不確定推理機(jī)制，因此無(wú)人駕駛感知融合領(lǐng)域常使用深度學(xué)習(xí)方法進(jìn)行信息融合。

3 多源數(shù)據(jù)融合的層次

根據(jù)多源數(shù)據(jù)融合的輸入數(shù)據(jù)的抽象程度可將多源數(shù)據(jù)融合技術(shù)劃分為目標(biāo)級(jí)融合（后融合）、特征級(jí)融合和數(shù)據(jù)級(jí)融合（前融合）3個(gè)層次（圖2）。

圖2 多源數(shù)據(jù)融合的3個(gè)層次

3.1 目標(biāo)級(jí)融合

目標(biāo)級(jí)融合先提取原始數(shù)據(jù)中的目標(biāo)信息，并產(chǎn)生目標(biāo)的跟蹤列表，然后融合模型將來(lái)自不同傳感器的跟蹤列表進(jìn)行關(guān)聯(lián)匹配，最終得到完整的多源跟蹤列表。該方法只對(duì)目標(biāo)信息進(jìn)行融合，不受傳感器類別的限制，能夠保證實(shí)時(shí)性。其主要優(yōu)勢(shì)在于模塊化，所有與傳感器相關(guān)的細(xì)節(jié)都在傳感器后處理模塊進(jìn)行處理，而融合模塊只需抽象地處理數(shù)據(jù)。但是該方法在融合之前已進(jìn)行特征提取，信息存在一定程度上的損失，因此其準(zhǔn)確度最差。

目標(biāo)級(jí)融合最常用的算法就是卡爾曼濾波算法，融合框架一般有2種形式。

（1）該框架在收到任意一個(gè)傳感器信號(hào)的時(shí)候就進(jìn)行1次更新，該方法對(duì)不同傳感器等同看待，對(duì)不同傳感器數(shù)據(jù)用同樣的方法進(jìn)行處理，不同傳感器之間的區(qū)分僅在于初始化參數(shù)以及噪聲矩陣，這會(huì)導(dǎo)致誤差延續(xù)的問(wèn)題，比如視覺(jué)傳感器的錯(cuò)誤估計(jì)會(huì)向下傳遞影響后續(xù)的處理結(jié)果（圖3）。

圖3 貫序更新卡爾曼濾波融合框架

（2）另一種框架為同步更新（圖4），主要有2個(gè)特點(diǎn)：（1）允許時(shí)延，等待多傳感器數(shù)據(jù)，進(jìn)行同步；（2）根據(jù)不同傳感器的特性，融合不同傳感器精度更高的數(shù)據(jù)（毫米波雷達(dá)的速度信息或視覺(jué)結(jié)果的分類信息），相當(dāng)于進(jìn)行濾波處理。

圖4 同步更新卡爾曼濾波融合框架

3.2 特征級(jí)融合

特征級(jí)融合接收的是原始數(shù)據(jù)提取后的特征信息，根據(jù)目標(biāo)已有特征對(duì)融合特征進(jìn)行匹配，獲得目標(biāo)的信息。信息丟失相對(duì)于目標(biāo)級(jí)融合有所減少，其準(zhǔn)確性有所提升。在特征提取方面主要基于深度學(xué)習(xí)，主流的方法有RoarNet、AVOD、MV3D、FPointNet。陳毅等首先將點(diǎn)云數(shù)據(jù)前向投影形成二維深度圖，并將深度圖的分辨率提高至與圖像分辨率一致，然后使用深度學(xué)習(xí)目標(biāo)檢測(cè)算法分別對(duì)相機(jī)圖像和深度圖進(jìn)行目標(biāo)檢測(cè)，最后根據(jù)改進(jìn)的DS 證據(jù)理論對(duì)檢測(cè)結(jié)果進(jìn)行特征級(jí)融合。

3.3 數(shù)據(jù)級(jí)融合

數(shù)據(jù)級(jí)融合接對(duì)多源原始數(shù)據(jù)進(jìn)行融合，然后從融合后的數(shù)據(jù)中進(jìn)行特征提取，因此該方法又稱像素級(jí)融合（前融合），數(shù)據(jù)級(jí)融合充分利用了多源傳感器的原始數(shù)據(jù)，不存在信息丟失的問(wèn)題，理論上可以獲得對(duì)目標(biāo)最準(zhǔn)確的描述，但是正因?yàn)樵撊诤夏Ｐ徒邮盏氖窃紨?shù)據(jù)，所以對(duì)系統(tǒng)通信帶寬的要求很高。

表1 為上述3 種融合層次的優(yōu)缺點(diǎn)，數(shù)據(jù)融合的層次越高，用于融合的信息抽象性越強(qiáng)，模塊化越好；融合層次越低，融合的信息越全面，但數(shù)據(jù)量大，對(duì)各信息間的配準(zhǔn)性（時(shí)間同步、空間同步）要求高。融合層次的選擇主要在于融合精度和融合速度的取舍。廖岳鵬分別建立3 種層次數(shù)據(jù)融合算法，通過(guò)對(duì)比發(fā)現(xiàn)對(duì)多傳感器進(jìn)行數(shù)據(jù)上的融合能夠更加有效地提升融合模型性能。

表1 3種融合層次的性能比較

4 數(shù)據(jù)處理方式

在無(wú)人駕駛感知領(lǐng)域，融合系統(tǒng)可根據(jù)模型的數(shù)據(jù)處理結(jié)構(gòu)分為3類：分布式、集中式和混合式。從融合信息的損失程度來(lái)看，分布式結(jié)構(gòu)的損失最高；而在融合處理的復(fù)雜度方面，混合式結(jié)構(gòu)最復(fù)雜。無(wú)論是哪種融合數(shù)據(jù)處理結(jié)構(gòu)，都提升了傳感器的環(huán)境感知能力。

4.1 分布式

分布式融合的本質(zhì)是基于分布式結(jié)構(gòu)的融合算法，主要利用了假設(shè)生成和假設(shè)驗(yàn)證的思想。分布式融合結(jié)構(gòu)中的處理單元分布在各獨(dú)立節(jié)點(diǎn)，在對(duì)傳感器的原始數(shù)據(jù)進(jìn)行初步處理之后再送入統(tǒng)一的信息融合中心，通過(guò)對(duì)融合數(shù)據(jù)進(jìn)行多維優(yōu)化、組合、推理，以獲取最終結(jié)果。

分布式融合結(jié)構(gòu)的一般做法是將其中1個(gè)傳感器檢測(cè)的目標(biāo)生成可供其它傳感器識(shí)別的感興趣區(qū)域（ROI）。然后，用另一個(gè)傳感器來(lái)驗(yàn)證ROI 內(nèi)是否包含目標(biāo)。在包含毫米波雷達(dá)和攝像頭的融合系統(tǒng)中，毫米波雷達(dá)掃描速度快，適用于對(duì)目標(biāo)的狀態(tài)進(jìn)行初步估計(jì)，基于毫米波雷達(dá)生成的目標(biāo)列表可供其它傳感器驗(yàn)證ROI。該結(jié)構(gòu)不僅可以通過(guò)雷達(dá)目標(biāo)信息使感興趣區(qū)域縮小了目標(biāo)檢測(cè)范圍、縮短視覺(jué)處理時(shí)間。同時(shí)，基于計(jì)算機(jī)視覺(jué)的目標(biāo)識(shí)別算法可以對(duì)雷達(dá)檢測(cè)的目標(biāo)進(jìn)行雜波剔除，從而減小雷達(dá)的誤報(bào)，提高目標(biāo)識(shí)別精度。但是，該方案僅對(duì)目標(biāo)存在的概率進(jìn)行融合，對(duì)信息存在一定程度的浪費(fèi)。

4.2 集中式

集中式融合的核心思想是不確定推理，首先對(duì)每個(gè)傳感器設(shè)置各自的置信度，然后匯總多源信息，最后基于一定的融合規(guī)則輸出融合結(jié)果。在集中式融合結(jié)構(gòu)中，多源傳感器的原始數(shù)據(jù)不進(jìn)行任何處理直接送入信息融合中心。該結(jié)構(gòu)充分利用多源信息具有較高的融合精度，同時(shí)可以將融合步驟模塊化。

陳云坤等通過(guò)對(duì)毫米波雷達(dá)與雙目視覺(jué)的誤差分配不同的權(quán)重，通過(guò)加權(quán)平均計(jì)算出最后的融合結(jié)果。Sang等為提高多目標(biāo)識(shí)別的精度，將圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，使用DS證據(jù)理論算法對(duì)目標(biāo)的候選框進(jìn)行融合。胡遠(yuǎn)志等首先在圖像上采用深度學(xué)習(xí)框架識(shí)別車輛目標(biāo)，然后將點(diǎn)云投影至圖像，將目標(biāo)與點(diǎn)云進(jìn)行關(guān)聯(lián)，從而確定目標(biāo)的深度信息，并利用點(diǎn)云信息提高目標(biāo)的置信概率，提高識(shí)別精度。

4.3 混合式

混合式同時(shí)具有分布式和集中式2 種結(jié)構(gòu)，兼顧2 者的優(yōu)點(diǎn)，能夠根據(jù)不同需要靈活且合理地完成信息處理工作。算法的可靠性與融合的精度雖然有所提升，但隨著傳感器數(shù)量的增多，信息的冗余程度與系統(tǒng)的復(fù)雜程度也會(huì)隨之增加。

Chavez-Garcia 等使用混合式融合結(jié)構(gòu)對(duì)毫米波雷達(dá)、攝像頭、激光雷達(dá)3 種傳感器的信息進(jìn)行融合，首先以激光雷達(dá)檢測(cè)的目標(biāo)生成感興趣區(qū)域，然后對(duì)毫米波雷達(dá)和攝像頭數(shù)據(jù)中的感興趣區(qū)域進(jìn)行目標(biāo)檢測(cè)，最后用DS 證據(jù)理論算法對(duì)感興趣區(qū)域檢測(cè)的目標(biāo)信息進(jìn)行融合。

5 多源數(shù)據(jù)融合的關(guān)鍵問(wèn)題

隨著自動(dòng)駕駛的逐漸落地，為逐步提升自動(dòng)駕駛的自動(dòng)化程度，主要的途徑就是增加感知傳感器的數(shù)量與種類，從而獲得車輛對(duì)環(huán)境更加準(zhǔn)確的信息。而不同數(shù)據(jù)源對(duì)環(huán)境的描述有其自身的空間坐標(biāo)系與時(shí)間坐標(biāo)系，隨著數(shù)據(jù)源的增加，為了滿足自動(dòng)駕駛在多種復(fù)雜環(huán)境下的正常使用，如何將多源數(shù)據(jù)融合在同一個(gè)時(shí)間系統(tǒng)和同一個(gè)空間系統(tǒng)，實(shí)現(xiàn)真正意義上的同步是多源數(shù)據(jù)融合的關(guān)鍵問(wèn)題。

5.1 空間同步

空間同步是對(duì)多傳感器的自身坐標(biāo)系進(jìn)行聯(lián)合標(biāo)定，建立坐標(biāo)轉(zhuǎn)換關(guān)系，從而保證不同傳感器在同一坐標(biāo)系下對(duì)同一目標(biāo)進(jìn)行識(shí)別。陳云坤等在空間維度上介紹了毫米波雷達(dá)與攝像頭相對(duì)位置關(guān)系，然后在此基礎(chǔ)上介紹了理想條件、非理想條件下坐標(biāo)系之間的轉(zhuǎn)換關(guān)系以及攝像頭的畸變矯正方法。

5.2 時(shí)間同步

時(shí)間同步是指1個(gè)系統(tǒng)的各個(gè)模塊都要同步到系統(tǒng)的主時(shí)鐘源，整個(gè)系統(tǒng)的運(yùn)行基于同1個(gè)時(shí)間基點(diǎn)。在自動(dòng)駕駛環(huán)境感知系統(tǒng)中，正確運(yùn)行的1個(gè)重要問(wèn)題就是要保證獲取的數(shù)據(jù)精確、時(shí)間同步，算法的基準(zhǔn)是所有的數(shù)據(jù)都是在同一時(shí)間點(diǎn)獲取，否則應(yīng)用功能無(wú)法保證做出正確的預(yù)判，可能造成自動(dòng)駕駛的嚴(yán)重事故。

文獻(xiàn)[12]采用基于時(shí)間戳的同步方式，在接收點(diǎn)云信息和圖像信息時(shí)會(huì)附加系統(tǒng)當(dāng)前時(shí)刻的時(shí)間戳，緩存攝像頭采集的圖像信息，當(dāng)獲取激光雷達(dá)的點(diǎn)云信息之后，根據(jù)點(diǎn)云信息的時(shí)間戳從緩存中找最鄰近的圖像信息，然后將點(diǎn)云信息和圖像信息同時(shí)送入處理函數(shù)進(jìn)行信息融合，完成2種傳感器信息的時(shí)間同步。文獻(xiàn)[37]在分析自動(dòng)駕駛域控制器復(fù)雜架構(gòu)的基礎(chǔ)上，結(jié)合應(yīng)用算法對(duì)獲取數(shù)據(jù)時(shí)間同步的要求，以包含1 個(gè)MCU 和2 個(gè)SoC 的域控制器為研究對(duì)象，詳細(xì)介紹了域控制器和外部主時(shí)鐘源控制器的時(shí)間同步方法、域控制器片內(nèi)異構(gòu)的時(shí)間同步方法、域控制器和外部傳感器控制器的時(shí)間同步方法，保證整個(gè)域控系統(tǒng)的運(yùn)行基于同1個(gè)時(shí)間基點(diǎn)。

6 發(fā)展趨勢(shì)

考慮到無(wú)人駕駛在復(fù)雜交通工況中對(duì)感知性能的高要求，以及深度學(xué)習(xí)的快速發(fā)展，相信基于深度學(xué)習(xí)的集中式、數(shù)據(jù)級(jí)、端到端融合框架將成為后續(xù)的主流方式。該融合框架可以最大程度的保留原始數(shù)據(jù)的信息，最大可能的提升感知的性能。但是，該框架要想達(dá)到理想的性能也在兩方面存在挑戰(zhàn)。其一是不同傳感器數(shù)據(jù)類型不同，難以做到數(shù)據(jù)空間內(nèi)的理想化同步；其二是不同品牌的傳感器產(chǎn)生的數(shù)據(jù)特性不盡相同，難以獲得深度學(xué)習(xí)訓(xùn)練所需的大量數(shù)據(jù)集，導(dǎo)致框架的魯棒性較差。