自動駕駛汽車探測傳感器及其融合技術(shù)綜述*

郝非凡,馬翔越,李昊洋,劉忠富

(大連民族大學(xué)信息與通信工程學(xué)院,遼寧 大連 116600)

1 研究背景

大多數(shù)自動駕駛系統(tǒng)在現(xiàn)實生活中都存在共同的弊端。例如，極端惡劣天氣條件下無法保證安全的駕駛和導(dǎo)航；強(qiáng)光、雪、霧、雨會顯著影響用于感知和導(dǎo)航的傳感器的性能等。不同傳感器都有其固有的優(yōu)點和缺點。即使在惡劣的天氣條件下，雷達(dá)可以精準(zhǔn)地判斷車距和車速，但無法識別街道標(biāo)志和分辨紅綠燈的顏色。相反，攝像頭可以很好地識別街道標(biāo)志和對物體進(jìn)行分類，如行人、自行車或其他車輛。但是，攝像頭很容易被灰塵、雨水、雪等所影響。激光雷達(dá)可以準(zhǔn)確地探測物體，但它的探測距離和價格都不如攝像頭或雷達(dá)。

在自動駕駛汽車中，傳感器對感知周圍環(huán)境和定位車輛的路徑規(guī)劃和決策至關(guān)重要，目前使用的傳感器主要有攝像頭、激光雷達(dá)、毫米波雷達(dá)傳感器等。不同傳感器的性能各不相同，在不同的使用環(huán)境中可以發(fā)揮各自的優(yōu)勢。

傳感器融合技術(shù)就是將多個傳感器獲取的數(shù)據(jù)、信息集中在一起綜合分析以便更加準(zhǔn)確可靠地描述外界環(huán)境，從而提高系統(tǒng)決策的正確性。目前，傳感器的融合已成為一個研究熱點。

2 自動駕駛中常用傳感器

傳感器作為一種檢測裝置，在整個自動駕駛系統(tǒng)中具有至關(guān)重要的作用，其主要目的是將感受到的被測量的信息按一定規(guī)律轉(zhuǎn)換為其它所需形式的信息輸出。自動駕駛傳感器組成如圖1所示。自動駕駛汽車主要利用攝像頭，雷達(dá)傳感器，激光雷達(dá)傳感器等來感知它的環(huán)境。

圖1 常見的自動駕駛傳感器組成

2.1 攝像頭

自動駕駛汽車通常具有攝像機(jī)傳感器，利用攝像頭數(shù)據(jù)感知周圍環(huán)境中的物體，以便識別道路上的物體。其工作原理為鏡頭采集圖像后，由攝像頭內(nèi)的感光組件電路及控制組件對圖像進(jìn)行處理并轉(zhuǎn)化為能處理的數(shù)字信號，從而感知車輛周邊的環(huán)境情況，實現(xiàn)碰撞預(yù)警，車道偏移報警和行人檢測等功能[1]。幾乎所有的研發(fā)車輛都配備了一些用于檢測道路標(biāo)記的可見光攝像頭，用于構(gòu)建車輛環(huán)境的360度視圖。但其缺點在于可見光相機(jī)在低能見度條件下的能力有限。此外，使用多個攝像頭產(chǎn)生大量的視頻數(shù)據(jù)的處理需要大量的計算硬件。

目前自動駕駛系統(tǒng)中主要使用兩種攝像頭傳感器：CCD和CMOS。CCD代表電荷耦合器件，在CCD中，光點是無源的，放大器和ADC也發(fā)生在傳感器外部。CMOS代表互補(bǔ)金屬氧化物半導(dǎo)體，與CCD不同的是，光點是有源的，每個光點都有自己的放大器和ADC。由于CMOS成本較低、功耗較低、數(shù)據(jù)讀取速度較快，所以主要用于汽車應(yīng)用。而CCD相對于CMOS的優(yōu)勢在于其高光敏度，從而以高功耗為代價獲得更好的圖像質(zhì)量，但這會影響散熱并且CCD價格高昂。

2.2 激光雷達(dá)

在過去的幾十年里，激光雷達(dá)技術(shù)不斷發(fā)展，目前仍然是高級駕駛輔助系統(tǒng)(ADAS)和自動駕駛汽車的核心感知技術(shù)之一。當(dāng)激光雷達(dá)掃描其周圍環(huán)境時，它將以點云的形式生成3D場景來輸出一系列數(shù)據(jù)(也稱為點云數(shù)據(jù))，估計脈沖的發(fā)射和接收之間所需要的距離。

由于目前激光雷達(dá)視野更廣、探測距離更遠(yuǎn)、深度感知更強(qiáng)，可以提供可靠、精確的數(shù)據(jù)，因此在無人駕駛汽車中應(yīng)用更為普遍。但與攝像頭傳感器相比，激光雷達(dá)傳感器不能提供周圍環(huán)境的顏色信息，這也是點云數(shù)據(jù)經(jīng)常使用傳感器融合算法的一個原因[2]。

2.3 毫米波雷達(dá)

毫米波雷達(dá)(Radio Detection and Ranging, or Radar)是電磁波探測和測距的縮寫，其工作原理是在指定區(qū)域輻射電磁波，接收目標(biāo)的散射波(或反射波)，為進(jìn)一步信號處理提供目標(biāo)的距離信息。它利用電磁波的多普勒特性來確定探測到的障礙物的相對速度和相對位置，多普勒效應(yīng)也稱為多普勒頻移，是指波源和目標(biāo)之間的相對運(yùn)動引起的波的頻率變化或偏移[3]。例如，當(dāng)目標(biāo)向雷達(dá)系統(tǒng)的方向移動時，接收信號的頻率(短波)增加。

毫米波雷達(dá)是自動駕駛系統(tǒng)中最常用的傳感器之一，通常用于自動駕駛汽車在白天和夜晚提供可靠和精確的障礙物感知。因為它提供的信息可以檢測到移動的障礙物，并可以根據(jù)配置模式在短、中或長范圍內(nèi)執(zhí)行操作，所以它能夠在不利天氣條件下工作。然而毫米波雷達(dá)傳感器一般不適合雙向識別應(yīng)用，因為它們的分辨率比較低。因此，自動駕駛車輛研究人員經(jīng)常將毫米波雷達(dá)信息與其他傳感數(shù)據(jù)進(jìn)行融合，以彌補(bǔ)毫米波雷達(dá)傳感器的局限性。

3 多傳感器融合技術(shù)和算法

3.1 傳感器融合

傳感器融合是大多數(shù)自動駕駛系統(tǒng)的一個重要研究方向，例如道路自動駕駛汽車和無人地面車輛(UGV)。該方法將多個傳感器采集到的數(shù)據(jù)進(jìn)行集成，減少了檢測數(shù)據(jù)的不確定性，彌補(bǔ)了單個傳感器獨(dú)立工作的缺點。此外，傳感器融合有助于建立一致的模型，在各種環(huán)境條件下準(zhǔn)確感知周圍環(huán)境。例如，相機(jī)和雷達(dá)融合可以提供高分辨率的圖像和感知場景中檢測到的障礙物的相對速度[4]。

多個同類或不同類傳感器分別獲得不同局部和類別的信息，這些信息之間能相互補(bǔ)充，也可能存在冗余和矛盾，而控制中心最終只能下達(dá)唯一正確的指令，這就要求控制中心必須對多個傳感器所得到的信息進(jìn)行融合，綜合判斷。據(jù)分析，由自動駕駛引發(fā)的安全事故原因中，相關(guān)傳感器的可能誤判成為了主要原因之一。因此在使用多種傳感器的情況下，要想保證安全性，就必須對傳感器進(jìn)行信息融合。多傳感器融合可顯著提高系統(tǒng)的冗余度和容錯性，從而保證決策的快速性和正確性，是自動駕駛的必然趨勢。

針對自動駕駛汽車環(huán)境感知和目標(biāo)檢測的多傳感器融合系統(tǒng)，目前，主要有三種用于障礙物檢測的傳感器組合，包括相機(jī)-激光雷達(dá)(camera-LiDAR, CL);相機(jī)-毫米波雷達(dá)(camera-radar CR);和相機(jī)-激光雷達(dá)-雷達(dá)(camera-LiDAR-radar CLR)傳感器組合。CR傳感器組合提供高分辨率圖像，同時獲取周圍障礙物的額外距離和速度信息。而CLR傳感器組合可以提供更大范圍的分辨率，并通過激光雷達(dá)點云和深度信息精確了解周圍環(huán)境，提高了整體自主駕駛的安全冗余度系統(tǒng)。

3.2 算法

傳感器融合技術(shù)和算法在近幾年里得到了廣泛的研究。目前的技術(shù)和算法可分為經(jīng)典傳感器融合算法和深度學(xué)習(xí)傳感器融合算法。

首先，經(jīng)典的傳感器融合算法，如基于知識的方法、統(tǒng)計方法、概率方法等，利用來自數(shù)據(jù)不完整性的不確定性理論來融合傳感器數(shù)據(jù)。圖2所示。

圖2 經(jīng)典傳感器融合算法

另一方面，深度學(xué)習(xí)傳感器融合算法涉及生成各種多層網(wǎng)絡(luò)，使其能夠處理原始數(shù)據(jù)并提取特征，以執(zhí)行具有難度的智能任務(wù)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是感知系統(tǒng)中應(yīng)用最廣泛的算法。目前也廣泛應(yīng)用一種加權(quán)均值YOLO算法，用于融合RGB攝像機(jī)和LiDAR點云數(shù)據(jù)，提高目標(biāo)檢測的實時性。2020年4月發(fā)布的最新YOLOv4采用CSPDarknet5作為主干特征提取網(wǎng)絡(luò)，在達(dá)到減少計算量目的的同時仍可以保持較好的檢測準(zhǔn)確率[5]。

此外，隨著3D傳感器的出現(xiàn)和了解自動駕駛車輛周圍的3D環(huán)境的各種應(yīng)用的出現(xiàn)，對3D物體檢測的研究也越來越多。隨著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域的逐漸成熟，識別和分割三維點云場景成為可能。2019 CCDC提出了一種新的基于PointNet和VoxelNet的場景分割方法來提高語義分割的效率和準(zhǔn)確性。首先，采用體素網(wǎng)格方法對點云場景進(jìn)行采樣，然后對點云數(shù)據(jù)進(jìn)行濾波去除噪聲，平滑點云表面。最后，對處理后的點云場景進(jìn)行訓(xùn)練。

圖3 深度學(xué)習(xí)傳感器融合算法

3.3 傳感器融合領(lǐng)域的挑戰(zhàn)

毋庸置疑，多傳感器融合技術(shù)經(jīng)過廣泛研究，在自動駕駛汽車等自主系統(tǒng)中取得了較為全面的優(yōu)勢。這些系統(tǒng)通常配備一組傳感器，每小時可以產(chǎn)生大量數(shù)據(jù)。因此，處理這些數(shù)據(jù)需要很大的計算能力。

然而，訓(xùn)練來自所有可能場景的數(shù)據(jù)是具有挑戰(zhàn)性的，所以評估所有可能的解決方案和可能的傳感器和系統(tǒng)故障風(fēng)險，以及傳感器或系統(tǒng)故障時的替代解決方案，對自主系統(tǒng)進(jìn)行進(jìn)一步的研究和廣泛測試至關(guān)重要。

4 結(jié)論和未來的研究建議

本文對自動駕駛系統(tǒng)中的探測傳感器進(jìn)行了較為全面的調(diào)查。重點闡述了攝像頭、激光雷達(dá)傳感器和毫米波雷達(dá)傳感器，以及此類傳感器在實踐中的運(yùn)行。最后，回顧了文獻(xiàn)中已經(jīng)建立的一些融合算法，并指出了傳感器融合領(lǐng)域的一些挑戰(zhàn)和自動駕駛系統(tǒng)未來可能的研究方向。

自動駕駛汽車涉及到的領(lǐng)域十分廣泛，其中，傳感器是探測車輛周圍環(huán)境的基礎(chǔ)。由于自動駕駛汽車中包含多個傳感器，必須在算法處理前通過傳感器融合來得到更精確的數(shù)值[6]。精確的傳感器融合可以使自動駕駛車輛了解其在真實的坐標(biāo)中的位置。由于傳感器融合的精度很容易受到外部因素影響，如：溫度，車輛的振動等。因此，提高傳感器融合的精度，開發(fā)更精確、更可靠的自動駕駛車輛障礙物檢測技術(shù)是現(xiàn)在以及未來發(fā)展的關(guān)鍵?？梢酝ㄟ^強(qiáng)化深度學(xué)習(xí)方法強(qiáng)化現(xiàn)有的傳感器融合算法，來開發(fā)更可靠和準(zhǔn)確的障礙物檢測方法。