車載激光雷達(dá)與攝像頭數(shù)據(jù)融合的智能車輛環(huán)境感知技術(shù)

吳學(xué)舟、李岳松

（中汽檢測(cè)技術(shù)有限公司，廣州 510535）

0 引言

2020年11月，國(guó)務(wù)院辦公廳印發(fā)《新能源汽車產(chǎn)業(yè)發(fā)展規(guī)劃（2021―2035年）》，提出了智能汽車的發(fā)展方針，對(duì)提升汽車智能化水平，推動(dòng)汽車與交通、信息通信等融合發(fā)展作了相關(guān)部署[1]。因此，智能化汽車、智能交通是汽車行業(yè)未來(lái)發(fā)展的重要方向。智能汽車就是通過(guò)搭載各類傳感器等裝置，運(yùn)用人工智能、通信網(wǎng)絡(luò)等技術(shù)，從而使汽車具有環(huán)境感知、決策判斷和車輛控制三項(xiàng)主要技術(shù)功能[2]。

車輛環(huán)境感知技術(shù)可以準(zhǔn)確收集道路車輛、行人和交通標(biāo)志等車輛周圍信息，充當(dāng)著智能汽車的眼睛，能用數(shù)字化的方式觀察汽車周圍道路情況。目前主流的汽車環(huán)境感知方式采用各類傳感器提取道路信息，如車載攝像頭、激光雷達(dá)和毫米波雷達(dá)等。智能汽車還要對(duì)各類傳感器采集到的數(shù)據(jù)進(jìn)行多次加工處理，如完成圖像處理、目標(biāo)識(shí)別、距離判斷和路徑規(guī)劃等，讓智能汽車自動(dòng)、實(shí)時(shí)地計(jì)算車輛路徑，降低駕駛員疲勞度，減少車輛安全隱患。車輛控制技術(shù)主要是按照決策判斷的指令操作車輛起停、轉(zhuǎn)向等，最終實(shí)現(xiàn)車輛自動(dòng)駕駛、環(huán)境避障功能。

車輛環(huán)境感知技術(shù)作為智能汽車重要的組成部分，通過(guò)采集實(shí)時(shí)且精準(zhǔn)的道路環(huán)境信息，為車輛決策判斷提供支撐。車輛周圍環(huán)境信息采集后，需要對(duì)傳感器原始數(shù)據(jù)去噪、校正和融合，最后運(yùn)用基于GPU架構(gòu)的深度學(xué)習(xí)技術(shù)[3]，完成對(duì)周圍目標(biāo)的檢測(cè)。本文通過(guò)對(duì)單一的車載傳感器識(shí)別方式進(jìn)行研究，提出了基于激光雷達(dá)與攝像頭數(shù)據(jù)融合的技術(shù)模式，最后對(duì)基于車載激光雷達(dá)與攝像頭融合技術(shù)進(jìn)行總結(jié)。

1 基于激光雷達(dá)三維環(huán)境感知技術(shù)

車載激光雷達(dá)是掃描車輛周圍環(huán)境主要傳感器設(shè)備之一，主要由發(fā)射器、接收器和信息處理器組成。激光雷達(dá)工作時(shí)，通過(guò)激光器發(fā)射出脈沖激光，接收器接收車輛周圍的地面、樹(shù)木和行人等散射信號(hào)，最后信息處理器處理接收到的數(shù)據(jù)，最終得到周圍環(huán)境三維立體圖像（圖1）。但是激光雷達(dá)受環(huán)境影響較大，如大雨、濃煙等環(huán)境都會(huì)影響獲取數(shù)據(jù)。

基于激光雷達(dá)環(huán)境感知技術(shù)是通過(guò)激光雷達(dá)傳感器獲取車輛周圍物體點(diǎn)云三維形狀，從而進(jìn)行目標(biāo)檢測(cè)。激光雷達(dá)主要目標(biāo)檢測(cè)算法包括基于傳統(tǒng)的目標(biāo)檢測(cè)和基于深度學(xué)習(xí)的目標(biāo)檢測(cè)。

1.1 基于傳統(tǒng)激光雷達(dá)目標(biāo)檢測(cè)

傳統(tǒng)激光雷達(dá)系統(tǒng)的目標(biāo)檢測(cè)是由數(shù)據(jù)預(yù)處理、提取特征和目標(biāo)分類三個(gè)部分組成。首先，激光雷達(dá)傳感器采集環(huán)境點(diǎn)云數(shù)據(jù)，但在采集中會(huì)存在如浮塵等噪聲，因此需要通過(guò)數(shù)據(jù)預(yù)處理技術(shù)降低噪聲干擾，減少干擾數(shù)據(jù)。其次，使用提取特征技術(shù)對(duì)點(diǎn)云特征進(jìn)行提取。最后將具有相同特征點(diǎn)云聚類一起，完成目標(biāo)檢測(cè)。

1.2 基于深度學(xué)習(xí)的激光雷達(dá)目標(biāo)檢測(cè)

近年來(lái)，深度學(xué)習(xí)技術(shù)在目標(biāo)檢測(cè)領(lǐng)域中大受青睞，尤其以卷積神經(jīng)網(wǎng)絡(luò)為代表的技術(shù)，在交通檢測(cè)[4]、醫(yī)院檢測(cè)等領(lǐng)域具有重要應(yīng)用價(jià)值。基于深度學(xué)習(xí)的激光雷達(dá)目標(biāo)檢測(cè)主要包括二維投影點(diǎn)云檢測(cè)、點(diǎn)云體素化檢測(cè)和點(diǎn)的目標(biāo)檢測(cè)。二維投影點(diǎn)云檢測(cè)主要把激光雷達(dá)采集到的三維數(shù)據(jù)信息投影為二維平面，然后再使用卷積神經(jīng)網(wǎng)絡(luò)完成環(huán)境檢測(cè)。該方法需要把三維數(shù)據(jù)轉(zhuǎn)化為二維數(shù)據(jù)，因此缺少環(huán)境深度等數(shù)據(jù)。點(diǎn)云體素化是通過(guò)將點(diǎn)云網(wǎng)格進(jìn)行素華，然后使用3D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)。點(diǎn)的目標(biāo)檢測(cè)是直接對(duì)點(diǎn)云進(jìn)行3D卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)，提取出目標(biāo)特征信息。

基于激光雷達(dá)的環(huán)境感知技術(shù)能掃描車輛周圍環(huán)境信息并轉(zhuǎn)化為三維空間點(diǎn)云數(shù)據(jù)，但激光雷達(dá)無(wú)法獲取環(huán)境紋理等特征信息，對(duì)交通信號(hào)燈也無(wú)法有效檢測(cè)。因此，該技術(shù)目前還無(wú)法單獨(dú)應(yīng)用于車輛環(huán)境感知中。

2 基于攝像頭二維圖像環(huán)境感知技術(shù)

車載攝像頭由若干個(gè)凸透鏡組合而成，采用小孔成像原理把環(huán)境物體經(jīng)透鏡投影到相機(jī)的感光平面上，得到車輛環(huán)境RGB二維圖片。常見(jiàn)車載攝像頭包括針孔模型、透視模型和魚(yú)眼模型等。

2.1 基于攝像頭的傳統(tǒng)機(jī)器視覺(jué)的目標(biāo)檢測(cè)

傳統(tǒng)的目標(biāo)檢測(cè)由獲取目標(biāo)、特征提取和目標(biāo)分類三部分組成。獲取目標(biāo)主要使用滑動(dòng)窗口法和紋理特征法選取目標(biāo)區(qū)域。特征提取是通過(guò)對(duì)獲取到的目標(biāo)進(jìn)行分割、灰度變化等操作，提取圖像特征信息，最終完成目標(biāo)檢測(cè)。傳統(tǒng)機(jī)器視覺(jué)目標(biāo)檢測(cè)方法要求特征提取員具有較高的專業(yè)領(lǐng)域知識(shí)，同時(shí)特征提取要進(jìn)行大量的手工操作，否則缺乏泛化能力。

2.2 基于深度學(xué)習(xí)的攝像頭目標(biāo)檢測(cè)

卷積神經(jīng)網(wǎng)絡(luò)模型是深度學(xué)習(xí)技術(shù)重要的應(yīng)用，能自動(dòng)提取特征信息，提高目標(biāo)檢測(cè)精度。Krizhevsky等人提出的AlexNet網(wǎng)絡(luò)模型完全超越傳統(tǒng)機(jī)器視覺(jué)的目標(biāo)檢測(cè)[5]，促使智能汽車從傳統(tǒng)的環(huán)境識(shí)別轉(zhuǎn)變?yōu)榛谏疃葘W(xué)習(xí)技術(shù)的識(shí)別方式?；谏疃葘W(xué)習(xí)的攝像頭目標(biāo)檢測(cè)主要分為單階段檢測(cè)和兩階段檢測(cè)。

單階段檢測(cè)取消生成目標(biāo)候選區(qū)過(guò)程，直接對(duì)圖像進(jìn)行處理，從而提升檢測(cè)速度。兩階段檢測(cè)是先獲取目標(biāo)候選區(qū)域，再對(duì)候選區(qū)域進(jìn)行分類的圖像處理?；跀z像頭二維圖像環(huán)境檢測(cè)能使用較低硬件成本快速獲取車輛環(huán)境二維平面，但攝像頭采集到的數(shù)據(jù)無(wú)法反映環(huán)境空間位置信息，同時(shí)攝像頭采集數(shù)據(jù)時(shí)容易受到環(huán)境影響出現(xiàn)識(shí)別精度不高等情況。

3 多傳感器數(shù)據(jù)融合模式

智能汽車環(huán)境感知方式如果采用單一的傳感器采集數(shù)據(jù)，容易出現(xiàn)數(shù)據(jù)準(zhǔn)確度不高、受環(huán)境干擾大等情況，導(dǎo)致智能汽車在行駛過(guò)程中出現(xiàn)決策誤判、環(huán)境目標(biāo)信息檢測(cè)不全等問(wèn)題，從而降低智能汽車自動(dòng)駕駛安全性。多傳感器融合技術(shù)則是將多個(gè)不同種類傳感器進(jìn)行協(xié)同工作，把多種類傳感器實(shí)時(shí)數(shù)據(jù)進(jìn)行融合（圖2），提升智能汽車對(duì)環(huán)境的感知能力和智能化決策能力，有效彌補(bǔ)汽車單一傳感器的限制問(wèn)題，從而增加智能汽車安全、可靠性，降低駕駛?cè)藛T和道路行人的安全隱患。多傳感器融合模式包括數(shù)據(jù)層融合、特征層融合和決策層融合三個(gè)部分。

3.1 數(shù)據(jù)層融合

車載攝像頭能獲取到可見(jiàn)光環(huán)境數(shù)據(jù)信息，攝像頭相對(duì)于激光雷達(dá)相比成本較低，是目前應(yīng)用最廣的傳感器設(shè)備之一。攝像頭能應(yīng)用在智能汽車上實(shí)現(xiàn)采集環(huán)境信息，如障礙物、道路和交通標(biāo)志等。攝像頭傳感器主要獲取到環(huán)境的二維圖像信息，但二維圖像無(wú)法體現(xiàn)環(huán)境的深度和尺寸等信息，因此在要求安全性較高的自動(dòng)駕駛中還需配合其他傳感器共同實(shí)現(xiàn)環(huán)境監(jiān)測(cè)。車載激光雷達(dá)能掃描環(huán)境信息并轉(zhuǎn)化為三維點(diǎn)云數(shù)據(jù)，如障礙物三維信息、道路三維信息等。

數(shù)據(jù)層融合是把車載激光雷達(dá)和攝像頭所采集到的原始數(shù)據(jù)進(jìn)行融合。數(shù)據(jù)融合也屬于底層融合，需要把不同傳感器輸出的數(shù)據(jù)封裝為統(tǒng)一數(shù)據(jù)源，并為后續(xù)特征提取作好鋪墊。激光雷達(dá)和攝像頭數(shù)據(jù)融合需要進(jìn)行聯(lián)合標(biāo)定，通常聯(lián)合標(biāo)定包含激光雷達(dá)、攝像頭、像素和車輛周圍環(huán)境4種坐標(biāo)系。要實(shí)現(xiàn)激光雷達(dá)與攝像頭坐標(biāo)系融合就需要添加轉(zhuǎn)化參數(shù)，從而找到不同種類傳感器源數(shù)據(jù)共有的點(diǎn)、線和面等特征信息。

標(biāo)定攝像頭采用旋轉(zhuǎn)和平移變化方法。假設(shè)攝像頭圖像像素坐標(biāo)為（x1，y1），激光雷達(dá)數(shù)據(jù)坐標(biāo)為（x2，y2，z2），k代表攝像機(jī)參數(shù)，（r，t）是旋轉(zhuǎn)和平移矩陣，由此可以根據(jù)下列公式標(biāo)定攝像頭和激光雷達(dá)的數(shù)據(jù)。

把激光雷達(dá)采集到三維數(shù)據(jù)與攝像頭采集的二維數(shù)據(jù)融合，目前常用的技術(shù)有基于標(biāo)靶、基于無(wú)靶、基于運(yùn)動(dòng)標(biāo)定和基于深度學(xué)習(xí)標(biāo)定?；谏疃葘W(xué)習(xí)標(biāo)定能通過(guò)多次訓(xùn)練實(shí)現(xiàn)特征提取與特征匹配，其自動(dòng)化程度高、穩(wěn)定性好。通過(guò)提取攝像頭和激光雷達(dá)原始數(shù)據(jù)進(jìn)行回歸計(jì)算，就能自動(dòng)估計(jì)變換范圍，最終完成數(shù)據(jù)標(biāo)定。

3.2 特征層融合

目標(biāo)檢測(cè)是近年來(lái)人工智能技術(shù)領(lǐng)域熱門研究方向，對(duì)車輛環(huán)境目標(biāo)檢測(cè)要做到實(shí)時(shí)、精準(zhǔn)，也是智能化汽車環(huán)境感知的一個(gè)挑戰(zhàn)。通常對(duì)汽車車載攝像頭采集到的道路信息進(jìn)行檢測(cè)為二維目標(biāo)檢測(cè)，主要包括單階段檢測(cè)算法和兩階段檢測(cè)算法兩種。由于要滿足智能汽車檢測(cè)和部署速度，一般采用簡(jiǎn)短檢測(cè)算法完成車輛環(huán)境目標(biāo)檢測(cè)。

車載激光雷達(dá)采集的數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)屬于三維目標(biāo)檢測(cè)，三維目標(biāo)檢測(cè)能對(duì)目標(biāo)空間、姿態(tài)和深度進(jìn)行檢測(cè)，從而提升目標(biāo)檢測(cè)精準(zhǔn)度。激光雷達(dá)傳感器收集的三維數(shù)據(jù)主要用于圖像的檢測(cè)和點(diǎn)云與圖像融合的檢測(cè)。三維目標(biāo)檢測(cè)技術(shù)運(yùn)用在目標(biāo)檢測(cè)、目標(biāo)跟蹤和語(yǔ)義分割等智慧車輛環(huán)境感知中?；邳c(diǎn)云的目標(biāo)檢測(cè)目前主流算法有K-Means算法、DBSCAN算法等，能對(duì)激光雷達(dá)采集到的點(diǎn)云數(shù)據(jù)進(jìn)行處理。

特征層融合是對(duì)多傳感器數(shù)據(jù)融合后，進(jìn)行數(shù)據(jù)特征法的提取，該操作也通常稱為中間層融合。特征層數(shù)據(jù)融合以一個(gè)單位特征量的形式輸出，相比數(shù)據(jù)層的數(shù)據(jù)，特征層把數(shù)據(jù)融合后還要進(jìn)行關(guān)鍵特征提取工作。目前特征層融合只對(duì)多傳感器采集的重點(diǎn)感知數(shù)據(jù)進(jìn)行特征提取。

特征層融合內(nèi)容主要有目標(biāo)狀態(tài)數(shù)據(jù)融合和目標(biāo)特特征數(shù)據(jù)融合兩大類。其中，目標(biāo)狀態(tài)數(shù)據(jù)融合是把多種類傳感器采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)匹配，找出具有相同或不同特性的數(shù)據(jù)信息，最后再修改數(shù)據(jù)關(guān)聯(lián)參數(shù)以及數(shù)據(jù)狀態(tài)信息，從而實(shí)現(xiàn)目標(biāo)跟蹤。目標(biāo)特征融合是完成數(shù)據(jù)特征矢量分類的操作，最終實(shí)現(xiàn)目標(biāo)檢測(cè)。因此特征層的主要功能是對(duì)數(shù)據(jù)層結(jié)合后的數(shù)據(jù)進(jìn)行加工與提取，為車輛環(huán)境目標(biāo)識(shí)別、軌跡計(jì)算等提供支撐數(shù)據(jù)。

3.3 決策層融合

決策層融合是對(duì)已完成特征提取的各類傳感器數(shù)據(jù)結(jié)果進(jìn)行融合。通過(guò)前2個(gè)步驟，已對(duì)各類傳感器數(shù)據(jù)的融合和特征提取，決策層融合與數(shù)據(jù)層和特征層融合相比，在抗干擾性方面有一定優(yōu)勢(shì)，在惡劣環(huán)境下的車輛檢測(cè)周圍信息有較強(qiáng)的魯棒性，提高車輛環(huán)境感知能力和精確度。決策層融合會(huì)把多個(gè)傳感器特征結(jié)果進(jìn)行統(tǒng)一融合分析，從而彌補(bǔ)單一傳感器的劣勢(shì)問(wèn)題（表1）。

表1 激光雷達(dá)與攝像頭數(shù)據(jù)融合三層對(duì)比

決策層能融合多傳感器數(shù)據(jù)并完成目標(biāo)識(shí)別，從而提升智能化汽車在動(dòng)態(tài)環(huán)境中的安全能力。而基于深度學(xué)習(xí)的目標(biāo)檢測(cè)可以高效檢測(cè)汽車環(huán)境信息、道路信息和交通標(biāo)準(zhǔn)信息，提升檢測(cè)的精準(zhǔn)度。目標(biāo)常用的深度學(xué)習(xí)技術(shù)有生成式模式、圖神經(jīng)網(wǎng)絡(luò)模型等，能自動(dòng)、快速地做出決策。因此決策層可以彌補(bǔ)部分傳感器采集數(shù)據(jù)時(shí)因環(huán)境、天氣等情況出現(xiàn)的數(shù)據(jù)不完整等情況，分析多個(gè)傳感器數(shù)據(jù)信息并自動(dòng)找出最優(yōu)數(shù)據(jù)。

4 結(jié)束語(yǔ)

本文基于對(duì)單一激光雷達(dá)傳感器與單一攝像頭傳感器識(shí)別技術(shù)的研究，提出激光雷達(dá)與攝像頭多種類傳感器數(shù)據(jù)層融合、特征層融合和決策層融合模式，對(duì)激光雷達(dá)和攝像頭轉(zhuǎn)化參數(shù)標(biāo)定，多傳感器數(shù)據(jù)融合層次進(jìn)行分析。目前在智能汽車領(lǐng)域環(huán)境感知中，使用深度學(xué)習(xí)技術(shù)促進(jìn)多傳感器融合的研究越來(lái)越多，能有效改進(jìn)智能車輛因使用單一傳感器而受到天氣、環(huán)境等干擾所導(dǎo)致的識(shí)別精度不高問(wèn)題，可以增強(qiáng)智慧汽車環(huán)境感知的魯棒性。基于激光雷達(dá)與攝像頭融合環(huán)境感知技術(shù)，能有效提升智能汽車環(huán)境感知能力。但決策層融合技術(shù)目前對(duì)多傳感檢測(cè)時(shí)還存在檢測(cè)結(jié)果匹配度不高、有效性不足等問(wèn)題，需要多方協(xié)同完善數(shù)據(jù)整合、優(yōu)先級(jí)判斷和決策選擇等情況。