車載激光雷達(dá)與攝像頭數(shù)據(jù)融合的智能車輛環(huán)境感知技術(shù)

吳學(xué)舟 李岳松

摘要：近年來人工智能技術(shù)快速發(fā)展，其中以深度學(xué)習(xí)為代表的技術(shù)極大提升了圖像識(shí)別精確度，降低了目標(biāo)識(shí)別成本，同時(shí)帶動(dòng)了智能車輛普及。使用傳統(tǒng)單一的激光雷達(dá)、車載攝像頭等傳感器采集車輛周圍環(huán)境數(shù)據(jù)時(shí)會(huì)出現(xiàn)因傳感器自身劣勢特性，導(dǎo)致車輛在復(fù)雜天氣、道路等環(huán)境中容易出現(xiàn)數(shù)據(jù)采集不全、不準(zhǔn)，從而影響車輛最終的決策判斷和出現(xiàn)車輛行駛安全隱患。本文研究了使用單一激光雷達(dá)、車載攝像頭傳感器的識(shí)別系統(tǒng)工作原理與存在的識(shí)別問題，提出激光雷達(dá)與攝像頭數(shù)據(jù)融合的智能車輛環(huán)境感知模式，提升智能車輛環(huán)境識(shí)別的精確度。

關(guān)鍵詞：車輛環(huán)境感知；傳感器融合技術(shù)；人工智能；數(shù)據(jù)層；特征層；決策層

中圖分類號： TP274 文獻(xiàn)標(biāo)識(shí)碼：A

0 引言

2020 年11 月，國務(wù)院辦公廳印發(fā)《新能源汽車產(chǎn)業(yè)發(fā)展規(guī)劃（2021―2035 年）》，提出了智能汽車的發(fā)展方針，對提升汽車智能化水平，推動(dòng)汽車與交通、信息通信等融合發(fā)展作了相關(guān)部署[1]。因此，智能化汽車、智能交通是汽車行業(yè)未來發(fā)展的重要方向。智能汽車就是通過搭載各類傳感器等裝置，運(yùn)用人工智能、通信網(wǎng)絡(luò)等技術(shù)，從而使汽車具有環(huán)境感知、決策判斷和車輛控制三項(xiàng)主要技術(shù)功能[2]。

車輛環(huán)境感知技術(shù)可以準(zhǔn)確收集道路車輛、行人和交通標(biāo)志等車輛周圍信息，充當(dāng)著智能汽車的眼睛，能用數(shù)字化的方式觀察汽車周圍道路情況。目前主流的汽車環(huán)境感知方式采用各類傳感器提取道路信息，如車載攝像頭、激光雷達(dá)和毫米波雷達(dá)等。智能汽車還要對各類傳感器采集到的數(shù)據(jù)進(jìn)行多次加工處理，如完成圖像處理、目標(biāo)識(shí)別、距離判斷和路徑規(guī)劃等，讓智能汽車自動(dòng)、實(shí)時(shí)地計(jì)算車輛路徑，降低駕駛員疲勞度，減少車輛安全隱患。車輛控制技術(shù)主要是按照決策判斷的指令操作車輛起停、轉(zhuǎn)向等，最終實(shí)現(xiàn)車輛自動(dòng)駕駛、環(huán)境避障功能。

車輛環(huán)境感知技術(shù)作為智能汽車重要的組成部分，通過采集實(shí)時(shí)且精準(zhǔn)的道路環(huán)境信息，為車輛決策判斷提供支撐。車輛周圍環(huán)境信息采集后，需要對傳感器原始數(shù)據(jù)去噪、校正和融合，最后運(yùn)用基于GPU 架構(gòu)的深度學(xué)習(xí)技術(shù)[3]，完成對周圍目標(biāo)的檢測。本文通過對單一的車載傳感器識(shí)別方式進(jìn)行研究，提出了基于激光雷達(dá)與攝像頭數(shù)據(jù)融合的技術(shù)模式，最后對基于車載激光雷達(dá)與攝像頭融合技術(shù)進(jìn)行總結(jié)。

1 基于激光雷達(dá)三維環(huán)境感知技術(shù)

車載激光雷達(dá)是掃描車輛周圍環(huán)境主要傳感器設(shè)備之一，主要由發(fā)射器、接收器和信息處理器組成。激光雷達(dá)工作時(shí)，通過激光器發(fā)射出脈沖激光，接收器接收車輛周圍的地面、樹木和行人等散射信號，最后信息處理器處理接收到的數(shù)據(jù)，最終得到周圍環(huán)境三維立體圖像（圖1）。但是激光雷達(dá)受環(huán)境影響較大，如大雨、濃煙等環(huán)境都會(huì)影響獲取數(shù)據(jù)?；诩す饫走_(dá)環(huán)境感知技術(shù)是通過激光雷達(dá)傳感器獲取車輛周圍物體點(diǎn)云三維形狀，從而進(jìn)行目標(biāo)檢測。激光雷達(dá)主要目標(biāo)檢測算法包括基于傳統(tǒng)的目標(biāo)檢測和基于深度學(xué)習(xí)的目標(biāo)檢測。

1.1 基于傳統(tǒng)激光雷達(dá)目標(biāo)檢測

傳統(tǒng)激光雷達(dá)系統(tǒng)的目標(biāo)檢測是由數(shù)據(jù)預(yù)處理、提取特征和目標(biāo)分類三個(gè)部分組成。首先，激光雷達(dá)傳感器采集環(huán)境點(diǎn)云數(shù)據(jù)，但在采集中會(huì)存在如浮塵等噪聲，因此需要通過數(shù)據(jù)預(yù)處理技術(shù)降低噪聲干擾，減少干擾數(shù)據(jù)。其次，使用提取特征技術(shù)對點(diǎn)云特征進(jìn)行提取。最后將具有相同特征點(diǎn)云聚類一起，完成目標(biāo)檢測。

1.2 基于深度學(xué)習(xí)的激光雷達(dá)目標(biāo)檢測

近年來，深度學(xué)習(xí)技術(shù)在目標(biāo)檢測領(lǐng)域中大受青睞，尤其以卷積神經(jīng)網(wǎng)絡(luò)為代表的技術(shù)，在交通檢測[4]、醫(yī)院檢測等領(lǐng)域具有重要應(yīng)用價(jià)值。基于深度學(xué)習(xí)的激光雷達(dá)目標(biāo)檢測主要包括二維投影點(diǎn)云檢測、點(diǎn)云體素化檢測和點(diǎn)的目標(biāo)檢測。二維投影點(diǎn)云檢測主要把激光雷達(dá)采集到的三維數(shù)據(jù)信息投影為二維平面，然后再使用卷積神經(jīng)網(wǎng)絡(luò)完成環(huán)境檢測。該方法需要把三維數(shù)據(jù)轉(zhuǎn)化為二維數(shù)據(jù)，因此缺少環(huán)境深度等數(shù)據(jù)。點(diǎn)云體素化是通過將點(diǎn)云網(wǎng)格進(jìn)行素華，然后使用3D 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測。點(diǎn)的目標(biāo)檢測是直接對點(diǎn)云進(jìn)行3D 卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測，提取出目標(biāo)特征信息。

基于激光雷達(dá)的環(huán)境感知技術(shù)能掃描車輛周圍環(huán)境信息并轉(zhuǎn)化為三維空間點(diǎn)云數(shù)據(jù)，但激光雷達(dá)無法獲取環(huán)境紋理等特征信息，對交通信號燈也無法有效檢測。因此，該技術(shù)目前還無法單獨(dú)應(yīng)用于車輛環(huán)境感知中。

2 基于攝像頭二維圖像環(huán)境感知技術(shù)

車載攝像頭由若干個(gè)凸透鏡組合而成，采用小孔成像原理把環(huán)境物體經(jīng)透鏡投影到相機(jī)的感光平面上，得到車輛環(huán)境RGB 二維圖片。常見車載攝像頭包括針孔模型、透視模型和魚眼模型等。

2.1 基于攝像頭的傳統(tǒng)機(jī)器視覺的目標(biāo)檢測

傳統(tǒng)的目標(biāo)檢測由獲取目標(biāo)、特征提取和目標(biāo)分類三部分組成。獲取目標(biāo)主要使用滑動(dòng)窗口法和紋理特征法選取目標(biāo)區(qū)域。特征提取是通過對獲取到的目標(biāo)進(jìn)行分割、灰度變化等操作，提取圖像特征信息，最終完成目標(biāo)檢測。傳統(tǒng)機(jī)器視覺目標(biāo)檢測方法要求特征提取員具有較高的專業(yè)領(lǐng)域知識(shí)，同時(shí)特征提取要進(jìn)行大量的手工操作，否則缺乏泛化能力。

2.2 基于深度學(xué)習(xí)的攝像頭目標(biāo)檢測

卷積神經(jīng)網(wǎng)絡(luò)模型是深度學(xué)習(xí)技術(shù)重要的應(yīng)用，能自動(dòng)提取特征信息，提高目標(biāo)檢測精度。Krizhevsky 等人提出的AlexNet網(wǎng)絡(luò)模型完全超越傳統(tǒng)機(jī)器視覺的目標(biāo)檢測[5]，促使智能汽車從傳統(tǒng)的環(huán)境識(shí)別轉(zhuǎn)變?yōu)榛谏疃葘W(xué)習(xí)技術(shù)的識(shí)別方式?；谏疃葘W(xué)習(xí)的攝像頭目標(biāo)檢測主要分為單階段檢測和兩階段檢測。

單階段檢測取消生成目標(biāo)候選區(qū)過程，直接對圖像進(jìn)行處理，從而提升檢測速度。兩階段檢測是先獲取目標(biāo)候選區(qū)域，再對候選區(qū)域進(jìn)行分類的圖像處理?；跀z像頭二維圖像環(huán)境檢測能使用較低硬件成本快速獲取車輛環(huán)境二維平面，但攝像頭采集到的數(shù)據(jù)無法反映環(huán)境空間位置信息，同時(shí)攝像頭采集數(shù)據(jù)時(shí)容易受到環(huán)境影響出現(xiàn)識(shí)別精度不高等情況。

3 多傳感器數(shù)據(jù)融合模式

智能汽車環(huán)境感知方式如果采用單一的傳感器采集數(shù)據(jù)，容易出現(xiàn)數(shù)據(jù)準(zhǔn)確度不高、受環(huán)境干擾大等情況，導(dǎo)致智能汽車在行駛過程中出現(xiàn)決策誤判、環(huán)境目標(biāo)信息檢測不全等問題，從而降低智能汽車自動(dòng)駕駛安全性。多傳感器融合技術(shù)則是將多個(gè)不同種類傳感器進(jìn)行協(xié)同工作，把多種類傳感器實(shí)時(shí)數(shù)據(jù)進(jìn)行融合（圖2），提升智能汽車對環(huán)境的感知能力和智能化決策能力，有效彌補(bǔ)汽車單一傳感器的限制問題，從而增加智能汽車安全、可靠性，降低駕駛?cè)藛T和道路行人的安全隱患。多傳感器融合模式包括數(shù)據(jù)層融合、特征層融合和決策層融合三個(gè)部分。

3.1 數(shù)據(jù)層融合

車載攝像頭能獲取到可見光環(huán)境數(shù)據(jù)信息，攝像頭相對于激光雷達(dá)相比成本較低，是目前應(yīng)用最廣的傳感器設(shè)備之一。攝像頭能應(yīng)用在智能汽車上實(shí)現(xiàn)采集環(huán)境信息，如障礙物、道路和交通標(biāo)志等。攝像頭傳感器主要獲取到環(huán)境的二維圖像信息，但二維圖像無法體現(xiàn)環(huán)境的深度和尺寸等信息，因此在要求安全性較高的自動(dòng)駕駛中還需配合其他傳感器共同實(shí)現(xiàn)環(huán)境監(jiān)測。車載激光雷達(dá)能掃描環(huán)境信息并轉(zhuǎn)化為三維點(diǎn)云數(shù)據(jù)，如障礙物三維信息、道路三維信息等。

數(shù)據(jù)層融合是把車載激光雷達(dá)和攝像頭所采集到的原始數(shù)據(jù)進(jìn)行融合。數(shù)據(jù)融合也屬于底層融合，需要把不同傳感器輸出的數(shù)據(jù)封裝為統(tǒng)一數(shù)據(jù)源，并為后續(xù)特征提取作好鋪墊。激光雷達(dá)和攝像頭數(shù)據(jù)融合需要進(jìn)行聯(lián)合標(biāo)定，通常聯(lián)合標(biāo)定包含激光雷達(dá)、攝像頭、像素和車輛周圍環(huán)境4 種坐標(biāo)系。要實(shí)現(xiàn)激光雷達(dá)與攝像頭坐標(biāo)系融合就需要添加轉(zhuǎn)化參數(shù)，從而找到不同種類傳感器源數(shù)據(jù)共有的點(diǎn)、線和面等特征信息。

標(biāo)定攝像頭采用旋轉(zhuǎn)和平移變化方法。假設(shè)攝像頭圖像像素坐標(biāo)為（x1，y1），激光雷達(dá)數(shù)據(jù)坐標(biāo)為（x2，y2，z2），k 代表攝像機(jī)參數(shù)，（r，t）是旋轉(zhuǎn)和平移矩陣，由此可以根據(jù)下列公式標(biāo)定攝像頭和激光雷達(dá)的數(shù)據(jù)。

把激光雷達(dá)采集到三維數(shù)據(jù)與攝像頭采集的二維數(shù)據(jù)融合，目前常用的技術(shù)有基于標(biāo)靶、基于無靶、基于運(yùn)動(dòng)標(biāo)定和基于深度學(xué)習(xí)標(biāo)定?；谏疃葘W(xué)習(xí)標(biāo)定能通過多次訓(xùn)練實(shí)現(xiàn)特征提取與特征匹配，其自動(dòng)化程度高、穩(wěn)定性好。通過提取攝像頭和激光雷達(dá)原始數(shù)據(jù)進(jìn)行回歸計(jì)算，就能自動(dòng)估計(jì)變換范圍，最終完成數(shù)據(jù)標(biāo)定。

3.2 特征層融合

目標(biāo)檢測是近年來人工智能技術(shù)領(lǐng)域熱門研究方向，對車輛環(huán)境目標(biāo)檢測要做到實(shí)時(shí)、精準(zhǔn)，也是智能化汽車環(huán)境感知的一個(gè)挑戰(zhàn)。通常對汽車車載攝像頭采集到的道路信息進(jìn)行檢測為二維目標(biāo)檢測，主要包括單階段檢測算法和兩階段檢測算法兩種。由于要滿足智能汽車檢測和部署速度，一般采用簡短檢測算法完成車輛環(huán)境目標(biāo)檢測。

車載激光雷達(dá)采集的數(shù)據(jù)進(jìn)行目標(biāo)檢測屬于三維目標(biāo)檢測，三維目標(biāo)檢測能對目標(biāo)空間、姿態(tài)和深度進(jìn)行檢測，從而提升目標(biāo)檢測精準(zhǔn)度。激光雷達(dá)傳感器收集的三維數(shù)據(jù)主要用于圖像的檢測和點(diǎn)云與圖像融合的檢測。三維目標(biāo)檢測技術(shù)運(yùn)用在目標(biāo)檢測、目標(biāo)跟蹤和語義分割等智慧車輛環(huán)境感知中?；邳c(diǎn)云的目標(biāo)檢測目前主流算法有K-Means 算法、DBSCAN 算法等，能對激光雷達(dá)采集到的點(diǎn)云數(shù)據(jù)進(jìn)行處理。

特征層融合是對多傳感器數(shù)據(jù)融合后，進(jìn)行數(shù)據(jù)特征法的提取，該操作也通常稱為中間層融合。特征層數(shù)據(jù)融合以一個(gè)單位特征量的形式輸出，相比數(shù)據(jù)層的數(shù)據(jù)，特征層把數(shù)據(jù)融合后還要進(jìn)行關(guān)鍵特征提取工作。目前特征層融合只對多傳感器采集的重點(diǎn)感知數(shù)據(jù)進(jìn)行特征提取。

特征層融合內(nèi)容主要有目標(biāo)狀態(tài)數(shù)據(jù)融合和目標(biāo)特特征數(shù)據(jù)融合兩大類。其中，目標(biāo)狀態(tài)數(shù)據(jù)融合是把多種類傳感器采集到的數(shù)據(jù)進(jìn)行數(shù)據(jù)匹配，找出具有相同或不同特性的數(shù)據(jù)信息，最后再修改數(shù)據(jù)關(guān)聯(lián)參數(shù)以及數(shù)據(jù)狀態(tài)信息，從而實(shí)現(xiàn)目標(biāo)跟蹤。目標(biāo)特征融合是完成數(shù)據(jù)特征矢量分類的操作，最終實(shí)現(xiàn)目標(biāo)檢測。因此特征層的主要功能是對數(shù)據(jù)層結(jié)合后的數(shù)據(jù)進(jìn)行加工與提取，為車輛環(huán)境目標(biāo)識(shí)別、軌跡計(jì)算等提供支撐數(shù)據(jù)。

3.3 決策層融合

決策層融合是對已完成特征提取的各類傳感器數(shù)據(jù)結(jié)果進(jìn)行融合。通過前2 個(gè)步驟，已對各類傳感器數(shù)據(jù)的融合和特征提取，決策層融合與數(shù)據(jù)層和特征層融合相比，在抗干擾性方面有一定優(yōu)勢，在惡劣環(huán)境下的車輛檢測周圍信息有較強(qiáng)的魯棒性，提高車輛環(huán)境感知能力和精確度。決策層融合會(huì)把多個(gè)傳感器特征結(jié)果進(jìn)行統(tǒng)一融合分析，從而彌補(bǔ)單一傳感器的劣勢問題（表1）。

決策層能融合多傳感器數(shù)據(jù)并完成目標(biāo)識(shí)別，從而提升智能化汽車在動(dòng)態(tài)環(huán)境中的安全能力。而基于深度學(xué)習(xí)的目標(biāo)檢測可以高效檢測汽車環(huán)境信息、道路信息和交通標(biāo)準(zhǔn)信息，提升檢測的精準(zhǔn)度。目標(biāo)常用的深度學(xué)習(xí)技術(shù)有生成式模式、圖神經(jīng)網(wǎng)絡(luò)模型等，能自動(dòng)、快速地做出決策。因此決策層可以彌補(bǔ)部分傳感器采集數(shù)據(jù)時(shí)因環(huán)境、天氣等情況出現(xiàn)的數(shù)據(jù)不完整等情況，分析多個(gè)傳感器數(shù)據(jù)信息并自動(dòng)找出最優(yōu)數(shù)據(jù)。

4 結(jié)束語

本文基于對單一激光雷達(dá)傳感器與單一攝像頭傳感器識(shí)別技術(shù)的研究，提出激光雷達(dá)與攝像頭多種類傳感器數(shù)據(jù)層融合、特征層融合和決策層融合模式，對激光雷達(dá)和攝像頭轉(zhuǎn)化參數(shù)標(biāo)定，多傳感器數(shù)據(jù)融合層次進(jìn)行分析。目前在智能汽車領(lǐng)域環(huán)境感知中，使用深度學(xué)習(xí)技術(shù)促進(jìn)多傳感器融合的研究越來越多，能有效改進(jìn)智能車輛因使用單一傳感器而受到天氣、環(huán)境等干擾所導(dǎo)致的識(shí)別精度不高問題，可以增強(qiáng)智慧汽車環(huán)境感知的魯棒性?；诩す饫走_(dá)與攝像頭融合環(huán)境感知技術(shù)，能有效提升智能汽車環(huán)境感知能力。但決策層融合技術(shù)目前對多傳感檢測時(shí)還存在檢測結(jié)果匹配度不高、有效性不足等問題，需要多方協(xié)同完善數(shù)據(jù)整合、優(yōu)先級判斷和決策選擇等情況。

【參考文獻(xiàn)】

[1] 新華網(wǎng). 國務(wù)院辦公廳印發(fā)《新能源汽車產(chǎn)業(yè)發(fā)展規(guī)劃（2021 － 2035年）》[EB/OL].（ 2020-11-02） [2023-10-12]. https：//baijiahao.baidu.com/s？id=1682239764162107391&wfr=spider&for=pc.

[2] 崔明陽， 黃荷葉， 許慶， 等. 智能網(wǎng)聯(lián)汽車架構(gòu)、功能與應(yīng)用關(guān)鍵技術(shù)[J]. 清華大學(xué)學(xué)報(bào)（ 自然科學(xué)版）， 2022， 62（3）： 493-508.

[3] 彭湃， 耿可可， 王子威等. 智能汽車環(huán)境感知方法綜述[J/OL]. 機(jī)械工程學(xué)報(bào)：1-23[2023-10-26].http：//kns.cnki.net/kcms/detail/11.2187.TH.20230927.1635.038.html.

[4] 張文熾， 陳黎輝， 吳煒等. 基于卷積神經(jīng)網(wǎng)絡(luò)特征融合的交通標(biāo)志識(shí)別[J].計(jì)算機(jī)應(yīng)用，2019，39（S1）：21-25.

[5] Krizhevsky A，Sutskever I，Hinton E G. ImageNet classification withdeep convolutional neural networks[J]. Communications of theACM，2017，60（6） ： 84-90.

作者簡介：

吳學(xué)舟，本科，工程師，研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車、車載智能感知測試。李岳松，?？?，助理工程師，研究方向?yàn)樾履茉雌囯娮訙y試。