基于多傳感器數(shù)據(jù)和深度學(xué)習(xí)的道路車輛檢測方法

楊宵祺

摘 要：針對車輛檢測中傳感器數(shù)據(jù)來源單一的問題，提出綜合激光雷達(dá)點(diǎn)云與圖像信息應(yīng)用于車輛檢測。首先進(jìn)行激光雷達(dá)相對于相機(jī)的校準(zhǔn)使得點(diǎn)云與圖像數(shù)據(jù)相互匹配，然后對稀疏點(diǎn)云進(jìn)行插值，得到距離與反射強(qiáng)度密集數(shù)據(jù)，并將各模態(tài)的數(shù)據(jù)分別輸入YOLO-tiny中訓(xùn)練，訓(xùn)練好的分類器可用于車輛檢測。實(shí)驗(yàn)結(jié)果表明，點(diǎn)云數(shù)據(jù)可以為基于圖像的車輛檢測提供額外的信息，多模態(tài)的車輛檢測可以為決策級的融合提供有效依據(jù)。

關(guān)鍵詞：車輛檢測；傳感器融合；深度學(xué)習(xí)

1.前言

目前，我國擁有超過2億輛汽車保有量，新車年銷售量接近3000萬輛。智能汽車已成為汽車產(chǎn)業(yè)發(fā)展的戰(zhàn)略方向，發(fā)展智能汽車是解決汽車社會交通安全、道路擁堵、能源消耗、環(huán)境污染等問題的重要手段[1]，所以需要加快推進(jìn)汽車向智能化方向發(fā)展。安全性是智能汽車發(fā)展需要實(shí)現(xiàn)的最為重要的目標(biāo)。據(jù)調(diào)查，現(xiàn)代汽車交通事故有百分之七十以上是因?yàn)樽肺舶l(fā)生的，因此主動安全中前方碰撞系統(tǒng)需要進(jìn)一步的優(yōu)化和改進(jìn)。汽車前方碰撞預(yù)警系統(tǒng)[2]通過時刻監(jiān)測前方車輛，判斷本車與前車之間的距離、方位及相對速度，當(dāng)存在潛在碰撞危險時對駕駛者進(jìn)行警告。車輛檢測對智能汽車實(shí)現(xiàn)碰撞預(yù)警至關(guān)重要。

目前在車輛檢測領(lǐng)域，許多研究都利用來自攝像頭的圖像信息，而對于激光雷達(dá)等傳感器的數(shù)據(jù)利用較少。根據(jù)車輛所用傳感器類型不同，例如傳統(tǒng)CMOS/CCD攝像頭或是新型LiDAR，所采集到的信息有所不同。每種類型的傳感器都有其優(yōu)缺點(diǎn)[3]。彩色攝像機(jī)可以獲得周圍世界的顏色和紋理信息，但檢測范圍有限，且在光照受限或是惡劣的天氣條件下效果不理想。激光雷達(dá)可以為智能汽車提供精確的距離信息，在夜間也能工作，但不能從中獲得顏色信息，且在雨雪天氣中工作性能不佳。多傳感器融合已經(jīng)成為目前研究的熱點(diǎn)。

針對現(xiàn)有車輛檢測方法中所用傳感器數(shù)據(jù)來源單一的問題，提出綜合激光雷達(dá)點(diǎn)云與圖像信息并應(yīng)用于車輛檢測。為融合不同類型傳感器的數(shù)據(jù)，首先進(jìn)行激光雷達(dá)相對于相機(jī)的校準(zhǔn)，使彩色相機(jī)的圖像信息和激光雷達(dá)的點(diǎn)云數(shù)據(jù)相互匹配。然后對稀疏的點(diǎn)云數(shù)據(jù)進(jìn)行上采樣，生成密集的距離數(shù)據(jù)和反射強(qiáng)度數(shù)據(jù)。在此基礎(chǔ)上，將彩色圖像和生成的兩類密集數(shù)據(jù)分別輸入到Y(jié)OLO-tiny中訓(xùn)練，訓(xùn)練好的模型可以用來進(jìn)行多模態(tài)車輛檢測，得到的車輛檢測結(jié)果為決策級的融合提供依據(jù)。

2.車輛檢測算法概述

2.1激光雷達(dá)的校準(zhǔn)

在傳感器數(shù)據(jù)融合前，必須要進(jìn)行激光雷達(dá)相對于相機(jī)的校準(zhǔn)工作。激光雷達(dá)需要校準(zhǔn)是因?yàn)榇_定激光雷達(dá)坐標(biāo)系相對于相機(jī)坐標(biāo)系進(jìn)行六自由度變換才能與后者重合，所以校準(zhǔn)要做的就是確定前者到后者的變換需要的六個參數(shù)，即空間x，y，z三軸的旋轉(zhuǎn)角度和平移距離。這六個參數(shù)唯一確定了激光雷達(dá)坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣T。校準(zhǔn)之后，激光雷達(dá)和相機(jī)的數(shù)據(jù)才能匹配上。校準(zhǔn)精度越高，傳感器的數(shù)據(jù)匹配度就越高。

使用的圖像和點(diǎn)云數(shù)據(jù)均來自KITTI數(shù)據(jù)集。KITTI數(shù)據(jù)集[4]采集自德國卡爾斯魯厄及其周邊地區(qū)，包含農(nóng)村、城市地區(qū)真實(shí)的交通場景。采集數(shù)據(jù)的設(shè)備有彩色相機(jī)和激光雷達(dá)。作者對激光雷達(dá)進(jìn)行了初步的校準(zhǔn)，可以在此基礎(chǔ)上進(jìn)一步提高校準(zhǔn)的精度。

采用文獻(xiàn)[5]中的方法，對圖像和點(diǎn)云數(shù)據(jù)進(jìn)行邊緣匹配。提取圖像邊緣的算法已經(jīng)較為成熟，而對于激光雷達(dá)，使用的是其中的反射強(qiáng)度數(shù)據(jù)。當(dāng)點(diǎn)云數(shù)據(jù)中某個點(diǎn)與相鄰點(diǎn)的反射強(qiáng)度的差值超過設(shè)定的閾值，該點(diǎn)就成為點(diǎn)云數(shù)據(jù)中的邊緣點(diǎn)。對點(diǎn)云中的每個點(diǎn)，定義該點(diǎn)的不連續(xù)度X為：

式中，i表示點(diǎn)云中點(diǎn)的序號，r表示該點(diǎn)的反射強(qiáng)度。

如圖1（a）所示，選取某一幅圖像，先后對其進(jìn)行Sobel算子濾波、腐蝕膨脹和高斯濾波提取其邊緣。同時，提取了相應(yīng)點(diǎn)云數(shù)據(jù)中的邊緣點(diǎn)。當(dāng)這些邊緣點(diǎn)投影到邊緣圖中，就呈現(xiàn)出如圖所示的效果。我們把邊緣點(diǎn)和邊緣圖都處理為相同的矩陣大小，對兩者進(jìn)行元素乘法，將結(jié)果定義為相似度分?jǐn)?shù)S。

式中， X（T）表示使用變換矩陣T時，點(diǎn)云的不連續(xù)度投影到圖像平面的矩陣， S（T）表示使用變換矩陣T時求得的相似度分?jǐn)?shù)，E表示圖像經(jīng)過邊緣檢測后得到的邊緣圖。

在此基礎(chǔ)上運(yùn)用無梯時度優(yōu)化算法求該目標(biāo)函數(shù)的最大值，以使得圖像和雷達(dá)數(shù)據(jù)中的邊緣盡可能匹配，S取最大值時的T就是所求的最佳變換矩陣，最佳六參數(shù)同時也唯一確定。經(jīng)過優(yōu)化，六個參數(shù)與KITTI數(shù)據(jù)集提供的參數(shù)間的相對誤差為：7.480969e-04°，1.472487e-03°，1.608395e-04°，4.187419e-05m，1.162718e-04m，6.979999e-05。調(diào)整前后點(diǎn)云投影到圖像上的效果圖分別如圖1（b）（c）所示。提升激光雷達(dá)與攝像頭的數(shù)據(jù)匹配度有助于兩者信息的融合。

圖1 （a）校準(zhǔn)優(yōu)化后，邊緣點(diǎn)投影至邊緣圖的匹配效果；（b）校準(zhǔn)優(yōu)化前，點(diǎn)云投影至圖像平面；（c）校準(zhǔn)優(yōu)化后，點(diǎn)云投影至圖像平面

2.2多模態(tài)數(shù)據(jù)的產(chǎn)生

激光雷達(dá)的點(diǎn)云數(shù)據(jù)是稀疏的，如果想要在深度學(xué)習(xí)中使用點(diǎn)云數(shù)據(jù)，需要將其變得密集起來。使用文獻(xiàn)[6]所述Delaunay三角化方法，對點(diǎn)云的距離和反射強(qiáng)度數(shù)據(jù)進(jìn)行插值，得到兩類圖像數(shù)據(jù)：密集的距離數(shù)據(jù)和密集的反射強(qiáng)度數(shù)據(jù)，分別稱為距離密集圖和反射強(qiáng)度密集圖。

根據(jù)已有的稀疏點(diǎn)云數(shù)據(jù)，使用最近鄰插值來獲得其他點(diǎn)處的距離或反射強(qiáng)度數(shù)據(jù)。以距離密集圖的獲取為例，將使用已知點(diǎn)的坐標(biāo)（x0，y0）及其距離數(shù)據(jù)v0進(jìn)行最近鄰插值獲得的函數(shù)定義為F

然后利用F便可以獲得其余點(diǎn)（x，y）的距離數(shù)據(jù)v。

反射強(qiáng)度密集圖的獲得是類似的。值得注意的是，距離密集圖和反射強(qiáng)度密集圖的生成都沒有使用來自相機(jī)的圖像數(shù)據(jù)，而僅用了激光雷達(dá)的距離數(shù)據(jù)和反射強(qiáng)度數(shù)據(jù)。實(shí)例如圖2所示。

2.3基于YOLO-tiny算法的車輛檢測

對于某一幀來說，有四類數(shù)據(jù)，分別是相機(jī)拍攝的彩色圖像、點(diǎn)云數(shù)據(jù)經(jīng)處理獲得的距離密集圖、反射強(qiáng)度密集圖以及2D車輛標(biāo)簽數(shù)據(jù)。每一幀的標(biāo)簽數(shù)據(jù)中記錄了車輛在圖像坐標(biāo)系中的位置，標(biāo)簽數(shù)據(jù)由KITTI數(shù)據(jù)集提供。

在基于各類傳感器的車輛檢測領(lǐng)域，人們已經(jīng)進(jìn)行了許多研究工作。文獻(xiàn)[7]利用二維圖像基于先驗(yàn)知識的方法推測圖像中潛在的車輛，主要利用車輛的幾何結(jié)構(gòu)、日間行駛時車輛下方的陰影、車輛尾燈以及車輛紋理、對稱性、色彩等信息。更多的研究者考慮使用基于立體視覺[8]的車輛檢測方法，包括視差圖方法和逆透視映射法。此外，還有基于運(yùn)動的方法使用光流法]來計(jì)算車輛和背景的相對運(yùn)動，從而確定車輛的位置。由于發(fā)散光流的產(chǎn)生，該方法在檢測相反方向運(yùn)動的車輛時更為有效。近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于深度學(xué)習(xí)的方法也被應(yīng)用于車輛檢測。

將從相機(jī)獲取的圖像數(shù)據(jù)以及根據(jù)前文所述方法得到的兩類密集圖分別輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，進(jìn)行多模態(tài)的車輛檢測。本文采用YOLO-tiny作為深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)。YOLO[10]是目前較為先進(jìn)的目標(biāo)檢測算法，YOLO由24個卷積層、2個全連接層以及邊界框輸出所組成。YOLO-tiny是YOLO算法的作者提出的一個相對輕量的版本。使用YOLO-tiny在較短時間內(nèi)實(shí)現(xiàn)車輛檢測的初步效果。在訓(xùn)練YOLO-tiny時使用的GPU是NVIDAI MX150，并使用cnDNN進(jìn)行加速。在各模態(tài)輸入到Y(jié)OLO-tiny中分別進(jìn)行7800次迭代之后，得到三個訓(xùn)練好的YOLO-tiny的模型，并在圖像上進(jìn)行了測試，檢測效果如圖3所示。

從測試的結(jié)果可以看出，經(jīng)過處理的點(diǎn)云數(shù)據(jù)可以作為車輛檢測的依據(jù)，有不遜于圖像數(shù)據(jù)的效果。結(jié)合三種模態(tài)下的檢測結(jié)果，可以為決策級的融合提供依據(jù)。同時，前述相機(jī)和激光雷達(dá)點(diǎn)云數(shù)據(jù)的匹配對后續(xù)的融合起了積極作用。當(dāng)然，可以在YOLO等性能更好的網(wǎng)絡(luò)和更為強(qiáng)勁的GPU上按照本文思路進(jìn)行實(shí)踐，從而大幅提升檢測效果。

3. 結(jié)論

3.1結(jié)論

本文綜合利用圖像與點(diǎn)云數(shù)據(jù)，使兩者信息互為補(bǔ)充，并應(yīng)用于車輛檢測。進(jìn)行激光雷達(dá)相對于相機(jī)的校準(zhǔn)，使得彩色相機(jī)的圖像信息和激光雷達(dá)的點(diǎn)云數(shù)據(jù)相互匹配。對稀疏的點(diǎn)云數(shù)據(jù)進(jìn)行插值，生成距離密集圖和反射強(qiáng)度密集圖，可以用于深度學(xué)習(xí)的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，多模態(tài)下車輛檢測的結(jié)果可以為決策級的融合提供依據(jù)，在相機(jī)使用受限以及車輛的色彩紋理信息與圖像背景易混淆時，點(diǎn)云數(shù)據(jù)的利用有望提高車輛檢測在不同環(huán)境條件下的魯棒性。

參考文獻(xiàn)：

[1] Tokody D， Mezei I J， Schuster G. An Overview of Autonomous Intelligent Vehicle Systems[M]//Vehicle and Automotive Engineering. Springer， Cham， 2017： 287-307.