融合深度卷積網(wǎng)絡(luò)與點云網(wǎng)絡(luò)的三維車輛檢測方法分析

王鵬 葉子豪 孫銳

摘 ? 要：在常規(guī)的車輛目標(biāo)檢測中，YOLO，SSD，RCNN等深度模型都獲得了較好的檢測效果，但是在無人駕駛系統(tǒng)中，車輛的速度、方向、相對距離等因素對于系統(tǒng)來說十分重要，所以采用二維車輛檢測對于駕駛場景的理解還遠遠不夠。激光點云數(shù)據(jù)蘊含著豐富的三維環(huán)境信息，融合點云數(shù)據(jù)和深度網(wǎng)絡(luò)的三維車輛檢測已成為未來的發(fā)展方向。文章給出了一種基于點云網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的三維車輛檢測方法，首先，使用CRC和輸入尺寸有關(guān)的SDP技術(shù)來提高車輛檢測的準(zhǔn)確性;其次，采用點云網(wǎng)絡(luò)結(jié)構(gòu)（Pointnet）來處理點云數(shù)據(jù)，實現(xiàn)三維目標(biāo)檢測，研究表明設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)在檢測精度上有著較大的優(yōu)勢。

關(guān)鍵詞：車輛檢測;點云網(wǎng)絡(luò);卷積神經(jīng)網(wǎng)絡(luò);拒絕分類器

1 ? ?車輛檢測的相關(guān)算法

近年來，由于深度學(xué)習(xí)技術(shù)的興起，機器視覺與人工智能有了快速的發(fā)展，特別是智能汽車領(lǐng)域，通過在車輛中安裝視覺傳感器使駕駛變得越來越安全以及智能化，而無人駕駛技術(shù)更是得到了工業(yè)界與學(xué)術(shù)界的高度關(guān)注。

車輛檢測是無人駕駛感知系統(tǒng)的關(guān)鍵環(huán)節(jié)，大多數(shù)的交通事故發(fā)生在車車之間，傳統(tǒng)的二維車輛識別技術(shù)僅能提供方位信息，并不能滿足無人駕駛系統(tǒng)對車輛檢測的需求，車輛的空間位置、速度等因素對后期的控制決策起到極為重要的作用。因此，需要激光雷達等傳感器提供三維點云信息、融合處理三維點云信息以及二維圖像信息成為車輛檢測的關(guān)鍵技術(shù)。目前，深度學(xué)習(xí)已被證明是目標(biāo)檢測中最為有效的方法，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[1-2]更是在圖像處理領(lǐng)域中得到了廣泛的應(yīng)用，例如圖像的分類、檢測、分割等。但是CNN也存在一些明顯的問題，最為突出的就是要對海量數(shù)據(jù)進行大量卷積運算需要消耗較大的計算量，為了提高目標(biāo)檢測的速度，近些年部分學(xué)者又提出了Fast RCNN[3]和空間金字塔網(wǎng)絡(luò)（Spatial Pyramid Pooling Net）[4]，在Fast RCNN中，僅在整幅圖像中進行一次卷積操作，其比R-CNN[5]通過共享卷積層來說提高了運算效率。Fast RCNN已經(jīng)實現(xiàn)了分別在訓(xùn)練和測試階段的加速。為了進一步提升速度，其他的深度神經(jīng)網(wǎng)絡(luò)模型也被提出，SSD[6]采用了一個CNN網(wǎng)絡(luò)來檢測，不過其使用了多尺度特征圖，并設(shè)置了先驗框。SSD借鑒了Fast R-CNN的錨點方法，對每一個候選單元設(shè)置不同大小的檢測框，取得了較好的檢測效果。YOLO[7]是另外一種快速單階段目標(biāo)檢測方法，與R-CNN類型的模型有著明顯的不同，不再是將目標(biāo)檢測視為分類問題，而是作為一種回歸問題，可以直接從圖像得到目標(biāo)邊界框以及類別的判斷。YOLO擁有非?？斓乃俣葍?yōu)勢，并且是直接在圖像中進行訓(xùn)練，這使得其自然包含有目標(biāo)的上下文信息。YOLO模型相比于R-CNN模型有著較大的速度優(yōu)勢，但是精度上則不及大多主流的深度網(wǎng)絡(luò)模型。

三維車輛檢測可以提供更多的目標(biāo)信息，目前已有少量研究成果發(fā)表，把這些方法分為3類：（1）基于前景視角圖像的方法，通過單幅RGB圖像和形狀或遮擋樣式來推斷目標(biāo)三維邊界框[8]。利用深度數(shù)據(jù)集合CNN網(wǎng)絡(luò)來對二維目標(biāo)檢測的結(jié)果三維化[9]。（2）基于鳥瞰圖的方法，MV3D[10]將LIDAR點云投射到鳥瞰圖并采用RPN[11]網(wǎng)絡(luò)來預(yù)測目標(biāo)三維邊界框，但是該方法在檢測小物體時存在較大誤差，例如行人以及自行車都不是很準(zhǔn)確。（3）基于3D點云的方法，通過支持向量機（Support Vector Machine，SVM）從點云數(shù)據(jù)中提取幾何特征，最后使用滑動窗口實現(xiàn)三維目標(biāo)檢測[12]。將整個場景的點云轉(zhuǎn)換為體積網(wǎng)格，并使用3D-CNN網(wǎng)絡(luò)進行目標(biāo)特征提取和檢測。該方法使用到了3D卷積，其計算量十分龐大[13]。

本文采用了直接處理點云數(shù)據(jù)的PointNet網(wǎng)絡(luò)[14]，該網(wǎng)絡(luò)結(jié)構(gòu)簡單，但是卻可以高效處理點云數(shù)據(jù)。同時，本文設(shè)計了一種基于深度點云網(wǎng)絡(luò)的目標(biāo)檢測方法，先采用卷積神經(jīng)網(wǎng)絡(luò)快速、準(zhǔn)確地檢測車輛候選區(qū)域，再采用PointNet網(wǎng)絡(luò)實現(xiàn)三維實例分割，利用逐層級聯(lián)的拒絕分類器（Cascaded Rejection Classifiers，CRC）和與輸入大小有關(guān)的池化層（Scale Dependent Pooling，SDP）來提高目標(biāo)車輛的檢測結(jié)果。

2 ? ?激光雷達與點云數(shù)據(jù)

激光雷達屬于光電技術(shù)，會向周圍物體發(fā)射激光束，再接受反射的光，通過反射的時間差得到物體的距離信息。激光雷達得到距離信息后再結(jié)合發(fā)射的角度，由空間幾何原理來推測到物體的位置與形狀。這個過程中，激光幾乎不受到環(huán)境因素的干擾，激光雷達的工作范圍可達100 m以上。激光雷達采用激光射線而非無線電雷達的電磁波，因此擁有更短的波長，對于獲取目標(biāo)的距離以及形狀都會有更大的優(yōu)勢，精度可以達到厘米級。激光雷達通常包括3部分：（1）激光發(fā)射器。（2）掃描與光學(xué)部件，可感知距離、時間以及角度信息。（3）感光部件，用來檢測反射光的光強。

現(xiàn)有的無人駕駛車輛中已廣泛安裝了激光雷達，在車輛行駛的過程中，激光雷達會按照恒定的角速度進行勻速轉(zhuǎn)動并發(fā)射激光，會獲得360°全角度的環(huán)境信息，繼而可由距離、時間以及角度三者信息再加上激光雷達的位置信息，推導(dǎo)出反射點的三維坐標(biāo)。激光雷達旋轉(zhuǎn)360°獲得的反射點坐標(biāo)集合就叫點云，工作原理如圖1所示。激光雷達距離傳感器可以比普通攝像機更直接地得到三維信息，可以在識別分類的過程中提供三維形狀的信息。但是激光雷達所形成的三維點云一般都比較稀疏，空間的分辨率有限，所以缺乏目標(biāo)的外觀與紋理信息。本文結(jié)合二維視覺目標(biāo)檢測以及三維空間定位的各自優(yōu)勢，先利用RGB圖像檢測網(wǎng)絡(luò)對目標(biāo)進行候選估計，再利用點云網(wǎng)絡(luò)對候選區(qū)域處理，最終完成三維車輛檢測任務(wù)。

3 ? ?三維車輛檢測算法

在三維車輛檢測算法中分別利用2D神經(jīng)網(wǎng)絡(luò)在車輛檢測的精度優(yōu)勢、3D點云網(wǎng)絡(luò)在處理點云數(shù)據(jù)時的空間定位優(yōu)勢，綜合設(shè)計該網(wǎng)絡(luò)模型，如圖2所示。該模型分為3個部分：2D檢測區(qū)域建議、三維實例分割以及3D邊界框估計，分別由圖2中的3個子網(wǎng)絡(luò)模塊完成。首先，由激光雷達和視覺傳感器分別接收點云數(shù)據(jù)與RGB圖像數(shù)據(jù);其次，利用含有級聯(lián)拒絕分類器及比列相關(guān)池化的CNN網(wǎng)絡(luò)對RGB圖片識別出車輛檢測區(qū)域;再次，由點云數(shù)據(jù)將2D檢測的區(qū)域轉(zhuǎn)換到3D點云中;最后，由PointNet預(yù)測出車輛的最終回歸框。

3.1 ?基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別

基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識別方法第一階段設(shè)計了一種快速、準(zhǔn)確的深度卷積神經(jīng)網(wǎng)絡(luò)來檢測車輛，該網(wǎng)絡(luò)利用了網(wǎng)絡(luò)所有層中的卷積特征，通過拒絕分類器對候選對象進行分類檢測;依賴于尺度的集合以及逐層級聯(lián)的拒絕分類器和與輸入尺寸有關(guān)的池化層來提高目標(biāo)車輛的檢測結(jié)果。級聯(lián)拒絕分類器有效地利用了卷積特征以及消除在候選對象中存在大量負(fù)樣本，大大加快了檢測速度，同時也保存了較高精度。該網(wǎng)絡(luò)結(jié)構(gòu)解決了Fast-RCNN中池化層的候選框不能精確識別小物體，以及多尺度圖像輸入中計算量的問題。常規(guī)的Fast-RCNN網(wǎng)絡(luò)需要進行大量高維卷積和邊界框池化，消耗大量運算時間和資源。該網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

由于SDP層也加入了4個全卷積層，所以為了進一步減少計算量，在所設(shè)計的網(wǎng)絡(luò)中使用了級聯(lián)拒絕分類器來減少候選樣本的數(shù)量，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該結(jié)構(gòu)首先通過卷積層后得到一組特征，再使用興趣區(qū)（Region of Interest，ROI）池化策略得到若干個候選特征，對于所有的候選特征設(shè)置分類標(biāo)簽為0與1，然后訓(xùn)練50個弱分類器，整體策略類似adaboost集成學(xué)習(xí)，這種網(wǎng)絡(luò)結(jié)構(gòu)會使得檢測時速度提高3～4倍。

3.2 ?基于點云網(wǎng)絡(luò)的三維車輛檢測技術(shù)

針對傳統(tǒng)方法處理點云數(shù)據(jù)難以準(zhǔn)確分割的問題，本文采用PointNet網(wǎng)絡(luò)來處理點云數(shù)據(jù)，結(jié)構(gòu)簡單，但是卻可以高效處理點云數(shù)據(jù)，從而實現(xiàn)目標(biāo)分割及識別等任務(wù)，該網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，通過最大池化來將點云信息中所有點的信息融合，其輸入是一個三個維度的點云數(shù)據(jù)，輸出可以是檢測標(biāo)簽也可以是點云分割結(jié)果。

網(wǎng)絡(luò)結(jié)構(gòu)中，第一部分的T-Net網(wǎng)絡(luò)可以產(chǎn)生仿射變換矩陣，將輸入的點云信息進行如旋轉(zhuǎn)及平移變換的規(guī)范化預(yù)處理，相當(dāng)于一個小型的PointNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)輸入為點云信息，輸出則是對應(yīng)的3×3矩陣。該網(wǎng)絡(luò)也可以應(yīng)用在特征空間的對齊，對應(yīng)輸出的矩陣大小為64×64。第二部分是將點云數(shù)據(jù)以及提取的點云特征做進一步處理得到全局特征，該網(wǎng)絡(luò)輸入為n×3的點云結(jié)構(gòu)，通過各點云數(shù)據(jù)在感知機中的學(xué)習(xí)以及特征提取，使用最大池化來將所有信息融合為全局特征，在激光雷達收集到點云數(shù)據(jù)后，就可以利用PointNet網(wǎng)絡(luò)進行處理，根據(jù)上一節(jié)的分析，該網(wǎng)絡(luò)不僅可以實現(xiàn)分類的功能，還可以實現(xiàn)三維實例分割的效果。而算法主要是靠點云網(wǎng)絡(luò)來實現(xiàn)分割的功能，利用PointNet網(wǎng)絡(luò)實現(xiàn)的分割效果如圖6所示。

4 ? ?實驗結(jié)果與分析

4.1 ?數(shù)據(jù)集

本文實驗對象為KITTI的二維與三維車輛目標(biāo)的數(shù)據(jù)集，該數(shù)據(jù)集由卡爾斯魯厄理工學(xué)院以及豐田汽車共同發(fā)起創(chuàng)建，現(xiàn)為無人駕駛領(lǐng)域視覺感知模塊中應(yīng)用最廣的數(shù)據(jù)集，其中包含行人、車輛等各種交通目標(biāo)。同時，本團隊在訓(xùn)練中還采用了部分PASCAL VOC2007數(shù)據(jù)集。方法采用平均準(zhǔn)確率（Average Precision，AP）指標(biāo)來評價算法的車輛檢測精度。由于方法涉及二維圖像檢測網(wǎng)絡(luò)與三維點云網(wǎng)絡(luò)的結(jié)合，最終的檢測精度受到這兩種網(wǎng)絡(luò)精度的共同影響，故在實驗中對兩個部分的實驗結(jié)果分別做一次對比分析，同時再將整體的實驗精度與其他算法做出對比。

4.2 ?實驗結(jié)果與分析

實驗包含3個部分。本文通過二維檢測網(wǎng)絡(luò)提供的車輛檢測區(qū)域，故二維圖像檢測網(wǎng)絡(luò)的精度影響了最終的結(jié)果，首先，給出RGB圖像的實驗結(jié)果;其次，由點云網(wǎng)絡(luò)預(yù)測三維車輛的最終回歸框，所以本文也對比分析做出了點云網(wǎng)絡(luò)的實驗結(jié)果以及最終整體方法的完整實驗結(jié)果。

本文采用的二維目標(biāo)檢測網(wǎng)絡(luò)使用循環(huán)冗余校驗（Cyclic Redundancy Check，CRC）與戰(zhàn)略數(shù)據(jù)規(guī)劃（Strategy Data Planning，SDP）來加強網(wǎng)絡(luò)的精度與減少計算量，使得方法在保證目標(biāo)檢測的高精度同時保障了無人駕駛中所要求的高實時性。在KITTI數(shù)據(jù)集上的實驗結(jié)果如表1所示，其中E，M，H分別指簡單、中等、困難的識別場景。

SDP+CRC+fine是將CNN模型加入SDP與CRC之后微調(diào)的結(jié)果，在加了SDP之后候選區(qū)域少了70%～80%，大大減少了網(wǎng)絡(luò)的計算量。 該算法在VOC2007數(shù)據(jù)集中檢測結(jié)果如表2所示。

本文最后給出算法在KITTI三維點云數(shù)據(jù)集的實驗結(jié)果，可以看出該方法達到了較好的實驗結(jié)果，如表3所示，其中，模型在二維目標(biāo)檢測基礎(chǔ)上使用了PointNet網(wǎng)絡(luò)。圖7為算法直觀的3D車輛檢測結(jié)果。

5 ? ?結(jié)語

三維車輛檢測在無人駕駛系統(tǒng)中有著廣闊的應(yīng)用前景，二維車輛檢測僅提供的簡單的目標(biāo)方位，三維車輛檢測提供了更多有用的如車輛位置信息以及速度信息。針對早期三維目標(biāo)檢測算法并不能直接利用激光點云數(shù)據(jù)，且計算量十分龐大的缺陷，本文給出了一種融合二維與三維目標(biāo)的檢測模型，一方面是利用激光點云數(shù)據(jù)，實現(xiàn)了三維目標(biāo)的有效分割與提取;另一方面又結(jié)合原有深度學(xué)習(xí)算法中二維目標(biāo)檢測中的高精度優(yōu)勢，整體上實現(xiàn)了一種高效的三維目標(biāo)車輛檢測方法，具有較高的應(yīng)用價值。

[參考文獻]

[1]KRIZHEVSKY A，SUTSKEVER I，HINTON E.Imagenet classification with deep convolutional neural networks[J].In Advances in Neural Information Processing Systems，2012（3）：1097-1105.