基于點(diǎn)云深度學(xué)習(xí)的3D目標(biāo)檢測(cè)

敖建鋒,蘇澤鍇,劉傳立,李美妮,朱 濱

(江西理工大學(xué)建筑與測(cè)繪工程學(xué)院,江西 贛州 341000)

1 引 言

激光雷達(dá)獲取得到的點(diǎn)云數(shù)據(jù)具有精度高、魯棒性強(qiáng)等特點(diǎn),點(diǎn)云是一種表達(dá)形式簡(jiǎn)單、靈活多變的數(shù)據(jù)形式,在自動(dòng)駕駛[1]、目標(biāo)識(shí)別、三維重建[2]、城市規(guī)劃和遙感測(cè)繪等方面有著廣泛的應(yīng)用。近年來(lái),隨著機(jī)器學(xué)習(xí)的發(fā)展,如何利用點(diǎn)云進(jìn)行3D目標(biāo)檢測(cè)受到了人們的關(guān)注。與二維圖像相比,點(diǎn)云可以更好地表現(xiàn)出地物的表面特征及距離信息,然而與基于圖像的目標(biāo)檢測(cè)的快速發(fā)展形成鮮明的對(duì)比[3],由于點(diǎn)云本身的無(wú)序性、稀疏性等特點(diǎn),在基于點(diǎn)云的目標(biāo)檢測(cè)準(zhǔn)確度方面遠(yuǎn)不如圖像目標(biāo)檢測(cè),研究還存在著諸多難點(diǎn)亟待解決。卷積神經(jīng)網(wǎng)絡(luò)對(duì)于輸入順序是敏感的,而點(diǎn)云數(shù)據(jù)具有置換不變性,即以任意順序輸入點(diǎn)云都能表示同一物體。目前,利用點(diǎn)云數(shù)據(jù)進(jìn)行深度學(xué)習(xí)主要有以下三種方法。多視角投影[4-5]是通過(guò)將點(diǎn)云轉(zhuǎn)換為在多個(gè)角度下投影的圖像,形成多張二維圖像,最后將其輸入到2D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征的提取。這種方法借助了成熟的圖像處理技術(shù)來(lái)解決難以直接輸入點(diǎn)云的問(wèn)題,但從三維點(diǎn)云到二維圖像這一轉(zhuǎn)換過(guò)程中,不可避免地會(huì)造成信息的丟失。另一種方法是在三維空間中劃分規(guī)則的立方體,將點(diǎn)云數(shù)據(jù)柵格化轉(zhuǎn)換為體素來(lái)解決點(diǎn)云無(wú)序性的問(wèn)題,并將2D卷積神經(jīng)網(wǎng)絡(luò)拓展到3D卷積神經(jīng)網(wǎng)絡(luò)。但三維卷積隨著空間復(fù)雜的增加和分辨率的提升計(jì)算量呈3次方的增長(zhǎng),這就需要對(duì)立方體的大小進(jìn)行謹(jǐn)慎地選擇。目前基于體素的方法[6-8]一般將立方體大小限制在30×30×30,相比圖像的高分辨率,三維空間中的分辨率成為限制模型學(xué)習(xí)能力的瓶頸。前兩種方法都是先將點(diǎn)云轉(zhuǎn)換為其他形式,在進(jìn)行目標(biāo)檢測(cè)中存在局限性,理想情況下是直接使用點(diǎn)云進(jìn)行輸入,保留信息的完整性,實(shí)現(xiàn)端到端的特征學(xué)習(xí)。斯坦福大學(xué)的QI提出了PointNet[9]模型有效地解決了這一問(wèn)題,利用對(duì)稱(chēng)函數(shù)(最大池化)進(jìn)行對(duì)稱(chēng)化操作處理點(diǎn)云,直接將點(diǎn)云輸入神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征的提取,有效地解決了前兩種方法信息丟失的缺點(diǎn)。避免了點(diǎn)云數(shù)據(jù)特點(diǎn)帶來(lái)的局限性[10]。

因此本研究將采用對(duì)稱(chēng)函數(shù)的方法,利用直接處理原始的點(diǎn)云數(shù)據(jù)的Frustum-Pointnets模型[11]進(jìn)行3D目標(biāo)檢測(cè),避免了轉(zhuǎn)換點(diǎn)云數(shù)據(jù)時(shí)的特征損失。并在該模型的基礎(chǔ)上進(jìn)行改進(jìn),提升了模型了性能,得到了很好的檢測(cè)效果。

2 構(gòu)建Frustum-Pointnets模型

本文采用Frustum-Pointnets模型,直接對(duì)原始點(diǎn)云進(jìn)行處理并實(shí)現(xiàn)3D目標(biāo)檢測(cè)。Frustum-Pointnets模型基本框架如圖1所示。

圖1 Frustum-Pointnets模型框架

其中,n為視錐提取出來(lái)的點(diǎn)云數(shù)；m為分割出的點(diǎn)云數(shù)；c為點(diǎn)云的通道數(shù)；k為點(diǎn)云被分為k個(gè)類(lèi)。模型共分為3個(gè)部分:三維視錐提取、3D實(shí)例分割、3D檢測(cè)框回歸。該模型結(jié)合了圖像和點(diǎn)云的優(yōu)點(diǎn),先通過(guò)圖像生成2D檢測(cè)框并將其擴(kuò)展到三維空間對(duì)目標(biāo)點(diǎn)云進(jìn)行檢索,然后對(duì)區(qū)域內(nèi)的點(diǎn)云利用Pointnet網(wǎng)絡(luò)進(jìn)行實(shí)例分割,最后估計(jì)目標(biāo)點(diǎn)云的3D檢測(cè)框。

2.1 三維視錐提取

由于大多數(shù)的三維傳感器的數(shù)據(jù)分辨率尤其是實(shí)時(shí)3D激光雷達(dá)采集的點(diǎn)云相比圖像的分辨率低很多,因此Frustum-Pointnets利用圖像進(jìn)行二維目標(biāo)區(qū)域的定位,然后擴(kuò)展到三維空間形成視錐,如圖2所示。

圖2 三維視錐提取示意圖

2D目標(biāo)檢測(cè)器是基于FPN模型[12],先在image-Net和COCO上預(yù)訓(xùn)練生成訓(xùn)練模型并根據(jù)KITTI數(shù)據(jù)集[13-14]進(jìn)行微調(diào),生成2D檢測(cè)框,然后結(jié)合標(biāo)定好的傳感器內(nèi)參和已知的相機(jī)投影矩陣,二維的檢測(cè)區(qū)域就可以變換到三維視錐(圖3),過(guò)濾三維視錐外的點(diǎn)云并對(duì)視錐內(nèi)的點(diǎn)云進(jìn)行提取,這樣就只需要在視錐中對(duì)點(diǎn)云進(jìn)行檢索,而不需要在整個(gè)場(chǎng)景中檢索,大大地減少了計(jì)算量。由于在實(shí)際中視錐的朝向是各異的,需要對(duì)視錐進(jìn)行旋轉(zhuǎn)歸一化處理,從相機(jī)坐標(biāo)系圖3(a)轉(zhuǎn)換到視錐坐標(biāo)系圖3(b),使視錐的中心軸(z軸)與圖像所在的平面正交化,歸一化處理有利于提升模型的旋轉(zhuǎn)不變性。

2.2 3D實(shí)例分割

由于在場(chǎng)景中有很多前景的遮擋和后景的干擾,直接對(duì)視錐中的點(diǎn)云進(jìn)行3D檢測(cè)框回歸是很困難的?？紤]到目標(biāo)在三維空間的自然狀態(tài)下是自然分離的,而在二維空間中并沒(méi)有目標(biāo)之間的深度信息,因此3D點(diǎn)云分割是比在圖像上更加容易和自然的。3D實(shí)例分割模塊使用了PointNet網(wǎng)絡(luò),對(duì)視錐中的點(diǎn)云進(jìn)行語(yǔ)義分割得到目標(biāo)點(diǎn)云(一個(gè)視錐只分割出一個(gè)對(duì)象),分割網(wǎng)絡(luò)結(jié)構(gòu)如圖4,其中mlp為多層感知器。在該模塊中還加入了一個(gè)預(yù)定義的語(yǔ)義類(lèi)別one-hot向量,利用圖像的檢測(cè)結(jié)果輔助網(wǎng)絡(luò)對(duì)目標(biāo)點(diǎn)云進(jìn)行分割。最后對(duì)目標(biāo)點(diǎn)云進(jìn)一步地平移歸一化操作,將視錐坐標(biāo)系圖3(c)轉(zhuǎn)換到掩模坐標(biāo)系圖3(d),坐標(biāo)系原點(diǎn)為點(diǎn)云掩模的質(zhì)心,提高模型的平移不變性。這樣目標(biāo)點(diǎn)云就都集中在坐標(biāo)原點(diǎn)附近,使得后續(xù)的處理進(jìn)一步地簡(jiǎn)化。

圖3 坐標(biāo)歸一化

圖4 3D實(shí)例分割結(jié)構(gòu)

2.3 3D檢測(cè)框回歸

由3D實(shí)例分割得到的目標(biāo)點(diǎn)云在掩模坐標(biāo)系下的質(zhì)心并不是物體真實(shí)的質(zhì)心,這是因?yàn)?D激光雷達(dá)在采集點(diǎn)云的過(guò)程中會(huì)被其他目標(biāo)物遮擋或一部分目標(biāo)點(diǎn)云在視錐之外,造成目標(biāo)點(diǎn)云并不完整,因此計(jì)算出的目標(biāo)點(diǎn)云質(zhì)心可能與目標(biāo)物體真實(shí)的質(zhì)心距離很遠(yuǎn)。模型采用一個(gè)輕量的變換網(wǎng)絡(luò)T-Net來(lái)估計(jì)完整目標(biāo)物體的質(zhì)心,預(yù)測(cè)目標(biāo)物體的質(zhì)心和掩模坐標(biāo)系原點(diǎn)之間的殘差。最后一步為3D檢測(cè)框的估計(jì),通過(guò)PointNet網(wǎng)絡(luò)如圖5所示,對(duì)3D檢測(cè)框的中心、尺寸、朝向進(jìn)行估計(jì)。對(duì)于檢測(cè)框的中心采用殘差的方法來(lái)進(jìn)行估計(jì),由3D檢測(cè)框估計(jì)網(wǎng)絡(luò)(PointNet)估計(jì)的中心殘差與T-Net先前估計(jì)的中心殘差和點(diǎn)云掩模的中心進(jìn)行組合,以恢復(fù)目標(biāo)物體真正的中心,再將點(diǎn)云從掩模坐標(biāo)系轉(zhuǎn)換到預(yù)測(cè)的以目標(biāo)物體真實(shí)質(zhì)心為原點(diǎn)的坐標(biāo)系。如公式(1)所示,Cpred為最終預(yù)測(cè)的檢測(cè)框中心殘差,Cmask為點(diǎn)云掩模的中心殘差；ΔCT-Net為T(mén)-Net估計(jì)的中心殘差；ΔCBox-net為PointNet估計(jì)的中心殘差。最終由全連接層(FCs)輸出3D檢測(cè)框的質(zhì)心坐標(biāo)(cx，cy，cz)、長(zhǎng)寬高(h，w，l)、航向角(θ)共7個(gè)參數(shù)。

Cpred=Cmask+ΔCT-Net+ΔCBox-net

(1)

圖5 3D檢測(cè)框評(píng)估PointNet網(wǎng)絡(luò)結(jié)構(gòu)

3 Frustum-Pointnets模型改進(jìn)

3.1 激活函數(shù)

激活函數(shù)是深度學(xué)習(xí)中的核心單元,主要目的是對(duì)神經(jīng)元的輸入映射到輸出,通過(guò)引入一個(gè)非線(xiàn)性的函數(shù),使得神經(jīng)網(wǎng)絡(luò)在傳遞過(guò)程中每一層的輸入端和輸出端不再是簡(jiǎn)單的線(xiàn)性函數(shù),而是可以逼近任意的非線(xiàn)性函數(shù),讓神經(jīng)網(wǎng)絡(luò)擁有強(qiáng)大的表達(dá)能力。選用合適的激活函數(shù)可以提高模型的性能和收斂速度,常見(jiàn)的激活函數(shù)有sigmoid、tanh、ReLU函數(shù),但sigmoid和tanh函數(shù)在輸入值非常大或非常小時(shí)函數(shù)的輸出值的變化很小,在反向傳播中會(huì)導(dǎo)致梯度逐漸變小甚至消失,最終導(dǎo)致權(quán)重得不到更新。在本實(shí)驗(yàn)中選用了ReLU[15]和Swish函數(shù)[16]。

ReLU函數(shù)的表達(dá)式非常簡(jiǎn)單,如圖6(a)當(dāng)x>0時(shí),輸入值等于輸出值,當(dāng)x<0時(shí),輸出值等于0。ReLU函數(shù)的表達(dá)式為:

(2)

其中,f(x)為輸出值;x為輸入值。

ReLU函數(shù)的優(yōu)點(diǎn)在于解決了sigmoid、tanh函數(shù)梯度消失的問(wèn)題,計(jì)算量小收斂速度快,只需要一個(gè)閾值(是否大于0)就可以得到激活值,但是在輸入值小于0時(shí)直接簡(jiǎn)單地置0,導(dǎo)致該神經(jīng)元不再被激活,參數(shù)永遠(yuǎn)得不到更新,最終造成大量有效特征被屏蔽。

Swish函數(shù)是由谷歌大腦團(tuán)隊(duì)提出的。如圖6(b)Swish函數(shù)與ReLU函數(shù)一樣無(wú)上界而有下界,但Swish函數(shù)是平滑且非單調(diào)的函數(shù)。函數(shù)表達(dá)式為:

(3)

其中,f(x)為輸出值;x為輸入值;β是一個(gè)常數(shù)或者是可訓(xùn)練的參數(shù),當(dāng)β=0時(shí)Swish為線(xiàn)性函數(shù),當(dāng)β→∞時(shí)Swish函數(shù)變?yōu)镽eLU函數(shù),因此Swish函數(shù)是介于線(xiàn)性函數(shù)與ReLU函數(shù)之間的平滑函數(shù)。雖然收斂速度相比ReLU函數(shù)慢,但Swish的平滑和非單調(diào)性是它的優(yōu)點(diǎn),在輸入為負(fù)值時(shí)仍能輸出有效值,避免了神經(jīng)元壞死梯度參數(shù)無(wú)法更新的情況的出現(xiàn),而且由于是非單調(diào)函數(shù),因此即使輸入值增大輸出值也可以減小,更加適合深層次的神經(jīng)網(wǎng)絡(luò)。

3.2 參數(shù)初始化

參數(shù)初始化是深度學(xué)習(xí)中一個(gè)很重要的方面,合適的參數(shù)初始化方法能讓神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的過(guò)程學(xué)習(xí)到更多有用的信息,這意味著參數(shù)梯度不應(yīng)該為0。在全連接的神經(jīng)網(wǎng)絡(luò)中,參數(shù)梯度與反向傳播得到的狀態(tài)梯度和激活值有關(guān),激活值飽和會(huì)導(dǎo)致該層狀態(tài)梯度信息為0,然后導(dǎo)致下面所有層的參數(shù)梯度為0,因此參數(shù)初始化函數(shù)應(yīng)該使得各層激活值不會(huì)出現(xiàn)飽和現(xiàn)象且激活值不為0。選用合適的參數(shù)初始化函數(shù)不但能夠避免梯度消失的現(xiàn)象,同時(shí)也能加快收斂速度提高網(wǎng)絡(luò)的訓(xùn)練效率。傳統(tǒng)的參數(shù)初始化方法從高斯分布中隨機(jī)初始化參數(shù),甚至直接全初始化為1或者0,這樣的方法雖然簡(jiǎn)單計(jì)算量小,但效果往往很差。為了提高模型的性能,本試驗(yàn)選用了Xavier初始化[17]和He初始化方法[18]。

Xavier初始化的基本原理是若對(duì)于一層網(wǎng)絡(luò)的輸入和輸出可以保持均勻分布而且方差一致,就能夠避免輸出值都為0的情況,從而避免梯度消失,使得信號(hào)在神經(jīng)網(wǎng)絡(luò)中可以傳遞得更深,在經(jīng)過(guò)多層神經(jīng)網(wǎng)絡(luò)元后輸出值保持在一個(gè)合理的范圍。根據(jù)輸入和輸出神經(jīng)元的數(shù)量自動(dòng)決定初始化的范圍,初始化范圍如公式(4),n為所在層的輸入維度,m為輸出維度。

(4)

He初始化考慮到了ReLU函數(shù)的影響,基本原理是對(duì)于ReLU激活函數(shù),當(dāng)輸入小于0時(shí)其輸出為0,會(huì)導(dǎo)致該神經(jīng)元關(guān)閉,影響其輸出值的分布模式。因此在Xavier初始化的基礎(chǔ)上,假設(shè)有一半的輸出為0,就需要對(duì)權(quán)重的方差進(jìn)行加倍補(bǔ)償,使得參數(shù)的方差保持平穩(wěn)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)平臺(tái)為AMD銳龍R5 3600、NVIDIARTX 2060 Super、16 GB內(nèi)存,在Ubuntu 18.04和Python 2.7下搭建CUDA 10.0、CUDNN 7.6.4、TensorFlow 1.15深度學(xué)習(xí)環(huán)境。實(shí)驗(yàn)采用自動(dòng)駕駛場(chǎng)景KITTI數(shù)據(jù)集,KITTI數(shù)據(jù)集是目前公開(kāi)的規(guī)模最大的交通場(chǎng)景數(shù)據(jù)集,包含市區(qū)、鄉(xiāng)村和高速公路場(chǎng)景的真實(shí)圖像和點(diǎn)云數(shù)據(jù),每個(gè)場(chǎng)景中最多達(dá)15輛汽車(chē)和30個(gè)行人,根據(jù)不同程度的遮擋和截?cái)?劃分為簡(jiǎn)單、中等、困難三個(gè)等級(jí)。該數(shù)據(jù)集共有7481個(gè)場(chǎng)景對(duì)應(yīng)7481張圖像和相應(yīng)點(diǎn)云數(shù)據(jù),將KITTI數(shù)據(jù)集劃分為3712份訓(xùn)練集和3769份驗(yàn)證集。

4.2 3D目標(biāo)檢測(cè)精度對(duì)比

采用不同的激活函數(shù)和參數(shù)初始化方法進(jìn)行組合對(duì)比,模型優(yōu)化器選擇Adam,初始學(xué)習(xí)率設(shè)置為0.001,初始衰減率為0.5,衰減速度為800000,即每迭代800000次學(xué)習(xí)率減半,batch_size設(shè)置為32,num_point為1024,max_epoch為200,即每次迭代處理32份點(diǎn)云數(shù)據(jù)且每一個(gè)樣本只從視錐里抽取1024個(gè)點(diǎn)用于訓(xùn)練,并對(duì)所有訓(xùn)練樣本迭代200次。目標(biāo)檢測(cè)精度實(shí)驗(yàn)結(jié)果如表1所示。由表1可知:ReLU和Xavier組合對(duì)汽車(chē)的檢測(cè)在簡(jiǎn)單與困難下準(zhǔn)確率最高；使用Swish和Xavier組合時(shí)對(duì)行人的檢測(cè)準(zhǔn)確率最高；而使用Swish和He方法組合時(shí)對(duì)騎車(chē)人的檢測(cè)準(zhǔn)確率最高。雖然使用Swish激活函數(shù)和He初始化方法在汽車(chē)與行人的檢測(cè)準(zhǔn)確率比其他組合低,但是差距很小,而且在對(duì)騎車(chē)人的檢測(cè)中,這種方法組合的準(zhǔn)確率遠(yuǎn)高于其他的方法組合,因此綜合考慮,選用Swish作為激活函數(shù)、He作為模型的初始化方法最為合適,在目標(biāo)檢測(cè)中可以達(dá)到較好的效果。

表1 不同激活函數(shù)和初始化方法組合目標(biāo)檢測(cè)精度對(duì)比

將改進(jìn)過(guò)的模型與近年來(lái)主流的3D目標(biāo)檢測(cè)模型進(jìn)行對(duì)比,不同模型的目標(biāo)檢測(cè)結(jié)果如表2所示,其中AVOD[19]和MV3D[20]是基于多視角投影的方法；VoxelNet[21]是基于體素的方法。從表2可以看出:改進(jìn)后的Frustum-Pointnets模型只有汽車(chē)(困難)的檢測(cè)準(zhǔn)確率比VoxelNet略低,對(duì)行人和騎車(chē)人的檢測(cè)準(zhǔn)確率均高于其他模型；與原始的Frustum-Pointnets模型相比,目標(biāo)檢測(cè)準(zhǔn)確率均得到了提升,特別是對(duì)騎車(chē)人的檢測(cè)準(zhǔn)確率提升更為明顯,兩者的差距最多達(dá)到了9.45 %。

表2 不同模型目標(biāo)檢測(cè)精度對(duì)比

4.3 3D目標(biāo)檢測(cè)可視化與分析

對(duì)Frustum-Pointnets模型輸出得到的7個(gè)參數(shù)進(jìn)行三維空間的可視化。在圖像中的真值框和在點(diǎn)云中預(yù)測(cè)的3D檢測(cè)框如圖7所示,圖7(a)為圖像的2D真值檢測(cè)框可視化,圖7(b)為圖像的3D真值檢測(cè)框可視化,圖7(c)為點(diǎn)云的預(yù)測(cè)結(jié)果可視化。從圖中可以看出:場(chǎng)景中的目標(biāo)基本都能被準(zhǔn)確的識(shí)別,即使左下角和右下角的汽車(chē)只能看到一小部分,在點(diǎn)云中仍舊能精確地檢測(cè)出目標(biāo)物體的邊界和航向。而最遠(yuǎn)處的汽車(chē)由于距離太遠(yuǎn)目標(biāo)點(diǎn)云過(guò)于稀疏,目標(biāo)的位置和朝向被錯(cuò)誤的估計(jì),檢測(cè)結(jié)果與真實(shí)值存在較大誤差。

5 結(jié) 語(yǔ)

針對(duì)目前利用點(diǎn)云進(jìn)行3D目標(biāo)檢測(cè)的準(zhǔn)確率較低的情況,本文利用Frustum-Pointnets模型實(shí)現(xiàn)對(duì)點(diǎn)云的3D目標(biāo)檢測(cè),并在該模型的基礎(chǔ)上進(jìn)行改進(jìn),選擇合適的激活函數(shù)和參數(shù)初始化方法組合,提高了目標(biāo)檢測(cè)的精度,與原始的Frustum-Pointnets模型相比,在對(duì)騎車(chē)人的檢測(cè)中準(zhǔn)確率分別提高了9.45 %、3.77 %和3.28 %,對(duì)模型的泛化性有了進(jìn)一步的提高。然而由于Frustum-Pointnets模型采用圖像和點(diǎn)云串行處理結(jié)構(gòu),而不是圖像和點(diǎn)云一起的并行處理,導(dǎo)致3D目標(biāo)檢測(cè)的精度依賴(lài)于圖像的檢測(cè)結(jié)果,在光線(xiàn)條件差和遮擋嚴(yán)重等情況下,2D檢測(cè)器難以準(zhǔn)確定位目標(biāo)導(dǎo)致影響到3D目標(biāo)檢測(cè)的準(zhǔn)確度。在目標(biāo)物體離傳感器太遠(yuǎn)的情況下,由于獲取到的點(diǎn)云過(guò)于稀疏,模型無(wú)法準(zhǔn)確估計(jì)目標(biāo)的準(zhǔn)確位置,出現(xiàn)漏判和錯(cuò)判的情況。接下來(lái)將對(duì)模型進(jìn)一步研究,改善這些問(wèn)題。