一種車載LiDAR點(diǎn)云道路提取深度神經(jīng)網(wǎng)絡(luò)模型

劉 晉, 楊容浩, 文 文, 譚駿祥, 蘭青龍, 高 祥, 湯 洪

(1. 成都理工大學(xué)地球科學(xué)學(xué)院測(cè)繪工程系, 四川 成都 610059; 2. 廣州南方測(cè)繪科技股份有限公司成都分公司, 四川 成都 610031)

車載激光掃描(mobile laser scanning,MLS)作為一種先進(jìn)的測(cè)量工具,能夠快速采集大面積的道路場(chǎng)景點(diǎn)云數(shù)據(jù),具有快速、實(shí)時(shí)、動(dòng)態(tài)及高精度等優(yōu)勢(shì)[1],是高效采集精確道路三維幾何信息的重要手段,但如何快速?gòu)膹?fù)雜的三維場(chǎng)景點(diǎn)云中精確提取道路點(diǎn)云仍是一個(gè)難點(diǎn)[2]。

采用偏度平衡[3]、布料濾波(cloth simulation filter, CSF)[4]、基于掃描線[5]、移動(dòng)動(dòng)態(tài)窗口分類[6]等傳統(tǒng)算法,能從MLS點(diǎn)云較完整地提取道路點(diǎn)云;但主要針對(duì)結(jié)構(gòu)化道路場(chǎng)景,且依賴人工設(shè)置特征或閾值,普適性較差。在處理復(fù)雜的非結(jié)構(gòu)化道路場(chǎng)景時(shí),傳統(tǒng)方法表現(xiàn)不佳,難以完整地提取道路點(diǎn)云[7]。

深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法,能夠?qū)崿F(xiàn)“端到端”的特征提取和模型訓(xùn)練,在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等領(lǐng)域表現(xiàn)出明顯優(yōu)于傳統(tǒng)方法的性能。在點(diǎn)云分類和道路點(diǎn)云提取方面,也出現(xiàn)了一些效果良好的深度學(xué)習(xí)框架。文獻(xiàn)[8-9]將三維點(diǎn)云投影到二維平面,利用二維卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)實(shí)現(xiàn)道路點(diǎn)云的分割提取,但難以應(yīng)用于大場(chǎng)景,且會(huì)損失道路邊緣信息,精度較差。文獻(xiàn)[10-11]將點(diǎn)云轉(zhuǎn)化為體素,采用3D CNN進(jìn)行特征學(xué)習(xí),實(shí)現(xiàn)點(diǎn)云的語(yǔ)義分割,能夠提取完整的道路點(diǎn)云,但需要設(shè)置很高的分辨率,內(nèi)存消耗大。文獻(xiàn)[12-13]采用PointNet網(wǎng)絡(luò),直接以三維點(diǎn)云作為輸入,利用KNN算法增強(qiáng)點(diǎn)與點(diǎn)之間的互相關(guān)聯(lián)實(shí)現(xiàn)點(diǎn)云自動(dòng)分類,能充分保留點(diǎn)云原始信息,且計(jì)算量較小,能應(yīng)用于大型道路場(chǎng)景中,但只關(guān)注點(diǎn)云全局特征,缺乏對(duì)局部特征的提取,道路提取精度較低。文獻(xiàn)[14]提出的PointNet++網(wǎng)絡(luò),以及在此基礎(chǔ)上改進(jìn)的位置自適應(yīng)卷積(position adaptive convolution, PAConv)網(wǎng)絡(luò)[15]均采用編-解碼結(jié)構(gòu),通過(guò)逐層下采樣捕捉局部幾何細(xì)節(jié)信息,對(duì)于道路點(diǎn)云提取精度有所提高,但在道路邊緣存在過(guò)分割和欠分割的現(xiàn)象。

針對(duì)以上問(wèn)題,本文提出一種鄰域增強(qiáng)編碼E-PointNet++網(wǎng)絡(luò)模型,以PointNet++為基礎(chǔ)網(wǎng)絡(luò),通過(guò)在特征提取前引入一個(gè)鄰域增強(qiáng)編碼模塊,在模塊中建立局部鄰域內(nèi)點(diǎn)與點(diǎn)之間的聯(lián)系,以提高網(wǎng)絡(luò)的道路邊緣分割能力。

1 E-PointNet++網(wǎng)絡(luò)結(jié)構(gòu)

1.1 E-PointNet++基本架構(gòu)

E-PointNet++采用與PointNet++相同的4層架構(gòu)(如圖1所示),即包括數(shù)據(jù)預(yù)處理(DG)層、編碼(Encoder)層、解碼(Decoder)層和全連接(FC)層。其中,DG層將原始點(diǎn)云劃分為一組重疊的局部鄰域并將其作為輸入;Encoder層由4個(gè)下采樣層(DS)組成,能將輸入數(shù)據(jù)轉(zhuǎn)換成4個(gè)包含不同尺度特征信息的特征向量。DS層包含采樣和分組(SG)、鄰域增強(qiáng)編碼(DE)和特征提取(PT)3個(gè)模塊。DS層首先利用SG模塊對(duì)點(diǎn)云進(jìn)行下采樣,得到鄰域中心點(diǎn),并查找在中心點(diǎn)固定半徑內(nèi)的鄰域點(diǎn);然后通過(guò)DE模塊重編碼鄰域點(diǎn)坐標(biāo),得到包含鄰域中心點(diǎn)與鄰域點(diǎn)及鄰域點(diǎn)間關(guān)系的輸出特征;最后經(jīng)PT模塊輸出提取的特征。Decoder層由4個(gè)上采樣層(US)組成。每個(gè)US層包含插值模塊(IP)和特征提取模塊(PT′)。PT′層和PT層結(jié)構(gòu)相似,它在上采樣中將特征進(jìn)行降維操作。如在US4層中,它以PT4模塊(即DS4層)的輸出作為輸入,經(jīng)IP4進(jìn)行插值后,通過(guò)殘差連接與PT3輸出的點(diǎn)特征進(jìn)行cancat連接,再經(jīng)PT′4層進(jìn)行特征降維后,將其作為US3的輸入。

圖1 E-PointNet++網(wǎng)絡(luò)結(jié)構(gòu)

重復(fù)上述操作4次后,得到Decoder層的最終輸出,再經(jīng)FC層分類后得到道路的最終分割結(jié)果。

1.2 DE-鄰域增強(qiáng)編碼模塊

DE模塊位于Encoder層中每個(gè)SG模塊后,PT模塊前(如圖1所示),其主要功能是對(duì)每個(gè)鄰域點(diǎn)添加鄰域中心點(diǎn)的坐標(biāo),以及該點(diǎn)對(duì)鄰域中心點(diǎn)的相對(duì)坐標(biāo)、到鄰域中心點(diǎn)的歐式距離和強(qiáng)度信息。

原始的PointNet++網(wǎng)絡(luò)的PT模塊在局部鄰域內(nèi)的單點(diǎn)特征提取操作公式為

(1)

E-PointNet++網(wǎng)絡(luò)在增加DE模塊后,PT模塊中特征提取操作公式為

(2)

與PointNet++相比,DE模塊增強(qiáng)了鄰域點(diǎn)間特征表達(dá),使網(wǎng)絡(luò)能夠更好地提取點(diǎn)云的空間幾何、結(jié)構(gòu)、和語(yǔ)義信息。

2 試驗(yàn)與分析

為了驗(yàn)證E-PointNet++相對(duì)于現(xiàn)有道路點(diǎn)云分割方法的優(yōu)越性,并討論該方法在不同場(chǎng)景下的適用情況和性能,分別采用自建的廣臺(tái)高速點(diǎn)云數(shù)據(jù)集(Guangtai-Expressway-3D)和公開(kāi)數(shù)據(jù)集Paris-CARLA-3D進(jìn)行試驗(yàn)與分析。

2.1 數(shù)據(jù)集介紹

2.1.1 Guangtai-Expressway-3D數(shù)據(jù)集

該數(shù)據(jù)集原始點(diǎn)云數(shù)據(jù)由車載移動(dòng)測(cè)量系統(tǒng)采集于廣臺(tái)高速某路段,共計(jì)3.32億點(diǎn),含空間坐標(biāo)和強(qiáng)度信息。

由于原始點(diǎn)云不僅數(shù)量龐大,且存在大量的噪聲和離群點(diǎn)(如圖2(a)所示),為了獲取較完整、干凈且滿足網(wǎng)絡(luò)訓(xùn)練需要的高速公路場(chǎng)景點(diǎn)云數(shù)據(jù),首先對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行分段和去噪預(yù)處理。分段預(yù)處理沿道路方向進(jìn)行,將原始道路點(diǎn)云數(shù)據(jù)分成332段,每段平均100萬(wàn)點(diǎn)。點(diǎn)云去噪采用統(tǒng)計(jì)濾波方法[16],去噪后得到較完整、干凈的高速公路場(chǎng)景點(diǎn)云數(shù)據(jù)(如圖2(b)所示)。

圖2 點(diǎn)云預(yù)處理前后效果對(duì)比

對(duì)預(yù)處理后的點(diǎn)云數(shù)據(jù)使用Cloud Compare軟件進(jìn)行逐點(diǎn)標(biāo)注,得到包含高速公路和少量城市快速道路場(chǎng)景的樣本數(shù)據(jù);并按照6∶2∶2分成196個(gè)訓(xùn)練集、71個(gè)驗(yàn)證集和65個(gè)測(cè)試集。

2.1.2 Paris-CARLA-3D數(shù)據(jù)集

Paris-CARLA-3D數(shù)據(jù)集是由移動(dòng)激光雷達(dá)和攝像機(jī)系統(tǒng)構(gòu)建的面向室外環(huán)境的若干密集彩色點(diǎn)云數(shù)據(jù)集,主要由兩組數(shù)據(jù)組成:在巴黎市采集的真實(shí)數(shù)據(jù)和CARLA模擬器的合成數(shù)據(jù),共7.6億點(diǎn)[17]。Paris-CARLA-3D數(shù)據(jù)集共包含13個(gè)場(chǎng)景,其中,真實(shí)采集數(shù)據(jù)包含了巴黎市中心的3條街道,直線距離為550 m,主要分為盧森堡花園附近的兩個(gè)場(chǎng)景和道路兩側(cè)有建筑的4個(gè)密集城市場(chǎng)景點(diǎn)云,共6個(gè)場(chǎng)景,每個(gè)場(chǎng)景約1000萬(wàn)點(diǎn)。合成數(shù)據(jù)中CARLA的直線距離大約為5.8 km,主要分為4個(gè)城市道路場(chǎng)景和3個(gè)農(nóng)村道路場(chǎng)景,共7個(gè)場(chǎng)景,每個(gè)場(chǎng)景約1億點(diǎn)。Paris-CARLA-3D數(shù)據(jù)集將這13個(gè)場(chǎng)景分為6個(gè)訓(xùn)練場(chǎng)景、3個(gè)驗(yàn)證場(chǎng)景和4個(gè)測(cè)試場(chǎng)景。

2.2 試驗(yàn)環(huán)境及網(wǎng)絡(luò)參數(shù)

試驗(yàn)操作系統(tǒng)為Ubuntu 18.04,環(huán)境采用的GPU為NVIDIA GeForce RTX 2080Ti,內(nèi)存為12 GB,利用pytorch框架搭建網(wǎng)絡(luò)。

試驗(yàn)中所有深度學(xué)習(xí)算法的訓(xùn)練采用一致的參數(shù):學(xué)習(xí)率為0.001,每訓(xùn)練10輪按比率0.7下降一次;每批次輸入大小為32,訓(xùn)練迭代次數(shù)為100;優(yōu)化器使用Adam,相比于SGD優(yōu)化器,Adam能使模型更快收斂至性能最優(yōu);輸入場(chǎng)景塊尺寸設(shè)置為5 m;輸入場(chǎng)景包含的點(diǎn)數(shù)為4096(該超參數(shù)為每個(gè)場(chǎng)景下劃分的局部空間輸入點(diǎn)云數(shù));損失函數(shù)使用有權(quán)重的NLL＿loss損失函數(shù),與交叉熵?fù)p失函數(shù)相比,該損失函數(shù)能有效減小樣本不平衡對(duì)模型訓(xùn)練的影響。

對(duì)比試驗(yàn)中,傳統(tǒng)算法的各項(xiàng)參數(shù)通過(guò)反復(fù)試驗(yàn)調(diào)整至效果最佳。

2.3 評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)道路場(chǎng)景中路面點(diǎn)云提取精度,借鑒文獻(xiàn)[18]的評(píng)價(jià)方式,將準(zhǔn)確性(p)、完整性(r)、檢測(cè)質(zhì)量(q)作為評(píng)價(jià)指標(biāo),公式為

(3)

(4)

(5)

式中,TP表示正確提取的路面點(diǎn)數(shù)量;FP表示錯(cuò)誤提取為路面點(diǎn)的點(diǎn)數(shù)量;FN表示錯(cuò)誤提取為非路面點(diǎn)的點(diǎn)數(shù)量。

2.4 試驗(yàn)結(jié)果與分析

基于道路場(chǎng)景的特點(diǎn),考慮本文是以解決道路邊緣的過(guò)分割和欠分割問(wèn)題,提高算法道路邊緣分割能力為目標(biāo),因此,針對(duì)上述兩套數(shù)據(jù)集,分別選擇3種典型道路場(chǎng)景,即結(jié)構(gòu)化道路場(chǎng)景(兩側(cè)有路緣石)、半結(jié)構(gòu)化道路場(chǎng)景(一側(cè)有路緣石)和非結(jié)構(gòu)化道路場(chǎng)景(兩側(cè)都沒(méi)有路緣石)進(jìn)行測(cè)試,并與CSF[4]、基于多區(qū)域RANSAC的地面點(diǎn)云提取算法(MR-RANSAC)[19]、PointNet++[14]和PAConv[15]進(jìn)行提取結(jié)果對(duì)比。

2.4.1 Guangtai-Expressway-3D試驗(yàn)結(jié)果與分析

3種道路場(chǎng)景下的原始點(diǎn)云、標(biāo)簽和5種算法的道路分割結(jié)果如圖3-圖5所示。

圖3 結(jié)構(gòu)化道路場(chǎng)景道路提取結(jié)果對(duì)比

由圖3可以看出,對(duì)于結(jié)構(gòu)化道路場(chǎng)景點(diǎn)云,布料濾波算法和MR-RANSAC算法提取的結(jié)果存在點(diǎn)云欠分割;而PointNet++、PAConv和E-PointNet++均能完整提取道路邊界。

由圖4和圖5可以看出,對(duì)于半結(jié)構(gòu)化和非結(jié)構(gòu)化的道路場(chǎng)景,在道路一側(cè)無(wú)路緣石或兩側(cè)都無(wú)路緣石時(shí),CSF和MR-RANSAC會(huì)將道路邊緣的植被誤提取為道路,且道路中也存在大量的欠分割點(diǎn)云;PointNet++和PAConv都存在明顯欠分割和過(guò)分割現(xiàn)象。E-PointNet++提取結(jié)果與標(biāo)簽更為接近,表明其能準(zhǔn)確地提取結(jié)構(gòu)化和非結(jié)構(gòu)化道路場(chǎng)景中的道路點(diǎn)云,算法具有更強(qiáng)的穩(wěn)健性。

圖4 半結(jié)構(gòu)化道路場(chǎng)景道路提取結(jié)果對(duì)比

圖5 非結(jié)構(gòu)化道路場(chǎng)景道路提取結(jié)果對(duì)比

對(duì)3種道路場(chǎng)景中4種算法的道路點(diǎn)云提取結(jié)果定量評(píng)價(jià)指標(biāo)統(tǒng)計(jì)見(jiàn)表1。

表1 Guangtai-Expressway-3D數(shù)據(jù)集道路提取定量評(píng)價(jià)結(jié)果 (%)

由表1可以看出,總體上,E-PointNet++提取道路的準(zhǔn)確性(p)、完整性(r)、檢測(cè)質(zhì)量(q)均高于CSF、MR-RANSAC、PointNet++和PAConv算法。相對(duì)于結(jié)構(gòu)化道路場(chǎng)景,其他4種算法在半結(jié)構(gòu)化和非結(jié)構(gòu)化道路場(chǎng)景時(shí)各項(xiàng)指標(biāo)均下降明顯,但E-PointNet++能保持穩(wěn)定,表明其對(duì)道路邊緣的提取受道路邊緣類型的影響較小,具有更好的穩(wěn)健性。

2.4.2 Paris-CARLA-3D試驗(yàn)結(jié)果與分析

為進(jìn)一步驗(yàn)證E-PointNet++在復(fù)雜道路場(chǎng)景下的有效性和泛化能力,在Paris-CARLA-3D公開(kāi)數(shù)據(jù)集上進(jìn)行試驗(yàn)分析,選取結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化3種道路場(chǎng)景,道路提取結(jié)果如圖6-圖8所示,定量評(píng)價(jià)結(jié)果見(jiàn)表2。

表2 道路提取定量評(píng)價(jià)結(jié)果 (%)

圖6 結(jié)構(gòu)化道路場(chǎng)景道路提取結(jié)果對(duì)比

由圖6-圖8可以看出,對(duì)于3種類型的道路場(chǎng)景點(diǎn)云,CSF算法提取結(jié)果普遍存在道路邊緣點(diǎn)云的過(guò)分割;MR-RANSAC對(duì)于合成數(shù)據(jù)(如(圖6(d)所示),由于該結(jié)構(gòu)化道路場(chǎng)景中道路點(diǎn)云的z坐標(biāo)均為0,因此提取效果非常理想;但對(duì)于半結(jié)構(gòu)化(如圖7(d)所示)和非結(jié)構(gòu)化(如圖8(d)所示)場(chǎng)景的自然采集數(shù)據(jù),在道路中和道路邊緣都存在較大面積的欠分割現(xiàn)象。PointNet++和PAConv對(duì)3種道路場(chǎng)景都存在道路邊緣欠分割現(xiàn)象。E-PointNet++在3種道路場(chǎng)景的道路提取效果沒(méi)有表現(xiàn)出明顯的差異性,算法具有更強(qiáng)的穩(wěn)健性,且整體上優(yōu)于其他3種算法。

圖7 半結(jié)構(gòu)化道路場(chǎng)景道路提取結(jié)果對(duì)比

圖8 非結(jié)構(gòu)化道路場(chǎng)景道路提取結(jié)果對(duì)比

由表2可以看出,總體上,E-PointNet++提取道路的p、r和q均高于CSF、MR-RANSAC、PointNet++和PAConv算法。在該數(shù)據(jù)集中,對(duì)于結(jié)構(gòu)化道路場(chǎng)景,除CSF外,另外4個(gè)算法都能取得較好的性能,p和r指標(biāo)都在96%以上,而q也在95%以上。對(duì)于半結(jié)構(gòu)化和非結(jié)構(gòu)化道路場(chǎng)景,CSF、MR-RANSAC和PointNet++相對(duì)于結(jié)構(gòu)化場(chǎng)景的3項(xiàng)指標(biāo)都有所下降;而PAConv在結(jié)構(gòu)化道路的邊緣存在大量的過(guò)分割,因此它的完整性(r)、檢測(cè)質(zhì)量(q)有所下降,準(zhǔn)確性(p)反而有所上升;E-PointNet++3項(xiàng)指標(biāo)變化不大,仍在97%以上。由此說(shuō)明,E-PointNet++算法道路邊緣提取受道路邊緣類型的影響較小,具有更好的穩(wěn)健性。

試驗(yàn)結(jié)果表明:①E-PointNet++網(wǎng)絡(luò)可用于高速公路場(chǎng)景和城市場(chǎng)景道路提取,能對(duì)道路點(diǎn)云進(jìn)行高精度提取,且受車輛、植被和道路類型的影響較小。②與傳統(tǒng)方法相比,本文方法無(wú)需人為進(jìn)行閾值設(shè)置和特征選擇,過(guò)程更為簡(jiǎn)單;與PointNet++網(wǎng)絡(luò)模型相比,對(duì)于道路邊緣提取能力更強(qiáng),對(duì)道路中的點(diǎn)提取完整性更好,具有更強(qiáng)的穩(wěn)健性。

3 結(jié) 語(yǔ)

本文基于PointNet++基礎(chǔ)網(wǎng)絡(luò)模型,對(duì)其局部區(qū)域特征提取和網(wǎng)絡(luò)結(jié)構(gòu)等方面進(jìn)行改進(jìn),重新設(shè)計(jì)了一種包含鄰域點(diǎn)間信息的鄰域增強(qiáng)編碼模塊,并采用自建數(shù)據(jù)集和公開(kāi)數(shù)據(jù)集進(jìn)行了試驗(yàn)驗(yàn)證。試驗(yàn)證明,與傳統(tǒng)的道路點(diǎn)云提取方法及PointNet++和PAConv網(wǎng)絡(luò)相比,本文網(wǎng)絡(luò)模型具有更強(qiáng)的穩(wěn)健性,對(duì)道路邊緣欠分割和過(guò)分割的問(wèn)題進(jìn)行了改善,對(duì)道路邊緣提取效果更好,對(duì)于道路的提取更完整和準(zhǔn)確,對(duì)道路點(diǎn)云的提取精度更高。此外,利用訓(xùn)練好的網(wǎng)絡(luò)模型能夠在相似的高速公路和城市道路場(chǎng)景中直接提取高精度的道路點(diǎn)云,可為智慧交通和自動(dòng)駕駛等應(yīng)用提供高精度的實(shí)用數(shù)據(jù)。在后續(xù)研究中,將會(huì)進(jìn)一步研究如何將本文提出的鄰域增強(qiáng)編碼模塊與其他網(wǎng)絡(luò)進(jìn)行集成,嘗試用于其他類型地物點(diǎn)云的提取。