適用于城市場景大規(guī)模點云語義標識的深度學(xué)習(xí)網(wǎng)絡(luò)

楊必勝，韓 旭，董 震

武漢大學(xué)測繪遙感信息工程國家重點實驗室，武漢 430079

智慧城市建設(shè)、城市精細化管理、自然資源立體監(jiān)測等國家重大戰(zhàn)略對城市立體空間內(nèi)人事物發(fā)生發(fā)展的全過程精細刻畫、仿真建模、模擬預(yù)測等需求強烈，尤其對全域、全要素、實時、高質(zhì)量的三維地理信息需求尤其迫切。長期以來，以地圖和影像為代表的二維空間數(shù)據(jù)表達已經(jīng)遠遠不能滿足多種應(yīng)用需求[1]，迫切需要從以4D測繪產(chǎn)品(數(shù)字正射影像DOM、數(shù)字高程模型DEM、數(shù)字線劃地圖DLG、數(shù)字柵格地圖DRG)為基礎(chǔ)的信息化測繪走向智能化測繪，從而滿足智慧社會、智慧城市等對高質(zhì)量、精細化三維地理信息的緊迫需求。近年來，智能小衛(wèi)星、低空無人機、地面移動三維掃描測量等對地對觀測技術(shù)的創(chuàng)新發(fā)展快速提升了全空間、全時域的感知能力[2]，尤其是以點云為代表的三維數(shù)據(jù)獲取能力，有力促進了三維地理信息快速提取的進步[3]。不同于自然地表空間要素，城市立體空間要素具有高度的復(fù)雜性、動態(tài)性、交錯性和多態(tài)性，對三維精準提取城市立體空間地理信息要素提出了巨大挑戰(zhàn)。點云作為矢量地圖和影像數(shù)據(jù)后的一類獨特的時空數(shù)據(jù)，已成為物理空間實體對象三維數(shù)字化結(jié)果的重要表達方式[4]。如何利用人工智能手段，高度提升點云的解譯能力，實現(xiàn)城市地物目標的語義標識與三維精準提取成為亟待攻克的難題。

盡管目前一些研究者提出了諸多基于模型擬合或特征聚類的方法[5-6]，但是這些方法僅限于較為簡單的實體目標，且對于具有弱泛化性的目標結(jié)構(gòu)需要較多的先驗知識。深度學(xué)習(xí)在處理具有規(guī)則結(jié)構(gòu)的二維圖像領(lǐng)域(如目標識別、分割等)取得了長足的進步。近年來，點云深度學(xué)習(xí)日益受到關(guān)注，且發(fā)布了一定規(guī)模的點云數(shù)據(jù)集，如ShapeNet[7]、ModelNet[8]、ScanNet[9]、Semantic3D[10]、

KITTI[11]、WHU-TLS[12]、WHU-MLS[13]等，使得深度學(xué)習(xí)模型從三維點云中學(xué)習(xí)有效特征成為可能。然而，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)難以直接應(yīng)用于空間分布不規(guī)則的點云[14]，并且大多數(shù)點云語義分割的方法都難以處理大規(guī)模的點云[15]，尤其是城市場景大規(guī)模點云的語義標識。部分學(xué)者嘗試將點云投影到不同視角的圖像中，然后利用CNN從圖像中提取特征[16-18]，但是在投影過程中，有限的投影視角不可避免地丟失有用的細節(jié)，因此不利于目標的準確提取。也有學(xué)者將點云體素化為3D網(wǎng)格，通過3D CNN提取目標特征[19-20]。然而，此類方法計算成本高且難以滿足大規(guī)模點云語義分割的需求。顯然，原始點云可以更準確和直接地刻畫目標的幾何結(jié)構(gòu)，為此有學(xué)者相繼提出了PointNet[21]和PointNet++[22]用于直接學(xué)習(xí)逐個點的特征。除此之外，圖卷積[23,24]、核卷積[25-27]被提出用于學(xué)習(xí)不規(guī)則點云的特征。盡管上述方法可以從不同角度有效地學(xué)習(xí)點云的特征，但它們主要適用于具有簡單結(jié)構(gòu)的模型或室內(nèi)場景點云，難以有效地學(xué)習(xí)更為復(fù)雜的結(jié)構(gòu)。文獻[28]通過融合2D圖像和3D點云對大規(guī)模三維場景進行語義分割，但是需要基準數(shù)據(jù)集(同時包括2D和3D室外數(shù)據(jù))的支撐，且兩者融合的質(zhì)量嚴重影響語義分割結(jié)果。文獻[29]提出了一種具有注意力嵌入模塊的遞歸順序切片網(wǎng)絡(luò)，從不同的角度學(xué)習(xí)空間關(guān)系并使用CNN提取高級信息，但是該網(wǎng)絡(luò)模型規(guī)模較大，且泛化能力較弱。

不同于規(guī)則格網(wǎng)的二維影像，城市場景大規(guī)模點云具有點位空間分布不均、因遮擋導(dǎo)致的數(shù)據(jù)缺失及目標多樣且尺度差異大等獨特性。點云深度學(xué)習(xí)需要突破現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)在點云采樣、局部特征提取與聚合，以及訓(xùn)練樣本不均衡方面存在的缺陷，從而有望實現(xiàn)點云場景的全面精準感知。為此，本文旨在構(gòu)建一種直接用于城市場景大規(guī)模點云的目標語義標識深度學(xué)習(xí)網(wǎng)絡(luò)，用于解決大規(guī)模點云的有效采樣、點云局部特征自主學(xué)習(xí)與聚合，以及訓(xùn)練樣本不平衡等難點，實現(xiàn)多類目標的正確語義標識，為高質(zhì)量三維地理信息的快速提取提供核心支撐。

1 端到端城市大規(guī)模點云語義標識深度學(xué)習(xí)網(wǎng)絡(luò)

點云深度學(xué)習(xí)的本質(zhì)是基于訓(xùn)練樣本學(xué)習(xí)點云特征并予以表達，然后通過損失函數(shù)度量數(shù)據(jù)預(yù)測值與訓(xùn)練樣本真值之間的差異(兩者之間的差異越小說明模型與參數(shù)對訓(xùn)練樣本的擬合越好)。由于城市點云場景的復(fù)雜性(點位分布不均且量大、目標多樣等)，為保證點云深度學(xué)習(xí)網(wǎng)絡(luò)的高效和準確，必須首先對大規(guī)模點云進行采樣，降低點云的數(shù)據(jù)量，從而減少計算量，保證網(wǎng)絡(luò)的高效性；其次，要克服點位不均勻分布和因遮擋導(dǎo)致的不完整對點云特征準確學(xué)習(xí)的影響；同時要盡量減少由于訓(xùn)練樣本不均衡而對網(wǎng)絡(luò)預(yù)測結(jié)果的影響。為此，本文重點圍繞點云深度學(xué)習(xí)的效率和結(jié)果的準確性，從高效的點云空間降采樣策略，基于點特征抽象表達與傳播以及提升總體表現(xiàn)的損失函數(shù)3個方面出發(fā)，構(gòu)建了點云語義標識深度學(xué)習(xí)網(wǎng)絡(luò)。該深度學(xué)習(xí)網(wǎng)絡(luò)直接輸入點云數(shù)據(jù)，并端到端地標識每個點的語義類別，其總體框架如圖1所示。

圖1 端到端的點云語義標識深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)

1.1 下采樣與上采樣

該網(wǎng)絡(luò)使用下采樣-上采樣結(jié)構(gòu)和跳躍連接的U形結(jié)構(gòu)作為骨干網(wǎng)絡(luò)。下采樣過程包括空間下采樣和特征聚合，空間下采樣用于減少點數(shù)，而特征聚合則得到空間采樣后的點云特征。下采樣過程將特征逐層映射到更高的特征空間，并擴大感受野以獲得更高層次、更抽象的特征，而上采樣過程旨在逐步將抽象特征傳播到每個點，從而獲得逐點特征。

(1)

1.2 局部特征聚合

圖2 特征聚合模塊

在每個聚合過程之前，對每個下采樣點通過K近鄰(KNN)分組得到用于特征聚合的局部單元N(x)。通過設(shè)置一個較大的K=σk(σ為擴張比，σ>1，例如，σ=1.5)，然后對k點在前幾層中隨機采樣，以嘗試擴大感受野。在對輸入特征進行編碼的過程中，對點的原始空間位置、相對空間位置和相對特征(邊特征)融合。對于每個位置x，其相鄰ith位置的原始空間信息定義為

(2)

式中，xi∈N(x)，xgl是分塊前的全局位置；⊕表示特征級聯(lián)。需要注意：x∈X(空間下采樣后的點集)，xi∈Xin(原始點集)。

相對空間位置定義為

(3)

式中，‖·‖表示歐幾里得距離的計算。

邊特征定義為

(4)

式中，f∈F(空間下采樣后的特征集)；fi∈Fin(原始特征集)。

最后，通過簡單的級聯(lián)操作獲得位置x的ith鄰域點的融合特征

(5)

(6)

式中，w∈RD表示可學(xué)習(xí)權(quán)重(有D′個)；g∈Rk表示空間映射值(有D′個)。

(7)

式中，w(d′)d表示d'th個w的dth個權(quán)值；σ是一個非線性激活函數(shù)。

(8)

式中，·表示逐元素相乘；max是最大池化操作。

1.3 代價函數(shù)

由于城市點云場景中目標類別數(shù)量差異大，且訓(xùn)練樣本不均衡，簡單地分配不同的類權(quán)重平衡網(wǎng)絡(luò)的監(jiān)督信號難以有效控制深度學(xué)習(xí)網(wǎng)絡(luò)的整體性能。如何控制不同類別目標的權(quán)重變得尤為重要?；诩訖?quán)交叉熵的代價函數(shù)更專注于單個類的精度，而不關(guān)注特定類中的錯誤，這意味著如果為小樣本分配了更大的權(quán)重，則這些類的錯誤點數(shù)也可能更大。為此，本文提出的深度學(xué)習(xí)網(wǎng)絡(luò)主要根據(jù)訓(xùn)練過程中存在的點數(shù)，合理提高對小樣本學(xué)習(xí)的關(guān)注，定義了代價函數(shù)L，旨在平衡少數(shù)類的表現(xiàn)和整體表現(xiàn)

(9)

式中，Nc是訓(xùn)練過程中出現(xiàn)的cth類的總點數(shù)；M表示類別數(shù)；yc、pc分別表示cth類的真實標簽向量和預(yù)測標簽向量。

2 試驗分析

2.1 測試數(shù)據(jù)集和評價指標

整個場景在訓(xùn)練期間被分成10 m×10 m的塊，每個塊被隨機采樣到20 000點，使用0.8 m半徑的鄰域范圍進行法向量計算。輸入點的特征包含全局坐標、分塊內(nèi)標準化坐標、法向量和強度。本文構(gòu)造的網(wǎng)絡(luò)采用0.05 m網(wǎng)格作為分塊前規(guī)則采樣的分辨率，然后是采樣比為0.25、0.25、0.25、0.25、0.25、0.5、0.5的下采樣層。該網(wǎng)絡(luò)在PyTorch平臺上實現(xiàn)。在網(wǎng)絡(luò)訓(xùn)練期間，Adam優(yōu)化器用于更新模型，動量和初始學(xué)習(xí)率分別設(shè)置為0.9和0.001，衰減率設(shè)置為0.000 1，學(xué)習(xí)速率每16個遍歷(epoch)降低一半。該模型在NVIDIA GTX 1080Ti的GPU上訓(xùn)練了100個批量大小為28的迭代，并且選擇使用具有最佳mIoU的模型進行測試。

為驗證本文構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)性能，使用WHU-MLS數(shù)據(jù)集[13]進行測試。WHU-MLS數(shù)據(jù)集包括40個場景，超過3億點，其中30個場景作為訓(xùn)練場景和10個場景作為測試。其中的地物目標類包括：行車道(driveway)、非駕駛車道(nd.way)、道路標線(rd.mrk)、建筑物(building)、圍欄(fence)、樹木(tree)、低矮植被(low veg)、路燈(light)、電線桿(tel.pole)、市政立桿(mun.pole)、交通信號燈(trff.light)、監(jiān)控探頭(detector)、廣告牌或提示牌(board)。動態(tài)目標類包括：行人(pedestrian)和車輛(vehicle)。

為評估本文構(gòu)造網(wǎng)絡(luò)的性能，采用如下的幾類指標：精度(Precision)、召回(Recall)、F1-Score、IoU和總體精度(OA)

(10)

(11)

(12)

(13)

(14)

式中，TP是預(yù)測正確的該類別樣本數(shù)量；FP是將其他類別樣本錯預(yù)測成該類別的樣本數(shù)量；FN是將該類比樣本錯預(yù)測成其他類別的樣本數(shù)量；N是樣本總數(shù)。精度、召回、F1-Score和IoU在每個類別中分別計算，然后計算平均值。

2.2 語義標識結(jié)果

不同測試場景的預(yù)測結(jié)果如圖3所示。圖3(a)所示場景具有較為復(fù)雜的結(jié)構(gòu)。圖4和圖5分別從更細節(jié)的角度和駕駛角度展示了語義標識的結(jié)果。從示例結(jié)果可以看出，該網(wǎng)絡(luò)語義標識的整體表現(xiàn)較好，但也存在一定的錯誤標識，如圖6所示。造成此類錯誤分類的原因有幾種：①語義模糊性，如某些類定義較為模糊，這意味著一個點可能既屬于某一類，同時也屬于另一類，例如由提示牌和路燈連接的桿狀結(jié)構(gòu)，如圖6(a)所示；②多個目標相互重疊，例如在樹叢中豎立的燈，如圖6(b)所示；③局部位置預(yù)測出了不同的類別，由于場景在點被送入網(wǎng)絡(luò)之前被劃分為塊，推測主要是因為相鄰的區(qū)塊在重疊區(qū)域內(nèi)預(yù)測結(jié)果存在不同，如圖6(c)所示。

注：左側(cè)為人工標記的結(jié)果；右側(cè)為預(yù)測結(jié)果。

圖4 WHU-MLS數(shù)據(jù)集中部分類別的預(yù)測結(jié)果

圖5 WHU-MLS數(shù)據(jù)集中單個場景的預(yù)測結(jié)果

圖6 WHU-MLS數(shù)據(jù)集上錯誤的語義標識

為定量地評價本文構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)的效果，分別計算了WHU-MLS數(shù)據(jù)集中17個精細類別(樹木、非機動車道、建筑物、箱狀地物、路燈、電線桿、市政立桿、低矮植被、提示牌、駕駛車道、道路標線、車輛、行人、信號燈、探頭、圍欄和電線)和6個粗分類(動態(tài)物體、桿狀目標、植被、建筑和地面)的IOU、F1-Score、精度、召回率，見表1。由表1可以看出，本文的深度學(xué)習(xí)網(wǎng)絡(luò)在一些大尺寸目標，如車道(IoU：83.6，F(xiàn)1-Score：91.0)、建筑(IoU：77.1，F(xiàn)1-Score：87.1)和樹(IoU：84.5，F(xiàn)1-Score：91.6)，以及一些運動目標，如行人(IoU：60.8，F(xiàn)1-得分：75.6)和車輛(IoU：79.1，F(xiàn)1-得分：88.3)上取得較好結(jié)果。

表1 WHU-MLS語義標識結(jié)果

表2比較了本文構(gòu)造的網(wǎng)絡(luò)與其他幾個主流的點云深度學(xué)習(xí)網(wǎng)絡(luò)在17個類別語義標識中的表現(xiàn)?？梢钥闯?，本文的深度學(xué)習(xí)網(wǎng)絡(luò)在非機動車道、建筑物、箱體、燈、電線桿、市政立桿、提示牌、機動車道、道路標線、車輛、行人、探頭和電線等大多數(shù)類別中優(yōu)于其他幾種方法。

表2 WHU-MLS數(shù)據(jù)集上本文網(wǎng)絡(luò)和主流網(wǎng)絡(luò)的性能對比

表3給出了本文構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)在不同網(wǎng)絡(luò)層中的參數(shù)個數(shù)和推理時間。時間為使用一百萬個點單次前向傳播的耗時?？梢姳疚牡纳疃葘W(xué)習(xí)網(wǎng)絡(luò)可以在2 s內(nèi)預(yù)測100萬個點，表明了該網(wǎng)絡(luò)的輕量級和高性能。

表3 本文構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)在單個GPU單次預(yù)測1 000 000點的參數(shù)和平均推理時間

3 結(jié) 論

本文構(gòu)造了一種城市大規(guī)模點云語義標識的端到端深度學(xué)習(xí)網(wǎng)絡(luò)，為目標的識別和信息的提取提供了關(guān)鍵支撐。該深度學(xué)習(xí)網(wǎng)絡(luò)直接對大規(guī)模三維點云進行特征學(xué)習(xí)，通過卷積操作模擬人眼擴大視覺感受野，兼顧了單個點的上下文特征，有力提高了不同尺度目標特征準確刻畫和表達的能力，為目標的提取和類別的區(qū)分提供了有益的知識。實際的測試表明：該深度學(xué)習(xí)網(wǎng)絡(luò)在高效的采樣策略、多層的特征聚合與傳播，以及兼顧樣本不平衡的代價損失函數(shù)具有較好的性能，可高效地對大規(guī)模的室外場景點云進行近20類目標的正確語義標識，且性能優(yōu)于現(xiàn)有的幾個主流網(wǎng)絡(luò)(如：PointNet等)，為三維地理信息的快速有效提取提供了有力支撐。當前，本文構(gòu)造的點云深度學(xué)習(xí)網(wǎng)絡(luò)測試的目標多為人工地物，在自然地物的語義類別的自動識別方面還需要進一步測試。其次，本文當前的研究尚未開展實體對象的識別工作，下一步將在語義類別的基礎(chǔ)上開展實體對象的提取研究。