融合CNN和MRF的激光點(diǎn)云層次化語(yǔ)義分割方法

蔣騰平，王永君，張林淇，梁 沖，孫 劍

1. 自然資源部城市土地資源監(jiān)測(cè)與仿真重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518034； 2. 南京師范大學(xué)虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 南京 210093； 3. 武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079； 4. 江蘇省地理信息資源開(kāi)發(fā)與利用協(xié)同創(chuàng)新中心，江蘇 南京 210023； 5. 地理環(huán)境演化模擬國(guó)家重點(diǎn)實(shí)驗(yàn)室建設(shè)培育點(diǎn)，江蘇 南京 210093

隨著三維空間信息的可用性不斷提高，為了更好地理解現(xiàn)實(shí)世界，基于三維激光點(diǎn)云的場(chǎng)景智能解譯近幾年受到廣泛關(guān)注[1]。其中，激光點(diǎn)云語(yǔ)義分割將每個(gè)點(diǎn)進(jìn)行分類并分配語(yǔ)義標(biāo)簽給相同對(duì)象或區(qū)域，是場(chǎng)景建模、定位導(dǎo)航和城市規(guī)劃等應(yīng)用的基礎(chǔ)[2]。

由于數(shù)據(jù)采集設(shè)備和方式的差異、場(chǎng)景復(fù)雜等，點(diǎn)云數(shù)據(jù)往往密度差異大、空間離散且分布不均、目標(biāo)點(diǎn)云間存在重疊、遮擋、相似等，使得點(diǎn)云數(shù)據(jù)不完整或可用性不高、反射強(qiáng)度具有多樣性等。眾多學(xué)者圍繞三維場(chǎng)景激光點(diǎn)云的語(yǔ)義分割展開(kāi)了大量的研究。目前，對(duì)激光掃描數(shù)據(jù)進(jìn)行語(yǔ)義分割方法從簡(jiǎn)單到復(fù)雜可以分為，逐點(diǎn)、逐塊、逐對(duì)象分類以及整體場(chǎng)景空間平滑。

逐點(diǎn)分類[3-5]是將每個(gè)點(diǎn)作為處理的基本單元，以每個(gè)點(diǎn)鄰域計(jì)算該點(diǎn)的局部描述子[6]，將該點(diǎn)與上下文環(huán)境的關(guān)系作為特征，放到合適的分類器或概率估計(jì)模型中進(jìn)行語(yǔ)義標(biāo)簽分配。近幾年3D卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)的迅速發(fā)展，一些學(xué)者開(kāi)始將CNN應(yīng)用到逐點(diǎn)語(yǔ)義分割任務(wù)中[7-9]。基于CNN逐點(diǎn)分類一般采用端到端網(wǎng)絡(luò)的逐點(diǎn)特征提取和池化操作解決無(wú)序點(diǎn)云問(wèn)題，并結(jié)合了逐點(diǎn)低層次幾何和高層次語(yǔ)義信息進(jìn)行對(duì)象識(shí)別。逐點(diǎn)分類是三維點(diǎn)云分類中最基礎(chǔ)、簡(jiǎn)單且易于實(shí)現(xiàn)的方式，具備一定推廣性。但仍存在一些難以忽視的缺點(diǎn)：以點(diǎn)為對(duì)象導(dǎo)致計(jì)算量過(guò)大，并且分類結(jié)果往往伴隨著椒鹽噪聲；缺少目標(biāo)鄰域間上下文和全局信息，無(wú)法有效提取細(xì)節(jié)信息。后續(xù)卷積神經(jīng)網(wǎng)絡(luò)少許解決了上述缺陷，但逐點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)難以高質(zhì)量地應(yīng)用于大規(guī)模點(diǎn)云場(chǎng)景。

針對(duì)上述問(wèn)題，逐塊分類[10-11]首先將某些具有相似屬性的點(diǎn)聚類為獨(dú)立幾何單元，然后對(duì)幾何單元進(jìn)行處理，最后各個(gè)塊組合得到分類結(jié)果。其中，最常用的方法就是通過(guò)超體素[12-15]分割實(shí)現(xiàn)點(diǎn)云分塊，該方法基于超體素的局部鄰域代替點(diǎn)作為基本單元，通過(guò)監(jiān)督分類地方式對(duì)點(diǎn)云進(jìn)行語(yǔ)義標(biāo)記，從而在復(fù)雜城市三維點(diǎn)云場(chǎng)景處理中取得了較好的效率。劃分得到的點(diǎn)云塊包含更多信息，有助于提高海量點(diǎn)云語(yǔ)義分割的精度；但點(diǎn)云分塊操作將場(chǎng)景割裂、碎片化，使得難以有效提取上下文信息；同時(shí)在點(diǎn)云分塊過(guò)程中涉及較多參數(shù)，不同場(chǎng)景需要采用不同的參數(shù)才能達(dá)到較好的結(jié)果。

逐點(diǎn)和逐塊分類方法往往只利用了有限鄰域范圍內(nèi)的信息，而且對(duì)一些特征表達(dá)較弱或者尺度較大對(duì)象難以實(shí)現(xiàn)精確識(shí)別與分類。逐對(duì)象方式[16-17]一般先從整個(gè)復(fù)雜場(chǎng)景提取某個(gè)目標(biāo)，從而包含更加豐富的信息，然后綜合局部、全局和上下文等多層次特征進(jìn)行語(yǔ)義分割。該方法典型流程為確定目標(biāo)的位置，分割得到單個(gè)對(duì)象、計(jì)算對(duì)象的特征及最后的分類。這種方式比較依賴先前目標(biāo)提取的正確性，容易影響后續(xù)語(yǔ)義分割的精度。在先驗(yàn)信息或者模板匹配的輔助下，可以提高某些待識(shí)別地物目標(biāo)的分割精度。一些方法[18-19]將城市場(chǎng)景中多對(duì)象進(jìn)行了語(yǔ)義規(guī)則的概括與總結(jié)，從而提高了在遮擋和重疊的混亂情況下對(duì)象提取的準(zhǔn)確性。相比之下，語(yǔ)義約束下的逐對(duì)象分割計(jì)算效率較高、識(shí)別速度較快、對(duì)特定目標(biāo)識(shí)別率高；但只能應(yīng)用于特定目標(biāo)類別和場(chǎng)景，對(duì)于多目標(biāo)復(fù)雜場(chǎng)景往往需要對(duì)每一類目標(biāo)設(shè)定專門(mén)的語(yǔ)義規(guī)則，可推廣能力較弱。

為了增強(qiáng)語(yǔ)義標(biāo)簽分配后的空間平滑度，需要考慮到相鄰點(diǎn)之間的上下文聯(lián)系[20]。該方法將相鄰點(diǎn)之間構(gòu)建一條特征邊，每個(gè)點(diǎn)作為節(jié)點(diǎn)，從而構(gòu)建出一個(gè)無(wú)向圖。分類的同時(shí)考慮相鄰邊之間類別的作用關(guān)系，以圖模型的形式導(dǎo)出上下文信息。對(duì)于多類別區(qū)域點(diǎn)云語(yǔ)義標(biāo)記存在錯(cuò)誤問(wèn)題，一些后處理步驟(如馬爾可夫隨機(jī)場(chǎng)(Markov random field,MRF)[21]、全局圖正則化[22]和條件隨機(jī)場(chǎng)[23]等)利用上下文信息對(duì)初始語(yǔ)義標(biāo)注結(jié)果進(jìn)行優(yōu)化，得到更準(zhǔn)確的三維點(diǎn)云語(yǔ)義分割結(jié)果。由于在導(dǎo)出的標(biāo)簽上添加了空間平滑度，因此相應(yīng)分類結(jié)果通常會(huì)得到顯著改善。但是，在整體場(chǎng)景平滑過(guò)程中，推理策略的選擇將對(duì)語(yǔ)義標(biāo)記精度以及計(jì)算時(shí)間產(chǎn)生深遠(yuǎn)影響；同時(shí)相關(guān)圖模型[24]的學(xué)習(xí)與推導(dǎo)是相當(dāng)復(fù)雜且難以計(jì)算的。

盡管現(xiàn)有學(xué)者對(duì)點(diǎn)云語(yǔ)義分割方法展開(kāi)了大量研究，但相比于硬件設(shè)備的進(jìn)步，相關(guān)自動(dòng)化算法研發(fā)仍處于發(fā)展的地位。針對(duì)一些算法在復(fù)雜場(chǎng)景中只能以較低精度進(jìn)行有限類型對(duì)象的分類，本文提出一種從激光掃描數(shù)據(jù)中融合殘差學(xué)習(xí)和MRF優(yōu)化的層次化語(yǔ)義分割方法。

1 三維場(chǎng)景層次化語(yǔ)義分割方法

本文的激光點(diǎn)云層次化語(yǔ)義分割方法主要包括數(shù)據(jù)預(yù)處理、建筑物提取、基于殘差學(xué)習(xí)的逐點(diǎn)語(yǔ)義分割和MRF后端優(yōu)化等4個(gè)步驟，如圖1所示。

圖1 本文算法流程Fig.1 Workflow of the proposed method

1.1 預(yù)處理

點(diǎn)云數(shù)據(jù)存在各種系統(tǒng)和隨機(jī)誤差導(dǎo)致的噪聲點(diǎn)，本節(jié)先采用點(diǎn)云庫(kù)(point cloud library)封裝的去噪算法[25]進(jìn)行剔除。同時(shí)，鑒于三維激光掃描系統(tǒng)對(duì)地面有較為直接的掃描視角，三維激光點(diǎn)云數(shù)據(jù)中存在海量、高密度的地面點(diǎn)，這將增加三維語(yǔ)義分割時(shí)間和空間復(fù)雜度。為了從三維場(chǎng)景中快速、有效地濾除這些地面點(diǎn)，本節(jié)采用現(xiàn)有較為前沿的開(kāi)源算法(布料模擬濾波算法[26])，從而有助于后續(xù)點(diǎn)云語(yǔ)義分割算法在數(shù)據(jù)搜索范圍的減少和性能的提高。圖2示例了室外大規(guī)模點(diǎn)云場(chǎng)景地面點(diǎn)濾除的結(jié)果。

圖2 地面點(diǎn)濾波結(jié)果Fig.2 Illustration of the results for ground filtering

1.2 建筑物提取

盡管對(duì)三維點(diǎn)云場(chǎng)景進(jìn)行了地面點(diǎn)分離，避免非地面地物分類受到地面點(diǎn)的影響，然而后續(xù)處理中仍會(huì)受到三維點(diǎn)云復(fù)雜、遮擋等問(wèn)題的影響。本文借鑒現(xiàn)有工作[27]，先提取出場(chǎng)景中的建筑物點(diǎn)云以降低場(chǎng)景復(fù)雜度，同時(shí)提高與建筑物連接緊密對(duì)象的語(yǔ)義分割精度。針對(duì)不同結(jié)構(gòu)建筑物之間緊密分布且被諸如植被等雜亂地物包圍、遮擋的情形，本節(jié)提出了一個(gè)“兩步法”框架對(duì)建筑物進(jìn)行提取，結(jié)果見(jiàn)圖3。

圖3 建筑提取結(jié)果Fig.3 Illustration of the results for building segmentation

(1) 利用立面特征進(jìn)行建筑物目標(biāo)檢測(cè)。首先利用隨機(jī)采樣一致性(random sample consensus,RANSAC)算法[28]進(jìn)行平面分割，然后在先驗(yàn)知識(shí)(如，墻體是垂直的；常規(guī)建筑是連接或者間隔分布且不重疊；城市道路環(huán)境的建筑結(jié)構(gòu)基本上是嚴(yán)格符合城市規(guī)劃規(guī)范)的約束下保留墻體結(jié)構(gòu)；接著將墻體點(diǎn)云自上而下的映射得到二維線框，優(yōu)化生成滿足要求的矩形；最后利用該矩形在非地面點(diǎn)云場(chǎng)景中嵌套建筑物。

(2) 對(duì)初步檢測(cè)的建筑物進(jìn)一步提取以和周?chē)鷱?fù)雜環(huán)境分離。第1步提取的建筑物點(diǎn)云混入了一些碎片化的地物，因此采用k最近鄰(k-nearest neighbor,KNN)算法進(jìn)行優(yōu)化。KNN算法不需要類別判斷來(lái)對(duì)待測(cè)數(shù)據(jù)進(jìn)行標(biāo)簽分配，主要根據(jù)包含地物碎片的建筑物點(diǎn)云(待測(cè)數(shù)據(jù))有限鄰域范圍內(nèi)建筑物點(diǎn)云(已知數(shù)據(jù))的特性，較為適用數(shù)據(jù)間存在較多重疊、交叉情況的處理。根據(jù)式(1)將局部幾何特征、鄰域之間的相似性以及平面形狀特征構(gòu)建k-NN圖，轉(zhuǎn)化成能量模型

(1)

式中，利用高層次幾何約束——平面形狀先驗(yàn)知識(shí)來(lái)輔助建筑物目標(biāo)的提取，避免基于局部鄰域幾何屬性的點(diǎn)云分割中鄰域大小的選擇對(duì)于性能的影響，從而在目標(biāo)間彼此靠近的情況下較為有效地確定相鄰目標(biāo)間邊界。最后，通過(guò)基于最小化能量函數(shù)圖割算法[29]對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，剔除平面結(jié)構(gòu)邊緣或者附近的少量點(diǎn)。構(gòu)建k-NN圖后，基于最小化能量函數(shù)的建筑物分割示意見(jiàn)圖4。

注：綠色點(diǎn)表示建筑物點(diǎn)云。

1.3 基于殘差學(xué)習(xí)網(wǎng)絡(luò)的點(diǎn)云分類

對(duì)于剩下的非結(jié)構(gòu)化點(diǎn)云，本節(jié)對(duì)其輸入到一種動(dòng)態(tài)空間置換網(wǎng)絡(luò)(spatial transform network,STN)[30]中，STN機(jī)制由回歸網(wǎng)絡(luò)T-Net和矩陣運(yùn)算兩部組成，為三維點(diǎn)云主動(dòng)生成適當(dāng)?shù)目臻g變換。在三維點(diǎn)云上應(yīng)用空間置換后，本文模型基于點(diǎn)的KNN搜索(式(2))[9]獲取點(diǎn)鄰域范圍內(nèi)的低層次幾何特征

(2)

通過(guò)鄰域搜索和坐標(biāo)統(tǒng)一操作后，將n×k×6張量(其中n表示點(diǎn)的數(shù)量，k表示每個(gè)點(diǎn)的鄰域數(shù)，維數(shù)6是點(diǎn)p的坐標(biāo)和第k個(gè)最近鄰點(diǎn)的統(tǒng)一坐標(biāo))通過(guò)全連接層添加到KNN模塊以獲得足夠的表達(dá)能力從而將每個(gè)點(diǎn)特征轉(zhuǎn)換為高維特征，然后應(yīng)用逐點(diǎn)局部池化層以生成低層次幾何特征。在逐點(diǎn)局部池化層之后，每個(gè)點(diǎn)都表示為一個(gè)64維向量。因此，三維點(diǎn)云可以表示為n×64維特征，即{v1,v2,…,vN|vn∈R64}。KNN模塊基于點(diǎn)從三維點(diǎn)云中學(xué)習(xí)低層次幾何特征，解決了點(diǎn)云無(wú)序性問(wèn)題，并有效地提高了逐點(diǎn)分割的準(zhǔn)確性。

網(wǎng)絡(luò)的第2個(gè)模塊中，輸入端(n×128張量)投到一系列點(diǎn)卷積連接層，以獲取高層次語(yǔ)義特征。在多連接卷積層構(gòu)建過(guò)程中，考慮到現(xiàn)有方式逐漸增加每一層內(nèi)核半徑會(huì)花費(fèi)更多時(shí)間收斂，本節(jié)對(duì)所有層使用固定核半徑進(jìn)行點(diǎn)特征學(xué)習(xí)，然后在每一層空洞卷積中逐步增加步幅(stride)。

為了避免梯度消失，往往需要進(jìn)行更深層次的訓(xùn)練。本節(jié)引入殘差學(xué)習(xí)[31]的概念，添加了跳躍層(skip)來(lái)加強(qiáng)信號(hào)間的身份(identity)映射，如圖5所示。在學(xué)習(xí)過(guò)程中，本文模型將每一個(gè)殘差學(xué)習(xí)結(jié)果又添加到多個(gè)卷積層，從而保證了每個(gè)層的身份映射。更具體地說(shuō)，映射函數(shù)H(x)在輸入信號(hào)x到第1個(gè)堆疊的卷積層后進(jìn)行擬合。那么可以通過(guò)多個(gè)非線性堆疊層漸近地逼近殘差函數(shù)，即當(dāng)輸入與輸出的維數(shù)相同時(shí)，H(x)-x。本節(jié)在擬合過(guò)程中，將殘差函數(shù)F(x)代替映射函數(shù)H(x)，與具有多個(gè)非線性堆疊層的擬合相比，具有殘差函數(shù)的近似身份映射更容易。最主要的是，設(shè)計(jì)一個(gè)最佳函數(shù)并且更接近于身份映射(而不是零映射)，那么求解器將更容易找到參考身份映射的擾動(dòng)。

圖5 基于殘差學(xué)習(xí)的語(yǔ)義分割網(wǎng)絡(luò)架構(gòu)Fig.5 Proposed Deep Point based Residual Network architecture for semantic segmentation

通過(guò)在多個(gè)卷積層之間搭建跳躍連接層，對(duì)特征圖之間的每個(gè)通道執(zhí)行逐信號(hào)添加。這不需要額外的參數(shù)或訓(xùn)練時(shí)間，并且允許較低的層通過(guò)跳過(guò)中間層而直接跳向較高的層。因此，這種跳躍連接層的添加允許在網(wǎng)絡(luò)結(jié)構(gòu)中集成更多基于點(diǎn)的卷積層，從而提高性能。

隨機(jī)梯度下降(stochastic gradient descent,SGD)算法在訓(xùn)練過(guò)程中一般使用批處理歸一化。與之不同的是，本節(jié)采用的是比例指數(shù)線性單元(scaled exponential linear units,SELU)，這是一種自歸一化激活函數(shù)[32]，通過(guò)激活神經(jīng)元以自動(dòng)方式收斂至零均值和單位方差來(lái)誘導(dǎo)自歸一化特性。與其他激活函數(shù)相比，它們具有更快、更好的學(xué)習(xí)能力。如前文所述，本文逐漸增加了每層卷積步幅參數(shù)，并在第3層中簡(jiǎn)單地將第1層的輸出添加到下一層，使網(wǎng)絡(luò)模型具備了對(duì)應(yīng)的殘差。雖然，每層的步幅參數(shù)逐漸增加會(huì)擴(kuò)大內(nèi)核的感知范圍，但不會(huì)改變層的輸出尺寸。通過(guò)訓(xùn)練SELU激活函數(shù)之前和之后增加層以及使用激活前的剩余模塊(其中激活層)在卷積層之前來(lái)分析了基于點(diǎn)的殘差網(wǎng)絡(luò)的性能，對(duì)網(wǎng)絡(luò)中信號(hào)傳導(dǎo)進(jìn)行約束。最后將串聯(lián)的所有層輸出要素傳遞給全連接層。

全連接層的輸出張量(n×256)饋入逐點(diǎn)局部池化層，該層為每個(gè)點(diǎn)生成高層次語(yǔ)義特征。逐點(diǎn)局部池化后，每個(gè)點(diǎn)都表示為512維向量。殘差學(xué)習(xí)模塊學(xué)習(xí)從輸入點(diǎn)云中提取(n×512)維高層次語(yǔ)義特征。最后的全局池化層操作獲取了1024維全局特征以保留更多的語(yǔ)義信息，池化操作降低了由高維特征向量引起的計(jì)算復(fù)雜性，使本文模型對(duì)于輸入排列不變。

特征學(xué)習(xí)過(guò)程將3個(gè)輸出向量(低層次幾何向量，高層次語(yǔ)義向量和全局特征向量)連接為1664維特征向量。然后，將此向量輸入到4個(gè)全連接層中，以獲得最終的分類結(jié)果，該結(jié)果由n個(gè)點(diǎn)的和l個(gè)語(yǔ)義類別的n×l分?jǐn)?shù)組成。

1.4 后端優(yōu)化

復(fù)雜三維場(chǎng)景中對(duì)象間的相似性，使得標(biāo)簽分配結(jié)果中往往存在小部分類別錯(cuò)誤。因此，大范圍三維點(diǎn)云語(yǔ)義分割的準(zhǔn)確性不僅依賴于對(duì)象的高層次特征，也需要完全理解中層次或低層次細(xì)節(jié)信息，這對(duì)于確保每個(gè)點(diǎn)標(biāo)簽預(yù)測(cè)的一致性是至關(guān)重要的。大多數(shù)工作采用條件隨機(jī)場(chǎng)獲取場(chǎng)景中目標(biāo)的上下文信息來(lái)改善局部相似性導(dǎo)致的錯(cuò)誤分類。但是先前工作只利用臨近物體間小范圍上下文信息，本節(jié)則構(gòu)建馬爾可夫隨機(jī)場(chǎng)有效利用遠(yuǎn)距離上下文信息，擬合三維點(diǎn)云場(chǎng)景中目標(biāo)間標(biāo)簽。本節(jié)算法引入?yún)^(qū)域標(biāo)簽懲罰項(xiàng)，減少一定區(qū)域使用過(guò)多標(biāo)簽來(lái)優(yōu)化語(yǔ)義分割精度。馬爾可夫隨機(jī)場(chǎng)能量函數(shù)定義如下

(3)

2 試驗(yàn)與分析

2.1 測(cè)試數(shù)據(jù)

本文在3個(gè)不同的大規(guī)模室外點(diǎn)云場(chǎng)景上進(jìn)行測(cè)試來(lái)驗(yàn)證所提方法的性能。這3個(gè)數(shù)據(jù)分別是湖北省黃石市城區(qū)MLS點(diǎn)云數(shù)據(jù)[33](被測(cè)道路總長(zhǎng)度為33.5 km，原始數(shù)據(jù)集大小為11.7 GB)、Semantic3D激光點(diǎn)云公開(kāi)基準(zhǔn)數(shù)據(jù)集[34](數(shù)據(jù)集由30個(gè)地面激光掃描組成，具有40億個(gè)點(diǎn)，并且包含城市和鄉(xiāng)村場(chǎng)景)和某大學(xué)校園多視TLS點(diǎn)云配準(zhǔn)數(shù)據(jù)(該場(chǎng)景數(shù)據(jù)范圍達(dá)0.62 km，總點(diǎn)數(shù)為2.6億，平均點(diǎn)密度2034 points/m2)。這些數(shù)據(jù)集具有代表性和較大的挑戰(zhàn)性：①數(shù)據(jù)集由不同視角、測(cè)量范圍和測(cè)量精度的激光掃描系統(tǒng)采集得到；②數(shù)據(jù)海量，每個(gè)數(shù)據(jù)集包含幾億到數(shù)10億個(gè)點(diǎn)；③測(cè)試數(shù)據(jù)集涵蓋了城區(qū)、高速和校園等多種場(chǎng)景，這些場(chǎng)景在土地覆蓋類型和地物表面幾何結(jié)構(gòu)上都存在顯著差異；④點(diǎn)云數(shù)據(jù)集中包含常見(jiàn)的多種目標(biāo)，且相互遮擋。

2.2 評(píng)價(jià)指標(biāo)

本文利用精確度(precision)、召回率(recall)、F1分?jǐn)?shù)(F1-score)3個(gè)指標(biāo)對(duì)語(yǔ)義分割結(jié)果進(jìn)行質(zhì)量評(píng)價(jià)，計(jì)算公式如下

(4)

式中，TP、FP和FN分別為語(yǔ)義標(biāo)注正確的目標(biāo)個(gè)數(shù)、錯(cuò)誤標(biāo)注的目標(biāo)個(gè)數(shù)和漏標(biāo)注的目標(biāo)個(gè)數(shù)。召回率越高，說(shuō)明模型對(duì)正樣本的標(biāo)注性能越好；精確度越高，說(shuō)明模型對(duì)負(fù)樣本的區(qū)分能力越強(qiáng)。F1-score是兩者的綜合，F(xiàn)1-score越高，說(shuō)明分類模型越穩(wěn)健。

2.3 試驗(yàn)結(jié)果和分析

為了測(cè)試本文方法的性能，本節(jié)首先分析了超參數(shù)k對(duì)試驗(yàn)結(jié)果的影響。然后在以下條件對(duì)結(jié)果進(jìn)行了比較：①比較多個(gè)模塊對(duì)性能的影響；②為了驗(yàn)證設(shè)計(jì)用于優(yōu)化分類結(jié)果的MRF的可行性，在有和沒(méi)有MRF的情況下進(jìn)行了比較。定量和定性結(jié)果均證明了本文方法的有效性。最后，本文分別在3種不同類型三維激光點(diǎn)云數(shù)據(jù)集展示本文提出框架在大場(chǎng)景點(diǎn)云語(yǔ)義分割的結(jié)果。

2.3.1 超參數(shù)分析

本節(jié)主要分析KNN模塊中k對(duì)模型性能的影響。具體來(lái)說(shuō)，在Semantic3D數(shù)據(jù)集上進(jìn)行了多次試驗(yàn)。k的大小與分類精度之間的關(guān)系如圖6所示。隨著k值的增加，分類精度也增加。但是，當(dāng)k值超過(guò)16時(shí)，分類精度只會(huì)非常緩慢地提高。根據(jù)這些試驗(yàn)結(jié)果，設(shè)置KNN的值為16。

圖6 KNN模塊中k不同設(shè)置的定量比較Fig.6 Quantitative comparisons of different settings in the KNN module

2.3.2 消融試驗(yàn)

考慮到本文采用的網(wǎng)絡(luò)架構(gòu)由多個(gè)模塊組成，為了研究關(guān)鍵模塊的性能，本節(jié)在Semantic3D數(shù)據(jù)集上進(jìn)行了消融分析，即對(duì)神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的不同設(shè)計(jì)進(jìn)行了比較。結(jié)果報(bào)告在表1中(◎表示所測(cè)試網(wǎng)絡(luò)集成了該模塊)，第1行顯示僅帶有STN模塊的基本版本的結(jié)果，第2行顯示STN和KNN模塊的集成結(jié)果，第3行顯示STN和殘差學(xué)習(xí)模塊的集成結(jié)果。結(jié)果表明，單獨(dú)引入KNN和殘差學(xué)習(xí)模塊可以將性能分別提高(4.1%，3.9%，3.7%)和(5.5%，6.3%，6.2%)。當(dāng)所有3個(gè)模塊集成在一起時(shí)，如最后一行所示，各項(xiàng)指標(biāo)分別達(dá)到88.5%、90.5%和89.2%。

通過(guò)表1分析，不難發(fā)現(xiàn)：①不同的模塊對(duì)分類性能都有著一定的貢獻(xiàn)，通過(guò)增加更多的模塊可以進(jìn)一步提高最終分類性能。②在具體語(yǔ)義分割任務(wù)中，高層次語(yǔ)義特征比低層次幾何特征更重要，這充分說(shuō)明殘差模塊有效地提取了高層次語(yǔ)義特征。該結(jié)果再次證實(shí)了本文網(wǎng)絡(luò)在3D語(yǔ)義分割中提取多層次特征的有效性。

表1 KNN和殘差模塊用于語(yǔ)義分割的性能比較(以Semantic3D數(shù)據(jù)集為例)Tab.1 Effects of KNN and residual modules for 3D semantic segmentation on Semantic3D

2.3.3 后端優(yōu)化性能分析

為了評(píng)估后端的有效性，本節(jié)測(cè)試了基于馬爾可夫隨機(jī)場(chǎng)以獲得最佳全局結(jié)果。在此，平衡各個(gè)能量項(xiàng)的權(quán)重參數(shù)λ1和λ2皆被設(shè)置為1.0。表2給出了初始分類結(jié)果和優(yōu)化分類結(jié)果的比較?？梢钥闯觯蠖藘?yōu)化使各項(xiàng)指標(biāo)分別提高了0.3%、0.4%和0.6%，總體性能顯示出明顯的改善。

表2 初始和優(yōu)化后的語(yǔ)義分割性能比較(以Semantic3D數(shù)據(jù)集為例)Tab.2 Comparison between initial and smoothed class-ification results on Semantic3D (%)

2.3.4 試驗(yàn)結(jié)果展示

圖7、圖8和圖9分別展示了本章所提出算法在湖北省黃石市MLS數(shù)據(jù)集、Semantic3D數(shù)據(jù)集和校園多視配準(zhǔn)數(shù)據(jù)集的三維語(yǔ)義標(biāo)記結(jié)果，表3顯示了在這3個(gè)數(shù)據(jù)集上的語(yǔ)義分割各項(xiàng)指標(biāo)。總體來(lái)說(shuō)本文算法在大規(guī)模高分辨率點(diǎn)云語(yǔ)義標(biāo)記上取得了較為滿意的結(jié)果。盡管由于目標(biāo)間的局部相似性及同類物體的差異性，導(dǎo)致初始點(diǎn)云語(yǔ)義分割的結(jié)果存在一定錯(cuò)誤標(biāo)注，但是基本上還是正確分類的。

表3 本文方法在3D語(yǔ)義分割的性能

圖7 黃石市城區(qū)MLS點(diǎn)云數(shù)據(jù)集原始點(diǎn)云和語(yǔ)義分割結(jié)果Fig.7 Semantic segmentation outcomes from MLS data in Huangshi

圖8 基于本文算法的Semantic3D數(shù)據(jù)集語(yǔ)義標(biāo)記結(jié)果Fig.8 Semantic segmentation outcomes from Semantic 3D data

圖9 某大學(xué)校園多視TLS點(diǎn)云試驗(yàn)區(qū)域點(diǎn)云語(yǔ)義分割結(jié)果Fig.9 Semantic segmentation outcomes from TLS data in campus

2.4 試驗(yàn)設(shè)置

本文采用召回率、精確度、F1值和時(shí)間消耗定量評(píng)估本文方法的性能。深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試是通過(guò)TensorFlow實(shí)施的，且利用開(kāi)源工具(CloudCompare)手工標(biāo)記訓(xùn)練數(shù)據(jù)和定量分析的真值。

2.5 試驗(yàn)對(duì)比評(píng)價(jià)與分析

為了進(jìn)一步分析本文框架的性能，在3種不同類型點(diǎn)云數(shù)據(jù)集，用上述4個(gè)指標(biāo)與當(dāng)前較前沿的三維點(diǎn)云語(yǔ)義分割算法[17-18]進(jìn)行了比較。從表4不難發(fā)現(xiàn)，本文提出的結(jié)合殘差學(xué)習(xí)和后端優(yōu)化的層次化語(yǔ)義分割方法在城區(qū)、高速和校園等多類型激光點(diǎn)云場(chǎng)景中取得了較高精確度和召回率，相比對(duì)比算法[17-18]提高了3%～5%。而且在上述類型場(chǎng)景的三維激光點(diǎn)云語(yǔ)義分割中取得了較高計(jì)算效率。總體而言，本文三維激光點(diǎn)云語(yǔ)義分割結(jié)果基本滿足數(shù)字城管、道路基礎(chǔ)設(shè)施入庫(kù)、城市規(guī)劃和高精駕駛地圖生產(chǎn)等應(yīng)用需求。

表4 本文方法與其他方法比較Tab.4 Performance comparison between the proposed method and others

3 結(jié) 語(yǔ)

本文以激光點(diǎn)云數(shù)據(jù)為研究對(duì)象，提出了一種適合復(fù)雜環(huán)境的結(jié)合殘差學(xué)習(xí)和MRF優(yōu)化的層次化語(yǔ)義分割方法。該方法：①提出多目標(biāo)層次化提取，特別是地面點(diǎn)和建筑物的提取，減少了數(shù)據(jù)冗余并加快了運(yùn)算速度；②提出了基于殘差學(xué)習(xí)的卷積網(wǎng)絡(luò)結(jié)構(gòu)，不需要額外的體素化步驟，能夠執(zhí)行逐點(diǎn)語(yǔ)義分割；③使用MRF優(yōu)化算法，確保逐點(diǎn)語(yǔ)義標(biāo)簽分配的一致性并改善語(yǔ)義分割結(jié)果，提高了語(yǔ)義分割的正確率。采用3個(gè)不同類型的大規(guī)模激光點(diǎn)云場(chǎng)景對(duì)方法進(jìn)行了測(cè)試并對(duì)其精度、效率進(jìn)行了評(píng)價(jià)與比較。試驗(yàn)驗(yàn)證結(jié)果佐證了上述結(jié)論，同時(shí)通過(guò)相關(guān)指標(biāo)比較表明，在3個(gè)不同場(chǎng)景中，本文在分割精度和計(jì)算復(fù)雜度方面優(yōu)于比較方法?？傮w而言，本文提出的框架在大型點(diǎn)云場(chǎng)景下可以更有效地實(shí)現(xiàn)語(yǔ)義分割。