基于多特征融合的城市場(chǎng)景三維點(diǎn)云語(yǔ)義分割

劉賢梅,劉鵬飛,賈 迪,趙 婭

(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,黑龍江 大慶 163318)

0 引 言

三維點(diǎn)云是在同一空間參考系下用于表達(dá)物體表面特征和空間分布的海量點(diǎn)的集合,相比于二維圖像,點(diǎn)云可以提供豐富的幾何形狀信息,并且不易受光照變化和其它物體遮擋的影響[1]。三維點(diǎn)云語(yǔ)義分割的目的是為每個(gè)三維點(diǎn)分配語(yǔ)義標(biāo)簽,是三維場(chǎng)景理解和環(huán)境智能感知的關(guān)鍵問(wèn)題之一,廣泛應(yīng)用于自動(dòng)駕駛、高精地圖、智慧城市等領(lǐng)域[2],大規(guī)模城市場(chǎng)景的三維點(diǎn)云覆蓋范圍廣、數(shù)據(jù)規(guī)模大、局部點(diǎn)云量稀疏、城市建筑風(fēng)格各異,使得城市場(chǎng)景的三維點(diǎn)云語(yǔ)義分割面臨嚴(yán)峻的挑戰(zhàn)。

當(dāng)前基于深度學(xué)習(xí)的點(diǎn)云語(yǔ)義分割方法可分為基于投影的方法和基于點(diǎn)的方法。

基于投影的方法:為了將成熟的二維圖像語(yǔ)義分割方法應(yīng)用于三維點(diǎn)云,文獻(xiàn)[3]首次提出多視圖投影方法,將輸入的三維點(diǎn)云投影為多組二維圖像,再利用圖像語(yǔ)義分割網(wǎng)絡(luò)對(duì)每個(gè)視圖的圖像進(jìn)行聯(lián)合分?jǐn)?shù)預(yù)測(cè)。SqueezeSeg[4]利用球面投影將三維點(diǎn)云轉(zhuǎn)換為二維圖像,然后使用SqueezeNet[5]網(wǎng)絡(luò)進(jìn)行特征提取與分割, 并應(yīng)用條件隨機(jī)場(chǎng)(Conditional Random Field,CRF)優(yōu)化分割結(jié)果。文獻(xiàn)[6]在SqueezeSeg的基礎(chǔ)上設(shè)計(jì)了上下文聚合模塊(Context Aggregation Module,CAM)以進(jìn)一步提高分割精度。

基于點(diǎn)的方法:文獻(xiàn)[7]提出了首個(gè)能夠直接處理非規(guī)則點(diǎn)云的PointNet方法,該方法采用多層感知器和對(duì)稱(chēng)函數(shù)來(lái)學(xué)習(xí)和聚合點(diǎn)云特征,但其捕捉局部特征的能力很弱。

為解決該問(wèn)題,PointNet++[8]通過(guò)劃分鄰域的方法提取局部特征,該模型在將點(diǎn)云劃分為多個(gè)有重疊的局部鄰域后利用PointNet捕獲局部鄰域特征。

PointConv[9]根據(jù)近鄰點(diǎn)的距離賦予其不同的權(quán)重,再通過(guò)加權(quán)卷積聚合局部特征。

文獻(xiàn)[10]提出可變形核點(diǎn)卷積分割框架KPConv,該方法中的卷積權(quán)重是由每個(gè)鄰域內(nèi)定義的核點(diǎn)與其余非核點(diǎn)之間的歐幾里得距離計(jì)算得出,核點(diǎn)的選擇可根據(jù)不同情況進(jìn)行修改,相比于PointConv更靈活。

文獻(xiàn)[11]提出動(dòng)態(tài)圖卷積分割網(wǎng)絡(luò)DGCNN,用構(gòu)建的動(dòng)態(tài)圖中每個(gè)節(jié)點(diǎn)代表點(diǎn)的特征,每條邊代表鄰域內(nèi)點(diǎn)間的特征關(guān)系,且邊會(huì)根據(jù)計(jì)算的鄰域特征矩陣動(dòng)態(tài)變化,使網(wǎng)絡(luò)更容易聚類(lèi)鄰域內(nèi)的相似特征。

文獻(xiàn)[12]基于譜圖理論設(shè)計(jì)了RGCNN模型,在構(gòu)建動(dòng)態(tài)圖保存點(diǎn)云特征的基礎(chǔ)上,利用圖拉普拉斯矩陣自適應(yīng)地捕獲每一層動(dòng)態(tài)圖結(jié)構(gòu)。

文獻(xiàn)[13]將動(dòng)態(tài)圖的思想融入PointNet++,設(shè)計(jì)了DGPoint動(dòng)態(tài)圖卷積網(wǎng)絡(luò),通過(guò)K近鄰算法確定新的局部區(qū)域以達(dá)到動(dòng)態(tài)圖更新的目的。

文獻(xiàn)[14]借助圖的思想構(gòu)建超點(diǎn)圖(SuperPoint Graph,SPG),使網(wǎng)絡(luò)捕獲點(diǎn)云的上下文結(jié)構(gòu)變得更精準(zhǔn)。

GACNet[15]通過(guò)注意力機(jī)制計(jì)算鄰域中心點(diǎn)與每一個(gè)鄰接點(diǎn)的邊緣權(quán)重,從而使得網(wǎng)絡(luò)能在分割的邊緣部分取得更好的效果。

DALNet[16]提出了一種基于雙注意力機(jī)制的語(yǔ)義分割網(wǎng)絡(luò),結(jié)合空間注意力以及雙線(xiàn)性插值法實(shí)現(xiàn)在解碼階段空間信息的高效恢復(fù),在處理城市道路場(chǎng)景時(shí)有不錯(cuò)的效果。

此外,最近的RandLA-Net[17]設(shè)計(jì)了一個(gè)局部特征聚合模塊,通過(guò)增加感受野的方式聚合局部點(diǎn)云的幾何形狀特征與顏色特征,極大程度地減少了信息損失,并采用隨機(jī)采樣的方法提高了網(wǎng)絡(luò)可以同時(shí)處理的點(diǎn)云量。

盡管基于點(diǎn)的方法在三維點(diǎn)云語(yǔ)義分割上取得了不錯(cuò)的效果,但幾乎都只適用于小規(guī)模室內(nèi)場(chǎng)景或道路場(chǎng)景,無(wú)法擴(kuò)展到大規(guī)模城市場(chǎng)景,這主要是由于城市場(chǎng)景點(diǎn)云數(shù)據(jù)規(guī)模更大,覆蓋面積更廣,對(duì)網(wǎng)絡(luò)訓(xùn)練時(shí)的處理速度與內(nèi)存開(kāi)銷(xiāo)要求極大。RandLA-Net雖然通過(guò)隨機(jī)采樣的方法降低了網(wǎng)絡(luò)訓(xùn)練過(guò)程中處理的點(diǎn)云量,但卻犧牲了網(wǎng)絡(luò)提取點(diǎn)云特征的準(zhǔn)確性,而城市點(diǎn)云數(shù)據(jù)的局部區(qū)域點(diǎn)云量本身就稀疏,采樣后幾何形狀信息更加難以提取,同時(shí)由于城市建筑風(fēng)格的差異,顏色特征的描述能力也極大下降,因此網(wǎng)絡(luò)已無(wú)法僅依靠幾何特征和顏色特征來(lái)分割城市點(diǎn)云。為解決上述問(wèn)題,該文提出了一種基于多特征融合的三維點(diǎn)云語(yǔ)義分割方法MFFN,該方法的貢獻(xiàn)如下:

為解決幾何形狀與顏色特征對(duì)城市物體描述能力減弱的問(wèn)題,引入了點(diǎn)云的法向量特征,點(diǎn)云法向量在表面凹凸程度與光滑度相差較大的城市物體間有明顯的差異,利用這種特性可有效彌補(bǔ)幾何形狀與顏色特征的不足,并基于RandLA-Net特征聚合思想設(shè)計(jì)了多特征局部聚合模塊MFLA(Multi-Feature Local Aggregation),將點(diǎn)云的法向量特征、顏色特征與幾何特征進(jìn)行融合,進(jìn)一步提高了網(wǎng)絡(luò)對(duì)城市場(chǎng)景三維點(diǎn)云的分割精度。此外,為解決城市點(diǎn)云數(shù)據(jù)規(guī)模大,局部點(diǎn)云量稀疏的問(wèn)題,在數(shù)據(jù)預(yù)處理階段與網(wǎng)絡(luò)訓(xùn)練階段分別采用網(wǎng)格采樣與隨機(jī)采樣進(jìn)行點(diǎn)云降采樣。預(yù)處理過(guò)程中的網(wǎng)格采樣保證了經(jīng)過(guò)一次預(yù)處理之后輸入到網(wǎng)絡(luò)中的點(diǎn)云可以最大程度保留原始點(diǎn)云的幾何形狀特征,既保證了后續(xù)網(wǎng)絡(luò)的訓(xùn)練速度,又緩解了局部點(diǎn)云量稀疏導(dǎo)致形狀特征提取不準(zhǔn)確的問(wèn)題;網(wǎng)絡(luò)訓(xùn)練過(guò)程中的多次逐層隨機(jī)采樣憑借其采樣速度快的優(yōu)勢(shì),大幅降低每層需要訓(xùn)練的數(shù)據(jù)量,進(jìn)一步加快訓(xùn)練速度并降低內(nèi)存開(kāi)銷(xiāo)。

1 基于多特征融合的城市場(chǎng)景三維點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)MFFN

1.1 MFFN整體結(jié)構(gòu)

MFFN采用了帶有跳躍連接的編碼-解碼結(jié)構(gòu),整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先將預(yù)處理后的N個(gè)攜帶D維特征的采樣點(diǎn)輸入網(wǎng)絡(luò),利用四組編碼解碼層學(xué)習(xí)每個(gè)點(diǎn)的局部特征,各層的特征維度為(8,32,128,256,512)。在每個(gè)編碼層中利用一個(gè)多特征局部聚合模塊(MFLA)融合局部鄰域內(nèi)的點(diǎn)云法向量、顏色和幾何形狀信息,并通過(guò)逐層隨機(jī)采樣方法降低訓(xùn)練點(diǎn)云量;之后在每個(gè)解碼層中插入一組多層感知機(jī)(MLP)和近鄰插值上采樣(US),使采樣點(diǎn)大小與每個(gè)采樣點(diǎn)攜帶的特征維度逐步恢復(fù)到原始大小;其間利用跳躍連接將編碼解碼過(guò)程中提取的相同維度的特征信息進(jìn)行融合;最后利用三個(gè)全連接層與一個(gè)dropout層對(duì)其進(jìn)行輸出,輸出結(jié)果為N×Class,Class為點(diǎn)云中的類(lèi)別個(gè)數(shù)。

圖1 MFFN架構(gòu)

1.2 不同階段的點(diǎn)云降采樣

1.2.1 數(shù)據(jù)預(yù)處理階段的網(wǎng)格采樣

為了解決城市點(diǎn)云數(shù)據(jù)規(guī)模大、網(wǎng)絡(luò)訓(xùn)練困難的問(wèn)題,該文利用網(wǎng)格采樣在降低點(diǎn)云數(shù)量的同時(shí),能最大程度地保留點(diǎn)云幾何結(jié)構(gòu)的特點(diǎn),在網(wǎng)絡(luò)訓(xùn)練前先利用網(wǎng)格采樣對(duì)點(diǎn)云進(jìn)行預(yù)處理。

首先,通過(guò)遍歷查找分別找出點(diǎn)云數(shù)據(jù)在X、Y、Z軸上的最大、最小坐標(biāo)值,為輸入點(diǎn)云建立一個(gè)能包圍全部三維點(diǎn)的最小立方體。然后把該立方體劃分為多個(gè)大小一樣的小體素;然后,確定每個(gè)三維點(diǎn)所在的體素網(wǎng)格;最后,計(jì)算每個(gè)網(wǎng)格內(nèi)三維點(diǎn)的重心,并利用該重心點(diǎn)代替網(wǎng)格內(nèi)的所有三維點(diǎn),即可得到網(wǎng)格采樣后的點(diǎn)云數(shù)據(jù)。

1.2.2 網(wǎng)絡(luò)訓(xùn)練階段的隨機(jī)采樣

隨機(jī)采樣會(huì)根據(jù)指定輸出的采樣點(diǎn)個(gè)數(shù)從輸入點(diǎn)云中進(jìn)行隨機(jī)點(diǎn)選取。與網(wǎng)格采樣、最遠(yuǎn)點(diǎn)采樣[18]、反密度采樣[19]等方法相比,隨機(jī)采樣的采樣速度與輸入點(diǎn)數(shù)無(wú)關(guān),且在采樣過(guò)程中沒(méi)有中間運(yùn)算步驟,計(jì)算效率極高。因此,在網(wǎng)絡(luò)編碼過(guò)程中利用隨機(jī)采樣逐層降低三維點(diǎn)數(shù),以大幅提高網(wǎng)絡(luò)的訓(xùn)練速度。

1.3 點(diǎn)云法向量特征分析與計(jì)算

1.3.1 法向量特征分析

為便于分析點(diǎn)云法向量的特性,圖2(a)(b)分別展示了植被和建筑物兩個(gè)類(lèi)別的法向量特征局部放大圖,圖中線(xiàn)條為相應(yīng)三維點(diǎn)的法向量。

圖2 部分類(lèi)別法向量特征放大圖

從圖2中可以看出,植被等不規(guī)則物體的法向量朝向參差不齊,但建筑物等光滑物體的法向量朝向基本一致,可見(jiàn)點(diǎn)云法向量在表面凹凸程度與光滑度相差較大的城市物體間有明顯的差異,這種特征在多數(shù)的城市物體上均有所體現(xiàn)。因此,利用法向量的這種特性輔助語(yǔ)義分割網(wǎng)絡(luò),可有效加強(qiáng)網(wǎng)絡(luò)對(duì)城市場(chǎng)景中這些類(lèi)別的學(xué)習(xí)能力。

1.3.2 法向量計(jì)算

法向量的計(jì)算方法有三種[20]:基于Delaunay三角分割的方法會(huì)受到離群點(diǎn)和噪聲的影響,因此不適用于現(xiàn)場(chǎng)采集的數(shù)據(jù);基于統(tǒng)計(jì)學(xué)原理的方法計(jì)算復(fù)雜度很高,且要求點(diǎn)云在尖銳特征處的采樣密度足夠稠密,因此不適用于局部區(qū)域稀疏的城市點(diǎn)云;基于局部表面擬合的方法計(jì)算原理簡(jiǎn)單清晰、速度快、使用范圍廣,該文采用該方法,具體計(jì)算過(guò)程如下:

首先進(jìn)行局部區(qū)域表面擬合,對(duì)于每個(gè)采樣點(diǎn)p,利用k近鄰搜索算法搜索到與其最近的k個(gè)近鄰點(diǎn),然后根據(jù)最小二乘法對(duì)k個(gè)點(diǎn)進(jìn)行曲面擬合,形成曲面的表達(dá)形式,如公式(1)所示。

(1)

(2)

隨后,對(duì)式(3)中的協(xié)方差矩陣M進(jìn)行特征值分解,求得M的所有特征值,其中最小的特征值所對(duì)應(yīng)的特征向量即為所求的法向量。

(3)

1.4 多特征局部聚合模塊MFLA

在網(wǎng)絡(luò)的隨機(jī)采樣過(guò)程中,不可避免地會(huì)丟失一些攜帶重要信息的三維點(diǎn),為了同時(shí)解決信息丟失和幾何形狀與顏色特征對(duì)城市場(chǎng)景表達(dá)不充分的問(wèn)題,該文引入RandLA-Net局部特征聚合的思想,設(shè)計(jì)了多特征局部聚合模塊,整體框架如圖3所示。該模塊主要由多特征局部編碼模塊、注意力池化模塊兩部分堆疊而成,并將堆疊后的輸出特征與輸入點(diǎn)云經(jīng)過(guò)多層感知機(jī)處理后的特征相加,獲得最終的聚合特征。通過(guò)多特征編碼的方式,緩解重要三維點(diǎn)丟失帶來(lái)的精度下降問(wèn)題;同時(shí),通過(guò)聚合法向量特征,網(wǎng)絡(luò)可以更好地學(xué)習(xí)一些特定城市類(lèi)別的特征信息,進(jìn)一步提高模型精度。

圖3 多特征局部聚合模塊

1.4.1 多特征局部編碼模塊

多特征局部編碼模塊通過(guò)編碼的方式將每個(gè)采樣點(diǎn)與其近鄰點(diǎn)之間建立聯(lián)系,使每個(gè)采樣點(diǎn)除了攜帶自身的多特征信息之外,還會(huì)攜帶與其它鄰域點(diǎn)之間的特征關(guān)系,這樣即使在隨機(jī)采樣過(guò)程中一些重要的三維點(diǎn)丟失,其部分特征信息仍能保留在其它鄰域點(diǎn)的特征編碼中,使網(wǎng)絡(luò)后續(xù)模塊可以更好地聚合局部特征;同時(shí),考慮到點(diǎn)云的法向量特征在一些特定的城市類(lèi)別上的差異性很大(鐵軌、植被、建筑等),通過(guò)將相對(duì)位置編碼與顏色信息、法向量信息進(jìn)行級(jí)聯(lián)的方式,加強(qiáng)網(wǎng)絡(luò)對(duì)這些類(lèi)別的學(xué)習(xí)能力,進(jìn)而提高整體的分割精度。

(4)

(5)

1.4.2 注意力池化模塊

注意力池化模塊用于聚合點(diǎn)的局部特征。首先,將多特征局部編碼模塊獲得的鄰域點(diǎn)多特征信息送入可學(xué)習(xí)的全連接層;然后,使用Softmax激活函數(shù)獲得該點(diǎn)多特征信息的權(quán)重;最后,將得到的所有鄰近點(diǎn)特征權(quán)重加權(quán)求和獲得局部鄰域聚合特征。在處理大規(guī)模城市場(chǎng)景的點(diǎn)云時(shí),該方法相比于最大池化或平均池化的優(yōu)勢(shì)在于注意力池化可以自動(dòng)選擇重要的局部特征,進(jìn)一步降低隨機(jī)采樣丟失關(guān)鍵點(diǎn)信息的影響,提高分割網(wǎng)絡(luò)的精度。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)使用的數(shù)據(jù)集是牛津大學(xué)的胡等人在2021年公開(kāi)的SensatUrban數(shù)據(jù)集[21],該數(shù)據(jù)集是城市規(guī)模攝影測(cè)量點(diǎn)云數(shù)據(jù)集,其中包含三個(gè)英國(guó)城市(伯明翰,劍橋以及約克)7.6平方公里中的近30億具有詳細(xì)語(yǔ)義標(biāo)注的點(diǎn),同時(shí)包含每個(gè)點(diǎn)的位置信息和顏色信息,共分為地面、植被、建筑物、墻面、橋梁、停車(chē)場(chǎng)、鐵軌、交通路、街道設(shè)施、汽車(chē)、人行道、單車(chē)和水13個(gè)語(yǔ)義類(lèi)別。

其中,伯明翰城市數(shù)據(jù)中類(lèi)別具體占比如表1所示,其它城市中的類(lèi)別占比與伯明翰類(lèi)似。

表1 伯明翰數(shù)據(jù)集中各類(lèi)別占比(誤差在0.001～0.01之間)

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為L(zhǎng)inux Ubuntu 18.04操作系統(tǒng)、Intel(R) Xeon(R) Silver 4210處理器、RTX 3090顯卡,使用CUDA11.2加速GPU計(jì)算,深度學(xué)習(xí)框架為基于python3.8的tensorFlow2.6.0。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 預(yù)處理階段采用不同采樣方法對(duì)網(wǎng)絡(luò)分割結(jié)果影響的對(duì)比分析

為驗(yàn)證網(wǎng)格采樣法在應(yīng)用于大規(guī)模城市場(chǎng)景點(diǎn)云數(shù)據(jù)預(yù)處理時(shí)的優(yōu)越性,分別采用隨機(jī)采樣與網(wǎng)格采樣對(duì)數(shù)據(jù)進(jìn)行降采樣,檢測(cè)其對(duì)模型訓(xùn)練的影響,評(píng)價(jià)指標(biāo)包括總體精度(OA)、平均交并比(mIoU)和各個(gè)類(lèi)別的交并比(IoU),實(shí)驗(yàn)結(jié)果如表2所示。由于目前無(wú)法獲得測(cè)試集標(biāo)簽,該文展示的相關(guān)實(shí)驗(yàn)結(jié)果均是將訓(xùn)練好的模型上傳至SensatUrban數(shù)據(jù)集發(fā)布者提供的官方網(wǎng)站后獲得的。從表2中可以看出,采用網(wǎng)格采樣的方法處理后的數(shù)據(jù)訓(xùn)練出來(lái)的模型,其各項(xiàng)指標(biāo)均優(yōu)于隨機(jī)采樣處理后的訓(xùn)練數(shù)據(jù),尤其是在一些分割精度本就較低的類(lèi)別上差距尤為明顯,如停車(chē)場(chǎng)、鐵軌、道路等。這主要是由于網(wǎng)格采樣與隨機(jī)采樣相比,保證了相對(duì)稀疏的位置也會(huì)有適量的三維點(diǎn)得以保留,使網(wǎng)絡(luò)可以更好地學(xué)習(xí)點(diǎn)云局部特征。

表2 隨機(jī)采樣與網(wǎng)格采樣對(duì)訓(xùn)練模型的影響 %

2.3.2 融合不同點(diǎn)云特征的實(shí)驗(yàn)結(jié)果對(duì)比分析

表3對(duì)比了在幾何特征中依次融入顏色特征與法向量特征的分割結(jié)果?？梢钥闯?當(dāng)點(diǎn)云數(shù)據(jù)中存在多種類(lèi)型時(shí),該文提出的多特征融合算法對(duì)地面、建筑物、墻面、鐵軌、植被、停車(chē)場(chǎng)、人行橫道等類(lèi)別的分割精度均有較大提升,其中對(duì)鐵軌分割精度的提升最為明顯,由0%提升至13.60%。這主要是由于這些類(lèi)別有著自己獨(dú)特的法向量特征,極大程度地降低了這些類(lèi)別之間相互錯(cuò)分的概率,如地面與停車(chē)場(chǎng)、道路與鐵軌、植被與城市設(shè)施等,說(shuō)明融入法向量特征提高了網(wǎng)絡(luò)對(duì)城市場(chǎng)景點(diǎn)云中這些類(lèi)別的分辨能力。

表3 融合單幾何特征、幾何特征+顏色特征、幾何特征+顏色特征+法向量特征三種情況的分割結(jié)果對(duì)比 %

續(xù)表3

2.3.3 MFFN與其它分割網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果對(duì)比分析

為進(jìn)一步驗(yàn)證文中算法在進(jìn)行城市場(chǎng)景三維點(diǎn)云語(yǔ)義分割中的有效性和優(yōu)越性,將MFFN與其它基于深度學(xué)習(xí)的分割方法進(jìn)行了比較。表4列出了這些算法在SensatUrban數(shù)據(jù)集上的分割性能,其相應(yīng)結(jié)果是由該數(shù)據(jù)集發(fā)布者在文獻(xiàn)[21]中提供,與MFFN的評(píng)估方法完全一致,可以對(duì)比分析。文中算法得到的平均交并比為55.90%,總體精度為91.90%,表明該算法在所有類(lèi)別上的評(píng)價(jià)指標(biāo)上均好于其它的分割方法,證明其能夠有效地提高大規(guī)模城市場(chǎng)景三維點(diǎn)云語(yǔ)義分割精度。

從表4中可以看出,文中算法對(duì)鐵軌、單車(chē)兩個(gè)類(lèi)別的分割效果仍較差,這主要是因?yàn)殍F軌和單車(chē)的訓(xùn)練數(shù)據(jù)太少(數(shù)據(jù)集中類(lèi)別占比如表1所示),這使得網(wǎng)絡(luò)無(wú)法很好地學(xué)習(xí)二者的特征,進(jìn)而很難將它們精準(zhǔn)分割;但表1顯示在數(shù)據(jù)集中墻面和橋梁的訓(xùn)練數(shù)據(jù)也較少,而它們?cè)诒?的結(jié)果中卻比鐵軌和單車(chē)效果好很多,這主要是因?yàn)閴γ婧蜆蛄罕憩F(xiàn)出與其它類(lèi)別完全不同的法向量特征,從而獲得了較高的分類(lèi)性能,進(jìn)一步說(shuō)明了融合法向量特征對(duì)整個(gè)網(wǎng)絡(luò)的分割精度有極大提升,由此表明融合法向量特征可有效提高大規(guī)模城市場(chǎng)景三維點(diǎn)云語(yǔ)義分割模型的性能。

表4 文中方法與其它先進(jìn)分割方法的實(shí)驗(yàn)結(jié)果對(duì)比 %

2.3.4 MFFN與其它分割網(wǎng)絡(luò)的模型參數(shù)和訓(xùn)練時(shí)間的對(duì)比分析

為了驗(yàn)證文中網(wǎng)絡(luò)模型在內(nèi)存開(kāi)銷(xiāo)和訓(xùn)練速度上的優(yōu)越性,分別從模型參數(shù)和每輪的訓(xùn)練時(shí)長(zhǎng)兩方面與其它網(wǎng)絡(luò)進(jìn)行了對(duì)比,結(jié)果如表5所示。為了保證對(duì)比的公平性,其它方法也在訓(xùn)練之前進(jìn)行了和文中方法相同的網(wǎng)格采樣預(yù)處理,使訓(xùn)練的數(shù)據(jù)量保持一致。從表中可以看出,雖然SPG的模型訓(xùn)練參數(shù)最少,但由于其依賴(lài)于昂貴的超點(diǎn)圖構(gòu)造,反而訓(xùn)練時(shí)間最長(zhǎng);PointNet++由于在網(wǎng)絡(luò)訓(xùn)練過(guò)程中采用的是最遠(yuǎn)點(diǎn)采樣法,其訓(xùn)練速度遠(yuǎn)低于采用隨機(jī)采樣的文中方法;且文中方法在網(wǎng)絡(luò)的分割性能明顯提升的前提下,兩項(xiàng)數(shù)據(jù)均與RandLA-Net幾乎持平,且訓(xùn)練速度大幅領(lǐng)先于其它網(wǎng)絡(luò),證明了該方法十分適用于數(shù)據(jù)量龐大的城市點(diǎn)云。

表5 MFFN與其它分割網(wǎng)絡(luò)的模型參數(shù)和訓(xùn)練時(shí)間的對(duì)比

2.3.5 MFFN與RandLA-Net分割結(jié)果的對(duì)比分析

圖4為MFFN與RandLA-Net在SensatUrban數(shù)據(jù)集中的分割結(jié)果,由于無(wú)法獲得測(cè)試集標(biāo)簽,該文從原數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)中選取出合適的點(diǎn)云數(shù)據(jù)用于測(cè)試出圖,選取的數(shù)據(jù)僅用于最終展示分割結(jié)果,并不參與模型訓(xùn)練,因此不會(huì)對(duì)模型性能評(píng)估產(chǎn)生影響。從圖4第一行可以看出,文中方法相比于RandLA-Net,極大程度地降低了地面、道路、人行橫道三個(gè)相似度較高的類(lèi)別的分割誤差;從圖4第二行可以看出,RandLA-Net將一處道路錯(cuò)分為停車(chē)場(chǎng),可能是該處道路與相連的其它道路顏色略有不同的原因?qū)е鲁霈F(xiàn)錯(cuò)分,而文中方法引入的法向量特征對(duì)其進(jìn)行了矯正,使錯(cuò)分面積明顯降低。

對(duì)比其它方法,MFFN方法具有更好的分割結(jié)果,這主要是受益于引入的法向量特征,通過(guò)多特征融合模塊將點(diǎn)云幾何特征、顏色特征與法向量進(jìn)行融合,使三者特征相輔相成,降低了單一特征帶來(lái)的分割誤差,且對(duì)局部區(qū)域內(nèi)占比較少的小型物體更加友好,有效地提高了大規(guī)模城市場(chǎng)景點(diǎn)云的分割精度。

3 結(jié)束語(yǔ)

該文引入了點(diǎn)云的法向量特征,有效地彌補(bǔ)了幾何形狀與顏色特征的不足,并基于RandLA-Net的特征聚合思想設(shè)計(jì)了多特征局部聚合模塊,將點(diǎn)云的法向量特征、顏色特征與幾何特征進(jìn)行融合,大幅提高了城市場(chǎng)景三維點(diǎn)云的分割精度。并且,在數(shù)據(jù)預(yù)處理階段與網(wǎng)絡(luò)訓(xùn)練階段分別采用網(wǎng)格采樣法與隨機(jī)采樣法進(jìn)行點(diǎn)云降采樣,保證了大規(guī)模城市點(diǎn)云的訓(xùn)練速度。在SensatUrban城市語(yǔ)義數(shù)據(jù)集上的結(jié)果顯示,該算法的平均交并比為55.90%、總體精度為91.90%,相比其它分割網(wǎng)絡(luò)在絕大多數(shù)類(lèi)別上的分割精度均有大幅提升。但由于城市場(chǎng)景點(diǎn)云數(shù)據(jù)中物體類(lèi)別分類(lèi)不均衡,部分類(lèi)別的占比過(guò)低,導(dǎo)致這些物體難以被分割,如鐵軌、單車(chē)等,引入法向量后雖有所提升,但并未達(dá)到預(yù)期效果,如何解決該問(wèn)題是下一步研究重點(diǎn)。