一種基于深度學(xué)習(xí)的兩段式三維面片過(guò)分割方法

吳語(yǔ)豪，李大威

(東華大學(xué) a.信息科學(xué)與技術(shù)學(xué)院,b.數(shù)字化紡織服裝技術(shù)教育部工程研究中心, 上海 201620)

點(diǎn)云數(shù)據(jù)是用于描述物體形狀的一系列三維坐標(biāo),其以離散點(diǎn)的形式保存了原始的物體空間信息。與二維圖像相比,點(diǎn)云數(shù)據(jù)對(duì)物體表面和深度信息變化劇烈的部分有更強(qiáng)的表達(dá)能力,在數(shù)據(jù)層面有效解決了二維圖像中普遍存在深度信息缺失和目標(biāo)重疊遮擋的問(wèn)題。在自動(dòng)駕駛領(lǐng)域,激光雷達(dá)點(diǎn)云成像技術(shù)和點(diǎn)云處理技術(shù)已經(jīng)被應(yīng)用于道路目標(biāo)的實(shí)時(shí)分割和識(shí)別[1]。在遙感領(lǐng)域,機(jī)載三維成像技術(shù)能夠分析地面建筑物分布,有助于精細(xì)化城市規(guī)劃[2]。在農(nóng)學(xué)領(lǐng)域,基于作物三維點(diǎn)云的器官識(shí)別與分割能夠輔助表型分析[3]與自動(dòng)化機(jī)器采摘。點(diǎn)云數(shù)據(jù)通常是雜亂無(wú)序的,以不規(guī)則的形式分布。利用三維掃描設(shè)備得到的點(diǎn)云多存在密度不均、點(diǎn)數(shù)無(wú)法固定的問(wèn)題,無(wú)法直接輸入現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)。此外,點(diǎn)云還存在粒度不確定性。這不僅需要增加新的后處理手段,還易帶來(lái)較大的后期計(jì)算量。因此,研究介于語(yǔ)義尺度和單點(diǎn)尺度間的中粒度分割算法對(duì)解決以上問(wèn)題具有積極意義。

在三維點(diǎn)云領(lǐng)域,這種中粒度分割通常被稱(chēng)為面片分割,其大多基于無(wú)監(jiān)督聚類(lèi)算法。二維圖像中的SLIC(simple linear iterative clustering)[4]算法可以通過(guò)更換距離計(jì)算函數(shù)的方法從而直接應(yīng)用于對(duì)三維點(diǎn)云的分割;文獻(xiàn)[5-6]提出的VCCS(voxel cloud connectivity segmentation),使用FPFH(fast point feature histogram)特征以及廣度優(yōu)先算法進(jìn)行面片分割;Li等[7]提出的面片分割方法主要面向植物葉片分割,并引入平面曲率作為聚類(lèi)特征,其分割結(jié)果被用于植物葉片的識(shí)別,取得了良好效果。

無(wú)監(jiān)督方法需要進(jìn)行大量的參數(shù)調(diào)節(jié),這使得算法的泛化能力不足,且難以精確規(guī)定生成的面片數(shù)量。學(xué)者們已經(jīng)逐漸注意到了無(wú)監(jiān)督方法的問(wèn)題,開(kāi)始提出一些有監(jiān)督的解決方案。在二維圖像超像素分割任務(wù)中,Jampani等[8]提出一種基于可導(dǎo)SLIC方法的超像素采樣網(wǎng)絡(luò)(superpixel sampling network, SSN),該方法計(jì)算每一個(gè)像素與超像素中心在深度特征空間中的關(guān)系并生成關(guān)聯(lián)矩陣Q。在三維點(diǎn)云面片分割的實(shí)踐中,文獻(xiàn)[9-11]提出基于圖的點(diǎn)云過(guò)分割方案,將三維點(diǎn)云過(guò)分割問(wèn)題轉(zhuǎn)化為一個(gè)GMP(generalized minimal partition)問(wèn)題,完成了對(duì)點(diǎn)云的面片分割,并成功地應(yīng)用在點(diǎn)云的語(yǔ)義分割任務(wù)中,雖然該分割方案有著較高的分割準(zhǔn)確性,但無(wú)法控制生成的面片數(shù)量,且生成面片的大小差別較大。本文為解決上述問(wèn)題,根據(jù)二維深度超像素分割網(wǎng)絡(luò)SSN,提出基于深度學(xué)習(xí)的三維點(diǎn)云面片過(guò)分割網(wǎng)絡(luò)(3D facet over-segmentation network,3DFON):

(1)設(shè)計(jì)了兩段式的三維面片過(guò)分割網(wǎng)絡(luò)架構(gòu),網(wǎng)絡(luò)前端是一個(gè)帶有前饋的Pointnet特征提取模塊,后端為允許傳遞誤差梯度的并行的點(diǎn)級(jí)別迭代聚類(lèi)算法模塊(parallel point simple linear iterative clustering,PPSLIC)。該網(wǎng)絡(luò)具有分割的面片數(shù)可隨意設(shè)置、不需要參數(shù)調(diào)節(jié)、面片規(guī)整性較好和泛化能力強(qiáng)的優(yōu)勢(shì)。

(2)同時(shí)使用點(diǎn)云語(yǔ)義分割(或?qū)嵗指?真實(shí)值和傳統(tǒng)無(wú)監(jiān)督方法獲取的面片進(jìn)行網(wǎng)絡(luò)訓(xùn)練,在保證面片的規(guī)整性不受太大影響的情況下大大提升了點(diǎn)云語(yǔ)義類(lèi)的貼邊性。

(3)在Shapenet數(shù)據(jù)集上超越了目前主流的無(wú)監(jiān)督面片分割算法。

1 網(wǎng)絡(luò)結(jié)構(gòu)

三維點(diǎn)云面片分割網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖1所示,網(wǎng)絡(luò)結(jié)構(gòu)分為前段與后段兩個(gè)部分。前段部分主體結(jié)構(gòu)借鑒了Pointnet的思想,向其加入了前饋結(jié)構(gòu)。前段輸入為含有n點(diǎn)的點(diǎn)云淺層特征圖,輸出則是維數(shù)固定的點(diǎn)級(jí)別深度神經(jīng)網(wǎng)絡(luò)特征,服務(wù)于網(wǎng)絡(luò)后段的三維面片的生成。后段部分受二維圖像超像素分割方法SSN[9]啟發(fā),提出允許傳遞訓(xùn)練誤差梯度的并行的點(diǎn)級(jí)別迭代聚類(lèi)算法模塊PPSLIC。對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí),同時(shí)使用了多種真實(shí)值對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,包括點(diǎn)云的實(shí)例標(biāo)簽、語(yǔ)義標(biāo)簽,以及使用傳統(tǒng)無(wú)監(jiān)督面片分割算法獲取的面片標(biāo)簽。

1.1 網(wǎng)絡(luò)前段

本文網(wǎng)絡(luò)的前段的主要結(jié)構(gòu)為Pointnet[12],該架構(gòu)創(chuàng)造性地兩次引入T-Net結(jié)構(gòu),以保證網(wǎng)絡(luò)對(duì)旋轉(zhuǎn)不變性特征提取的穩(wěn)定性。Pointnet在MLP層特征提取后使用了最大池化,該操作降低了點(diǎn)云的無(wú)序性對(duì)學(xué)習(xí)過(guò)程的影響,同時(shí)也提取了點(diǎn)云的全局特征。由于低級(jí)信息也能夠幫助提升面片的均勻性和規(guī)整性,本文在Pointnet主體結(jié)構(gòu)中加入了前饋跳級(jí)連接,將空間坐標(biāo)信息引入到深度特征提取部分的后面。前段網(wǎng)絡(luò)在最后階段將輸入點(diǎn)云特征與網(wǎng)絡(luò)輸出特征做了直接拼接,并使用了一個(gè)緊隨其后的MLP層對(duì)拼接后的特征進(jìn)行融合與降維。

圖1 三維點(diǎn)云面片過(guò)分割網(wǎng)絡(luò)的總體結(jié)構(gòu)Fig.1 Overall structure of 3D facet over-segmentation network

1.2 網(wǎng)絡(luò)后段

針對(duì)傳統(tǒng)二維圖像超像素分割算法不可導(dǎo)以及無(wú)法嵌入深度神經(jīng)網(wǎng)絡(luò)的問(wèn)題,Jampani等[8]設(shè)計(jì)的可導(dǎo)SLIC算法的后段聚類(lèi)算法,可通過(guò)迭代給出一個(gè)描述像素與超像素關(guān)聯(lián)的軟關(guān)系矩陣Q[Np,Nsp]傳遞訓(xùn)練誤差的梯度,解決了算法無(wú)法嵌入神經(jīng)網(wǎng)絡(luò)的問(wèn)題。但可導(dǎo)SLIC依賴(lài)方形窗口進(jìn)行聚類(lèi),只能在二維圖像上運(yùn)行。由于點(diǎn)云與二維圖像相比具有無(wú)序、密度不均的特點(diǎn),通過(guò)固定窗口的方法局部更新關(guān)聯(lián)矩陣會(huì)造成每次關(guān)聯(lián)計(jì)算時(shí)的點(diǎn)云-中心點(diǎn)關(guān)聯(lián)數(shù)量不一致,對(duì)程序?qū)崿F(xiàn)帶來(lái)困難。因此,提出了一種新的允許傳遞訓(xùn)練誤差梯度的算法PPSLIC,該算法與可導(dǎo)SLIC相似,生成一個(gè)含有點(diǎn)與面片關(guān)聯(lián)的軟關(guān)系矩陣Q[Np,Nf],其中Np為點(diǎn)云所含點(diǎn)數(shù),Nf則為最終分割的面片數(shù)。通過(guò)設(shè)置Nf,PPSLIC算法可以對(duì)分割形成的面片數(shù)量進(jìn)行控制。

PPSLIC算法流程見(jiàn)圖2,PPSLIC輸入深度特征P,輸出關(guān)聯(lián)矩陣Q或硬分配向量H。

圖2 PPSLIC算法流程Fig.2 The algorithm flow chart of PPSLIC

算法接受前段特征提取模塊所提取的深度特征P,并在特征上隨機(jī)選取Nf個(gè)點(diǎn)作為初始面片中心S0,即S0={s0,1,…,s0,Nf},該步同時(shí)確定了分割的面片數(shù)Nf與初始面片中心。

通過(guò)以下步驟進(jìn)行迭代tmax輪,令每一輪的序號(hào)為t。

步驟1:對(duì)第t-1輪迭代得到的面片中心集合St-1中序號(hào)從1至Nf的每個(gè)面片中心St-1,j,使用KNN算法尋找以該面片中心為原點(diǎn)的K個(gè)近鄰點(diǎn),形成近鄰點(diǎn)集Fneighbor。

步驟2:依據(jù)步驟一的得到的Fneighbor,構(gòu)建軟關(guān)聯(lián)矩陣Qt,Qt中元素值Qt,index(pi)j的計(jì)算方法如式(1)所示。

Qt,index(pi)j=e-‖pi-st-1,j‖

(1)

式中:pj為近鄰點(diǎn)集合Fneighbor中的點(diǎn);index(pi)j為pi在輸入特征P中的實(shí)際序號(hào)。

對(duì)Qt中的每一列計(jì)算歸一化因子Zt,j,計(jì)算方法如式(2)所示。

(2)

根據(jù)關(guān)聯(lián)矩陣與歸一化因子更新面片中心,得到新的面片中心集合St。St中元素St,j的計(jì)算方法如式(3)所示。

在預(yù)測(cè)與可視化階段,本文算法使用式(4)獲得點(diǎn)與面片的硬分配向量H,輸出結(jié)果用于指標(biāo)計(jì)算與可視化。

式中:htmax,i為硬分配向量標(biāo)簽H中的元素,表示點(diǎn)云中第i個(gè)點(diǎn)所屬的面片。

本文提出的聚類(lèi)算法突破了SSN中僅可用于二維圖像的可導(dǎo)SLIC算法的局限性,將軟分配SLIC機(jī)制拓展到了三維點(diǎn)云的過(guò)分割領(lǐng)域。此外,可導(dǎo) SLIC對(duì)每個(gè)像素使用鄰域關(guān)系尋找周?chē)某袼刂行?并與這些像素中心進(jìn)行關(guān)聯(lián)計(jì)算。由于在三維空間上無(wú)法通過(guò)簡(jiǎn)單的鄰域關(guān)系確定最近的面片中心,本文算法對(duì)每個(gè)面片中心使用了輸出點(diǎn)數(shù)固定的KNN算法作為替代對(duì)鄰域點(diǎn)進(jìn)行尋找,并更新這些點(diǎn)在關(guān)聯(lián)矩陣中相應(yīng)位置的值;同時(shí),這種操作使得算法有著良好的對(duì)稱(chēng)性,易于并行化,從而提高算法的運(yùn)行速度。

1.3 損失函數(shù)

令具體的點(diǎn)云劃分真實(shí)值(語(yǔ)義分割標(biāo)簽或者實(shí)例分割標(biāo)簽)展開(kāi)為Rseg,Rseg反映了點(diǎn)與點(diǎn)云語(yǔ)義劃分之間的對(duì)應(yīng)關(guān)系。在一個(gè)理想點(diǎn)云的面片分割中,每個(gè)面片不應(yīng)該跨越語(yǔ)義類(lèi)或?qū)嵗?lèi)的邊界,因此必定存在一個(gè)面片劃分和點(diǎn)云語(yǔ)義劃分之間的多對(duì)一關(guān)系Useg,該關(guān)系可由線性映射得到,如式(5)所示。

為了使經(jīng)過(guò)面片分割后的Rpred能夠盡量接近原始的Rseg,利用點(diǎn)云劃分真實(shí)值Rseg、重建值,以及交叉熵?fù)p失函數(shù)Lentropy計(jì)算點(diǎn)級(jí)別的重建損失Lrec,損失的計(jì)算方法如式(7)所示。

雖然式(7)能夠保證由網(wǎng)絡(luò)生成的面片有良好的點(diǎn)云語(yǔ)義貼邊性,但是單純使用這種損失訓(xùn)練網(wǎng)絡(luò)會(huì)帶來(lái)面片形狀奇異、生成的面片大小不均勻的問(wèn)題。傳統(tǒng)的無(wú)監(jiān)督聚類(lèi)面片劃分算法的語(yǔ)義貼邊性較差,但擁有較理想的規(guī)整性。為了引入良好的面片規(guī)整性,本文設(shè)計(jì)以傳統(tǒng)的SLIC面片分割結(jié)果(Rfacet)作為規(guī)整性劃分約束網(wǎng)絡(luò)生成規(guī)整面片的新?lián)p失函數(shù)項(xiàng)Lreg,如式(8)所示。

此外,本文引入了SSN網(wǎng)絡(luò)中的距離損失函數(shù)作為第二種面片規(guī)整性約束Lcpt。Lcpt的原理是建立一個(gè)基于L2距離的損失,點(diǎn)與所在面片的中心距離越遠(yuǎn),該損失項(xiàng)的值越大,其計(jì)算如式(9)所示。

式中:pi為點(diǎn)i的空間坐標(biāo);shi為點(diǎn)i所屬片面中心的空間坐標(biāo)。

此時(shí)前端網(wǎng)絡(luò)的總損失L由式(10)計(jì)算所得,其中α取值為0.500,而β取值為0.001。

L=Lrec+αLcpt+βLreg

當(dāng)然，我也高興，我肩上的重?fù)?dān)也能卸下了。以前公司里的許多瑣事都由我一人打理，如今公司部門(mén)齊全，雜七雜八的事都有人做了，那些活都不需要我自己干，卸下了不少擔(dān)子。

(10)

網(wǎng)絡(luò)的訓(xùn)練過(guò)程如圖3所示。由圖3可知,以8個(gè)點(diǎn)劃分為3個(gè)面片的任務(wù)為例,網(wǎng)絡(luò)以?xún)深?lèi)的語(yǔ)義分割真實(shí)值進(jìn)行訓(xùn)練,以流程的方式展示了Lrec損失項(xiàng)的計(jì)算方法。

圖3 網(wǎng)絡(luò)損失項(xiàng)Lrec計(jì)算的圖形化表示Fig.3 The graphic demonstration of Lrec in our network

2 試驗(yàn)結(jié)果及其分析

2.1 數(shù)據(jù)準(zhǔn)備與網(wǎng)絡(luò)訓(xùn)練

本文使用了Shapenet Parts[13]數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行了訓(xùn)練與測(cè)試,試驗(yàn)按照Shapenet的官方分隔建議將數(shù)據(jù)集分成了訓(xùn)練集、測(cè)試集以及驗(yàn)證集3個(gè)部分,物體數(shù)分別為12 137、2 874和1 870。對(duì)數(shù)據(jù)集的預(yù)處理與Pointnet的處理方式相同,輸入特征為無(wú)色彩的三維坐標(biāo)數(shù)據(jù)。該三維物體數(shù)據(jù)集中每個(gè)點(diǎn)云是一個(gè)完整的物體;數(shù)據(jù)集同時(shí)提供了語(yǔ)義分割與實(shí)例分割的真實(shí)值,為本文網(wǎng)絡(luò)帶來(lái)了更豐富的訓(xùn)練數(shù)據(jù)。同時(shí),試驗(yàn)使用SLIC算法在Shapenet Parts數(shù)據(jù)集上進(jìn)行了面片數(shù)為50的無(wú)監(jiān)督面片過(guò)分割,將得到的粗糙分割結(jié)果作為真實(shí)值幫助訓(xùn)練網(wǎng)絡(luò)。Shapenet Parts數(shù)據(jù)集中一個(gè)物體點(diǎn)云對(duì)應(yīng)的3種真實(shí)值的展示見(jiàn)圖4。圖4(b)為數(shù)據(jù)集中的語(yǔ)義分割真實(shí)值Rseg(S);圖4(c)為數(shù)據(jù)集中的實(shí)例分割真實(shí)值Rseg(I);圖4(d)為使用SLIC算法在Shapenet原始點(diǎn)云上直接進(jìn)行面片分割所得的面片數(shù)為50的粗糙面片分割結(jié)果Rfacet。真實(shí)值標(biāo)簽中不同類(lèi)的點(diǎn)使用不同的顏色表示。

圖4 Shapenet Parts數(shù)據(jù)集對(duì)應(yīng)的3種真實(shí)值Fig.4 Three types of ground truth of the Shapenet Parts dataset

本文網(wǎng)絡(luò)在Ubuntu操作系統(tǒng)中使用了PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn),所有訓(xùn)練及測(cè)試在一塊Nvidia RTX2080 GPU上完成。優(yōu)化器為Adam,批尺寸為20,初始學(xué)習(xí)率設(shè)置為3×10-5,每進(jìn)行一個(gè)epoch的訓(xùn)練后學(xué)習(xí)率下降為當(dāng)前值的95%。

2.2 評(píng)價(jià)指標(biāo)

試驗(yàn)將欠分割誤差、可達(dá)成最大分割精度與面片規(guī)整性3種評(píng)價(jià)指標(biāo)作為生成面片的定量評(píng)價(jià)指標(biāo)。

欠分割誤差衡量了三維中的面片或者二維圖像中的超像素“跨越”對(duì)應(yīng)語(yǔ)義真實(shí)值邊界的程度,在一定程度上反映了過(guò)分割的面片貼近物體邊緣的能力。該指標(biāo)有多種計(jì)算方法,本文采用了文獻(xiàn)[14]提出的原用于衡量超像素分割誤差的計(jì)算方法對(duì)欠分割誤差進(jìn)行計(jì)算,如式(11)所示。

(11)

式中:G為語(yǔ)義或?qū)嵗指钫鎸?shí)值;F為使用本文方法得到的面片分割結(jié)果;Gi為語(yǔ)義類(lèi)別為i的點(diǎn);Fj為面片標(biāo)簽為j的點(diǎn);∩為求交集。

可達(dá)成最大分割精度表示算法理論上能夠獲得的最佳面片分割結(jié)果。因此,該值越接近1,代表面片的語(yǔ)義貼邊性越強(qiáng),可達(dá)成最大分割精度ASA的計(jì)算方法如式(12)所示。

衡量圖像超像素過(guò)分割的規(guī)整性指標(biāo)是由Schick等[15]在等周熵的基礎(chǔ)上提出的。等周熵O的計(jì)算方法如式(13)所示。

式中:|A|為超像素面積;LC為超像素周長(zhǎng);AC為周長(zhǎng)為L(zhǎng)C的圓的面積。

圓為二維平面中最具有規(guī)整性的形狀,且在所有周長(zhǎng)相等的閉合形狀下的面積最大,即圖形的等周熵O越接近1則規(guī)整性越好。超像素規(guī)整性的計(jì)算方法如式(14)所示。

式中:|Ai|為分割結(jié)果中標(biāo)簽為i的超像素塊面積;Rsp為分割結(jié)果中每個(gè)面片等周熵的面積加權(quán)和

Rsp的值越高說(shuō)明超像素分割的規(guī)整性越好,但無(wú)法直接衡量面片分割的結(jié)果,這是由于面片上的點(diǎn)不在一個(gè)二維平面上。因此,本文在Rsp的基礎(chǔ)上提出一種針對(duì)三維面片的規(guī)整性衡量指標(biāo)(圖5),將每個(gè)單獨(dú)的面片上所有的點(diǎn)用主成分分析計(jì)算出法向量,然后根據(jù)法向量將所有點(diǎn)投影到一個(gè)二維平面上形成一個(gè)形似的超像素。此時(shí),使用貪婪三角網(wǎng)格化[16]與邊緣點(diǎn)搜索[7]分別計(jì)算出形似超像素面積和與該超像素周長(zhǎng)。最后利用式(13)與(14)計(jì)算形似超像素的等周熵與超像素規(guī)整性值,該Rsp值則作為點(diǎn)云的規(guī)整性指標(biāo),即面片規(guī)整性。

2.3 不同三維面片化方法的比較

將本模型與傳統(tǒng)的SLIC算法、文獻(xiàn)[7]中的面片化算法進(jìn)行對(duì)比試驗(yàn),其中SLIC算法與本模型均在目標(biāo)點(diǎn)云上固定分割出50個(gè)面片,而文獻(xiàn)[7]中的算法無(wú)法精確控制分割形成的面片數(shù)量,試驗(yàn)通過(guò)人為調(diào)節(jié)參數(shù)的方法控制其分割的面片數(shù)量為50左右。3種算法在3個(gè)指標(biāo)衡量下的定量對(duì)比結(jié)果如表1所示。其中ASA與面片規(guī)整性越高越好,而Eu則越低越好。

圖5 單面片的等周熵計(jì)算方法Fig.5 The calculation of the compactness of a single facet

表1 3種方法在Shapenet Parts數(shù)據(jù)集上的定量對(duì)比

SLIC算法、文獻(xiàn)[7]算法及本文算法在Shapenet Parts數(shù)據(jù)集上的定性對(duì)比如圖6所示。由圖6可知,從上到下每行的點(diǎn)云分別為桌子、飛機(jī)、椅子和油燈,其中虛線框處重點(diǎn)展示了在各算法中本文算法具有較好語(yǔ)義貼邊性的位置。本文算法生成的面片分割結(jié)果在語(yǔ)義類(lèi)真實(shí)值的依附上略強(qiáng)于其他兩種方法,圖6實(shí)例中桌子的虛線框位置顯示本文算法能較好地區(qū)分桌腿和桌板這兩個(gè)語(yǔ)義類(lèi),并較好地分割出了飛機(jī)引擎的邊界以及油燈燈座和底盤(pán)的語(yǔ)義分界。相較于SLIC算法、文獻(xiàn)[7]算法而言,本文算法在欠分割誤差、可達(dá)成最大分割精度這兩項(xiàng)定量指標(biāo)上都達(dá)到了最佳,表現(xiàn)出了良好的面片語(yǔ)義貼邊性,其雖然在規(guī)整性的定量指標(biāo)方面略遜于傳統(tǒng)算法,但在定性視覺(jué)效果上與傳統(tǒng)算法相當(dāng),差別并不明顯。

圖6 3種算法在Shapenet Parts數(shù)據(jù)集上的定性對(duì)比Fig.6 Qualitative comparison of three methods on the Shapenet Parts dataset

2.4 剝離試驗(yàn)及結(jié)果分析

為了驗(yàn)證所構(gòu)建的深度三維面片過(guò)分割網(wǎng)絡(luò)訓(xùn)練損失的合理性,以及使用預(yù)生成的面片分割標(biāo)簽訓(xùn)練本文的網(wǎng)絡(luò)的方案合理性,設(shè)計(jì)綜合剝離試驗(yàn)。剝離試驗(yàn)共包括4個(gè)方案,將4個(gè)方案進(jìn)行定性與定量的對(duì)比。方案2與方案4均使用式(10)中的所有損失項(xiàng),以及預(yù)生成的粗糙面片進(jìn)行訓(xùn)練,兩者區(qū)別在于方案4采用Shapenet Parts數(shù)據(jù)集中比語(yǔ)義標(biāo)簽信息更為精細(xì)的實(shí)例分割標(biāo)簽。方案1與方案3未使用預(yù)生成的面片進(jìn)行訓(xùn)練,并在損失函數(shù)中刪除了與面片訓(xùn)練相關(guān)的損失函數(shù)Lreg。所有方案中僅在訓(xùn)練時(shí)有所區(qū)別,訓(xùn)練時(shí)α與β被統(tǒng)一設(shè)置為0.500以及0.001,測(cè)試時(shí)使用了相同的語(yǔ)義分割測(cè)試集進(jìn)行測(cè)試及定量指標(biāo)計(jì)算。4種方案在損失函數(shù)以及訓(xùn)練標(biāo)簽組成上的對(duì)比如表2所示,方案4是本文最后選取的試驗(yàn)方案。

表2 剝離試驗(yàn)中的訓(xùn)練方案對(duì)比Table 2 The training details of the ablation analysis

4種方案的定量對(duì)比結(jié)果如表3所示。從表3中可知:相比于方案1、方案3,方案2、方案4在規(guī)整性指標(biāo)上提升約3%,驗(yàn)證了以粗糙面片訓(xùn)練網(wǎng)絡(luò)能夠帶來(lái)規(guī)整性的大幅改善的結(jié)論。方案4使用更加精細(xì)的實(shí)例真實(shí)值標(biāo)簽后,相比于方案2以略微損失面片規(guī)整性的代價(jià)換取在ASA和Eu兩個(gè)指標(biāo)上的明顯優(yōu)勢(shì)。方案3相比于方案1在ASA和Eu兩個(gè)指標(biāo)上也有提升,再次驗(yàn)證了在訓(xùn)練中使用更加精細(xì)的實(shí)例真實(shí)值標(biāo)簽的優(yōu)勢(shì)。

表3 4種訓(xùn)練方案的定量結(jié)果對(duì)比

4種方案的定性測(cè)試結(jié)果如圖7所示,該定性結(jié)果對(duì)比在4個(gè)物體上進(jìn)行,包括沙發(fā)椅、手提包、四腿椅與便攜式計(jì)算機(jī),原始點(diǎn)云用黑色點(diǎn)表示。

由圖7可以看出:方案1、方案3多次出現(xiàn)了長(zhǎng)條形和不規(guī)則的面片,規(guī)整性較差;方案2、方案4不僅面片的規(guī)整性比較好,而且語(yǔ)義貼邊性比較強(qiáng)。綜合而言,方案4是最佳的選擇,定量和定性的剝離試驗(yàn)均說(shuō)明了本文提出的訓(xùn)練方式和損失函數(shù)是有效的。

圖7 原始點(diǎn)云與4種訓(xùn)練方案的定性結(jié)果對(duì)比Fig.7 Qualitative comparison of four different architectures and original pointcloud

2.5 預(yù)訓(xùn)練網(wǎng)絡(luò)在其他數(shù)據(jù)集上的應(yīng)用

設(shè)計(jì)的深度三維面片過(guò)分割網(wǎng)絡(luò)的前端是一個(gè)特征提取器,其注重于局部特征的提取,使用某一數(shù)據(jù)集訓(xùn)練完成的模型,即不需要重新訓(xùn)練直接應(yīng)用于其他數(shù)據(jù)集。通過(guò)把在Shapenet Parts數(shù)據(jù)集上預(yù)訓(xùn)練的模型應(yīng)用在其他點(diǎn)云數(shù)據(jù)集上,得以驗(yàn)證本文算法的泛化能力。將本文的預(yù)訓(xùn)練模型在文獻(xiàn)[17]的Partnet數(shù)據(jù)集上進(jìn)行測(cè)試,分割的面片數(shù)被定為50。圖8分別展示了手提袋、沙發(fā)、臺(tái)燈的不同角度點(diǎn)云分割結(jié)果。本文算法從不同視角均保持了生成的面片較規(guī)整,且面片的語(yǔ)義貼邊性較好等特點(diǎn)。

圖8 Partnet Parts數(shù)據(jù)集中的物體點(diǎn)云分割結(jié)果Fig.8 Point cloud segmentation results on Partnet dataset

將文獻(xiàn)[18-19]中提出的植物點(diǎn)云用于本文的預(yù)訓(xùn)練模型,選取3株植物進(jìn)行面片分割并進(jìn)行展示,結(jié)果如圖9所示。為了保持良好的視覺(jué)效果,分割的面片數(shù)規(guī)定為20。由圖9可知,3種植物不同角度的點(diǎn)云分割結(jié)果中預(yù)訓(xùn)練模型仍保持一定的面片規(guī)整性與語(yǔ)義邊緣依附性,由此可知本文的預(yù)訓(xùn)練模型有較好的分割效果與泛化性能。

圖9 植物數(shù)據(jù)集的分割結(jié)果Fig.9 Segmentation results of plant dataset

3 結(jié) 語(yǔ)

針對(duì)現(xiàn)存三維點(diǎn)云面片化分割方法難以精確規(guī)定生成的面片數(shù)量,且在使用過(guò)程中需要進(jìn)行復(fù)雜的參數(shù)調(diào)節(jié)的問(wèn)題,本文提出了基于深度學(xué)習(xí)的三維點(diǎn)云面片化分割網(wǎng)絡(luò),其具有兩段式的網(wǎng)絡(luò)架構(gòu)。網(wǎng)絡(luò)前段為增加了前饋連接的Pointnet特征提取模塊,網(wǎng)絡(luò)后段為允許傳遞網(wǎng)絡(luò)訓(xùn)練誤差以及梯度的并行點(diǎn)級(jí)別迭代聚類(lèi)算法模塊。利用以傳統(tǒng)點(diǎn)云語(yǔ)義/實(shí)例分割真實(shí)值與傳統(tǒng)三維點(diǎn)云面片分割方法分割生成的真實(shí)值為基礎(chǔ)的損失函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,并與SLIC算法和文獻(xiàn)[7]中的算法進(jìn)行了對(duì)比。研究結(jié)果表明:本文網(wǎng)絡(luò)在保證面片規(guī)整性的前提下具備較好的語(yǔ)義貼邊性;在過(guò)分割誤差以及可達(dá)成最大分割精度這兩個(gè)指標(biāo)上均優(yōu)于其他兩種無(wú)監(jiān)督三維點(diǎn)云面片分割方法。

未來(lái)將繼續(xù)發(fā)展深度三維點(diǎn)云面片分割網(wǎng)絡(luò)框架,提高網(wǎng)絡(luò)分割生成面片的規(guī)整性,為即時(shí)地圖構(gòu)建、無(wú)人駕駛、精準(zhǔn)農(nóng)業(yè)等領(lǐng)域的發(fā)展做貢獻(xiàn)。