三維點(diǎn)云分割方法綜述

烏佳彤　羅毛欣　張奇　趙杰　郭會(huì)會(huì)

關(guān)鍵詞：三維點(diǎn)云；點(diǎn)云分割；數(shù)據(jù)處理

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）08-0026-03

0 引言

3D點(diǎn)云的分割任務(wù)常用來(lái)理解三維環(huán)境，對(duì)于自動(dòng)駕駛、機(jī)器人、虛擬現(xiàn)實(shí)等人工智能方向領(lǐng)域的應(yīng)用有著重要的意義。而充分探索點(diǎn)云中點(diǎn)之間的相關(guān)性是對(duì)點(diǎn)云特征建模的基礎(chǔ)。現(xiàn)如今，三維點(diǎn)云語(yǔ)義分割方法可被分為兩類：傳統(tǒng)點(diǎn)云分割方法和深度學(xué)習(xí)點(diǎn)云分割方法。傳統(tǒng)方法主要通過(guò)探索點(diǎn)的坐標(biāo)、顏色等信息來(lái)進(jìn)行類別判斷[1]。但傳統(tǒng)方法過(guò)于依賴人工來(lái)設(shè)計(jì)特征，計(jì)算成本較大，且傳統(tǒng)卷積方式無(wú)法直接對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行處理，在深度學(xué)習(xí)技術(shù)引入之后便逐漸淡出學(xué)者的研究視線。深度學(xué)習(xí)點(diǎn)云分割方法是將三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成適合卷積神經(jīng)網(wǎng)絡(luò)處理的序列從而對(duì)每個(gè)點(diǎn)賦予對(duì)應(yīng)的語(yǔ)義屬性。隨著2015年基于多視圖的深度學(xué)習(xí)模型[2]和基于體素化的3D卷積神經(jīng)網(wǎng)絡(luò)[3]被提出，深度學(xué)習(xí)開始廣泛應(yīng)用于3D點(diǎn)云數(shù)據(jù)的處理中，并顯示出了良好的分割效果，所以基于深度學(xué)習(xí)框架下的三維點(diǎn)云分割是未來(lái)點(diǎn)云分割領(lǐng)域發(fā)展的大方向。

1 傳統(tǒng)點(diǎn)云分割算法

根據(jù)分割計(jì)算方式的差異，分割算法大致分為以下幾類：基于邊緣檢測(cè)算法、基于區(qū)域增長(zhǎng)分割算法、基于特征聚類分割算法。

1.1 基于邊緣檢測(cè)方法

基于邊緣檢測(cè)算法在三維圖像的應(yīng)用可以大致分為兩種：（1） 直接法[4]。該方法直接對(duì)三維點(diǎn)云中的物體進(jìn)行辨別，對(duì)其邊緣進(jìn)行提取完成分割工作。（2）間接法[5]。該方法是將三維點(diǎn)云映射到二維圖像進(jìn)行分割后再將邊緣點(diǎn)再映射至三維圖像，完成分割工作。兩種方法的代表作、優(yōu)劣性以及適用場(chǎng)合如表1所示。

1.2 基于區(qū)域增長(zhǎng)分割方法

基于區(qū)域增長(zhǎng)分割方法是將點(diǎn)之間的差異通過(guò)相應(yīng)的數(shù)學(xué)準(zhǔn)則進(jìn)行判別，從而歸類相應(yīng)屬性的點(diǎn)。大致分為兩種：（1） 種子點(diǎn)區(qū)域增長(zhǎng)法；（2） 非種子點(diǎn)區(qū)域增長(zhǎng)法。種子點(diǎn)區(qū)域增長(zhǎng)與非種子點(diǎn)區(qū)域增長(zhǎng)算法的算法描述、代表作、優(yōu)劣性、適用場(chǎng)合如表2所示。

基于區(qū)域增長(zhǎng)算法能對(duì)所有三維點(diǎn)云數(shù)據(jù)進(jìn)行處理，從而保證有用數(shù)據(jù)不丟失。在分割精度上高于邊緣檢測(cè)算法，優(yōu)勢(shì)在于可以對(duì)場(chǎng)景內(nèi)的小型目標(biāo)物體進(jìn)行較精確分割，劣勢(shì)在于其算法過(guò)于依賴人工，對(duì)分割結(jié)果有嚴(yán)重影響。

1.3 基于特征聚類分割方法

基于特征聚類分割方法是通過(guò)點(diǎn)云中各點(diǎn)的特征向量計(jì)算出不同屬性的特征值，利用特征值對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行聚類算法（如K均值算法、模糊算法、最大模糊算法等[8]） ，聚類后得到各點(diǎn)形成的點(diǎn)集，即為分割區(qū)域。其中以2002年Filin[9]提出一種基于七點(diǎn)參數(shù)空間和模式搜索算法來(lái)提取點(diǎn)云表面類型為開山之作。此外，Hao等人[10]使用一種新的聚類方法對(duì)城市點(diǎn)云數(shù)據(jù)進(jìn)行分割，該方法不需要預(yù)先估計(jì)聚類數(shù)，有效減少了算法的復(fù)雜度。

基于特征聚類算法主要計(jì)算特征空間中距離，法線等特征向量所包含的信息的屬性。該方法能有效避免點(diǎn)云密度、噪聲點(diǎn)等所帶來(lái)影響分割結(jié)果的因素，但在大型密集點(diǎn)云中，計(jì)算點(diǎn)的特征信息具有相當(dāng)大的復(fù)雜度，所以時(shí)間成本會(huì)明顯增大。

1.4 基于模型擬合分割方法

基于模型的點(diǎn)云分割方法是通過(guò)數(shù)學(xué)模型中已知的幾何形狀，將點(diǎn)云數(shù)據(jù)中的各點(diǎn)與其進(jìn)行匹配，從而分割出點(diǎn)云的幾何模型。其中Fischer[11]提出的隨機(jī)樣本一致性算法（RANSAC） 成了后續(xù)大多基于模型擬合分割算法的基礎(chǔ)，利用數(shù)學(xué)模型中已知的基礎(chǔ)圖形（如直線，圓形等）的數(shù)學(xué)特征屬性對(duì)目標(biāo)點(diǎn)進(jìn)行分割。

基于模型算法利用已知的數(shù)學(xué)幾何模型進(jìn)行點(diǎn)云分割極大地提高了計(jì)算效率，同時(shí)降低了噪聲點(diǎn)的不利影響。但該算法限制于場(chǎng)景中存在明確物理形狀的條件中，所以普適性方面較差。

1.5 傳統(tǒng)方法評(píng)價(jià)

傳統(tǒng)方法應(yīng)用于三維點(diǎn)云分割的主要優(yōu)勢(shì)在于保持分割效果優(yōu)良的同時(shí)，在時(shí)間成本上具有一定優(yōu)勢(shì)。傳統(tǒng)分割算法在三維點(diǎn)云處理任務(wù)中已經(jīng)相對(duì)比較成熟，特別對(duì)小型稀疏場(chǎng)景下的小目標(biāo)物體分割效果較優(yōu)，能明顯區(qū)分于其他目標(biāo)物體。

2 深度學(xué)習(xí)點(diǎn)云分割算法

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，研究學(xué)者開始對(duì)點(diǎn)云數(shù)據(jù)處理方法深入開發(fā)，成功地將應(yīng)用于2D圖像分割任務(wù)中的卷積神經(jīng)網(wǎng)絡(luò)效仿應(yīng)用至3D點(diǎn)云分割任務(wù)中進(jìn)行處理。然而，與2D圖像中像素的排列方式不同，由于3D點(diǎn)云自身無(wú)序性的限制，使得它難以直接應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)獲取點(diǎn)與點(diǎn)之間的局部上下文信息。具體來(lái)說(shuō)，對(duì)一堆無(wú)序不規(guī)則的3D空間點(diǎn)進(jìn)行分類分割等任務(wù)時(shí)，難以保證將其輸入至卷積神經(jīng)網(wǎng)絡(luò)時(shí)輸入點(diǎn)的順序是有序一致的，在對(duì)網(wǎng)絡(luò)多次輸入點(diǎn)云數(shù)據(jù)訓(xùn)練時(shí)，容易對(duì)相同類別的點(diǎn)云進(jìn)行誤判。因此，一些專門針對(duì)于3D點(diǎn)云分割設(shè)計(jì)的深度學(xué)習(xí)框架被提出，其所對(duì)應(yīng)的分割方法在定量和定性分析中顯示出良好的效果。為了更好地描述近年來(lái)基于深度學(xué)習(xí)的3D點(diǎn)云分割任務(wù)，根據(jù)當(dāng)前點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)的輸入形式不同，將其分為兩大類：規(guī)則三維點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)和無(wú)規(guī)則三維點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)。

2.1 規(guī)則點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)

為解決點(diǎn)的不規(guī)則問(wèn)題，研究者提出將3D點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為體素網(wǎng)格或2D圖像等其他的規(guī)則格式，之后在二維卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理。大致可分為以下兩類：基于3D體積網(wǎng)絡(luò)、基于多視角網(wǎng)絡(luò)。其中，基于3D體積網(wǎng)絡(luò)方法是將3D點(diǎn)云數(shù)據(jù)表示為體積像素網(wǎng)格的形式后使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征的提取[3]。但依據(jù)體素網(wǎng)格形式將輸入的點(diǎn)云分割為相同的網(wǎng)格大小無(wú)疑增加了不必要的計(jì)算成本，且當(dāng)輸入稀疏點(diǎn)云時(shí)該方法不占優(yōu)勢(shì)?；诙嘁暯蔷W(wǎng)絡(luò)[2]方法的核心思想是利用物體在不同角度下的多張2D圖片來(lái)表示三維物體表面特征，之后使用二維卷積算子來(lái)完成3D點(diǎn)云分割等任務(wù)。該方法采用最大池化將多角度圖片下的圖形特征進(jìn)行提取容易造成信息重疊，普適性較差，且將3D點(diǎn)云從高維空間轉(zhuǎn)換至低維空間，容易丟失點(diǎn)中的信息?；?D體積網(wǎng)絡(luò)是通過(guò)將三維點(diǎn)云體素化為體積網(wǎng)格，再利用3D卷積對(duì)體素點(diǎn)云進(jìn)行處理[3]。該方法受限于存儲(chǔ)空間和3D卷積計(jì)算成本的約束，使得分割后的三維體積空間分辨率較差。

2.2 無(wú)規(guī)則點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)

無(wú)規(guī)則三維點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)是直接將無(wú)序不規(guī)則的點(diǎn)云作為網(wǎng)絡(luò)輸入，對(duì)每個(gè)點(diǎn)學(xué)習(xí)空間特征，之后將空間特征聚攏形成全局特征。2017年Qi 等人[12]提出的PointNet 為直接處理3D 點(diǎn)云開了先河。雖然該方法相比多視圖方法和體素化方法在盡可能不丟失幾何信息的同時(shí)解決了點(diǎn)云的旋轉(zhuǎn)和平移不變性問(wèn)題，對(duì)于場(chǎng)景的分割性能也有很大的提升，但該方法僅具備對(duì)全局特征進(jìn)行預(yù)測(cè)的能力，缺乏對(duì)局部特征的預(yù)測(cè)能力，且沒(méi)有充分探索點(diǎn)與點(diǎn)之間的相互關(guān)系，使得網(wǎng)絡(luò)無(wú)法很好地表征上下文。為了克服這些劣勢(shì)，隨后該團(tuán)隊(duì)提出PointNet++，以分層局部特征提取的思想將共享的MLP獲取的局部特征通過(guò)跳躍連接和線性插值進(jìn)行特征傳播，從而解決了Point?Net對(duì)局部特征提取不利的問(wèn)題[13]。為了學(xué)習(xí)豐富的局部信息，有許多基于PointNet++的深度神經(jīng)網(wǎng)絡(luò)迅速衍生出來(lái)。這些方法可以大致包括為基于點(diǎn)卷積[14-15]、基于圖的方法[16-18]、基于注意力的方法[19-20]等，這些方法在點(diǎn)云識(shí)別和語(yǔ)義分割方面取得了驚人的結(jié)果。

3 結(jié)束語(yǔ)

目前，基于深度學(xué)習(xí)框架的點(diǎn)云分割方法在分割精度方面遠(yuǎn)超傳統(tǒng)方法，成為未來(lái)點(diǎn)云分割領(lǐng)域發(fā)展的主流方向。但深度學(xué)習(xí)方法受限于計(jì)算機(jī)算力和時(shí)間成本，阻礙了在復(fù)雜大規(guī)模場(chǎng)景下進(jìn)行點(diǎn)云分割以及實(shí)時(shí)分割。針對(duì)現(xiàn)今分割方法多是監(jiān)督分割網(wǎng)絡(luò)的大環(huán)境下，發(fā)展弱監(jiān)督或者無(wú)監(jiān)督性網(wǎng)絡(luò)[21]來(lái)處理大場(chǎng)景的點(diǎn)云數(shù)據(jù)將會(huì)是未來(lái)的一大發(fā)展趨勢(shì)。