一種基于神經(jīng)網(wǎng)絡(luò)的傾斜攝影三維語義分割方法

徐 軍,尹長(zhǎng)林,許文強(qiáng)

(1.湖南省第二測(cè)繪院，湖南 長(zhǎng)沙 410009;2.自然資源部 南方丘陵區(qū)自然資源監(jiān)測(cè)監(jiān)管重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙 410009;3.長(zhǎng)沙市規(guī)劃信息服務(wù)中心，湖南 長(zhǎng)沙 410013)

現(xiàn)有的傾斜攝影城市三維場(chǎng)景僅表達(dá)了城市的表面特征，缺乏語義信息，不利于深度應(yīng)用。為此，本研究提出了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的傾斜攝影三維模型的語義分割方法。針對(duì)傾斜攝影三維格網(wǎng)轉(zhuǎn)換后的點(diǎn)云數(shù)據(jù)，首先采用最小能量計(jì)算進(jìn)行幾何分區(qū)和超點(diǎn)圖構(gòu)建，采取一種特征融合神經(jīng)網(wǎng)絡(luò)模型FF-PointNet（feature fusion-pointNet），實(shí)現(xiàn)點(diǎn)云局部特征和全局特征提取和融合，并將融合后的特征嵌入超點(diǎn)圖，最后采用圖卷積網(wǎng)絡(luò)進(jìn)行語義分割。為提高模型泛化能力，采用focal loss作為損失函數(shù)，同時(shí)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行了數(shù)據(jù)增強(qiáng)處理。經(jīng)過實(shí)驗(yàn)驗(yàn)證，并與SPG模型進(jìn)行對(duì)比，結(jié)果表明本文所提出的傾斜攝影三維語義分割方法具有較好的精度和適用性。

利用傾斜攝影平臺(tái)快速獲取多角度影像，已成為當(dāng)前獲取空間數(shù)據(jù)的有效方式之一，尤其是在三維城市建設(shè)等領(lǐng)域有著獨(dú)特的優(yōu)勢(shì)。傾斜攝影具有數(shù)據(jù)采集速度快、生產(chǎn)成本低、自動(dòng)化程度高、成果表達(dá)豐富等特點(diǎn),近年來逐漸成為城市三維建模的主流方法。

但是傾斜攝影三維數(shù)據(jù)存在的一個(gè)普遍問題是缺乏語義信息，計(jì)算機(jī)無法自動(dòng)識(shí)別和區(qū)分場(chǎng)景中的地面、樹木、建筑、道路等不同類型的語義信息，重建后的模型往往只能用于展示和瀏覽。語義分割是提取三維數(shù)據(jù)語義信息的必要手段，其目標(biāo)是對(duì)感興趣的幾何要素對(duì)象（如三維點(diǎn)、面片等）自動(dòng)分配一個(gè)類別標(biāo)簽。當(dāng)前已有的三維語義分割方法可以分為兩大類：一類是基于手工特征提取的方法；另一類是基于深度學(xué)習(xí)的方法。深度學(xué)習(xí)的方法隨著人工智能的發(fā)展近年來受到了越來越多研究者的重視。但整體上看，將深度學(xué)習(xí)應(yīng)用于三維語義分割是近幾年的研究熱點(diǎn)，但當(dāng)前主要還是在神經(jīng)網(wǎng)絡(luò)模型研究階段，且大多針對(duì)室內(nèi)或者小范圍的局部三維點(diǎn)云數(shù)據(jù)，在具體傾斜攝影城市三維語義分割的應(yīng)用研究方面并不多見。

本研究將結(jié)合傾斜攝影三維數(shù)據(jù)成果的特點(diǎn)，在已有研究成果基礎(chǔ)上，探討將神經(jīng)網(wǎng)絡(luò)應(yīng)用于三維模型的語義分割，提出一種傾斜攝影三維模型語義分割的較優(yōu)處理框架和方法。

1 三維格網(wǎng)模型的點(diǎn)云化處理和幾何分區(qū)

傾斜攝影三維建模的最終數(shù)據(jù)成果為帶紋理的三維表面模型，如圖1(a)所示。該成果的幾何模型通常采用不規(guī)則格網(wǎng)表達(dá)，如圖1(b)所示。本研究基于傾斜攝影的三維表面模型進(jìn)行語義分割，先重點(diǎn)考慮深度學(xué)習(xí)建模和大規(guī)模數(shù)據(jù)簡(jiǎn)化處理的需要，提出數(shù)據(jù)模型處理的方法。

1.1 基于表面格網(wǎng)數(shù)據(jù)的點(diǎn)云模型構(gòu)建

三維表面格網(wǎng)數(shù)據(jù)保留了數(shù)據(jù)尺度特征，而且具有空間拓?fù)潢P(guān)系。在連續(xù)三維空間中三角格網(wǎng)頂點(diǎn)的空間位置確定了每一個(gè)三角面片的幾何信息。為便于計(jì)算，本文選擇三角面片的頂點(diǎn)為計(jì)算單元對(duì)象［如圖1(c)所示］，將三角格網(wǎng)的語義分割問題轉(zhuǎn)換為點(diǎn)云語義分割的問題。

圖1 傾斜攝影三維數(shù)據(jù)成果及轉(zhuǎn)換Fig.1 3D Data production and transformation of oblique photography

經(jīng)過表面格網(wǎng)轉(zhuǎn)換的點(diǎn)云，除了具有空間幾何信息、紋理顏色信息，同時(shí)還具備點(diǎn)與點(diǎn)之間的拓?fù)溥B接關(guān)系，它對(duì)描述局部特征具有重要價(jià)值。

1.2 基于全局能量最小化計(jì)算的點(diǎn)云粗分割

為了減小后續(xù)深度學(xué)習(xí)的計(jì)算量，本研究采用全局能量最小化計(jì)算的方法對(duì)點(diǎn)云進(jìn)行粗分割處理[1]，將點(diǎn)云分割為不同的幾何區(qū)域。

借鑒Landrieu L提出的思想，將每個(gè)幾何分區(qū)稱為一個(gè)超點(diǎn)。同時(shí)，為了充分考慮局部和全局特征，基于圖理論構(gòu)建超點(diǎn)圖，用來實(shí)現(xiàn)超點(diǎn)之間鄰接關(guān)系的結(jié)構(gòu)化表達(dá)。具體思路和步驟如下：

1.2.1 點(diǎn)云幾何分區(qū)

假設(shè)輸入的點(diǎn)云集合為P，有n個(gè)三維點(diǎn)。每個(gè)點(diǎn)Pi∈S由其三維空間坐標(biāo)和顏色屬性Pi={xi,yi,zi,ri,gi,bi}定義其特征，先對(duì)點(diǎn)云P進(jìn)行粗分割，實(shí)現(xiàn)幾何分區(qū)和超點(diǎn)圖的構(gòu)建。

首先，采用空間鄰域幾何特征分析計(jì)算每個(gè)點(diǎn)的局部鄰域特征，包括局部線性、局部平面性、局部分散性、局部垂直度、高程值5個(gè)特征，特征值的計(jì)算方法基于點(diǎn)的局部協(xié)方差理論來計(jì)算。對(duì)于局部鄰域定義，采用K-鄰近方法。本文借鑒經(jīng)驗(yàn)做法K值取20。不同于一般的K-鄰近在空間距離度量上采用歐氏距離，本研究充分考慮頂點(diǎn)之間的拓?fù)潢P(guān)系，采用基于Dijkstra最短路徑算法的表面格網(wǎng)模型的測(cè)地距離作為K-鄰近算法的距離度量。在計(jì)算局部特征的基礎(chǔ)上，構(gòu)建點(diǎn)云的隨機(jī)條件場(chǎng)模型，通過對(duì)模型中無向連通圖計(jì)算能量函數(shù)，并采用圖割理論進(jìn)行全局最優(yōu)求解。經(jīng)過計(jì)算后，每個(gè)超點(diǎn)的特征包含三維位置x、y、z、r、g、b、局部線性度、局部平面度、局部散度、局部垂直度、相對(duì)高程屬性，相比于原始的三維點(diǎn)，超點(diǎn)的特征維度從6維增加到了11維。

經(jīng)過幾何分區(qū)后，三維模型得到了有效切割，如圖2(b)所示每一個(gè)色塊表示一個(gè)分區(qū)結(jié)果。

圖2 幾何分區(qū)與超點(diǎn)圖構(gòu)建Fig.2 Geometric partition and super point graph construction

1.2.2 超點(diǎn)圖構(gòu)建

為了使得語義分割充分考慮局部和全局特征，需要構(gòu)建超點(diǎn)之間的關(guān)系圖，簡(jiǎn)稱為超點(diǎn)圖。超點(diǎn)圖表達(dá)為 G={ζ,ε,η}，其中ζ為超點(diǎn)集合，ε為超點(diǎn)之間的鄰接關(guān)系（稱之為“超邊”），η為鄰接關(guān)系特征。η通過比較相鄰的超點(diǎn)之間的空間形狀、位置等關(guān)系來確定。假設(shè)有相超點(diǎn)ζi，根據(jù)其位置計(jì)算得出，局部鄰域協(xié)方差矩陣對(duì)應(yīng)的特征向量值λ2≥λ1≥λ0≥0，定義超點(diǎn)的三個(gè)幾何特征：長(zhǎng)度特征length、面積特征surface、體積特征volume三個(gè)特征，計(jì)算式為：length(ζi)=λ2， surface(ζi)=λ1λ2， volume(ζi)=λ0λ1λ2，則連接關(guān)系特征η用一個(gè)13維的特征向量來表達(dá)，如表1所示。通過計(jì)算各相鄰超點(diǎn)之間的鄰接關(guān)系特征，從而可以構(gòu)建一個(gè)具有13維特征信息的超點(diǎn)圖，如圖2(c)所示為超點(diǎn)圖的空間化表達(dá)，每一條連接邊包含了一個(gè)特征向量。

2 基于深度學(xué)習(xí)的語義分割

通過前述的點(diǎn)云幾何分區(qū)、超點(diǎn)圖構(gòu)建等一系列處理，每個(gè)超點(diǎn)具備了豐富的特征信息，并建立了超點(diǎn)之間的鄰接關(guān)系。本文設(shè)計(jì)了一個(gè)深度神經(jīng)網(wǎng)絡(luò)FF-PointNet(Feature Fusion PointNet)，對(duì)超點(diǎn)進(jìn)行進(jìn)一步的特征融合，再對(duì)超點(diǎn)圖使用圖卷積網(wǎng)絡(luò)進(jìn)行分割，總體語義分割流程如圖3所示。

圖3 三維深度學(xué)習(xí)語義分割流程Fig.3 semantic segmentation framework of 3d deep learning

2.1 基于多層感知機(jī)的特征融合神經(jīng)網(wǎng)絡(luò)

FF-PointNet的模型結(jié)構(gòu)如圖4所示，它是一種基于多層感知機(jī)（MLP，Multilayer Perceptron）的前饋人工神經(jīng)網(wǎng)絡(luò)模型。

FF-PointNet網(wǎng)絡(luò)以具有11維特征的超點(diǎn)集為輸入。如圖4所示，n為超點(diǎn)集的點(diǎn)數(shù)。該網(wǎng)絡(luò)經(jīng)過兩個(gè)多層感知器(MLP)的特征進(jìn)行串聯(lián)，再進(jìn)行最大池化處理，最后接入一個(gè)MLP對(duì)處理后的特征進(jìn)行分類。該網(wǎng)絡(luò)的前兩個(gè)多層感知 機(jī) 分別 為 (64，128)的 MLP和 (128，128，256)的MLP，用于特征提取，提取后將第一個(gè)MLP輸入前后11維、128維的特征，以及第二個(gè)MLP輸入前后128維、256維的特征串聯(lián)在一起，最后進(jìn)行最大池化處理，得到具有523維特征的點(diǎn)集，從而使得提取的局部特征與更為全局的特征進(jìn)行了串聯(lián)融合。點(diǎn)云數(shù)據(jù)在空間上具有離散性和無序性，對(duì)分割結(jié)果會(huì)產(chǎn)生影響。本文借鑒PointNet的處理，先使用一個(gè)輸入11×11維的輸入變換網(wǎng)絡(luò)，解決了點(diǎn)云空間信息輸入無序性的問題。相比較于PointNet，本文的神經(jīng)網(wǎng)絡(luò)模型不只是對(duì)空間坐標(biāo)x、y、z三個(gè)維度特征進(jìn)行融合，而且是對(duì)11維的空間進(jìn)行了融合，具有更多的特征信息。

圖4 特征融合網(wǎng)絡(luò)FF-PointNetFig.4 Feature fusion network FF-PointNet

2.2 基于圖卷積網(wǎng)絡(luò)的三維語義分割

考慮到超點(diǎn)圖結(jié)構(gòu)的特殊性，每個(gè)超點(diǎn)的相鄰節(jié)點(diǎn)是不固定的，在深度學(xué)習(xí)上不適合用傳統(tǒng)的卷積方式，而適合使用圖卷積網(wǎng)絡(luò)來進(jìn)行特征抽取。

本文所采用的圖卷積方法是建立在門控圖 神 經(jīng) 網(wǎng) 絡(luò)[2]（Gated Graph Neural Networks，GGNN）和邊緣條件卷積[3,4]（Edge-Conditioned Convolutions，ECC）的基礎(chǔ)上。本研究通過基于圖的邊緣卷積網(wǎng)絡(luò)方式學(xué)習(xí)超點(diǎn)與超邊的依賴關(guān)系 ,采用ECC完成最后的語義分類。

2.3 其他處理策略

（1）損失函數(shù)選擇：考慮到點(diǎn)云不同類別樣本比例相差懸殊的問題，如城市場(chǎng)景建筑物點(diǎn)云與地面點(diǎn)云數(shù)量相差較大。為了緩解這種類別不均衡問題，本模型采用focal loss作為損失函數(shù)[5]，具體計(jì)算如下：

式中，N表示點(diǎn)云數(shù)目,αfalse表示平衡因子，Pi, j表示點(diǎn)j屬于第i類的概率，γ false用來調(diào)節(jié)簡(jiǎn)單樣本權(quán)重的系數(shù)。

（2）數(shù)據(jù)增強(qiáng)處理：為增加數(shù)據(jù)的多樣性，提高神經(jīng)網(wǎng)絡(luò)的泛化性能，本文對(duì)訓(xùn)練與測(cè)試數(shù)據(jù)集采用3種數(shù)據(jù)增強(qiáng)策略：一是對(duì)位置x、y繞z旋轉(zhuǎn)一定角度，二是將x、y、z標(biāo)準(zhǔn)化投影到一個(gè)單位球中，即將變換到[-0.5,0.5]；三是對(duì)三維位置x、y、z值加入擾動(dòng)即高斯噪聲。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)數(shù)據(jù)來源無人機(jī)拍攝長(zhǎng)沙某區(qū)域，搭載5個(gè)相機(jī)用于傾斜攝影，使用Smart 3D capture生產(chǎn)以osgb格式保存的三維傾斜攝影模型，其中訓(xùn)練集包含30個(gè)模型數(shù)據(jù)集，測(cè)試集包含10個(gè)模型數(shù)據(jù)集。

本研究將同樣的數(shù)據(jù)使用SPG模型進(jìn)行了分割對(duì)比，并采用分類精準(zhǔn)率Precision、交并比IoU作為衡量分類結(jié)果的評(píng)價(jià)指標(biāo)。其中，分類精準(zhǔn)率Precision是分類正確的樣本數(shù)與預(yù)測(cè)為正的樣本總數(shù)的比值；交并比IoU表示的含義是模型對(duì)某一類別預(yù)測(cè)結(jié)果和真實(shí)值的交集與并集的比值。該兩個(gè)指標(biāo)的計(jì)算公式分別如下：

圖5 傾斜攝影分割區(qū)域的實(shí)景三維圖Fig.5 Real 3D Map of Segmented Area in Oblique Photography

式中，TP、FP、FN分別為分類混淆矩陣中的真正例、假正例和假反例。本文根據(jù)該衡量指標(biāo)，進(jìn)行實(shí)驗(yàn)得出的結(jié)果為：本文所提出方法的總體分類精準(zhǔn)率為87.1%，總體交并比75.2%。SPG模型總體分類精準(zhǔn)率為85.8%，總體交并比55.1%。語義分割的可視化結(jié)果如圖6所示：圖6(a)為原始實(shí)景圖數(shù)據(jù)；圖6（b）為轉(zhuǎn)換成點(diǎn)云的數(shù)據(jù)；圖6(c)為真值數(shù)據(jù)；圖6（d）為SPG分割結(jié)果；圖6(e)為本文方法分割結(jié)果。各目標(biāo)類型的分類精度和交并比結(jié)果如表2所示。對(duì)比圖中的提取結(jié)果，可以看出相比較于SPG分割，在建筑物上部分錯(cuò)分類的點(diǎn)云得到改善。

圖6 分割結(jié)果可視化Fig.6 Visualization of Segmentation Results

4 結(jié)論

本文針對(duì)傾斜攝影三維重建語義缺失的問題，提出了一種神經(jīng)網(wǎng)絡(luò)支持下的語義分割方法。該方法以傾斜攝影的三角格網(wǎng)的頂點(diǎn)數(shù)據(jù)為分割對(duì)象，構(gòu)建超點(diǎn)和超點(diǎn)圖，提出一種基于多層感知機(jī)的網(wǎng)絡(luò)模型進(jìn)行特征提取和融合，再借助圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割，最后驗(yàn)證了本文模型的有效性。

現(xiàn)實(shí)中點(diǎn)云往往疏密不均勻，而本文采用網(wǎng)絡(luò)FF-PointNet基于均勻采樣模式，在處理疏密相差很大的點(diǎn)云上還需要改進(jìn)。此外，為擴(kuò)展對(duì)三維應(yīng)用場(chǎng)景的支持，可增加對(duì)水域、道路和耕地等更多類別的語義分割。