建筑物立面點云語義分割方法研究

張瑞菊，鄭少開，尹建英

(1.北京建筑大學(xué)，北京 102616； 2.建設(shè)綜合勘察研究設(shè)計院有限公司，北京 100007)

建筑物立面點云語義分割方法研究

張瑞菊1*，鄭少開2，尹建英1

(1.北京建筑大學(xué)，北京 102616； 2.建設(shè)綜合勘察研究設(shè)計院有限公司，北京 100007)

針對建筑物點云數(shù)據(jù)重建模型自動化程度較低的問題，提出了一種半自動的建筑物特征元素提取方法。首先采用隨機采樣一致性算法實現(xiàn)點云分割，將點云分割成不同部分，再依據(jù)建筑物立面各種特征元素之間的尺寸、位置、拓?fù)潢P(guān)系等一系列屬性判斷每一塊點云數(shù)據(jù)的語義信息，實現(xiàn)了從分割出來的點云數(shù)據(jù)中自動識別建筑物立面的門、窗戶、墻體等特征元素。該方法基本上實現(xiàn)了點云數(shù)據(jù)的語義分割，為建筑物三維模型的自動重建提供了基礎(chǔ)框架。

語義分割；三維重建；建筑物立面點云；點云數(shù)據(jù)處理

1 引 言

目前，對城市真三維模型的需求越來越旺盛，城市三維模型在實際中有著廣泛的應(yīng)用。比如：城市規(guī)劃、安全分析、數(shù)字城市等方面都有重要的應(yīng)用[1]。三維激光掃描技術(shù)的出現(xiàn)為三維建模提供了準(zhǔn)確高效的技術(shù)手段，但是通過激光掃描儀獲取的原始點云數(shù)據(jù)如果不做任何處理就沒有實際任何實際意義，不能直接從原始點云數(shù)據(jù)中準(zhǔn)確而完整的提取出建筑物立面的細(xì)節(jié)特征門、窗戶、墻體等特征元素，這就為建筑物模型的自動重建帶來了困難。因為點云語義分割可以從原始點云數(shù)據(jù)中提取出理想的目標(biāo)點云，所以點云語義分割具有重要意義[2]。

國內(nèi)外學(xué)者對點云數(shù)據(jù)分割做了大量的研究工作并取得了一定的研究成果。T.varadyetal最早給出了點云分割的定義：點云數(shù)據(jù)分割就是要將整幅點云分割為多個子區(qū)域，每個區(qū)域?qū)?yīng)于一個自然表面，并且要保證每個子區(qū)域只包含采集自某一特定自然曲面上的掃描點。李必軍等[3]提出了一套基于建筑物幾何特征的信息挖掘方案，從而可以直接從激光掃描數(shù)據(jù)中提取建筑物的平面外輪廓信息，但是對建筑物立面的細(xì)節(jié)特征窗戶、門、墻體等信息沒有進行提取和研究。劉亞文等[4]提出了一種基于蟻群算法的地面激光掃描數(shù)據(jù)建筑物立面提取方法，該方法可以有效地區(qū)分沿街LiDAR掃描景觀數(shù)據(jù)中建筑物立面和位于其前方的樹木、街燈、行人、?？寇囕v等遮擋物，但存在一些問題：窗戶框架和窗簾的激光數(shù)據(jù)點在投影俯視圖上與建筑物立面相連，因此這些點也會作為建筑物立面數(shù)據(jù)點被提取出來。倪歡等[5]利用面向?qū)ο蟮狞c云分析方法進行車載激光掃描點云數(shù)據(jù)中建筑物立面的識別，但是存在一定的局限性，建筑立面的提取效果取決于分割效果的好壞，分割效果需要反復(fù)嘗試才能確定最優(yōu)的分割參數(shù)。彭晨等[6]等提出了一種基于移動激光掃描點云的建筑物立面半自動提取算法。該方法具有較高的精度，對一般建筑物立面提取比較理想，但對于比較特殊的建筑物立面，提取效果欠佳。楊必勝[7]提出一種從車載激光掃描數(shù)據(jù)中提取復(fù)雜建筑物立面的新方法。該方法首先利用“維數(shù)特征”方法確定每個掃描點的最佳鄰域，進而計算得到每個掃描點精確的局部幾何特征(法向量、主方向、維數(shù)特征)，然后基于“維數(shù)特征”對掃描點進行粗分類，并設(shè)置相應(yīng)的生長準(zhǔn)則對不同類別的掃描數(shù)據(jù)分別進行分割，最后實現(xiàn)了對建筑物立面區(qū)域進行精確提取，但是計算量較大。史文中[8]等對車載激光掃描系統(tǒng)獲取的距離圖像進行分割研究，提出利用投影點密度進行距離圖像分割的方法，實現(xiàn)了建筑物輪廓信息的提取。

從目前的研究狀況來看，對于建筑物立面輪廓信息進行提取的研究較多，但對提取詳細(xì)建筑物立面信息的研究較少。對于精細(xì)城市建筑物模型的重建，只是簡單的對建筑物立面輪廓信息進行提取是遠(yuǎn)遠(yuǎn)不夠的，不能達(dá)到精細(xì)化建模的要求。因此，針對無法從原始點云數(shù)據(jù)中準(zhǔn)確獲取建筑物立面特征元素的問題，本文采用隨機采樣一致性算法對點云數(shù)據(jù)進行分割，然后再結(jié)合建筑物特征元素之間各種屬性的約束條件對分割出來的點云數(shù)據(jù)進行語義識別，從而達(dá)到點云語義分割的目的，為精細(xì)化的建筑物建模提供基礎(chǔ)數(shù)據(jù)。

2 建筑立面點云分割

由于客觀場景中物體復(fù)雜多樣，外形沒有統(tǒng)一的規(guī)則，所以無法用某一個特征信息來確定物體所屬種類，加之點云數(shù)據(jù)具有散亂、無組織、含有噪聲等特點[9]，這就決定點云數(shù)據(jù)的語義分割是一項具有挑戰(zhàn)性的工作?？陀^物體表面是理想數(shù)學(xué)曲面的較少，只有少數(shù)特定的物體具有良好的幾何特性。比如：地面點云和建筑物的墻面點云可以看作是理想的幾何平面、路燈桿的表面可以看作是圓柱面等，所以采用理想的幾何表面對點云數(shù)據(jù)進行擬合來達(dá)到點云語義分割的目的。因此本文做出如下假設(shè)：①建筑物立面點云垂直地面點云；②建筑物立面特征元素的點云也近似看作空間平面。在進行建筑物立面點云數(shù)據(jù)分割之前對點云數(shù)據(jù)進行相關(guān)處理，因為用站載三維激光掃描儀獲取的點云數(shù)據(jù)一般數(shù)據(jù)量較大而且存在噪聲，所以在對點云數(shù)據(jù)語義分割之前對點云數(shù)據(jù)進行預(yù)處理，處理流程如圖1所示。

圖1 點云數(shù)據(jù)預(yù)處理流程

最終獲取的點云數(shù)據(jù)如圖2所示。

圖2 原始點云數(shù)據(jù)

本文采用RANSAC算法進行點云數(shù)據(jù)分割。RANSAC算法最早由Fischler和Bolles于1981年提出，它可以從一組含有噪聲的觀測數(shù)據(jù)集中，通過迭代計算的方式估算數(shù)學(xué)模型參數(shù)，從而得到有效的樣本數(shù)據(jù)[10]。RANSAC是一種不確定的算法，只能以一定的概率獲得一個合理的結(jié)果，為了提高結(jié)果的合理程度必須提高迭代次數(shù)。要保證在一定的置信度下基本子集最小抽樣數(shù)N與至少取得一個良好抽樣子集的概率P滿足如下關(guān)系式。

P=1-(1-εK)N

(1)

式中：ε為局內(nèi)點與數(shù)據(jù)集點數(shù)的比值；k為計算模型參數(shù)需要的最小數(shù)據(jù)量；p一般取值為0.9～0.99。對式(1)兩邊取對數(shù)可得

(2)

RANSAC是一種穩(wěn)健的算法，對噪聲有一定的抑制作用，能夠較好的分割出建筑立面特征元素門、窗、墻體等。點云兩點之間的距離越近，其屬于同一模型的可能性就越大[11]，因此本文采用八叉樹數(shù)據(jù)結(jié)構(gòu)對點云數(shù)據(jù)進行組織，便于對相鄰點云數(shù)據(jù)進行快速索引。在三維空間中，確定一個平面模型參數(shù)需要三個點，對建筑物立面進行點云分割時隨機選取一點，通過八叉樹索引其他鄰近的兩個點然后依據(jù)式(3)來計算此平面模型的參數(shù)。

ax+by+cz=d

(3)

實現(xiàn)建筑物立面分割的效果如圖3所示。

圖3 點云分割結(jié)果

3 建筑物立面特征元素識別

雖然建筑物立面特征元素被分割出來，但機器并不能自動從分割出來的點云塊中識別出具體的點云塊所屬種類。地面雖然不是建筑物立面的語義元素，但是率先把地面識別出來對于識別出建筑物立面的其他特征元素是很有幫助的。分割出來的點云塊屬性包括：面積、方向和拓?fù)潢P(guān)系等屬性信息，依據(jù)這些屬性信息可以對分割出來的點云塊進行語義識別。采用凸包代替每一個分割出來的點云塊，用凸包面積的大小近似代替點云塊面積的大??；用凸包的幾何中心到墻體的距離近似代替點云塊的位置；用凸包之間的拓?fù)潢P(guān)系近似代替點云塊之間的拓?fù)潢P(guān)系。本文以自動識別建筑物立面特征元素門為例給出了自動識別語義信息的算法流程，其他建筑物立面特征元素的識別與此類似，在此不再累述，門元素識別算法流程如圖4所示。

圖4 門元素識別算法流程

其中，hull[i](i=0，1，2，3，…n)表示分割出的點云塊序列；min表示預(yù)估門的最小面積值；max表示預(yù)估門的最大面積值；d代表點云塊的中心到墻體距離的限值。利用上述算法流程成功地實現(xiàn)了特征元素的識別，分別識別出了地面、墻體、門、窗戶等特征元素。

地面：盡管地面不是建筑物立面的語義特征，但是識別出地面能夠讓識別出其他建筑物立面特征元素變得更加容易。比如窗戶和門的尺寸相近，然而門是與地面相交而窗戶與地面不相交，地面相對來說面積最大，并且處在最低處，如圖5所示地面的識別結(jié)果。

圖5 地面點云的語義分割圖

墻體：墻體是最重要的建筑物立面特征元素，并且其他建筑物立面特征的識別也依賴于墻體的識別。墻體相對來說面積較大，與地面垂直并相交，如圖6所示墻體的識別結(jié)果。

圖6 墻體的語義分割圖

門：門的面積有特定的取值范圍，它在墻上、垂直于地面并與地面相交，圖7所示門的識別結(jié)果。

圖7 門的語義分割圖

窗戶：窗戶和門一樣其面積也有一定的取值范圍，它在墻上并且與地面垂直，窗戶在所有分割出來的點云塊中密度最低，因為窗戶透光性較好，激光的反射率較低，圖8所示窗戶的識別結(jié)果。

圖8 窗體的語義分割圖

通過對建筑物立面點云的語義分割研究，我們就可以對分割出來的點云塊賦予語義信息，讓機器具有人眼的辨識能力，用不同的顏色代表不同的建筑物立面特征元素，用紅色表示墻體，用黃色表示門，用藍(lán)色表示窗戶，語義分割結(jié)果如圖9所示。

圖9 建筑物立面語義分割圖

4 結(jié) 論

本文采用的方法實現(xiàn)了建筑物立面特征元素的半自動語義分割。主要分為兩個步驟：第一步采用隨機采樣一致性算法實現(xiàn)建筑物立面點云數(shù)據(jù)的分割；第二步運用建筑物立面特征元素的長度、面積、空間拓?fù)潢P(guān)系等約束條件從分割出的點云數(shù)據(jù)中去識別墻體、窗戶和門等建筑物特征元素，實現(xiàn)了建筑物立面點云的語義分割。但是研究也存在一些不足：①對于分割實驗數(shù)據(jù)要求較為嚴(yán)格，需要選取的點云數(shù)據(jù)盡量為平面，否則會出現(xiàn)過度分割和分割不足的問題；②識別的準(zhǔn)確度有待提高，有時算法會誤將門識別為窗戶，所以該算法有一定的局限性。未來工作的重點是提高分割算法的適用性和識別的準(zhǔn)確度。

[1] 李孟迪，蔣勝平，王紅平. 基于隨機抽樣一致性算法的穩(wěn)健點云平面擬合方法[J]. 測繪科學(xué)，2015(1)：102～106.

[2] Zhang Ruiju，Wang Yanmin，Li Derenet al.. Segmentation of wooden members of ancient architecture from range image. Proceedings of SPIE Vol.6419. Geoinforamtics 2006，pp. 64191K. Wuhan China，2006.

[3] 李必軍，方志祥，任娟. 從激光掃描數(shù)據(jù)中進行建筑物特征提取研究[J]. 武漢大學(xué)學(xué)報·信息科學(xué)版，2003(1)：65～70.

[4] 劉亞文，龐世燕，左志奇. 蟻群算法的建筑立面點云數(shù)據(jù)提取[J]. 武漢大學(xué)學(xué)報·信息科學(xué)版，2012，11：1307～1310.

[5] 倪歡，張繼賢，段敏燕等. 面向?qū)ο蟮能囕d激光掃描點云建筑物立面提取[J]. 測繪科學(xué)，2014(4)：92～96.

[6] 彭晨，余柏蒗，吳賓等. 基于移動激光掃描點云特征圖像和SVM的建筑物立面半自動提取方法[J]. 地球信息科學(xué)學(xué)報，2016(7)：878～885.

[7] 楊必勝，董震，魏征等. 從車載激光掃描數(shù)據(jù)中提取復(fù)雜建筑物立面的方法[J]. 測繪學(xué)報，2013(3)：411～417.

[8] 史文中，李必軍，李清泉. 基于投影點密度的車載激光掃描距離圖像分割方法[J]. 測繪學(xué)報，2005(2)：95～100.

[9] 魏征. 車載LiDAR點云中建筑物的自動識別與立面幾何重建[D]. 武漢：武漢大學(xué)，2012.

[10] 胡偉，盧小平，李珵等. 基于改進RANSAC算法的屋頂激光點云面片分割方法[J]. 測繪通報，2012，11：31～34+46.

BuildingFacadePointCloudSemanticSegmentationMethodResearch

Zhang Ruiju1，Zheng Shaokai2，Yin Jianying1

(1.Beijing University of Civil Engineering and Architecture，Beijing 102616，China；2.China Institute of Geotechnical Investigation and Surveying，Beijing 100007，China)

This paper introduces a semi-automatic method for extract building characteristic elements to solve the low automation for the reconstruction model of building point cloud data. the building features. First，it adopts the RANSAC(random sample consensus algorithm)to divide pointcloud into different sections，and then determines the semantic information of every point cloud data on the basis of various characters including the size，the position and topotaxy among the all kinds of elements of the building facade，thereby automatically recognizing doors，windows，walls and other characteristic elements of the building facade from the split-off point cloud data. Such a method basically achieves the semantic segmentation of point cloud data and provides the basic framework for the automatic reconstruction of three-dimensional building model.

semantic segmentation；three dimensional reconstruction；building facade point cloud；point cloud data processing

1672-8262(2017)05-22-04

P237，P234.4

A

2017—07—14

張瑞菊(1978—)，女，講師，研究方向：三維精細(xì)模型重構(gòu)及激光雷達(dá)數(shù)據(jù)處理。

鄭少開(1988—)，男，助理工程師，研究方向：三維激光掃描及近景攝影測量在文物保護中的應(yīng)用。

國家自然科學(xué)基金項目(41501495，41261086)；精密工程精密工程與工業(yè)測量國家測繪地理信息局重點實驗室開放基金項目(PF2013-1)

本論文獲得2017年“華正杯”城市勘測優(yōu)秀論文二等獎。