顧及幾何及顏色信息的傾斜影像立面點云提取

周行行， 鄒崢嶸， 張云生， 鄭特

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083)

?

顧及幾何及顏色信息的傾斜影像立面點云提取

周行行， 鄒崢嶸， 張云生， 鄭特

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，長沙 410083)

針對建筑物立面自動提取難題，根據(jù)多角度航空傾斜影像密集匹配生成的三維點云，提出了一種顧及點云幾何及顏色信息的建筑物立面點云自動提取方法。首先通過計算三維點云中各點對應(yīng)的法向量，并根據(jù)法向量方向進(jìn)行粗略的分割； 然后根據(jù)各點的顏色信息剔除植被點云； 在此基礎(chǔ)上剔除少量地面點，通過基于聚類分析的后處理獲取立面點云。利用2組數(shù)據(jù)進(jìn)行了實驗，結(jié)果表明,本文方法能夠自動提取出建筑物的立面，立面的完整性和正確性都大于90%，準(zhǔn)確率大于83%，為后續(xù)立面的重建提供了基礎(chǔ)。

傾斜攝影； 立面提?。?點云； 法向量； 聚類分析

0 引言

關(guān)于激光點云數(shù)據(jù)立面提取的方法已經(jīng)有較多研究，如李必軍等[3-4]通過投影點密度和閾值分割的方式實現(xiàn)建筑物邊界的提取; 魏征等[5]改進(jìn)了點投影密度的缺點，提出了一種新的特征圖像生成方法; Shahzad等[6]提出TomoSAR數(shù)據(jù)的定向散射密度估計方法，并結(jié)合立面的幾何形態(tài)，采用聚類、分割等算法優(yōu)化，分割出立面點。這些方法雖然取得了一定的進(jìn)展，但是難以直接應(yīng)用于傾斜影像密集匹配生成的三維點云。目前有關(guān)傾斜影像的立面提取方法較少，如Hohmann等[7]采用GML形狀語法，在立面圖像中人為地確定語法規(guī)則; Musialski等[8]是基于圖像的半自動化立面建模，該方法結(jié)合了一致性概念，但需進(jìn)行人工同步編輯; Teeravech等[9]在立面圖像中利用隨機(jī)抽樣一致性算法發(fā)現(xiàn)重復(fù)模式，通過在主結(jié)構(gòu)中發(fā)現(xiàn)重復(fù)模式(如窗戶、陽臺等)，此算法實際應(yīng)用易受噪聲影響，建立在重復(fù)模式是規(guī)則分布的假設(shè)上。Xiao等[10]提出一種基于圖像的交互式方法，利用啟發(fā)式分離方法自動細(xì)分立面，但該方法需大量的用戶交互。黃敏兒等[11]提出了一種利用傾斜影像生成的像素高度圖來識別和提取三維建筑物目標(biāo)的方法。

針對以上方法的不足，本文提出一種顧及幾何及顏色信息的傾斜影像立面點云提取方法，根據(jù)點云數(shù)據(jù)中的法向量幾何信息和對應(yīng)影像的光譜信息提取立面點云有良好的完整性和正確性。

1 建筑物立面提取方法

圖1為本文提出的點云立面提取方法流程。

圖1 傾斜點云立面提取重建流程圖

對于航空傾斜攝影系統(tǒng)采集的多角度傾斜影像密集匹配生成的點云，首先利用法向量對點云進(jìn)行初始分割； 然后根據(jù)顏色信息剔除大部分的植被點，并采用漸近三角網(wǎng)加密的方法[12]獲取數(shù)字高程模型(digital elevation model,DEM)，從而剔除掉點云中的地面點； 最后利用聚類算法將以上步驟獲取的點云進(jìn)行聚類，根據(jù)點云的數(shù)量和點間距剔除非立面點，實現(xiàn)立面點云的提取。

本文試驗數(shù)據(jù)為某城市區(qū)域的2組傾斜點云以及對應(yīng)的傾斜影像，其中一組數(shù)據(jù)如圖2所示，圖2(a)為點云，圖2(b)為其對應(yīng)的傾斜影像。

(a) 點云 (b) 傾斜影像

圖2 點云和對應(yīng)的傾斜影像

Fig.2 Oblique image and point cloud

1.1 基于法向量的立面點云提取

本文中，假設(shè)城市區(qū)域的傾斜點云主要包含了3種對象： 建筑物、植被和地面。其中建筑物又可以看成由立面和屋頂組成。這4類對象在三維點云和2維影像顏色上表現(xiàn)出不同的特征。對于立面，幾乎垂直地面，位于墻上的各點緊密相鄰，有著幾乎水平的法向量； 對于植被，鄰近點的位置不規(guī)則且點密度稀疏，各點的法向量分布通常也不規(guī)則，對應(yīng)的點云在原始傾斜影像中的光譜特征與其他對象有著明顯區(qū)別； 對于地面點和屋頂，表面平滑，法向量異于立面對象； 其他對象的點密度小且高度相對很低。

根據(jù)以上特征，首先計算所有點的法向量，保留法向量與水平面夾角度小于δA的點。為了保證立面點在該步過濾中不損失，δA取經(jīng)驗值40。由于植被上的大部分點也有著近于水平的法向量，植被點在初次濾波中不能完全被過濾，植被的大部分點也被保留。原始點云數(shù)據(jù)基于法向量方向濾波前后的結(jié)果如圖3所示。

反應(yīng)壽險需求的指標(biāo)較多，在這里我們考慮數(shù)據(jù)的可得性和人口數(shù)量對壽險需求的影響，選取人均壽險保費收入(元)Y來作為被解釋變量。

(a) 處理前 (b) 處理后

圖3 基于法向量的立面點云初步提取結(jié)果

Fig.3 Segmentation result according to normal information

1.2 基于顏色信息的植被點云過濾

經(jīng)過法向量方向濾波后，結(jié)果點云中主要是建筑物立面點和植被點以及少量的地面點?？紤]到植被點對應(yīng)的綠色波段值相對較高，根據(jù)點云和影像的對應(yīng)關(guān)系獲取每個點的顏色值(RGB)，利用綠化率(GreenRatio)來識別樹木、草地等植被[13]，即

(1)

式中：R，G，B分別表示點在原影像中對應(yīng)的紅色、綠色和藍(lán)色波段亮度值。

根據(jù)實驗可以發(fā)現(xiàn)，植被點云的綠化率在0.20～0.35之間，因此根據(jù)綠化率去除大部分植被點，但由于樹木上的一些點位于樹葉間的陰影點，不具有正常綠色植被點的光譜特征，所以這些特殊的植被點仍被保留，基于顏色信息過濾前后的結(jié)果如圖4所示。

(a) 顏色信息過濾前的點云(b) 顏色信息過濾前點云在影像上的對應(yīng)位置

(c) 顏色信息過濾后的點云(d) 顏色信息過濾后點云在影像上的對應(yīng)位置

圖4 基于顏色信息的植被點云過濾

Fig.4 Point cloud filtering based on spectral feature

1.3 地面點的去除

經(jīng)過1.2節(jié)初始分割后，立面點幾乎都被提取出來了，但依然混有少量植被及地面點。可以發(fā)現(xiàn)這些非立面點的分布有離散且不規(guī)則的特點。

針對少量的地面點，本文采用漸進(jìn)三角網(wǎng)加密算法進(jìn)行非地面點和地面點的分離，以過濾掉經(jīng)初始分割和顏色信息處理后點云中殘留的少量地面點。經(jīng)過該算法處理后，聚集在植被附近的地面點以及建筑物下的地面點被剔除，同時使得植被類附近的點變得更加稀疏。去除地面點前后及局部效果如圖5所示。

(a) 去除地面點前的點云(b) 去除地面點處理前局部影像效果

(c) 去除地面點后的點云(d) 去除地面點處理后局部影像效果

圖5 地面點去除結(jié)果

Fig.5 Result of removing the ground points

1.4 基于聚類分析的立面提取結(jié)果后處理

將上步結(jié)果點云投影到對應(yīng)影像中可發(fā)現(xiàn)，建筑物立面點幾乎全被提取出來，剩下的噪聲點主要集中在樹木的陰影處和距離地面一定高度的車身側(cè)面，分布離散且數(shù)量較少。因此，首先采用密度聚類方法[14]將保留的點聚集成簇群,由于植被點相對離散，點密度較小，故保留點數(shù)大于500以及點間距小于2.0 m的點； 第一次聚類后仍有少量的植被點和車身側(cè)面點，這些點相對集中，密度較大，須進(jìn)行第二次聚類，保留點數(shù)大于2 000以及點間距小于1.5 m的點，結(jié)果如圖6所示。

(a) 初次聚類 (b) 二次聚類

圖6 聚類后優(yōu)化結(jié)果

Fig.6 Clustering results

2 實驗與結(jié)果分析

為了驗證本文方法，采用了2組數(shù)據(jù)進(jìn)行試驗。第一組數(shù)據(jù)如圖2所示； 第二組數(shù)據(jù)如圖7所示。為了對實驗結(jié)果進(jìn)行定量分析，采用人機(jī)交互的方式標(biāo)記出參考立面點云，圖8為兩組數(shù)據(jù)的參考立面在原始傾斜影像中的投影。

(a) 點云 (b) 傾斜影像

圖7 第二組數(shù)據(jù)

Fig.7 The second group data

(a) 第一組(b) 第二組

圖8 參考立面

Fig.8 Reference facades

圖9為兩組數(shù)據(jù)提取結(jié)果的投影圖。將原始點云中的點分為立面點和非立面點2類，通過本文方法識別的立面點且為參考立面中的點定義為“正確點”(true positive, TP)，如圖9中藍(lán)色顯示的點； 本文方法未識別的立面點但是為參考立面點，定義為“遺漏點”(false negative, FN)，如圖9中綠色顯示的點； 本文方法中識別的立面點但不是參考立面點，定義為“錯誤點”(false positive, FP)，如圖9中紅色顯示的點。

(a) 第一組(b) 第二組

圖9 立面提取結(jié)果

Fig.9 Results of facade extraction

本文采用文獻(xiàn)[15]的精度評定方法，評價實驗結(jié)果的完整性(Completeness)、正確性(Correctness)及準(zhǔn)確率(Quality),評價指標(biāo)為

(2)

對2組實驗數(shù)據(jù)結(jié)果中的TP，F(xiàn)N，F(xiàn)P各點數(shù)進(jìn)行統(tǒng)計，按照式(2)計算提取的立面點云的完整性、正確性及準(zhǔn)確率，結(jié)果如表1所示。

表1 實驗結(jié)果評價表

由參考立面圖以及提取的結(jié)果圖可見，第一組實驗數(shù)據(jù)中共52個參考立面，本文方法共檢測出55個立面，其中提取出51個正確立面，4個錯誤立面； 由表1可看出提取結(jié)果的完整性、正確性及準(zhǔn)確率均達(dá)到91%以上。第二組實驗數(shù)據(jù)中共38個參考立面，本文方法共檢測出43個立面，其中正確提取出37個立面，6個為錯誤立面； 提取結(jié)果也具有較好的完整性、正確性及準(zhǔn)確率。從結(jié)果可見本文方法能夠自動提取出大部分的立面，將絕大部分的地面、植被等非立面點濾除，提取出的立面能夠保持很好的完整性和連貫性。

3 結(jié)論

從傾斜影像密集匹配生成點云中提取建筑物能大大降低城市三維建模的成本，在建筑物識別及提取方面具有很大的優(yōu)勢。針對現(xiàn)有方法對該類點云的適用性不足，本文根據(jù)城市中各種對象的幾何特征和光譜顏色信息提取立面點云并進(jìn)行聚類優(yōu)化，自動提取立面點云。試驗結(jié)果表明，本文的方法能夠有效地自動提取出建筑物的立面，提取出的立面有著很好的完整性和連貫性，能夠保持較高的正確率。后續(xù)工作將進(jìn)一步深入研究點云的特征及規(guī)律，在識別立面的基礎(chǔ)上,進(jìn)行單體建筑物的識別,并且對立面進(jìn)行精細(xì)重建。

[1] Musialski P,Wonka P,Aliaga D G,et al.A survey of urban reconstruction[J].Computer Graphics Forum,2013,32(6):146-177.

[2] Xiong X H,Adan A,Akinci B,et al.Automatic creation of semantically rich 3D building models from laser scanner data[J].Automation in Construction,2013,31:325-337.

[3] 李必軍,方志祥,任娟.從激光掃描數(shù)據(jù)中進(jìn)行建筑物特征提取研究[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2003,28(1):65-70. Li B J,Fang Z X,Ren J.Extraction of building’s feature from laser scanning data[J].Geomatics and Information Science of Wuhan University,2003,28(1):65-70.

[4] Li B J,Li Q Q,Shi W Z,et al.Feature extraction and modeling of urban building from vehicle-borne laser scanning data[C]//International Archives of the Photo-grammetry,Remote Sensing and Spatial Information Sciences.Istanbul:ISPRS,2004:934-939.

[5] 魏征,楊必勝,李清泉.車載激光掃描點云中建筑物邊界的快速提取[J].遙感學(xué)報,2012,16(2):291-296. Wei Z,Yang B S,Li Q Q.Automated extraction of building footprints from mobile LIDAR point clouds[J].Journal of Remote Sensing,2012,16(2):286-290.

[6] Shahzad M,Zhu X X.Robust reconstruction of building facades for large areas using spaceborne TomoSAR point clouds[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(2):752-769.

[7] Hohmann B,Havemann S,Krispel U,et al.A GML shape grammar for semantically enriched 3D building models[J].Computers & Graphics,2010,34(4):322-334.

[8] Musialski P,Wimmer M,Wonka P.Interactive coherence-based fa?ade modeling[J].Computer Graphics Forum,2012,31(2pt3):661-670.

[9] Teeravech K,Nagai M,Honda K,et al.Discovering repetitive patterns in facade images using a RANSAC-style algorithm[J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,92:38-53.

[10]Xiao J,Gerke M,Vosselman G.Building extraction from oblique airborne imagery based on robust fa?ade detection[J].ISPRS Journal of Photogrammetry and Remote Sensing,2012,68:56-68.

[11]黃敏兒,杜志強,朱慶,等.利用像素高度圖的三維建筑物屋頂和立面提取方法[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2014,39(10):1221-1224. Huang M E,Du Z Q,Zhu Q,et al.3D building facade and roofs objects extraction from pixel height map[J].Geomatics and Information Science of Wuhan University,2014,39(10):1221-1224.

[12]Axelsson P.DEM generation from laser scanner data using adaptive tin models[J].International Archives of Photogrammetry and Remote Sensing,2000,33:110-117.

[13]Rau J Y,Jhan J P,Hsu Y C.Analysis of oblique aerial images for land cover and point cloud classification in an urban environment[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(3):1304-1319.

[14]熊仕勇.一種新型的基于密度和柵格的聚類算法[J].計算機(jī)應(yīng)用研究,2011,28(5):1721-1723,1727. Xiong S Y.Novel clustering algorithm based on grid and density[J].Application Research of Computers,2011,28(5):1721-1723,1727.

[15]Pu S,Rutzinger M,Vosselman G,et al.Recognizing basic structures from mobile laser scanning data for road inventory studies[J].ISPRS Journal of Photogrammetry and Remote Sensing,2011,66(6):S28-S39.

(責(zé)任編輯： 李瑜)

Facade extraction from oblique point cloud considering geometrical and color information

ZHOU Hanghang, ZOU Zhengrong, ZHANG Yunsheng, ZHENG Te

(SchoolofGeosciencesandGeomatics,CentralSouthUniversity,Changsha410083,China)

Aimed at tackling the difficulty in extracting facade from point cloud derived from dense matching of multi-angle airborne oblique images, this paper proposes a facade extraction method considering point cloud geometrical and color information. This method calculates normal vector for each point in the point cloud, and then uses the orientation of the normal vector for initial facade segmentation. After that, color information is used to remove point cloud about vegetation. On the basis of the initial result, the remaining ground points are removed. Finally, clustering analysis is used to refine the result, and facade point cloud can be obtained. Two groups of data sets are used for experiments, and the results reveal that the proposed method can automatically extract the facade of the building, with the completeness and correctness up to 90%, and the accuracy is more than 83%, thus providing the basis for the subsequent facade reconstruction.

oblique photogrammetry; facade extraction; point cloud; normal vector; clustering analysis

10.6046/gtzyyg.2016.04.07

周行行，鄒崢嶸，張云生,等.顧及幾何及顏色信息的傾斜影像立面點云提取方法[J].國土資源遙感,2016,28(4):43-48.(Zhou H H,Zou Z R,Zhang Y S,et al.Facade extraction from oblique point cloud considering geometrical and color information[J].Remote Sensing for Land and Resources,2016,28(4):43-48.)

2015-05-15；

2015-07-23

國家“863”計劃資助項目“統(tǒng)一時空體系下的城市多種類型空間信息接入與加載的規(guī)范”(編號： 2013AA122301)、國家自然科學(xué)基金“自適應(yīng)三角形約束的多角度影像多基元匹配方法”(編號： 41201472)及湖南省高校創(chuàng)新平臺開放基金項目“面向災(zāi)害應(yīng)急響應(yīng)的無人機(jī)影像快速處理方法”(編號： 12K009)共同資助。

P 208

A

1001-070X(2016)04-0043-06

周行行(1990-)，女，碩士研究生，主要從事傾斜影像立面提取方面的研究。Email： zhh1990926@163.com。