建筑立面點(diǎn)云對(duì)偶深度圖像中窗戶提取方法

鄒紀(jì)偉,劉德兒,楊 鵬,劉靖鈺,李瑞雪,冀煒臻

(1.江西理工大學(xué)建筑與測(cè)繪工程學(xué)院,江西 贛州 341000;2.廣州都市圈網(wǎng)絡(luò)科技有限公司,廣東 廣州 510000)

1 引 言

在數(shù)字城市的建設(shè)中,建筑物的精細(xì)建模已成為研究熱點(diǎn),而激光點(diǎn)云的出現(xiàn)使其成為可能,而如何提取建筑立面的細(xì)節(jié)特征(如窗戶、展臺(tái)、墻體等)則是實(shí)現(xiàn)精細(xì)建模的前提。為此許多學(xué)者進(jìn)行了大量研究,Yongzhi Wang等[1]人結(jié)合三維PCD和二維光學(xué)圖像的優(yōu)點(diǎn),提取出連續(xù)的三維PCD建筑立面特征。Sung Chun Lee等[2]人利用窗口分類信息和圖像線特征自動(dòng)計(jì)算提取窗口的深度。Pascal Muller等[3]人從影像出發(fā)讓計(jì)算機(jī)自動(dòng)識(shí)別重復(fù)結(jié)構(gòu)的區(qū)域,從而構(gòu)建包含細(xì)節(jié)特征的立面三維模型。賈凱華等[4]首先將三維點(diǎn)云轉(zhuǎn)換為二維圖像,對(duì)二維圖像進(jìn)行處理找到窗戶邊界,再通過(guò)圖像和點(diǎn)云的映射關(guān)系,求得窗戶的外輪廓點(diǎn)云。在地面激光三維掃描數(shù)據(jù)中,建筑立面的幾何特征包含墻面、門窗等幾何輪廓信息,面輪廓的提取決定了建筑物三維立面三維重建的精度[5-8]。建筑物立面數(shù)據(jù)中包含有明顯的深度信息,因此,不僅僅可以從影像角度尋找立面窗戶,還可以通過(guò)幾何信息從立面中提取門窗、展臺(tái)等點(diǎn)云數(shù)據(jù)。王果等[9]利用α-shape算法對(duì)其進(jìn)行建筑立面提取。林卉等[10]通過(guò)統(tǒng)計(jì)落在格網(wǎng)內(nèi)的點(diǎn)數(shù),生成二維直方圖并轉(zhuǎn)換為灰度圖,然后對(duì)灰度圖進(jìn)行預(yù)處理后采用連通區(qū)域標(biāo)記方法提取建筑立面數(shù)據(jù)。Sander Oude Elberink等[11]人根據(jù)目標(biāo)物之間的拓?fù)潢P(guān)系,采用區(qū)域增長(zhǎng)算法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行面片分割,分析面片的大小、位置、方向等特征自動(dòng)識(shí)別出場(chǎng)景中的立面、包括立面中的門窗、突起等細(xì)節(jié)。Schmittwilken,J等[12]人從語(yǔ)義知識(shí)庫(kù)中獲取立面細(xì)節(jié)特征的先驗(yàn)知識(shí),應(yīng)用決策樹(shù)方法對(duì)特征明顯的區(qū)域進(jìn)行特征提取,進(jìn)而提取出明顯聚類的特征的點(diǎn)云子集。Pu & Vosselman等[13]首先利用區(qū)域生長(zhǎng)的方法對(duì)地面點(diǎn)云數(shù)據(jù)進(jìn)行面片分割,然后采用基于孔洞的特征提取方法,提取更細(xì)節(jié)的窗戶結(jié)構(gòu)。

本文通過(guò)對(duì)建筑立面點(diǎn)云的細(xì)節(jié)分析,提出了根據(jù)點(diǎn)云對(duì)偶深度圖像的窗戶邊界提取方法,而對(duì)于窗戶上不包含點(diǎn)云的情況,采用構(gòu)建TIN的方式進(jìn)行邊界提取,最后通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法的準(zhǔn)確性與可行性。

2 建筑物立面對(duì)偶深度圖像生成

2.1 建筑立面細(xì)節(jié)特征分析及無(wú)效點(diǎn)去除

建筑物立面中包含有豐富的細(xì)節(jié)信息,如墻面、窗戶、展臺(tái)、門洞等,這些細(xì)節(jié)結(jié)構(gòu)的幾何特征主要包括方向、位置、大小、拓?fù)洹⑸疃?不同的細(xì)節(jié)結(jié)構(gòu)幾何特征如表1所示。

表1 建筑立面細(xì)節(jié)特征分析

通過(guò)分析可以看出,窗戶通常低于墻面,位于墻面內(nèi)部,而展臺(tái)陽(yáng)臺(tái)等突出物位于墻面外部,對(duì)于生成的建筑物立面點(diǎn)云數(shù)據(jù),可基于墻面點(diǎn)擬合出一個(gè)平面,將點(diǎn)集分為三部分,即陽(yáng)臺(tái)等突出物點(diǎn)云、墻面點(diǎn)云、窗戶點(diǎn)云。利用不同點(diǎn)到墻面平面的深度信息,生成立面對(duì)偶深度圖像,從而將窗戶提取轉(zhuǎn)換到二維平面,降低操作難度,提高窗戶提取的準(zhǔn)確性。

由于窗戶處于不同狀態(tài)時(shí),采集到的數(shù)據(jù)也會(huì)不同,如圖1所示,當(dāng)窗戶玻璃張開(kāi)時(shí),點(diǎn)云透過(guò)窗戶打在室內(nèi),在窗戶上形成空洞,當(dāng)窗戶閉合且有窗簾遮擋時(shí),點(diǎn)云落在窗戶上。為了降低無(wú)效點(diǎn)對(duì)對(duì)偶深度圖像生成的影響,本文采用統(tǒng)計(jì)濾波對(duì)其進(jìn)行去除,去噪前后如圖2所示。

圖1 不同狀態(tài)下窗戶點(diǎn)云圖

圖2 去噪圖

2.2 對(duì)偶深度圖像投影面選取

對(duì)于建筑立面的點(diǎn)云數(shù)據(jù)Pi(x,y,z),為了方便后續(xù)操作,對(duì)生成的對(duì)偶深度圖像進(jìn)行閾值分割,首先將其轉(zhuǎn)換到與XOY平面平行,即建筑立面的法向量方向?yàn)閆值指向,生成新的點(diǎn)云數(shù)據(jù)Pi(x′,y′,z′)。具體操作步驟如下:

1)根據(jù)墻面三點(diǎn)P1(X1,Y1,Z1),P2(X2,Y2,Z2),P3(X3,Y3,Z3),求出該平面的法向量n。

=ai+bj+ck=(a,b,c)

(1)

2)分別繞X軸和Y軸旋轉(zhuǎn)α和β角,其旋轉(zhuǎn)矩陣分別為公式(2)和(3),通過(guò)旋轉(zhuǎn)最終將其轉(zhuǎn)換到XOY平面。

(2)

(3)

2.3 對(duì)偶深度圖像生成

由于點(diǎn)云數(shù)據(jù)量巨大,如果直接根據(jù)幾何信息及深度信息對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取,則會(huì)出現(xiàn)大量冗余計(jì)算,并且耗時(shí)較長(zhǎng)。因此本文結(jié)合文獻(xiàn)[14]的思想,采用距離加權(quán)倒數(shù)IDW內(nèi)插方法生成建筑面片的對(duì)偶深度圖像,然后對(duì)其進(jìn)行閾值分割、中值平滑濾波及形態(tài)學(xué)濾波等方法,確定窗戶的邊界。

該算法首先將點(diǎn)云數(shù)據(jù)投影到XOY平面,確定采樣間隔后得出二維影像的寬度和高度,然后根據(jù)落在每個(gè)格網(wǎng)內(nèi)的點(diǎn)云確定像元灰度值,最后得到整個(gè)建筑立面的二維深度圖像,具體原理如下:

1)確定二維影像的寬和高。

如公式(4)所示,寬(Width)與高(Height)的確定與采樣間隔密切相關(guān)。

(4)

其中,Xmax,Xmin,Ymax,Ymin分別為X和Y坐標(biāo)的最大值和最小值；GSD為采樣間隔。

2)確定每個(gè)格網(wǎng)的特征值

單元格網(wǎng)的特征值主要受點(diǎn)云的空間分布和高程值兩部分影響,因此設(shè)定距離格網(wǎng)中心點(diǎn)越近,則權(quán)值越大,高程值越大,則權(quán)值越大。這兩部分權(quán)可用公式(5)表示。

(5)

由平面坐標(biāo)與高程坐標(biāo)的重要性可設(shè)定不同的α和β值,采用距離加權(quán)倒數(shù)IDW內(nèi)插方法(如:公式(6)),最后將特征值歸化到0～255灰度空間,即得到每個(gè)單元格的像素值,生成建筑面片的對(duì)偶深度圖像。

(6)

其中,Zijk為格網(wǎng)(I,j)中第k個(gè)點(diǎn)的高程。

2.4 對(duì)偶深度圖中窗戶及邊界提取

為了適應(yīng)圖像處理的要求,降低圖像數(shù)字化時(shí)所混入的噪聲,同時(shí)抽出對(duì)象的特征作為圖像識(shí)別的特征模式,本文采用中值濾波對(duì)生成的對(duì)偶深度圖像進(jìn)行平滑處理。該方法在取出脈沖噪聲、椒鹽噪聲的同時(shí)能保留圖像的邊緣細(xì)節(jié),這些優(yōu)良特性是線性濾波所不具備的。

由地面激光三維掃描數(shù)據(jù)格式可知,建筑物立面包含了明顯的深度信息,即投影到XOY平面上時(shí),窗戶上的點(diǎn)通常低于墻面上的點(diǎn),為了圖像的生成及窗戶的閾值分割,本文首先按照公式(7)計(jì)算所有點(diǎn)到墻面的距離,將得到的歐式距離di替換經(jīng)坐標(biāo)轉(zhuǎn)換后的數(shù)據(jù)點(diǎn)Pi′(X′,Y′,Z′)中的Z′值,即得到目標(biāo)點(diǎn)云數(shù)據(jù)集Oi,點(diǎn)云坐標(biāo)為Oi(X′,Y′,di)。

(7)

根據(jù)坐標(biāo)旋轉(zhuǎn)后建筑立面的法向量指向?yàn)橛衫锵蛲?由于數(shù)據(jù)處理時(shí)是以墻面為參考面進(jìn)行的距離計(jì)算,因此落在墻面及墻面外的點(diǎn)(如展臺(tái),凸邊)距離大于等于零,而落在窗戶上或窗戶內(nèi)的點(diǎn)距離為負(fù)數(shù),基于此可選擇合適的閾值對(duì)生成的圖像進(jìn)行分割,實(shí)現(xiàn)對(duì)窗戶的有效提取。由于提取的窗戶包含空洞及其他噪聲,因此進(jìn)行形態(tài)學(xué)濾波處理,使空洞被填充及噪點(diǎn)被去除,提取出窗戶的邊界后,然后根據(jù)二維圖像與三維點(diǎn)云的映射關(guān)系,確定窗戶內(nèi)的點(diǎn)云。

3 基于孔洞的窗戶特征提取

上述基于對(duì)偶深度圖像的窗戶提取方法對(duì)窗戶上附有點(diǎn)云信息的效果顯著,而對(duì)窗戶無(wú)點(diǎn)云覆蓋,為空洞的情況,本文采用構(gòu)建TIN的方式對(duì)含有空洞的窗戶進(jìn)行邊界提取。TIN是基于的數(shù)字高程模型,由結(jié)點(diǎn)(Node)、邊(Edge)、三角形(Triangle)、包面(Hull)和拓?fù)?Topology)組成。它是基于矢量的數(shù)字地理數(shù)據(jù)的一種形式,通過(guò)將一系列折點(diǎn)(點(diǎn))組成三角形來(lái)構(gòu)建。由于空洞的存在,對(duì)于構(gòu)建的TIN結(jié)構(gòu),空洞周邊生成的三角形的邊長(zhǎng)遠(yuǎn)遠(yuǎn)大于其他點(diǎn)密集的區(qū)域,可基于此特點(diǎn),提取空洞即窗戶構(gòu)成的三角網(wǎng),然后通過(guò)TIN中結(jié)點(diǎn)與邊長(zhǎng)對(duì)應(yīng)的索引關(guān)系,找到窗戶邊界點(diǎn),再進(jìn)行矩形擬合,提取邊界。提取的主要步驟如下:

1)構(gòu)建TIN。對(duì)包含空洞的建筑物立面構(gòu)建TIN。

2)提取空洞處三角形的邊。 對(duì)TIN中三角形邊長(zhǎng)值作頻率分布圖,通過(guò)該圖可以看出邊長(zhǎng)值的分布狀況,基于窗戶空洞的情況下,較長(zhǎng)邊長(zhǎng)一定在空洞或墻的邊界原則,選擇合適的邊長(zhǎng)閾值即可提取所需的邊。

3)提取邊界點(diǎn)。根據(jù)TIN中結(jié)點(diǎn)與邊對(duì)應(yīng)的關(guān)系,提取構(gòu)成三角形邊所對(duì)應(yīng)的結(jié)點(diǎn)。

4)窗戶矩形擬合。對(duì)所提取出來(lái)的窗戶邊界點(diǎn)通過(guò)OpenGL進(jìn)行矩形擬合,以構(gòu)建窗戶線框模型,從而反映窗戶的形狀和大小。

4 實(shí)驗(yàn)過(guò)程及分析

本文采用RANSAC分割算法實(shí)現(xiàn)從TLS數(shù)據(jù)中提取的建筑物立面點(diǎn)云數(shù)據(jù),數(shù)據(jù)點(diǎn)個(gè)數(shù)為95021。實(shí)驗(yàn)軟硬件環(huán)境為Intel(R)Xeon(R)CPU E3-1231 v3 @3.40GHz、內(nèi)存為8GB；本研究的實(shí)驗(yàn)算法是在MATLAB R2017和Microsoft Visual Studio 2017編譯環(huán)境下,結(jié)合PCL方法庫(kù)編程實(shí)現(xiàn)。

按照上述步驟,首先對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行坐標(biāo)變換,變換后的點(diǎn)云數(shù)據(jù)如圖3所示。

圖3 點(diǎn)云數(shù)據(jù)

經(jīng)過(guò)坐標(biāo)變換后,求得每個(gè)點(diǎn)到墻面的距離,將得到的歐式距離di替換經(jīng)坐標(biāo)轉(zhuǎn)換后的數(shù)據(jù)點(diǎn)Pi′(X′,Y′,Z′)中的Z′值,得到新的點(diǎn)云坐標(biāo)為Oi(X′,Y′,di),對(duì)生成的新的點(diǎn)云數(shù)據(jù),采用距離加權(quán)倒數(shù)IDW內(nèi)插方法生成建筑面片的對(duì)偶深度圖像。接著對(duì)生成的圖像進(jìn)行預(yù)處理后,按照上述方法,對(duì)其進(jìn)行閾值分割,可提取出窗戶的像素點(diǎn),如圖4所示。

圖4 窗戶提取結(jié)果

從圖4中可以看出,提取出的窗戶包含有其他噪聲點(diǎn)且部分窗戶還存在空洞,因此對(duì)其進(jìn)行形態(tài)學(xué)濾波,然后根據(jù)圖斑的面積,搜索符合窗戶大小的連通性圖斑,根據(jù)圖斑的重心替代窗戶的形心,從而確定窗戶的外邊界,結(jié)果如圖5所示。

(a)提取效果

通過(guò)上述方法所求出的重心點(diǎn)與實(shí)際拍攝采集的影像疊加圖可看出,重心點(diǎn)都落在45個(gè)窗戶內(nèi),由于設(shè)站點(diǎn)位于建筑物右側(cè),因此靠近設(shè)站點(diǎn)的點(diǎn)云分布密集,而左側(cè)離設(shè)站點(diǎn)較遠(yuǎn),因此點(diǎn)比較稀疏。通過(guò)圖5(a)可以看出,左側(cè)上方窗戶由于缺少點(diǎn)集,根據(jù)圖斑擬合出來(lái)的重心會(huì)不同程度發(fā)生偏移,而右方窗戶點(diǎn)云較為完整,因此窗戶重心基本落在實(shí)際重心上。為了定量說(shuō)明與實(shí)際的偏差情況,將提取的重心坐標(biāo)與實(shí)際作距離差(如圖6),由偏移量分布圖可以看出,大部分點(diǎn)都集中分布在0～0.1之間,最大值為0.377,最小值為0.001,平均值為0.055,精度較高,且分布比較集中。

圖6 重心點(diǎn)距離偏移量分布

對(duì)于包含空洞的情況,本文對(duì)上述原數(shù)據(jù)進(jìn)行了預(yù)處理,以進(jìn)行后續(xù)操作,采用構(gòu)建TIN的方式對(duì)含有空洞的窗戶進(jìn)行邊界提取,結(jié)果如圖7和圖8所示。

圖8 邊界提取圖

圖7 TIN結(jié)果圖

從原始影像圖可以看出,建筑物立面共有45個(gè)窗戶,通過(guò)構(gòu)建TIN的方式能將這45個(gè)窗戶準(zhǔn)確的識(shí)別出來(lái)。由于建筑立面的公開(kāi)點(diǎn)云數(shù)據(jù)集較少,對(duì)窗戶的邊界提取精度缺少統(tǒng)一的衡量準(zhǔn)則,因此本文通過(guò)手動(dòng)選取7個(gè)窗戶邊界特征點(diǎn)和自動(dòng)提取的對(duì)應(yīng)特征點(diǎn)作對(duì)比,如圖9所示,分析其坐標(biāo)距離差,定量分析其提取的精度。通過(guò)數(shù)據(jù)分析可以看出,窗戶特征點(diǎn)距離差多集中在0.02～0.06 m之間,平均值為0.048 m,精度分布較高且較集中,結(jié)果驗(yàn)證了提取的窗戶邊界準(zhǔn)確性較高。

圖9 距離差偏移分布圖

5 結(jié) 語(yǔ)

TLS能快速獲取建筑物立面點(diǎn)云數(shù)據(jù),對(duì)智慧城市的創(chuàng)建及三維模型的構(gòu)建具有較大優(yōu)勢(shì),而建筑物立面的細(xì)節(jié)提取對(duì)精細(xì)建模顯得尤為重要。本文針對(duì)窗戶不同情況,提出了通過(guò)生成點(diǎn)云對(duì)偶深度圖像和構(gòu)建TIN的方式進(jìn)行邊界提取。其中將三維點(diǎn)云轉(zhuǎn)換為二維圖像,避免了大量的幾何運(yùn)算,降低了三維的提取難度,而通過(guò)構(gòu)建TIN進(jìn)行邊界提取,則彌補(bǔ)了窗戶上點(diǎn)云缺失的情況。

實(shí)驗(yàn)結(jié)果表明,本文研究能對(duì)建筑物窗戶進(jìn)行有效提取,當(dāng)窗戶上點(diǎn)云密集且空洞較少時(shí),效果顯著,而當(dāng)窗戶上無(wú)點(diǎn)云數(shù)據(jù)時(shí),通過(guò)構(gòu)建TIN進(jìn)行提取,能有效彌補(bǔ)基于對(duì)偶深度圖提取方法的不足。該方法目前能對(duì)包含點(diǎn)云及空洞的窗戶進(jìn)行有效提取,在未來(lái)的研究中,我們將針對(duì)同一建筑物下存在不同語(yǔ)義的窗戶,實(shí)現(xiàn)對(duì)偶深度圖與TIN的融合,同時(shí)考慮借助深度學(xué)習(xí)自動(dòng)判別不同語(yǔ)義特征的窗戶。