面向高分辨率激光掃描點(diǎn)云的三維建筑物風(fēng)格化渲染方法

唐翔， 王偉鵬， 羅歡， 郭迎亞

(1. 福州大學(xué)建筑與城鄉(xiāng)規(guī)劃學(xué)院, 福建 福州 350108; 2. 福州大學(xué)計(jì)算機(jī)與大數(shù)據(jù)學(xué)院, 福建 福州 350108)

0 引言

三維激光掃描技術(shù)的快速發(fā)展帶來了三維激光掃描系統(tǒng)性能的不斷提高. 目前， 三維激光掃描技術(shù)已廣泛應(yīng)用于建筑物結(jié)構(gòu)提取[1]、 遺產(chǎn)保護(hù)[2]、 城市規(guī)劃[3]以及虛擬現(xiàn)實(shí)[4]等諸多領(lǐng)域. 相比于傳統(tǒng)測繪手段， 三維激光掃描具有采集自動(dòng)化程度高、 測量精度高、 數(shù)據(jù)生產(chǎn)周期短以及生產(chǎn)過程受環(huán)境因素影響小等特點(diǎn)[5]. 其所采集的高分辨率掃描點(diǎn)云是密集分布在被測量物體表面的高密度離散三維點(diǎn)所形成的點(diǎn)集合. 由于三維點(diǎn)云具有空間離散分布的特點(diǎn)， 直接展示原始三維點(diǎn)云缺乏良好的視覺展示效果， 這一缺陷在虛擬現(xiàn)實(shí)、 增強(qiáng)現(xiàn)實(shí)等應(yīng)用中尤為明顯.

針對三維點(diǎn)云可視化的問題， 關(guān)于點(diǎn)云渲染的相關(guān)研究一直以來受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注[6-8]. 為了使三維點(diǎn)云的展示蘊(yùn)含其所處場景的光照信息， 屏幕空間環(huán)境光遮蔽的實(shí)時(shí)渲染方法[6]通過計(jì)算光線的遮蔽量以實(shí)現(xiàn)三維點(diǎn)云的渲染， 增強(qiáng)了點(diǎn)云展示的真實(shí)感. 針對可同時(shí)獲取三維點(diǎn)云和光學(xué)影像的激光雷達(dá)掃描系統(tǒng)， 基于三維點(diǎn)云和光學(xué)影像匹配的渲染方法[7]通過挖掘不同數(shù)據(jù)源間的共享信息， 以建立點(diǎn)云與影像間的映射關(guān)系， 進(jìn)而實(shí)現(xiàn)點(diǎn)云的真實(shí)色彩渲染. 為了更好地挖掘點(diǎn)云與影像間的共享信息， 通過隨機(jī)一致性采樣方法在特征空間中實(shí)現(xiàn)不同數(shù)據(jù)源之間的對應(yīng)點(diǎn)自動(dòng)搜索與匹配[8]. 這為點(diǎn)云真實(shí)感渲染的實(shí)現(xiàn)提供了另外一種解決思路. 雖然建立點(diǎn)云與影像間的映射關(guān)系后， 可利用目標(biāo)真實(shí)顏色渲染其點(diǎn)云數(shù)據(jù)， 但是此類方法要求激光掃描系統(tǒng)可同時(shí)獲取同一場景的點(diǎn)云與影像描述.

隨著深度學(xué)習(xí)在各個(gè)領(lǐng)域的成功應(yīng)用， 面向圖像數(shù)據(jù)的非真實(shí)感渲染方法已經(jīng)成功應(yīng)用于工業(yè)界[9]， 但是面向點(diǎn)云數(shù)據(jù)的非真實(shí)感渲染的相關(guān)技術(shù)卻鮮有報(bào)道. 風(fēng)格化渲染點(diǎn)云是一種非真實(shí)感渲染點(diǎn)云的方法[10]， 其通過將人的注意力集中到不真實(shí)的數(shù)據(jù)顯示上， 有效地彌補(bǔ)點(diǎn)云數(shù)據(jù)在真實(shí)感上表現(xiàn)的不足， 提高了點(diǎn)云數(shù)據(jù)展示的藝術(shù)性和娛樂性. 本研究主要針對高分辨率激光掃描點(diǎn)云的非真實(shí)感渲染問題， 提出一種面向高分辨率激光掃描點(diǎn)云的三維建筑物風(fēng)格化渲染的方法， 實(shí)現(xiàn)了二維圖像風(fēng)格向三維點(diǎn)云風(fēng)格的遷移， 以提高三維點(diǎn)云的展示效果. 所提出的方法在不同激光掃描設(shè)備所采集的高分辨率建筑物點(diǎn)云數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn). 實(shí)驗(yàn)驗(yàn)證了所提出的方法可成功地將二維圖像的風(fēng)格遷移至三維點(diǎn)云中， 提高了三維點(diǎn)云的展示效果.

1 面向高分辨率激光掃描點(diǎn)云的風(fēng)格化渲染

本研究所提出的面向高分辨率激光掃描點(diǎn)云的風(fēng)格化渲染方法可分為以下三個(gè)階段： 首先， 利用遠(yuǎn)距離點(diǎn)采樣方法可實(shí)現(xiàn)精簡高分辨率建筑物點(diǎn)云數(shù)據(jù)， 同時(shí)保留其三維結(jié)構(gòu)特征， 以解決高分辨率點(diǎn)云中海量三維點(diǎn)所帶來的計(jì)算量問題； 然后， 基于采樣后的三維點(diǎn)云， 生成三維網(wǎng)格數(shù)據(jù)， 并利用基于神經(jīng)網(wǎng)絡(luò)的三維網(wǎng)格風(fēng)格化渲染方法， 以實(shí)現(xiàn)二維圖像至三維建筑物的風(fēng)格遷移； 最后， 將風(fēng)格化渲染后的三維網(wǎng)格數(shù)據(jù)作為橋梁， 利用基于K-D樹(K-dimensional Tree)的網(wǎng)格數(shù)據(jù)與點(diǎn)云數(shù)據(jù)的融合方法， 建立兩種數(shù)據(jù)之間的映射關(guān)系， 以實(shí)現(xiàn)將可視化信息從三維網(wǎng)格數(shù)據(jù)向點(diǎn)云數(shù)據(jù)的傳遞， 最終完成三維點(diǎn)云風(fēng)格化渲染.

1.1 高分辨率三維點(diǎn)云的遠(yuǎn)距離點(diǎn)采樣

高分辨率三維點(diǎn)云數(shù)據(jù)具有點(diǎn)密度高的特點(diǎn)， 這意味著建筑物點(diǎn)云數(shù)據(jù)包含海量三維離散點(diǎn)， 極大地增加了點(diǎn)云風(fēng)格化渲染的計(jì)算復(fù)雜性. 為了解決這一問題， 本研究提出利用點(diǎn)云采樣對點(diǎn)云數(shù)據(jù)進(jìn)行精簡的同時(shí)保留其三維幾何結(jié)構(gòu). 目前， 常用的啟發(fā)式點(diǎn)云采樣方法包括隨機(jī)采樣(random sampling， RS)， 反密度重要性采樣(inverse density importance sampling， IDIS)[11]， 以及遠(yuǎn)距離點(diǎn)采樣(farthest point sampling, FPS)[12]. 隨機(jī)采樣是通過在原始三維點(diǎn)集合中均勻采樣出給定數(shù)量點(diǎn)的采樣方法. 反密度重要性采樣是根據(jù)點(diǎn)密度以采樣密度最高點(diǎn)的采樣方法. 對于隨機(jī)采樣來說， 雖然其采樣速度快， 但是由于其采樣效果與點(diǎn)集規(guī)模相關(guān)， 因此難以保證采樣后的點(diǎn)云仍能保留原始點(diǎn)云的完整結(jié)構(gòu). 對于反密度重要性采樣， 雖然其可保證原有結(jié)構(gòu)信息不受破壞， 但仍存在對異常點(diǎn)抗干擾性差的問題[13]. 相比于其他兩種方法， 遠(yuǎn)距離點(diǎn)采樣算法可以很好地保持原始點(diǎn)云的幾何結(jié)構(gòu)特性， 同時(shí)具有較好的魯棒性.

4) 重復(fù)2)～3)步直到采樣點(diǎn)數(shù)為K， 算法終止.

遠(yuǎn)距離點(diǎn)采樣算法每次采樣距離點(diǎn)集P*的最遠(yuǎn)點(diǎn)， 這在一定程度上保證了采樣后的點(diǎn)云數(shù)據(jù)盡可能地覆蓋整個(gè)原始點(diǎn)云數(shù)據(jù)， 同時(shí)對于局部異常點(diǎn)具有一定的抗干擾能力.

1.2 基于神經(jīng)網(wǎng)絡(luò)的三維網(wǎng)格風(fēng)格化渲染

L=acLc+asLs+atLt

(1)

該損失函數(shù)包含了內(nèi)容損失Lc、 風(fēng)格損失Ls以及鄰域風(fēng)格損失Lt三個(gè)部分.其中，ac，as和at分別是內(nèi)容損失、 風(fēng)格損失和鄰域風(fēng)格損失在損失函數(shù)L中的權(quán)重因子.

為了保證風(fēng)格化渲染前后的三維網(wǎng)格數(shù)據(jù)的內(nèi)容一致性， 內(nèi)容損失Lc的設(shè)計(jì)考慮了三維點(diǎn)的整體位置偏移量.位置偏移量越小將意味著風(fēng)格化渲染前后的數(shù)據(jù)三維結(jié)構(gòu)的變化越小.

(2)

圖像特征信息可反映圖像視覺風(fēng)格.為了保證已渲染三維網(wǎng)格m和圖像xs的風(fēng)格具有一致性，Ls的設(shè)計(jì)考慮了應(yīng)盡量減少風(fēng)格遷移區(qū)域的圖像特征的差異性.

(3)

為了使三維網(wǎng)格的風(fēng)格化渲染不受噪聲干擾， 引入相鄰像素之間顏色的相似性作為約束， 將Lt設(shè)計(jì)為如下形式：

(4)

為了最小化損失函數(shù)L， 本研究采用卷積神經(jīng)網(wǎng)絡(luò)對三維網(wǎng)格風(fēng)格化渲染進(jìn)行建模， 并通過隨機(jī)梯度下降算法進(jìn)行求解.首先， 通過神經(jīng)網(wǎng)絡(luò)渲染器[10]將三維網(wǎng)格數(shù)據(jù)根據(jù)視角?投影到二維平面生成風(fēng)格化渲染圖像x； 然后， 將x與風(fēng)格圖像數(shù)據(jù)xs進(jìn)行比對， 用以計(jì)算損失函數(shù)L的值； 最后， 通過對損失函數(shù)L求導(dǎo)， 利用反向傳播算法， 并根據(jù)損失函數(shù)值， 對神經(jīng)網(wǎng)絡(luò)渲染器的參數(shù)進(jìn)行更新.整個(gè)神經(jīng)網(wǎng)絡(luò)渲染器的參數(shù)更新過程不斷迭代執(zhí)行， 直到更新過程收斂為止， 即損失函數(shù)值不再發(fā)生明顯的變化.神經(jīng)網(wǎng)絡(luò)渲染器的訓(xùn)練階段結(jié)束后， 將輸出神經(jīng)網(wǎng)絡(luò)渲染器和三維網(wǎng)格數(shù)據(jù)的風(fēng)格化渲染結(jié)果m.

1.3 基于K-D樹的三維網(wǎng)格數(shù)據(jù)與高分辨率三維點(diǎn)云數(shù)據(jù)融合

為了有效地渲染原始高分辨率三維點(diǎn)云數(shù)據(jù)P， 將利用得到的已渲染三維網(wǎng)格數(shù)據(jù)m， 通過融合三維網(wǎng)格與三維點(diǎn)云數(shù)據(jù)， 以實(shí)現(xiàn)視覺信息從三維網(wǎng)格數(shù)據(jù)向三維點(diǎn)云數(shù)據(jù)的傳遞.本研究提出基于K-D樹[14]的數(shù)據(jù)融合算法， 建立點(diǎn)云與網(wǎng)格數(shù)據(jù)之間的映射， 進(jìn)而實(shí)現(xiàn)網(wǎng)格數(shù)據(jù)和點(diǎn)云數(shù)據(jù)的融合， 最終完成高分辨率建筑物點(diǎn)云的渲染.首先， 利用均勻采樣算法在三維網(wǎng)格m中每一個(gè)三角面片fi上采樣N個(gè)帶有視覺信息的三維點(diǎn)， 形成三維點(diǎn)集Pmesh.其中，Pmesh中三維點(diǎn)的顏色視覺信息是由采樣點(diǎn)所處的三角面片fi上的RGB顏色所決定的； 然后， 利用K-D樹的構(gòu)建算法， 將三維點(diǎn)集Pmesh作為輸入， 建立K-D樹搜索結(jié)構(gòu)T； 最后， 對于每一個(gè)三維點(diǎn)pi∈P， 利用T搜索點(diǎn)集Pmesh中其相鄰的k個(gè)點(diǎn)， 并將三維點(diǎn)pi的視覺信息設(shè)置為k個(gè)點(diǎn)顏色的均值.基于K-D樹的數(shù)據(jù)融合算法運(yùn)行結(jié)束后， 即可獲得風(fēng)格化渲染后的高分辨率三維點(diǎn)云數(shù)據(jù).

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證所提出的點(diǎn)云風(fēng)格化渲染方法能適用于不同類型的點(diǎn)云數(shù)據(jù)， 實(shí)驗(yàn)中所使用的建筑物點(diǎn)云是通過Leica ScanStation P50、 RIEGL VMX450以及 L3D2 MLS system三種不同類型的激光掃描系統(tǒng)得到的. 其中， P50是靜態(tài)激光掃描系統(tǒng)， VMX450和L3D2是車載移動(dòng)激光掃描系統(tǒng). 圖1分別展示了通過P50、 L3D2和VMX450所獲取的原始高分辨率建筑物點(diǎn)云數(shù)據(jù). 其中， 建筑物1是教堂數(shù)據(jù)； 建筑物2是洋房數(shù)據(jù)； 建筑物3是高樓數(shù)據(jù). 這些建筑物點(diǎn)云的點(diǎn)數(shù)目分別為 2 047 950、 289 471和945 893點(diǎn)， 點(diǎn)密度分別約為4 000、 2 000和3 000點(diǎn)·m-2.

圖1 原始高分辨率建筑物點(diǎn)云數(shù)據(jù)展示圖Fig.1 Raw high-resolution point clouds of building

2.2 三維建筑物點(diǎn)云的風(fēng)格化渲染

所提出的算法在Windows 10系統(tǒng)、 GPU 3.7 GHz、 內(nèi)存4 GB的臺(tái)式機(jī)上進(jìn)行驗(yàn)證. 在遠(yuǎn)距離點(diǎn)采樣中， 將采樣點(diǎn)數(shù)目K設(shè)置為10 000. 三個(gè)建筑物點(diǎn)云的采樣時(shí)間分別為 489、 72和213 s. 圖2顯示了建筑物點(diǎn)云的采樣結(jié)果. 與圖1中原始高分辨率點(diǎn)云數(shù)據(jù)相比， 采樣后的建筑物點(diǎn)云明顯變得稀疏， 但依然保留了原始建筑物點(diǎn)云的三維幾何結(jié)構(gòu)信息. 這表明遠(yuǎn)距離點(diǎn)采樣算法不僅極大減少了建筑物表面三維點(diǎn)數(shù)目， 而且在一定程度上保持建筑物的主要結(jié)構(gòu)信息.

圖2 采樣后的建筑物點(diǎn)云數(shù)據(jù)展示圖 Fig.2 Sampled 3D point clouds of building

在三維網(wǎng)格風(fēng)格化渲染中， 損失函數(shù)L的權(quán)重因子ac、as和at分別設(shè)置為0.4、 0.4和0.2. 在網(wǎng)格數(shù)據(jù)與點(diǎn)云數(shù)據(jù)融合的過程中， 鄰域數(shù)目k設(shè)置為5. 圖3～5分別展示了建筑物1～3的風(fēng)格化渲染結(jié)果. 對于每一個(gè)建筑物， 都采用了四幅風(fēng)格不同的圖像作為風(fēng)格圖像. 從風(fēng)格化渲染后的點(diǎn)云中可以看出， 所提出的三維點(diǎn)云風(fēng)格化渲染方法能成功地將二維圖像的圖像風(fēng)格遷移到三維點(diǎn)云上. 與圖1中原始點(diǎn)云數(shù)據(jù)相比， 風(fēng)格化渲染后的點(diǎn)云具有更好的展示效果， 提高了三維點(diǎn)云展示的藝術(shù)性. 從風(fēng)格化渲染后的局部細(xì)節(jié)上看， 某些局部點(diǎn)云渲染未能很好地表現(xiàn)原始圖像風(fēng)格. 這是由于點(diǎn)云具有空間離散分布的特點(diǎn)， 導(dǎo)致了三維網(wǎng)格與點(diǎn)云數(shù)據(jù)融合后出現(xiàn)點(diǎn)云顏色顯示不連續(xù)的情況. 另外， 從圖3(c)、 圖4(c)和圖5(c)的展示結(jié)果中可以看出， 對風(fēng)格化渲染后的點(diǎn)云進(jìn)行環(huán)境光遮蔽渲染， 可實(shí)現(xiàn)在提高點(diǎn)云展示效果的同時(shí)， 突出建筑物的幾何輪廓. 這反映所提出的風(fēng)格化渲染方法可保持原有點(diǎn)云數(shù)據(jù)的三維幾何結(jié)構(gòu)信息.

圖3 建筑物1的點(diǎn)云渲染結(jié)果展示圖Fig.3 The rendering results of building 1 on the 3D point clouds

圖4 建筑物2的點(diǎn)云渲染結(jié)果展示圖Fig.4 The rendering results of building 2 on the 3D point clouds

圖5 建筑物3的點(diǎn)云渲染結(jié)果展示圖Fig.5 The rendering results of building 3 on the 3D point clouds

3 結(jié)語

本研究針對高分辨率激光掃描點(diǎn)云的非真實(shí)感渲染問題， 提出一個(gè)面向高分辨率激光掃描點(diǎn)云的建筑物風(fēng)格化渲染方法. 該方法提出了遠(yuǎn)距離點(diǎn)采樣方法， 以解決高分辨率點(diǎn)云所帶來的計(jì)算量大的問題； 給出了基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格化渲染方法和基于K-D樹的數(shù)據(jù)融合方法， 以解決三維點(diǎn)云數(shù)據(jù)風(fēng)格化渲染問題. 實(shí)驗(yàn)中所采用的數(shù)據(jù)集包含不同激光掃描系統(tǒng)所采集的不同類型建筑物的高分辨率點(diǎn)云數(shù)據(jù). 實(shí)驗(yàn)結(jié)果表明， 所提出的算法可有效地將二維圖像的風(fēng)格遷移至三維建筑物風(fēng)格， 在提高點(diǎn)云數(shù)據(jù)的可視化效果的同時(shí)， 增加了點(diǎn)云數(shù)據(jù)展示的藝術(shù)性.

本研究所提出的點(diǎn)云風(fēng)格化渲染方法利用了三維網(wǎng)格數(shù)據(jù)作為圖像風(fēng)格向點(diǎn)云風(fēng)格遷移的橋梁， 這在一定程度上影響了圖像風(fēng)格向點(diǎn)云風(fēng)格遷移的效果. 未來的研究將考慮端到端地實(shí)現(xiàn)圖像風(fēng)格向點(diǎn)云風(fēng)格的直接遷移， 以避免三維網(wǎng)格與點(diǎn)云融合后出現(xiàn)的點(diǎn)云顏色顯示不連續(xù).