智慧城市街區(qū)虛擬全景影像三維快速重建研究

施并招，呂 威，2*

(1. 澳門城市大學，中國 澳門 999078；2. 吉林大學珠海學院，廣東 珠海 519041)

1 引言

智慧城市的建設(shè)過程中需要收集城市基本信息，以確定城市工業(yè)化、城鎮(zhèn)化發(fā)展現(xiàn)狀，實現(xiàn)對城市的精細化和動態(tài)化管理，提升城市資源利用效率。城市基本信息的獲取，就要精準的獲取城市空間三維信息，得到高精度、相對完整的城市數(shù)據(jù)，形成三維影像圖[1-2]。

目前，國內(nèi)外對城市全景影像三維重建技術(shù)的研究已經(jīng)取得一定的研究成果，大多采用融合傾斜攝影和點云的三維重建技術(shù)[3]、無人機傾斜攝影測量三維重建技術(shù)[4]、GPS改進的移動球形全景影像三維重建技術(shù)[5]。以上技術(shù)為城市全景影像三維重建，提供了城市的位置、輪廓、高度等基礎(chǔ)信息。形成多幅不同角度的城市圖像，采用場景交互的方式，構(gòu)建三維重建城市全景影像；但當建筑物存在場景遮擋問題時，會出現(xiàn)較大的重建誤差；此外，城市全景影像，存在高度的相似性和冗余度，如街道、居民區(qū)、綠化等，其中，還存在著難以得到完整數(shù)據(jù)的地下管道，影響城市全景影像三維重建效果。因此，有學者利用城市的高度相似性和冗余度，通過大規(guī)模重復(fù)的方式，整合殘缺的城市數(shù)據(jù)[6-7]。但是在實際應(yīng)用中存在耗時較長的問題。

為此，本文以泉州市鯉城區(qū)古城街區(qū)為研究對象，采用當前已有的大數(shù)據(jù)、人工智能、車載激光雷達等技術(shù)，優(yōu)化街區(qū)建筑物信息的采集，改進智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)。

2 智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)

2.1 街區(qū)建筑物采集數(shù)據(jù)坐標建立

此次三維重建古城街區(qū)虛擬全景影像，采用車載激光雷達技術(shù)作為本次重建鯉城區(qū)古城街區(qū)虛擬全景影像全景數(shù)據(jù)的采集設(shè)備。由于車載激光雷達需汽車裝載激光雷達，掃描鯉城區(qū)古城街區(qū)虛擬全景，形成全景影像，因此車載激光雷達[8-9]對地坐標系分為激光束瞬時坐標系、掃描參考坐標系和大地坐標系三部分。

建立激光束瞬時坐標系X1軸，將以車行駛的方向作為對地坐標系的X1軸方向，激光束的掃描中心為對地坐標系的原點O1，激光束瞬時掃描方向為Y1軸，Z1軸與X1軸和Y1軸互相垂直，以右手直角坐標系為準則，由Z1軸、X1軸和Y1軸共同構(gòu)成激光束瞬時坐標系。

建立掃描參考坐標系Y2軸，將以激光束掃描角為0°時車載激光雷達掃描方向作為對地坐標系的Y2軸方向，Z2軸與X1軸和Y2軸互相垂直，以右手直角坐標系為準則，由Z2軸、X1軸和Y2軸共同構(gòu)成掃描參考坐標系。

假設(shè)，某一時刻激光掃描儀激光發(fā)射點，到被測物點T的距離為S，則被測物點T在激光束瞬時坐標系的坐標為

(1)

式(1)中，(XTS，YTS，ZTS)表示被測物點T在激光束瞬時坐標系的坐標[10]。被測物點T在掃描參考坐標系坐標，由激光束瞬時坐標系沿著X1軸逆時針旋轉(zhuǎn)(90°-α)得到，α為激光束掃描角度。設(shè)定的激光掃描中心O1坐標(X0，Y0，Z0)，可以確定每個激光腳點精準的對地坐標(X，Y，Z)

(2)

式(2)中，N0表示激光掃描位置，(x，y，z)表示掃描位置坐標[11]。

但在激光掃描過程中，會存在被測物屬性信息缺失問題，影響城市街區(qū)三維重建速度和效果。因此，需對車載雷達掃描到的鯉城區(qū)古城街區(qū)虛擬全景影像數(shù)據(jù)進行預(yù)處理。

2.2 數(shù)據(jù)預(yù)處理

根據(jù)上一章節(jié)，確定的鯉城區(qū)古城街區(qū)建筑物位置，采用坡度差值方式，劃分城市建筑物種類。因此，以每條掃描線上左起第一個點為起始點，將掃描線內(nèi)所有點，分割成小線段集合，每相鄰兩點都會組成小線段坡度值μn，則有

μn=

(3)

式(3)中，n表示掃描線內(nèi)點數(shù)量；(Xn，Yn，Zn)表示第n個點的空間三維坐標；(Xn-1，Yn-1，Zn-1)表示第n-1個點的空間三維坐標[12]。則第n個點和第n-1個點之間的坡度差值Δμn為

Δμn=|μn+1-μn|

(4)

從式(4)中可以看出，線性分布的掃描線內(nèi)所有點，兩點之間存在坡度值μn=0現(xiàn)象，因此設(shè)定參考閾值W和坡度閾值ω。其中，參考閾值W需要根據(jù)鯉城區(qū)古城街區(qū)環(huán)境，設(shè)置參考閾值，限制小線段集合內(nèi)點的個數(shù)；坡度閾值ω，確定小線段是否為直線，在此次的研究中，設(shè)定為5°～15°之間。

綜合上述內(nèi)容，即完成車載激光雷達，掃描得到的鯉城區(qū)古城街區(qū)數(shù)據(jù)預(yù)處理，此時，即可根據(jù)預(yù)處理后的鯉城區(qū)古城街區(qū)數(shù)據(jù)，提取街區(qū)建筑物特征。

2.3 基于建筑物特征提取的全景影像重建

基于上一節(jié)處理后的鯉城區(qū)古城街區(qū)數(shù)據(jù)，提取鯉城區(qū)古城街區(qū)建筑物、街道面、街道景觀燈方向、大小、深度、位置和拓撲關(guān)系等特征，其特征提取流程如下：1.輸入鯉城區(qū)古城街區(qū)建筑物立面點云數(shù)據(jù)；2.構(gòu)建建筑物窗戶、門洞、墻面等凸出位置，并識別；3.根據(jù)坡度值μn，求取鯉城區(qū)古城街區(qū)建筑物交線，提取交點集，并投影至(X，O，Y)平面；4.求取角點，作為交線頂端點和末尾點；5.設(shè)定距離閾值t，將兩個交線點集擬合成直線；6.兩條交線的四個角點相互連接；7.形成建筑物輪廓。

根據(jù)上述設(shè)置的建筑物特征提取步驟，計算建筑物凸包點集，即窗戶、門洞、墻面等凸出位置。為此，假設(shè)凸包點集為一個完整空間的平面，則有

Ax+By+Cz+D=0

(5)

式(5)中，A、B、C和D都表示平面參數(shù)。此時，假設(shè)車載雷達采集到的建筑物數(shù)據(jù)集合為W，其中包含V的凸集的交集S稱為V的凸包，將(5)式轉(zhuǎn)化為簡化的矩陣，則有

(6)

式(6)中，δ表示建筑實際值。針對(6)式求解，即可得到建筑物凸包點集。

(7)

式(7)中，L表示相交線直線；K表示線性方程；a表示斜線過的定點(0，a)；b表示直線斜率。

(8)

式(8)中，k表示角點。針對(10)式求解，即可得到交線點集和角點坐標，即為建筑物特征提取結(jié)果。

根據(jù)建筑物特征提取結(jié)果，建立建筑物幾何框架，并編寫成DXF文件，導(dǎo)入VisuaISFM三維重建軟件中，即完成泉州市鯉城區(qū)古城街區(qū)虛擬全景影像三維重建技術(shù)研究。

將上文得到的建筑特征，進行還原組合處理，讓其具有對稱、規(guī)則和密閉性等特點，形成建筑物幾何框架。因此，將上述得到的街區(qū)數(shù)據(jù)集合，投影至(X，O，Y)平面，得到建筑物的三維信息，求出建筑物坐標，確定街區(qū)建筑物位置，形成街區(qū)三維虛擬影像。將泉州市鯉城區(qū)古城街區(qū)所有建筑物，都按照上述方式，逐一還原，并在計算機上，編寫成DXF文件，將其導(dǎo)入VisuaISFM三維重建軟件中，重建街區(qū)三維虛擬影像。在重建的過程中，按照得到的建筑物坐標，規(guī)劃街區(qū)建筑物位置，形成鯉城區(qū)古城街區(qū)虛擬全景影像。

此次研究城市街區(qū)虛擬全景影像三維快速重建方法，采用車載雷達設(shè)備，以泉州市鯉城區(qū)古城街區(qū)為研究對象，采集鯉城區(qū)古城街區(qū)建筑物數(shù)據(jù)，三維快速重建鯉城區(qū)古城街區(qū)虛擬全景影像。

3 實驗設(shè)計與結(jié)果分析

此次實驗，采用對比實驗的方式，以泉州市鯉城區(qū)古城街區(qū)為實驗對象，驗證此次研究的智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)。并將此次研究的智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)，記為實驗A組；文獻[3]技術(shù)、文獻[4]技術(shù)以分別為實驗B組和實驗C組，確定三維重建數(shù)據(jù)采集設(shè)備、數(shù)據(jù)采集角度、GPS/IMU組合導(dǎo)航的東/北向位移真值和觀測噪聲，改變重建全景影像時間，對比三組技術(shù)三維重建誤差、指標和收斂性能。

3.1 實驗準備

此次實驗，選擇的泉州市鯉城區(qū)古城街區(qū)，作為此次實驗三維重建的智慧城市街區(qū)虛擬全景影像。其街區(qū)空間圖片，如圖1所示。

圖1 泉州市鯉城區(qū)古城街區(qū)空間圖

采用圖2所示的鯉城區(qū)古城街區(qū)空間數(shù)據(jù)采集通信連接圖，將采集到的鯉城區(qū)古城街區(qū)空間數(shù)據(jù)，傳遞至計算機中，利用VisuaISFM三維重建軟件，在內(nèi)存為2GB，CPU為Intel(R) Core(TM) i5-9400，功率為2.0GHz，操作系統(tǒng)為Windows 10 64bit，18362.1082專業(yè)版，軟件運行環(huán)境中，重建泉州市鯉城區(qū)古城街區(qū)影像。

圖2 鯉城區(qū)古城街區(qū)空間數(shù)據(jù)采集通信連接圖

基于上述實驗，設(shè)置的數(shù)據(jù)采集坐標和數(shù)據(jù)采集設(shè)備，將LS激光掃描儀的掃描水平起始角設(shè)為0°、豎直起始角設(shè)為30°、角分辨率設(shè)為0.057。

3.2 實驗結(jié)果

3.2.1 三維重建誤差

圖3為實驗的原建筑圖像?；谏鲜鰞?nèi)容設(shè)置的實驗參數(shù)，利用三組實驗分別重建建筑物。圖4所示的鯉城區(qū)古城街區(qū)中的原建筑，其重建結(jié)果，如圖4所示。

圖3 原建筑

圖4 鯉城區(qū)古城街區(qū)全景影像三維重建結(jié)果圖

從圖4中可以看出，實驗C組重建的建筑物，存在較為嚴重的殘缺現(xiàn)象，立面和非立面獲取效果差；實驗B組建的建筑物，存在較為嚴重的紋路，影響建筑物重建效果；只有實驗A組重建的建筑物，與原圖像一致性較好，且不存在殘缺、紋路不清晰等問題。

為進一步對比三組技術(shù)，采用機載LIDAR數(shù)據(jù)濾波測評三組技術(shù)，提取重建鯉城區(qū)古城街區(qū)全景影像中的建筑物的立面和非立面數(shù)據(jù)，計算立面和非立面存在的誤差，其誤差分析結(jié)果，如表1所示。

表1 誤差分析對比結(jié)果表

從表1中可以看出，實驗A組重建的鯉城區(qū)全景影像建筑物，不管是立面，還是非立面，采用機載LIDAR數(shù)據(jù)濾波測評三組技術(shù)，所產(chǎn)生的誤差都是最小的。由此可見，此次研究的智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)，具有較小的重建誤差。

3.2.2 三維重建指標測試

利用三種技術(shù)測試三維建筑重建過程中GPS/IMU組合導(dǎo)航的東/北向位移值，并與測出的真實值作比較，其對比結(jié)果如圖5所示。

圖5 三組技術(shù)狀態(tài)估計值

從圖5中可以看出，只有實驗A組，重建圖4所示的原建筑，存在的位移完全一致。

3.2.3 檢測三組技術(shù)收斂性能

利用VisuaISFM三維重建軟件中的重建時間記錄功能，記錄全景影像重建時間，查看三組技術(shù)，重建技術(shù)收斂性隨著時間的變化，其實驗結(jié)果，如圖6所示。

圖6 三組技術(shù)收斂性能對比

從圖6中可以看出，隨著時間的增加，實驗A組收斂性能最好，重建原建筑開始后的0.5s內(nèi)，迅速收斂。由此可見，此次研究的智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)，重建智慧城市街區(qū)虛擬全景影像，過程穩(wěn)定，具有較優(yōu)的收斂性能。

4 結(jié)束語

綜上所述，本次研究根據(jù)國內(nèi)外研究現(xiàn)狀，充分利用當代城市街區(qū)數(shù)據(jù)采集設(shè)備，提高三維重建智慧城市街區(qū)虛擬全景影像速度。但研究的智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)未考慮城市街區(qū)數(shù)據(jù)采集設(shè)備，采集城市街區(qū)數(shù)據(jù)角度、方向、位置等因素，對三維重建城市街區(qū)虛擬全景影像的影響。因此在今后的研究中，還需深入研究智慧城市街區(qū)虛擬全景影像三維快速重建技術(shù)，判斷街區(qū)數(shù)據(jù)采集設(shè)備，采集城市街區(qū)數(shù)據(jù)時，角度、方向、位置等因素，對三維重建技術(shù)的影響，進一步提高三維重建技術(shù)精度，降低城市街區(qū)重建誤差。