基于應(yīng)急現(xiàn)場(chǎng)多源可見(jiàn)光照片的 快速三維測(cè)繪場(chǎng)景重建研究

徐 健 王圣偉 鄧 創(chuàng)

（國(guó)網(wǎng)四川省電力公司電力應(yīng)急中心）

1 電力應(yīng)急場(chǎng)景三維重建需求分析

1.1 國(guó)內(nèi)外研究水平綜述

為了實(shí)現(xiàn)快速三維場(chǎng)景重建，研究人員一直在算法和技術(shù)上進(jìn)行嘗試。在傳統(tǒng)攝影測(cè)量領(lǐng)域，研究人員重點(diǎn)關(guān)注非測(cè)量型相機(jī)在近景攝影測(cè)量及無(wú)人機(jī)載航測(cè)中的應(yīng)用[1]。在計(jì)算機(jī)視覺(jué)領(lǐng)域，由于不關(guān)注相對(duì)和絕對(duì)幾何精度，甚至僅在仿射空間中進(jìn)行三維重建即可以作為有意義的結(jié)果數(shù)據(jù)，故該領(lǐng)域的研究人員更多地關(guān)注三維重建的自動(dòng)化算法[2-6]。

1.2 研究意義及目的

本文研究的主要內(nèi)容是將應(yīng)急現(xiàn)場(chǎng)獲取的多角度、多點(diǎn)位圖片信息進(jìn)行融合處理，結(jié)合這些信息源的位置、方向、角度、光學(xué)信息等，通過(guò)幾何校正、航測(cè)平差、數(shù)字點(diǎn)云生成、三維貼圖等步驟實(shí)現(xiàn)應(yīng)急現(xiàn)場(chǎng)具備測(cè)繪精度的三維空間場(chǎng)景的重建?？傮w而言，基于現(xiàn)場(chǎng)勘測(cè)圖片重建的三維場(chǎng)景，可給現(xiàn)場(chǎng)提供直觀、完整、豐富的可視化災(zāi)情展示，在現(xiàn)場(chǎng)災(zāi)情細(xì)節(jié)的具體測(cè)繪和分析中，也可以充分利用空間信息對(duì)災(zāi)情的嚴(yán)重程度、發(fā)展態(tài)勢(shì)以及救援方案進(jìn)行分析和輔助推演，大大提高應(yīng)急現(xiàn)場(chǎng)災(zāi)情研判和指揮決策的信息化程度，對(duì)提升應(yīng)急救援的效率和技術(shù)水平具有重要的意義。

2 系統(tǒng)架構(gòu)

2.1 系統(tǒng)架構(gòu)設(shè)計(jì)

圖1 系統(tǒng)架構(gòu)圖

如圖1所示，三維應(yīng)急現(xiàn)場(chǎng)重建系統(tǒng)的整體架構(gòu)共分5個(gè)步驟[7-9]：①實(shí)驗(yàn)數(shù)據(jù)采集及預(yù)處理:分別利用典型的消費(fèi)級(jí)成像設(shè)備，采微型無(wú)人機(jī)搭載方式獲取空中俯視圖像集；②高精度本底數(shù)據(jù)預(yù)處理：對(duì)影像底圖進(jìn)行預(yù)先計(jì)算得到本底特征庫(kù)，預(yù)提取的特征即包括SIFT、SURF算子提取的特征點(diǎn)，也包括 Harris、DoG算子提取的角點(diǎn)；③特征匹配與內(nèi)外參數(shù)恢復(fù)：對(duì)于特征點(diǎn)的匹配，采用SFM的成熟算法，對(duì)于特征面和特征邊之間的匹配，參照SFM算法構(gòu)造一種混合特征點(diǎn)和特征面和特征邊的匹配方式； ④改進(jìn)的稠密點(diǎn)云重建：本研究擬改進(jìn)PMVS算法，充分利用由拍攝、地點(diǎn)確定的太陽(yáng)高度角和氣候狀況估計(jì)建筑物光照情況；⑤點(diǎn)云重建結(jié)果的變化檢測(cè)與融合：本研究擬采用機(jī)器學(xué)習(xí)的方法在三維空間中進(jìn)行點(diǎn)云數(shù)據(jù)的變化檢測(cè)，并以此為基礎(chǔ)實(shí)現(xiàn)點(diǎn)云更新和融合。

2.2 系統(tǒng)的主要技術(shù)難點(diǎn)

系統(tǒng)主要有以下兩個(gè)技術(shù)難點(diǎn)：①基于無(wú)人機(jī)的高精度影像配準(zhǔn)技術(shù)。本文首先要實(shí)現(xiàn)無(wú)人機(jī)數(shù)據(jù)與其他參考數(shù)據(jù)源之間的高精度自動(dòng)配準(zhǔn)。在分析無(wú)人機(jī)數(shù)據(jù)存在的幾何形變和參考數(shù)據(jù)源的特點(diǎn)的基礎(chǔ)上，針對(duì)不同的參考數(shù)據(jù)源，采用與之特點(diǎn)相適用的匹配方法。②基于計(jì)算機(jī)視覺(jué)的三維重建技術(shù)，如何提高SFM算法的效率以適應(yīng)可用數(shù)據(jù)源數(shù)量的迅速增多已經(jīng)成為三維重建領(lǐng)域研究的熱點(diǎn)；此外，由于拍攝點(diǎn)不能完全覆蓋場(chǎng)景，上述方法得到的點(diǎn)云肯定是不完備的，因此將利用更多傳感器搭載手段獲取完備的城區(qū)影像數(shù)據(jù)及相應(yīng)的算法也是一個(gè)技術(shù)。

3 系統(tǒng)算法研究

3.1 任務(wù)規(guī)劃系統(tǒng)研發(fā)

三維重建的任務(wù)規(guī)劃系統(tǒng)是無(wú)人機(jī)采集數(shù)據(jù)時(shí)候的一個(gè)重要指導(dǎo)系統(tǒng)。無(wú)人機(jī)采集的數(shù)據(jù)對(duì)后面的重建工作起到關(guān)鍵性作用，而三維重建任務(wù)規(guī)劃系統(tǒng)能有效指導(dǎo)無(wú)人進(jìn)行相關(guān)數(shù)據(jù)采集，使得采集回來(lái)的數(shù)據(jù)能滿足后面重建的要求[10]。

3.2 無(wú)人機(jī)數(shù)據(jù)采集系統(tǒng)研發(fā)

無(wú)人機(jī)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖如圖2所示。

圖2 無(wú)人機(jī)數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)圖

由結(jié)構(gòu)圖可知全景相機(jī)數(shù)據(jù)采集系統(tǒng)，需要GPS全球衛(wèi)星定位系統(tǒng)提供連續(xù)可靠的地理坐標(biāo)信息和UTC時(shí)間。首先，把地理坐標(biāo)信息提供給姿態(tài)IMU，配合IMU數(shù)據(jù)形成更加穩(wěn)定和連續(xù)的實(shí)時(shí)定位信息。然后，提供PPS秒脈沖給同步曝光控制模塊，用于同步系統(tǒng)時(shí)鐘。最后，在同步曝光信號(hào)的驅(qū)動(dòng)下，同步記錄GPS數(shù)據(jù)。

3.3 快速三維應(yīng)急場(chǎng)景重建系統(tǒng)研發(fā)

三維應(yīng)急場(chǎng)景重建系統(tǒng)主要包括以下模塊：

相機(jī)標(biāo)定分為內(nèi)標(biāo)定和外標(biāo)定。內(nèi)標(biāo)定主要標(biāo)定相機(jī)自身的參數(shù)。外標(biāo)定主要是標(biāo)定相機(jī)模型與世界坐標(biāo)系之間的方位參數(shù)。

相機(jī)姿態(tài)計(jì)算模塊主要用于計(jì)算相機(jī)拍攝不同影像時(shí)的姿態(tài)，再通過(guò)歸一化得到每次成像時(shí)相機(jī)的姿態(tài)，從而為后面三維重建模塊提供條件。

三維點(diǎn)云重建模塊主要解決從影像到三維點(diǎn)云的生成問(wèn)題，利用上面兩步算出來(lái)的結(jié)果再結(jié)合多目視覺(jué)約束關(guān)系把在影像上的像素點(diǎn)生成點(diǎn)云。

三維模型生成模塊是從上面得出的點(diǎn)云中進(jìn)一步處理得到相應(yīng)的三維模型。

3.4 三維地形數(shù)據(jù)展示系統(tǒng)研發(fā)

為了把三維模型和影像更好地展示出來(lái)并在其上面做常用的處理，本文研發(fā)了數(shù)據(jù)展示平臺(tái)，這個(gè)數(shù)據(jù)展示平臺(tái)包含了三維GIS標(biāo)繪系統(tǒng)的通用功能。按實(shí)際開(kāi)發(fā)可以分幾個(gè)功能：數(shù)據(jù)操作、天氣特效、粒子特效、三維測(cè)量、標(biāo)繪系統(tǒng)。

4 應(yīng)用實(shí)例

4.1 應(yīng)用與環(huán)境

以一臺(tái)配置四核處理器、16G內(nèi)存、1TB空間硬盤、Win7操作系統(tǒng)的電腦為地面工作平臺(tái)；以主要系統(tǒng)參數(shù)是起降方式手拋滑跑起飛/降落/傘降、機(jī)身材料EPO、翼展1800mm、機(jī)身長(zhǎng)度1230mm、機(jī)身高度160mm、任務(wù)倉(cāng)最大寬度135mm、空機(jī)重量1165g、續(xù)航時(shí)間40～120min的無(wú)人機(jī)為航拍設(shè)備，實(shí)現(xiàn)將四川某地區(qū)變電所三維建模的任務(wù)。

4.2 應(yīng)用結(jié)果展示

四川地區(qū)變電站三維重建點(diǎn)云展示，如圖3所示。

從上述應(yīng)用結(jié)果可看出來(lái)，點(diǎn)云比較精細(xì)，起伏明顯。整個(gè)方案最終有效地把從無(wú)人機(jī)采集回來(lái)的影像數(shù)據(jù)，GPS數(shù)據(jù)，IMU數(shù)據(jù)融合在一起最總生成精確的三維點(diǎn)云和三維模型。

圖3 四川地區(qū)變電站三維重建點(diǎn)云展示

5 討論與展望

近年來(lái)對(duì)電力供應(yīng)的可靠性、持續(xù)性的要求越來(lái)越高，因此考慮電力應(yīng)急反應(yīng)的高效性、準(zhǔn)確性變得越來(lái)越重要。未來(lái)還有很多工作可以持續(xù)開(kāi)展，如：

1）在以地圖模型進(jìn)行了分析時(shí)，如何綜合考慮各種因素，以及各因素內(nèi)部關(guān)系的正確處理將是未來(lái)研究的趨勢(shì)。

2）地質(zhì)災(zāi)害對(duì)電網(wǎng)的影響因素多，如何利用更加真實(shí)全面的地形數(shù)據(jù)，改進(jìn)各類災(zāi)害的預(yù)測(cè)模型以提高預(yù)測(cè)準(zhǔn)確度也是今后研究的重點(diǎn)。

3）根據(jù)詳盡的地理模型對(duì)災(zāi)變下電網(wǎng)的相關(guān)風(fēng)險(xiǎn)分析也是研究的方向。

6 結(jié)束語(yǔ)

本文提出了采用照相機(jī)、攝像機(jī)、拍照手機(jī)等消費(fèi)級(jí)圖像采集設(shè)備對(duì)高精度場(chǎng)景三維重建成果進(jìn)行更新的技術(shù)路線，闡明了未標(biāo)定圖像三維重建的基本原理、誤差模型、精度控制及自動(dòng)化方法，改進(jìn)了計(jì)算機(jī)視覺(jué)中特征匹配算法和稠密點(diǎn)云重建算法，建立一套完整的低成本三維場(chǎng)景模型更新軟件原型體系。給現(xiàn)場(chǎng)提供直觀、完整、豐富的可視化災(zāi)情展示，使得災(zāi)情現(xiàn)場(chǎng)的信息展示更具有整體性，可大大提升指揮決策的效率。

[1]陳兵旗, 孫明. 實(shí)用數(shù)字圖像處理與分析[M]. 北京:中國(guó)農(nóng)業(yè)大學(xué)出版社, 2003.

[2]羅軍輝, 馮平. Matlab在圖像處理中的應(yīng)用[M]. 北京: 機(jī)械工業(yè)出版社, 2007.

[3]VATTIBR. A generic solution to polygon clipping[J]. Communications of the ACM, 1992, 35(7): 56- 63.

[4]紀(jì)鳳, 歐宗瑛, 秦緒佳. 基于Delaunay三角剖分的層析圖像離散數(shù)據(jù)表面重建算法[J]. 工程圖學(xué)學(xué)報(bào), 2001, 22(2): 53- 58.

[5]BAKSHIS, YANGY. Shape from shading for non-lambertian surfaces[C]//Proc of International Conference on Image Processing, 1994: 130-134.

[6]劉華松, 莊飛. 新農(nóng)村建設(shè)與村莊規(guī)劃[J]. 中國(guó)新技術(shù)新產(chǎn)品, 2009(4): 196.

[7]呂厚宜. 無(wú)人機(jī)發(fā)展與無(wú)人機(jī)技術(shù)[J]. 世界科技研究與發(fā)展, 1998, 20(6): 113-116.

[8]王海斌, 葛雪雁, 宋玉珍. 無(wú)人機(jī)的發(fā)展趨勢(shì)與技術(shù)預(yù)測(cè)[J]. 飛航導(dǎo)彈, 2009(11): 46-52.

[9]馬輪基, 馬瑞升, 林宗桂, 等. 微型無(wú)人機(jī)遙感應(yīng)用初探[J]. 廣西氣象, 2005, 26(Z1): 180-181.

[10]金偉, 葛宏立, 杜華強(qiáng), 等. 無(wú)人機(jī)遙感發(fā)展與應(yīng)用概況[J]. 遙感信息, 2009, 88(5): 88-92.