基于微型無(wú)人機(jī)的全自動(dòng)三維重建方法實(shí)驗(yàn)

王海英，胡震天，劉容

(南寧市勘測(cè)院，廣西南寧 530022)

基于微型無(wú)人機(jī)的全自動(dòng)三維重建方法實(shí)驗(yàn)

王海英?，胡震天，劉容

(南寧市勘測(cè)院，廣西南寧 530022)

針對(duì)測(cè)繪無(wú)人機(jī)應(yīng)急響應(yīng)能力較差的局限，基于微型無(wú)人機(jī)系統(tǒng)，設(shè)計(jì)靈活機(jī)動(dòng)的地理信息快速獲取流程，利用MAV平臺(tái)獲取的超低空影像進(jìn)行全自動(dòng)大場(chǎng)景三維重建的實(shí)驗(yàn)。方法分3個(gè)步驟，包括提取特征點(diǎn)并匹配，計(jì)算相機(jī)姿態(tài)參數(shù)，多視立體重建生成3D模型。最后，對(duì) 0.2 km2測(cè)區(qū)進(jìn)行了MAV航拍得到154張照片，全自動(dòng)生成DOM、DSM及紋理貼圖場(chǎng)景3D模型，實(shí)驗(yàn)結(jié)果表明了本文方法的可行性和有效性。

MAV Multi－view stereo；3D reconstruction；DAISY

1 引 言

高空遙感影像近年來(lái)已成為空間數(shù)據(jù)獲取的重要數(shù)據(jù)源。主要以衛(wèi)星遙感和普通航攝技術(shù)為主的繪圖手段，往往暴露出數(shù)據(jù)獲取能力不足和現(xiàn)勢(shì)性差等技術(shù)局限。測(cè)繪無(wú)人機(jī)以低成本，高精度，操作簡(jiǎn)便等特點(diǎn)，在測(cè)繪、數(shù)字城市建設(shè)、災(zāi)害應(yīng)急處理、重大工程建設(shè)、國(guó)土監(jiān)察等領(lǐng)域擁有獨(dú)特的優(yōu)勢(shì)。而國(guó)內(nèi)無(wú)人機(jī)系統(tǒng)大多面向測(cè)繪，設(shè)備專(zhuān)業(yè)、精度高，但部件繁多、體積龐大、工業(yè)制造集成度不高、應(yīng)急響應(yīng)能力較差[1]。得益于MEMS姿態(tài)傳感電子器件的普及應(yīng)用(iPhone 4等智能手機(jī)均內(nèi)置MEMS三軸陀螺儀)以及相關(guān)技術(shù)的快速發(fā)展，近年出現(xiàn)了多種微型無(wú)人機(jī)系統(tǒng)(Micro Air Vehicle，MAV)，成為靈活與便捷的超低空影像獲取平臺(tái)。

圖1 Gatewing X100微型無(wú)人機(jī)

MAV具有體積小巧、重量輕、集成度高、響應(yīng)快速及作業(yè)靈活等特點(diǎn)。例如比利時(shí)Gatewing公司[2]推出的測(cè)繪無(wú)人機(jī)X100，其重量不到 2 kg，如圖1所示。X100采用彈射起飛，滑行降落方式，對(duì)起降條件限制很小，能夠適應(yīng)小區(qū)域突發(fā)事件的快速反應(yīng)。由于機(jī)上載荷的限制，只能搭載普通數(shù)碼相機(jī)，而非專(zhuān)業(yè)數(shù)碼相機(jī)，這就給相應(yīng)的數(shù)據(jù)處理技術(shù)方法帶來(lái)了很高的挑戰(zhàn)性。因此，本文就微型無(wú)人機(jī)搭載便攜數(shù)碼相機(jī)獲取的超低空影像全自動(dòng)三維重建方法進(jìn)行實(shí)驗(yàn)。

2 MAV遙感影像獲取平臺(tái)

MAV系統(tǒng)用于遙感影像獲取的主要特點(diǎn)是高度靈活性，能夠從各種不同的超低空視角獲取高分辨率的數(shù)碼照片；此外由于微型無(wú)人機(jī)系統(tǒng)本身的翼展、起飛重量局限了其飛行姿態(tài)的穩(wěn)定性，照片會(huì)呈現(xiàn)無(wú)規(guī)律的較大角度差異；對(duì)于低價(jià)位的自駕儀[3]，甚至無(wú)法提供每一張照片拍攝時(shí)候?qū)?yīng)的粗略GPS、姿態(tài)數(shù)據(jù)。這些特點(diǎn)使得目前的無(wú)人機(jī)航測(cè)流程難以直接應(yīng)用于微型無(wú)人機(jī)搭載便攜DC獲取的照片集。

本文實(shí)驗(yàn)采用廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院正在研制中的微型無(wú)人機(jī)——慧視I型MAV系統(tǒng)，搭載的便攜數(shù)碼相機(jī)為Panasonic LUMIX LX3，照片分辨率377 6×252 0像素，使用焦距24 mm超廣角，獲取的影像數(shù)據(jù)如圖2所示。

圖2 慧視I型MAV系統(tǒng)獲取的影像數(shù)據(jù)

3 全自動(dòng)三維重建方法

全自動(dòng)三維重建方法分為3個(gè)步驟，首先對(duì)圖像進(jìn)行特征點(diǎn)提取并匹配，接著通過(guò)運(yùn)動(dòng)獲取結(jié)構(gòu)(Structure from motion，SFM)分析計(jì)算得到相機(jī)標(biāo)定信息，然后進(jìn)行多視立體重建(Multi－view stereo，MVS)生成表面格網(wǎng)模型，最后得到三維立體紋理模型。

圖3 全自動(dòng)三維重建方法框圖

3.1 特征點(diǎn)提取與匹配

特征點(diǎn)提取的方法有Harris角點(diǎn)、SIFT和SURF等。本實(shí)驗(yàn)采用改進(jìn)的SIFT方法[4]提取特征點(diǎn)，SIFT特征點(diǎn)具有尺度不變、旋轉(zhuǎn)不變和光照不變的特點(diǎn)，有著很好的魯棒性，非常適合用于寬基線(xiàn)匹配，因此能夠一定程度的適應(yīng)MAV采集圖像姿態(tài)不穩(wěn)定的問(wèn)題。特征點(diǎn)匹配過(guò)程使用KD樹(shù)提高搜索效率，同時(shí)采用由粗到精的匹配策略，以處理冗余度較高的數(shù)碼照片集。

3.2 運(yùn)動(dòng)獲取結(jié)構(gòu)分析

SFM已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的所謂黃金標(biāo)準(zhǔn)技術(shù)[5]，基于照片間特征點(diǎn)匹配關(guān)系，使用非線(xiàn)性?xún)?yōu)化方法回算相機(jī)參數(shù)及稀疏三維點(diǎn)云。本文實(shí)驗(yàn)采用與文獻(xiàn)[6]相似的貪婪搜索SFM方法，采用遞進(jìn)的方法在RANSAC過(guò)程中逐臺(tái)加入相機(jī)，初始相機(jī)對(duì)的標(biāo)定采用五點(diǎn)法[7]確定穩(wěn)定初值，避免非線(xiàn)性收斂到局部極值，得到錯(cuò)誤相機(jī)標(biāo)定結(jié)果。

3.3 多視立體三維重建

MVS是近年發(fā)展很快的計(jì)算機(jī)視覺(jué)技術(shù)，由已標(biāo)定的多視角照片進(jìn)行三維重建，目前比較好的方法有基于面片、基于法向量[8]和深度圖融合的方法[9]。本文采用深度圖融合的三維重建方法，其關(guān)鍵在于確定立體圖像對(duì)進(jìn)行深度圖恢復(fù)，并將可靠性高的多深度圖融合得到密集三維點(diǎn)云，以下闡述具體過(guò)程。

給定一圖像對(duì)，Yi＝(Is，It)，其基線(xiàn)應(yīng)該相對(duì)較大，使用DAISY描述子[10]沿對(duì)極線(xiàn)量測(cè)相識(shí)度，并計(jì)算稠密深度圖。DAISY是由一系列梯度直方圖串聯(lián)組成，其計(jì)算先是分多個(gè)獨(dú)立方向進(jìn)行梯度計(jì)算，再將每個(gè)方向的梯度模值綜合起來(lái)形成方向直方圖，該計(jì)算過(guò)程可通過(guò)對(duì)各方向梯度進(jìn)行不同尺寸的高斯濾波和簡(jiǎn)單閾值化實(shí)現(xiàn)。DAISY得到和SIFT直方圖計(jì)算過(guò)程相類(lèi)似的不變性，但其效率高很多，適合對(duì)圖像逐個(gè)像素點(diǎn)計(jì)算描述子，因此非常適合用于密集匹配生成深度圖。

為提高計(jì)算效率，直接使用DAISY匹配度分值來(lái)計(jì)算一幅圖像中像素x擁有深度d的概率:

為決定是否將一個(gè)深度值賦給某個(gè)像素，沿對(duì)極線(xiàn)均勻采樣選出最大概率前兩位，并計(jì)算兩者比值:

當(dāng)RX大于某個(gè)閾值時(shí)，該深度值被認(rèn)為是有效的，本文所有實(shí)驗(yàn)采用的閾值均為0.75，結(jié)果顯示產(chǎn)生的3D點(diǎn)外點(diǎn)比較少。生成的稠密點(diǎn)云，經(jīng)過(guò)泊松重構(gòu)的方法能夠生成3D表面格網(wǎng)模型。

4 實(shí)驗(yàn)結(jié)果

MAV設(shè)定航線(xiàn)自動(dòng)飛行，拍攝區(qū)域在廣西南寧市郊沙井某開(kāi)發(fā)區(qū)，覆蓋面積約 0.2 km2。搭載松下LX3數(shù)碼相機(jī)，快門(mén)設(shè)置1/2 000 s，焦距24 mm，飛行相對(duì)高度 200 m，成圖分辨率 0.1 m。航向重疊率70%，旁向重疊率40%，照片總數(shù)154張，圖4所示為部分航拍照片。

圖4 部分試驗(yàn)照片

SFM過(guò)程得到相機(jī)參數(shù)及稀疏三維點(diǎn)云，由圖5可以看出微型無(wú)人機(jī)的飛行姿態(tài)不穩(wěn)定，這是與一般航測(cè)無(wú)人機(jī)數(shù)據(jù)最大的不同，導(dǎo)致目前的無(wú)人機(jī)數(shù)據(jù)處理流程無(wú)法適用。圖6所示為拼接影像及DSM，圖7為DOM勻色前后對(duì)比，圖8為進(jìn)行紋理貼圖后的3D模型。

圖5 航拍照片姿態(tài)可視化示意圖

圖6 DOM與DSM

圖7 DOM勻色前后對(duì)比

圖8 紋理3D模型

5 結(jié) 論

本文針對(duì)測(cè)繪無(wú)人機(jī)應(yīng)急響應(yīng)能力較差的局限，基于微型無(wú)人機(jī)系統(tǒng)，設(shè)計(jì)了靈活機(jī)動(dòng)的地理信息快速獲取流程，進(jìn)行了針對(duì)MAV平臺(tái)獲取的超低空影像進(jìn)行全自動(dòng)大場(chǎng)景三維重建的實(shí)驗(yàn)。實(shí)驗(yàn)共處理了154張1 000萬(wàn)像素的數(shù)碼照片，自動(dòng)計(jì)算每一張照片的姿態(tài)參數(shù)，篩選最佳立體像對(duì)進(jìn)行DOM與DSM的自動(dòng)生成，在此基礎(chǔ)上最終得到紋理貼圖三維模型。實(shí)驗(yàn)結(jié)果顯示，本文數(shù)據(jù)處理流程能夠順利地完成整個(gè)三維重建過(guò)程，所得成果令人滿(mǎn)意。未來(lái)工作將進(jìn)行精度評(píng)估，以便將該技術(shù)更好地服務(wù)于測(cè)繪生產(chǎn)。

[1] 中國(guó)測(cè)繪科學(xué)研究院赴德國(guó)參加國(guó)際測(cè)繪技術(shù)與設(shè)備博覽會(huì)的總結(jié)報(bào)告，2010.12

[2] Gatewing，http://www.gatewing.com/，2011.7

[3] 桂林飛宇科技公司，F(xiàn)Y3ZT使用手冊(cè).2011

[4] Lowe，D.，Distinctive image features from scale invariant keypoint.Int.Journal of Computer Vision 60(2)，2004，pp.91～110

[5] Hartley R I，Zisserman A.Multiple View Geometry in Computer Vision.Cambridge University Press，2004

[6] Hernandez Esteban C，Schmitt F，Cipolla R，Silhouette coherence for camera calibration under circular motion.PAMI 29，2007

[7] M.Goesele，N.Snavely，B.Curless，H.Hoppe，and S.M. Seitz，Multiview stereo for community photo collections.in ICCV，2007

[8] C.Strecha，R.Fransens，and L.V.Gool，Combined depth and outlier estimation in multi－view stereo.in CVPR，2006，pp.2394～2401

[9] D.Bradley，T.Boubekeur，and W.Heidrich，Accurate multiview reconstruction using robust binocular stereo and surface meshing.in CVPR，2008

[10] Tola，E.，Lepetit，V.，F(xiàn)ua，P.:Daisy:an efficient dense descriptor applied to wide baseline stereo.IEEE Trans.Pattern Anal.Mach.Intell.32(5)，2010，pp.815～830

Research the Technology for Automatic 3D Map Rebuild Based on Mini－UAV

Wang Haiying，Hu Zhengtian，Liu Rong
(Nanning Exploration＆Survey Institute，Nanning 530022，China)

For the limitations of the poor emergency response capability of mapping UAV，based on micro uav system，the design of flexible geographic information quickly get process，the automatic big scene 3D reconstruction for the micro low image acquired through the MAV platform is experimented in this article.It take three steps，including the extracting and matching feature points，calculating the structure parameters for camera and generating 3D model based on multi－view reconstruction.Finally，geting 154 imgaes from the 0.2 squar kilometers test area based on the MAV，and generating DOM，DSM and texture map scene 3D model automaticlly.The experimental result approve the feasibility and effectiveness of the method.

MAV Multi－view stereo；3D reconstruction；DAISY

2011—07—27

王海英(1977—)，女，工程師，主要從事工程測(cè)繪及數(shù)據(jù)處理工作。

南寧市科學(xué)研究與技術(shù)開(kāi)放計(jì)劃項(xiàng)目(201002010A)

1672－8262(2012)01－42－03

P237

B