消費(fèi)級(jí)無(wú)人機(jī)在校園三維場(chǎng)景建模中的應(yīng)用

李益敏，計(jì)培琨，劉心知

(1.云南大學(xué) 地球科學(xué)學(xué)院，云南 昆明 650500；2.云南省高校國(guó)產(chǎn)高分衛(wèi)星遙感地質(zhì)工程研究中心，云南 昆明 650500；3.北方自動(dòng)控制技術(shù)研究所，山西 太原 030006)

0 引言

2010年，在信息化“十二五”規(guī)劃中，浙江大學(xué)首次提出了建設(shè)“智慧校園”的概念。智慧校園的核心是以物聯(lián)網(wǎng)為基礎(chǔ)、結(jié)合校園工作、學(xué)習(xí)、生活的智慧化的有機(jī)整體，將教學(xué)、科研管理和校園生活充分結(jié)合。2018年6月7日，由清華大學(xué)、華南理工大學(xué)等多所大學(xué)起草的國(guó)家標(biāo)準(zhǔn)《智慧校園總體框架》[1](GB/T 36342-2018)發(fā)布，標(biāo)志著“智慧校園”的系統(tǒng)性推進(jìn)有了長(zhǎng)足的發(fā)展。在《智慧校園總體框架》的應(yīng)用平臺(tái)層下的智慧校園服務(wù)框架中，明確要求了“智慧校園”應(yīng)提供虛擬校園服務(wù)，其中包括“可快速放大、縮小并圖文并茂全方位三維立體展示局部或校園全景”，說(shuō)明三維場(chǎng)景建模在建設(shè)“智慧校園”中的關(guān)鍵作用。

隨著網(wǎng)絡(luò)傳輸技術(shù)的高速發(fā)展和中國(guó)科技創(chuàng)新驅(qū)動(dòng)力的不斷提升，在三維實(shí)景的構(gòu)建和數(shù)據(jù)采集上，無(wú)人機(jī)航拍影像具有清晰度高、比例尺大、面積小、現(xiàn)勢(shì)性強(qiáng)，適合于獲取小范圍的高清影像并獲取最新的地理信息，同時(shí)，無(wú)人機(jī)起飛降落受場(chǎng)地限制小，穩(wěn)定性、安全性好，具有很好的轉(zhuǎn)場(chǎng)特性等優(yōu)勢(shì)，使無(wú)人機(jī)攝影成為測(cè)繪行業(yè)中的新寵，得到越來(lái)越廣泛的應(yīng)用。

近年來(lái)無(wú)人機(jī)攝影測(cè)量和三維建模在文物古跡保護(hù)[2]、工程建設(shè)[3]、城鎮(zhèn)航測(cè)[4-6]及智慧校園建設(shè)[7-9]中得到越來(lái)越多的應(yīng)用。如朱軼群等[10]使用六旋翼航測(cè)無(wú)人機(jī)，從像控密度、模型分辨率和測(cè)圖方式三方面進(jìn)行技術(shù)改進(jìn)，對(duì)溫州市文成縣東部進(jìn)行了傾斜攝影，研究表明在像控密度650 m時(shí)精度可以滿(mǎn)足要求，且模型分辨率對(duì)模型精度有正向影響；馬夢(mèng)瑩等[11]使用大疆精靈4無(wú)人機(jī)，通過(guò)變換不同的數(shù)據(jù)源、圖片比例、無(wú)人機(jī)航高和照片數(shù)量等因素，探究了不同條件對(duì)于無(wú)人機(jī)影像三維建模效果的影響，研究結(jié)果表明一定范圍內(nèi)航拍圖片的比例越大，點(diǎn)云數(shù)據(jù)的匹配值越多，航拍高度越低，提供的旁向重疊和航向重疊的航拍影像越多，生成的建筑物的三維建模精度越高。史紅玉等[12]則基于Voronoi圖改良了無(wú)人機(jī)航路，使得無(wú)人機(jī)的航路行程有效縮短，飛行航路更加科學(xué)。

消費(fèi)級(jí)無(wú)人機(jī)作為無(wú)人機(jī)中的精簡(jiǎn)型設(shè)備，具有價(jià)格低，飛行成本低，航飛靈活，自由度高等諸多特點(diǎn)，拓展了無(wú)人機(jī)攝影的下限，使越來(lái)越多的人可以使用無(wú)人機(jī)攝影開(kāi)展應(yīng)用研究。但是消費(fèi)級(jí)無(wú)人機(jī)在續(xù)航性能、拍攝清晰度和定位精度方面具有一定的短板，測(cè)繪方面的應(yīng)用是否可以達(dá)到傳統(tǒng)無(wú)人機(jī)的精度也成為需要關(guān)注和研究的問(wèn)題。

本文以消費(fèi)級(jí)無(wú)人機(jī)DJI Mavic 2 Zoom為航拍工具，結(jié)合三維建模工具Context Capture，利用傾斜攝影測(cè)量原理進(jìn)行研究區(qū)域的航飛拍攝和三維建模，并最終對(duì)建模結(jié)果進(jìn)行優(yōu)化和比較，探索消費(fèi)級(jí)無(wú)人機(jī)在傾斜攝影測(cè)量和三維建模中的作用。

1 研究技術(shù)和方法

本研究包括外業(yè)數(shù)據(jù)采集和內(nèi)業(yè)數(shù)據(jù)處理兩部分，外業(yè)數(shù)據(jù)采集依據(jù)傾斜攝影測(cè)量技術(shù)對(duì)研究區(qū)進(jìn)行5架次的航飛方案實(shí)施，獲取實(shí)景數(shù)據(jù)。內(nèi)業(yè)數(shù)據(jù)處理通過(guò)三維建模軟件對(duì)拍攝數(shù)據(jù)進(jìn)行模型構(gòu)建和生成。全部工作流程包括拍攝區(qū)域?qū)嵉乜疾?、工作區(qū)確定和航飛方案實(shí)施、數(shù)據(jù)采集與預(yù)處理、空三測(cè)量解算、多視影像點(diǎn)匹配、模型構(gòu)建與貼圖、實(shí)景三維建模、精度驗(yàn)證和補(bǔ)測(cè)等步驟[13]。其中實(shí)景三維模型構(gòu)建的關(guān)鍵步驟在于通過(guò)空中三角測(cè)量解算出像片的外方位元素，并在此基礎(chǔ)上通過(guò)影像密集點(diǎn)匹配獲取點(diǎn)云構(gòu)建三角格網(wǎng)TIN，進(jìn)行紋理貼合生成三維模型，最后依據(jù)模型進(jìn)行三維測(cè)圖工作。技術(shù)方法如圖1。

圖1 研究技術(shù)方法流程Fig.1 Research technology method process

2 研究實(shí)例分析

論文研究實(shí)例為云南大學(xué)呈貢校區(qū)北校門(mén)至明遠(yuǎn)樓。北校門(mén)是云南大學(xué)正門(mén)，是云南大學(xué)的形象標(biāo)志，明遠(yuǎn)樓為云南大學(xué)呈貢校區(qū)行政中心，是云南大學(xué)的標(biāo)志性建筑物，明遠(yuǎn)樓建筑設(shè)計(jì)參考中西方建筑風(fēng)格，兼容并包，既有中式的屋檐風(fēng)格設(shè)計(jì)，又有西式的立柱結(jié)構(gòu)和多向階梯造型。云南大學(xué)呈貢校區(qū)是在一座緩坡丘陵荒山上建立起來(lái)的校園，校園根據(jù)地形特征設(shè)計(jì)建造，從云南大學(xué)北門(mén)進(jìn)入校園，由一條285級(jí)長(zhǎng)階延伸至學(xué)校行政辦公主樓明遠(yuǎn)樓。明遠(yuǎn)樓坐落位置高，可俯瞰校園北門(mén)風(fēng)景。北門(mén)到明遠(yuǎn)樓海拔高差較大，通過(guò)長(zhǎng)坡階梯相連，航拍的難度較平地大，明遠(yuǎn)樓建筑風(fēng)格獨(dú)特，拍好具有獨(dú)特建筑風(fēng)格的建筑物需要良好的技術(shù)支撐。

2.1 無(wú)人機(jī)基本數(shù)據(jù)

目前在測(cè)繪行業(yè)中的無(wú)人機(jī)主要分為3類(lèi)：固定翼無(wú)人機(jī)、垂直起降的固定翼無(wú)人機(jī)和多旋翼無(wú)人機(jī)。固定翼無(wú)人機(jī)具有飛行速度快，經(jīng)濟(jì)，運(yùn)載能力大的特點(diǎn)，適合開(kāi)闊環(huán)境的大范圍空中航拍和企業(yè)級(jí)航測(cè)項(xiàng)目的飛行任務(wù)，但是對(duì)于起飛場(chǎng)地要求較大。垂直起降的固定翼無(wú)人機(jī)在固定翼無(wú)人機(jī)基礎(chǔ)上增加了垂直向的旋翼，彌補(bǔ)了固定翼無(wú)人機(jī)對(duì)起飛環(huán)境要求較高的不足，執(zhí)行任務(wù)能力與固定翼無(wú)人機(jī)相似。多旋翼飛行器可以垂直起降，對(duì)起飛場(chǎng)地要求小，可以懸停，在一定速度范圍內(nèi)以任意的速度飛行，因此操作簡(jiǎn)單，經(jīng)過(guò)簡(jiǎn)單的培訓(xùn)即可實(shí)現(xiàn)操作。本文實(shí)驗(yàn)采用四旋翼無(wú)人機(jī)DJI Mavic 2 Zoom進(jìn)行采集照片數(shù)據(jù)。該無(wú)人機(jī)是消費(fèi)級(jí)無(wú)人機(jī)，價(jià)格低，體積小，功耗低，可折疊，在以往的傾斜攝影研究中很少被使用。其主要參數(shù)見(jiàn)表1。

表1 DJI Mavic 2 Zoom主要技術(shù)參數(shù)Tab.1 Main technical parameters of DJI Mavic 2 Zoom

2.2 測(cè)區(qū)影像數(shù)據(jù)采集

實(shí)驗(yàn)選用DJI GS GO進(jìn)行飛行航線(xiàn)設(shè)計(jì)和數(shù)據(jù)采集。無(wú)人機(jī)只搭載了單一鏡頭，在傾斜攝影測(cè)量中無(wú)法一次獲得多個(gè)視角的拍攝照片，故采用5架次航飛方案。5架次模擬航線(xiàn)規(guī)劃設(shè)計(jì)的核心思想是對(duì)拍攝區(qū)域進(jìn)行5架次航拍任務(wù)，每架次通過(guò)云臺(tái)旋轉(zhuǎn)相機(jī)角度變化來(lái)模擬5鏡頭傾斜攝影相機(jī)獲取影像，不同的5個(gè)航帶飛行路徑如圖2，圖中的“S”點(diǎn)為每一架次的開(kāi)始拍攝點(diǎn)，灰色線(xiàn)路為拍攝航線(xiàn)，灰色箭頭點(diǎn)為無(wú)人機(jī)的起降點(diǎn)。

圖2 5架次航飛法各航帶布局Fig.2 Layout of each flight belt for 5 sorties

設(shè)置相機(jī)型號(hào)為Mavic 2 Zoom Camera 24 mm，相機(jī)朝向平行于主航線(xiàn)，拍照模式為等距間隔拍攝。飛行器設(shè)置的飛行速度為6.5 m/s，飛行高度120 m，飛行的航向重疊率為90%，旁向重疊率為80%。正射架次的云臺(tái)俯仰角度為-90°，其余4個(gè)方向的云臺(tái)俯仰角度為-45°。經(jīng)過(guò)5架次的飛行任務(wù)和后續(xù)補(bǔ)充拍攝，最終采集到實(shí)地照片1 811張參與建模。

2.3 三維實(shí)景模型的構(gòu)建

2.3.1 影像數(shù)據(jù)預(yù)處理

在獲取研究實(shí)例區(qū)域的影像數(shù)據(jù)后，對(duì)采集到的照片進(jìn)行質(zhì)量檢查，主要檢查照片的清晰度是否滿(mǎn)足要求，以及拍攝的影像數(shù)量是否滿(mǎn)足要求等。若照片成像模糊、光線(xiàn)條件不足或是成像角度不足需及時(shí)補(bǔ)飛、替換和補(bǔ)充照片。若只有少部分照片的光線(xiàn)強(qiáng)度和色彩亮度不足，則不需要補(bǔ)飛，可以使用Photoshop等圖像處理軟件進(jìn)行勻色處理。

2.3.2 空中三角加密與解算測(cè)量

空中三角測(cè)量是立體攝影測(cè)量的一項(xiàng)通用技術(shù)，它根據(jù)少量室內(nèi)的控制點(diǎn)在影像上進(jìn)行加密，之后通過(guò)數(shù)學(xué)運(yùn)算求出加密點(diǎn)的位置和高程，為缺少室外控制點(diǎn)的地區(qū)提供航測(cè)所需的絕對(duì)定向的控制點(diǎn)。Context Capture軟件的建模功能可以通過(guò)少許控制點(diǎn)進(jìn)行系統(tǒng)自運(yùn)算的空三測(cè)算。除此之外Context Capture軟件也具有自動(dòng)選擇控制點(diǎn)進(jìn)行空三加密的功能，該軟件采用平差中的區(qū)域網(wǎng)平差法，以某張照片的某束光線(xiàn)作為平差單元，以共線(xiàn)方程作為平差的數(shù)學(xué)模型，通過(guò)計(jì)算獲取每張照片的外方位元素，然后利用前方交會(huì)求出加密點(diǎn)位置高程坐標(biāo)。經(jīng)過(guò)Context Capture軟件完成空中三角測(cè)量(圖3)。

圖3 空間三角測(cè)量結(jié)果Fig.3 Spatial triangulation results

2.3.3 影像密集點(diǎn)匹配與不規(guī)則三角網(wǎng)構(gòu)建

在建模過(guò)程中，為了使影像中同一位置的地物可以在不同視角下正確顯示，需要進(jìn)行多視影像的密集點(diǎn)匹配[14]。Context Capture中集成了影像密集匹配技術(shù)，可以自動(dòng)匹配出影像中具有關(guān)鍵地物信息的同名點(diǎn)。理論上為了獲得高精度的三維點(diǎn)云，生成具有準(zhǔn)確地物信息的三維影像，需要大量特征點(diǎn)構(gòu)建密集點(diǎn)云。因此對(duì)于照片的成像清晰度和照片數(shù)目有較高要求。經(jīng)過(guò)密集點(diǎn)匹配和濾波處理，生成了三維點(diǎn)云，供建模使用。

在影像密集點(diǎn)匹配以獲取高精度三維點(diǎn)云之后，對(duì)航拍區(qū)域進(jìn)行不規(guī)則三角網(wǎng)(triangulated irregular network，TIN)的構(gòu)建。TIN的構(gòu)建基于三維點(diǎn)云，對(duì)于每一個(gè)地物通過(guò)連續(xù)的三角面進(jìn)行分別建模，再進(jìn)行組合生成研究區(qū)的TIN模型(圖4)。TIN的密集程度和每一個(gè)三角形的生成與地物本身復(fù)雜程度和影像數(shù)據(jù)量成正相關(guān)，理論上隨著影像數(shù)量增加，同一區(qū)域照片的重疊度就越大，生成的三角網(wǎng)越復(fù)雜。此外地物本身復(fù)雜程度越高，需要刻畫(huà)其外觀的三角網(wǎng)也相應(yīng)的更加復(fù)雜。

圖4 不規(guī)則三角網(wǎng)生成Fig.4 Generation of TIN

2.3.4 紋理映射和貼圖

生成不規(guī)則三角網(wǎng)后，基于TIN模型構(gòu)建白模型，即將TIN生成的表面圓滑和規(guī)范化，白模型已經(jīng)可以反映地物的真實(shí)形狀。紋理映射是以白模型為建?；A(chǔ)造型，通過(guò)多幅拍攝影像獲取的地物真實(shí)外觀紋理，對(duì)白模型進(jìn)行貼圖。紋理映射的本質(zhì)原理是將二維的視覺(jué)圖像和三維空間模型的位置對(duì)應(yīng)起來(lái)，在三維模型表面映射二維對(duì)應(yīng)的圖像，并最終生成三維實(shí)體模型[15，16](圖5、圖6)。

圖5 根據(jù)TIN構(gòu)建的白模型Fig.5 White model based on TIN

圖6 紋理映射后的三維模型Fig.6 3D model after texture mapping

2.4 模型修整與補(bǔ)測(cè)

建模完畢，對(duì)模型結(jié)果進(jìn)行進(jìn)一步的修整，在建模過(guò)程中由于照片數(shù)量或者相位不夠齊全、角度不足，常常會(huì)產(chǎn)生空三分析分層、建模空洞等情況，需要及時(shí)修正，同時(shí)要對(duì)沒(méi)有完美建模的區(qū)域進(jìn)行第二階段的補(bǔ)測(cè)，進(jìn)一步增大模型的完整度和精度。

3 結(jié)論與討論

3.1 結(jié)論

經(jīng)過(guò)上述步驟，云南大學(xué)北門(mén)至明遠(yuǎn)樓實(shí)驗(yàn)區(qū)拍攝的無(wú)人機(jī)影像建模完成，成像效果清晰，模型質(zhì)量較高，可以再現(xiàn)云南大學(xué)校園風(fēng)貌俯瞰圖(圖7)。

從圖7可以看到，在測(cè)區(qū)范圍內(nèi)出現(xiàn)了兩片施工區(qū)域，這兩片施工區(qū)域在Google Earth衛(wèi)星影像中尚未更新，這體現(xiàn)出無(wú)人機(jī)遙感很強(qiáng)的時(shí)效性，在施工進(jìn)度觀測(cè)中也可以有很好的體現(xiàn)。測(cè)區(qū)內(nèi)的主要建筑結(jié)構(gòu)如明遠(yuǎn)樓，北門(mén)，長(zhǎng)階以及其東西方排列的禮勤樓、敬賓樓被很好的復(fù)現(xiàn)出來(lái)，展示了云南大學(xué)明遠(yuǎn)樓的建筑風(fēng)貌、局部特征。

圖7 實(shí)驗(yàn)區(qū)建模俯瞰圖Fig.7 An aerial view of the experimental area modeling

本建模選取具有中西方合璧建筑風(fēng)格的明遠(yuǎn)樓為研究對(duì)象，明遠(yuǎn)樓為云南大學(xué)行政中心主樓，本建模很好的再現(xiàn)具有中西方合璧建筑風(fēng)格的明遠(yuǎn)樓、立柱、階梯，其中云南大學(xué)校訓(xùn)“會(huì)澤百家，至公天下”照壁都較為精細(xì)的被刻畫(huà)出來(lái)(圖8)。

(a)

(b)圖8 明遠(yuǎn)樓建模結(jié)果(a為正面景觀，b為背面景觀)Fig.8 Modeling results of Mingyuan building(a is the front landscape，b is the back landscape)

經(jīng)明遠(yuǎn)樓至平地北大門(mén)，共285級(jí)的長(zhǎng)階依照地勢(shì)的下降能很好展現(xiàn)(圖9)。此長(zhǎng)階是本次攝影測(cè)量的難點(diǎn)之一，由于其相對(duì)高差較大、沿坡向距離長(zhǎng)，在攝影過(guò)程中難以避免其產(chǎn)生的誤差。為解決該誤差，本次航飛的起降點(diǎn)位于臺(tái)階高段，這樣可以最大化的抬升航飛絕對(duì)高度，降低相對(duì)誤差。按照此方案，建模后臺(tái)階被很好的展現(xiàn)出來(lái)，也沒(méi)有出現(xiàn)高低差錯(cuò)亂情況。

圖9 明遠(yuǎn)樓階梯三維模型Fig.9 Three dimensional ladder model of Mingyuan building

云南大學(xué)北門(mén)是航測(cè)區(qū)內(nèi)的最低點(diǎn)，在飛行任務(wù)中該位置距攝像頭距離最遠(yuǎn)，對(duì)于無(wú)人機(jī)的測(cè)繪清晰度造成一定的考驗(yàn)。實(shí)驗(yàn)結(jié)果證明，北門(mén)區(qū)域的建模精細(xì)程度依舊達(dá)到了建模所預(yù)期的標(biāo)準(zhǔn)，云南大學(xué)北門(mén)門(mén)柱及校內(nèi)指示牌上的字影依稀可辨，大門(mén)中心位置伸縮門(mén)部分也得到很好的展現(xiàn)，云南大學(xué)北門(mén)建筑風(fēng)貌得以多角度展現(xiàn)(圖10)。

圖10 云南大學(xué)北門(mén)三維模型Fig.10 Three dimensional model of North Gateof Yunnan University

3.2 討論

本次研究實(shí)例雖然成功構(gòu)建出了航測(cè)區(qū)域內(nèi)的地形及建筑物三維信息，將校園風(fēng)貌完整的展現(xiàn)出來(lái)，但研究中依然有若干不足，總結(jié)如下：

(1)無(wú)人機(jī)續(xù)航能力導(dǎo)致的不足。由于本研究所使用無(wú)人機(jī)為消費(fèi)級(jí)小型無(wú)人機(jī)，其工作續(xù)航能力受到限制；由于云南地區(qū)的高海拔特點(diǎn)和呈貢區(qū)平均風(fēng)力較大特點(diǎn)，單塊電池的飛行續(xù)航時(shí)間難以得到最充分的利用，在飛行任務(wù)執(zhí)行過(guò)程中更換電池和充電造成了較大的時(shí)間成本，5架次飛行的時(shí)間集中程度受到影響。

(2)移動(dòng)地物產(chǎn)生的建模和貼圖錯(cuò)誤。航拍過(guò)程中不可避免的拍攝到移動(dòng)地物，如車(chē)輛和行人，使采集到的照片中產(chǎn)生了“有些照片中有車(chē)，有些照片中又無(wú)車(chē)”的現(xiàn)象，在建模中會(huì)產(chǎn)生出“有圖無(wú)?！钡膯?wèn)題。

(3)信號(hào)干擾問(wèn)題。在航拍實(shí)例區(qū)中有信號(hào)嚴(yán)重干擾區(qū)的出現(xiàn)，該區(qū)域在明遠(yuǎn)樓以南20～50 m左右處出現(xiàn)，無(wú)人機(jī)經(jīng)行至此處時(shí)遙控器和相機(jī)信號(hào)全部丟失，飛行任務(wù)多次因此而終止。

本研究通過(guò)利用消費(fèi)級(jí)無(wú)人機(jī)航飛采集照片數(shù)據(jù)，并結(jié)合Context Capture軟件進(jìn)行影像建模，旨在使用一種更經(jīng)濟(jì)、快捷、方便的方式展現(xiàn)高校的校園風(fēng)光。研究表明，使用價(jià)格低的消費(fèi)級(jí)無(wú)人機(jī)具有實(shí)現(xiàn)傾斜攝影測(cè)量以及三維建模的能力，建模效果可以達(dá)到三維校園建設(shè)的要求。同時(shí)，在不要求絕對(duì)精度的小范圍大比例尺量測(cè)中，無(wú)人機(jī)是可以勝任的。隨著科技的發(fā)展和高科技下放民用的趨勢(shì)，可以預(yù)想，民用無(wú)人機(jī)領(lǐng)域中，不遠(yuǎn)的將來(lái)完全可以實(shí)現(xiàn)全民創(chuàng)造的美好圖景，同時(shí)三維虛擬校園服務(wù)將會(huì)成為每一個(gè)校園的基本展現(xiàn)方式被廣大群眾所熟知。