基于智能手機的無人機低空傾斜攝影測量系統(tǒng)及其應用研究

畢衛(wèi)華，趙星濤，楊化超，卞和方，張秋昭

(1.皖北煤電集團有限責任公司，宿州 234002；2.北京帝信科技有限公司，北京 100086；3.中國礦業(yè)大學環(huán)境與測繪學院，徐州 221116)

0 引言

近年來發(fā)展的無人機低空傾斜攝影測量技術通過多鏡頭、多視角攝影模式來獲取被攝目標的高空間分辨率影像，同常規(guī)的基于單鏡頭的豎直攝影測量模式相比，該技術在提高了常規(guī)數(shù)字測繪產(chǎn)品質(zhì)量的同時，還可以獲得高精度的紋理細節(jié)較為豐富的實景三維模型，已被廣泛應用于不動產(chǎn)測繪、國土資源監(jiān)測及智慧城市建設等領域[1-2]。無人機低空傾斜攝影測量系統(tǒng)的組成部分主要是無人機飛行平臺及其所搭載的任務載荷。目前的無人機飛行平臺多種多樣，但主要包括3種，即固定翼、多旋翼以及集成二者優(yōu)點的復合翼無人機[3-4]。固定翼和復合翼無人機適合于大面積的航攝任務，而多旋翼無人機適合于小面積高精度的實際應用。無人機低空傾斜攝影測量系統(tǒng)多采用多目(一般為4目或5目)傾斜相機作為任務設備，但現(xiàn)有的多目傾斜攝影相機系統(tǒng)由于本身體積和質(zhì)量較大，其用于搭載的飛行平臺多采用小型飛機或動力三角翼飛行器，甚至是大型運輸機作為搭載平臺。而目前廣泛使用的適用于低空無人機搭載的傾斜相機多基于質(zhì)量相對較輕的消費級數(shù)碼相機進行改裝集成，以適合實際的應用。促進無人機低空攝影測量系統(tǒng)的低成本和小型化對于普通用戶而言具有實際意義。為此有研究者基于智能手機開展了相關研究應用。隨著微機電系統(tǒng)(micro-electro-mechanical system，MEMS)技術的發(fā)展，智能手機中已經(jīng)植入了多種MEMS傳感器，如互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)相機傳感器、加速度傳感器(accelerometer)、陀螺儀(gyroscope)以及我們所熟知的用于定位和導航等用途的全球導航定位系統(tǒng)(global positioning system，GPS)等[5-9]。文獻[10]將智能手機作為固定翼低空無人機的任務載荷來實現(xiàn)攝影測量應用，系統(tǒng)通過藍牙連接的GPS及手機中的慣性測量單元(inertial measurement unit，IMU)來提供影像的定位定向系統(tǒng)(positioning and orientation system，POS)信息，分析了智能手機相機內(nèi)方位元素的穩(wěn)定性及其對空三精度的影響并以地面三維激光掃描獲取的數(shù)據(jù)為基準評價了數(shù)字高程模型(digital elevation model，DEM)精度。

綜合以上的分析可知，同常規(guī)無人機低空傾斜攝影系統(tǒng)相比，基于智能手機構建低成本、輕小型的類似系統(tǒng)對于促進傾斜攝影測量實用化具有重要意義。雖然文獻[10]對基于智能手機的攝影測量應用進行了初步研究，但仍然存在如下問題：①選擇何種智能相機并進行合理改裝構建具有自動連續(xù)拍照功能的多相機成像系統(tǒng)；②對于普通消費型智能相機而言，如何面向攝影測量應用對其成像質(zhì)量和成像模式進行改進和優(yōu)化；③對構建的基于智能手機的無人機低空傾斜攝影測量系統(tǒng)需從應用的角度對其獲得的數(shù)字產(chǎn)品質(zhì)量進行評價，從而為實際應用提供參考。本研究綜合考慮上述問題，構建基于四旋翼輕小型無人機低空飛行平臺和智能手機的無人機低空傾斜攝影測量系統(tǒng)并進行應用評價，旨在為無人機低空傾斜攝影測量系統(tǒng)應用提供一種方便、快捷的新方法。

1 系統(tǒng)構建

提出的基于智能手機的無人機低空傾斜攝影測量系統(tǒng)主要由無人機飛行平臺子系統(tǒng)和多相機成像子系統(tǒng)組成，其中各子系統(tǒng)又包含有多個功能模塊，具體如圖1所示。

圖1 基于智能手機的無人及低空傾斜攝影測量系統(tǒng)結構圖Fig.1 Structural diagram of the UAV based low altitude oblique photogrammetry with smartphones

1.1 低空無人機飛行平臺子系統(tǒng)

研究選用精靈4系列四旋翼無人機DJI Phantom 4(圖1)。該無人機主要由飛行器、云臺相機、飛行控制系統(tǒng)及地面監(jiān)控系統(tǒng)等多個模塊組成。飛行平臺攜帶的10 000 mAh 4S 智能電池使得最大平飛速度為20 m/s，單塊電池最大續(xù)航時間約為28 min；Phantom 4同時接受GPS及GLONASS定位衛(wèi)星信號，可獲得5 m精度的影像定位信息。圖1所示的飛控系統(tǒng)模塊集成于飛行器內(nèi)部，可同步記錄航拍時對應影像的POS信息。地面監(jiān)控系統(tǒng)與飛控系統(tǒng)通過地面便攜式計算機中安裝的監(jiān)控軟件實現(xiàn)雙向通訊，地面監(jiān)控系統(tǒng)可向飛控系統(tǒng)發(fā)送飛行任務指令，并可對飛控系統(tǒng)傳回的飛行狀態(tài)參數(shù)進行可視化的監(jiān)控。本研究沿用了Phantom 4的飛行器和動力系統(tǒng)及其飛控和地面監(jiān)控系統(tǒng)，移除了云臺相機相關部件，以利于后文闡述的多相機成像系統(tǒng)的加載。

1.2 基于智能手機的多相機成像子系統(tǒng)

本研究構建的基于智能手機的多相機成像子系統(tǒng)需主要考慮如下3個方面：①選擇傳感器尺寸相對較大的智能手機以適合實際的改裝；②對智能手機的成像質(zhì)量和成像模式進行改進和優(yōu)化以適合攝影測量的實際應用；③多相機成像系統(tǒng)應具有自動連續(xù)拍照及POS數(shù)據(jù)記錄與存儲功能。如圖1所示，其主要組成模塊包括：多成像傳感器模塊、POS及飛行控制模塊、數(shù)據(jù)存儲及傳輸模塊和電源模塊。

1.2.1 智能手機選擇

2012年，諾基亞公司發(fā)布了基于純景(Pure View)技術的Nokia 808 PureView(以下簡稱N808)智能手機，相對于其他類型的智能手機，N808搭配大尺寸CMOS圖像傳感器和卡爾·蔡司鏡頭以及采用的無損數(shù)碼變焦技術提高了成像質(zhì)量，同時，以犧牲手機質(zhì)量(169 g)來換取更高的成像質(zhì)量。N808配置了1.33 GHz的ARM11微處理器、512 MB內(nèi)存、16 GB內(nèi)置存儲。N808有兩種常用的攝像模式(詳細參數(shù)見表1)。本研究選擇該款智能手機來構造用于傾斜攝影測量的多相機成像系統(tǒng)。

表1 Nokia 808 PureView 內(nèi)置相機圖像傳感器和鏡頭參數(shù)Tab.1 Sensor and lens specifications for built-in camera of Nokia 808 PureView

①1英寸=2.54 cm。

1.2.2 面向攝影測量應用的成像質(zhì)量及成像模式優(yōu)化

1)固定相機焦距。消費型智能手機為了提高攝影成像質(zhì)量，多具備自動對焦和防抖功能，在攝像過程中會使焦距產(chǎn)生變化，而攝影測量一般要求相機焦距是一個固定值的已知值。為此在拆解相機鏡頭前通過手機的操作系統(tǒng)去除相機鏡頭的自動對焦和防抖功能。

2)防止影像過曝現(xiàn)象?，F(xiàn)實中的物體由于材質(zhì)和光照等因素的影響會產(chǎn)生較高的光反射表面，繼而造成所拍影像產(chǎn)生過曝現(xiàn)象，極大地影響了成像質(zhì)量和后續(xù)影像匹配的難度。為此，在相機鏡頭中添加中灰密度(neutral density，ND)濾鏡來消除這一現(xiàn)象。ND鏡通過調(diào)整相機的光圈和快門來防止影像的過曝,僅降低光線的強度，不會對攝物體的顏色和反差產(chǎn)生任何的影響，也不會影響到相機的白平衡和自動曝光(圖2給出了使用ND鏡前后的成像結果對比)。

(a)使用前 (b)使用后

3)成像模式優(yōu)化選擇。CMOS決定了手機攝像頭的圖像分辨率和像素大小。一般而言，在傳感器尺寸一定時，圖像分辨率越高，像素就越小，成像也越清晰。如表1所示，在N808的兩種成像模式中，傳感器尺寸均為1/1.2英寸，但成像模式1(分辨率為4 100萬像素)和成像模式2(分辨率為1 200萬像素)對應的像素大小卻分別為1.4 μm和2.6 μm。相應的單張相片所需存儲容量也不同，分別約為12 MB和3 MB。圖3給出了采用兩種攝影模式對同一地物的三維重建結果及其相應的局部細節(jié)圖。由圖3可以看出，成像模式1的三維重建結果在局部細節(jié)上要好于成像模式2，但其較小的像素尺寸造成了重建結果中的地物“扭曲”現(xiàn)象(如圖3中紅色圈部分)。綜合考慮到重建效果和影像的存儲負擔，本研究構建的多相機成像系統(tǒng)選用N808的第2種成像模式。

(a)成像模式1 (b)成像模式2

1.2.3 多成像傳感器模塊

為構建基于五相機的輕小型低空傾斜攝影測量系統(tǒng)，需要N808手機5部，如僅對5部相機進行簡單的拼湊將會導致過重的任務載荷。因此需對其進行改裝、增配及優(yōu)化組合并進行模塊化設計?？紤]到本研究主要利用N808手機的攝像和存儲功能，因此，為減小任務載重，對N808智能手機進行拆解，去除與攝像功能無關的部分(如手機的外殼、金屬骨架、SIM卡插口和SD卡卡槽等)。拆解后形成了以手機主板、CMOS和相機鏡頭為主體的5個獨立的攝像功能體。拆解后的各主板通過層疊的方式進行疊加集成以節(jié)省空間(如圖1紅色虛線框中右圖和圖4(d)中紅色框所示)。為了對各相機鏡頭進行合理布局以構造多目傾斜攝影相機，進一步拆解并分離各相機鏡頭(圖1中紅色框中左圖)并進行合理布局。如圖4中綠色框所示，分離后的各相機鏡頭固定在相機外殼體平行于主板平面的下表面上，為了達到多角度傾斜攝影的目的，5個鏡頭的空間布局為：以中間鏡頭為中心大致對稱分布成一邊長約為50 mm的正方形框，其中中間鏡頭攝影主光軸鉛垂朝下，其余4個鏡頭的主光軸與外殼體下表面呈30°角。上述相機鏡頭的布局方式最大限度地保證了在同一個攝影站獲得1張下視和4張側視共5張不同角度的多視角數(shù)字影像。各相機鏡頭和其相應的主板間通過排線相連接。

(a)系統(tǒng)透視圖1 (b)系統(tǒng)透視圖2

1.2.4 POS及飛行控制模塊

通過手機植入的MEMS傳感器(如陀螺儀和GPS)可以獲得其位置及姿態(tài)信息，其與傳統(tǒng)無人機航空攝影測量系統(tǒng)中搭載的POS系統(tǒng)提供的功能類似。然而，無人機飛行時智能手機的相機搭載在飛行器底部，信號的遮擋會導致GPS定位信息的不準確。此外，雖然利用內(nèi)置的陀螺儀估算姿態(tài)可實現(xiàn)基于智能手機的慣性導航系統(tǒng)，但測量噪聲會導致姿態(tài)無限漂移，使得基于智能手機的慣性導航系統(tǒng)具有很大的局限性[8-9]。為此，系統(tǒng)在飛行平臺上通過增加外置GPS傳感器(圖4(a))及內(nèi)置于飛控系統(tǒng)內(nèi)的IMU來獲得可靠的POS信息(圖1中橙色虛線框)。

由于Phantom 4的飛控系統(tǒng)缺乏多余的接口，無法通過原有的飛控系統(tǒng)來控制多相機傳感器自動拍照，因此本研究基于開源飛控系統(tǒng)PIXHAWK[11]研發(fā)了一套獨立的飛行控制系統(tǒng)以實現(xiàn)相機的自動拍照(如圖1中橙色框和圖4(d)中黃色框所示)。其主要功能為：①飛控系統(tǒng)中集成了獨立的電子同步快門觸發(fā)器來減小快門觸發(fā)延時時長，可將多個鏡頭的曝光間隔誤差控制在μs級別，以保證同一攝影站5個鏡頭影像的同步獲??；②飛控系統(tǒng)向多傳感器成像模塊發(fā)出拍照指令，控制該模塊按指定的時間間隔(本研究設置為4 s)進行定時拍照并同步記錄影像的POS信息；③飛行系統(tǒng)通過集成在其上的拍照開關按鈕來觸發(fā)(圖4(c))。

1.2.5 數(shù)據(jù)存儲及傳輸模塊

同步記錄的影像POS數(shù)據(jù)存儲在飛控系統(tǒng)的內(nèi)置存儲器內(nèi)，存儲容量為8 GB。多視角影像數(shù)據(jù)存儲在其相應主板的內(nèi)置存儲器內(nèi)(存儲容量均為16 GB)。如圖1和圖4(c)所示，飛行任務結束后，用USB數(shù)據(jù)線分別連接各主板接口，將每個主板存儲器上存儲的照片傳輸至本地計算機；用串口線連接飛控系統(tǒng)接口，下載位置信息文件至本地計算機。

1.2.6 電源模塊

采用可拆卸的外接電池取代原來的手機電池為各個模塊提供穩(wěn)定的工作電壓。所選用的電池為鋰電池，容量為3 000 mAh，電壓為3.7 V，電量為11.1 Wh。

1.3 系統(tǒng)集成及工作流程

多相機成像系統(tǒng)通過減震球與碳板固定安置在無人低空飛行器底部，集成后的系統(tǒng)如圖4(a)和圖4(b)所示。圖5給出了所提系統(tǒng)的工作流程。結合圖4和圖5，系統(tǒng)用于外業(yè)數(shù)字影像采集時一個架次(飛行器一個起落)的主要工作流程如下：

圖5 系統(tǒng)工作流程Fig.5 Work flow of the system

1)飛行任務規(guī)劃。利用Phantom 4的地面監(jiān)控系統(tǒng)軟件進行航線規(guī)劃和飛行參數(shù)設置并上傳至飛行控制系統(tǒng)。飛行器處于準備起飛狀態(tài)。

2)相機待拍照。通過“相機開機”按鈕觸發(fā)多傳感器成像模塊，使相機處于待拍照狀態(tài)。

3)相機拍照。通過“拍照”按鈕觸發(fā)飛行控制模塊并向多傳感器成像模塊發(fā)送定時拍照指令。定時拍照開啟。飛行器起飛并按預定規(guī)劃參數(shù)執(zhí)行航拍任務。獲得的影像數(shù)據(jù)及同步記錄的POS數(shù)據(jù)分別存儲在手機主板和飛控系統(tǒng)的內(nèi)置存儲器中。

4)數(shù)據(jù)下載。飛行任務結束后，關閉相機拍照功能。用USB數(shù)據(jù)連接各手機主板的影像數(shù)據(jù)傳輸接口，下載影像數(shù)據(jù)至本地計算機；采用串口通信線連接飛控系統(tǒng)的POS數(shù)據(jù)傳輸接口，下載POS數(shù)據(jù)至本地計算機。

如飛行任務需多個架次，則重復上述步驟。

2 應用及分析

2.1 研究區(qū)選擇與外業(yè)數(shù)據(jù)采集

研究區(qū)1為一農(nóng)村居民地，面積約為0.06 km2，該區(qū)域房屋密集，地勢平坦，地面高程約為34.5 m，研究目的是驗證并分析所提系統(tǒng)用于農(nóng)村地籍及不動產(chǎn)測量的可行性。研究區(qū)2為地形較平坦的校園區(qū)域，地面平均高程約為42.35 m，面積約為1.89 km2，區(qū)域內(nèi)分布著較為密集的高大建筑物，研究目的是驗證系統(tǒng)用于城市建筑物三維重建的可行性。研究區(qū)3為一露天采礦場(鋁土礦)，面積約為0.13 km2。該地區(qū)地形起伏較大，地面高程最小為237.83 m，最大為333.80 m，最大高差為95.97 m，研究目的是測試系統(tǒng)對于地形起伏較大地區(qū)的適應情況及其用于露天礦開采監(jiān)測的可行性。

對各區(qū)域進行了外業(yè)航空攝影、像控點和檢查點測量工作。像控點測量采用GPS RTK(1+1)的方式進行，測量精度約為2～5 cm。對研究區(qū)1，考慮到其應用目的，除常規(guī)的檢查點外，還采用全站儀施測了一定數(shù)量的房角檢查點用于檢核碎步特征點的成圖精度。采用GPS靜態(tài)測量方法為圖根控制測量提供基礎控制點，GPS網(wǎng)平差的平面和高程精度分別約為5 mm和11 mm，隨后的全站儀圖根導線控制測量的精度約為1/24 200，碎步測量的平面精度約10 mm。對研究區(qū)3，還采用GPS RTK的方法額外測量了一定數(shù)量的高程檢查點用于檢核地形圖的高程精度。各研究區(qū)范圍、像控點和檢查點數(shù)量及分布(包括房角平面檢查點和地形高程檢查點)以及攝影參數(shù)(影像重疊度及地面分辨率等)見圖6和表2。

(a)研究區(qū)1 (b)研究區(qū)2 (c)研究區(qū)3

表2 各研究區(qū)攝影參數(shù)及像控點和檢查點數(shù)量Tab.2 Photogrammetric parameters and the amount of GCPs and CPs

由圖6和表2可以看出，在不同的天氣狀況、不同的地形條件和不同的飛行參數(shù)條件下，系統(tǒng)可以持續(xù)、穩(wěn)定工作，如對研究區(qū)2，系統(tǒng)共在3 d內(nèi)連續(xù)飛行19個架次，獲得研究區(qū)共53 214張多視影像。說明構建的系統(tǒng)具有較好的穩(wěn)定性。

2.2 數(shù)據(jù)處理及結果分析

近年來，源于計算機視覺界的傾斜立體影像匹配及基于多視幾何的結構恢復運動(structure from motion，SfM)算法[12]得到了快速的發(fā)展并形成了一些商業(yè)化的適用于傾斜攝影測量數(shù)據(jù)處理的軟件系統(tǒng)。如Bentley公司的Context Capture(CC)、Astrium公司的Street Factory等。相比于傳統(tǒng)的攝影測量解析處理軟件，這些軟件更適合于處理旋偏角大、影像透視畸變較為嚴重的無人機多視傾斜立體影像。本研究選用CC進行影像解析空三處理及實景三維模型構建，采用航天遠景公司的MapMatrix軟件基于實景三維模型進行地籍、地形圖的矢量數(shù)據(jù)采集。

圖7給出了各研究區(qū)的實景三維模型及局部細節(jié)圖?？梢钥闯?，系統(tǒng)獲得的傾斜多視立體影像適用于主流軟件的數(shù)據(jù)處理，可以全自動化生成高精度的實景三維模型，生成的模型場景真實、紋理逼真且整體性較好。

(a)研究區(qū)1 (b)研究區(qū)2 (c)研究區(qū)3

圖8分別給出了研究區(qū)1和研究區(qū)3的地籍、地形圖?；趯崪y的外業(yè)檢查點，分別從相應的數(shù)據(jù)模型上進行坐標量測(高程檢查點基于地形圖等高線通過線性內(nèi)插的方式得到)并統(tǒng)計其與外業(yè)實測坐標的偏差ΔXi，ΔYi和ΔZi，進一步地按式(1)和式(2)統(tǒng)計平面中誤差mXY和高程中誤差mZ，并將精度統(tǒng)計結果列于表3。

表3 各研究區(qū)精度統(tǒng)計Tab.3 Precision statistics for each research region (cm)

(1)

(2)

式中：n為檢查點的個數(shù)；ΔXi，ΔYi和ΔZi為檢查點的外業(yè)實測坐標和內(nèi)業(yè)量測坐標的差值。

(a)研究區(qū)1的地籍圖 (b)研究區(qū)3的地形圖

由表3可知，采用1.2 cm，2.3 cm和3.1 cm這3個不同的地面影像分辨率(表2)獲得的模型平面精度分別為3.2 cm，6.6 cm和8.1 cm，高程精度分別為4.2 cm，7.1 cm和10.7 cm。精度較高。同時，系統(tǒng)獲得的矢量數(shù)據(jù)產(chǎn)品精度滿足相應領域的應用要求。如研究區(qū)1的房角點統(tǒng)計中誤差為3.9 cm，滿足地籍和不動產(chǎn)測量中中誤差小于5 cm的精度要求；對于研究區(qū)3，統(tǒng)計得到的地形圖的高程中誤差為12.6 cm，基本滿足山區(qū)地形圖1∶500的高程精度要求，從而為礦區(qū)開采監(jiān)測及后續(xù)的治理恢復提供了基礎資料。

3 結論

通過融合DJI Phantom 4四旋翼輕小型無人機低空飛行平臺和N808型智能手機構建了一套基于智能手機的低成本、輕小型無人機低空傾斜攝影測量系統(tǒng)并將其成功應用于不動產(chǎn)測量、露天礦開采監(jiān)測及城市建筑物三維重建等領域。得到的主要結論如下：

1)基于智能手機改裝構建的多相機成像系統(tǒng)各模塊間能夠持續(xù)、穩(wěn)定的工作并可獲得同一目標5個視角的高空間分辨率多視影像。

2)對智能手機相機經(jīng)過成像質(zhì)量改進和成像模式優(yōu)化后，其生成的實景三維模型具有較高的紋理細節(jié)質(zhì)量。

3)在本研究的試驗條件下，基于該系統(tǒng)獲得的數(shù)字測繪產(chǎn)品(如實景三維模型、地形圖及地籍圖等)均可達厘米級的定位精度，可以滿足相應領域的應用需求。

4)本研究目前構建的飛控系統(tǒng)獨立于原有無人機平臺的飛控系統(tǒng)，如何設計并開發(fā)合適的接口以實現(xiàn)二者的同步是下一步的研究方向。