多視幾何理論輔助的無(wú)人機(jī)低空攝影測(cè)量空三加密

陳 登，林 卉，蘇天路，彭官輝，楊化超

(1. 中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221116； 2. 江蘇師范大學(xué)測(cè)繪學(xué)院，江蘇 徐州 221008)

?

多視幾何理論輔助的無(wú)人機(jī)低空攝影測(cè)量空三加密

陳 登1，林 卉2，蘇天路1，彭官輝1，楊化超1

(1. 中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221116； 2. 江蘇師范大學(xué)測(cè)繪學(xué)院，江蘇 徐州 221008)

為降低無(wú)人機(jī)飛行姿態(tài)較差對(duì)后續(xù)空三數(shù)據(jù)處理的影響，將計(jì)算機(jī)視覺(jué)多視幾何理論引入傳統(tǒng)攝影測(cè)量，將其三維數(shù)據(jù)處理結(jié)果作為攝影測(cè)量空三加密的初始數(shù)據(jù)，以提高空三加密的精度和可靠性。不同地面分辨率和不同地形特征的多個(gè)測(cè)區(qū)試驗(yàn)證明了所提方法的正確性，為實(shí)際應(yīng)用提供了理論和實(shí)踐參考。

多視幾何；無(wú)人機(jī)；攝影測(cè)量；空三加密

解析空中三角測(cè)量(又稱攝影測(cè)量加密)是攝影測(cè)量?jī)?nèi)業(yè)測(cè)圖和數(shù)字產(chǎn)品生成的第一道工序，其核心內(nèi)容是以像片上的像點(diǎn)坐標(biāo)為依據(jù)，用攝影測(cè)量的方法求解測(cè)區(qū)中所有影像的外方位元素，并基于攝影過(guò)程的幾何反轉(zhuǎn)，重建可量測(cè)的幾何立體模型，然后解求出地面點(diǎn)的空間坐標(biāo)[1]。由于無(wú)人機(jī)有作業(yè)費(fèi)用低廉、作業(yè)方便及受氣候條件限制少等優(yōu)點(diǎn)，已廣泛應(yīng)用于攝影測(cè)量、土地用途調(diào)查等諸多領(lǐng)域。但是，無(wú)人機(jī)由于重量較輕，體積小，非常容易受氣流干擾，飛行穩(wěn)定性較差，航線保持較困難[2]。所拍攝的航攝影像相對(duì)于常規(guī)航空攝影像片旋偏角大、航線彎曲度大、影像重疊度不規(guī)則等，從而導(dǎo)致無(wú)人機(jī)機(jī)載POS系統(tǒng)定位定姿偏差較大[3]，尤其在用于精度要求較高的大比例尺航空攝影測(cè)量領(lǐng)域時(shí),其后續(xù)攝影測(cè)量空三加密成果的精度將會(huì)受到不同程度的影響[4]，是失敗。

20世紀(jì)80年代后期興起的GPS輔助空中三角測(cè)量技術(shù)[5]可大量減少甚至完全不使用地面控制點(diǎn)來(lái)進(jìn)行攝影測(cè)量加密，以獲取航測(cè)成圖所需的圖根控制點(diǎn)。盡管基于差分GPS定位(DGPS)[6]的空中三角測(cè)量技術(shù)在常規(guī)航空攝影測(cè)量中已被廣泛應(yīng)用，在我國(guó)的傳統(tǒng)航測(cè)4D產(chǎn)品生產(chǎn)和西部測(cè)圖困難區(qū)域的地形測(cè)繪中發(fā)揮了重要作用，但對(duì)于低空攝影測(cè)量數(shù)據(jù)的處理尚處于實(shí)驗(yàn)階段，且DGPS系統(tǒng)的引入增加了系統(tǒng)成本、野外基站的布設(shè)及測(cè)量方面的工作。另一方面，GPS接收機(jī)在無(wú)人機(jī)高速飛行條件下容易發(fā)生信號(hào)失鎖或周跳，定位結(jié)果易受影響[7]。

源于計(jì)算機(jī)視覺(jué)領(lǐng)域的多視幾何(multiple-view geometry)[8]與傳統(tǒng)攝影測(cè)量在很多方面有極大的相似性。多視幾何由于對(duì)初始條件要求很低，因此對(duì)硬件條件及數(shù)據(jù)獲取條件要求也很低。然而，多視幾何理論與傳統(tǒng)攝影測(cè)量理論并不完全一致，兩者仍存在一定的差異。如何將多視幾何理論引入傳統(tǒng)攝影測(cè)量加密，使多視幾何理論彌補(bǔ)傳統(tǒng)攝影測(cè)量理論的不足與局限性，無(wú)疑具有重要的實(shí)踐意義。

1 多視幾何理論輔助的空三加密

1.1 二者的差異

在已標(biāo)定相機(jī)的前提下，給出攝影測(cè)量和多視幾何的技術(shù)流程，如圖1所示。

圖1 多視幾何與攝影測(cè)量空三加密技術(shù)流程

由圖1可以看出，多視幾何與傳統(tǒng)攝影測(cè)量的基本目的是一致的，即都是通過(guò)二維序列影像重建三維模型(相關(guān)技術(shù)細(xì)節(jié)詳見(jiàn)文獻(xiàn)[9]，在此不再贅述)。但二者也存在一定的差異，從對(duì)最終測(cè)量成果精度的影響來(lái)看，主要包括：

(1) 算法差異：由于攝影測(cè)量源于測(cè)繪學(xué)科，測(cè)量數(shù)據(jù)處理方法——最小二乘迭代求解幾乎貫穿于攝影測(cè)量的全過(guò)程；而計(jì)算機(jī)視覺(jué)更強(qiáng)調(diào)矩陣分解，總是設(shè)法將非線性問(wèn)題轉(zhuǎn)化為線性問(wèn)題，盡可能避免求解非線性方程。因而，攝影測(cè)量較多視幾何具有更高的定位精度。

(2) 初始數(shù)據(jù)：攝影測(cè)量利用最小二乘原理進(jìn)行求解，因此所求未知數(shù)必須具有良好初始值。這些初始值通常與飛機(jī)拍攝瞬間的姿態(tài)和方向有關(guān)，而無(wú)人機(jī)機(jī)載POS定位定姿系統(tǒng)通常偏差較大，從而造成非線性最小二乘求解的困難；而多視幾何理論并不要求未知數(shù)具備初始值，因?yàn)槎嘁晭缀卫碚摰囊阎獢?shù)據(jù)僅需要影像上特征像點(diǎn)的像素坐標(biāo)。

(3) 像點(diǎn)坐標(biāo)觀測(cè)值精度：多視幾何中的立體影像匹配技術(shù)成果頗豐，但大多強(qiáng)調(diào)匹配結(jié)果的穩(wěn)健性，如新近發(fā)展的基于塊匹配技術(shù)的多視立體(patch-based multi-view stereo)[10]，這些匹配方法在精度上尚低于如攝影測(cè)量領(lǐng)域所常用的最小二乘匹配技術(shù)。

基于以上的分析可知，多視幾何技術(shù)對(duì)影像拍攝位置和方向無(wú)需嚴(yán)格約束，具有很好的魯棒性和穩(wěn)健性，其優(yōu)化結(jié)果恰好為攝影測(cè)量加密提供了良好的初始數(shù)據(jù)。這也是二者可進(jìn)行有效融合的理論和現(xiàn)實(shí)基礎(chǔ)。

1.2 多視幾何理論輔助的空三加密

傳統(tǒng)攝影測(cè)量加密采用理論較為嚴(yán)密的光束法區(qū)域平差，其使用的函數(shù)模型為共線方程

(1)

式中，(u,v)為像點(diǎn)坐標(biāo)；(u0,v0)為像主點(diǎn)坐標(biāo)；f為相機(jī)焦距；(X,Y,Z)為像點(diǎn)對(duì)應(yīng)的物方空間點(diǎn)坐標(biāo)；(XS,YS,ZS)為相機(jī)外方位元素的3個(gè)線元素；ai、bi、ci(i=1,2,3)為外方位元素的3個(gè)角元素(φ，ω，κ)構(gòu)成的旋轉(zhuǎn)矩陣。

式(1)線性化后得到

V=At+BX-L

(2)

式中

t=[dXSdYSdZSdφdωdκ]T；X=[dXdYdZ]T。其他各項(xiàng)參數(shù)的含義詳見(jiàn)文獻(xiàn)[11]。式(2)的求解需要良好的初始值，可以通過(guò)多視幾何技術(shù)獲得，如下。

設(shè)以齊次坐標(biāo)表示的空間點(diǎn)為Si(Xi,Yi,Zi,1)，投影點(diǎn)為si(ui,vi,1)，投影矩陣為P，則有

(3)

投影矩陣P包含11個(gè)自由變量，又可分解成為旋轉(zhuǎn)矩陣R、平移矩陣T和相機(jī)檢校矩陣K

P=K[RT]

(4)

式中，λi為比例因子。

式中，f為相機(jī)焦距；s為透鏡畸變參數(shù)；Tx、Ty、Tz為投影中心在世界坐標(biāo)系下的坐標(biāo)分量，其他參數(shù)的含義同式(1)。

基于式(3)的結(jié)果可為式(2)提供待求參數(shù)初始值。更進(jìn)一步的，式(3)的結(jié)果還可以再迭代優(yōu)化。

不失一般性，假設(shè)攝影測(cè)量區(qū)域網(wǎng)(計(jì)算機(jī)視覺(jué)一般稱之為影像場(chǎng)景)中共有n個(gè)三維空間點(diǎn)在m張相片中可見(jiàn)并令xij為第i個(gè)像點(diǎn)在第j張影像上的像點(diǎn)坐標(biāo)，設(shè)定一個(gè)二進(jìn)制變量vij，如果第i個(gè)像點(diǎn)在第j張影像上可見(jiàn)，則vij=1，否則vij=0；令aj表示相機(jī)參數(shù)，bj表示一個(gè)三維空間點(diǎn)，則多視幾何采用的光束法平差即是按下式最小化通過(guò)三維空間點(diǎn)和相機(jī)參數(shù)計(jì)算得到的像點(diǎn)的重投影誤差

(5)

式中

Mj=[XSjYSjZSjφjωjκj]T(j=1,2，…,m)；Ni=[XiYiZi]T(i=1,2，…,n)；d(x,y)表示向量x和y之間的歐氏距離；Q(Mj,Ni)表示第i個(gè)像點(diǎn)在第j張影像上的重投影坐標(biāo)，采用式(3)計(jì)算。實(shí)際應(yīng)用中，可以基于式(3)或式(5)的結(jié)果為式(2)提供待求參數(shù)初始值。

2 試 驗(yàn)

2.1 試驗(yàn)數(shù)據(jù)及軟件系統(tǒng)

選擇了不同地面分辨率及不同地形特征的3塊區(qū)域(簡(jiǎn)記為A、B、C)開(kāi)展試驗(yàn)(詳見(jiàn)表1)。A區(qū)域?yàn)槠教沟匦?，地面高程約為45 m，共3條航帶30張影像，覆蓋面積約1.3 km2，布設(shè)了24個(gè)像控點(diǎn)，其中10個(gè)為檢查點(diǎn)；B區(qū)域?yàn)榍鹆甑匦危孛娓叱?300～1500 m，共8條航帶392張影像，覆蓋面積約10 km2，布設(shè)了38個(gè)像控點(diǎn)，其中11個(gè)為檢查點(diǎn)；C區(qū)域?yàn)楦呱降氐匦?，地面高?300～2100 m，共14條航帶520張影像，覆蓋面積約16.5 km2，布設(shè)了72個(gè)像控點(diǎn)，其中18個(gè)為檢查點(diǎn)。各區(qū)域航線布設(shè)及像控點(diǎn)分布如圖2所示，圖中三角形為像控點(diǎn)，圓形為檢查點(diǎn)，其余為航點(diǎn)。3個(gè)測(cè)區(qū)的無(wú)人機(jī)航攝參數(shù)見(jiàn)表1。

表1 3個(gè)測(cè)區(qū)的無(wú)人機(jī)航攝參數(shù)

圖2 各區(qū)域航線布設(shè)及像控點(diǎn)分布

多視幾何和攝影測(cè)量加密算法分別選用目前使用較為廣泛的Agisoft PhotoScan[12]和Inpho[13]軟件系統(tǒng)。PhotoScan基于計(jì)算機(jī)視覺(jué)最新的多視圖三維重建技術(shù)對(duì)序列立體影像進(jìn)行全自動(dòng)化的處理，也可以通過(guò)給予的控制點(diǎn)生成測(cè)量坐標(biāo)系統(tǒng)下的真實(shí)坐標(biāo)的三維模型[14]。Inpho對(duì)于各種航空框幅式相機(jī)、數(shù)字框幅式CCD相機(jī)、推掃式ADS40相機(jī)甚至無(wú)人機(jī)承載的數(shù)碼相機(jī)等獲取的影像均可實(shí)現(xiàn)完全自動(dòng)化的高效空三處理，其用于空三加密處理的模塊為MATCH-AT，該模塊采用光束法區(qū)域網(wǎng)平差模型進(jìn)行平差解算，其自動(dòng)化的最小二乘匹配技術(shù)精度較高[15]。

2.2 試驗(yàn)結(jié)果及分析

圖3和圖4分別給出了各區(qū)域采用方案1和方案3空三結(jié)果的圖形顯示；表2給出了方案1和方案3空三外方位差值統(tǒng)計(jì)；表3給出了各區(qū)域采用方案1和方案2和方案3的檢查點(diǎn)立體量測(cè)精度統(tǒng)計(jì)；圖5所示為試驗(yàn)區(qū)域A檢查點(diǎn)高程誤差統(tǒng)計(jì)折線圖(分析X、Y坐標(biāo)誤差分布，具有類似規(guī)律，因篇幅所限，這里未全部繪出)。

圖3 各區(qū)域方案1的空三結(jié)果

以上試驗(yàn)結(jié)果表明：

(1) 方案1(基于PhotoScan的攝影測(cè)量加密)得到的外方位元素與方案3(多視幾何輔助的攝影測(cè)量空三加密)得到的外方位元素比較接近。兩種方案獲得的線元素差值均小于1 m，角元素差值均小于0.1°，因此將方案1得到的結(jié)果作為方案3的初始值具有很高的精度。

圖4 各區(qū)域方案3的空三結(jié)果

圖5 試驗(yàn)區(qū)域A檢查點(diǎn)高程誤差統(tǒng)計(jì)折線圖

(2) 針對(duì)各區(qū)域檢查點(diǎn)立體量測(cè)精度，比較方案1和方案3可以看出方案3精度更高。對(duì)于試驗(yàn)區(qū)域B和C，方案2(基于Inpho的攝影測(cè)量空三加密)結(jié)果失敗，可以看出方案3可靠性更高。

(3) 從圖5可以看出，對(duì)于試驗(yàn)區(qū)域A，方案1得到的檢查點(diǎn)高程誤差較大，比較方案2和方案3可以看出方案3得到的檢查點(diǎn)高程誤差較小，因此方案3空三加密精度更高。

3 結(jié) 語(yǔ)

多視幾何理論及其技術(shù)的發(fā)展為傳統(tǒng)攝影測(cè)量領(lǐng)域提供了新的發(fā)展方向，針對(duì)無(wú)人機(jī)本身質(zhì)量輕、載荷低，自帶的POS數(shù)據(jù)精度不高等問(wèn)題，其后續(xù)攝影測(cè)量空三加密成果的精度將會(huì)受到不同程度的影響，甚至失敗。本文提出了將多視幾何理論引入傳統(tǒng)攝影測(cè)量的方案，采用不同地面分辨率和不同地形特征的多個(gè)測(cè)區(qū)試驗(yàn)，結(jié)果表明該方案能提高無(wú)人機(jī)低空攝影測(cè)量空三加密的可靠性和立體量測(cè)精度。

表2 方案1和方案3空三外方位差值統(tǒng)計(jì)

表3 各區(qū)域檢查點(diǎn)立體量測(cè)精度統(tǒng)計(jì)

注：“—”表示空三加密失敗。

[1] 楊莉. POS輔助下Inpho軟件空三加密研究及精度分析[J]. 科技創(chuàng)新導(dǎo)報(bào), 2013(11):25-26.

[2] 廖永生，周宏霞. DGPS差分定位系統(tǒng)應(yīng)用于低空攝影測(cè)量無(wú)人機(jī)氣動(dòng)參數(shù)計(jì)算[J]. 測(cè)繪與空間地理信息, 2011, 34(1):121-123.

[3] 任志明，李永樹，何敬，等. 基于姿態(tài)數(shù)據(jù)的無(wú)人機(jī)影像自動(dòng)刺點(diǎn)功能研究[J]. 測(cè)繪通報(bào), 2011(4):44-46.

[4] 程婷婷，方源敏，賈培哲.提高我國(guó)西南地區(qū)空三加密精度的幾種方法[J]. 測(cè)繪與空間地理信息, 2014(4):216-218.

[5] 石平，張文安. IMU/GPS輔助航空攝影測(cè)量技術(shù)方法應(yīng)用研究——以貴陽(yáng)市航空攝影測(cè)量項(xiàng)目為例[J]. 測(cè)繪通報(bào), 2016(1):88-90.

[6] GUO D H, WU L X, WANG J C, et al. The Application of IMU/DGPS-supported Photogrammetry[J]. Remote Sensing for Land & Resources, 2006, 18(1):51-55.

[7] 韓厚增，王堅(jiān)，李增科. GPS/INS緊組合的INS輔助周跳探測(cè)與修復(fù)[J]. 測(cè)繪學(xué)報(bào), 2015, 44(8):848-857.

[8] ANDREW A M. Multiple View Geometry in Computer Vision[J]. Kybernetes, 2001, 30(9/10):1865 - 1872.

[9] 鄧非，張祖勛，張劍清. 基于序列影像的城市三維建模[J]. 計(jì)算機(jī)工程, 2007, 33(8):208-209.

[10] SHEN S. Accurate Multiple View 3D Reconstruction Using Patch-based Stereo for Large-scale Scenes[J]. IEEE Transactions on Image Processing, 2013, 22(5):1901-1904.

[11] 吳巍，魏富恒，高振東，等. 基于四元數(shù)的共線條件方程線性化[J]. 測(cè)繪科學(xué), 2009(S2):94-95.

[12] 張小宏，趙生良，陳豐田.Agisoft photoscan在無(wú)人機(jī)航空攝影影像數(shù)據(jù)處理中的應(yīng)用[J]. 價(jià)值工程, 2013(20):230-231.

[13] MA D L, CUI J, DING N. The Making of Digital Orthophoto Map Based on INPHO[J]. Applied Mechanics & Materials, 2011, 90-93:2818-2821.

[14] 李秀全，陳竹安，張立亭.非量測(cè)相機(jī)影像三維模型構(gòu)建及精度檢驗(yàn)[J]. 測(cè)繪科學(xué), 2016, 41(6):144-147.

[15] 黎治坤，鄭史芳，劉銳，等.幾種無(wú)人機(jī)正射影像處理軟件的比較[J].測(cè)繪通報(bào),2016(6):82-86.

UAV Aerial Triangulation for Low-attitude Photogrammetry Assisted by Multi-view Geometry Theory

CHEN Deng1,LIN Hui2,SU Tianlu1,PENG Guanhui1,YANG Huachao1

(1. School of Environment Science and Spatial Informatics, China University of Mining and Technology， Xuzhou 221116， China; 2. School of Geodesy and Geomatics, Jiangsu Normal University, Xuzhou 221008， China)

In order to reduce the influence of poor UAV flight attitude on subsequent aerial triangulation data processing, computer vision multi-view geometry theory is introduced into traditional photogrammetry, and its 3D data processing result is taken as initial data for aerial triangulation encryption in photogrammetry to improve the accuracy and reliability of aerial triangulation encryption. The accuracy of the proposed method is proved by the multi-zone test with different ground resolutions and different topographic features, which provides theoretical and practical reference for practical application.

multiple-view geometry; UAV; photogrammetry; aerial triangulation

陳登，林卉，蘇天路，等.多視幾何理論輔助的無(wú)人機(jī)低空攝影測(cè)量空三加密[J].測(cè)繪通報(bào)，2017(6)：26-30.

10.13474/j.cnki.11-2246.2017.0183.

2017-02-23；

2017-04-12

國(guó)家自然科學(xué)基金(41371438)

陳 登(1993—)，男，碩士，主要研究方向?yàn)閿z影測(cè)量與三維建模。E-mail: chendenglxtx@126.com

林 卉。E-mail:linhuixznu@126.com

P23

A

0494-0911(2017)06-0026-05