無(wú)人機(jī)影像序貫實(shí)時(shí)平差

無(wú)人機(jī)影像序貫實(shí)時(shí)平差

于英1，2，張永生1，薛武1，2，盧學(xué)良1，2

(1.信息工程大學(xué)，鄭州 450052；2.江西省數(shù)字國(guó)土重點(diǎn)實(shí)驗(yàn)室，江西 撫州 344000)

摘要：無(wú)人機(jī)已經(jīng)成為突發(fā)事件應(yīng)急測(cè)繪的首要選擇，但采用傳統(tǒng)的POS輔助光束法平差仍是一種“延遲”事后處理的方法。本文將平差中序貫平差的方法作用于POS輔助光束法平差，極大地減少了平差的計(jì)算量。采用真實(shí)數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文方法的測(cè)量平差精度優(yōu)于40cm，且達(dá)到了實(shí)時(shí)平差的效果。

關(guān)鍵詞：無(wú)人機(jī)影像；序貫平差；實(shí)時(shí)

doi:10.3969/j.issn.1000-3177.2015.01.004

中圖分類(lèi)號(hào)：P207文獻(xiàn)標(biāo)識(shí)碼：A

收稿日期：2013-12-18修訂日期：2014-03-06

基金項(xiàng)目：國(guó)家高技術(shù)研究發(fā)展計(jì)劃課題(2012AA121302)；國(guó)家科技支撐計(jì)劃課題(2012BAH12B01、2012BAH12B03)。

作者簡(jiǎn)介：齊銀鳳(1988～)，女，碩士研究生，從事遙感影像信息的快速提取與處理的理論和應(yīng)用研究。

Real-time Sequential Adjustment for UAV Images

YU Ying1，2，ZHANG Yong-sheng1，XUE Wu1，2，LU Xue-liang1，2

(1.InformationEngineeringUniversity，Zhengzhou450052；

2.JiangxiProvinceKeyLabforDigitalLand，F(xiàn)uzhou344000)

Abstract：Emergency UAVs have become the first choice of mapping，but traditional POS-supported bundle adjustment is still a delay post-processing method.This paper presents sequential adjustment method on the POS-supported bundle adjustment，which can greatly reduce the amount of calculation adjustment.Using real data，the experimental results show that the adjustment accuracy of the proposed method is better than 40cm，and it performs adjustment on a real-time basis.

Key words：UAV image；sequential adjustment；real-time

1引言

相比傳統(tǒng)的衛(wèi)星遙感和航空攝影獲取的數(shù)據(jù)，無(wú)人機(jī)由于自身的優(yōu)勢(shì)可以動(dòng)態(tài)高效廉價(jià)獲得某地區(qū)高分辨率影像，可為自然災(zāi)害等突發(fā)事件的決策提供地理空間信息支持[1-2]。在應(yīng)急情況下，需要無(wú)人機(jī)動(dòng)態(tài)獲取影像數(shù)據(jù)和幾乎同步對(duì)這些數(shù)據(jù)進(jìn)行實(shí)時(shí)處理得到地球參考坐標(biāo)系下的DSM和正射影像。應(yīng)急條件下，依靠地面布設(shè)控制點(diǎn)的方法，地面條件很多時(shí)候不具備，在時(shí)間上也不滿(mǎn)足。

GPS/INS組合導(dǎo)航系統(tǒng)(通常稱(chēng)POS系統(tǒng))尺寸、重量和功率的進(jìn)一步縮小，使其可以安裝在無(wú)人機(jī)平臺(tái)上并與相機(jī)構(gòu)成集成數(shù)據(jù)獲取系統(tǒng)。POS系統(tǒng)獲取曝光時(shí)刻相機(jī)的空間位置和姿態(tài)數(shù)據(jù)(影像外方位元素)，可用于攝影測(cè)量。已有試驗(yàn)表明，直接利用POS系統(tǒng)獲取的影像外方位元素進(jìn)行立體測(cè)繪，其精度特別是高程精度難以滿(mǎn)足大比例尺地形測(cè)圖的精度要求[3]，為此需將POS系統(tǒng)測(cè)定的影像外方位元素觀(guān)測(cè)值與像點(diǎn)觀(guān)測(cè)值進(jìn)行聯(lián)合平差(POS輔助空中三角測(cè)量)以提高精度，是一種數(shù)據(jù)后處理提高精度的方法。為實(shí)現(xiàn)動(dòng)態(tài)數(shù)據(jù)獲取和數(shù)據(jù)實(shí)時(shí)處理，就必須采用一種序貫處理的思路改進(jìn)POS輔助空中三角測(cè)量[4]。此時(shí)，POS系統(tǒng)得到影像外方位元素的觀(guān)測(cè)值，相當(dāng)于以多視影像連接點(diǎn)作為一種隨機(jī)約束，實(shí)時(shí)平差處理得到較為精確的影像外方位元素。

圖1為無(wú)人機(jī)影像外方位元素高精度實(shí)時(shí)賦值的全過(guò)程。當(dāng)獲得新的影像后，不僅要更新當(dāng)前影像的外方位元素，還要更新之前影像的外方位元素。采用經(jīng)典的POS輔助空中三角測(cè)量重新進(jìn)行整體解算，顯然達(dá)不到實(shí)時(shí)的要求，序貫處理憑借數(shù)據(jù)的充分挖掘和降低的計(jì)算量是有潛力做到這一點(diǎn)。在攝影測(cè)量和計(jì)算機(jī)視覺(jué)領(lǐng)域，目前序貫算法主要包含卡爾曼濾波、上三角矩陣更新和固定轉(zhuǎn)化3種方法[5-7]。上三角矩陣更新在計(jì)算速度和存儲(chǔ)空間需求上都優(yōu)于卡爾曼濾波，固定轉(zhuǎn)化是目前最有效率的算法，但因不能顧及參數(shù)間的協(xié)方差矩陣，因此理論上不嚴(yán)謹(jǐn)。

圖1　無(wú)人機(jī)影像外方位元素實(shí)時(shí)賦值

本文的無(wú)人機(jī)影像序貫實(shí)時(shí)平差的思路分為兩個(gè)階段：初始化階段，對(duì)一定數(shù)量的影像進(jìn)行POS輔助空中三角測(cè)量；序貫平差階段，計(jì)算與新影像其相關(guān)的已經(jīng)平差的影像，新影像與其相關(guān)影像一起序貫平差。

2初始化階段

在初始化階段，當(dāng)一定數(shù)量的影像獲取后，就可以進(jìn)行POS輔助空中三角測(cè)量。由于安裝在無(wú)人機(jī)上的相機(jī)已經(jīng)在控制場(chǎng)進(jìn)行了精確的標(biāo)定，因此本文待平差的未知數(shù)只包括兩類(lèi)即影像外方位元素(EOP)和地面點(diǎn)坐標(biāo)(GP)。POS輔助空中三角測(cè)量中觀(guān)測(cè)數(shù)據(jù)包括像點(diǎn)坐標(biāo)和POS數(shù)據(jù)，分別按式(1)和式(2)列誤差方程。記相機(jī)焦距為f，像點(diǎn)在像空間坐標(biāo)系中的坐標(biāo)為(x,y)，對(duì)應(yīng)物方點(diǎn)坐標(biāo)為(X,Y,Z)，影像的外方位元素為(Xs,Ys,Zs,Omega,Phi,Kappa)，POS觀(guān)測(cè)數(shù)據(jù)和影像的外方位元素構(gòu)造的旋轉(zhuǎn)矩陣元素分別為：(XGPS,YGPS,ZGPS,OmegaIMU,PhiIMU,KappaIMU)和(a1,a2,a3,b1,b2,b3,c1,c2,c3)，(u,v,w,ex,ey,ez)是偏心矢量和偏心角。

(1)

RIMU(OmegaIMU,PhiIMU,KappaIMU)=

R(Omega,Phi,Kappa).RMIS(ex,ey,ez)T

(2)

對(duì)式(1)和式(2)線(xiàn)性化，得：

(3)

其中，y11是像點(diǎn)觀(guān)測(cè)值，z1是POS觀(guān)測(cè)值，XEOP1和XGP1分別是像片外方位元素未知數(shù)和地面點(diǎn)坐標(biāo)未知數(shù)，其他是對(duì)應(yīng)的系數(shù)矩陣和殘差矩陣，按最小二乘原理對(duì)其法方程化后得：

(4)

整理得：

(5)

則：

(6)

其中，Py11和Pz1是根據(jù)像點(diǎn)量測(cè)精度和POS數(shù)據(jù)精度確定的經(jīng)驗(yàn)權(quán)陣[8]。

3序貫平差階段

在初始化階段后，又得到了一些新獲取的影像，此時(shí)就要進(jìn)行序貫平差。這里面有兩個(gè)關(guān)鍵點(diǎn)：第一，參與序貫平差的影像由新影像和部分相關(guān)影像(初始化階段平差過(guò)的影像)兩類(lèi)組成，即參與序貫平差的相關(guān)影像的確定。第二，有效利用初始化階段的平差信息進(jìn)序貫平差。

3.1相關(guān)影像確定

隨著影像獲取數(shù)量的增加，未知數(shù)向量維數(shù)程線(xiàn)性增大。在序貫平差階段，如果讓所有影像都參與序貫平差，顯然無(wú)法做到實(shí)時(shí)序貫平差。實(shí)際上，POS輔助空中三角測(cè)量的平差中相隔很遠(yuǎn)的影像間幾乎沒(méi)有相互影響。為達(dá)到實(shí)時(shí)的平差，需要一個(gè)固定的未知數(shù)向量尺寸。依據(jù)經(jīng)驗(yàn)值可以設(shè)定一個(gè)常數(shù)，比如前面10張影像與新獲取的影像一起進(jìn)行序貫平差，但顯然這是不科學(xué)的。

在初始化平差階段，不僅得到了影像外方位元素和地面點(diǎn)坐標(biāo)的平差結(jié)果，同樣得到了未知數(shù)間的協(xié)方差矩陣Q，通過(guò)協(xié)方差矩陣可以計(jì)算得到兩個(gè)未知數(shù)之間的相關(guān)系數(shù)。任意兩個(gè)未知數(shù)之間的相關(guān)系數(shù)可由式(7)求出：

(7)

顯然新獲取的影像與前一張已經(jīng)參與平差的影像很近，因此可以用前一張影像代替新獲取的影像計(jì)算相關(guān)系數(shù)。每張像片有6個(gè)外方位元素，則兩張像片的相關(guān)系數(shù)可以構(gòu)成6×6矩陣，該矩陣元素中的最大值用來(lái)確定兩張影像之間的相關(guān)程度。設(shè)定一個(gè)相關(guān)程度的閾值，就可以獲得與新獲取的影像一同參與序貫平差的影像。

3.2序貫平差

在序貫平差階段，可以將觀(guān)測(cè)量分為三類(lèi)。第一類(lèi)觀(guān)測(cè)量是y1，只與已經(jīng)存在的影像有關(guān)；第二類(lèi)觀(guān)測(cè)量是y2，與新影像和已經(jīng)存在的影像都有關(guān)；第三類(lèi)觀(guān)測(cè)量是y3，只與新影像有關(guān)。

(8)

其中：

按最小二乘原理對(duì)式(8)法方程化：

(9)

在最小二乘平差中，最耗時(shí)的步驟是求解法矩陣的逆矩陣，特別是當(dāng)法矩陣的維數(shù)很大時(shí)，尤其明顯[9]。為此，在序貫平差階段求解法矩陣的逆矩陣時(shí)，要充分利用前一平差階段的結(jié)果。法矩陣的逆矩陣可以寫(xiě)成如下形式：

W1=M12(M22+K22)-1;

(10)

(11)

4實(shí)驗(yàn)

本文所需實(shí)驗(yàn)數(shù)據(jù)，通過(guò)在無(wú)人機(jī)平臺(tái)上搭載面陣相機(jī)和POS測(cè)姿定位傳感器構(gòu)成的集成傳感器獲取。該集成傳感器的具體參數(shù)為：相機(jī)焦距為50mm，影像分辨率為，POS位置測(cè)量精度0.3m，POS的俯仰角和橫滾角測(cè)量精度0.003deg，航向角測(cè)量精度為0.05deg。實(shí)際飛行時(shí)的相對(duì)航高為2200m，對(duì)應(yīng)的地面分辨率(GSD)約為20cm，每3s拍攝一張影像，采用拍攝影像中的56張像片作為實(shí)驗(yàn)數(shù)據(jù)。采用高精度特征點(diǎn)提取算子進(jìn)行了連接點(diǎn)提取，56張像片共提取了2452個(gè)像點(diǎn)，對(duì)應(yīng)421個(gè)地面點(diǎn)，像點(diǎn)提取的精度約為0.3Pixel。

為驗(yàn)證該數(shù)據(jù)的質(zhì)量，在地面布設(shè)了4個(gè)控制點(diǎn)和7個(gè)檢查點(diǎn)，采用傳統(tǒng)的POS輔助光束法平差得到的檢查點(diǎn)外符合情況如表1所示，平差精度優(yōu)于1個(gè)像素。

表1　POS輔助光束法平差檢查點(diǎn)外符合情況

利用本文序貫平差方法對(duì)上面同樣的數(shù)據(jù)進(jìn)行處理，其中初始階段選用了15張像片，相關(guān)系數(shù)閾值設(shè)定為0.3。如圖2所示，以傳統(tǒng)POS輔助光束法平差的外方位元素為基準(zhǔn)，本文的序貫平差方法的外方位元素在開(kāi)始階段的誤差急劇上升，隨著新影像的不斷加入逐漸趨于平穩(wěn)在35mm和10mdeg。如圖3所示，以傳統(tǒng)POS輔助光束法平差的地面點(diǎn)坐標(biāo)為基準(zhǔn)，本文的序貫平差方法得到的地面點(diǎn)坐標(biāo)的誤差可以控制在40cm。圖4為本文方法與傳統(tǒng)POS輔助光束法平差計(jì)算時(shí)間的比較，傳統(tǒng)POS輔助光束法平差隨著影像的增加其計(jì)算時(shí)間近乎顯著增加，但本文的序貫平差方法的計(jì)算時(shí)間可以在2s內(nèi)，低于拍攝間隔3s，達(dá)到實(shí)時(shí)平差的效果。

圖2　本文方法與傳統(tǒng)POS輔助光束法 平差外方位元素比較

圖3　本文方法與傳統(tǒng)POS輔助光束法 平差地面點(diǎn)坐標(biāo)比較

圖4　本文方法與傳統(tǒng)POS輔助光束法 平差計(jì)算時(shí)間比較

5結(jié)束語(yǔ)

本文研究將序貫平差的方法作用于傳統(tǒng)POS輔助光束法平差，實(shí)驗(yàn)結(jié)果證明該方法可以實(shí)現(xiàn)序貫實(shí)時(shí)平差的效果。應(yīng)用本文方法將進(jìn)一步凸顯出無(wú)人機(jī)機(jī)動(dòng)和迅速的特點(diǎn)，為搶險(xiǎn)救災(zāi)為代表應(yīng)急情況提供更加實(shí)時(shí)的測(cè)繪服務(wù)。

參考文獻(xiàn)：

[1]張永生.現(xiàn)場(chǎng)直播式地理空間信息服務(wù)的構(gòu)思與體系[J].測(cè)繪學(xué)報(bào)，2011，40(1)：1-4.

[2]CHOI K，LEE I，HONG J，et al.Developing a UAV-based rapid mapping system for emergency response[C].SPIE Defense，Security，and Sensing.International Society for Optics and Photonics，2009：733209-733212.

[3]袁修孝.POS 輔助光束法區(qū)域網(wǎng)平差[J].測(cè)繪學(xué)報(bào)，2008，37(3)：342-348.

[4]姜柱.序貫平差在空三加密中的應(yīng)用研究[D].中南大學(xué)碩士論文，2012：53-59.

[5]MATTHIES L，KANADE T，SZELISKI R.Kalman filter-based algorithms for estimating depth from image sequences[J].International Journal of Computer Vision，1989，3(3)：209-238.

[6]RUNGE A.The use of Givens transformation in on-line triangulation[C].Proceedings of ISPRS Intercommission Conference on “Fast Processing of Photogrammetric Data”，Interlaken，Switzerland，June，1987：2-4.

[7]DOGAN S，TEMIZ M，KULUR S.Real time speed estimation of moving vehicles from side view images from an uncalib-rated video camera[J].Sensors，2010，10(5)：64-71.

[8]袁修孝.當(dāng)代航空攝影測(cè)量加密的幾種方法[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2007，32(11)：1001-1006.

[9]黃維彬.近代平差理論及其應(yīng)用[M].北京：解放軍出版社，1990：49-55.

E-mail：xiaoqixzy@gmail.com