高精度機載可見光圖像定位方法*

(中國西南電子技術(shù)研究所，成都 610036)

高精度機載可見光圖像定位方法*

古 博**，喬文昇

(中國西南電子技術(shù)研究所，成都 610036)

針對現(xiàn)有技術(shù)不能解決機載可見光圖像快速自動定位的問題，提出了一種定位精度高、處理速度快、可擴展性好的機載可見光圖像定位方法。該方法以傳感器共線成像模型為中心，將實時圖像和傳感器成像參數(shù)送入共線模型進行正射校正，校正后的圖像與相應的基準圖像進行圖像配準，使用配準同名點信息更新傳感器成像參數(shù)，最后再次通過共線模型獲取實時圖地理坐標定位信息。這種通過圖像配準再計算成像模型的間接定位方法，不僅減少了計算量，而且使自動配準算法穩(wěn)定，較傳統(tǒng)的直接定位方法或圖像配準方法有突出的優(yōu)勢。此外，該方法具有嚴格的誤差傳遞計算公式，能計算定位結(jié)果的誤差。仿真實驗表明即使在大傾斜角條件下，該方法也能獲得優(yōu)于100 m的定位精度。

可見光圖像；圖像定位；圖像配準；誤差傳遞；大傾斜角

1 引 言

可見光圖像是機載傳感器獲取的偵察和戰(zhàn)場態(tài)勢中最直觀的信息，它最易于被操作人員理解和使用。在機載圖像信息的開發(fā)應用中，圖像定位是基礎，它的目的是將圖像的每個像素位置與地理位置關聯(lián)起來，也叫做圖像地理編碼。以此為基礎，就可以很方便地開發(fā)各種更復雜的圖像應用，例如不同類別圖像之間的匹配、拼接、融合，基于圖像的戰(zhàn)場變化檢測、毀傷評估等。

圖像地理編碼常見于遙感影像的幾何糾正。它的主要內(nèi)容是利用地面控制點、數(shù)字高程模型以及傳感器參數(shù)來擬合一個幾何變換模型，包括軌道模型、有理函數(shù)模型和多項式模型[1-4]。為了達到遙感影像應用的精度，需要一定數(shù)量的地面控制點，但很多實際情況下不能滿足這個條件?；诳刂泣c影像庫的控制點半自動選取，使歷史圖控制點影像塊與遙感圖進行圖像塊搜索和匹配，為缺少控制點條件下的遙感影像定位提供了快速的技術(shù)支持[5]。

機載圖像幾何糾正的經(jīng)典方法包括直接地理定位方法、空中三角測量方法和基于圖像特征匹配方法。直接地理定位方法利用圖像曝光時刻獲取的傳感器坐標、姿態(tài)信息等外方位元素通過成像模型糾正圖像，處理速度快，但是由外方位元素的精度導致的定位精度通常不穩(wěn)定且較差[6]?？罩腥菧y量方法利用地面控制點對所的外方位元素進行平差[7]?；趫D像特征匹配的方法避免地面控制點，利用同一批影像中相鄰圖像的重疊部分進行特征提取與匹配，使一批圖像互相配準和校正[8]。該方法最大的優(yōu)點在于能用計算機自動化處理。

針對上述傳統(tǒng)圖像定位方法不能快速自動處理或是定位精度不高的問題，本文設計了一種自動機載圖像地理編碼的方法。不同于傳統(tǒng)的圖像采集后經(jīng)地面人工事后處理的方法，它能夠近實時地自動將采集的圖像賦予地理坐標值，并正射校正；對圖像中的任意目標，不僅能夠給出高精度的地理坐標，還能計算誤差范圍。

利用計算機圖像匹配技術(shù)獲取機載圖像的幾何糾正，是近年來研究的熱點，在實踐中也獲得了較多的應用。本文提出的方法同樣基于圖像匹配獲得的同名點信息來校正傳感器的成像參數(shù)，再經(jīng)過傳感器成像模型糾正圖像。本文方法是上述經(jīng)典方法的綜合，具備直接地理定位方法處理速度快的優(yōu)點，同時利用同名點信息對成像參數(shù)更新提高定位精度，還能計算機全自動處理。并且，本方法解決了圖像匹配法的穩(wěn)定性和直接定位法的誤差較大的問題。當與機載圖像匹配的參考圖像是經(jīng)過地理編碼的圖像時，通過本方法糾正后的圖像具有地理編碼，同時本方法能夠計算參考圖像的地理定位誤差和傳感器參數(shù)誤差向最終圖像定位誤差傳遞的過程。

2 機載可見光圖像定位

圖1所示的流程圖描述了機載可見光圖像定位方法。該方法是以傳感器共線成像模型為中心，通過圖像匹配調(diào)整傳感器成像參數(shù)來達到精確定位的目的。利用機載實時圖像的傳感器成像參數(shù)，包括位置和朝向角度，經(jīng)共線成像模型計算，獲取圖像各像素位置的地理坐標，即是將實時圖像進行了正射校正。校正后的實時圖像與相應的基準圖進行圖像配準，獲取圖像配準同名點。利用基準圖同名點的地理坐標信息重新擬合更新傳感器成像參數(shù)，更新后的參數(shù)再次通過共線成像模型，便可以對實時圖像進行精確的地理編碼，對實時圖像的任意像素位置精確定位，同時可對定位結(jié)果進行誤差分析。

圖1 機載可見光圖像定位方法流程圖Fig.1 Diagram of the method for airborne optical image geolocation

下文對該方法中基于共線模型的直接定位、圖像匹配、參數(shù)更新和誤差分析這幾個關鍵步驟進行詳細描述。

2.1基于共線模型的直接定位

可見光的傳感器成像已有嚴格的物理模型來描述，稱作共線模型，是由地理坐標到傳感器坐標的平移變換、旋轉(zhuǎn)變換和傳感器坐標到圖像的映射變換，這3個坐標變換串聯(lián)而成的坐標變換關系。這3個坐標變換組成如下兩個方程組：

(1)

其中：(XS,YS,ZS)是傳感器孔徑中心的地心地固(ECEF)坐標，(Xk,Yk,Zk)是第k個像素位置對應的ECEF坐標即地理坐標，(xk,yk)是第k個像素在圖像中的位置坐標，f是焦距，a11…a33組成旋轉(zhuǎn)變換矩陣。這里沒有考慮成像畸變，認為獲取的圖像已經(jīng)經(jīng)過畸變校正，并且后面的實驗結(jié)果也能說明沒有考慮成像畸變的簡化模型可以達到較高的精度。

求解上述方程組，計算像素的地理坐標時，3個坐標未知數(shù)僅有兩個方程，常用解算辦法是引入地面高度信息。像素的地理坐標值還需滿足以下的約束方程[9]：

(2)

其中：a是地球參考橢圓的半長軸長度，b是參考橢圓的半短軸長度，h是第k個像素對應的地面位置的高度。通過最小二乘方法可獲得像素的地理坐標值，它同時滿足方程組(1)和式(2)。

2.2圖像匹配

圖像匹配或配準在計算機視覺領域有深入的研究，基于特征的圖像匹配是目前主流的研究熱點[10]，但是實踐中這種方法并不能保證正確匹配的穩(wěn)定性。Doucette等人[11]在總結(jié)實用性的地理圖像配準方法文章中，推薦歸一化互相關法(NCC)用于地理信息方面的圖像配準工具；在Cannata等人[12]開發(fā)的自動視頻圖像配準中同樣采用這種互相關法，原因在于獲取的實時圖像帶有成像參數(shù)，通過共線模型得到定位信息，完全可以利用此信息作為匹配的先驗信息，約束互相關配準的匹配搜索范圍，使圖像匹配穩(wěn)定。

實時圖經(jīng)共線模型得到定位信息，同時也能得到定位誤差，根據(jù)定位誤差約束基準圖中圖像互相關配準的范圍。傳感器的成像參數(shù)誤差一般可以通過實驗獲得經(jīng)驗值，假設它們在ECEF坐標系下組成的誤差矩陣表示為ΣPar，那么可以通過對式(1)和式(2)求偏導的方法獲得誤差的傳遞，以此得到定位誤差。定位誤差計算為

ΣXYZ=(BT(AΣParAT)-1B)-1。

(3)

其中：A是式(1)和式(2)對傳感器參數(shù)的雅可比矩陣，B是式(1)和式(2)對地理坐標值的雅可比矩陣，ΣXYZ是ECEF坐標系下的定位誤差。

對3倍ΣXYZ的圖像范圍進行匹配搜索，即可保證99%以上實時圖與基準圖配準成功的概率。Cannata等人[12]在他們設計的系統(tǒng)中選取互相關配準的最大4個候選峰值，然后校驗得到最終的峰值相關位置，該位置是使得多個同名點的仿射變換結(jié)果一致的峰值位置。本文對該方法進行改進。因為實時圖在經(jīng)過共線模型正射校正后，得到與基準圖同樣視角、朝向和分辨率的校正圖像，所以認為兩幅圖像之間僅存在平移變換關系：

(4)

其中：x0、y0是基準圖的像素位置，x1、y1是實時圖的像素位置，a、b組成的位移量畫點如圖2中的*號所示。圖2實驗中實時圖和基準圖分別被分為16塊進行互相關。顯然，可以采用K-means聚類方法[13]將正確配準的位移量選出來。如圖2所示，正確的位移量被圈出，所對應的配準位置即是正確的匹配同名點對。

圖2 互相關平移位置聚類Fig.2 The clustering of translation position of cross correlation

2.3參數(shù)更新

由圖像匹配獲得實時圖像素位置與基準圖地理位置的對應關系，以式(1)和式(2)為約束方程，采用最小二乘法更新傳感器參數(shù)，算法流程如圖3所示。

圖3 傳感器參數(shù)更新流程圖Fig.3 Diagram of sensor parameters update

在匹配同名點處計算約束方程(1)和(2)的偏導，組成最小二乘法的迭代量：

Δ=(BTB)-1(BTF) 。

(5)

其中：B同式(3)，F(xiàn)是式(1)中方程組對傳感器參數(shù)的雅可比矩陣且合并所有匹配同名點。

參數(shù)更新根據(jù)設定的迭代量閾值，當式(5)小于該閾值時，最小二乘法算法停止，輸出更新后的傳感器參數(shù)：

ParNew=Par+Δ。

其中：Par表示初始傳感器參數(shù)，ParNew表示更新后的傳感器參數(shù)。

圖像匹配點越多，更新后的參數(shù)越準確，定位誤差越小。因此，在圖像匹配時，分塊越多越好，但如果每塊圖像太小，缺乏有用信息會導致匹配失敗。經(jīng)過實驗，認為分塊大小為300 pixel×300 pixel左右比較合適。

2.4誤差分析

誤差分析引入配準誤差和DEM誤差：

(6)

其中：TECEF是圖像坐標到ECEF坐標的坐標轉(zhuǎn)換關系，ΣP,ECEF像素點P的ECEF坐標誤差。圖像配準誤差到ECEF坐標誤差傳遞本應該經(jīng)過坐標轉(zhuǎn)換函數(shù)的雅可比矩陣的鏈乘方法求得，但是在這里進行了簡化，直接使用坐標轉(zhuǎn)換函數(shù)作用于圖像配準誤差。實驗也表明通過這兩種方法獲得的最終定位誤差差別不大。

由式(6)的圖像配準誤差計算更新后的參數(shù)誤差：

ΣPar=(BT(AΣP,ECEFAT)-1B)-1。

(7)

其中：B同式(3)，A在式(3)中A的基礎上合并多個同名點。

最后，式(7)中的參數(shù)誤差通過式(3)得到最終定位誤差。

3 仿真實驗分析

對本方法的誤差進行數(shù)值仿真。假設傳感器參數(shù)包含位置和朝向，輸入誤差源包含傳感器位置誤差、朝向誤差，高程誤差和配準誤差，配準同名點數(shù)量為20個。根據(jù)誤差分析計算方法獲得定位誤差。表1是機載傳感器大傾斜角情況下的仿真結(jié)果。從表1可以看出，本文方法得到的定位誤差優(yōu)于直接定位法誤差兩個數(shù)量級，并且在DEM誤差和配準誤差穩(wěn)定的情況下，能得到穩(wěn)定的定位誤差。在DEM誤差和配準誤差很差的情況下，得到的定位誤差為100 m左右，因此認為本方法通常情況下獲得的定位精度優(yōu)于100 m。

表1 數(shù)值仿真實驗結(jié)果Tab.1 Numerical simulation results

圖4是實時圖像、由共線模型校正后的實時圖像，以及由本文方法更新傳感器參數(shù)后再次校正的圖像，可以看出圖4(c)在圖4(b)的基礎上發(fā)生了少許幾何形變。事實上，圖4(c)中每個細節(jié)部位與基準圖的位置更貼近。

圖4 實時圖像、通過直接定位模型正射校正圖像以及本文方法校正圖像Fig.4 Real-time image,orth-rectified image by the direct collinearity model,and rectified image by the proposed method

圖5是本文方法校正后的實時圖與基準圖的疊加圖像，其中基準圖來自互聯(lián)網(wǎng)并包含地理位置信息。圖中內(nèi)外兩個圓圈分別標識了本文方法和直接定位法的90%概率的誤差范圍，大約等于計算出的協(xié)方差的2.164倍?？梢钥闯霰疚姆椒ǖ亩ㄎ痪扔休^大優(yōu)勢。

圖5 本文方法校正圖像與基準圖的疊加顯示以及地理坐標和誤差范圍(基準圖和坐標信息來自互聯(lián)網(wǎng))Fig.5 The overlay of rectified image by the propesed method and the reference image,as well as the geographical coordinates and error range(The reference image and coordinate information are from the Internet)

4 結(jié)束語

本文以傳感器共線模型為中心，采用圖像匹配更新傳感器參數(shù)的方法，獲得機載可見光圖像的高精度定位結(jié)果，即使在大傾斜角條件下也能取得優(yōu)于100 m的定位精度。圖像匹配過程使用了直接定位方法得到的誤差范圍作為互相關匹配的約束，與常用的圖像匹配方法相比，極大地減少了計算量，但是獲得了穩(wěn)定的配準結(jié)果。本文提出的方法以傳感器模型為中心的優(yōu)點在于：約束圖像匹配的搜索范圍，使本來不可控的圖像匹配能夠自動化并可控；可以計算定位結(jié)果的誤差，具有嚴格的誤差傳遞數(shù)學推導過程；可擴展性好，更換傳感器模型即可適用于新的圖像；還可以為視頻圖像序列快速地理編碼及定位。

我們認為這種通過更新傳感器參數(shù)再計算成像模型獲得定位結(jié)果的間接定位方法，不僅可用于實時圖像與基準圖像的匹配和定位，還可能適用于無基準圖像情況下的同傳感器多圖像以及多傳感器多圖像之間的相互校正，這也將是下一步的研究內(nèi)容。

[1] KRATKY V. Rigorous photogrammetric processing of SPOT images at CCM Canada[J]. International Society for Photogrammetry and Remote Sensing (ISPRS) Journal of Photogrammetry and Remote Sensing,1989,2(44):53-71.

[2] WESTIN T. Precision rectification of SPOT image [J]. Photogrammetric Engineering & Remote Sensing ,1990,56(2):247-253.

[3] OKAMOTO A. Orientation theory of CCD line-scanner images [J]. International Archives of International Society for Photogrammetry and Remote Sensing (ISPRS) Journal of Photogrammetry and Remote Sensing,1988,27(B3):609-617.

[4] MADANI M. Real-time sensor-independent positioning by rational functions[C]// Proceedings of International Society for Photogrammetry and Remote Sensing (ISPRS) Workshop on Direct Versus Indirect Methods of Sensor Orientation. Barcelona:ISPRS,1999:64-75.

[5] 張祖勛，張劍清. 數(shù)字攝影測量學[J]. 武漢：武漢測繪科技大學出版社,1996.

[6] HEIPKE C,JACOBSEN K,WEGMANN H,et al.Integrated sensor orientation—an OEEPE test [J]. International Archives of Photogrammetry and Remote Sensing,2000,33(B3):373-380.

[7] 周曉敏，趙力彬，張新利. 低空無人機影像處理技術(shù)及方法探討[J]. 測繪與空間地理信息，2012(2):182-184.

ZHOU Xiaomin,ZHAO Libin,ZHANG Xinli. Discussion on technique and method of low level UAV image processing[J]. Geomatics & Spatial Information Technology,2012(2):182-184. (in Chinese)

[8] ZITOVAB,FLUSSER J. Image registration methods:a survey [J]. Image and Vision Computing,2003,21(11):977-1000.

[9] 袁修孝，曹金山. 高分辨衛(wèi)星遙感精確對地目標定位理論與方法[M]. 北京：科學出版社，2012.

[10] 王峰，尤紅建，傅興玉，等. 應用于多源SAR圖像匹配的級聯(lián)SIFT算法[J]. 電子學報， 2016(3):548-554.

WANG Feng,YOU Hongjian,FU Xingyu,et al. Cascade SIFT matching method for multi-source SAR images [J]. Acta Electronica Sinica,2016(3):548-554.(in Chinese)

[11] DOUCETTE P,ANTONISSE J,BRAUN A,et al. Image georeregistration methods:a framework for application guidelines [C]//Proceedings of IEEE Applied Imagery Pattern Recognition Workshop:Sensing for Control & Augmentation.Washington DC,USA:IEEE,2013:1-14.

[12] CANNATA R W,SHAH M,BLASK S G,et al. Autonomous video registration using sensor model parameter adjustments[C]//Proceedings of Applied Imagery Pattern Recognition Workshop.Washington DC, USA:IEEE,2000:215-222.

[13] JAIN A K，MURTY M N,FLYNN R J.Data clustering:a review[J].ACM Computing Surveys，1999，31(3):264-323.

AMethodforHighAccuracyAirborneOpticalImageGeolocation

GU Bo,QIAO Wensheng
(Southwest China Institute of Electronic Technology,Chengdu 610036,China)

For the unsolved technology problem of fast automatic geolocation of airborne optical images,a high accurate,high efficient and good scalable method is proposed for geolocation of airborne remote sensing optical images is proposed. The method is centered on sensor collinearity equations. The real-time image and the sensor imaging parameters will be put into the collinearity model for geometric rectification. Then the rectified image is registered with corrresponding reference image. The matching points are used to update the sensor imaging parameters. Finally,the updated parameters and real-time image are put again into the sensor collinearity model for acquiring geometric location information. This indirect geolocation method,which is based on image registration and imaging model,not only reduces the computation,but also makes the automatic registration stable. It has a prominent advantage over traditional direct or image registration methods. In addition,a strict error propagation formula is capable of computing the geolocation accuracy range. Simulation results show that even under the highly-oblique condition,a geolocation accuracy better than one hundred meters can be obtained with the proposed method.

optical image;image geolocation;image registration;error propagation;highly-oblique

date:2017-05-23；Revised date：2017-08-23

**通信作者：gubobogu@qq.com Corresponding author：gubobogu@qq.com

TN911.73;TP751

A

1001-893X(2017)10-1128-05

古博(1983—)，男，四川大竹人，2012年于四川大學計算機學院獲博士學位，現(xiàn)為工程師，主要研究方向為信息融合、數(shù)字圖像處理；

Email:gubobogu@qq.com

喬文昇(1969—)，男，貴州畢節(jié)人，研究員，主要從事航空電子總體論證工作。

10.3969/j.issn.1001-893x.2017.10.005

古博，喬文昇.高精度機載可見光圖像定位方法[J].電訊技術(shù)，2017,57(10):1128-1132.[GU Bo,QIAO Wensheng.A method for high accuracy airborne optical image geolocation[J].Telecommunication Engineering,2017,57(10):1128-1132.]

2017-05-23；

2017-08-23