基于景象匹配的航攝影像二維定位方法

孫世宇, 張 巖, 李建增, 胡永江

(陸軍工程大學(xué)無(wú)人機(jī)工程系, 河北 石家莊 050003)

0 引 言

景象匹配是將圖像區(qū)域從不同傳感器攝取的相應(yīng)景象區(qū)域中確定出來(lái),或找到它們對(duì)應(yīng)關(guān)系的一種計(jì)算機(jī)視覺(jué)技術(shù)[1]?；诰跋笃ヅ淅碚?對(duì)無(wú)人機(jī)的航攝影像(視頻與照片數(shù)據(jù))內(nèi)目標(biāo)的定位方法,即為基于景象匹配的無(wú)人機(jī)目標(biāo)定位方法[2]。該方法需要的任務(wù)設(shè)備較少,定位精度與實(shí)時(shí)性較高,不易受外界干擾[3]，所以該方法的研究意義重大。

基于景象匹配的無(wú)人機(jī)目標(biāo)定位方法的研究重點(diǎn)在于異源匹配與定位策略。異源匹配要求特征檢測(cè)、描述與模型估計(jì)的魯棒性與實(shí)時(shí)性較高[4-5]。定位策略要求底圖與目標(biāo)影像的對(duì)應(yīng)性較好,對(duì)任務(wù)設(shè)備的依賴(lài)較少,坐標(biāo)解算快速準(zhǔn)確[6]。對(duì)于這種定位方法,國(guó)內(nèi)外學(xué)者做了大量研究。

文獻(xiàn)[7]提出基于局部特征與拓?fù)浼s束的遙感圖像匹配與目標(biāo)定位方法。首先利用多尺度角點(diǎn)檢測(cè)算法進(jìn)行特征檢測(cè),然后利用尺度不變特征匹配[8](scale invariant feature transform, SIFT)描述子進(jìn)行特征描述,最后基于拓?fù)浼s束剔除誤匹配點(diǎn),實(shí)現(xiàn)圖像匹配并獲取定位點(diǎn)經(jīng)緯坐標(biāo)。該方法定位精度有待提高,且特征匹配的實(shí)時(shí)性與魯棒性有待增強(qiáng)。文獻(xiàn)[9]提出了一種全局圖像配準(zhǔn)的目標(biāo)快速定位方法,首先將航攝影像進(jìn)行適當(dāng)層級(jí)的小波分解,其次結(jié)合SIFT與角點(diǎn)進(jìn)行特征檢測(cè),利用SIFT描述子進(jìn)行特征描述,再次利用隨機(jī)抽樣一致性[10](random sample consensus, RANSAC)算法與最小二乘法優(yōu)化單應(yīng)性矩陣,實(shí)現(xiàn)圖像匹配并獲取定位點(diǎn)經(jīng)緯坐標(biāo)。該方法定位精度較高,但特征匹配的實(shí)時(shí)性有待增強(qiáng)。文獻(xiàn)[11]提出了基于CenSurE-star的無(wú)人機(jī)景象匹配算法。首先提出CenSurE-star進(jìn)行特征檢測(cè),然后利用快速視網(wǎng)膜特征進(jìn)行特征描述,最后利用RANSAC剔除誤匹配點(diǎn),實(shí)現(xiàn)圖像匹配并獲取定位點(diǎn)經(jīng)緯坐標(biāo)。該算法運(yùn)行效率較高,并能滿足無(wú)人機(jī)視覺(jué)輔助導(dǎo)航的需求。但是該算法中特征匹配算子的魯棒性有待改善。文獻(xiàn)[12]提出了一種基于定位定向系統(tǒng)(position and orientation system, POS)與圖像匹配的無(wú)人機(jī)目標(biāo)定位方法[12],首先利用SIFT算法進(jìn)行航攝影像同源匹配,其次利用匹配區(qū)域搜索方法自動(dòng)生成底圖,再次利用SIFT算法將航攝影像與對(duì)應(yīng)底圖進(jìn)行異源匹配,最后解算航攝影像二維地理坐標(biāo)。該方法利用無(wú)人機(jī)POS數(shù)據(jù)自動(dòng)生成了對(duì)應(yīng)底圖,實(shí)現(xiàn)較為準(zhǔn)確的定位。但該算法中特征檢測(cè)子與描述子的魯棒性與實(shí)時(shí)性有待改善,RANSAC的執(zhí)行效率有待提高,匹配區(qū)域搜索方法完全依賴(lài)POS設(shè)備。

上述算法針對(duì)基于景象匹配定位的不同步驟進(jìn)行了創(chuàng)新與改進(jìn),但仍存在以下問(wèn)題:①特征匹配算法的魯棒性有待增強(qiáng);②描述符匹配與模型估計(jì)算法的魯棒性與實(shí)時(shí)性有待增強(qiáng)。③底圖難以自動(dòng)獲取,或依賴(lài)POS系統(tǒng)。

針對(duì)以上問(wèn)題,本文提出了一種基于景象匹配的航攝影像二維定位方法(two-dimensional location of aerial photography based on scene matching, TDLAPSM),首先進(jìn)行任務(wù)規(guī)劃,來(lái)獲取某固定區(qū)域的航攝影像。其次基于特征匹配來(lái)完成景象匹配。再次提出坐標(biāo)解算及底圖生成方法,來(lái)實(shí)現(xiàn)航攝影像二維定位。最后進(jìn)行了理論說(shuō)明和實(shí)驗(yàn)驗(yàn)證。

1 方法流程

TDLAPSM的方法執(zhí)行步驟如下:

步驟1任務(wù)規(guī)劃。利用無(wú)人機(jī)獲取某固定區(qū)域(已知地理信息)的航攝影像,同時(shí)生成該區(qū)域底圖。

步驟2景象匹配。將底圖與航攝影像進(jìn)行特征匹配得到單應(yīng)性矩陣,同時(shí)將該時(shí)刻與下一時(shí)刻的航攝影像進(jìn)行特征匹配得到對(duì)應(yīng)的單應(yīng)性矩陣。特征匹配方法流程如圖1所示。

圖1 特征匹配流程圖Fig.1 Diagram of feature matching

特征匹配包括同源影像間匹配(航攝影像之間)與異源影像間匹配(航攝影像與底圖)。按照特征檢測(cè)、特征描述、描述符匹配、與模型估計(jì)順序進(jìn)行。其中:首先,利用基于快速自適應(yīng)魯棒性尺度不變的特征檢測(cè)子(fast adaptive robust invariant scalable feature detector, FARISFD)[13]檢測(cè)出特征點(diǎn)。其次,利用魯棒性交疊的標(biāo)準(zhǔn)特征描述子(robust overlapped gauge feature descriptor, ROGFD)[14]生成特征點(diǎn)的描述符。再次,利用基于歐氏距離的暴力匹配方法對(duì)描述符進(jìn)行匹配,并利用基于網(wǎng)格的快速、超魯棒特征匹配運(yùn)動(dòng)統(tǒng)計(jì)算法(grid-based motion statistics for fast, ultra-robust feature correspondence, GMS)[15]剔除誤匹配。最后利用基于特征距離與內(nèi)點(diǎn)的隨機(jī)抽樣一致性(random sample consensus based on feature distance and inliers,RSCFDI)[16]算法計(jì)算得到單應(yīng)性矩陣。兩種特征匹配并行處理。

步驟3坐標(biāo)解算及底圖生成。解算該時(shí)刻航攝影像內(nèi)所有點(diǎn)的二維地理坐標(biāo)。同時(shí)生成下一時(shí)刻航攝影像對(duì)應(yīng)底圖。

步驟4步驟循環(huán)。按順序重復(fù)步驟2與步驟3,直到完成所有航攝影像的二維定位。

2 坐標(biāo)解算及底圖生成方法

2.1 方法流程

步驟1按圖3所示方式,提取該固定區(qū)域數(shù)字衛(wèi)星地圖M1作為底圖,設(shè):A～D點(diǎn)的二維地理坐標(biāo)分別為(W1,B1)、(W2,B1)、(W2,B2)以及(W1,B2),底圖圖幅為C×R像素。

圖2 底圖示意圖Fig.2 Diagram of base map

步驟2求解該區(qū)域的航攝影像I1內(nèi)任一點(diǎn)(x1,y1)(計(jì)算機(jī)圖像坐標(biāo)系)的二維地理坐標(biāo)(W,B),計(jì)算公式如式(1)所示。所有航攝影像的圖幅為c×r像素。其中,由景象匹配得到的兩個(gè)單應(yīng)性矩陣為:以M1為基準(zhǔn),將I1進(jìn)行特征匹配,得到單應(yīng)性矩陣H1,H1如式(2)所示;以相鄰航攝影像I1為基準(zhǔn),將I2進(jìn)行特征匹配,得到單應(yīng)性矩陣H2。

(1)

(2)

步驟3計(jì)算I2的對(duì)應(yīng)底圖M2的4個(gè)角點(diǎn)二維地理坐標(biāo)(w1,b1)、(w2,b1)、(w2,b2)以及(w1,b2),公式為

(3)

(4)

(5)

步驟4將M2替換M1作為新的底圖。

2.2 式(1)的證明

證明由計(jì)算機(jī)圖像坐標(biāo)系與單應(yīng)性矩陣定義可得

(6)

式中,k1為非零常數(shù);(X,Y)為計(jì)算機(jī)圖像坐標(biāo)系下的M1內(nèi)任一點(diǎn)坐標(biāo)。

由于底圖為數(shù)字衛(wèi)星地圖的一部分,已作地圖投影,則有如圖2所示幾何的關(guān)系,則

(7)

聯(lián)立式(6)與式(7),所以式(1)成立。

證畢

2.3 式(3)的證明

證明由計(jì)算機(jī)圖像坐標(biāo)系與單應(yīng)性矩陣定義可得

(8)

式中,k2為非零常數(shù);(x2,y2)為計(jì)算機(jī)圖像坐標(biāo)系下的I2內(nèi)任一點(diǎn)坐標(biāo)。

聯(lián)立式(7)與式(8),可得

(9)

式中,(w,b)為(x2,y2)的二維地理坐標(biāo)。

按圖3所示方式,在數(shù)字衛(wèi)星地圖上,提取I24個(gè)角點(diǎn)外接矩形作為M2,所以式(3)成立。

證畢

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 實(shí)驗(yàn)平臺(tái)參數(shù)

筆記本計(jì)算機(jī)配置:處理器為2.5GHz i7第4代,系統(tǒng)為64位Win10,編程環(huán)境為鏈接OpenCV 3.00的Visual Studio 2015。

3.1.2 數(shù)據(jù)集

對(duì)某地區(qū)進(jìn)行實(shí)驗(yàn),技術(shù)參數(shù)如表1所示,部分無(wú)人機(jī)航片與相關(guān)谷歌數(shù)字衛(wèi)星地圖數(shù)據(jù)如圖3與表2所示。

表1 實(shí)驗(yàn)影像主要技術(shù)參數(shù)

圖3 測(cè)試所用航片與谷歌數(shù)字衛(wèi)星地圖Fig.3 Aerial images and Google digital satellite mapused for evaluation

影像緯度/(°)經(jīng)度/(°)高度/m橫滾/(°)俯仰/(°)航向/(°)134.59110.132302.28-2.030.32258.34234.59110.122306.480.130.18257.02

3.1.3 實(shí)驗(yàn)對(duì)象及相關(guān)參數(shù)設(shè)置

不同方法的步驟與參數(shù)對(duì)比表如表3所示。

表3 不同方法的步驟與參數(shù)

3.1.4 評(píng)估準(zhǔn)則

為了衡量算法的魯棒性與運(yùn)行效率,本文主要通過(guò)定位誤差與耗時(shí)2個(gè)指標(biāo)衡量算法。

指標(biāo)1定位誤差的定義式為

(10)

式中,S為目標(biāo)的定位誤差;(xk,yk)為第k個(gè)目標(biāo)二維坐標(biāo)理論值;(Xk,Yk)為第k個(gè)目標(biāo)二維坐標(biāo)測(cè)量值。

指標(biāo)2在相同硬件平臺(tái)上,達(dá)到相同目標(biāo)時(shí),算法的所用時(shí)間。

3.1.5 實(shí)驗(yàn)過(guò)程

首先選取不同航帶的200幅航片,利用基于POS與圖像匹配的無(wú)人機(jī)目標(biāo)定位方法與TDLAPSM進(jìn)行定位。然后在每幅航片中較為平均地選取10個(gè)測(cè)量點(diǎn),共計(jì)2 000個(gè)地物點(diǎn),以谷歌數(shù)字衛(wèi)星地圖的地理信息為理論值來(lái)計(jì)算定位誤差,同時(shí)計(jì)算平均每幅耗時(shí)。

3.2 實(shí)驗(yàn)結(jié)果與分析

全部地物點(diǎn)定位誤差曲線如圖4所示。

圖4 定位誤差結(jié)果Fig.4 Results of positioning error

將實(shí)驗(yàn)結(jié)果分析如下:

文獻(xiàn)[11]匹配方法的定位誤差平均值為19.28 m,最大定位誤差為41.67 m,拼接200幅時(shí)平均每幅耗時(shí)18.92 s。TDLAPSM的定位誤差平均值為12.73 m,最大定位誤差為26.49 m,拼接200幅時(shí)平均每幅耗時(shí)6.41 s。

將實(shí)驗(yàn)結(jié)果分析如下:

(1) 文獻(xiàn)[11]所采用的SIFT的實(shí)時(shí)性與魯棒性較弱,而TDLAPSM采用了FARISFD與ROGFD,大幅提高了特征匹配的魯棒性,這直接增強(qiáng)了同源與異源匹配準(zhǔn)確性。

(2) 文獻(xiàn)[11]采用RANSAC進(jìn)行模型估計(jì)實(shí)現(xiàn)拼接,而本文提出的改進(jìn)的隨機(jī)抽樣一致性算法在保證RANSAC魯棒性的同時(shí),大幅提高了執(zhí)行效率,保證了TDLAPSM模型估計(jì)環(huán)節(jié)的準(zhǔn)確性與實(shí)時(shí)性。

(3) 相對(duì)于匹配區(qū)域搜索方法,坐標(biāo)解算及底圖生成方法運(yùn)算速度更快;并且減小了匹配范圍,提高了基于景象匹配的定位速度;同時(shí)避免了POS的使用,減少了對(duì)機(jī)載設(shè)備的依賴(lài)。

4 結(jié) 論

本文提出TDLAPSM,并通過(guò)理論與實(shí)驗(yàn)驗(yàn)證了方法的可行性與優(yōu)勢(shì),主要得到以下結(jié)論:

(1) 坐標(biāo)解算及底圖生成方法不僅提高了基于景象匹配的定位速度,同時(shí)減少了對(duì)機(jī)載設(shè)備的依賴(lài)。

(2) RSCFDI與GMS在保證算法魯棒性的同時(shí),提高了執(zhí)行速度。

(3) FARISFD與ROGFD,增強(qiáng)了特征匹配的魯棒性。

(4) 局限性:如果改進(jìn)的隨機(jī)抽樣一致性算法二次跳出子循環(huán)的閾值很小,則算法魯棒性降低,如果閾值很大,則實(shí)時(shí)性降低。TDLAPSM對(duì)特征匹配的魯棒性與實(shí)時(shí)性要求較高。

(5) 推薦應(yīng)用范圍:TDLAPSM在小型無(wú)人機(jī)對(duì)目標(biāo)定位、干擾環(huán)境下無(wú)人機(jī)對(duì)目標(biāo)定位等情況,應(yīng)用前景較好。