基于改進(jìn)ORB 算法的遙感圖像自動(dòng)配準(zhǔn)方法

張?jiān)粕u崢嶸

(中南大學(xué)地球科學(xué)與信息物理學(xué)院，長(zhǎng)沙 410083)

0 引言

遙感圖像配準(zhǔn)是實(shí)現(xiàn)圖像融合、變化檢測(cè)、圖像糾正和圖像鑲嵌等應(yīng)用的一個(gè)關(guān)鍵步驟。遙感圖像自動(dòng)配準(zhǔn)方法大致可以分為2 類:①基于區(qū)域的整體配準(zhǔn)方法。如基于相關(guān)系數(shù)、互信息或者相位相關(guān)的方法［1－2］，這類方法耗時(shí)較長(zhǎng);②基于特征的配準(zhǔn)方法。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)領(lǐng)域中尺度不變特征變換(scale－invariant feature transform，SIFT)和加速魯棒性特征(speeded up robust features，SURF)等具有尺度和旋轉(zhuǎn)不變性算子的興起，這2種算法在遙感圖像配準(zhǔn)中的應(yīng)用引起了眾多學(xué)者的關(guān)注，并取得了較好的效果［3－5］。但SIFT 和SURF算法要求建立高維描述符，需要大量的內(nèi)存空間和較長(zhǎng)的運(yùn)行時(shí)間。Calonder 等［6］提出了一種基于二進(jìn)制的魯棒性獨(dú)立基本特征(binary robust independent elementary features，BRIEF)描述符，大大縮短了建立描述符的時(shí)間，同時(shí)減少了對(duì)存儲(chǔ)空間的需求，而且對(duì)光照變化具有較強(qiáng)的魯棒性;但是其特征點(diǎn)檢測(cè)不具備尺度和旋轉(zhuǎn)不變性。在此基礎(chǔ)上，Rublee 等［7］提出了定向二進(jìn)制簡(jiǎn)單描述符(oriented brief，ORB)算法，在圖像金字塔上利用加速分割測(cè)試特征(features from accelerated segment test，F(xiàn)AST)算子提取角點(diǎn)特征，使得特征點(diǎn)具有一定程度的尺度不變性;然后計(jì)算出角點(diǎn)的主方向，建立BRIEF描述符，使得描述符具有旋轉(zhuǎn)不變性。ORB 算法提高了運(yùn)算的適應(yīng)性，在標(biāo)準(zhǔn)數(shù)據(jù)集中取得了可與SURF 算法和SIFT 算法相媲美的效果，但運(yùn)算速度比SURF 算法快了1個(gè)數(shù)量級(jí)、比SIFT 算法快了2個(gè)數(shù)量級(jí)［8］。李慧等［9］提出利用FAST 算法檢測(cè)角點(diǎn)、利用SURF 算法匹配獲取控制點(diǎn)，但處理效率依然受到SURF 算法的影響。針對(duì)上述情況，本文提出利用結(jié)合隨機(jī)采樣一致性(random sample consensus，RANSAC)方法［10］的改進(jìn)ORB 算法為遙感圖像配準(zhǔn)提供控制點(diǎn)，實(shí)現(xiàn)遙感圖像自動(dòng)配準(zhǔn)。

1 配準(zhǔn)方法

1.1 配準(zhǔn)流程

配準(zhǔn)是尋找一個(gè)從待配準(zhǔn)圖像到參考圖像的變換參數(shù)，并將待配準(zhǔn)圖像糾正到參考圖像坐標(biāo)系的過(guò)程。本文提出的基于改進(jìn)ORB 算法的遙感圖像自動(dòng)配準(zhǔn)流程如圖1 所示。

圖1 基于改進(jìn)ORB 算法的遙感圖像自動(dòng)配準(zhǔn)流程Fig.1 Flow chart for automatic registration of remote sensing images based on improved ORB algorithm

上述配準(zhǔn)流程主要由如下3個(gè)步驟組成:

1)初始控制點(diǎn)匹配。在參考圖像和待配準(zhǔn)圖像上分別提取特征點(diǎn)并建立二進(jìn)制描述符，然后利用局部敏感散列(locality sensitive hashing，LSH)算法匹配這些二進(jìn)制描述符［11］。

2)控制點(diǎn)優(yōu)化。利用RANSAC 算法，結(jié)合單應(yīng)性矩陣估計(jì)，剔除可能的錯(cuò)誤匹配。

3)圖像糾正。利用最小二乘法估計(jì)單應(yīng)性矩陣，并對(duì)待配準(zhǔn)圖像進(jìn)行重采樣。

1.2 初始控制點(diǎn)匹配

1.2.1 特征點(diǎn)提取

ORB 算法采用FAST 算子檢測(cè)角點(diǎn)，但原始FAST 算子在邊緣上也會(huì)提取到大量特征點(diǎn)，因此ORB 算法計(jì)算了FAST 所提取局部特征點(diǎn)的Harris興趣值(即角點(diǎn)響應(yīng)值)，并按興趣值大小進(jìn)行排序;然后根據(jù)特征點(diǎn)數(shù)目的需求，保留興趣值較大的N個(gè)點(diǎn)。FAST 算子雖然具有一定程度上的尺度不變性，但由于沒(méi)有提供特征點(diǎn)所對(duì)應(yīng)的尺度，因此在后續(xù)處理中難以建立具有尺度不變性的描述符。ORB 算法為了減輕尺度的影響，通過(guò)在多層金字塔圖像中提取特征點(diǎn)來(lái)獲取尺度信息，以用于建立后續(xù)處理中的描述符;但在利用Harris 興趣值大小排列特征點(diǎn)時(shí)，分布情況易受到圖像紋理的影響——在圖像紋理豐富區(qū)域容易提取到大量特征點(diǎn)，反之則提取到的特征點(diǎn)較少。當(dāng)特征點(diǎn)分布不均勻時(shí)，同名點(diǎn)容易被集中到圖像的局部區(qū)域，使用局部同名點(diǎn)對(duì)整景圖像進(jìn)行配準(zhǔn)時(shí)，整體精度會(huì)受到很大的影響。

針對(duì)ORB 提取特征點(diǎn)不均勻的問(wèn)題，本文提出一種基于格網(wǎng)濾波的改進(jìn)的ORB 特征點(diǎn)提取方法，即在利用FAST 算子提取特征點(diǎn)之后，再對(duì)每個(gè)特征點(diǎn)計(jì)算Harris 興趣值;在此基礎(chǔ)上，將整景圖像劃分為格網(wǎng)大小為n×n 的均勻格網(wǎng)，然后在每個(gè)格網(wǎng)中保留興趣值最大的特征點(diǎn)。

要建立穩(wěn)定(reliable)和獨(dú)特(distinctive)的描述符，需要確定特征點(diǎn)的尺度和主方向;通過(guò)對(duì)主方向的旋轉(zhuǎn)，可使描述符具有旋轉(zhuǎn)不變性。SIFT 和SURF 算法采用了基于梯度直方圖的方法獲取特征點(diǎn)的主方向，但存在主方向不唯一的缺點(diǎn);因此，ORB 算法采用亮度中心(intensity centroid)來(lái)計(jì)算特征點(diǎn)的主方向。通過(guò)比較，ORB 算法具有較好的適應(yīng)性。

在獲取特征點(diǎn)尺度和主方向的基礎(chǔ)上，采用BRIEF 描述符的思想建立描述符，但同時(shí)顧及特征點(diǎn)的尺度和主方向。在特征探測(cè)的基礎(chǔ)上，對(duì)每個(gè)特征點(diǎn)建立由(0，1)組成的n 維二進(jìn)制描述符;本文中取n=256，因此對(duì)于每個(gè)特征點(diǎn)會(huì)得到一個(gè)256 bit 的描述符。

1.2.2 特征點(diǎn)匹配

在建立二進(jìn)制描述符之后，要進(jìn)行特征匹配，通過(guò)比較描述符的相似性即可實(shí)現(xiàn)。對(duì)于2個(gè)二進(jìn)制描述符的相似性，可以使用漢明距離(hamming distance)來(lái)表示。漢明距離(將一個(gè)字符串變換成另外一個(gè)字符串所需要替換的字符個(gè)數(shù))的計(jì)算使用按位“異或”運(yùn)算實(shí)現(xiàn)，即參與運(yùn)算的2個(gè)值，如果它們的相應(yīng)bit 相同，則結(jié)果為“0”，否則為“1”;然后統(tǒng)計(jì)“1”的個(gè)數(shù)，“1”的個(gè)數(shù)越少，表示2個(gè)二進(jìn)制描述符越相似。對(duì)于256 bit 的2個(gè)二進(jìn)制描述符，漢明距離取值在0～256 之間的，難以使用一個(gè)合適的閾值去確定正確的匹配。因此，本文以近鄰距離與次近鄰距離的比值T 來(lái)確定可能正確的匹配，只有當(dāng)T ＜0.8 時(shí)，才認(rèn)為最近鄰距離對(duì)應(yīng)的特征點(diǎn)有可能為同名點(diǎn)。

當(dāng)圖像存在有重復(fù)紋理或者遮擋問(wèn)題時(shí)，特征匹配獲取的同名點(diǎn)可能存在錯(cuò)誤匹配點(diǎn)。因此，本文在進(jìn)行了一次從左到右的圖像匹配之后，再進(jìn)行一次從右到左的匹配，只保留在2個(gè)方向上相一致的圖像匹配結(jié)果。

對(duì)于圖2(a)和(b)所示的一組衛(wèi)星光學(xué)遙感圖像(大小均為512 像元×512 像元，編號(hào)分別為b040 和b042)，每景圖像都提取3 000個(gè)特征點(diǎn)，經(jīng)過(guò)匹配之后，獲取789個(gè)同名點(diǎn)，匹配結(jié)果如圖2(c)所示。

圖2 初始控制點(diǎn)匹配結(jié)果Fig.2 Matching result of initial control points

從圖2 可以看出，大部分同名地物點(diǎn)都是匹配正確的，只有少量匹配錯(cuò)誤的點(diǎn)。

1.3 控制點(diǎn)優(yōu)化

透射變換是一種常用于表達(dá)圖像之間變換關(guān)系的模型。本文采用基于單應(yīng)性矩陣(homography matrix，即用于圖像糾正和配準(zhǔn)的線性變換矩陣)的透射變換表示圖像之間的關(guān)系，變換式為

式中:x，y 分別為待配準(zhǔn)圖像的列、行坐標(biāo);x'，y'分別為參考圖像的列、行坐標(biāo);hi(i=1，2，…，9)為2景圖像之間的變換參數(shù)。

盡管在初始控制點(diǎn)匹配階段采用了雙向匹配，但依然會(huì)存在少量的錯(cuò)誤匹配點(diǎn)，如果不加以剔除，將會(huì)對(duì)配準(zhǔn)結(jié)果有較大的影響。因此，本文采用基于RANSAC 算法、結(jié)合單應(yīng)性矩陣估計(jì)的方法予以剔除，保留誤差小于2個(gè)像元的控制點(diǎn)作為優(yōu)化后的控制點(diǎn)。圖2(c)所示的789個(gè)初始控制點(diǎn)匹配結(jié)果，經(jīng)過(guò)上述優(yōu)化后，獲取392個(gè)控制點(diǎn)的匹配結(jié)果(圖3)。

圖3 優(yōu)化控制點(diǎn)的匹配結(jié)果Fig.3 Matching result of optimized control points

1.4 圖像糾正

經(jīng)過(guò)控制點(diǎn)優(yōu)化之后，還存有大量的同名點(diǎn)，多于單應(yīng)性矩陣計(jì)算所需要的4個(gè)同名點(diǎn)，因此采用最小二乘估計(jì)來(lái)計(jì)算單應(yīng)性矩陣。最后，待配準(zhǔn)圖像中的所有像元根據(jù)單應(yīng)性矩陣變換參數(shù)糾正到參考圖像的坐標(biāo)下。為了平衡糾正的精度和效率，本文在圖像糾正中采用雙線性插值對(duì)圖像進(jìn)行重采樣。圖4 是采用根據(jù)圖3 所示控制點(diǎn)計(jì)算的單應(yīng)性矩陣進(jìn)行圖像糾正的結(jié)果。

圖4 圖像糾正結(jié)果Fig.4 Result of image rectification

2 試驗(yàn)分析

為了驗(yàn)證本文方法對(duì)不同類型遙感圖像配準(zhǔn)的適應(yīng)性，采用了2 組衛(wèi)星光學(xué)遙感圖像(數(shù)據(jù)來(lái)源于http:// nayana.ece.ucsb.edu/ registration/)和1 組SAR 圖像進(jìn)行配準(zhǔn)試驗(yàn)。

2.1 衛(wèi)星光學(xué)遙感圖像配準(zhǔn)

圖2(a)為圖像b040，大小為512 像元×512 像元，作為參考圖像;圖2(b)為圖像b042，大小也是512 像元×512 像元，作為待配準(zhǔn)圖像。采用本文方法將待配準(zhǔn)圖像配準(zhǔn)到參考圖像上，配準(zhǔn)結(jié)果如圖5 所示。

圖5 b040 與b042 圖像配準(zhǔn)結(jié)果Fig.5 Registration result between b040 and b042

為了更直觀地顯示配準(zhǔn)情況，將配準(zhǔn)后的圖像與待配準(zhǔn)圖像一起顯示，對(duì)2 景圖像相交部分利用馬賽克方式交錯(cuò)顯示，并將圖5(a)中黑色方框內(nèi)部分放大顯示(圖5(b))。從圖5(b)可以看出，配準(zhǔn)后的影像邊緣能夠保持較好的連續(xù)性，表明2 景圖像得到了較好的配準(zhǔn)。

用同樣方法，對(duì)另1 組Landsat TM 圖像進(jìn)行了配準(zhǔn)(圖6)。參考圖像(圖6(a))和待配準(zhǔn)圖像(圖6(b))分別為L(zhǎng)andsat TM 的2個(gè)波段圖像，通過(guò)本文方法配準(zhǔn)后的結(jié)果如圖6(c)所示，對(duì)其中黑色方框內(nèi)部分放大顯示結(jié)果如圖6(d)所示。由圖6(d)可以看出，2個(gè)波段的圖像得到了精確的配準(zhǔn)。

圖6 TM 圖像配準(zhǔn)結(jié)果Fig.6 Registration result between TM images

2.2 SAR 圖像配準(zhǔn)

為了進(jìn)一步驗(yàn)證本文方法的有效性，還采用了如圖7(a)和(b)所示的2 景SAR 圖像進(jìn)行配準(zhǔn)試驗(yàn)，配準(zhǔn)結(jié)果如圖7(c)所示，圖7(c)中黑框內(nèi)部分放大結(jié)果如圖7(d)所示。從圖7(d)可以看出，本文方法將2 景SAR 圖像自動(dòng)配準(zhǔn)到了一起。

圖7 SAR 圖像配準(zhǔn)結(jié)果Fig.7 Registration result between SAR images

2.3 與SIFT 和SURF 的比較

為了比較不同算法的配準(zhǔn)結(jié)果，使用SIFT［12］和SURF［13］算法對(duì)上述3 組試驗(yàn)數(shù)據(jù)提取特征，并且利用Low［12］的比值方法進(jìn)行控制點(diǎn)匹配，比值閾值設(shè)置為0.8。獲取控制點(diǎn)后，將控制點(diǎn)平分為2 組，一組用于計(jì)算單應(yīng)性矩陣，另一組用于精度檢查。利用檢查點(diǎn)統(tǒng)計(jì)了最大殘差(Max)和均方根誤差(RMSE)，并對(duì)每種算法的控制點(diǎn)匹配數(shù)目和時(shí)間都進(jìn)行了比較。比較結(jié)果如表1 所示，其中“配準(zhǔn)時(shí)間”是使用筆記本電腦(配置為intel i3 CPU，2.40GHZ，2.00 G RAM，操作系統(tǒng)32－ bit Window 7)試驗(yàn)的結(jié)果。

從表1 中3 種算法匹配結(jié)果的比較可以看出，本文方法比基于SURF 算法和SIFT 算法的配準(zhǔn)方法效率高。對(duì)于光學(xué)遙感圖像而言，本文方法的配準(zhǔn)精度略低于基于SIFT算法的配準(zhǔn)精度，但基于SIFT 算法的配準(zhǔn)效率最低;對(duì)于SAR 圖像而言，本文方法無(wú)論在配準(zhǔn)效率上還是在配準(zhǔn)精度上都優(yōu)于基于SURF 和SIFT 算法的配準(zhǔn)方法。

表1 配準(zhǔn)結(jié)果比較Tab.1 Comparison of registration results

3 結(jié)論

本文提出了一種基于改進(jìn)的定向二進(jìn)制簡(jiǎn)單描述符(ORB)算法的遙感圖像配準(zhǔn)方法，并選取具有代表性的衛(wèi)星光學(xué)遙感圖像對(duì)和SAR 圖像對(duì)進(jìn)行了試驗(yàn)。根據(jù)試驗(yàn)結(jié)果可以得出以下結(jié)論:

1)本文方法可以提取足夠控制點(diǎn)實(shí)現(xiàn)遙感圖像自動(dòng)配準(zhǔn)，能夠獲取亞像元級(jí)的配準(zhǔn)精度，與基于SIFT 算法和SURF 算法的配準(zhǔn)精度相當(dāng)或者更高。

2)本文方法在效率上比基于SIFT 算法和SURF算法的配準(zhǔn)效率有大幅度的提高。

下一步的工作將研究如何進(jìn)一步提高基于ORB 算法的圖像配準(zhǔn)精度。

［1］Kern J P，Pattichis M S.Robust multispectral image registration using mutual－information models［J］.IEEE Transactions on Geoscience and Remote Sensing，2007，45(5):1494－1505.

［2］韋春桃，吳 平，張祖勛，等.一種改進(jìn)的相位相關(guān)的影像配準(zhǔn)方法［J］.測(cè)繪通報(bào)，2011(4):19－22.Wei C T，Wu P，Zhang Z X，et al.An image matching algorithm based on improved log－polar image transform［J］.Bulletin of Surveying and Mapping，2011(4):19－22.

［3］Liu X Z，Tian Z，Chai C Y，et al.Multiscale registration of remote sensing image using robust SIFT features in steerable－domain［J］.The Egyptian J Remote Sensing and Space Sci，2011，14(2):63－72.

［4］李曉明，鄭 鏈，胡占義.基于SIFT 特征的遙感影像自動(dòng)配準(zhǔn)［J］.遙感學(xué)報(bào)，2006，10(6):885－892.Li X M，Zhen L，Hu Z Y.SIFT based automatic registration of re-motely－sensed imagery［J］.Journal of Remote Sensing，2006，10(6):885－892.

［5］林曉帆，林立文，鄧 濤.基于SURF 描述子的遙感影像配準(zhǔn)［J］.計(jì)算機(jī)工程，2010，36(12):216－218.Lin X F，Lin L W，Deng T.Remote sensing image registration based on SURF gescriptor［J］.Computer Engineering，2010，36(12):216－218.

［6］Calonder M，Lepetit V，Ozuysal M，et al.BRIEF:Computing a local binary descriptor very fast［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(6):1281－1298.

［7］Rublee E，Rabaud V，Konolige K，et al.ORB:An efficient alternative to SIFT or SURF［C］//2011 International Conference on Computer Vision，Barcelona，Spain，2011:2564－2571

［8］Rosten E，Drummond T.Machine learning for high－speed corner detection［C］//Lecture Notes in Computer Science，2006，3951:430－443.

［9］李 慧，藺啟忠，劉慶杰.基于FAST 和SURF 的遙感圖像自動(dòng)配準(zhǔn)方法［J］.國(guó)土資源遙感，2012，24(2):28－33.Li H，Lin Q Z，Liu Q J.An automatic registration method of remote sensing imagery based on FAST corner and SURF descriptor［J］.Remote Sensing for Land and Resources，2012，24(2):28－33.

［10］Fischer M A，Bolles R C.Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381－395.

［11］Marius M，Lowe D G.Fast approximate nearest neighbors with automatic algorithm configuration［C］//International Conference on Computer Vision Theory and Applications，Lisboa，Portugal，2009:331－340.

［12］Lowe D G.Distinctive image features from scale－ invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［13］Bay H，Ess A，Tuytelaars T，et al.Speeded－ up robust features(SURF)［J］.Computer Vision and Image Understanding，2008，110(3):346－359.