一種改進(jìn)的SAR與可見光圖像的快速配準(zhǔn)算法

張皖南，楊學(xué)志，董張玉

?

一種改進(jìn)的SAR與可見光圖像的快速配準(zhǔn)算法

張皖南1,2，楊學(xué)志1,2，董張玉1,2

(1. 合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；2. 工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230009)

針對基于尺度不變特征變換(SIFT)的合成孔徑雷達(dá)(SAR)與可見光圖像配準(zhǔn)存在耗時長、精度不高的問題，提出了SIFT與快速近似最近鄰搜索(FLANN)相結(jié)合的配準(zhǔn)算法。首先，針對SAR圖像存在的相干斑噪聲做雙邊濾波(BF)，在去噪的同時能夠保護(hù)圖像的邊緣避免被高斯函數(shù)模糊。其次，在高斯差分尺度空間檢測特征點(diǎn)并生成SIFT特征描述向量，利用FLANN算法實(shí)現(xiàn)高維向量空間中的快速匹配。最后，采用改進(jìn)的抽樣一致算法(PROSAC)剔除誤匹配進(jìn)一步提高匹配正確率。實(shí)驗(yàn)結(jié)果表明該算法在配準(zhǔn)的精度和速度上都優(yōu)于原始的SIFT算法。

合成孔徑雷達(dá)圖像；可見光圖像；配準(zhǔn)；尺度不變特征變換；快速近似最近鄰搜索

圖像配準(zhǔn)是對不同傳感器、時間或角度獲取的兩幅有重疊部分的影像匹配的過程[1-3]，其關(guān)鍵技術(shù)是找到待配準(zhǔn)圖像間最優(yōu)的幾何變換，從而使得變換后的圖像相對于一種相似性度量函數(shù)具有最大相似性[4]。圖像配準(zhǔn)是實(shí)現(xiàn)模式識別、圖像融合、變換檢測和圖像鑲嵌等的前期處理[5]。在遙感圖像中，合成孔徑雷達(dá)(synthetic aperture radar，SAR)圖像和可見光圖像是最典型的兩種類型。SAR具有全天候、穿透性強(qiáng)、紋理信息豐富等優(yōu)勢，但圖像不含光譜信息，且目標(biāo)的微波反射特性導(dǎo)致相同物體的SAR圖像可能呈現(xiàn)不同的表現(xiàn)形式。可見光圖像能直觀地對目標(biāo)進(jìn)行成像，含有豐富的光譜信息，但受大氣衰減、天氣狀況的影響較大[6]，因此研究這兩種圖像的配準(zhǔn)有重大意義。

現(xiàn)有的圖像配準(zhǔn)方法大致分為兩大類：基于區(qū)域配準(zhǔn)和基于特征配準(zhǔn)?；趨^(qū)域配準(zhǔn)主要包括互信息算法、交叉相關(guān)算法和最大似然估計(jì)算法等[7]。這些算法雖然有一定的魯棒性，但是計(jì)算量很大，而且當(dāng)SAR與可見光圖像存在角度和尺度差異時配準(zhǔn)效果不理想。在基于特征配準(zhǔn)的算法中，尺度不變特征變換[8](scale-invariant feature transform，SIFT)是最為普遍的算法之一。其具有尺度變換、旋轉(zhuǎn)和仿射不變性，對噪聲及視角變換也有一定的魯棒性，因此廣泛應(yīng)用于圖像處理領(lǐng)域。盡管SIFT算法可以很好地配準(zhǔn)可見光圖像，但直接應(yīng)用于SAR圖像配準(zhǔn)時會出現(xiàn)很多誤匹配[9]，最主要的原因是SAR圖像存在相干斑噪聲，導(dǎo)致提取的特征點(diǎn)被破壞。另外，由于傳統(tǒng)的SIFT算法提取的特征點(diǎn)及生成的特征向量數(shù)量過多，不但計(jì)算量大且處理時間長。

為了解決上述存在的問題，本文提出了一種基于SIFT與快速近似最近鄰搜索(fast library for approximate nearest neighbors，F(xiàn)LANN)相結(jié)合的SAR與可見光圖像配準(zhǔn)算法。首先，為了有效去除SAR圖像的相干斑噪聲，采用雙邊濾波(bilateral filter，BF)對其預(yù)處理，同時也保護(hù)了圖像的邊緣防止高斯函數(shù)模糊。然后在高斯差分(difference of Gaussian，DOG)尺度空間檢測出特征點(diǎn)并生成特征向量，通過FLANN算法快速搜索到匹配點(diǎn)對。最后利用改進(jìn)的抽樣一致算法(progressive sample consensus，PROSAC)剔除初始匹配結(jié)果中的誤匹配，從而使匹配正確率進(jìn)一步提高。實(shí)驗(yàn)結(jié)果表明本文算法在配準(zhǔn)的精度和速度上都有較大的提升。

1 圖像算法原理

1.1 SIFT原理

SIFT算法是在尺度空間中尋找穩(wěn)定的對縮放、旋轉(zhuǎn)甚至仿射變換保持不變的關(guān)鍵點(diǎn)，并進(jìn)行描述[10]。SIFT算法的主要步驟如下：

步驟1.關(guān)鍵點(diǎn)檢測。利用DOG算子，在圖像上建立DOG尺度空間，并在該空間內(nèi)尋找在尺度空間和圖像空間均為極值的點(diǎn)；

步驟2.確定關(guān)鍵點(diǎn)主方向。在以關(guān)鍵點(diǎn)為中心的鄰域窗口內(nèi)用直方圖統(tǒng)計(jì)鄰域像素的梯度方向。直方圖的峰值即為該關(guān)鍵點(diǎn)的主方向；

步驟3.生成關(guān)鍵點(diǎn)描述子。以關(guān)鍵點(diǎn)的主方向作為計(jì)算描述子的坐標(biāo)向，確保旋轉(zhuǎn)不變性。在關(guān)鍵點(diǎn)鄰域劃分成的小區(qū)域內(nèi)計(jì)算梯度方向和模值，生成梯度方向直方圖。由各個小區(qū)域梯度方向直方圖建立關(guān)鍵點(diǎn)的特征向量，即為描述子。

1.2 基于SIFT與FLANN相結(jié)合的SAR與可見光圖像配準(zhǔn)

基于SIFT與FLANN相結(jié)合的SAR與可見光圖像配準(zhǔn)算法主要包含以下幾個部分：SAR圖像的BF、可見光圖像與SAR圖像的特征點(diǎn)檢測描述、FLANN算法初匹配、PROSAC算法剔除誤匹配，具體流程如圖1所示。

圖1 算法流程圖

1.2.1 雙邊濾波

BF[11]是一種非線性濾波，其基于圖像的空間鄰近度和像素值相似度計(jì)算權(quán)重，同時考慮空域信息和灰度相似性。BF的定義如下

其中，和為像素位置；I與I為像素值；和的空間強(qiáng)度高斯核的標(biāo)準(zhǔn)差分別為σ和σ，其中的為空域高斯函數(shù)；為值域高斯函數(shù)；W為歸一化因子；[]為像素的過濾值?？倷?quán)重為空間權(quán)重與強(qiáng)度權(quán)重之和。

BF器是由幾何空間距離和像素差值共同決定濾波器系數(shù)，所以可以實(shí)現(xiàn)保邊去噪的效果，本文選擇BF是基于考慮避免SAR圖像在SIFT算法中被高斯函數(shù)模糊邊緣。

1.2.2 SIFT特征檢測和描述

文獻(xiàn)[7]選取圖像的三維DOG尺度空間中檢測局部極值作為特征點(diǎn)，以使特征具備良好的獨(dú)特性和穩(wěn)定性。差分高斯尺度圖像的極值檢測如圖2所示。

圖2 尺度空間極值點(diǎn)檢測示意圖

利用特征點(diǎn)鄰域內(nèi)所有像素點(diǎn)的梯度方向分布特性為特征點(diǎn)指定方向，使特征點(diǎn)具有旋轉(zhuǎn)不變性。式(2)、(3)分別相應(yīng)點(diǎn)的梯度模值和梯度方向?yàn)?/p>

其中，為關(guān)鍵點(diǎn)所在的尺度空間值，用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，直方圖的峰值即為該關(guān)鍵點(diǎn)的主方向。

將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的主方向，以確保旋轉(zhuǎn)不變性。在關(guān)鍵點(diǎn)鄰域劃分成的小區(qū)域內(nèi)計(jì)算梯度方向和模值，生成梯度方向直方圖，由各個小區(qū)域梯度方向直方圖建立關(guān)鍵點(diǎn)的特征向量，即為描述子。

1.2.3 FLANN匹配

由于SIFT特征向量是高維向量，以往算法采用基于最近鄰距離的匹配算法，其匹配過程相當(dāng)于在高維向量空間中搜索最近鄰，帶來繁重的計(jì)算量。本文采用FLANN[12]算法得到初始匹配點(diǎn)對，顯著提高了搜索速率。

FLANN算法根據(jù)數(shù)據(jù)集的分布特點(diǎn)、映射精度和空間資源的消耗需求，推薦索引類型和檢索參數(shù)。FLANN模型的特征空間通常是一個維的實(shí)向量空間命名為R，其核心是尋找基于歐氏距離的相鄰點(diǎn)。特征點(diǎn)和的子向量分別用和表示，則(,)的歐氏距離式為

本文中R的數(shù)據(jù)點(diǎn)分為若干個部分基于KD樹，目的是要在整個KD樹中搜索到接近查詢點(diǎn)的最小歐氏距離。因?yàn)?i>R中的所有(,)都存儲在KD樹的結(jié)構(gòu)中，這樣就可以有效地搜索到參考點(diǎn)的最近點(diǎn)。

1.2.4 PROSAC剔除誤匹配

為了進(jìn)一步提高匹配正確率，本文采用PROSAC[13]剔除初始匹配點(diǎn)對中的誤匹配。PROSAC算法是隨機(jī)抽樣一致算法(random sample consensus，RANSAC)的改進(jìn)，其和RANSAC算法不同，不是從所有的集合中采樣，而是將點(diǎn)初始集匹配的結(jié)果作為排序的依據(jù)，使得在采樣時根據(jù)匹配結(jié)果由高到低的得分進(jìn)行排序，這樣最有可能得到最佳參數(shù)的采樣會較早出現(xiàn)，從而提高了速度。

PROSAC算法首先從具有最高品質(zhì)方程的數(shù)據(jù)子集中抽取采樣產(chǎn)生假定，假定集合的大小逐漸增大，然后在所有的數(shù)據(jù)點(diǎn)上驗(yàn)證這些假定，當(dāng)存在更好解的概率低于5%時算法終止。

2 實(shí)驗(yàn)結(jié)果與分析

本文通過兩組SAR圖像和可見光圖像的配準(zhǔn)實(shí)驗(yàn)對提出的算法進(jìn)行精度和速度的評價，并與原始SIFT算法和加速穩(wěn)健特征算法[14](speeded up robust features，SURF)作對比。SAR圖像采用歐空局哨兵1號C波段VV極化的雷達(dá)衛(wèi)星圖像，分辨率為5 m。第1組實(shí)驗(yàn)的可見光圖像采用國家高分1號全色圖像，分辨率為2 m；第2組實(shí)驗(yàn)的可見光圖像采用國家高分1號多光譜圖像，分辨率為8 m。匹配結(jié)果如圖3~4所示，評價結(jié)果見表1。

從表1可看出，本文算法獲得更多的匹配點(diǎn)對，正確匹配率比原始的SIFT和SURF算法都有很大提高：第一組實(shí)驗(yàn)本文算法的正確匹配率達(dá)到了91%；第2組原始SIFT算法的正確率是64%，SURF算法的正確率72%，本文算法正確率為89%。正確率提高的主要原因是采用了BF有效地去除了SAR圖像中的斑點(diǎn)噪聲，同時很好地保持了圖像的邊緣特性，從而可以提取到圖像中更多的特征點(diǎn)，保證了配準(zhǔn)精度。

圖3 第1組配準(zhǔn)結(jié)果

圖4 第2組配準(zhǔn)結(jié)果

表1 幾種算法的配準(zhǔn)精度評價

另外，本文算法速度也有很大提升：第2組實(shí)驗(yàn)中，原始SIFT算法配準(zhǔn)時間耗時0.79 s，本文算法只有0.21 s，速度提高了近4倍。這是因?yàn)槭褂玫腇LANN算法可以在高維向量空間中快速地搜索到匹配點(diǎn)對，PROSAC算法比常用的抽樣一致算法可以更快地剔除誤匹配，大大減少了整個算法的消耗時間。

3 結(jié) 論

本文針對傳統(tǒng)的SIFT算法應(yīng)用于SAR與可見光圖像配準(zhǔn)存在耗時長、精度不高的問題，提出了SIFT與FLANN相結(jié)合的配準(zhǔn)算法。結(jié)果表明：①采用BF對SAR圖像預(yù)處理，在除去相干斑噪聲的同時能夠保護(hù)圖像的邊緣避免被高斯函數(shù)模糊，保證了配準(zhǔn)的精度；②利用FLANN算法實(shí)現(xiàn)了高維向量空間中的快速匹配，極大提高了匹配速度；③使用PROSAC剔除誤匹配點(diǎn)，進(jìn)一步提高了匹配正確率。綜上所述本文算法在配準(zhǔn)的精度和速度上都優(yōu)于原始的SIFT算法。

本文雖然在SIFT算法應(yīng)用于SAR與可見光圖像配準(zhǔn)的匹配步驟做了改進(jìn)，但對于配準(zhǔn)的特征檢測及特征描述并未改善，因此下一步的研究重點(diǎn)是對SIFT算法的這兩個步驟提出創(chuàng)新，從而進(jìn)一步提高配準(zhǔn)的精度和速度。

[1] 潘建平, 郝建明, 趙繼萍. 基于SURF的圖像配準(zhǔn)改進(jìn)算法[J]. 國土資源遙感, 2017, 29(1): 110-115.

[2] 李孚煜, 葉發(fā)茂. 基于SIFT的遙感圖像配準(zhǔn)技術(shù)綜述[J]. 國土資源遙感, 2016, 28(2): 14-20.

[3] ZITOVA B, FLUSSER J. Image registration methods: a survey [J]. Image & Vision Computing, 2003, 21(11): 997-1000.

[4] 宋智禮. 基于特征點(diǎn)與邊界信息的全自動多模態(tài)遙感圖像配準(zhǔn)方法[J]. 國土資源遙感, 2014, 26(3): 48-54.

[5] BENTOUTOU Y, TALEB N, KPALMA K, et al. An automatic image registration for applications in remote sensing [J]. IEEE Transactions Geoscience & Remote Sensing, 2005, 43(9): 2127-2137.

[6] 李雨謙, 皮亦鳴, 王金峰. 基于水平集的SAR圖像與光學(xué)圖像的配準(zhǔn)[J]. 測繪學(xué)報(bào), 2010, 39(3): 276-282.

[7] 羅宇, 陳勃, 李山山. 基于空間約束SIFT的光學(xué)與SAR圖像配準(zhǔn)[J]. 計(jì)算機(jī)工程, 2015, 41(2): 182-187.

[8] LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] ZHU H, MA W P, HOU B. SAR image registration based on multifeature dection and arborescence network matching [J]. IEEE Geoscience & Remote Sensing Letters, 2016, 13(5): 706-710.

[10] 岳春宇, 江萬壽. 幾何約束和改進(jìn)SIFT的SAR影像和光學(xué)影像自動配準(zhǔn)方法[J]. 測繪學(xué)報(bào), 2012, 41(4) 570-576.

[11] WANG S H, YOU H J, FU K. BFSIFT: A novel method to find feature matches for SAR image registration [J]. IEEE Geoscience & Remote Sensing Letters, 2012, 9(4): 649-653.

[12] MUJA M, LOWE D G. Fast approximate nearest neighbors with automatic algorithm configuration [C]// International Conference on Computer Vision Theory and Application. New York: IEEE Press, 2009: 331-340.

[13] CHUM O, MATAS J. Matching with PROSAC progressive sample consensus [C]//IEEE Computer Society Conference on Computer Vision & Pattern Recognition. New York: IEEE Press, 2005: 220-226.

[14] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF) [J]. Computer Vision & Image Understanding, 2008, 110(3): 346-359.

Registration Between SAR and Optical Images Based on an Improved Rapid Algorithm

ZHANG Wannan1,2, YANG Xuezhi1,2, DONG Zhangyu1,2

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China; 2. Anhui Province Key Laboratory of Industry Safety and Emergency Technology, Hefei Anhui 230009, China)

Registration between SAR and optical images is time-consuming and has poor accuracy when based on the scale-invariant feature transform (SIFT) algorithm. In this letter we propose a novel method to solve this problem. First, we smooth SAR image by using bilateral filter (BF). BF is also good at preserving edges in the image as opposed to Gaussian smoothing, which is used in the original SIFT. Then, keypoints are detected in the Difference-of-Gaussian (DOG) scale space and SIFT descriptors are generated. Next, we adopt the fast library for approximate nearest neighbors (FLANN) algorithm which can search matching points fast in high-dimensional space. Last, progressive sample consensus (PROSAC) algorithm is utilized to exclude false matches. Experimental results show that our approach is significantly more accurate and much faster than the original SIFT.

synthetic aperture radar image; optical image; registration; scale-invariant feature transform; fast library for approximate nearest neighbors

TP 242.2

10.11996/JG.j.2095-302X.2018020209

A

2095-302X(2018)02-0209-05

2017-06-19；

2017-07-22

國家自然科學(xué)基金項(xiàng)目(61371154，41601452)；安徽省重點(diǎn)研究與開發(fā)計(jì)劃項(xiàng)目(1704a0802124)；中國博士后科學(xué)基金項(xiàng)目(2016M602005)

張皖南(1993–)，女，江蘇徐州人，碩士研究生。主要研究方向?yàn)檫b感信息處理。E-mail：1508622762@qq.com

楊學(xué)志(1970–)，男，安徽合肥人，教授，博士，博士生導(dǎo)師。主要研究方向?yàn)閿?shù)字圖像處理。E-mail：xzyang@hfut.edu.cn