基于改進(jìn)SIFT的SAR圖像配準(zhǔn)方法

張雄美,易昭湘,蔡幸福,宋建社

(第二炮兵工程大學(xué),西安710025)

基于改進(jìn)SIFT的SAR圖像配準(zhǔn)方法

張雄美,易昭湘,蔡幸福,宋建社

(第二炮兵工程大學(xué),西安710025)

針對(duì)尺度不變特征變換(SIFT)配準(zhǔn)方法在處理SAR圖像時(shí)精度不高的問題,提出一種基于改進(jìn)SIFT的精確配準(zhǔn)方法。在提取關(guān)鍵點(diǎn)SIFT描述子及其鄰域多尺度自卷積矩不變特征的基礎(chǔ)上,利用基于典型相關(guān)分析的融合算法對(duì)SIFT與矩不變特征進(jìn)行融合,形成新的關(guān)鍵點(diǎn)描述子,使用閾值實(shí)現(xiàn)粗匹配,并結(jié)合關(guān)鍵點(diǎn)的距離與鄰域灰度相關(guān)性構(gòu)建相似矩陣,采用奇異值分解方法精確確定匹配點(diǎn)對(duì),求出仿射變換模型參數(shù),從而完成圖像配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明,該方法的配準(zhǔn)結(jié)果優(yōu)于SIFT方法,且配準(zhǔn)精度達(dá)到亞像素級(jí)。

SAR圖像配準(zhǔn);尺度不變特征變換;多尺度自卷積;典型相關(guān)分析;奇異值分解

1 概述

圖像配準(zhǔn)是將不同時(shí)間、不同視角或不同傳感器獲取的關(guān)于同一場(chǎng)景的2幅或多幅圖像進(jìn)行對(duì)準(zhǔn)并確定彼此對(duì)應(yīng)關(guān)系的過程[1]。圖像配準(zhǔn)是圖像融合、變化檢測(cè)、多通道圖像恢復(fù)等的前提與基礎(chǔ)[2-3]。配準(zhǔn)的精度直接影響其后續(xù)圖像處理工作的結(jié)果。

目前,常用的圖像配準(zhǔn)方法有基于區(qū)域相關(guān)的配準(zhǔn)方法和基于特征的配準(zhǔn)方法[4]。其中,前者基于圖像的灰度信息進(jìn)行配準(zhǔn),易受相干斑噪聲、輻射差異等因素的影響,配準(zhǔn)精度不高,效果不是很理想,基于特征的配準(zhǔn)方法則是基于提取的顯著性特征進(jìn)行配準(zhǔn),對(duì)噪聲、輻射差異等具有較強(qiáng)的魯棒性,獲得的結(jié)果更加穩(wěn)定、準(zhǔn)確,是圖像配準(zhǔn)領(lǐng)域的研究熱點(diǎn)。

在眾多基于特征的配準(zhǔn)算法中,尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法[5]由于具有較好的尺度、旋轉(zhuǎn)不變性,對(duì)光照、噪聲和仿射變化具有較強(qiáng)的魯棒性,且提取的關(guān)鍵點(diǎn)穩(wěn)定、數(shù)量豐富等優(yōu)點(diǎn)而得到了廣泛的應(yīng)用。但是,該算法不具備仿射不變性,在處理幾何變化較大的2幅圖像時(shí)存在性能退化的現(xiàn)象;此外,該算法的相似性度量只考慮了描述子間的距離,而沒有考慮關(guān)鍵點(diǎn)的位置及其鄰域的灰度相關(guān)性,在處理灰度弱相關(guān)圖像時(shí)存在較大的誤差[6-8]。

基于上述分析,在引入多尺度自卷積(Multi-Scale Autoconvolution,MSA)矩不變量與基于典型相關(guān)分析(Canonical Correlation Analysis,CCA)的特征融合算法的基礎(chǔ)上,本文提出一種基于SIFT與MSA的SAR圖像配準(zhǔn)方法,結(jié)合關(guān)鍵點(diǎn)鄰域的仿射不變特征,且配準(zhǔn)過程中充分利用關(guān)鍵點(diǎn)的位置及其鄰域的灰度相關(guān)性。

2 SIFT算法

SIFT算法是在總結(jié)現(xiàn)有的特征檢測(cè)方法的基礎(chǔ)上提出的一種基于多尺度空間理論的、對(duì)圖像旋轉(zhuǎn)和縮放保持不變性的特征匹配算法[5]。SIFT算法分為關(guān)鍵點(diǎn)檢測(cè)和描述子生成與匹配2個(gè)部分:

(1)關(guān)鍵點(diǎn)檢測(cè)及定位

首先采用唯一線性的高斯卷積核與原圖像I(x,y)進(jìn)行卷積,得到高斯差分(Difference of Gaussian, DoG)圖像,通過比較DoG圖像中各采樣點(diǎn)的幅值確定極值點(diǎn)的位置、尺度,然后去除低對(duì)比度的極值點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)得到最終的關(guān)鍵點(diǎn)集。其中,DoG圖像定義為:

其中,(x,y)為空間坐標(biāo);σ為尺度因子;k為常數(shù)乘積因子。

(2)SIFT描述子生成與匹配

首先計(jì)算關(guān)鍵點(diǎn)鄰域像素的梯度方向,并繪制梯度直方圖,直方圖峰值對(duì)應(yīng)的方向即為關(guān)鍵點(diǎn)的主方向,并將坐標(biāo)軸旋轉(zhuǎn)到關(guān)鍵點(diǎn)主方向,以保證旋轉(zhuǎn)不變性。然后,以關(guān)鍵點(diǎn)為中心、梯度方向?yàn)橹鞣较蛉〈笮?6×16的鄰域,并將其分成16個(gè)4×4大小的子塊,每一子塊計(jì)算8個(gè)方向的梯度方向向量,這樣就可得到16×8共128維SIFT描述子。

在關(guān)鍵點(diǎn)匹配階段,若圖像中的某個(gè)SIFT特征與另一幅圖像的最近鄰特征和次近鄰特征間的距離比小于預(yù)先設(shè)定的閾值,則認(rèn)為這2個(gè)最近鄰特征匹配。

3 MSA特征

MSA方法是Rahtu在引入概率模型的基礎(chǔ)上提出的一種基于點(diǎn)的圖像不變特征提取方法,不僅具有尺度不變性、旋轉(zhuǎn)不變性、仿射不變性等優(yōu)良特性,還具有較好的抗噪性[9-10]。

MSA的基本原理為:圖像中任意不共線3點(diǎn)的坐標(biāo)可以線性表示出其他任意一點(diǎn)的坐標(biāo),經(jīng)仿射變換后,這4個(gè)點(diǎn)的線性表示形式保持不變。Rahtu正是利用了這種系數(shù)不變性構(gòu)造出了仿射不變量。

設(shè)2維仿射變換A=A{T,t},A是一個(gè)二階可逆矩陣。仿射變換A有6個(gè)自由度,3個(gè)不共線的點(diǎn)對(duì)應(yīng)一個(gè)仿射變換。則變量x的仿射變換為:

設(shè)f(x):R2→R為圖像強(qiáng)度函數(shù),其經(jīng)仿射變換后為:

設(shè)x0,x1,x2∈R2(x0,x1,x2是服從獨(dú)立同分布的隨機(jī)變量)為f(x)定義域中任意的3個(gè)點(diǎn),則以這3個(gè)點(diǎn)定義的新的隨機(jī)變量可表示為:

其中,(α,β)是在以x0為原點(diǎn)、x1-x0與x2-x0為單位向量的仿射空間A2中的坐標(biāo)。若設(shè)x′0,x′1,x′2分別為點(diǎn)x0,x1,x2的仿射變換,則有

由上式可知,uα,β經(jīng)坐標(biāo)系仿射變換后得到的隨機(jī)變量u′α,β的坐標(biāo)仍然是(α,β)。而u′α,β的圖像強(qiáng)度函數(shù)為:

由上式可知,隨機(jī)變量f(uα,β)與f′(u′α,β)有著相同的分布,因此,其數(shù)學(xué)期望或任何階矩也是相等的,這種關(guān)系不隨仿射變換而變化,因此,是仿射不變的。MSA不變特征即為f(Uα,β)的期望值:

其中,pUα,β(u)=(pα?pβ?pγ)(u)為概率密度函數(shù)。為了簡(jiǎn)化運(yùn)算,利用傅里葉變換將上式轉(zhuǎn)換到頻域中進(jìn)行計(jì)算,即:

其中,為f的傅里葉變換。

4 改進(jìn)的SIFT算法

在引入 MSA的基礎(chǔ)上,提出了一種改進(jìn)的SIFT方法。新方法在提取關(guān)鍵點(diǎn)SIFT描述子與關(guān)鍵點(diǎn)鄰域MSA矩不變特征的基礎(chǔ)上,利用CCA特征融合算法對(duì)SIFT與MSA特征進(jìn)行融合,形成新的關(guān)鍵點(diǎn)描述子,并利用該描述子對(duì)提取的關(guān)鍵點(diǎn)進(jìn)行粗匹配,然后由粗匹配點(diǎn)對(duì)的距離及其鄰域的灰度相關(guān)性構(gòu)建相似矩陣,最后采用奇異值分解(Singular Value Decomposition,SVD)方法精確確定匹配點(diǎn)對(duì),求出仿射變換模型參數(shù),完成圖像配準(zhǔn)。具體步驟如下:

步驟1SIFT關(guān)鍵點(diǎn)檢測(cè)及描述子生成。利用SIFT算法進(jìn)行關(guān)鍵點(diǎn)檢測(cè)并生成描述子。設(shè)ρ(x,y,σ,θ)為SIFT算法檢測(cè)到的關(guān)鍵點(diǎn),其中,(x,y)為點(diǎn)ρ在原圖像上的位置,σ,θ分別為點(diǎn)ρ所在的尺度及其主方向。對(duì)于每一關(guān)鍵點(diǎn),計(jì)算出128維的SIFT描述子z=(z1,z2,…,z128)。

步驟2MSA關(guān)鍵點(diǎn)描述。利用SIFT算法檢測(cè)到關(guān)鍵點(diǎn)ρ(x,y,σ,θ)后,首先根據(jù)σ值的大小,在點(diǎn)ρ所在的相應(yīng)尺度上,將坐標(biāo)軸旋轉(zhuǎn)至關(guān)鍵點(diǎn)的主方向,以確保描述子的旋轉(zhuǎn)不變性,然后以關(guān)鍵點(diǎn)為中心取16×16大小的窗口鄰域作為待描述區(qū)域。對(duì)于每一關(guān)鍵點(diǎn)的待描述區(qū)域分別計(jì)算不同(α,β)對(duì)應(yīng)的MSA特征,形成該關(guān)鍵點(diǎn)的n維MSA描述子向量f=(f1,f2,…,fn),其中,n為不同(α,β)的點(diǎn)對(duì)數(shù)。

步驟3基于CCA的SIFT與MSA特征融合。提取關(guān)鍵點(diǎn)的SIFT特征與MSA特征后,利用基于 CCA的特征融合算法[11]融合 SIFT與MSA特征,以形成對(duì)關(guān)鍵點(diǎn)更全面、準(zhǔn)確的描述子,從而最終提高圖像配準(zhǔn)的精度及配準(zhǔn)算法的穩(wěn)健性。

步驟4關(guān)鍵點(diǎn)匹配。關(guān)鍵點(diǎn)對(duì)間的匹配精度對(duì)配準(zhǔn)結(jié)果有著直接的影響,關(guān)鍵點(diǎn)對(duì)間的錯(cuò)誤匹配會(huì)直接導(dǎo)致整個(gè)配準(zhǔn)過程的失敗。為此,采用SVD匹配算法[12]進(jìn)行關(guān)鍵點(diǎn)對(duì)間的精確匹配。為降低計(jì)算復(fù)雜度,在進(jìn)行SVD匹配前先對(duì)關(guān)鍵點(diǎn)進(jìn)行粗匹配,具體方法是:對(duì)于提取的2個(gè)關(guān)鍵點(diǎn)集,計(jì)算2個(gè)點(diǎn)集中對(duì)應(yīng)描述子的最近與次近歐氏距離比,當(dāng)該比值小于預(yù)先設(shè)定的閾值時(shí),初步確定為匹配點(diǎn)對(duì)。

步驟5變換參數(shù)估計(jì)。得到2幅圖像間的N對(duì)控制點(diǎn)后,根據(jù)仿射變換模型[13]求出變換參數(shù),完成圖像配準(zhǔn)。

5 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證方法的有效性,利用本文方法分別對(duì)有尺度與灰度變化(圖像配準(zhǔn)實(shí)驗(yàn)1)、幾何變化(圖像配準(zhǔn)實(shí)驗(yàn)2)的 SAR圖像進(jìn)行配準(zhǔn),并與SIFT算法的配準(zhǔn)結(jié)果進(jìn)行了比較。本文算法在提取MSA特征時(shí)共采用了29對(duì)(α,β)值,即在集合{-1,-0.75,-0.5,-0.25,0.25,0.5, 0.75,1}中任取2個(gè)元素組成29對(duì)(α,β)值,同時(shí)計(jì)算前3階矩,這樣每個(gè)關(guān)鍵點(diǎn)的MSA特征都是一個(gè)29×3=87維的向量;在SIFT與MSA特征融合中,組合特征維數(shù)設(shè)置為75維;在關(guān)鍵點(diǎn)粗匹配中,由于匹配點(diǎn)對(duì)數(shù)隨著閾值的減小而減少,而匹配點(diǎn)對(duì)太少會(huì)導(dǎo)致最終的配準(zhǔn)精度不高,匹配點(diǎn)對(duì)太多又會(huì)導(dǎo)致計(jì)算量過大,因此粗匹配中的閾值設(shè)為0.8。

為了對(duì)各方法的配準(zhǔn)結(jié)果進(jìn)行定量的比較,采用2幅圖像關(guān)鍵點(diǎn)對(duì)應(yīng)坐標(biāo)的均方根誤差(Root Mean Squared Error,RMSE)和匹配正確率(CMR)作為量化指標(biāo)。

實(shí)驗(yàn)1為驗(yàn)證本文方法對(duì)2幅尺度與灰度有較大差異的圖像配準(zhǔn)的有效性,采用武漢地區(qū)SAR圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn),如圖1所示,其中,圖1(a)、圖1(b)分別為參考圖像和待配準(zhǔn)圖像,圖像大小分別為297×277像素、369×465像素。圖1(c)給出了本文方法的配準(zhǔn)結(jié)果?？梢钥闯?2幅圖像間存在較大的尺度與灰度差異。

圖1 實(shí)驗(yàn)1配準(zhǔn)結(jié)果

實(shí)驗(yàn)2為驗(yàn)證本文方法對(duì)存在較大幾何變化的圖像配準(zhǔn)的有效性,以圖2(a)為參考圖像(大小為440×263像素),以對(duì)其進(jìn)行仿射變換后得到的部分圖像作為待配準(zhǔn)圖像(如圖2(b)所示,圖像大小為200×152像素)進(jìn)行實(shí)驗(yàn)。圖2(c)給出了本文方法的配準(zhǔn)結(jié)果。

圖2 實(shí)驗(yàn)2配準(zhǔn)結(jié)果

2種實(shí)驗(yàn)下不同方法的配準(zhǔn)精度如表1所示。

表1 2種實(shí)驗(yàn)下不同方法的配準(zhǔn)精度

表1實(shí)驗(yàn)1給出了本文方法與SIFT方法對(duì)圖1(a)與圖1(b)的配準(zhǔn)精度。從表1可以看出,在參考圖像與待配準(zhǔn)圖像間存在較大的尺度與灰度差異時(shí),本文方法的配準(zhǔn)精度更高,CMR為0.93, RMSE為0.84。

表1實(shí)驗(yàn)2給出了 SIFT方法和本文方法對(duì)圖2(a)與圖2(b)的配準(zhǔn)精度?？梢钥闯?相對(duì)于SIFT,本文方法的CMR值更高,RMSE值更低,表明本文方法的配準(zhǔn)精度更高,且達(dá)到亞像素級(jí)。同時(shí),相對(duì)于實(shí)驗(yàn)1,實(shí)驗(yàn)2的RMSE值要略低一些,這是由于實(shí)驗(yàn)2中的參考圖像與待配準(zhǔn)圖像間只涉及幾何變化,避免了灰度變化對(duì)配準(zhǔn)結(jié)果的不利影響。

6 結(jié)束語

在引入MSA矩不變特征提取方法的基礎(chǔ)上,本文提出一種基于改進(jìn)SIFT的SAR圖像配準(zhǔn)方法。在關(guān)鍵點(diǎn)檢測(cè)階段,充分利用了SIFT算法在關(guān)鍵點(diǎn)檢測(cè)上的優(yōu)勢(shì),提取的關(guān)鍵點(diǎn)穩(wěn)定且數(shù)量豐富;在描述子構(gòu)造階段,考慮到MSA特征具有尺度不變性、旋轉(zhuǎn)不變性、仿射不變性以及較好的抗噪性等優(yōu)良特性,通過提取關(guān)鍵點(diǎn)鄰域MSA特征對(duì)SIFT描述子進(jìn)行補(bǔ)充,有效降低了描述子對(duì)噪聲與灰度變化的敏感性;在關(guān)鍵點(diǎn)匹配階段,在粗配準(zhǔn)的基礎(chǔ)上結(jié)合關(guān)鍵點(diǎn)的位置及其鄰域的灰度相關(guān)性進(jìn)行精確匹配,提高了匹配算法對(duì)大幾何變化與灰度變化的穩(wěn)健性。實(shí)驗(yàn)結(jié)果表明,與SIFT方法相比,該方法能有效地處理幾何與灰度差異較大的2幅圖像間的配準(zhǔn)問題,獲得了更高的配準(zhǔn)精度。由于需要提取關(guān)鍵點(diǎn)的MSA特征并進(jìn)行融合,本文方法的運(yùn)行效率低于SIFT算法,如何在保持高配準(zhǔn)精度的前提下提高運(yùn)行效率是下一步的研究方向。

[1] Zitova B,Flusser J.Image Registration Methods:A Survey[J].Imageand Vision Computing,2003, 21(11):977-1000.

[2] Singh A.Digital Change Detection Technique Using Remotely-sensed Data[J].InternationalJournalof Remote Sensing,1989,10(6):989-1003.

[3] White R G.Change Detection in SAR Imagery[J]. International Journal of Remote Sensing,1991,12(2): 339-360

[4] Salvi J,Matabosch C,Fofi D,et al.A Review of Recent RangeImageRegistration Methodswith Accuracy Evaluation[J].Image and Vision Computing,2007, 25(5):578-596.

[5] Lowe D G.DistinctiveImageFeaturesfrom ScaleinvariantKeypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6] 趙 明,林長(zhǎng)青.基于改進(jìn)SIFT特征的紅外與可見光圖像配準(zhǔn)方法[J].光電工程,2011,38(9):130-136.

[7] Paganelli C,Peroni M,Riboldi M,et al.Scale Invariant Feature Transform in Adaptive Radiation Therapy:A Tool for Deformable Image Registration Assessment and Re-planning Indication[J].Physics in Medicine and Biology,2013,58(2):287-299.

[8] 王 鵬,王 平,沈振康,等.一種基于SIFT的仿射不變特征提取新方法[J].信號(hào)處理,2011,27(1):88-93.

[9] Rahtu E,Salo M,Heikkila J.Affine Invariant Pattern Recognition Using Multi-scale Autoconvolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(6):908-917.

[10] Rahtu E,Heikkila J.Object Classification with Multi-scale Autoconvolution[C]//Proceedings of the 17th International Conference on Pattern Recognition.New York, USA:[s.n.],2004,37-40.

[11] 孫權(quán)森,曾生根,王平安,等.典型相關(guān)分析的理論及其在特征融合中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào),2005, 28(9):1524-1533.

[12] 劉向增,田 錚,溫金環(huán),等.基于仿射不變SIFT特征的SAR圖像配準(zhǔn)[J].光電工程,2010,37(11): 121-127.

[13] Pankov S.Learning Image Transformations without Training Examples[C]//Proceedings of the 7th International Conference on Advances in Visual Computing. Monte Carlo,Monaco:[s.n.],2011:168-179.

編輯 劉 冰

SAR Image Registration Method Based on Improved SIFT

ZHANG Xiongmei,YI Zhaoxiang,CAI Xingfu,SONG Jianshe
(The Second Artillery Engineering University,Xi’an 710025,China)

Aiming at the problem of Scale Invariant Feature Transform(SIFT)achieving low precision when registating SAR images,an image registration method based on improved SIFT is proposed.Based on the construction of SIFT descriptors and the Multi-scale Autoconvolution(MSA)affine invariant moments of the region around keypoints, Canonical Correlation Analysis(CCA)based fusion method is adopted to fuse them together.The control points are rough matched by using threshold and the distance as well as gray correlation around the matched points are used to construct the similarity matrix.The Singular Value Decomposition(SVD)method is subsequently adopted to implement image registration precisely.The parameters of affine transformation are calculated and the images are registrated.Experimental results show that the registration results of this method is better than SIFT method and achieves precision in sub-pixel level.

SAR image registration;Scale Invariant Feature Transform(SIFT);Multi-scale Autoconvolution(MSA); Canonical Correlation Analysis(CCA);Singular Value Decomposition(SVD)

1000-3428(2015)01-0223-04

A

TP751

10.3969/j.issn.1000-3428.2015.01.041

國(guó)家自然科學(xué)基金資助重點(diǎn)項(xiàng)目(61132008)。

張雄美(1983-),女,講師、博士,主研方向:SAR圖像處理;易昭湘、蔡幸福,講師、博士;宋建社,教授、博士生導(dǎo)師。

2013-11-29

2014-02-23 E-mail:zxw.of@163.com

中文引用格式:張雄美,易昭湘,蔡幸福,等.基于改進(jìn)SIFT的SAR圖像配準(zhǔn)方法[J].計(jì)算機(jī)工程,2015,41(1):223-226.

英文引用格式:Zhang Xiongmei,Yi Zhaoxiang,Cai Xingfu,et al.SAR Image Registration Method Based on Improved SIFT[J].Computer Engineering,2015,41(1):223-226.