基于SIFT算子的多時(shí)相遙感影像高精度配準(zhǔn)算法

韓軼龍，鞏丹超，魏彥銘，周增華

1. 信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州，450052；2. 西安測(cè)繪研究所，陜西 西安，710054；3.地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710054

?

基于SIFT算子的多時(shí)相遙感影像高精度配準(zhǔn)算法

韓軼龍1，鞏丹超2,3，魏彥銘1，周增華1

1. 信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州，450052；2. 西安測(cè)繪研究所，陜西 西安，710054；3.地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710054

影像配準(zhǔn)是影像處理的必要步驟，多時(shí)相遙感影像之間的配準(zhǔn)則是變化檢測(cè)等應(yīng)用領(lǐng)域的關(guān)鍵技術(shù)。多時(shí)相遙感影像是由傳感器在不同時(shí)間獲得的，盡管都是關(guān)于同一區(qū)域地物的信息，但是由于獲取時(shí)相不同，其入射角、空間分辨率、電磁波段等往往具有差異，使得影像配準(zhǔn)成為難點(diǎn)。本文首先利用SIFT算子進(jìn)行特征點(diǎn)的提取和匹配，其次構(gòu)建不規(guī)則三角網(wǎng)將影像分為小三角形按照基于小面元的方法實(shí)現(xiàn)了多時(shí)相影像之間的高精度配準(zhǔn)。實(shí)驗(yàn)表明，相對(duì)于傳統(tǒng)基于特征的配準(zhǔn)方法，該算法能夠針對(duì)存在旋轉(zhuǎn)縮放平移的多時(shí)相遙感影像，實(shí)現(xiàn)可靠的高精度配準(zhǔn)。

多時(shí)相；影像配準(zhǔn)；SIFT；Delaunay；TIN

1　引　言

影像配準(zhǔn)就是將多幅影像納入統(tǒng)一坐標(biāo)系下，其廣泛應(yīng)用于計(jì)算機(jī)視覺、模式識(shí)別、影像理解等多個(gè)領(lǐng)域。隨著信息技術(shù)的發(fā)展，影像配準(zhǔn)技術(shù)已成為測(cè)繪學(xué)科學(xué)者研究的熱門課題。影像配準(zhǔn)研究的關(guān)鍵問題是配準(zhǔn)的精度和可靠性，在兼顧配準(zhǔn)精度的情況下，實(shí)現(xiàn)高可靠性影像的精確配準(zhǔn)是配準(zhǔn)技術(shù)研究的重點(diǎn)內(nèi)容。本文在傳統(tǒng)特征點(diǎn)匹配方法的基礎(chǔ)上引入SIFT算子，結(jié)合小面元微分糾正的原理，設(shè)計(jì)了基于SIFT的多時(shí)相遙感影像高精度配準(zhǔn)算法，并進(jìn)行了多時(shí)相遙感影像的配準(zhǔn)實(shí)驗(yàn)。

2　傳統(tǒng)基于特征點(diǎn)的多項(xiàng)式配準(zhǔn)方法

當(dāng)前的配準(zhǔn)技術(shù)主要分為兩類：基于灰度信息的配準(zhǔn)和基于特征信息的配準(zhǔn)?；诨叶刃畔⒌姆椒ㄓ谢バ畔ⅰ⑾嚓P(guān)系數(shù)等，這些方法依賴影像灰度信息，對(duì)噪聲敏感?；谔卣鞯挠跋衽錅?zhǔn)方法首先在待配準(zhǔn)的影像中分別選取一些顯著特征，如邊緣、角點(diǎn)等，然后確定這些特征的對(duì)應(yīng)關(guān)系，因其計(jì)算速度快和精度高等優(yōu)點(diǎn)，成為近年來研究較多的方法。特別是基于特征點(diǎn)的影像配準(zhǔn)方法，是研究的熱點(diǎn)問題。

特征點(diǎn)是基于特征的影像配準(zhǔn)中最常用的特征信息，很多文獻(xiàn)中又稱它為興趣點(diǎn)或者關(guān)鍵點(diǎn)等。基于特征點(diǎn)的影像配準(zhǔn)有很多優(yōu)點(diǎn)，主要體現(xiàn)在以下方面：

(1)特征點(diǎn)的匹配度量值對(duì)位置變換不敏感，可以提高匹配的精度；

(2)特征點(diǎn)的提取可以減少噪聲的影響，對(duì)灰度變換、影像變形以及遮擋都有較好的適應(yīng)能力。

基于特征點(diǎn)的多項(xiàng)式配準(zhǔn)算法的主要步驟為：特征提取、特征匹配、模型參數(shù)估計(jì)、影像變換與插值。主要流程如圖1所示。

圖1　基于特征點(diǎn)的多項(xiàng)式配準(zhǔn)算法流程

3　基于SIFT算子的小面元配準(zhǔn)方法

3.1基本思想

SIFT(Scale-invariant Feature Transform)最初提出是作為一種關(guān)鍵點(diǎn)的特征，其對(duì)影像的尺度變化和旋轉(zhuǎn)是不變的，而且對(duì)光照的變化和影像變形具有較強(qiáng)的適應(yīng)性。對(duì)于多時(shí)相遙感影像，其成像條件及場(chǎng)景較復(fù)雜，Mikolajczyk等針對(duì)多種場(chǎng)景，利用10種代表性的算子進(jìn)行了實(shí)驗(yàn)和性能比較，結(jié)果表明SIFT算子的性能最好。SIFT提取特征的主要優(yōu)點(diǎn)是：

(1)在多尺度空間中采用DOG(Difference-of-Gaussian)算子檢測(cè)關(guān)鍵點(diǎn)，相比傳統(tǒng)的基于LOG(Laplacian of Gaussian)算子的檢測(cè)方法，運(yùn)算速度大大加快；

(2)關(guān)鍵點(diǎn)的精確定位提高了精度，也提高了特征點(diǎn)的穩(wěn)定性和可靠性；

(3)在構(gòu)造描述時(shí)，以區(qū)域作為統(tǒng)計(jì)特性，而不是以單個(gè)像素點(diǎn)作為研究對(duì)象，提高了對(duì)影像局部變形的適應(yīng)能力；

(4)對(duì)于16×16(單位：像素)的關(guān)鍵點(diǎn)鄰域和4×4(單位：像素)的子區(qū)域，在處理梯度幅度時(shí)都進(jìn)行了類似于高斯函數(shù)的加權(quán)處理，強(qiáng)化了中心區(qū)域，淡化了邊緣區(qū)域的影響，從而提高了算法對(duì)幾何變形的適應(yīng)性。

基于SIFT的多時(shí)相遙感影像高精度配準(zhǔn)方法的主要思想是：在參考影像和目標(biāo)影像上采用SIFT算子提取特征點(diǎn)作為配準(zhǔn)控制點(diǎn)(RCP，Registration Control Point)，通過匹配獲得同名點(diǎn)對(duì)，然后由這些同名點(diǎn)對(duì)構(gòu)成不規(guī)則三角網(wǎng)(TIN，Triangulated Irregular Network)，再以小三角形面元為單位進(jìn)行糾正得到精確配準(zhǔn)的影像。

3.2算法流程

(1)SIFT特征提取

特征點(diǎn)提取是影像配準(zhǔn)至關(guān)重要的一步，是搜索影像中突出或具有明顯特性一系列點(diǎn)的過程。SIFT特征提取的主要步驟為：

圖2　基于SIFT算子的多時(shí)相遙感影像高精度配準(zhǔn)流程圖

1)構(gòu)建DOG影像金字塔。將影像通過一組不同尺度的高斯核函數(shù)濾波，生成一系列的高斯尺度空間的影像，然后兩相鄰尺度的高斯影像相減，即得到高斯差分影像金字塔。

2)尋找極值點(diǎn)。在DOG空間中，將每個(gè)像元的高斯差分值與同一尺度的8個(gè)相鄰點(diǎn)以及上下相鄰尺度對(duì)應(yīng)的3×3(單位：像素)區(qū)域的共26個(gè)點(diǎn)的高斯差分值比較，若為極值并且絕對(duì)值大于預(yù)定閾值，則該像元所在位置即為候選特征點(diǎn)的坐標(biāo)和相應(yīng)的尺度。

3)確定特征點(diǎn)。通過曲面擬合方法精確確定候選點(diǎn)的位置、尺度，并剔除對(duì)比度低的點(diǎn)和邊緣響應(yīng)點(diǎn)。

4)計(jì)算特征點(diǎn)主方向。在以特征點(diǎn)為中心、一定高寬范圍的區(qū)域內(nèi)采樣，計(jì)算該區(qū)域內(nèi)所有像元的梯度方向和梯度值，用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，以直方圖峰值所代表的方向作為該特征點(diǎn)的主方向。

5)計(jì)算特征描述符。分別統(tǒng)計(jì)8個(gè)方向梯度值總和，并采取歸一化處理，得到的結(jié)果即構(gòu)成特征描述符。

(2)SIFT特征匹配

SIFT特征匹配的主要步驟為：

1)計(jì)算不同特征點(diǎn)描述符的歐氏距離。對(duì)兩張待匹配影像上的不同特征點(diǎn)，計(jì)算其描述符的差平方和測(cè)度(即歐氏距離測(cè)度)，作為匹配的相似性測(cè)度，以歐氏距離最小的點(diǎn)對(duì)作為候選匹配點(diǎn)對(duì)。

2)確定匹配點(diǎn)對(duì)。本文采用BBF(Best Bin First)搜索算法，對(duì)每個(gè)待匹配特征點(diǎn)，通過搜索算法得到與其描述符的歐氏距離最鄰近(NN)和次鄰近(SCN)的兩個(gè)特征點(diǎn)，將最近鄰和次近鄰的歐氏距離之比(NN/SCN)與閾值比較，若比值小于閾值，則認(rèn)為該最近鄰為正確匹配。閾值越小，獲得的匹配點(diǎn)對(duì)越少，正確率越高；反之匹配點(diǎn)對(duì)越多，正確率越低。本文實(shí)驗(yàn)中閾值取0.7。

3)RANSAC算法剔除誤匹配點(diǎn)對(duì)

SIFT算子提取的特征點(diǎn)可達(dá)到亞像素級(jí)精度，誤差通常較小，但是構(gòu)建不規(guī)則三角網(wǎng)和解算變換參數(shù)的前提是沒有誤匹配點(diǎn)，因此需將誤匹配點(diǎn)剔除。本文采用在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用廣泛的RANSAC(RANdom SAmple Consensus)算法。

(3)構(gòu)建不規(guī)則三角網(wǎng)

不規(guī)則三角網(wǎng)(triangulated irregular network，TIN)在地形圖的制作中被廣泛使用。繪制等高線時(shí)，先用測(cè)量點(diǎn)構(gòu)造TIN，然后再根據(jù)TIN內(nèi)插等高線。在地形變化較大、特征點(diǎn)多的區(qū)域，三角網(wǎng)密集，能很好地反映地形變化；而在開闊、平坦的區(qū)域，特征點(diǎn)少，三角網(wǎng)稀疏，不會(huì)造成大量的冗余數(shù)據(jù)，也不會(huì)無謂地增加計(jì)算量。將其引入影像配準(zhǔn)時(shí)，同樣具有這些優(yōu)點(diǎn)。Delaunay三角剖分常被用于TIN的生成，本文采用的是Bowyer-Watson算法，執(zhí)行結(jié)果如圖3所示。

圖3　Delaunay三角剖分的Bowyer-Watson算法構(gòu)建TIN結(jié)果

(4)目標(biāo)影像小面元糾正

1)逐三角形確定仿射變換參數(shù)。TIN將影像分成很多小的三角形面元，以各個(gè)三角形為單位，可對(duì)三角形內(nèi)各個(gè)像素點(diǎn)進(jìn)行幾何校正，從而實(shí)現(xiàn)對(duì)兩幅影像的配準(zhǔn)。

圖4　同名小三角形面元仿射關(guān)系示意圖

下面以影像中任一小三角形面元T為例說明影像幾何校正的原理。如圖4目標(biāo)影像中小三角形面元T的三個(gè)頂點(diǎn)分別為a、b、c，它們?cè)趨⒖加跋裰袑?duì)應(yīng)的點(diǎn)為A、B、C，它們的坐標(biāo)分別為(xa,ya)、(xb,yb)、(xc,yc)、(xA,yA)、(xB,yB)、(xC,yC)，由仿射變換

其中，a0、a1、a2、b0、b1、b2是仿射變換參數(shù)。將(xa,ya)、(xb,yb)、(xc,yc)、(xA,yA)、(xB,yB)、(xC,yC)代入方程可以得到仿射變換參數(shù)。

2)雙線性插值。因?yàn)樾∪切蚊嬖?jīng)過仿射變換后不能保證像素之間的對(duì)應(yīng)關(guān)系，需采用插值方法以盡可能地保證影像素的連續(xù)性。本文采用較為常見的四像素雙線性插值。

3)掃描線法遍歷小三角形面元。已知變換參數(shù)和插值方法之后，即可得到配準(zhǔn)影像，但如果采用逐像素遍歷小三角形面元內(nèi)的像素的方法效率太低。本文采用優(yōu)化的掃描線法遍歷小三角形面元，首先對(duì)小三角形面元形狀進(jìn)行分類，然后對(duì)小三角形面元頂點(diǎn)進(jìn)行排序，如圖5所示。

圖5　小三角形面元分類示意圖

現(xiàn)以平頂三角形為例介紹掃描線法三角形頂點(diǎn)排序規(guī)則：縱坐標(biāo)越大，排序越靠前；如果縱坐標(biāo)相等，則橫坐標(biāo)越小，排序越靠前。排序后的小三角形面元頂點(diǎn)為(v1,v2,v3)，坐標(biāo)分別為(x1,y1),(x2,y2),(x3,y3)。從三角形底部開始沿橫向的線段向上掃描。掃描的縱向范圍從(int)y3開始，到(int)y1結(jié)束。問題轉(zhuǎn)換為當(dāng)掃描線縱坐標(biāo)在(y3,y11)區(qū)間時(shí)，掃描線段的起點(diǎn)和終點(diǎn)確定問題。同理，平底三角形可以用同樣的方法進(jìn)行掃描，一般三角形可依圖示轉(zhuǎn)化為平頂和平底三角形，從而確定每個(gè)小三角形面元內(nèi)的像元。

4　實(shí)驗(yàn)數(shù)據(jù)及結(jié)果分析

4.1多時(shí)相實(shí)驗(yàn)數(shù)據(jù)

本文采用參考影像為2011年7月7日北京某地區(qū)影像(大小為1916像素×897像素)，目標(biāo)影像為同地區(qū)2013年5月30日不同分辨率影像(大小均為1916像素×897像素)(如圖6a、b、c)。兩期影像亮度存在差異，可認(rèn)為影像獲取時(shí)光照條件不同。三幅影像中地貌特征豐富，地物類別較為全面，可較為充分地反映配準(zhǔn)結(jié)果。

圖6　實(shí)驗(yàn)數(shù)據(jù)

4.2實(shí)驗(yàn)結(jié)果及分析

本文利用SIFT算子進(jìn)行特征點(diǎn)提取和匹配的實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)見表 1，由表中數(shù)據(jù)可以看出，不同光照條件下，SIFT針對(duì)旋轉(zhuǎn)和縮放兩種實(shí)驗(yàn)條件均有較高的匹配成功率。

表1兩組實(shí)驗(yàn)條件下SIFT算子性能比較

實(shí)驗(yàn)參考影像特征點(diǎn)數(shù)目目標(biāo)影像特征點(diǎn)數(shù)目粗匹配點(diǎn)對(duì)RANSAC剔除誤匹配點(diǎn)后成功率(%)旋轉(zhuǎn)1149984031617156896.97%縮放11499166841139796.59%

4.2.1實(shí)驗(yàn)一，角度差異較大的多時(shí)相影像配準(zhǔn)

為了產(chǎn)生角度差異較大的影像，我們對(duì)目標(biāo)影像(2013年5月30日影像1)順時(shí)針旋轉(zhuǎn)45°，如圖7所示。對(duì)實(shí)驗(yàn)影像分別進(jìn)行基于SIFT的多項(xiàng)式配準(zhǔn)和基于SIFT的小面元配準(zhǔn)，并將配準(zhǔn)影像與參考影像疊加，以棋盤模式顯示進(jìn)行比較。

圖7　旋轉(zhuǎn)后的目標(biāo)影像

a基于SIFT的多項(xiàng)式配準(zhǔn)(局部) b基于TIN的小面元配準(zhǔn)(局部)圖8　存在旋轉(zhuǎn)情況的配準(zhǔn)結(jié)果(局部)

圖8a中山間小路等位置有明顯的錯(cuò)位，說明配準(zhǔn)的結(jié)果不準(zhǔn)確；圖8b中對(duì)應(yīng)位置處則無明顯錯(cuò)位，說明配準(zhǔn)影像與參考影像吻合得很好。因此，對(duì)于影像中有山區(qū)等地形起伏變化較大的區(qū)域，利用多項(xiàng)式配準(zhǔn)方法的精度不夠；采用本文的方法選取12個(gè)分布均勻的同名點(diǎn)作為檢查點(diǎn)，得其中誤差在0.3個(gè)像素以內(nèi)。

4.2.2實(shí)驗(yàn)二，比例尺差異較大的多時(shí)相影像配準(zhǔn)

取2013年5月30日影像2為目標(biāo)影像，再次分別進(jìn)行基于SIFT的多項(xiàng)式配準(zhǔn)和基于SIFT的小面元配準(zhǔn)，并將配準(zhǔn)影像與參考影像疊加，以棋盤模式顯示進(jìn)行比較。

a基于SIFT的多項(xiàng)式配準(zhǔn)(局部) b基于TIN的小面元配準(zhǔn)(局部)圖9　存在縮放情況的配準(zhǔn)結(jié)果(局部)

圖9a右上角房屋等位置有明顯的錯(cuò)位，說明配準(zhǔn)的結(jié)果不準(zhǔn)確；圖9b對(duì)應(yīng)位置處則無明顯錯(cuò)位，說明配準(zhǔn)影像與參考影像吻合得很好。因此，針對(duì)城區(qū)遙感影像，利用多項(xiàng)式進(jìn)行的配準(zhǔn)方法精度不高；采用本文方法，選取12個(gè)分布均勻的同名點(diǎn)作為檢查點(diǎn)，得其中誤差在0.3個(gè)像素以內(nèi)，說明本文方法有較強(qiáng)適應(yīng)性。

表2部分檢查點(diǎn)精度統(tǒng)計(jì)

檢查點(diǎn)號(hào)實(shí)驗(yàn)一實(shí)驗(yàn)二X方向誤差(像素)Y方向誤差(像素)RMS(像素)X方向誤差(像素)Y方向誤差(像素)RMS(像素)10.26350.13450.2958420190.1644-0.23990.2908253262-0.2170.20580.2990696240.1947-0.2190.2930342813-0.26630.11390.289635806-0.15020.20380.25316887640.1954-0.21580.291119907-0.21850.17190.278014136

5　小　結(jié)

本文針對(duì)多時(shí)相遙感影像配準(zhǔn)提出了一種基于SIFT算子的小面元影像配準(zhǔn)方法，并利用多時(shí)相航空遙感影像數(shù)據(jù)對(duì)本文方法與基于SIFT的多項(xiàng)式配準(zhǔn)方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法的配準(zhǔn)精度高，對(duì)噪聲和幾何畸變不敏感，具有較好的可靠性，獲得了令人滿意的結(jié)果，表明本文方法在多時(shí)相遙感影像配準(zhǔn)中具有一定的應(yīng)用價(jià)值。

[1]Lowe D G. Distinctive Image Features from Scale Invariant Keypoints [J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[2] 張永生，鞏丹超，劉軍. 高分辨率遙感衛(wèi)星應(yīng)用：成像模型、處理算法及應(yīng)用技術(shù)[M]. 北京：科學(xué)出版社，2004.

[3] 柯濤, 張永軍. SIFT 特征算子在低空遙感影像全自動(dòng)匹配中的應(yīng)用[J]. 測(cè)繪科學(xué)，2009, 34(4): 23-26.

[4] 周培德.計(jì)算幾何——算法分析與設(shè)計(jì)[M]．北京：清華大學(xué)出版社，2000.

[5] Chrisochoides N P, Sukup F. Task parallel implementation of the Bowyer-Watson algorithm[M]. Cornell Theory Center, Cornell University, 1996.

[6] 呂金建. 基于特征的多源遙感圖像配準(zhǔn)技術(shù)研究[D].長(zhǎng)沙: 國防科技大學(xué)，2008.

[7] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors [J]. Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[8] 李志林，朱慶. 數(shù)字高程模型[M]. 武漢: 武漢大學(xué)出版社，2003.

[9] 張祖勛，張劍清. 數(shù)字?jǐn)z影測(cè)量學(xué)[M]．武漢：武漢大學(xué)出版社，2012.

[10]李曉明, 鄭鏈, 胡占義. 基于 SIFT 特征的遙感影像自動(dòng)配準(zhǔn)[J]. 遙感學(xué)報(bào), 2007, 10(6): 885-892.

High Precision Registration Algorithm of Multi-temporal Remote Sensing Images Based on SIFT Operator

Han Yilong1, Gong Danchao2, 3, Wei Yanming1, Zhou Zenghua1

1. Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2.Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3.State Key Laboratory of Geo-information Engineering, Xi’an 710054, China

Image registration is a necessary step in image processing, and the registration of multi-temporal remote sensing images is a key technology in change detection and other application fields. Since remote sensing images are acquired at different time, the angle of incidence, spatial resolution and wavebands are always different even if the images come from the same area, which make image registration a difficult problem. In this paper, feature points are extracted and matched firstly with SIFT operator at first. Secondly the image is divided into several small-angle triangles through constructing the Triangulated Irregular Network (TIN) with refined matching points. The experiment results show that compared with the classical registration based on key feature points, the algorithm can solve the problem of translation, rotation, equal scaling of multi-temporal remote sensing image and realize precise registration.

multi-temporal；image registration；SIFT；Delaunay；TIN

2015-07-22。

韓軼龍(1988—)，男，碩士研究生，主要從事攝影測(cè)量與遙感研究。

P231

A