基于SIFT算法的異源遙感影像自動匹配研究

張建花，白仲斐，惠廣裕

（中國飛行試驗(yàn)研究院 測試所，陜西 西安 710089）

光學(xué)衛(wèi)星遙感成像的理論限制，難以突破云雨障礙。即使是未來研制的近地空間靜止遙感成像平臺、發(fā)射更多的遙感衛(wèi)星，光學(xué)遙感也難以突破云雨氣象條件限制。面對巨型災(zāi)害，如何提高航天航空遙感影像獲取的應(yīng)急保障能力是一個亟待解決的問題。在瀏覽眾多云覆蓋衛(wèi)星影像時，在大多情況下可以發(fā)現(xiàn)每一景影像總是存在或多或少的無云覆蓋區(qū)域，如果將不同傳感器、不同分辨率、不同時相、不同波段的遙感影像中無云覆蓋區(qū)域自動提取出來，然后對其進(jìn)行配準(zhǔn)并綜合生成大范圍的無云或少云覆蓋遙感影像，這就在一定程度上解決云覆蓋條件下衛(wèi)星遙感影像獲取的問題，這將是提高遙感影像應(yīng)急保障能力的有效途徑之一。

圖像配準(zhǔn)技術(shù)經(jīng)過多年的研究，已經(jīng)取得了很多研究成果。大致可以分為2類：基于區(qū)域的配準(zhǔn)方法和基于特征的配準(zhǔn)方法?；趨^(qū)域的配準(zhǔn)方法利用了區(qū)域內(nèi)所有像素的灰度信息，對噪聲和光照的魯棒性較差；基于特征的圖像配準(zhǔn)方法首先提取圖像的不變特征（點(diǎn)、線、面），然后對這些不變特征進(jìn)行匹配進(jìn)而完成圖像之間的配準(zhǔn)。然而，對于異源遙感影像來說，由于遙感影像數(shù)據(jù)量較大、影像配準(zhǔn)的輸入數(shù)據(jù)來源的多樣性、成像條件和場景的復(fù)雜性，傳統(tǒng)的圖像配準(zhǔn)技術(shù)仍然難以可靠地解決圖像特征的對應(yīng)問題，多源影像自動配準(zhǔn)問題，在遙感領(lǐng)域才剛剛開始。近幾年來，在計(jì)算機(jī)視覺領(lǐng)域，基于不變量特征描述子的方法在目標(biāo)識別和圖像匹配方面取得了顯著的進(jìn)展，Mikolajczyk[1]和Schmid針對不同的場景，對具有光照變化、圖像幾何變形、分辨率差異、旋轉(zhuǎn)、模糊和圖像壓縮等6種情況，就多種最具代表性的描述子（如 SIFT、矩不變量、互相關(guān)等10種描述子）進(jìn)行了實(shí)驗(yàn)和性能比較，結(jié)果表明SIFT描述子的性能最好。

目前，國內(nèi)研究將SIFT方法用于遙感圖像配準(zhǔn)的研究很少。本文將SIFT方法引進(jìn)到具有光譜特征、空間特征、紋理特征差異的異源遙感影像自動配準(zhǔn)技術(shù)中，并對SIFT的匹配策略進(jìn)行優(yōu)化，提高其可匹配性。

1 SIFT特征及匹配具體算法

SIFT[2]（Scale Invariance Feature Transform）匹配算法是一種較優(yōu)秀的匹配算法，正好滿足對異源遙感影像進(jìn)行配準(zhǔn)的要求。主要步驟如下：

1.1 特征點(diǎn)檢測

利用不同尺度（σ）的高斯核函數(shù)對原始圖像做卷積運(yùn)算，進(jìn)行尺度變換。并以不同的采樣間隔采樣，建立尺度空間[3]的高斯金字塔圖像，再將相鄰尺度的高斯圖像相減得到DOG金子塔多尺度空間圖像。對DOG尺度空間內(nèi)每個點(diǎn)與相鄰尺度和相鄰位置的點(diǎn)逐個進(jìn)行比較，得到的局部極值（極大值和極小值）位置即為關(guān)鍵點(diǎn)所處的位置和對應(yīng)的尺度。然后去掉低對比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)得到的穩(wěn)定的特征點(diǎn)。

1.2 SIFT特征特征向量生成

在特征點(diǎn)周圍所在的一個區(qū)域內(nèi)，依據(jù)樣本點(diǎn)的梯度方向生成一個方向直方圖，將方向直方圖中的峰值作為該特征點(diǎn)的主方向。后續(xù)的特征點(diǎn)構(gòu)造均以該方向?yàn)閰⒄?,這樣所構(gòu)造的描述符具有旋轉(zhuǎn)不變性。

SIFT特征描述符的構(gòu)造：對任意一個關(guān)鍵點(diǎn) ,在其所在的尺度空間 (即高斯金字塔結(jié)構(gòu)的某一層),取以關(guān)鍵點(diǎn)為中心的16×16像素大小的鄰域,再將此鄰域均勻地分為4×4個子塊，在每個子塊上計(jì)算 0，45，90，135，180，225，270，315 度這8個方向的梯度大小和梯度方向直方圖。然后對每個子塊的8個方向梯度直方圖根據(jù)位置依次排序 ,這樣就構(gòu)成了一個4×4×8=128維的向量,該向量就是 SIFT特征描述符。其中，第1維對應(yīng)于第一子塊的第一個梯度方向，第2維對應(yīng)于第一子塊的第2個梯度方向，第9維對應(yīng)于第二個子塊的第一個梯度方向，依次類推。

1.3 SIFT特征特征向量匹配

采用特征向量的歐式距離來作為兩幅圖像中關(guān)鍵點(diǎn)的相似性判定度量。取圖像1中的某個關(guān)鍵點(diǎn)，并找出其與圖像2中歐式距離最近的前兩個關(guān)鍵點(diǎn)，在這兩個關(guān)鍵點(diǎn)中，如果最近的距離與次近的距離比值少于某個閾值α，則接受這一對匹配點(diǎn)。通過相似性度量得到潛在匹配對，其中不可避免會 產(chǎn)生一些錯誤匹配，因此需要根據(jù)幾何限制和其他附加約消除錯誤匹配，提高魯棒性。我們采用RANSAC算子消除錯匹配特征點(diǎn)。RANSAC算法的基本思想是：在進(jìn)行參數(shù)估計(jì)時，不是不加區(qū)分地對待所有可用的輸入數(shù)據(jù)，而是迭代地在輸入數(shù)據(jù)中采樣所謂的最小點(diǎn)集，每次采樣所得到的最小點(diǎn)集估計(jì)出所要確定的模型參數(shù)，同時根據(jù)一定的判斷準(zhǔn)則來判別輸入數(shù)據(jù)中哪些是與該參數(shù)相一致的，即內(nèi)點(diǎn)，哪些是不一致的，即外點(diǎn)。如此迭代一定次數(shù)后，將對應(yīng)輸入數(shù)據(jù)中內(nèi)點(diǎn)比例最高的所估計(jì)參數(shù)值以及所篩選出來的內(nèi)點(diǎn)作為RANSAC最后解。

2 異源遙感圖像實(shí)驗(yàn)

1）相同傳感器圖像配準(zhǔn) 圖1所示，左圖像為航空影像，右圖是將其旋轉(zhuǎn)60°。其中左影像檢測到1 947個SIFT特征點(diǎn)，右影像檢測到1 109個SIFT特征點(diǎn)。圖中連線表示SIFT算法的匹配點(diǎn)對，一共236對匹配點(diǎn)。經(jīng)過人工篩選匹配點(diǎn)對坐標(biāo)文件，得到正確的匹配點(diǎn)為195對。得到其正確匹配率為83%。采用RANSAC估計(jì)算法得到226對匹配點(diǎn)，去除了10對外點(diǎn)。

圖1 相同傳感器遙感圖像配準(zhǔn)Fig.1 Registration of the same source remote sensing images

2）相同傳感器，不用波段的遙感圖像配準(zhǔn) 如圖2所示。左圖像為TM傳感器的第2波段，右圖像為第6波段圖像。由于不同波段的地物波譜反射特性不同，在圖像上表現(xiàn)為相同地物在不同波段的圖像上亮度值差異較大。采用SIFT方法，在左圖中，檢測到2 238個SIFT特征點(diǎn)，在右圖中，檢測到2 872個SIFT特征點(diǎn)。圖中連線表示SIFT算法的匹配點(diǎn)對，一共145對匹配點(diǎn)。經(jīng)過人工篩選匹配點(diǎn)對坐標(biāo)文件，得到正確的匹配點(diǎn)為111對，得到其正確匹配率為77%。采用RANSAC估計(jì)算法得到141對匹配點(diǎn)，去除了4對外點(diǎn)。

圖2 不同波段遙感圖像配準(zhǔn)Fig.2 Registration of the multi-band remote sensing images

3）不同傳感器的圖像配準(zhǔn) 如圖3所示，左圖是SPOT衛(wèi)星全色分辨率為10 m的影像，右圖是TM 30 m分辨率的影像。兩者分辨率、成像角度不同，照度也有所變化。在左影像中檢測到了7 979個SIFT特征點(diǎn)，在右影像中檢測到3 666個SIFT特征點(diǎn)。其中共有34對匹配點(diǎn)對，如圖中連線所示。經(jīng)過人工篩選匹配點(diǎn)對坐標(biāo)文件，得到正確的匹配點(diǎn)為18對匹配點(diǎn)對，正確匹配率為53%。采用RANSAC估計(jì)算法得到25對匹配點(diǎn)，去除了9對外點(diǎn)。

圖3 不同傳感器遙感圖像配準(zhǔn)Fig.3 Registration of the multi-source remote sensing images

3 改進(jìn)的SIFT圖像配準(zhǔn)算法

通過以上3組實(shí)驗(yàn)，表明SIFT算法對不同傳感器，不同分辨率，不同波段，不同時相的遙感圖像配準(zhǔn)時均檢測出了大量的可匹配的特征點(diǎn)對。所以采用SIFT算法對異源遙感圖像配準(zhǔn)是可行的。同時采用RANSAC估計(jì)方法剔除錯誤匹配。但是，計(jì)算SIFT特征向量時，同一個點(diǎn)可能有多個方向，因此屬于不同的特征點(diǎn)，他們中間的全部或者部分可能產(chǎn)生正確的匹配點(diǎn)對，但是實(shí)際上是同一點(diǎn)。因此，RANSAC算法并沒有去除這些重復(fù)匹配點(diǎn)對。為了更好地應(yīng)用于實(shí)際，對原SIFT向量的匹配方法進(jìn)行分析并改進(jìn)，提出雙向匹配算法[8]。

3.1 原SIFT特征點(diǎn)匹配約束條件分析

設(shè)P和Q分別為兩幅圖像的特征點(diǎn)集，則對任一pi∈P，qj∈Q，對于相似性測度[9]S來說，如果滿足：

則表明qj是Q中與pi最相似的特征點(diǎn)。然而，如果：

則pi不是P中與qj最相似的特征點(diǎn)，此時不應(yīng)把 pi與qj作為對應(yīng)的匹配點(diǎn)對。所以，對于魯棒的特征點(diǎn)匹配算法應(yīng)該滿足如下的條件：

若式（3）成立，則 pi與 qj作為對應(yīng)的匹配點(diǎn)對。反之亦然。

在D.G.Lowe的SIFT特征點(diǎn)初始匹配算法中，對于P中的任一特征點(diǎn)pi，在Q中與pi的特征向量的歐式距離最小的兩個特征點(diǎn)為 qj和 qj′,則對應(yīng)的歐氏距離分別為 dij和 dij′，且dij≤dij′。 如果 dij＜dij′·α，則認(rèn)為 pi與 qj為對應(yīng)的匹配點(diǎn)對，其中α是一個預(yù)先設(shè)定的閾值。利用這樣的規(guī)則，可以得到兩個特征點(diǎn)集之間的初始匹配。

如果按照D.G.Lowe的特征點(diǎn)原匹配算法，就會把一些錯誤的匹配點(diǎn)對當(dāng)作正確的匹配點(diǎn)對。這樣導(dǎo)致在初始匹配階段存在較多的錯誤匹配，而在剔除外點(diǎn)時，由于這些錯誤匹配對RANSAC等算法的影響，不能把所有的錯誤的匹配剔除掉。所以，最終的匹配點(diǎn)對中仍存在較多的錯誤匹配。因此，我們對D.G.Lowe的特征點(diǎn)初始匹配算法進(jìn)行改進(jìn)，采用雙向匹配算法。

3.2 雙相匹配算法的原理

雙向匹配算法的基本思想是根據(jù)交集思想，由原SIFT方法中的第一次匹配的結(jié)果，得到第1個特征點(diǎn)集在第2個特征點(diǎn)集中的匹配點(diǎn)，反過來再次求第2個特征點(diǎn)集中已被匹配的關(guān)鍵點(diǎn)在第1個特征點(diǎn)集中的匹配點(diǎn)，即求已被匹配的關(guān)鍵點(diǎn)在第1個特征點(diǎn)集中的最鄰近與次鄰近的距離比率α，α小于某個閾值的匹配點(diǎn)才認(rèn)為是正確匹配。從而增強(qiáng)算法的約束條件來獲得更可靠的匹配點(diǎn)對。

則雙向匹配算法可表示為：

若滿足條件式（4），則認(rèn)為 pi與 qj是特征匹配點(diǎn)對。從上面定義的條件可以看出，雙向匹配算法的約束條件都比原SIFT算法的約束條件更強(qiáng)。隨著約束條件的增強(qiáng)，一方面，在初始匹配階段，更多的外點(diǎn)在初始匹配階段被檢測出來，得到的初始錯誤匹配點(diǎn)對數(shù)減少；另一方面，在剔除外點(diǎn)階段，這些錯誤匹配對 RANSAC等算法的影響減弱，導(dǎo)致最后的總的匹配點(diǎn)對數(shù)和正確的匹配點(diǎn)對數(shù)增加，從而提高了特征點(diǎn)匹配的性能。實(shí)驗(yàn)結(jié)果如表1所示。

表1 雙向匹配算法的實(shí)驗(yàn)結(jié)果Tab.1 The result of idirectional matching algorithm

實(shí)驗(yàn)圖像與上節(jié)相同。采用RANSAC估計(jì)算法算法作為參照，實(shí)驗(yàn)結(jié)果表明用雙向配算法在特征點(diǎn)匹配時刪除了更多的重復(fù)點(diǎn)對與錯誤匹配點(diǎn)對。驗(yàn)證了我們所采用的雙向匹配方法的優(yōu)越性。

4 圖像拼接結(jié)果

在Microsoft VC＋＋6.0平臺下，采用C＋＋語言編寫程序，對SIFT特征點(diǎn)檢測及特征向量匹配算法進(jìn)行了詳細(xì)的實(shí)驗(yàn)比較，并將配準(zhǔn)后的圖像進(jìn)行拼接操作，結(jié)果如圖4、5、6所示。

圖4 相同傳感器遙感圖像拼接結(jié)果Fig.4 Result of the same source remote sensing images

圖5 不同波段遙感圖像拼接結(jié)果Fig.5 Result of the multi-band remote sensing images

圖6 不同傳感器遙感圖像拼接結(jié)果Fig.6 Result of the multi-source remote sensing images

通過對不同傳感器、不同分辨率、不同波段、不同時相的異源遙感影像進(jìn)行實(shí)驗(yàn)。表明，SIFT算法簡單易行，效率較高，在圖像中可提取出大量的特征點(diǎn)，這些特征點(diǎn)對圖像的旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；由于原SIFT方法不能去除大量重復(fù)點(diǎn)對和錯匹配點(diǎn)對，在特征向量匹配環(huán)節(jié)引入的雙向匹配算法和RANSAC估計(jì)方法可消除大量冗余的重復(fù)點(diǎn)對，使SIFT具有較好的魯棒性和實(shí)用性，配準(zhǔn)結(jié)果更加準(zhǔn)確?；赟IFT算法擴(kuò)展性好，易于和其他類型特征向量聯(lián)合的特點(diǎn)，如果將紋理特征引入SIFT描述子的方法，應(yīng)該會取得更好的匹配效果，這是下一步的研究重點(diǎn)。

[1]Mikolajczyk K，Schmid C.A performance evaluation of local descriptors[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1621.

[2]Lindeberg T.Scale-space theory：a basic tool for analysising structure s at different scales[J].Journal Applied Statistics，1994，21（2）：223-261.

[3]Lowe D G.Object recognition from local scale-invariant features[J].International Conference on Computer Vision，1990，57（4）：134-154.

[4]Lowe D.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[5]Manjunath H L.A contour-based approach to multisensory image registration[J].IEEE Transactions on Image Processing，1995，4（3）：320-334.

[6]趙向陽，杜利民.一種全自動穩(wěn)健的圖像拼接融合算法[J].中國圖象圖形學(xué)報，2004，9（4）：417-422.

ZHAO Xiang-yang，DU Li-min.An automatic and robust image mosaic algorithm[J].Journal of Image and Graphics，2004，9（4）：417-422.

[7]劉小軍，楊杰，孫堅(jiān)偉，等.基于SIFT的圖像配準(zhǔn)方法[J].紅外與激光工程，2008，2（1）：25-29.

LIU Xiao-Jun，YANG Jie，SUN Jian-wei，et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008，2（1）：25-29.