基于Harris-SIFT 特征匹配的圖像自動(dòng)配準(zhǔn)算法研究

李玉峰，王竹筠

(沈陽航空航天大學(xué) 電子信息工程學(xué)院，遼寧 沈陽110136)

如今，圖像配準(zhǔn)成為在圖像處理過程中很重要的一個(gè)環(huán)節(jié)，它是在不同的傳感器、不同的時(shí)間段或者不同的視角下獲取幾幅圖像進(jìn)行匹配的一個(gè)過程。它的應(yīng)用領(lǐng)域非常廣泛，包括對(duì)醫(yī)學(xué)圖像、遙感圖像的分析，以及在圖像拼接、圖像融合、目標(biāo)識(shí)別，變化檢測等圖像處理過程中的應(yīng)用［1－2］。目前，基于變換域、灰度信息和特征的匹配方法是最常用的方法［3－4］。其中，基于圖像的特征是最為廣泛應(yīng)用的方法，它是尋找參考圖像和配準(zhǔn)圖像之間共有的相似之處，通過兩者在空間的位置關(guān)系來確定圖像配準(zhǔn)中的參數(shù)。首先對(duì)參考圖像提取如拐角、點(diǎn)、線、邊緣等具有不變特性的特征，然后在待配準(zhǔn)圖像中提取相似的特征來進(jìn)行匹配?；谔卣髌ヅ浞椒ㄋ俣瓤?、精度高，在光照、變形、噪聲等影響下，還是擁有良好的魯棒性［5］。

基于特征的匹配方法是在兩幅圖像中尋找相同的特征，然后提取出來進(jìn)行匹配，但要求這些特征具有穩(wěn)定性。而基于特征點(diǎn)匹配的方法受到越來越廣泛的重視［6］。目前廣泛應(yīng)用的點(diǎn)特征提取方法有:Harris 算子［7］、SIFT 算子［8］、PCASIFT［9］、ICA－SIFT［10］、SURF［11］算子等。SIFT(Scale－Invariant Feature Transform)算子是一種在尺度空間尋找特征的匹配算法，由David G.Lowe 在2004 年總結(jié)完善，它在不同尺度、光照發(fā)生變化、目標(biāo)被遮擋及圖像發(fā)生平移旋轉(zhuǎn)時(shí)都仍具有較強(qiáng)的魯棒性，因此在廣泛應(yīng)用于圖像配準(zhǔn)和目標(biāo)識(shí)別等領(lǐng)域［8］。但由于SIFT 算法由于維數(shù)過大，提取特征點(diǎn)時(shí)間長，匹配存在錯(cuò)誤等問題的存在，因此本文針對(duì)基于圖像特征點(diǎn)匹配過程中，匹配精度不高、實(shí)時(shí)性不強(qiáng)的缺點(diǎn)，提出了通過結(jié)合Harris 和SIFT 算子對(duì)圖像特征點(diǎn)進(jìn)行提取與描述實(shí)現(xiàn)圖像的高速和高精度的匹配算法。

1 圖像特征點(diǎn)的提取與配準(zhǔn)

圖像配準(zhǔn)一般分為4 個(gè)步驟:特征提取;特征匹配;變換模型參數(shù)估算;坐標(biāo)變換與重采樣。

1.1 特征點(diǎn)的提取

1)Harris 算子

Harris 算子是一種提取圖像角點(diǎn)的算子它是在圖像中，沿各個(gè)方向移動(dòng)一個(gè)特定的小窗口，當(dāng)這個(gè)窗口內(nèi)的圖像灰度發(fā)生明顯變化時(shí)，那么就將窗口的中心像素點(diǎn)提取為角點(diǎn)。Harris 算子提取特征點(diǎn)的時(shí)間短、數(shù)量多，對(duì)于旋轉(zhuǎn)圖像，亮度、視角發(fā)生變化的圖像都仍保持很好的魯棒性［7］。

Harris 特征點(diǎn)檢測數(shù)學(xué)形式為

式中:E(u，v)表示在一個(gè)窗口中的平均偏移量函數(shù);［I(x+u，y+v)－I(x，y)］2為圖像灰度的梯度值;w(x，y)為加權(quán)函數(shù)。位移量(u，v)可用檢測公式表示為

2×2 對(duì)稱矩陣為

設(shè)λ1、λ2是矩陣M 的兩個(gè)特征值，其中det(M)=λ1λ2，trace(M)=λ1+λ2。根據(jù)文獻(xiàn)［7］所述，Harris 算子需要計(jì)算一個(gè)角點(diǎn)響應(yīng)值R 來判斷角點(diǎn)，R 計(jì)算如下

2)SIFT 算子特征描述

SIFT 是一種局部特征描述算子，在圖像發(fā)生旋轉(zhuǎn)、縮放以及尺度變化時(shí)都具有不變性，并且對(duì)目標(biāo)遮擋、仿射變換和投影變換也有一定的魯棒性。其基本思想是構(gòu)建一個(gè)尺度空間，然后在此空間內(nèi)尋找極值點(diǎn)，對(duì)極值點(diǎn)進(jìn)行插值，從而找出穩(wěn)定的特征點(diǎn)，為特征點(diǎn)建立一個(gè)描述符，通過描述符來對(duì)特征點(diǎn)進(jìn)行描述［8］。

SIFT 算法對(duì)每個(gè)特征點(diǎn)都賦予了一個(gè)規(guī)范方向，先確定它們所在的局部位置，然后給它們賦予一個(gè)主方向。每個(gè)待確認(rèn)的特征點(diǎn)可能會(huì)被賦予多個(gè)方向，但是最終只有一個(gè)主方向，當(dāng)以特征點(diǎn)為中心，特征向量轉(zhuǎn)為特征點(diǎn)主方向時(shí)，就具有了旋轉(zhuǎn)不變性。計(jì)算公式為

式(5)是方向模值，式(6)是方向角大小。以特征點(diǎn)為中心，使用直方圖統(tǒng)計(jì)其鄰域內(nèi)像素的梯度和方向。如圖1 所示，圖1b 為8 個(gè)主方向的梯度直方圖，特征點(diǎn)的主方向由直方圖的峰值來表示。此時(shí)已找到主方向的關(guān)鍵點(diǎn)就已經(jīng)具有大小、尺度、方向信息。

圖1 繪制梯度直方圖

接下來再對(duì)關(guān)鍵點(diǎn)進(jìn)行描述，用一組向量將這個(gè)關(guān)鍵點(diǎn)描述出來，關(guān)鍵點(diǎn)以及其周圍可以幫助描述關(guān)鍵點(diǎn)的像素點(diǎn)都是描述子，它會(huì)成為之后目標(biāo)匹配的依據(jù)。對(duì)關(guān)鍵點(diǎn)周圍的圖像分成幾個(gè)不同的區(qū)域，然后計(jì)算區(qū)域中每塊的梯度直方圖，從而生成在該區(qū)域中具有抽象性、唯一性的向量。Lowe實(shí)驗(yàn)結(jié)果表明，描述子采用以關(guān)鍵點(diǎn)為中心的鄰域內(nèi)4×4 的窗口，把360°分為8 個(gè)方向，通過繪制8 個(gè)方向的梯度直方圖形成一個(gè)種子點(diǎn)，4 個(gè)種子點(diǎn)的信息來描述一個(gè)特征點(diǎn)。因此，當(dāng)描述子采用128 維特征向量來描述特征點(diǎn)時(shí)，算法的整體效果可以達(dá)到最優(yōu)［8］。如圖2 所示。

圖2 特征描述子生成

1.2 特征向量匹配

特征匹配是通過特征描述算子及相似性度量來建立所提取的特征之間的對(duì)應(yīng)關(guān)系。具有128 維的關(guān)鍵點(diǎn)描述子的相似性度量采用最近鄰特征點(diǎn)距離與次近鄰特征點(diǎn)距離之比進(jìn)行匹配［12］。當(dāng)參考圖像中的每個(gè)關(guān)鍵點(diǎn)在配準(zhǔn)圖像中的最近距離與次近距離的比值在某一閾值內(nèi)時(shí)，則認(rèn)為是匹配點(diǎn)對(duì)［13］。

1.3 參數(shù)變換及重采樣

在圖像配準(zhǔn)中，通常采用仿射變換來作為空間變換模型［14］。當(dāng)在2 幅配準(zhǔn)圖像中確定了3 對(duì)以上的匹配點(diǎn)對(duì)之后，通過空間變換模型來求解參數(shù)，在確定了變換參數(shù)之后，需要對(duì)待配準(zhǔn)圖像進(jìn)行重采樣，以便把參考圖像和帶配準(zhǔn)圖像放在同一坐標(biāo)系［15］。

2 改進(jìn)后的圖像配準(zhǔn)算法

為實(shí)現(xiàn)圖像的高精確與高效的配準(zhǔn)，本文提出了一種基于Harris 檢測算子和SIFT 描述子相結(jié)合的算法提取特征點(diǎn)，再利用歐氏距離和仿射變換模型來實(shí)現(xiàn)圖像間的自動(dòng)配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，利用Harris 算子提取初始特征點(diǎn)可以節(jié)省SIFT 尋找極值點(diǎn)的時(shí)間，SIFT 算子也彌補(bǔ)了Harris 不具備的尺度不變性，兩者相結(jié)合也增強(qiáng)了圖像旋轉(zhuǎn)、平移和仿射變換的魯棒性，本算法不僅能實(shí)現(xiàn)圖像特征點(diǎn)高精度的配準(zhǔn)，還能減少提取特征點(diǎn)的時(shí)間，實(shí)現(xiàn)高效、高精度配準(zhǔn)。算法流程圖如圖3 所示。

圖3 改進(jìn)算法流程圖

首先，利用Harris 算法對(duì)圖像提取出很多感興趣的角點(diǎn)作為初始特征點(diǎn)，然后在提取出的初始角點(diǎn)基礎(chǔ)上，本文利用SIFT 算法對(duì)這些初始角點(diǎn)進(jìn)行特征描述從而得到新的特征點(diǎn)，經(jīng)過篩選后的特征點(diǎn)即為本文所需要的最終特征點(diǎn)，它們將用在后面的圖像特征點(diǎn)匹配中。在常用的SIFT 特征向量主方向的計(jì)算方法中，當(dāng)特征點(diǎn)非常多的時(shí)候?qū)?huì)做大量的運(yùn)算，工作效率較低。不同于SIFT 特征向量主方向的計(jì)算，本文特征向量的主方向選取為特征點(diǎn)在8 鄰域灰度變化最大的方向。在圖像中選取一個(gè)3×3 大小的模板，沿特征點(diǎn)的8鄰域方向平移，分別記錄每個(gè)方向下平移后模板內(nèi)部灰度值的總和，再與該特征點(diǎn)處3×3 鄰域內(nèi)灰度值總和進(jìn)行比較，找出差別最大時(shí)對(duì)應(yīng)的方向，同時(shí)沿著這個(gè)方向，對(duì)圖像進(jìn)行旋轉(zhuǎn)，使旋轉(zhuǎn)后該方向與x 軸平行。當(dāng)兩幅具有重疊部分時(shí)，若圖像進(jìn)行剛性旋轉(zhuǎn)，此方法均能保證旋轉(zhuǎn)后圖像保持一致，也就能保證特征向量的旋轉(zhuǎn)不變性。與SIFT 描述子的主方向相比，本方法運(yùn)算量大大減小，且同時(shí)能確保算法的準(zhǔn)確性。找到主方向后，對(duì)兩幅圖像的特征點(diǎn)求其關(guān)鍵點(diǎn)的描述符，即特征向量，這里選擇類似SIFT 描述符的生成方法。

圖4 是以特征點(diǎn)為中心，取17×17 像素大小的鄰域，在特征點(diǎn)的四個(gè)鄰域方向外，我們可以把這些區(qū)域劃分為16 個(gè)子區(qū)域，利用式(5)和式(6)計(jì)算每個(gè)區(qū)域的梯度方向直方圖，在各個(gè)區(qū)域內(nèi)描述出8 個(gè)方向，這樣用來描述特征點(diǎn)的128 維特征向量就生成了。

圖4 128 維特征向量

當(dāng)對(duì)兩幅圖像中的特征點(diǎn)進(jìn)行匹配時(shí)，本文采用歐氏距離。通過計(jì)算待配準(zhǔn)圖像每個(gè)特征點(diǎn)到參考圖像中的最近與次近的比值，當(dāng)小于設(shè)定的閾值時(shí)，則認(rèn)為這兩個(gè)點(diǎn)為匹配點(diǎn)［12］。

3 實(shí)驗(yàn)結(jié)果與分析

本文為檢測特征點(diǎn)的匹配精確度進(jìn)行了100 對(duì)圖像的匹配，下面選定四組圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)環(huán)境為Intel(R)2.6 GHz，內(nèi)存為4.0 Gbyte，操作系統(tǒng)為Windows7，仿真平臺(tái)為MATLAB R2008a。在Harris 算子提取角點(diǎn)的基礎(chǔ)上，再利用改進(jìn)的SIFT 算法對(duì)這些角點(diǎn)進(jìn)行特征向量的描述，減少了經(jīng)典SIFT 提取極值點(diǎn)的時(shí)間，最后求出滿足設(shè)定閾值的點(diǎn)為匹配點(diǎn)。(本實(shí)驗(yàn)中，歐氏距離的閾值取0.6，Harris 算法參數(shù)k=0.04。)

3.1 圖像配準(zhǔn)實(shí)驗(yàn)

1)實(shí)驗(yàn)一

為了驗(yàn)證本文算法的可實(shí)行性和準(zhǔn)確性，本文對(duì)圖5、圖6 兩組大小為256×256 的參考圖像進(jìn)行旋轉(zhuǎn)和平移，結(jié)果表明改進(jìn)后的算法對(duì)旋轉(zhuǎn)、平移均具有很好的魯棒性。

圖5 第一組實(shí)驗(yàn)圖片

圖6 第二組實(shí)驗(yàn)圖片

2)實(shí)驗(yàn)二

實(shí)驗(yàn)圖片選取為某海岸，圖7a 圖為參考圖像;圖7b 圖為待配準(zhǔn)的圖像;圖7c 圖為Harris 算子提取的初始特征點(diǎn)圖像;圖7d 圖是改進(jìn)的SIFT 算法對(duì)圖c 圖這些初始特征點(diǎn)進(jìn)行特征向量的描述，提取出新的特征點(diǎn);圖7e 為匹配圖像;圖7f 為根據(jù)仿射變換參數(shù)配準(zhǔn)后的圖像。

圖7 第三組實(shí)驗(yàn)圖片

圖8 為另一組測試圖片，實(shí)驗(yàn)圖片選取在某湖泊。圖8a、圖8b 為參考和待配準(zhǔn)的圖像;圖8c 圖為改進(jìn)算法匹配圖像，圖8d 圖為根據(jù)仿射變換參數(shù)配準(zhǔn)后的圖像。

3.2 數(shù)據(jù)分析

1)特征點(diǎn)匹配情況分析

根據(jù)上述幾例的結(jié)果圖，統(tǒng)計(jì)匹配點(diǎn)是否正確匹配的情況如表1 所示。

圖8 第四組實(shí)驗(yàn)圖片

表1 圖像匹配結(jié)果

由表1 可知，4 組圖像沒有誤匹配點(diǎn)對(duì)。為驗(yàn)證本算法匹配的精確度，本文在200 幅圖像的特征點(diǎn)匹配實(shí)驗(yàn)中，有5幅圖像出現(xiàn)了特征點(diǎn)誤匹配或沒有可匹配特征點(diǎn)的情況，匹配率可達(dá)95%。大量實(shí)驗(yàn)證明，本文改進(jìn)的算法具有高精確度的匹配性能。

2)算法時(shí)間效率的統(tǒng)計(jì)

為檢測本文改進(jìn)后的算法具有更好的實(shí)時(shí)性，本文對(duì)經(jīng)典的SIFT 算法和改進(jìn)的算法進(jìn)行了對(duì)比，表2 列出幾組數(shù)據(jù)供參考。

表2 本文算法與經(jīng)典算法對(duì)比時(shí)間 s

由于篇幅原因，本文只列出4 組圖像的數(shù)據(jù)，在對(duì)200 幅圖像進(jìn)行算法驗(yàn)證時(shí)，通過數(shù)據(jù)統(tǒng)計(jì)，經(jīng)過改進(jìn)后的SITT 算法同經(jīng)典SIFT 算法相比，計(jì)算時(shí)間整體提高了47.51%。

從該結(jié)果圖可以看出，由該河流的局部區(qū)域最終拼接出了該河流很大視野范圍內(nèi)的圖像，兩幅圖片的邊緣拼接處幾乎沒有縫隙，配準(zhǔn)后的圖片基本上實(shí)現(xiàn)了無縫融合，完全能滿足觀察和科學(xué)研究等需求。

4 小結(jié)

在本文中，作者詳細(xì)描述了圖像配準(zhǔn)的具體流程以及配準(zhǔn)中常用的三種方法，著重講解了現(xiàn)在最為廣泛應(yīng)用的通過提取特征點(diǎn)來進(jìn)行圖像匹配的SIFT 算法。在此基礎(chǔ)上，本文提出了一種對(duì)傳統(tǒng)SIFT 算法改進(jìn)的圖像配準(zhǔn)算法，它結(jié)合Harris 算法與SIFT 算法，在保留各自優(yōu)點(diǎn)礎(chǔ)上也互補(bǔ)了各自的不足點(diǎn)，本文對(duì)SIFT 算法求取主方向的復(fù)雜過程進(jìn)行了合理的改進(jìn)，不僅縮短了算法運(yùn)行時(shí)間的，而且在圖像配準(zhǔn)的精度上也得到了提高。

［1］張銳娟.基于SURF 的圖像配準(zhǔn)方法研究［J］.紅外與激光工程，2009，38(1):160－165.

［2］LIU Xiaojun，YANG Jie，SUN Jianwei，et al. Image registration approach based on SIFT［J］.Infrared and Laser Engineering，2008，37(1):156－160.

［3］曲天偉，安波.改進(jìn)的RANSAC 算法在圖像配準(zhǔn)中的應(yīng)用［J］.計(jì)算機(jī)應(yīng)用，2010，30(7):1849－1852.

［4］王宏力，賈萬波.圖像匹配算法研究綜［J］.計(jì)算機(jī)技術(shù)與應(yīng)用，2008(6):17－19.

［5］CAO Jian，LI Kan. Application of local features in aerial image mosaic［J］.Journal of University of Electronic Science and Technology of China，2013，42(1):125－129.

［6］WANG Guicai，YU Junwei.An image registration algorithm based on features point and cluster［C］//Proc.International Congress on Image and Signal Processing(CISP 2012).［S.l.］:IEEE Press，2012:836－840.

［7］HARRIS C，STEPHENS M. A combined corner and edge detector［C］//Proc. Alvey Vision Conference 1988.［S.l.］:IEEE Press，1988:52－59.

［8］LOWE D G. Distinctive imgage features from scale－invariantkey point［J］.Interation Journal of Computer Vision，2004，60(2):91－110.

［9］KE Y，SUKTHANKA R.PCA－SIFT:AM or distinctive representation for local image descriptors［C］//Proc.International Conference Pattern Recognition.Washington，USA:［s.n.］，2004:36－39.

［10］DUAN C，MENG X.How to make local image features more efficient and distinctive［J］. IET Computer Vision，2008(2):178－189.

［11］BAY H，ESS A. Speeded－up Robust Features(SURF)［J］.Computer Vision and Image Understanding，2008(110):346－359.

［12］MIKOLAJCZYK K，SCHMID C. A perfomance evaluation of local descriptors［J］.IEEE Trans.Pattern AnaIysis and Machine IntelIigence，2005，27(10):1615－1630.

［13］劉輝，申海龍.一種基于改進(jìn)SIFT 算法的圖像配準(zhǔn)方法［J］.微電子學(xué)與計(jì)算機(jī)，2014，31(1):38－42.

［14］LI Han，NIU Jizhen，GUO He. Automatic seamless image mosaic method based on feature points［J］.Computer Engineering and Design，2007，28(9):2083－2085.

［15］翟優(yōu)，曾巒，王少軒.自適應(yīng)對(duì)比度閾SIFT 算法研究［J］.計(jì)算機(jī)測量與控制，2011，19(11):2798－2806.