圖像配準(zhǔn)中特征點(diǎn)檢測算法的探討

紀(jì)利娥，楊風(fēng)暴，王志社，陳 磊

(中北大學(xué)信息與通信工程學(xué)院，山西 太原 030051)

圖像配準(zhǔn)是指將不同條件(時(shí)間、視角等)或不同傳感器下獲得的同一場景的兩幅或多幅圖像進(jìn)行匹配的過程，即尋找一種空間映射關(guān)系，使兩幅圖像中代表同一目標(biāo)的對(duì)應(yīng)點(diǎn)達(dá)到空間位置上的一致［1－2］。它是圖像融合、目標(biāo)識(shí)別等技術(shù)的關(guān)鍵前提，在醫(yī)學(xué)、軍事及遙感等領(lǐng)域具有廣泛的應(yīng)用。

基于特征點(diǎn)的配準(zhǔn)方法是研究的熱點(diǎn)，它主要包括特征點(diǎn)提取、特征點(diǎn)匹配、計(jì)算變換模型參數(shù)和圖像變換與插值4個(gè)部分。其中，特征點(diǎn)檢測是圖像配準(zhǔn)的重點(diǎn)和難點(diǎn)，特征點(diǎn)提取的好壞直接影響著圖像配準(zhǔn)的精度和效率［3］。近幾年，國內(nèi)外出現(xiàn)了許多特征點(diǎn)檢測方法，然而對(duì)這些方法應(yīng)用于圖像配準(zhǔn)這個(gè)環(huán)境中的實(shí)際效果如何，提取的特征點(diǎn)是否有利于圖像配準(zhǔn)，以及各種特征點(diǎn)檢測算法的性能如何，都缺乏相應(yīng)的分析與比較，對(duì)特征點(diǎn)提取方法也缺乏相應(yīng)的評(píng)價(jià)標(biāo)準(zhǔn)。

本文主要從特征點(diǎn)檢測與評(píng)價(jià)這兩個(gè)方面出發(fā)，詳細(xì)介紹了目前主流的特征點(diǎn)檢測算法，并對(duì)特征點(diǎn)提取算法的評(píng)價(jià)標(biāo)準(zhǔn)作了一定的具體說明。通過實(shí)驗(yàn)，比較了各種算法的性能，為不同應(yīng)用情形下特征點(diǎn)提取方法的選擇提供有力的參考。

1 特征點(diǎn)檢測方法

圖像配準(zhǔn)中的特征點(diǎn)是指對(duì)旋轉(zhuǎn)、平移、縮放、光照等變換具有不變性，對(duì)噪聲的敏感性也比較小，在不同成像條件下仍能保持一致性。

常用的特征點(diǎn)檢測算法可以歸納為以下三類:

1)基于邊緣點(diǎn)的提取方法:如LOG檢測、Canny算子、基于小波變換的提取方法、基于NSCT(Nonsubsampled Contourlet Transform)的魯棒性特征點(diǎn)等。

2)角點(diǎn)檢測方法:主要包括基于邊緣和基于灰度的方法，第一類需對(duì)邊緣進(jìn)行編碼，對(duì)圖像分割和邊緣提取要求比較高，難度和計(jì)算量較大;第二類方法直接對(duì)圖像灰度進(jìn)行操作，主要是通過計(jì)算點(diǎn)的曲率及梯度來檢測角點(diǎn)，此類方法主要有Moracec算法、Forstner算法、Harris算法、Susan算法等。

3)高效斑點(diǎn)檢測算法:如SIFT(Scale Invariant Feature Transform)算法、SURF(Speeded Up Robust Features)算法等。

本文將對(duì)上述3類特征點(diǎn)中一些典型算法做詳細(xì)的分析與比較。

1.1 基于NSCT的特征點(diǎn)檢測方法

非下采樣輪廓波變換(NSCT)是Cunha和Zhou等人［4］提出的一種多尺度多分辨率分析手段，具有快速變換、多尺度、多方向、平移不變、邊緣保持、頻率不混淆以及變換后圖像大小不變的優(yōu)點(diǎn);在NSCT域中，尺度內(nèi)、尺度間的系數(shù)都具有一定的相關(guān)性，噪聲和細(xì)節(jié)在尺度間、尺度內(nèi)各方向分布也具有不同的特點(diǎn)。

基于NSCT的特征點(diǎn)檢測方法［5］步驟如下:

1)對(duì)圖像進(jìn)行N級(jí)NSCT變換，得到低頻子帶圖像及各尺度L個(gè)方向上的高頻方向子帶系數(shù)矩陣。

2)對(duì)于高頻分量，求相鄰尺度同一方向子帶的差值模值，得到L個(gè)差值子帶圖像。

3)對(duì)于所獲得的差值子帶圖像，針對(duì)圖像每一個(gè)像素點(diǎn)位置，進(jìn)行模極大值檢測，得到一幅NSCT模極大值圖像。

4)在NSCT模極大值圖像上利用硬閾值Th去除非顯著的特征點(diǎn)，如NSCT模極大值大于閾值Th，則保留這些點(diǎn);其中，Th=c(δ+μ)，c是用戶自定義參數(shù)，δ和μ是NSCT模極大值圖像的標(biāo)準(zhǔn)方差和均值。

5)以4)保留下來的模極大值點(diǎn)為中心，在w×w的鄰域內(nèi)進(jìn)行非極大值抑制，最后得到的點(diǎn)作為所提取的特征點(diǎn)。

基于NSCT的特征點(diǎn)提取方法的特點(diǎn):

1)該算法采用多尺度空間思想，充分利用了NSCT域尺度內(nèi)、尺度間系數(shù)的相關(guān)特性這一特點(diǎn)，能有效地抑制噪聲、增強(qiáng)特征點(diǎn);

2)NSCT具有很好的方向性，提取的特征點(diǎn)多位于圖像的邊緣、拐角處，具有很高的精度且魯棒性強(qiáng)，很好地表征圖像的顯著特征;

3)NSCT是全局變換，由于其非下采樣，變換后的圖像大小不變，與小波變換相比，計(jì)算速度慢，對(duì)圖像配準(zhǔn)而言缺乏實(shí)時(shí)性。

1.2 基于灰度的角點(diǎn)檢測方法

1)Harris算法

Harris角點(diǎn)［6］檢測算法的思想是:使圖像中的一個(gè)局部小區(qū)域在各個(gè)方向做微小移動(dòng)，計(jì)算該區(qū)域內(nèi)能量的變化，當(dāng)該變化值超過一定閾值時(shí)，就認(rèn)為該小區(qū)域內(nèi)的中心像素點(diǎn)為角點(diǎn)。

Harris算法為

當(dāng)某點(diǎn)的響應(yīng)值R大于閾值t，進(jìn)行局部極大值抑制，獲得最終的角點(diǎn)。

Harris算法的特點(diǎn)是:

(1)算法只用到了灰度一階差分，計(jì)算簡單，速度快。

(2)算法通過計(jì)算圖像每個(gè)位置的響應(yīng)值，在合適的領(lǐng)域內(nèi)選擇最優(yōu)點(diǎn)，提取的點(diǎn)特征均勻合理，在紋理信息豐富的區(qū)域，角點(diǎn)的數(shù)量較大，反之亦然。

(3)通過對(duì)極值點(diǎn)進(jìn)行統(tǒng)一排序，根據(jù)時(shí)間和精度要求選取數(shù)量合理的最優(yōu)角點(diǎn)。

(4)Harris算子對(duì)圖像平移旋轉(zhuǎn)和光照變化具有不變性，能夠穩(wěn)定地檢測特征點(diǎn);對(duì)噪聲比較敏感，在信噪比低的條件下，特征點(diǎn)數(shù)量明顯增加，加大了特征匹配的難度;且不具有尺度不變性和仿射不變性。

為了使Harris算子具有尺度不變性，把尺度空間理論引入到 Harris特征點(diǎn)檢測上。Harris－Laplace［7］算子檢測的特征點(diǎn)具有尺度不變性。

Harris－Affine［7］是一種新穎的檢測仿射不變特征點(diǎn)的方法。在大尺度縮放變化的情況下，具有很好的性能;由于初始點(diǎn)檢測和仿射區(qū)域的歸一化，計(jì)算具有一定的復(fù)雜度。

2)Susan算法

Susan算法是由S.M.Smith等人［8］提出的，主要用來計(jì)算圖像中的角點(diǎn)特征。SUSAN角點(diǎn)提取法主要有以下3步:

(1)計(jì)算核值相似區(qū)USAN的大小n( r0)

式中:r為模板內(nèi)除核以外的其他位置;r0為模板核的位置;I為像素灰度值;t表示所能檢測角點(diǎn)的最小對(duì)比度，其值越小，提取的角點(diǎn)越多;C(r，r0)表示灰度比較的結(jié)果。

(2)計(jì)算角點(diǎn)響應(yīng)值R( r0)

式中:g為固定閾值，通常g=nmax/2;nmax為模板的大小減1，其大小不僅決定了角點(diǎn)的個(gè)數(shù)，也決定所檢測角點(diǎn)的尖銳程度。

(3)去除虛假角點(diǎn)，并利用非極大值抑制確定角點(diǎn):對(duì)于那些與正確角點(diǎn)相關(guān)的USAN區(qū)域，其重心位置遠(yuǎn)離模板的中心位置，利用加權(quán)法求重心，計(jì)算核到重心的距離，距離比較大，則認(rèn)為該角點(diǎn)是候選角點(diǎn)。

Susan算法的特點(diǎn):

(1)無須梯度計(jì)算，提高了算法的效率;

(2)具有積分特征，對(duì)局部噪聲不敏感，抗干擾能力強(qiáng);

(3)對(duì)角點(diǎn)的檢測比對(duì)邊緣的檢測效果好，且特征點(diǎn)定位比較準(zhǔn)確;

(4)針對(duì)模糊或者強(qiáng)噪聲圖像的檢測結(jié)果，無論準(zhǔn)確率還是數(shù)量，都不太理想;

(5)該算法對(duì)閾值較敏感，選取合適的參數(shù)對(duì)算法結(jié)果影響很大，同時(shí)會(huì)出現(xiàn)漏檢和誤檢測角點(diǎn)。

1.3 高效斑點(diǎn)檢測方法

1)SIFT算法

SIFT算法是Lowe［9］提出的一種尺度不變特征點(diǎn)檢測方法，計(jì)算步驟如下:

(1)特征點(diǎn)檢測

將不同尺度的高斯差分核與圖像進(jìn)行卷積，在生成的高斯差分尺度空間(DOG)檢測極值點(diǎn)，這樣提取的特征點(diǎn)較穩(wěn)定。

式中:k為兩相鄰尺度空間倍數(shù)的常數(shù);G(x，y，δ)為高斯空間函數(shù)。

將每一個(gè)采樣點(diǎn)與它同尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)進(jìn)行比較，在尺度空間和位置空間尋找局部極值點(diǎn)，視為候選點(diǎn)。然后通過子像元插值法精確定位特征點(diǎn)的位置及尺度，同時(shí)去除低對(duì)比度的特征點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。

作為候選特征點(diǎn)，通過擬合三維二次函數(shù)以精確定位特征點(diǎn)的位置和尺度，同時(shí)去除低對(duì)比度的特征點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)。

(2)特征點(diǎn)描述

根據(jù)檢測到的特征點(diǎn)的局部圖像結(jié)構(gòu)求得一個(gè)方向基準(zhǔn)，使得特征點(diǎn)描述子對(duì)圖像的旋轉(zhuǎn)具有不變性。(x，y)處梯度的模值和方向公式如下

式中:L所在的尺度為每個(gè)特征點(diǎn)所在尺度。

為確保旋轉(zhuǎn)不變性，將高斯圖像坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的主方向。取以特征點(diǎn)為中心的4×4子區(qū)域，在每個(gè)子區(qū)域計(jì)算8個(gè)方向的梯度強(qiáng)度信息，共有4×4×8=128維的SIFT特征向量。此時(shí)該向量具有尺度及旋轉(zhuǎn)不變性。再對(duì)特征向量歸一化，可去除光照變化帶來的影響。

SIFT算法的特點(diǎn):

(1)在多尺度空間采用DOG算子檢測關(guān)鍵點(diǎn)，相比傳統(tǒng)的基于LOG算子的檢測方法，運(yùn)算速度大大加快;

(2)該算法提取的特征點(diǎn)較穩(wěn)定，能夠在圖像仿射變換、視角變換及噪聲等條件下具有很好的匹配能力;

(3)傳統(tǒng)的SIFT算法維數(shù)較高，計(jì)算量大，速度慢;

(4)SIFT提取的特征點(diǎn)較多，使匹配時(shí)搜索范圍大，增加了匹配時(shí)間和錯(cuò)匹配的概率。

針對(duì)SIFT算法速度較慢的問題，Ke等人［10］提出了PCA－SIFT算法，通過主成分分析降低了特征向量的維數(shù)，使計(jì)算復(fù)雜度下降。

2)SURF算法

Bay等人［11］通過將積分圖像和Haar小波相結(jié)合，提出了SURF算法，進(jìn)一步提高了特征提取的速度。主要包括兩個(gè)部分:特征點(diǎn)檢測和描述。

(1)特征點(diǎn)檢測

SURF算法通過計(jì)算Hessian矩陣行列式的局部極值來檢測特征點(diǎn)的位置。

設(shè)圖像I中一個(gè)點(diǎn)X(x，y)，在點(diǎn)X處，尺度為δ的Hessian矩陣H(X，δ)為

式中:Lxx(X，d)是圖像 I中點(diǎn) X與高斯二階濾波?2g(δ)/?x2的卷積;Lxy(X，d)和 Lyy(X，d)的含義類似。

將盒子濾波器與圖像進(jìn)行卷積，其結(jié)果分別為Dxx，Dxy和Dyy，則Hessian矩陣的行列式可簡化為

通過不同尺寸盒子濾波模板與積分圖像求取Hessian矩陣行列式的響應(yīng)圖像，并在響應(yīng)圖像上進(jìn)行3D非最大值抑制，求取各種不同尺度的斑點(diǎn)。

(2)特征點(diǎn)描述

首先確定SURF描述子的主方向以確保其旋轉(zhuǎn)不變性。以特征點(diǎn)為中心，取半徑為6δ(δ為特征點(diǎn)所在尺度)的區(qū)域作為其鄰域，直方圖統(tǒng)計(jì)鄰域內(nèi)各點(diǎn)的梯度和方向。以π/3為步長，找到具有最大分布響應(yīng)的角度，將其作為該特征點(diǎn)的主方向;確定大小為20δ的矩形區(qū)域，將其劃分為4×4的子區(qū)域，在每一個(gè)子區(qū)域內(nèi)提取特征V

式中:dx，dy分別表示Harr小波在水平和垂直方向的響應(yīng)值。

這樣，每個(gè)特征描述子都由4×4×4=64維的特征向量組成。通過對(duì)特征向量進(jìn)行歸一化來實(shí)現(xiàn)對(duì)光照的不變性。

SURF算法的特點(diǎn):

(1)SURF算法引入積分圖像和盒子濾波器，在運(yùn)算速度上比SIFT要快3倍左右，適用于圖像分辨率變化較大的情況;

(2)對(duì)尺度、旋轉(zhuǎn)、光照及視角變化等具有較強(qiáng)的魯棒性和穩(wěn)定性;

(3)在同一情況下，所提取的特征點(diǎn)數(shù)量少于SIFT特征點(diǎn)，綜合性能優(yōu)于SIFT算法。

2 特征點(diǎn)檢測方法評(píng)價(jià)

特征點(diǎn)提取是圖像配準(zhǔn)的重要步驟，只有保證特征點(diǎn)準(zhǔn)確可靠，才能進(jìn)行有效配準(zhǔn)。因此，不僅要通過主觀視覺對(duì)特征點(diǎn)進(jìn)行判斷，還要通過客觀指標(biāo)對(duì)特征點(diǎn)進(jìn)行準(zhǔn)確評(píng)價(jià)。

在圖像配準(zhǔn)這個(gè)應(yīng)用環(huán)境中，特征提取方法的好壞有其特定的涵義:特征點(diǎn)的數(shù)量要適中，特征點(diǎn)過多會(huì)給后續(xù)的特征匹配帶來嚴(yán)重的運(yùn)算負(fù)擔(dān)，特征點(diǎn)過少可能無法滿足變換模型的計(jì)算，且影響配準(zhǔn)的精度;對(duì)于不同傳感器圖像及圖像的不同變化，特征提取方法要有一定的適應(yīng)性，且特征點(diǎn)要保持一定的不變性，才能使從不同圖像提取的特征點(diǎn)能夠精確匹配。綜上所述，本文從3個(gè)方面對(duì)特征點(diǎn)檢測方法進(jìn)行評(píng)價(jià)。

1)特征點(diǎn)匹配率

特征點(diǎn)匹配率是指特征點(diǎn)匹配點(diǎn)對(duì)數(shù)與參考圖像所有的特征點(diǎn)數(shù)之比。對(duì)于相同的實(shí)驗(yàn)圖像，特征點(diǎn)匹配率越高，特征檢測算法的性能越好。

2)檢測速度

通過特征點(diǎn)檢測所用時(shí)間來評(píng)價(jià)算法的速度。對(duì)于相同的圖像，在相同的計(jì)算條件下，計(jì)算時(shí)間長說明特征檢測算法速度慢。

3)不變性

對(duì)圖像的旋轉(zhuǎn)、平移、光照、仿射、噪聲等變化，所提取的特征點(diǎn)應(yīng)具有一定的不變性，才能保證不同圖像之間的配準(zhǔn)精度。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用MATLAB 7.0對(duì)上述特征點(diǎn)檢測算法進(jìn)行實(shí)驗(yàn)。

3.1 Harris算法與Susan算法特征點(diǎn)檢測比較

Harris算子和Susan算子在各種情況下的特征點(diǎn)檢測結(jié)果如圖1、圖2所示，實(shí)驗(yàn)圖像大小為169×169。

從上述實(shí)驗(yàn)結(jié)果可以看出，這兩種特征點(diǎn)檢測算法對(duì)圖像旋轉(zhuǎn)都具有一定的適應(yīng)性，但Harris算法具有明顯的優(yōu)勢;在噪聲存在的情況下，特征點(diǎn)都明顯增多。表1比較了算法的實(shí)時(shí)性及抗噪聲能力，從表1可以看出Harris算子由于使用梯度，速度較慢，對(duì)灰度和幾何變換的適用性稍優(yōu)于Susan算子。

表1 Harris算子與Susan算子性能比較

3.2 SIFT算法與SURF算法特征點(diǎn)檢測比較

本文在保持實(shí)驗(yàn)條件、主要參數(shù)一致的基礎(chǔ)上，從特征點(diǎn)檢測時(shí)間、特征點(diǎn)個(gè)數(shù)以及視角、光照和仿射變化下的匹配率這些方面對(duì)這兩種算法進(jìn)行對(duì)比，圖3顯示了兩種算法在主要參數(shù)(組octaves=4，層levels=4)相同的情況下對(duì)同一幅實(shí)驗(yàn)圖像提取的特征點(diǎn)情況，并通過表2對(duì)這兩種算法的性能進(jìn)行比較，實(shí)驗(yàn)圖像大小為205×305。

表2 SIFT算法與SURF算法性能比較

從表2可以看出，SURF比SIFT在時(shí)間上有很大的提高;對(duì)于圖像的視角、光照及仿射變化，這兩種算法都具有一定的適應(yīng)性;SURF檢測的特征點(diǎn)明顯不如SIFT豐富，但匹配率卻比SIFT高。從實(shí)驗(yàn)結(jié)果可以看出:SURF在綜合性能上要優(yōu)于SIFT算法。

4 小結(jié)

基于特征點(diǎn)的圖像配準(zhǔn)方法是圖像配準(zhǔn)領(lǐng)域很重要的研究方向。特征點(diǎn)檢測是圖像配準(zhǔn)的關(guān)鍵技術(shù)，特征點(diǎn)的好壞直接影響著后續(xù)圖像配準(zhǔn)的精度和效率。現(xiàn)有主流的特征點(diǎn)檢測方法，都有其一定的局限性。本文對(duì)典型的特征點(diǎn)檢測算法的優(yōu)缺點(diǎn)進(jìn)行詳細(xì)的分析與比較，并給出了特征點(diǎn)評(píng)價(jià)的方法。

從圖像配準(zhǔn)的角度出發(fā)，對(duì)于特征點(diǎn)的提取，必須要考慮它的實(shí)時(shí)性、高精度和魯棒性。隨著圖像配準(zhǔn)實(shí)際應(yīng)用的需求，對(duì)圖像特征點(diǎn)提取方法必須進(jìn)行深入研究，提出性能好的新方法，使基于特征點(diǎn)的圖像配準(zhǔn)方法具有良好的發(fā)展前景。

［1］趙芹，周濤，舒勤.基于特征點(diǎn)的圖像配準(zhǔn)技術(shù)探討［J］.紅外技術(shù)，2006，28(6):327－330.

［2］劉瓊，倪國強(qiáng)，周生兵.圖像配準(zhǔn)中幾種特征點(diǎn)提取方法的分析與實(shí)驗(yàn)［J］. 光學(xué)技術(shù)，2007，33(1):62－67.

［3］GUARNERI I，GUARNERA M，LUPICA G，et，al.Image registration method for consumer devices［J］.IEEE Trans.consumer electronics，2005，51(3):215－219.

［4］CUMHA A，ZHOU Jianping，DO M.The nonsubsampled contourlet transform:theory，design，and application［J］.IEEE Trans.Image Processing，2006，15(10):3089－3101.

［5］CHAHIRA S，MOURAD B，YOUCEF B，et al.Robust feature points extratction for image registration based on the nonsubsanmpled contourlet transform［J］.Int.J.Electron.Commun.(AEU)，2009(63):148－152.

［6］HARRIS C，STEVEN M.A combined corner and edge detector［C］//Proc.the fourth Alvey Vision Conference.Manchester，UK:［s.n.］，1988:147－151.

［7］MIKOLAJCZYK K，SCHMID C.Scale ＆ affine invariant interest point detectors［J］.International Journal of Computer Vision，2004，60(1):63－86.

［8］SMITH S，BRADY J.SUSAN－a new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):45－78.

［9］LOWE D.Distinctive image features from scale－ivariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［10］YE K，SUKTHANKAR R.PCA－SIFT:A more distinctive representation for local imagw descriptors［C］//Proc.Conference on Computer Vision and Patter Recognition.［S.l.］:IEEE Press，2004:511－517.

［11］BAY H，ESS A，TUYTELAARS T，et al.Speeded－up robust feature［J］.Computer Vision and Image Understanding，2008，110(3):346－359.