SIFT與Harris提取圖像特征點(diǎn)的分析研究

趙 悟，段永璇，段會(huì)川，肖憲翠，張 睿，岳 媛，孫小飛，范 軍

(1.山東省醫(yī)藥衛(wèi)生科技信息研究所，山東 濟(jì)南 250062；2.山東師范大學(xué) 信息科學(xué)與工程學(xué)院，山東 濟(jì)南 250014)

0 引 言

圖像匹配技術(shù)[1]主要應(yīng)用于數(shù)字圖像處理領(lǐng)域，隨著研究的不斷深入，該技術(shù)逐漸被應(yīng)用于其他熱門(mén)領(lǐng)域。圖像匹配算法[2]一般分為基于圖像灰度匹配算法和基于圖像特征匹配算法。而后者又分為點(diǎn)特征、線特征以及面特征的匹配算法。其中點(diǎn)特征的提取算法主要分為兩大類:基于圖像邊緣和基于圖像灰度的算法?；趫D像邊緣的算法在實(shí)際中應(yīng)用廣泛并取得了比較好的效果。

基于圖像邊緣的算法比較典型的有SIFT算法與Harris角點(diǎn)檢測(cè)算法[3]。SIFT算法對(duì)尺度縮放、旋轉(zhuǎn)、光照亮度等變換均具有一定的不變性，但該算法運(yùn)算過(guò)程繁瑣且計(jì)算量較大。而Harris角點(diǎn)檢測(cè)算法計(jì)算過(guò)程較簡(jiǎn)單，且對(duì)通常的圖像變換不敏感?？紤]到兩種算法都適用于特征點(diǎn)提取，因此對(duì)兩者的適用性進(jìn)行合理的指標(biāo)分析，從而選擇一種合適的圖像處理方法。因此，文中提出一種指標(biāo)評(píng)價(jià)法，從特征點(diǎn)有效性、計(jì)算時(shí)效性、特征點(diǎn)相似不變性三方面，并采用折線特征主導(dǎo)的圖像與光滑曲線特征主導(dǎo)的圖像進(jìn)行實(shí)驗(yàn)，對(duì)兩種算法在提取特征點(diǎn)上的適用性進(jìn)行定量分析研究。

1 SIFT算法概述

SIFT(scale invariant feature transform)算法[4-9]即尺度不變特征變換算法，該算法是在1999年由David G. Lowe提出，并于2004年對(duì)算法進(jìn)行了完善。鑒于該算法檢測(cè)出的特征點(diǎn)對(duì)于圖像的尺度縮放、旋轉(zhuǎn)等變換具備一定的健壯性，因而在圖像特征提取方面應(yīng)用廣泛。

利用SIFT算法提取圖像特征點(diǎn)的基本思路如下所述：

(1)構(gòu)建高斯尺度空間。利用原始圖像I(x,y)與高斯核函數(shù)G(x,y,σ)卷積得到高斯尺度空間圖像L(x,y,σ)。

(2)尋找極值點(diǎn)。首先需要構(gòu)造高斯差分尺度空間,在這里需要用到高斯差分函數(shù)Dog(x,y,σ)，Dog(x,y,σ)=(G(x,y,σ)-G(x,y,kσ))*I(x,y)，其中σ為尺度因子，k為常數(shù)。極值點(diǎn)的檢測(cè)只需使某一像素點(diǎn)的值與其同層8鄰域和上下兩層9鄰域共26個(gè)點(diǎn)的值進(jìn)行比較。若此點(diǎn)的值均大于這26個(gè)點(diǎn)的值，該點(diǎn)就被認(rèn)定為特征點(diǎn)。

(3)剔除不穩(wěn)定特征點(diǎn)。對(duì)上一步檢測(cè)出的特征點(diǎn)需要過(guò)濾掉低對(duì)比度和邊緣不穩(wěn)定的特征點(diǎn)，以便提高后續(xù)圖像匹配的穩(wěn)定性和抗噪能力。

(4)確定關(guān)鍵點(diǎn)方向。由局部圖像梯度模值和方向進(jìn)行著手，賦予每個(gè)特征點(diǎn)一或多個(gè)方向。

(5)生成特征點(diǎn)描述子?；诿總€(gè)特征點(diǎn)的鄰域?qū)D像局部的梯度值進(jìn)行計(jì)算，以便產(chǎn)生特征點(diǎn)的描述子。

2 Harris角點(diǎn)檢測(cè)算法概述

Harris角點(diǎn)檢測(cè)算法[10-15]是由C.Harris和M.Stephens在H.Moravec工作的啟發(fā)下于1988年提出的，是對(duì)Moravec算法的擴(kuò)充和完善。Harris算法提取圖像特征點(diǎn)的過(guò)程大致可分為以下幾個(gè)步驟：

(1)

(2)利用高斯核函數(shù)G(x,y,σ)對(duì)圖像進(jìn)行高斯濾波，得到新的自相關(guān)矩陣M2。

(3)利用角點(diǎn)響應(yīng)函數(shù)R計(jì)算原圖像上對(duì)應(yīng)的每個(gè)像素點(diǎn)的響應(yīng)值，即R值。其中角點(diǎn)響應(yīng)函數(shù)R=Det(M2)-k*Tr2(M2)，Det(M2)=λ1λ2，Tr(M2)=λ1+λ2，其中λ1,λ2為自相關(guān)矩陣M2的特征值，k為經(jīng)驗(yàn)值。如果某點(diǎn)的角點(diǎn)響應(yīng)值R大于設(shè)定的閾值，則該點(diǎn)就被選定為特征點(diǎn)。

(4)選取局部極值點(diǎn)。根據(jù)給定的閾值，采用非極大值抑制的方法對(duì)不符合條件的極值進(jìn)行置零處理，以確定最終的特征點(diǎn)。

3 實(shí)驗(yàn)方法、結(jié)果及結(jié)論

3.1 實(shí)驗(yàn)方法

圖像特征配準(zhǔn)技術(shù)的關(guān)鍵就是要尋找到用于圖像配準(zhǔn)的特征點(diǎn)。文中主要是對(duì)Harris角點(diǎn)檢測(cè)算法與SIFT算法提取特征點(diǎn)的過(guò)程進(jìn)行研究分析。針對(duì)兩類圖像：折線特征主導(dǎo)的圖像與光滑曲線特征主導(dǎo)的圖像，為探究?jī)煞N算法提取特征點(diǎn)的性能高低，在對(duì)以往點(diǎn)特征提取算法評(píng)價(jià)分析的基礎(chǔ)上，提出了三種新的評(píng)價(jià)指標(biāo)，即特征點(diǎn)有效性、計(jì)算時(shí)效性、特征點(diǎn)相似不變性。通過(guò)三種指標(biāo)對(duì)兩種算法的性能進(jìn)行了研究分析，具體內(nèi)容如下:

(1)特征點(diǎn)有效性。

特征點(diǎn)有效性是由特征點(diǎn)的匹配對(duì)數(shù)與兩幅待匹配圖像中提取的特征點(diǎn)總和的比率來(lái)表示的，具體如式2所示。在相同實(shí)驗(yàn)對(duì)象的條件下：該比值越大，說(shuō)明某一算法檢測(cè)到的特征點(diǎn)相對(duì)越有效；反之其檢測(cè)到的特征點(diǎn)低效。同時(shí)這一判據(jù)對(duì)于后續(xù)的圖像匹配也是十分重要的。

(2)

其中，F(xiàn)p表示兩幅待匹配圖像的特征點(diǎn)匹配對(duì)數(shù)；F1與F2分別表示從兩幅待匹配圖像中提取的特征點(diǎn)數(shù)目；α表示比率值。

(2)計(jì)算時(shí)效性。

計(jì)算時(shí)效性是指采用特征點(diǎn)檢測(cè)的花費(fèi)時(shí)間來(lái)評(píng)價(jià)算法的計(jì)算速度。理論上講，計(jì)算時(shí)效性是對(duì)計(jì)算復(fù)雜性分析的表征。

文中利用計(jì)算時(shí)效性對(duì)Harris角點(diǎn)檢測(cè)算法和SIFT算法進(jìn)行比較，同時(shí)為了使比較結(jié)果更有說(shuō)服力，又對(duì)圖像做了旋轉(zhuǎn)和縮放變換處理。更進(jìn)一步在同一實(shí)驗(yàn)對(duì)像和相同的限制條件下：若某一算法的運(yùn)行時(shí)間較長(zhǎng)，則說(shuō)明其檢測(cè)特征點(diǎn)的速度比較慢；反之則說(shuō)明該算法可以較快地進(jìn)行特征點(diǎn)檢測(cè)。

(3)特征點(diǎn)相似不變性。

特征點(diǎn)相似不變性無(wú)疑是特征提取算法最為顯著的特性，因?yàn)樗鼪Q定了一種特征提取算法是否可以在目標(biāo)圖像作未知變換(比如基本的旋轉(zhuǎn)和縮放，以及非線性變換剪切和扭轉(zhuǎn))的情況下依然可以提取到穩(wěn)定的特征。

由于Harris角點(diǎn)檢測(cè)算法與SIFT算法都具備各自的不變性，為了檢查它們的適用性，文中選擇了典型的實(shí)驗(yàn)圖像，并對(duì)它們作了旋轉(zhuǎn)和縮放變換，然后根據(jù)已獲得特征點(diǎn)數(shù)目的標(biāo)準(zhǔn)偏差判斷兩種算法的檢測(cè)能力，這同時(shí)也是對(duì)計(jì)算時(shí)效性的進(jìn)一步說(shuō)明。

3.2 實(shí)驗(yàn)結(jié)果

依據(jù)上節(jié)敘述的方法，在Windows 7系統(tǒng)下以Matlab 2016A作為開(kāi)發(fā)環(huán)境，并基于昵圖網(wǎng)提供的圖片庫(kù)進(jìn)行了50組實(shí)驗(yàn)。實(shí)驗(yàn)圖片規(guī)格:尺寸為512×512；位深度為8位；格式為png；色彩模式為灰度；圖片背景顏色均為統(tǒng)一色調(diào)。

(1)特征點(diǎn)有效性。

首先將Harris角點(diǎn)檢測(cè)算法與SIFT算法分別對(duì)折線特征主導(dǎo)的圖像提取特征點(diǎn)，將原始圖像(也即未作旋轉(zhuǎn)和尺度縮放的圖像)當(dāng)作參照?qǐng)D像，而將對(duì)原始圖像作了一系列旋轉(zhuǎn)和尺度變換后得到的圖像作為待配準(zhǔn)圖像。實(shí)驗(yàn)結(jié)果是從多組結(jié)果中選取的部分運(yùn)行結(jié)果。由于篇幅原因這里只選取旋轉(zhuǎn)變換的結(jié)果進(jìn)行說(shuō)明。

表1和表2分別顯示了SIFT算法和Harris角點(diǎn)檢測(cè)算法在圖像旋轉(zhuǎn)變換后得到的結(jié)果。

表1 SIFT算法的旋轉(zhuǎn)有效性

表2 Harris算法的旋轉(zhuǎn)有效性

其中F1+F2表示兩幅待匹配圖像的特征點(diǎn)總數(shù)。綜合分析了旋轉(zhuǎn)與尺度縮放變換下的結(jié)果。針對(duì)折線特征主導(dǎo)的圖像，Harris角點(diǎn)檢測(cè)算法提取到了使圖像旋轉(zhuǎn)和尺度變換較準(zhǔn)確特征點(diǎn)，并根據(jù)特征點(diǎn)有效性比率值α可得：在圖像旋轉(zhuǎn)角度和縮放倍數(shù)相同的條件下，Harris角點(diǎn)檢測(cè)算法的比率值均比SIFT算法高，其平均大約高6%左右。因此，Harris角點(diǎn)檢測(cè)算法提取到的特征點(diǎn)比SIFT算法更有效，更利于圖像的精確匹配。

作為一種角點(diǎn)檢測(cè)算法，為檢測(cè)Harris算法是否對(duì)其他類型的圖像同樣能夠提取到準(zhǔn)確的特征點(diǎn)，本節(jié)選取了多組光滑曲線特征主導(dǎo)的圖像，分別采用這兩種算法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示，在以這種“極端”的圖像為實(shí)驗(yàn)對(duì)象時(shí)，Harris角點(diǎn)檢測(cè)算法幾乎檢測(cè)不到有用的特征點(diǎn)，而SIFT算法較好地檢測(cè)到了圖像的若干特征點(diǎn)。因此，上述實(shí)驗(yàn)表明，在處理光滑曲線特征主導(dǎo)的圖像時(shí)，SIFT算法與Harris角點(diǎn)檢測(cè)算法相比，在特征點(diǎn)有效性上體現(xiàn)出了優(yōu)勢(shì)。

(2)計(jì)算時(shí)效性。

時(shí)效性是指利用Harris角點(diǎn)檢測(cè)算法和SIFT算法提取特征點(diǎn)時(shí)所耗費(fèi)的時(shí)間。通過(guò)計(jì)算時(shí)效性的高低來(lái)評(píng)判哪種算法的運(yùn)算效率較高。在實(shí)驗(yàn)中，針對(duì)圖像的旋轉(zhuǎn)和尺度縮放變換，對(duì)應(yīng)于每一個(gè)旋轉(zhuǎn)角度和尺度縮放倍數(shù)分別統(tǒng)計(jì)了Harris角點(diǎn)檢測(cè)算法和SIFT算法的耗費(fèi)時(shí)間值。圖像的旋轉(zhuǎn)角度是從0°到90°，每次變換的角度間隔為10°，圖像的縮放倍數(shù)是從0.6～1.5，倍數(shù)間隔設(shè)置為0.1。時(shí)間值是在相應(yīng)的角度和縮放倍數(shù)下，計(jì)算出的五組時(shí)間值的平均值。為了使數(shù)據(jù)更具說(shuō)服力，計(jì)算了相應(yīng)角度和倍數(shù)下算法花費(fèi)時(shí)間的標(biāo)準(zhǔn)差以及均值，并以這兩種指標(biāo)去評(píng)判兩種算法的運(yùn)算效率。

從圖1和圖2可以得到，當(dāng)圖像旋轉(zhuǎn)角度從0°～90°以及縮放倍數(shù)從0.6～1.5變化時(shí)，對(duì)應(yīng)于每個(gè)角度值和縮放倍數(shù)SIFT算法的花費(fèi)時(shí)間均比Harris角點(diǎn)檢測(cè)算法的高。同時(shí)，以上數(shù)據(jù)表明，Harris角點(diǎn)檢測(cè)算法的時(shí)間值穩(wěn)定在1.6～1.8之間，而SIFT算法的時(shí)間值則波動(dòng)較大。

圖1 旋轉(zhuǎn)角度與花費(fèi)時(shí)間的關(guān)系

圖2 縮放倍數(shù)與花費(fèi)時(shí)間的關(guān)系

(3)特征點(diǎn)相似不變性。

表4 Harris算法和SIFT算法的不變性比較

表5 Harris與SIFT算法特征點(diǎn)相似不變性比較

如表4所示，在圖像旋轉(zhuǎn)和縮放變換中，在相同的旋轉(zhuǎn)角度和縮放尺度下，Harris角點(diǎn)檢測(cè)算法在提取特征點(diǎn)時(shí)均比SIFT算法更高效。結(jié)合表5可得：Harris角點(diǎn)檢測(cè)算法的δF2比SIFT算法小，因而Harris角點(diǎn)檢測(cè)算法提取出的特征點(diǎn)與SIFT算法相比更趨于穩(wěn)定，相關(guān)數(shù)據(jù)表明Harris角點(diǎn)檢測(cè)算法的特征點(diǎn)相似不變性比SIFT算法要高出40%左右。

3.3 實(shí)驗(yàn)結(jié)論

實(shí)驗(yàn)結(jié)果表明，對(duì)于折線特征主導(dǎo)的圖像，在特征點(diǎn)有效性上Harris角點(diǎn)檢測(cè)算法比SIFT算法高約6%，在計(jì)算時(shí)效性上Harris角點(diǎn)檢測(cè)算法比SIFT算法高約30%，特征點(diǎn)相似不變性上SIFT算法比Harris角點(diǎn)檢測(cè)算法低約40%。

通過(guò)折線特征主導(dǎo)的圖像上的特征點(diǎn)展示，Harris算法與SIFT算法相比具有更高的性能。因此，對(duì)于折線特征主導(dǎo)的圖像特征點(diǎn)的提取，Harris算法與SIFT算法相比具有更高的性能。

另一方面，對(duì)于光滑曲線特征主導(dǎo)的圖像，實(shí)驗(yàn)數(shù)據(jù)顯示，由于Harris角點(diǎn)檢測(cè)算法無(wú)法檢測(cè)到足夠多的特征點(diǎn)，因此與SIFT算法相比，Harris算法對(duì)應(yīng)的三種指標(biāo)均較低，而實(shí)驗(yàn)圖像展示也說(shuō)明了這一點(diǎn)。因此，對(duì)于光滑曲線特征主導(dǎo)的圖像特征點(diǎn)的提取，SIFT算法比Harris算法具有更高的性能。

4 結(jié)束語(yǔ)

針對(duì)圖像特征點(diǎn)的提取，提出了一種指標(biāo)評(píng)價(jià)法，采用特征點(diǎn)有效性、計(jì)算時(shí)效性、特征點(diǎn)相似不變性，并利用折線特征主導(dǎo)的圖像和光滑曲線特征主導(dǎo)的圖像進(jìn)行實(shí)驗(yàn)，對(duì)Harris和SIFT算法提取特征點(diǎn)的情況進(jìn)行了定量分析研究。結(jié)果表明，對(duì)于折線特征主導(dǎo)的圖像，Harris算法在提取特征點(diǎn)方面展示出了較好的適應(yīng)性；而對(duì)于光滑曲線特征主導(dǎo)的圖像，與Harris算法相比,SIFT更好地提取到了足夠數(shù)量的有效特征點(diǎn)。由于在研究過(guò)程中使用了常規(guī)單一性質(zhì)圖像及其圖像變換，對(duì)于較復(fù)雜的不常見(jiàn)圖像并未涉及，因此下一步工作將在更多復(fù)雜圖像上研究該算法的適應(yīng)性特點(diǎn)。