基于旋轉(zhuǎn)SURF算子的圖像配準(zhǔn)新方法

顧 漪，王保平

(西北工業(yè)大學(xué) 電子信息學(xué)院，西安 710129)

基于旋轉(zhuǎn)SURF算子的圖像配準(zhǔn)新方法

顧 漪，王保平

(西北工業(yè)大學(xué) 電子信息學(xué)院，西安 710129)

針對(duì)SURF算法中快速Hessian矩陣行列式檢測(cè)出的特征點(diǎn)的不連續(xù)現(xiàn)象，從而造成的旋轉(zhuǎn)，模糊和光照變化適應(yīng)性較差的不足，提出一種旋轉(zhuǎn)SURF檢測(cè)算子的圖像配準(zhǔn)新方法；該算法通過(guò)將SURF算法的積分圖像盒子濾波模板逆時(shí)針旋轉(zhuǎn)45度，引入一種可以檢測(cè)角度旋轉(zhuǎn)的濾波核提升檢測(cè)算子對(duì)不同圖像變換的匹配性能，保證新的檢測(cè)算子與原算法較好的結(jié)合，同時(shí)利用改進(jìn)的單純形算法依據(jù)輸入圖像進(jìn)行參數(shù)優(yōu)化；仿真結(jié)果表明，該方法不僅保留了算法的速度優(yōu)勢(shì)，縮短了配準(zhǔn)時(shí)間，而且在圖像模糊變換，光照變換和JPEG壓縮變換方面性能有明顯的提升，此外對(duì)視角變換以及小尺度變換性能也有提高。

圖像配準(zhǔn)；SURF算法；特征點(diǎn)檢測(cè)；改進(jìn)單純形法，旋轉(zhuǎn)濾波模板

0 引言

圖像和視頻中目標(biāo)的自動(dòng)識(shí)別是一個(gè)新興領(lǐng)域，提供實(shí)時(shí)的信息，能夠幫助并最終代替人類(lèi)的某些繁瑣工作[1]。為了實(shí)現(xiàn)目標(biāo)的自動(dòng)識(shí)別，需要一種能夠解決計(jì)算機(jī)視覺(jué)領(lǐng)域中類(lèi)似物體方位，尺度，密度等變化的算法[2]。 圖像配準(zhǔn)是在兩幅圖像間找到一個(gè)合適的幾何變換將對(duì)應(yīng)的特征點(diǎn)進(jìn)行匹配。它是圖像融合，醫(yī)學(xué)圖像處理和3D圖像重建的應(yīng)用基礎(chǔ)，并且在醫(yī)學(xué)圖像和遙感方面被廣泛應(yīng)用[3]。

在圖像配準(zhǔn)算法中，Lowe提出的SIFT(scale invariant feature transform)算法[4]是一種基于特征的圖像配準(zhǔn)方法。SURF (Speeded-Up Robust Features)算法[5]是Herbert Bay 在2006 年提出的一種基于特征的圖像匹配算法，該算法是在SIFT算法的基礎(chǔ)上改進(jìn)而來(lái)的。 SURF和SIFT算法廣泛應(yīng)用于存在圖像旋轉(zhuǎn)，仿射變換，壓縮變換，光照變換和尺度變換的場(chǎng)景[6]。SURF算法的運(yùn)算速度比SIFT提高了3～5倍，準(zhǔn)確度卻并未降低。Luo和O. Gwon對(duì)SIFT ，PCA-SIFT以及SURF算法的研究表明尺度不變性方面SURF和SIFT算法性能相近，PCA-SIFT算法性能卻不好。而對(duì)于旋轉(zhuǎn)不變性，圖像模糊和光照變化SURF算法的性能都是比較差的[7]。

針對(duì)SURF算法過(guò)于依賴快速Hessian矩陣行列式造成的旋轉(zhuǎn)，模糊和光照變化適應(yīng)性較差的缺陷，本文改進(jìn)積分圖像盒子濾波模板，提出一種可以檢測(cè)角度旋轉(zhuǎn)的快速Hessian檢測(cè)濾波器，克服了快速Hessian矩陣行列式檢測(cè)出的特征點(diǎn)的不連續(xù)性，并利用改進(jìn)的單純形算法(簡(jiǎn)稱ISA)進(jìn)行參數(shù)優(yōu)化，使新算法對(duì)圖像模糊，光照，JPEG壓縮變換等方面的性能有明顯提升，并利用Mikolajczyk et al.提出的評(píng)估改進(jìn)濾波器的標(biāo)準(zhǔn)測(cè)試方法對(duì)結(jié)果進(jìn)行測(cè)評(píng)[8]。

1 問(wèn)題描述

1.1 surf算法簡(jiǎn)述

對(duì)于特征點(diǎn)檢測(cè)，SURF算法應(yīng)用的是Fast‐Hessian檢測(cè)法，即計(jì)算圖像所有像素的Hessian矩陣的行列式，極值點(diǎn)處就是圖像特征點(diǎn)所在的位置。

給定圖像中的某點(diǎn)x=(x,y)，在該點(diǎn)x處，尺度為σ的Hessian 矩陣H(x,σ)定義為：

(1)

其中，Lxx(x,σ)是高斯二階微分在點(diǎn)x=(x,y)處與圖像的卷積，Lxy(x,σ)和Lyy(x,σ)具有相似的含義。由于積分圖像可以加速卷積計(jì)算，高斯濾波器需要離散化，因此Bay等人提出用方框?yàn)V波(Box Filter)近似代替二階高斯濾波，用積分圖像來(lái)加速卷積以提高計(jì)算速度[9]。

圖1 盒子濾波近似代替二維高斯濾波

Lxx模板、Lyy模板、Lxy模板,這些微分算子可以用加權(quán)后的9×9盒狀濾波器—Dxx模板、Dyy模板、Dxy模板替代。圖1為L(zhǎng)yy模板、Lxy模板以及替代后的模板。

進(jìn)一步求得近似Hessian矩陣的行列式:

det(Happrox)=DxxDyy-(wDxy)2

(2)

Hessian矩陣行列式的極值處即為特征點(diǎn)。式中，w為補(bǔ)償參數(shù),一般取為0.9[10]。

與SIFT相類(lèi)似，SURF也將尺度空間劃分成若干組(Octaves)。一個(gè)組代表了逐步放大的濾波模板對(duì)同一個(gè)輸入圖像進(jìn)行濾波的一系列響應(yīng)圖像。每一組又有若干固定的層組成。算法使用3*3*3的模板在3維尺度空間進(jìn)行非最大化抑制，最后進(jìn)行插值精確。

為了保證特征矢量具有旋轉(zhuǎn)不變性，需要對(duì)每一個(gè)特征點(diǎn)分配一個(gè)主要方向。以特征點(diǎn)為中心，以6s(s為特正點(diǎn)的尺度)為半徑的圓形區(qū)域內(nèi)，對(duì)圖像進(jìn)行Haar小波響應(yīng)運(yùn)算。主方向?yàn)樽畲蟮腍aar響應(yīng)累加值對(duì)應(yīng)的方向 。

生成特征點(diǎn)的特征矢量需要計(jì)算圖像的Haar小波響應(yīng)。特征點(diǎn)的描述符為(4×4)×4=64維向量。

對(duì)于兩個(gè)特征點(diǎn)描述子的相似性度量，采用歐式距離進(jìn)行計(jì)算：

算法采用最小歐氏距離準(zhǔn)則完成特征向量集的匹配，并引入RANSAC[11]算法對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，從而提高變換模型參數(shù)估計(jì)的準(zhǔn)確性。

1.2 SURF算法的不足

SURF算法依據(jù)快速Hessian矩陣行列式的值決定區(qū)域大小，以此來(lái)確定主方向，產(chǎn)生描述符。將SURF運(yùn)用到一些基本的形狀來(lái)檢測(cè)它的性能表現(xiàn)，其中應(yīng)用于圓形區(qū)域時(shí)快速Hessian盒子濾波模板的響應(yīng)如圖2所示。

圖2 盒子濾波對(duì)于圓形區(qū)域的響應(yīng)

從圖中看出Dxx盒子濾波的響應(yīng)在圓形的頂部和底部微弱，Dyy濾波在圓形左部和右部的響應(yīng)比較微弱。因?yàn)榭焖貶essian行列式的值是Dxx和Dyy的響應(yīng)值相乘，這兩個(gè)濾波器任何一個(gè)的響應(yīng)值很小或者為0就會(huì)使最終結(jié)果為0，特征點(diǎn)便不能被檢測(cè)出來(lái)。當(dāng)一副圖像中的相似特征點(diǎn)經(jīng)過(guò)了模糊，旋轉(zhuǎn)或是其他一些常見(jiàn)的變換時(shí)，快速Hessian行列式的值是不同的。特征點(diǎn)的響應(yīng)可能會(huì)降到閾值以下而不被檢測(cè)出來(lái),從而造成特征點(diǎn)檢測(cè)的不連續(xù)性。

2 旋轉(zhuǎn)SURF算法

2.1 旋轉(zhuǎn)的SURF算子

本文提出一種改進(jìn)的SURF算法，降低待檢測(cè)特征對(duì)圖像變換的敏感性。標(biāo)準(zhǔn)SURF算法的盒子濾波器不具有多方向性，會(huì)根據(jù)圖像的靜態(tài)線條更傾向于一些特定的方向。本文將盒子濾波器的核逆時(shí)針旋轉(zhuǎn)45度來(lái)改進(jìn)這種濾波器。

圖3 旋轉(zhuǎn)的SURF盒子濾波器

以Hessian矩陣為基礎(chǔ)的檢測(cè)算子在圖像旋轉(zhuǎn)了45度的奇數(shù)倍角度時(shí)呈現(xiàn)出最弱的可重復(fù)性[12]，所以當(dāng)盒子濾波器旋轉(zhuǎn)相同的角度時(shí)響應(yīng)的結(jié)果對(duì)于圖像旋轉(zhuǎn)和其他變換會(huì)更加穩(wěn)定。逆時(shí)針旋轉(zhuǎn)45度的盒子濾波器可以和原來(lái)的濾波器一樣與算法有效結(jié)合。

SURF算法的一個(gè)優(yōu)點(diǎn)是它包含一個(gè)極快速的四陣列查找表來(lái)計(jì)算積分圖像經(jīng)盒子濾波的結(jié)果。當(dāng)SURF濾波器旋轉(zhuǎn)了45度后，每個(gè)濾波器的四陣列查找速度優(yōu)勢(shì)仍然可以保持。Lienhart 和Maydt對(duì)于像素偏移45度的矩形區(qū)域提出了一個(gè)四陣列索引表，進(jìn)行積分圖像的運(yùn)算[13]。用來(lái)計(jì)算旋轉(zhuǎn)盒子濾波區(qū)域像素和的四陣列索引如圖4。

圖4 旋轉(zhuǎn)的區(qū)域像素和

適應(yīng)于旋轉(zhuǎn)濾波區(qū)域像素和的公式是：

A=L4+L1-L2-L3

(4)

A是計(jì)算積分圖像前像素值的和，Ln是計(jì)算積分圖像后指示區(qū)域的像素值。

2.2 ISA優(yōu)化算法

SURF 算法參數(shù)主要有組數(shù)、層數(shù)和hessian 矩陣行列式閾值。其中組數(shù)和層數(shù)決定著盒子濾波模板的大小，即在哪些尺度空間中提取特征點(diǎn)；hessian 行列式閾值的大小表征圖像中對(duì)應(yīng)位置的特征強(qiáng)弱程度，SURF算法中利用hessian 行列式閾值作為判據(jù)來(lái)對(duì)特征點(diǎn)進(jìn)行篩選。這3個(gè)主要參數(shù)的選取應(yīng)結(jié)合圖像的實(shí)際特點(diǎn)，綜合考慮算法的有效性、穩(wěn)定性和效率。

本文在常規(guī)單純形法的基礎(chǔ)上，對(duì)反射中心進(jìn)行了改進(jìn)，并添加了“頂點(diǎn)平移”策略，形成了ISA優(yōu)化算法。減少迭代次數(shù)，快速收斂到最優(yōu)解。以配準(zhǔn)率作為反饋，依據(jù)輸入圖像的信息優(yōu)化SURF 算法中的組數(shù)、層數(shù)，以及hessian 行列式的閾值。

ISA算法流程如圖5所示。

(1)初始化。對(duì)n維非線性模型，給定初始頂點(diǎn)X0，其余頂點(diǎn)按式(5)計(jì)算，可構(gòu)造邊長(zhǎng)相等的正規(guī)單純形，且k=0。

X(i)=X(1)+a×[q,…,q,p(i),q…,q]T

(i=2,…,n+1)

(5)

其中：p(i)表示第i個(gè)元素為p，

a是單純形邊長(zhǎng)；

(6)

(7)

(8)

(10)

其中，λ∈(0,0.2)是平移系數(shù)。

(4)進(jìn)行單純形反射、收縮、擴(kuò)張、減小棱長(zhǎng)的操作計(jì)算；

(5)如果收斂誤差err大于迭代精度εe，k=k+1，返回(2)；否則，滿足精度要求，迭代計(jì)算結(jié)束。

3 算例與分析

將本文算法和SURF算法運(yùn)用于同一圖片進(jìn)行比較。分別測(cè)試以下不同的圖像變換：仿射變換；圖像模糊；光照變換；JPEG壓縮；尺度旋轉(zhuǎn)。仿真平臺(tái)硬件環(huán)境為：CPU intel 奔騰四核 E6320,2.7GHz,4G內(nèi)存的PC機(jī)；軟件開(kāi)發(fā)工具為Windows 7，MATLAB R2013b。

圖5 改進(jìn)的單純形法流程圖

Mikolajczyzk et al的檢測(cè)方法提到單應(yīng)性矩陣作為輸入作用于特征點(diǎn)及描述符區(qū)域，來(lái)評(píng)價(jià)檢測(cè)算子和描述符在不同圖像變換中的結(jié)合情況?？芍貜?fù)性的定義是兩個(gè)經(jīng)過(guò)不同幾何變換的區(qū)域的正確匹配點(diǎn)對(duì)數(shù)目，是評(píng)價(jià)檢測(cè)算子性能的首要參數(shù)[14]。匹配準(zhǔn)確率是衡量算法配準(zhǔn)性能的另一個(gè)重要參數(shù)。配準(zhǔn)率的定義為：

Ar=Nc/Nr

(11)

其中Nc為正確匹配的對(duì)數(shù)，Nr為兩幅圖中檢測(cè)出的特征點(diǎn)總數(shù)較小的值[15]。

3.1 圖像的不同變換

一幅圖像不可預(yù)測(cè)的變換是相機(jī)或者傳感器對(duì)于物體視角的變化。本文用磚墻的圖片來(lái)檢測(cè)改進(jìn)算法對(duì)于視角變換的性能，圖6中視角從20度到60度變化；模糊不變性是配準(zhǔn)算法很重要的一個(gè)特性，因?yàn)閳D像的清晰程度很容易受到天氣等因素的影響，本文用樹(shù)的圖片來(lái)測(cè)試模糊變換，從左到右圖片模糊程度依次增加；一幅圖片在不同天氣，不同時(shí)間拍攝得到的明暗程度是不一樣的，本文用車(chē)和建筑的圖像來(lái)測(cè)試光照變換，從左到右光照依次變暗；圖像變換中，Joint Photographic Experts Group (JPEG)壓縮變化也是一種常見(jiàn)的變換，本文用建筑和樹(shù)的圖像來(lái)測(cè)試JPEG壓縮變換，左邊是原始圖片，壓縮率為20：1；本文用帆船的圖像來(lái)測(cè)試帶旋轉(zhuǎn)的尺度變換。

圖6 圖像的不同變換

3.2 最近鄰距離比測(cè)試方法(NNDR)

首先測(cè)試改進(jìn)算法的性能，用基本的匹配度量標(biāo)準(zhǔn)來(lái)評(píng)價(jià)匹配是否精確。創(chuàng)建一個(gè)MATLAB程序，從SURF算法所有的輸出中重構(gòu)IPTS的數(shù)據(jù)結(jié)構(gòu)，利用NNDR(nearest neighbor distance ratio)匹配方法和歐式距離的標(biāo)準(zhǔn)對(duì)以上五組圖像進(jìn)行測(cè)試。如果NNDR比IPTS的比值接近1，那么說(shuō)明兩幅圖中所有可能的特征點(diǎn)都被檢測(cè)出來(lái)了。測(cè)試結(jié)果如圖7所示。

圖7 NNDR/Ipts匹配效果圖

圖中顯示的測(cè)試結(jié)果如下：磚墻圖像的比例是26:40，樹(shù)的圖像是26:30，車(chē)和建筑圖像是21:25，建筑和樹(shù)圖像是31:35，船的圖像是11:15。所有的4個(gè)檢測(cè)算子都符合一樣的匹配模式，隨機(jī)結(jié)合的方法在評(píng)估中總是性能最優(yōu)。用NNDR比所有IPTS的比率進(jìn)行比較，測(cè)試結(jié)果說(shuō)明改進(jìn)的算法比原算法計(jì)算出更多匹配對(duì)，克服了特征點(diǎn)檢測(cè)的不連續(xù)性。改進(jìn)的檢測(cè)算子對(duì)于某些測(cè)試有更高的特征點(diǎn)和描述符匹配率。

3.3 不同變換的配準(zhǔn)

(1)分別測(cè)試改進(jìn)的算子對(duì)于圖像視角變換、模糊變換、光照變換以及JPEG壓縮變換的配準(zhǔn)性能，結(jié)果如圖8～11所示。表1和表2是SURF算法、SURF和RANSAC相結(jié)合的算法以及本文算法的性能對(duì)比。

結(jié)果顯示在視角變換為20度到40度時(shí)，旋轉(zhuǎn)算子的配準(zhǔn)率較高。優(yōu)化后的算法配準(zhǔn)率達(dá)到0.95以上。對(duì)于不同程度的圖像模糊，旋轉(zhuǎn)算子的配準(zhǔn)率都是最高的。由圖中看出，旋轉(zhuǎn)的算子對(duì)于光照和JPEG壓縮變換配準(zhǔn)性能均比SURF算子好。

表1 算法性能比較(1)

表2 算法性能比較(2)

從表1和表2可以看出，本文提出的優(yōu)化的旋轉(zhuǎn)SURF算法在保證高配準(zhǔn)率的前提下，縮短了平均配準(zhǔn)時(shí)間。在圖像視角、模糊、光照以及JPEG壓縮變換的配準(zhǔn)比較實(shí)驗(yàn)中，本文算法取得了優(yōu)良的配準(zhǔn)性能。

(2)用帆船的圖像圖12來(lái)測(cè)試帶旋轉(zhuǎn)的尺度變換。

圖12 旋轉(zhuǎn)變換的配準(zhǔn)

如圖13所示，對(duì)于小的尺度變換旋轉(zhuǎn)的算子有更好的性能。當(dāng)尺度變換程度大于1.4時(shí)，SURF算子的性能更好?？傮w來(lái)說(shuō)，對(duì)于大的尺度和旋轉(zhuǎn)變換，SURF算子的性能更好。

圖13 尺度變換配準(zhǔn)率

4 結(jié)論

SURF算法過(guò)于依賴Hessian矩陣行列式，從而造成的特征點(diǎn)檢測(cè)的不連續(xù)性是對(duì)圖像旋轉(zhuǎn)和其他變換魯棒性低的原因。本文針對(duì)SURF算法的不足，提出一種旋轉(zhuǎn)SURF檢測(cè)算子的圖像配準(zhǔn)新方法，通過(guò)將SURF算法中盒子濾波模板逆時(shí)針旋轉(zhuǎn)45度提升檢測(cè)算子的匹配性能，同時(shí)利用改進(jìn)的單純形算法進(jìn)行參數(shù)優(yōu)化。本文測(cè)試了改進(jìn)的檢測(cè)算子在不同圖像變換中的性能，實(shí)驗(yàn)表明，新的配準(zhǔn)方法克服了特征點(diǎn)檢測(cè)的不連續(xù)性，并且在圖像模糊變換，光照變換和JPEG壓縮變換方面配準(zhǔn)性能有明顯的提升，另外對(duì)于視角變換以及小的尺度變換性能也有一定改進(jìn)。

[1] 魏偉波. 基于圖像的目標(biāo)自動(dòng)識(shí)別與跟蹤技術(shù)研究[D]. 南京：南京理工大學(xué),2006.

[2] 馬玉真,胡 亮,方志強(qiáng),等. 計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)的發(fā)展及應(yīng)用研究[J]. 濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版),2004,03:222-227.

[3] 曾 琦,劉 瀏,李建勛. Image registration method based on improved Harris corner detector [J]. Chinese Optics Letters,2010(6): 573-576.

[4] 楊世沛,陳 杰,周 莉,等. 一種基于SIFT的圖像特征匹配方法[J]. 電子測(cè)量技術(shù),2014,37(6):50-53.

[5] Herbert B, Andreas E,Tinne T, et al. Speeded up robust features(SURF)[J]. Computer Vision and Image Under standing,2008,110(3):346-359.

[6] 許佳佳,張 葉,張 赫. 基于改進(jìn)Harris-SIFT算子的快速圖像配準(zhǔn)算法[J]. 電子測(cè)量與儀器學(xué)報(bào),2015(1):48-54.

[7] Juan L, Gwon O. A comparison of SIFT, PCA-SIFT and SURF[J]. Image Processing, 2009,3(4):143-152.

[8] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A comparison of affine region detectors[J]. Computer Vision, 2005,65(1/2):43-72.

[9] 張瑞娟，張建奇，楊 翠. 基于SURF 的圖像配準(zhǔn)方法研究[J]. 紅外與激光工程,2009, 38(1): 160 -165.

[10] 范有臣,李迎春,都 琳. 基于SURF算法的微小位移測(cè)量[J]. 激光與紅外，2012，42(6): 699 -704.

[11] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(6): 381-395.

[12] Bay H. From wide-baseline point and line correspondence to 3D [D]. Switzerland: Technische Hochschule Zurich ,2006:1-7.

[13] Lienhart R, Maydt J. An extended set of Haar-like features for rapid object detection[A]. IEEE Proc on Image Processing[C]. 2002:900-903.

[14] Mikolajczyk K, Schmid C. A performance evaluation of local descriptor[J]. IEEE Transactions on Patter Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[15] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. Computer Vision, 2004,60(2):91-110.

A New Image Registration Algorithm Based on Rotated SURF

Gu Yi , Wang Baoping

(College of Electronics and Information, Northwestern Polytechnical University, Xi’an 710129,China)

Weaknesses in the Fast Hessian detector utilized by the SURF algorithm make it less robust to image rotation, image blurring, illumination change and other transformations. In order to solve this problem, an alternative to the SURF detector is proposed which utilizes filters that are rotated 45 degrees counter-clockwise. This new detector is robust to various image transformation and has the ability to match the original SURF algorithm. The new algorithm is also improved by the simplex algorithm (ISA) which can optimize parameters based on input image. Performance testing shows that the new method retains the speed advantage designed into the original SURF algorithm and outperforms the regular SURF detector when subject to image blurring,illumination changes and JPEG compression. The new method outperforms regular SURF slightly when subjected to affine changes and small image scale transformations.

image registration; SURF algorithm; feature detection; improved simplex algorithm; rotated filter kernels

2017-01-04；

2017-02-06。

國(guó)家自然科學(xué)基金面上項(xiàng)目(51476135)。

顧 漪(1993-)，女，陜西漢中人，碩士研究生，主要從事數(shù)字圖像處理方向的研究。

王保平(1964-)，男，陜西西安人，教授，碩士研究生導(dǎo)師，主要從事向包括雷達(dá)成像、圖像處理等方向的研究。

1671-4598(2017)07-0197-05

10.16526/j.cnki.11-4762/tp.2017.07.049

TN911.73

A