歸一化積相關(guān)Brisk圖像配準算法

李秀華， 姚 佳

(長春工業(yè)大學 計算機科學與工程學院， 吉林 長春 130012)

?

歸一化積相關(guān)Brisk圖像配準算法

李秀華， 姚 佳

(長春工業(yè)大學 計算機科學與工程學院， 吉林 長春 130012)

首先應用歸一化積的相關(guān)系數(shù)進行圖像塊的匹配，對匹配成功的圖像運用AGAST算法提取特征點，再將提取的特征點應用Brisk描述子進行描述，最后應用漢明距離對Brisk描述子進行匹配。

AGAST算法； Brisk算法； 歸一化積相關(guān)

0 引 言

圖像配準不僅在機器視覺、遙感、醫(yī)學等眾多領域已得到普遍應用，在軍事方面也取得了令人矚目的成績。人類要從相同場景的兩幅或多幅圖像中獲得更多的可利用信息時，就應該采取圖像配準方法，對得到的圖像進行處理。其中，Lowe[1]在2004年完善后的SIFT算法是一種效果較好也是比較成功的一種算法，但是該方法提取的冗余點多、計算復雜度較高。針對SIFT算法速度上的不足，Y.Ke[2]等結(jié)合主成分分析提出了一種PCA-SIFT算法，而Bay[3]等應用積分圖像與黑森矩陣(Hessian)檢測算子提出了SURF算法。隨后，為了滿足圖像配準越來越高的實時性，Rublee[4]等在2011年提出了ORB算法，同年，Leutenegger[5]等提出了Brisk算法。在2012年，由王宏志[6]等將比值法與小波變換理論相結(jié)合的圖像拼接方法改善了圖像拼接的精度。

Brisk算子是一種新提出的二進制描述算子，并且同時具有尺度不變和旋轉(zhuǎn)不變性。與SIFT、ORB等其他描述算法相比，Brisk算子在計算量和特征點匹配的時間方面也有明顯提高，并且具有很高的性能。目前，在角點特征檢測[7]、圖像匹配[8]、圖像識別[9]等領域,Brisk算法一直都是研究的熱點。對Brisk算法的改進方法也層出不窮，分別在自適應閾值[10]、融合深度信息[11]、尺度空間[12]等多個方面進行了改進。因此,文中針對提取的特征點較為廣泛，而提取的有些特征點在兩幅圖像的非重疊區(qū)域之中，會降低匹配特征點的效率。針對這個問題提出采用歸一化積相關(guān)的方法來優(yōu)化Brisk算法，用優(yōu)化的算法對圖像重疊區(qū)域提取的進行特征點匹配，以提高匹配效率和匹配正確率。

1 基于Brisk的圖像配準方法

Brisk的圖像配準方法主要包括3個環(huán)節(jié)：關(guān)鍵點提取、生成描述符和關(guān)鍵點匹配。

1.1 關(guān)鍵點提取

在檢測環(huán)節(jié)，Brisk算法首先應用高斯差分濾波器(Difference of Gaussian， DOG)把圖像構(gòu)建成為N組S層的高斯差分金字塔，如圖1所示。

圖1 高斯差分金字塔

然后分別在尺度空間金字塔的每層都使用AGAST角點檢測算法，對AGAST算子檢測出的關(guān)鍵特征點，根據(jù)檢測出的響應值分布進行尺度空間的非極大值抑制，并應用曲線擬合的方法來計算圖像亞像素精度的分布位置，如圖2所示。

圖2 尺度空間關(guān)鍵點檢測

AGAST檢測算子主要應用了模式為FAST9-16的檢測算子，分別使用相同閾值T對各個圖像組以及內(nèi)插組來對關(guān)鍵點進行提取與檢測，即在提取的關(guān)鍵點周圍16個圓環(huán)點中至少存在9個連續(xù)的點，這9個連續(xù)的點一定要與中心點的像素值不同。對滿足條件的關(guān)鍵點進行提取，并應用非極大值抑制方法來去除不穩(wěn)定的特征點。

1.2 特征點描述子構(gòu)造

描述符采樣模式如圖3所示。

圖3 描述符采樣模式

在描述特征點過程中，為了確保描述子的旋轉(zhuǎn)不變形，應對提取關(guān)鍵點的鄰域像素對應用主方向歸一化的方法，從而構(gòu)造具有旋轉(zhuǎn)不變性的描述子。因此Brisk采用圖3所示的采樣模式，即對關(guān)鍵點周圍像素采樣的固定采樣模式。平滑采樣點的方法是使用高斯函數(shù)的標準差，標準差到關(guān)鍵點的距離隨著采樣點到關(guān)鍵點距離的增長而增長，對采樣點的劃分采用采樣點間灰度關(guān)系的方法，分為短距離點對和長距點對集合兩類。關(guān)鍵點方向的計算主要是利用長距離點對集合，把采樣點對的方向旋轉(zhuǎn)到與關(guān)鍵點方向一致，生成二進制描述符是利用比較短距離點對間的亮度來生成的。

1.2.1 采樣與主方向估計

為了提高描述子的抗干擾性與甄別性，在關(guān)鍵點的中心選擇N個鄰域點進行采樣，對采樣點的中心半徑σ平滑就要采用方差為?的高斯濾波器。對于N·(N-1)個采樣點對g(pi,pi)其局部的梯度值g(pi,pj)通過平滑后的像素值來估計：

對所有的采樣點集合：

其中，通過對長距離的像素設置距離閾值，通過迭代的方法可以估計出關(guān)鍵點的主方向。為了降低算法的運算復雜度和降低對關(guān)鍵點的整體梯度的影響，應基于對短距離的像素對梯度選取長距離的像素對。

1.2.2 構(gòu)建描述子

必須對描述子進行旋轉(zhuǎn)與尺度歸一化，以保持Brisk描述子的旋轉(zhuǎn)和尺度不變性。在算法中α=arctan2(gy,gx)為描述子主方向的角度，而描述子向量則采用像素值之比，此像素值之比是經(jīng)過方向歸一化后的短距離像素對之比。

描述子的構(gòu)造采用了一些Brief的傳統(tǒng)思想，但與之相比，本質(zhì)上又有一些不同，在采樣點的選取與相鄰采樣點的處理上也有一些不同的操作方法。首先，需要在歸一化的半徑范圍內(nèi)對采樣點進行選取，也就是通過尺度的不同可以自動調(diào)整采樣區(qū)域半徑；其次，不會對相鄰采樣點之間的高斯濾波造成影響，進而描述子的魯棒性也有了提高；最后，對采樣點的像素對同時進行分組，分為兩組，即長距離組與短距離組。由于采樣數(shù)量偏少，分別計算長、短距離組描述子的主方向與描述向量。

1.3 描述子匹配

在生成Brisk描述符后，應用hamming距離來估量二進制描述符的相似性，進而實現(xiàn)提取關(guān)鍵點的匹配。然后應用RANSAC剔除誤匹配，利用準確匹配關(guān)鍵點之間的對應關(guān)系估計圖像的變換模型參數(shù)，最后應用變換矩陣對圖像進行插值與變換。

2 基于歸一化積相關(guān)的Brisk算法

2.1 歸一化積相關(guān)算法

歸一化積相關(guān)算法是一種經(jīng)典的灰度相關(guān)算法，因此，具有不受比例因子誤差的影響和抗白噪聲能力強等優(yōu)點。文中相似性度量值是以待配準圖像與配準圖像之間歸一化積相關(guān)系數(shù)作為準則，通過逐步比較待配準圖像搜索矩陣與原圖像搜索矩陣之間的相關(guān)系數(shù)，得到其中的最大值點，也就是配準圖像的最佳匹配位置。從而對匹配成功的圖像進行特征點提取和特征點匹配，最后實現(xiàn)兩幅圖像的配準。首先，歸一化積相關(guān)計算過程是計算相關(guān)矩陣，并且應用歸一化積相關(guān)算法，通過尋找相關(guān)系數(shù)來確定矩陣之間的最大值點(即匹配點)。相關(guān)矩陣可以表示為:

設I為待配準圖像，大小為W×H，T為配準圖像，大小為M×N,則相關(guān)矩陣尺寸為(W-M+1)×(H-N+1),即包含了(W-M+1)×(H-N+1)個相關(guān)系數(shù)。坐標(x,y)處的待配準圖像與原圖像的歸一化積相關(guān)系數(shù)的定義形式為：

2.2 歸一化積相關(guān)的區(qū)域分割方法

文中應用區(qū)域分割的方法，也就是模板分塊匹配的方法，通過設定不同的閾值，對分割后的小區(qū)域進行計算和比較，排除了不需要特征點提取的區(qū)域，以及提高了在特征點提取、特征點匹配的速度。區(qū)域分割法是應用分割圖來代替原來的模板，通過計算圖像分塊區(qū)域的相關(guān)性的計算來判斷匹配區(qū)域的位置，即圖像配準的最佳匹配位置。

首先設定原圖像為基準圖f，待配準圖像為實時圖g，對實時圖與基準圖進行同樣的方式按列劃分，分塊后的實時圖分別為T1,T2，…,TN，基準圖分別為S1,S2，…,SN，將實時圖的N塊圖像分別記為搜索模板,并且分別與基準圖的圖像塊進行交叉匹配。模板T在圖像S上平移，(i,j)為左上角頂點的搜索圖S中的坐標。設定最大相似性度量的值為一個常數(shù)，搜索圖和模板的相似性通過度量函數(shù)來度量。在搜索過程中，采用歸一化積相關(guān)匹配算法，計算模板塊的相似度，如果模板塊的相似度小于設定的最大相似性度量的常數(shù)，則對第2塊模板塊進行相似性度量的計算，并且與相似性度量的最大值進行比較，直到最后的相似性度量的結(jié)果大于設定的最大相似性度量的常數(shù)，則停止接下來的匹配計算，并對匹配成功的區(qū)域進行特征點的提取以及特征點的匹配。

2.3 圖像的配準

在對圖像進行匹配完成之后，應用對應的Brisk算法對匹配完成的圖像進行圖像配準，包括提取特征點，特征點描述子的生成以及最后的描述子的匹配。最后得到相應的圖像配準結(jié)果。

3 實驗結(jié)果

采用VS2010程序開發(fā)環(huán)境和OpenCV2.4.3庫進行編程，使用的圖片是在實驗室采集的。為驗證文中改進算法的有效率及準確性，將原算法與改進算法的特征點數(shù)、時間、正確匹配率的結(jié)果分別進行比較，從而得出配準的實驗結(jié)論。

3.1 匹配結(jié)果對比分析

對比實驗分別是原始算法與文中算法的實驗結(jié)果對比和文中算法與原經(jīng)典算法ORB的實驗結(jié)果對比，文中采用3組圖像進行實驗，分別如圖4～圖6所示。

(a) 原始算法匹配結(jié)果 (b) 文中算法匹配結(jié)果

(a) 原始算法匹配結(jié)果 (b) 文中算法匹配結(jié)果

(a) 原始算法匹配結(jié)果 (b) 文中算法匹配結(jié)果

從原始圖像的實驗結(jié)果可以看出，匹配的特征點較多，特征點匹配對分布較為雜亂，而從文中改進算法的實驗結(jié)果可以看到，特征點匹配對較為集中，匹配精確度較高。對比匹配結(jié)果可以看出，文中算法能夠自動匹配兩幅圖像的重疊區(qū)域，并且只對重疊區(qū)域的特征點進行匹配，得到的匹配對分布均勻，擁有較好的實用能力。由于文中算法與原始算法都是對兩幅圖片的特征點進行提取，因此，對比結(jié)果中的特征點數(shù)相差無幾，在精度分析的數(shù)據(jù)中不做顯示。

文中對比實驗結(jié)果為文中算法與原經(jīng)典算法ORB的實驗結(jié)果。本對比實驗為更加突出原BRISK算法與文中算法的先進之處，依舊采用前3組圖片進行對比實驗，分別如圖7～圖9所示。

(a) 文中算法匹配結(jié)果 (b) ORB算法匹配結(jié)果

(a) 文中算法匹配結(jié)果 (b) ORB算法匹配結(jié)果

(a) 文中算法匹配結(jié)果 (b) ORB算法匹配結(jié)果

根據(jù)以上實驗結(jié)果可以看出，OBR算法的匹配點數(shù)繁多，且匹配出的無效點較多，匹配正確率較低。針對文中算法對特征點的匹配區(qū)域比較集中，且匹配正確率較高，在實際應用方面有很大優(yōu)勢。

3.2 匹配精度分析

文中的配準精度客觀評價標準參見文獻[13]，采用均方根誤差的評價標準進行評價。本實驗采用閾值為60的Brisk算法參與對比實驗。兩種方法的時間統(tǒng)計結(jié)果對比分析見表1。

表1 原始算法與改進算法特征點檢測的時間統(tǒng)計

在匹配階段，文中算法由于采用歸一化積進行圖像匹配，最后又計算了漢明距離的匹配正確率，可能在計算速度上有所降低，但隨后進行的特征點匹配則大大降低了匹配時間，通過部分圖像的特征點對的匹配及檢測漢明距離以確定匹配的正確率，剔除了大量的非匹配點。對3組實驗圖像進行特征點匹配的正確率與時間統(tǒng)計對比分別見表2和表3。

表2 文中算法特征點匹配的正確率和時間統(tǒng)計

表3 Brisk算法特征點匹配的正確率和時間統(tǒng)計

通過對比實驗可以看出，文中算法不僅提高了執(zhí)行效率，達到了預先的理想效果，并且與BRISK匹配速度基本一致，但在總體匹配正確率上文中算法有著明顯的優(yōu)勢。

通過表2、表3的對比可以看出，文中算法不僅提高了匹配效率，而且大大提高了匹配正確率。

表4 文中算法與ORB算法特征點匹配的正確率和時間統(tǒng)計

表5 ORB算法特征點匹配的正確率和時間統(tǒng)計

通過表4、表5文中算法與ORB算法的對比數(shù)據(jù)可以看出，文中算法不僅在運算速度上比ORB算法快，并且在特征點匹配的正確率上有著明顯優(yōu)勢。

4 結(jié) 語

針對原始Brisk算法的特征點檢測過于繁多、特征點匹配效率過低等問題，提出了一種改進的Brisk算法。實驗結(jié)果表明，通過改進原始的Brisk算法能夠減少配準時間，提高配準效率與配準的準確性，并且也很好地繼承了原始算法的優(yōu)點。

[1] Lowe D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision,2004,60(2):91-110.

[2] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on,2004,2(2):506-513.

[3] Bay H, Tuytelaars T, Van Gool L. Surf: Speeded up robust features [M]. [S.l.]: Computer Sion-ECCV,2006:404-417.

[4] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF [M]. [S.l.]: Computer Vision (ICCV),2011:2564-2571.

[5] Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary robust invariant scalable keypoints [M]. [S.l.]: Computer Vision (ICCV),2011:2548-2555.

[6] 王宏志,李美靜,張立偉，等.畸變圖像拼接算法研究[J].長春工業(yè)大學學報：自然科學版，2012,33(5):533-536.

[7] 曹建,謝曉方,梁捷，等.基于BRISK改進的快速角點特征算法[J].艦船電子工程，2013,5:44-47.

[8] 衛(wèi)星,樊紹勝,高山，等.基于BRISK的圖像快速匹配與變換算法[J].電子測量技術(shù)，2015,38:43-47.

[9] 桂振文,劉越,陳靖，等.一種適用于智能手機的圖像識別算法[J].電子學報，2014(8):1487-1494.

[10] 石祥斌,孫奇,張德園，等.一種自適應閾值分塊BRISK的圖像配準方法[J].沈陽航空航天大學學報，2014,31:65-72.

[11] 張恒,劉大勇,劉艷麗，等.融合深度信息的BRISK改進算法[J].計算機應用，2015,35(8):2285-2290.

[12] 何林陽,劉晶紅,李剛，等.改進BRISK特征的快速圖像配準算法[J].紅外與激光工程，2014,43:2722-2727.

[13] 許斌，徐萬朋,陳向?qū)帲?基于BPT分割的SAR與可見光圖像配準方法[J].四川兵工學報，2014,35:105-108.

Normalized product correlation Brisk image registration algorithm

LI Xiuhua， YAO Jia

(School of Computer Science and Engineering, Changchun University of Technology, Changchun 130012， China)

The normalized product correlation coefficient is applied for image block matching, and the feature points of matched images are extracted with AGAST algorithm. Then the feature points are described with Brisk descriptor which is matched with Hanming distance.

AGAST algorithm； Brisk algorithm； normalized product correlation.

2016-12-28

吉林省科技廳基金資助項目(KJT2016-1)

李秀華(1971-)，女，漢族，吉林樺甸人，長春工業(yè)大學副教授，博士,主要從事智能控制與圖像處理方向研究,E-mail:lixiuhua@ccut.edu.cn.

10.15923/j.cnki.cn22-1382/t.2017.2.12

TP 301.6

A

1674-1374(2017)02-0167-07