一種自適應(yīng)閾值分塊BRISK的圖像配準方法

石祥濱，孫 奇,張德園，劉 芳

(沈陽航空航天大學(xué) 計算機學(xué)院，沈陽 110136)

計算機工程

一種自適應(yīng)閾值分塊BRISK的圖像配準方法

石祥濱，孫 奇,張德園，劉 芳

(沈陽航空航天大學(xué) 計算機學(xué)院，沈陽 110136)

提出一種基于自適應(yīng)閾值BRISK的圖像配準方法。首先，根據(jù)圖像復(fù)雜度設(shè)置全局初始閾值，并檢測圖像關(guān)鍵點；然后將圖像劃分為若干均勻的子圖像塊，設(shè)置子圖像塊關(guān)鍵點數(shù)量范圍，根據(jù)每個子圖像塊的關(guān)鍵點數(shù)量增加或刪除關(guān)鍵點，并對關(guān)鍵點間距離進行約束，使關(guān)鍵點均勻化；最后匹配關(guān)鍵點，使用RANSAC算法剔除誤匹配并估算變換模型參數(shù)。實驗結(jié)果表明，本文提出的方法能夠自適應(yīng)地設(shè)定閾值，并獲得分布均勻的關(guān)鍵點，從而提高圖像配準的自動化程度。

BRISK；關(guān)鍵點；自適應(yīng)閾值；圖像配準

圖像配準是指對兩幅或多幅有重疊區(qū)域的圖像進行匹配和變換的過程，使圖像在空間位置上對齊。圖像配準是圖像拼接、全景圖生成、圖像超分辨率重建等任務(wù)的基礎(chǔ)，配準結(jié)果的好壞對后續(xù)處理有著重要影響，因此一直是各個領(lǐng)域的研究熱點。自動的圖像配準能在沒有人為參與或較少人為參與的情況下實現(xiàn)，可以在保證一定速度的條件下，達到亞像素級精度。本文重點研究如何實現(xiàn)自動配準。

基于特征的方法是圖像配準中的常用方法，該方法通過提取圖像中的顯著特征(如邊緣、輪廓、直線、關(guān)鍵點等),并利用特征間的匹配關(guān)系估計圖像間的變換關(guān)系。因此，特征提取是圖像配準中的關(guān)鍵環(huán)節(jié)。近年來，文獻中出現(xiàn)大量特征提取算法，如SIFT[1]、SURF[2]、HARRIS[3]、FAST[4]、ORB[5]等，其中SIFT、SURF精度高、魯棒性強，但算法效率不盡人意。HARRIS、FAST、ORB三種算法在速度上有較大優(yōu)勢，但應(yīng)對尺度、視角等圖像變化的魯棒性不理想。

Leutenegger于2011年提出了二進制魯棒尺度不變關(guān)鍵點提取算法BRISK[6](Binary robust invariant scalable keypoints)，該算法因具有適應(yīng)性強、能夠達到亞像素定位精度、運行速度快的優(yōu)點得到了廣泛研究與應(yīng)用。如：文獻[7]將BRISK算法用于對紅外視頻序列間的運動估計中，得到了高精度的全局運動矢量。文獻[8]將BRISK算法應(yīng)用于慣性組合導(dǎo)航系統(tǒng)中，取得了較好的景象匹配效果。文獻[9]首先檢測BRISK關(guān)鍵點，然后對BRISK關(guān)鍵點描述方式及匹配方法進行了改進，實現(xiàn)了視頻序列目標的快速識別與跟蹤。本文考慮到BRISK算法的優(yōu)點，試圖將其應(yīng)用于圖像配準中，但經(jīng)研究與實驗，發(fā)現(xiàn)BRISK算法仍存在需手動設(shè)置閾值和關(guān)鍵點分布不均勻的問題。

針對以上兩點問題，本文提出了一種基于自適應(yīng)閾值分塊BRISK的自動圖像配準方法。該方法根據(jù)圖像復(fù)雜度自適應(yīng)地設(shè)置全局初始閾值，對圖像分塊并以子塊為單位增加或刪除關(guān)鍵點、限制關(guān)鍵點距離使關(guān)鍵點均勻化，進而實現(xiàn)圖像自動配準。

1 基于BRISK的圖像配準方法

基于BRISK的圖像配準方法主要包括BRISK關(guān)鍵點檢測、生成BRISK描述符、關(guān)鍵點匹配、刪除誤匹配、變換模型參數(shù)估計、圖像變換與插值六個環(huán)節(jié)。

在檢測環(huán)節(jié)，BRISK算法首先使用高斯差分濾波器DOG(Difference of Gaussian)構(gòu)建N組S層的高斯差分金字塔，如圖1(a)所示。然后在尺度空間金字塔的每一層執(zhí)行AGAST[10]角點檢測，對檢測的AGAST關(guān)鍵點，根據(jù)響應(yīng)值大小進行尺度空間非極大值抑制，并使用曲線擬合方法計算亞像素精度位置，如圖1(b)所示。

圖1 BRISK算法關(guān)鍵點檢測與描述

在描述環(huán)節(jié)，BRISK采用如圖1(c)所示的固定采樣模式對關(guān)鍵點周圍像素采樣，使用標準差為σ的高斯函數(shù)平滑采樣點，σ與采樣點到關(guān)鍵點的距離成正比，根據(jù)采樣點間的灰度關(guān)系將采樣點對劃分為短距離點對集合S和長距離點對集合L兩類，利用長距離點對集合L計算關(guān)鍵點方向，將采樣點對旋轉(zhuǎn)到關(guān)鍵點方向，利用短距離點對間的亮度比較生成二進制描述符。

在生成BRISK描述符后，可以使用Hamming距離來衡量二進制描述符的相似性，從而實現(xiàn)關(guān)鍵點匹配。然后使用RANSAC[11]剔除誤匹配，利用正確匹配關(guān)鍵點間的對應(yīng)關(guān)系估計變換模型參數(shù)，最后使用變換矩陣對圖像進行變換與插值。

2 自適應(yīng)閾值分塊BRISK關(guān)鍵點檢測

雖然BRISK算法魯棒性強、具備亞像素精度、效率高，但存在需手動設(shè)置檢測閾值和關(guān)鍵點分布不均勻的問題。一方面，手動設(shè)置閾值將無法實現(xiàn)自動配準；另一方面，關(guān)鍵點分布不均勻不利于后續(xù)配準變換模型的計算，有時甚至導(dǎo)致配準失敗。因此，本文對BRISK關(guān)鍵點檢測方法進行改進，提出了自適應(yīng)閾值分塊BRISK的圖像配準方法。首先根據(jù)圖像復(fù)雜度設(shè)置全局初始閾值，檢測關(guān)鍵點，對圖像分塊并以子塊為單位增加或刪除關(guān)鍵點、限制關(guān)鍵點距離使關(guān)鍵點均勻化，下面對其關(guān)鍵環(huán)節(jié)進行詳細論述。

2.1 初始全局閾值的設(shè)置

理想情況下，關(guān)鍵點檢測算法提取的關(guān)鍵點應(yīng)該隨著圖像復(fù)雜度的增加而增加，并且在整幅圖像中均勻分布。針對不同的圖像，BRISK需手動設(shè)定檢測閾值。采用BRISK提取特征點時，對于同一幅圖像，閾值大則關(guān)鍵點數(shù)量少，閾值小則關(guān)鍵點多；在閾值相同的情況下，復(fù)雜度低的圖像檢測到的關(guān)鍵點少，而復(fù)雜度高的圖像檢測到的關(guān)鍵點多。可見，閾值的選擇應(yīng)充分考慮圖像的復(fù)雜程度。為了提高算法的自適應(yīng)性，本文根據(jù)圖像復(fù)雜度自動設(shè)置圖像的全局初始閾值。

圖像的復(fù)雜度是指圖像包含客觀信息量的大小[12]。文獻[12-15]分別使用不同的方法對圖像的整體(或局部)復(fù)雜度進行了表示。本文使用信息熵(Entropy)和灰度共生矩陣((Grey Level Co-occurrence Matrix，GLCM)[16]的三個常用特征參數(shù)(對比度、能量、相關(guān)度)綜合描述圖像的整體復(fù)雜度。

圖像的信息熵能夠客觀反映圖像包含信息量的大小，信息熵越大，圖像包含信息量越大。假設(shè)一幅大小為M×N、灰度級為L的圖像，灰度級為I∈L的像素在圖像中出現(xiàn)的概率為pl，圖像整體信息熵為各個灰度級的信息熵的累加：

(1)

灰度級為L的圖像GLCM共有L階，如公式(2)所示。矩陣元素p(i,j)為像素灰度為i，與該像素空間位置關(guān)系為D、灰度為j的像素出現(xiàn)的次數(shù)。計算出GLCM后，可分別根據(jù)公式(3)、(4)、(5)提取圖像的對比度、能量、相關(guān)性三個紋理特征。

PD(i,j)(i,j=0,1,2,…L-1)

(2)

對比度CON反映了圖像的清晰度和紋理溝紋深淺的程度，清晰度越高、紋理溝紋越深，則對比度越大。

(3)

能量J是灰度共生矩陣的元素值的平方和，反映了圖像灰度分布的均勻性和紋理粗細程度，分布均勻、紋理粗、能量大；反之，能量小。

(4)

相關(guān)性COV用來度量GLCM元素在行、列方向上的相似度。當GLCM矩陣元素值均等時，相關(guān)性大；相反，相關(guān)性小。

(5)

Complex=Entropy+Constract-Energy-Correlation

(6)

其中，Entropy、Contrast分別代表歸一化后的信息熵和對比度，兩者的權(quán)值設(shè)為1，Energy、Correlation分別代表歸一化的能量和相關(guān)性，二者的權(quán)值設(shè)為-1。

圖2 實驗所用部分圖像

本文使用公式(6)對大量圖像的復(fù)雜度進行了計算及統(tǒng)計，圖2展示了所測試的部分圖像，其復(fù)雜度見表1，其中復(fù)雜度為各因子歸一化后的加權(quán)結(jié)果?？梢姡疚乃O(shè)計復(fù)雜度計算公式可客觀地描述圖像的復(fù)雜程度，無需人為參與且結(jié)果符合人類的視覺效果。

表1 部分圖像復(fù)雜度

本文通過實驗對圖像復(fù)雜度、BRISK關(guān)鍵點閾值及檢測結(jié)果進行分析后，根據(jù)圖像復(fù)雜度將閾值劃分為5個等級，設(shè)計了自適應(yīng)全局初始閾值計算函數(shù)Threshold，如公式(7)所示，計算機可根據(jù)圖像復(fù)雜度自動設(shè)定初始閾值，無需人工參與。在不同的應(yīng)用背景下，可適當調(diào)整公式(7)中的閾值及劃分等級，以適合實際需要。

(7)

2.2 關(guān)鍵點均勻化

使用全局初始閾值進行關(guān)鍵點檢測，可有效解決人為設(shè)定閾值工作量大、閾值難以確定的問題，但在圖像紋理分布不均勻的圖像中，所檢測關(guān)鍵點多聚簇于紋理復(fù)雜區(qū)域而在較平坦區(qū)域只有較少關(guān)鍵點，甚至沒有。針對這一問題，本文提出了分塊增加或刪除關(guān)鍵點方法，并通過關(guān)鍵點間距離約束消除關(guān)鍵點聚簇現(xiàn)象，使得關(guān)鍵點均勻化。具體步驟如下：

(1)初始化處理，設(shè)置圖像塊內(nèi)關(guān)鍵點數(shù)量理想范圍，局部閾值下限、局部閾值降低步長,將圖像劃分為N×N個子圖像塊；

(2)依次對每個圖像塊進行判斷，若圖像塊內(nèi)關(guān)鍵點個數(shù)在理想范圍內(nèi)，則結(jié)束當前圖像塊處理，對下一個圖像塊進行判斷；

(3)若圖像塊內(nèi)關(guān)鍵點數(shù)量小于理想范圍的下限，則進行增點處理，具體過程如下：

(a)計算子圖像塊復(fù)雜度，并根據(jù)子圖像塊復(fù)雜度設(shè)置局部初始閾值，對圖像塊進行檢測；

(b)再次對關(guān)鍵點數(shù)量進行判斷，若關(guān)鍵點數(shù)量已大于理想范圍的下限或當前局部閾值已小于局部閾值下限，則結(jié)束當前圖像塊處理，進行下一個圖像塊處理,否則，繼續(xù)步驟(c)；

(c)按設(shè)定步長降低局部閾值，重新檢測，重復(fù)步驟(b)，直至完成該圖像塊處理；

(4)若圖像塊內(nèi)關(guān)鍵點數(shù)量大于理想范圍的上限，則進行刪點處理：根據(jù)響應(yīng)值對關(guān)鍵點排序，只保留規(guī)定范圍內(nèi)響應(yīng)值較大的關(guān)鍵點，刪除其余關(guān)鍵點;

(5)限制關(guān)鍵點間距離。將所有關(guān)鍵點按響應(yīng)值大小降序排列，并保存到初始集合I{k1,k2,…kn}，依次取出關(guān)鍵點ki，i∈[1,n]判斷最終關(guān)鍵點集合F中是否存在關(guān)鍵點與ki的距離大于預(yù)先設(shè)定距離，若是，則舍棄ki，否則，將ki存入最終關(guān)鍵點集合F。

3 實驗結(jié)果分析

本文實驗平臺為：3.00 GHz CPU和1.00 GHz內(nèi)存的PC機，采用VS2008程序開發(fā)環(huán)境和OpenCV庫編程實現(xiàn)。為驗證本文算法的有效性，本文使用分別包含視角、尺度和旋轉(zhuǎn)、光照、模糊變換的四組圖像進行實驗。四組圖像如圖3所示，前兩組圖像來自牛津大學(xué)視覺幾何實驗室，后兩組圖像由手持照相機于沈陽航空航天大學(xué)拍攝獲得。使用本文算法對這四組圖像進行配準，并將配準結(jié)果與閾值為40和70的原算法(分別用BRISK-40和BRISK-70表示)的配準結(jié)果進行比較。

已知圖3(a)中的兩幅圖像的真實變換矩陣

圖3 實驗所用圖像

表2為三種算法在視角變換下的實驗結(jié)果，其中keynum1和keynum2分別為在參考圖像和待配準圖像中所檢測到的關(guān)鍵點數(shù)，allmatches為兩幅圖像的所有匹配點數(shù)，inliers為正確匹配點數(shù)，precision為正確匹配率，precision越高，說明匹配結(jié)果越準確，RMSE為配準精度評價指標，RMSE越小，說明配準精度越高。

從表2可以明顯看出，BRISK-40所檢測出的關(guān)鍵點過多，這是由閾值設(shè)置過小造成的。本文算法和BRISK-70所檢測的關(guān)鍵點數(shù)量適中，均在2000以內(nèi)，本文算法匹配率達到100%，RMSE值與其他兩種算法的值較接近?？梢?，在視角變換下本文算法與原算法均具有較高的配準精度。

表2 視角變換實驗結(jié)果

表3 旋轉(zhuǎn)和尺度變換實驗結(jié)果

從表3可以明顯看出，在匹配準確率和配準精度方面，本文算法性能較高，BRISK-40算法性能適中，BRISK-70，檢測到的關(guān)鍵點數(shù)量較少，且在所檢測到的關(guān)鍵點中是兩幅圖像的同名點的更少，因此無法實現(xiàn)正確匹配，進而導(dǎo)致配準失敗。

表4 光照變換實驗結(jié)果

表5 模糊變換實驗結(jié)果

表5為三種算法在模糊變換下的實驗結(jié)果。三個矩陣的元素值均與真實變換矩陣的元素值非常接近，同時，三種算法的匹配正確率和配準精度均較高，即三種算法均對本組圖像達到了理想的配準結(jié)果。

綜合分析以上四組實驗，三種算法在光照變換和模糊變換下的配準精度較高，明顯高于視角、旋轉(zhuǎn)和尺度變換。由于原算法需根據(jù)不同的情況手動設(shè)置閾值，若使用固定閾值，則在某些情況下容易導(dǎo)致配準失敗(如在旋轉(zhuǎn)和尺度變換實驗中BRISK-70配準失敗)。本文算法自適應(yīng)地設(shè)置閾值，對環(huán)境的適應(yīng)性更強，且配準精度與原算法配準精度相當甚至高于原算法。典型的本文算法配準實例如圖4所示。

圖4 Boat配準實例

本文為解決BRISK關(guān)鍵點檢測需手動設(shè)置閾值的問題，首先計算圖像復(fù)雜度，設(shè)置初始全局閾值，并根據(jù)在圖像塊的關(guān)鍵點進行動態(tài)調(diào)整。因此，與原算法相比，本文算法的復(fù)雜度相對較高。本文算法與BRISK-40，BRISK-70在四種情況下的耗時比較結(jié)果如表6所示，可見，在光照變換和模糊變換情況下，本文算法均比BRISK-40，BRISK-70耗時長，在視角變換下，本文算法比BRISK-70耗時長，但BRISK-40耗時遠遠高于本文算法及BRISK-70，這是由BRISK-40閾值設(shè)置過小，所檢測到的關(guān)鍵點過多所導(dǎo)致，而在尺度和旋轉(zhuǎn)變換情況下，本文算法耗時比BRISK-40長，但BRISK-70配準失敗，這是由BRISK-70閾值取值過大，所檢測到的關(guān)鍵點較少所導(dǎo)致。

表6 三種算法的耗時結(jié)果 s

綜上所述，本文算法能夠自適應(yīng)地設(shè)置閾值，因此對環(huán)境的適應(yīng)能力更強，可以實現(xiàn)自動配準，同時具有較高的配準精度和較好的穩(wěn)定性。但本文算法也存在一些缺陷：復(fù)雜度較高，與閾值較大的原算法相比，耗時較長。

4 結(jié)論

本文對BRISK關(guān)鍵點檢測方法進行改進，提出了自適應(yīng)閾值分塊BRISK的圖像配準方法。首先，根據(jù)圖像復(fù)雜度設(shè)置全局初始閾值，并檢測圖像關(guān)鍵點；然后根據(jù)每個子圖像塊的關(guān)鍵點數(shù)量增加或刪除關(guān)鍵點，并對關(guān)鍵點間距離進行約束，從而提取分布均勻關(guān)鍵點；最后匹配關(guān)鍵點，使用RANSAC算法剔除誤匹配并估算變換模型參數(shù)。實驗結(jié)果表明，本文提出的方法能夠自適應(yīng)地設(shè)定閾值，并獲得分布均勻的關(guān)鍵點，在保證一定精度的情況下，提高了圖像配準的自動化程度。但本文算法運行效率不理想，需采取一些行之有效的措施進行加速處理，有待進一步研究。

[1]Lowe D G.Distinctive image features from scale-invariant key-points[J].International Journal of Computer Vision,2004,60(2):91-110.

[2]Bay H,Tuytelaars T,Van Gool L.Surf:Speeded up robust features[C]//Computer Vision-ECCV 2006.Springer Berlin Heidelberg,2006:404-417.

[3]Harris C,Stephens M.A combined corner and edge detector[C]//Alvey vision conference.1988,15:50.

[4]Rosten,Drummond T．Machine Learning for High speed Corner Detection[C]//European Conference on Computer Vision，Graz，Austria，2006:430-443.

[5]ETHAN R,VINCENT R,KURT K,et al.Bradski.ORB:an efficient alternative to SIFT or SURF[J].International Conference on Computer Vision,2011.

[6]Leutenegger S,Chli M,Siegwart R Y.BRISK:Binary robust invariant scalable keypoints[C]//Computer Vision(ICCV),2011 IEEE International Conference on.IEEE,2011:2548-2555.

[7]張勇,王新賽,李明明,等.魯棒的車載紅外視頻電子穩(wěn)像算法[J].強激光與粒子束,2013,4(4):853-857.

[8]許允喜,蔣云良,陳方.慣性組合導(dǎo)航系統(tǒng)中基于 BRISK 的快速景象匹配算法[J].光電子.激光,2012(8):1559-1596.

[9]曹建,謝曉方,付霖宇,等.基于兩步位操作匹配的實時目標識別跟蹤算法[J].彈箭與制導(dǎo)學(xué)報,2013,33(2):125-128.

[10]Mair E,Hager G D,Burschka D,et al.Adaptive and generic corner detection based on the accelerated segment test[C]//Computer Vision-ECCV 2010.Springer Berlin Heidelberg,2010:183-196.

[11]Fischler M A,Bolles R C.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395.

[12]高振宇,楊曉梅,龔劍明,等.圖像復(fù)雜度描述方法研究[J].中國圖象圖形學(xué)報,2010,1:129-135.

[13]李欣,趙亦工,郭偉.基于復(fù)雜度的自適應(yīng)門限弱小目標檢測方法[J].光子學(xué)報,2009,38(8):2144-2149.

[14]閆成新,桑農(nóng),張?zhí)煨?等.基于局部復(fù)雜度的圖像過渡區(qū)提取與分割[J].紅外與毫米波學(xué)報,2005,24(4):312-316.

[15]郭云彪,尤新剛,張春田,等.面向信息隱藏的圖像復(fù)雜度研究[J].電子學(xué)報,2006,34(6):1048-1052.

[16]Wu C M,Chen Y C,Hsieh K S.Texture features for classification of ultrasonic liver images[J].Medical Imaging,IEEE Transactions on,1992,11(2):141-152.

(責(zé)任編輯：劉劃 英文審校：劉敬鈺)

MethodofimageregistrationbasedonadaptivethresholdandblockBRISKalgorithm

SHI Xiang-bin,SUN Qi,ZHANG De-yuan,LIU Fang

(College of Computer Science and Engineering,Shenyang Aerospace University,Shenyang 110136，China)

An image registration method based on the adaptive threshold BRISK is proposed.Firstly,global initial threshold is set according to image complexity and image keypoints are detected.Then,image is divided into a number of uniform sub-image blocks,the ranges of keypoints of sub-image blocks are set,keypoints are added or deleted based on each sub-image block′s keypoints number,and the distance between keypoints is limited.Finally,we match the extracted keypoints and use RANSAC to remove the mismatches,and calculate the transformation matrix.Experimental results show that the proposed method can adaptively set thresholds and get keypoints with even distribution,and increase the automation degree of image registration.

BRISK;keypoint;adaptive threshold;image registration

2013-11-18

國家自然科學(xué)基金(項目編號：61170185)

石祥濱(1963-)，男，遼寧大連人，教授，主要研究方向：分布式操作系統(tǒng)、虛擬現(xiàn)實、網(wǎng)絡(luò)游戲，E-mail：sxb@sau.edu.cn。

2095-1248(2014)03-0065-08

TP391.4

A

10.3969/j.issn.2095-1248.2014.03.013