一種針對MSER區(qū)域的雙層匹配策略

王建永,常 偉

(火箭軍工程大學 士官學院,山東 青州 262500)

一種針對MSER區(qū)域的雙層匹配策略

王建永,常 偉

(火箭軍工程大學 士官學院,山東 青州 262500)

為了快速高效地采用圖像的最大穩(wěn)定極值區(qū)域(MSER)進行圖像匹配，提出了一種針對歸一化MSER區(qū)域的雙層匹配策略。對于待匹配圖像的MSER區(qū)域進行歸一化之后，采用互相關(guān)性進行區(qū)域的粗匹配；再將候選匹配區(qū)劃分為4×4個子區(qū)域，計算對應(yīng)子區(qū)域的hausdorff距離，作為投票依據(jù)，根據(jù)投票多少從候選匹配對中選擇最優(yōu)匹配對作為最終的匹配結(jié)果。采用標準圖像庫及實拍紅外圖像進行了2組實驗，實驗結(jié)果表明，該方法能夠較好地完成圖像匹配任務(wù)。提出了一種針對MSER區(qū)域的雙層匹配策略，采用標準圖像庫及紅外實拍圖像進行了匹配試驗。實驗結(jié)果表明，方法簡單高效，匹配效果較好。

最大穩(wěn)定極值區(qū)域；雙層匹配策略；互相關(guān)性；hausdorff距離；圖像識別

0 引言

圖像局部特征提取在圖像匹配，目標檢測、跟蹤等方面有著重要應(yīng)用。局部特征檢測包括特征區(qū)域或特征點的檢測，對這些特征區(qū)域或特征點進行描述，使其具有某些不變特征[1]。最常用的特征點提取算法為SIFT特征檢測，而區(qū)域檢測方法則有MSER[2]、Harris-Affine[3]、Hessien-Affine[4]、EBR、IBR[5]和Salient Region等。在比較了MSER、SIFT及其他檢測算法之后，結(jié)果顯示SIFT檢測平坦物體效果較好，而MSER對大多數(shù)物體均有較好的檢測效果[6-9]。K Mikolajczyk[10]等對上述5種常用的區(qū)域檢測方法進行了比較分析，結(jié)果表明在區(qū)域檢測算子中，MSER檢測最為穩(wěn)定，效果也最為理想。

鑒于MSER區(qū)域在視角變換、光照變化和尺度縮放等畸變影響下的高穩(wěn)定性，利用MSER進行圖像匹配、目標識別等任務(wù)一直是一項重要的選擇[11]。如何實現(xiàn)對應(yīng)2幅圖像中MSER區(qū)域的匹配，常用方法是為MSER添加描述，常見的描述方法有SIFT[12-13]、GLOH[14]等利用局部梯度信息進行特征描述，以及利用局部灰度信息對鄰域紋理特征進行描述的局部二值模式[15](Local Binary Patterns，LBP)。文獻[16]中提出了一種多尺度自卷積熵的新型描述符，將其與多尺度自卷積進行融合作為MSER的描述。上述提到的幾種描述方法計算相對復(fù)雜，本文提出了一種雙層匹配方法，首先利用2幅圖像MSER區(qū)域之間的互相關(guān)性進行粗匹配，然后將區(qū)域進行分塊，塊與塊之間采用hausdorff距離進行投票，最終確定匹配結(jié)果。實驗結(jié)果表明，本文方法原理簡單，匹配效果較好。

1 最大穩(wěn)定極值區(qū)域MSER

最大極值穩(wěn)定區(qū)域使用地形中分水嶺的概念來求解穩(wěn)定局部區(qū)域。在求取MSER的原理中有以下定義：

① 圖像I是一個區(qū)域D到灰度S的映射：D?Z2→S，對于灰度圖像，S={0,1,…,255};

② 鄰域關(guān)系A(chǔ)?D×D;

③ 區(qū)域Q是D的一個連通子集；

④ 區(qū)域邊界?Q不屬于區(qū)域Q，但區(qū)域Q中至少存在一個像元與其構(gòu)成鄰接關(guān)系；

⑤ 極值區(qū)域Q?D，對于所有p∈Q，q∈?Q：I(p)>I(q)(最大極值區(qū)域)或I(p)

如果Q1,…Qi-1,Qi,…為一系列相互包含的極值區(qū)域，即Qi?Qi+1。若極值區(qū)域Qi*為最大極值區(qū)域，當且僅當區(qū)域變化率q(i)=|Qi+Δ-Qi-Δ|/Qi在灰度值i*處取得局部極小值，|·|表示區(qū)域面積，Δ∈S，為微小的灰度變化。

由上面幾個定義可知，MSER即是指在某個灰度閾值i的時候，區(qū)域內(nèi)像元數(shù)量變化最小的區(qū)域。

直接提取的MSER區(qū)域為不規(guī)則區(qū)域，需進行歸一化[18-19]，將不規(guī)則區(qū)域擬合為橢圓，再仿射歸一化為圓形區(qū)域。在歸一化區(qū)域內(nèi)進行圖像梯度直方圖統(tǒng)計，找出直方圖最大值，將其對應(yīng)的方向作為歸一化圖像梯度的主方向。根據(jù)主方向?qū)w一化圖像進行旋轉(zhuǎn)歸一化，以消除仿射變換等畸變影響對提取區(qū)域的影響。

2 雙層匹配策略

提取MSER區(qū)域之后，就是對區(qū)域進行匹配，為圖像匹配、目標識別等做準備。MSER區(qū)域相對于圖像來說尺寸較小，怎樣充分利用這些圖像信息是影響匹配效果的關(guān)鍵。互相關(guān)性在早期模板匹配中有較好的應(yīng)用，但是不能抗旋轉(zhuǎn)等畸變影響，而歸一化后的MSER區(qū)域原理上可以消除扭曲變形、尺度大小和旋轉(zhuǎn)方向上的差異，針對MSER區(qū)域這一優(yōu)點，引入?yún)^(qū)域之間的互相關(guān)性指標，基于此本文提出了一種雙層匹配方法，首先利用2幅圖像歸一化后的MSER區(qū)域之間的互相關(guān)性進行粗匹配，然后將區(qū)域進行分塊，塊與塊之間采用hausdorff距離進行投票，最終確定匹配結(jié)果。

2個區(qū)域之間的互相關(guān)性指標可以通過下式計算：

(1)

式中，MSERm(i,j)，MSERn(i,j)分別代表2幅圖像中的MSER區(qū)域的灰度值。當區(qū)域灰度信息區(qū)別明顯時，直接采用相關(guān)性指標，當corr大于設(shè)置的閾值時即表示實現(xiàn)了正確匹配，但灰度信息接近時則會出現(xiàn)一對多或多對一的情況，以致出現(xiàn)誤匹配。

為從這些錯誤的匹配情況中提取出正確的匹配對，本文設(shè)計了一種精匹配的思路。以圖1為例，圖1(a)為基準圖，圖1(b)和圖1(c)均為經(jīng)粗匹配得到的候選匹配圖像，現(xiàn)將每個區(qū)域分為4×4個子區(qū)域，如A={Apatch1,Apatch2,…,Apatch16}，B={Bpatch1,Bpatch2,…,Bpatch16}，各子區(qū)域之間的hausdorff距離[17]可通過下式計算得到：

hausdorff(A,B)=max(dh(A,B),dh(B,A))，

(2)

(a) 基準圖 (b) 匹配圖 (c) 匹配圖圖1 精匹配中的子區(qū)域劃分

雙層匹配策略實現(xiàn)的具體步驟如下：

① 提取待匹配圖像的MSER區(qū)域;

② 計算區(qū)域之間的互相關(guān)性，若corri>th1且corrmax/corrnext>th2，則為正確匹配區(qū)域；若corri>th1且corrmax/corrnext

③ 對步驟②中得到的候選匹配對進行處理。將MSER區(qū)域分別劃分為4×4個子區(qū)域，計算對應(yīng)子區(qū)域之間的hausdorff距離，若hdi>th3，則投一次票;

④ 統(tǒng)計得票情況，得票最多的匹配對即為最終的匹配結(jié)果。

其中corrmax代表相關(guān)性最大的區(qū)域?qū)Γ琧orrnext代表相關(guān)性次大的區(qū)域?qū)?，th1～th3代表3個閾值。

以圖1為例，圖1中(a)應(yīng)與圖1(b)匹配，但是與圖1(c)出現(xiàn)了誤匹配，corrab=0.992 2，corrac=0.995 2。利用投票策略后，得到的票數(shù)分別為voteab=9，voteac=4，進而排除圖1(a)和圖1(c)組合，得到正確的匹配結(jié)果圖1(a)和圖1(b)。

3 實驗結(jié)果與分析

為驗證算法的有效性，本文設(shè)計了2個實驗。試驗1采用哥倫比亞大學coil-100標準圖像庫[20]。coil-100標準圖像庫包含了7 200幅圖像(100個物體，每個物體旋轉(zhuǎn)5°拍攝一張圖像，共拍72張，大小為128×128)，本文選擇第14個物體圖像作為實驗的數(shù)據(jù)集。采用文獻[4]中的實驗方法，以下面7幅中均檢測出的區(qū)域作為匹配對象，將相同位置處區(qū)域劃分為一類，如左眼作為一類，得到7類區(qū)域，每一類包括6個區(qū)域。以0°圖像為準對6幅圖像進行匹配，試驗中設(shè)th1=0.9，th2=1.006，th3=5，識別率為85.71%，如圖2所示。

圖2 實驗1中所用的圖像及提取的MSER區(qū)域

利用本文方法的匹配結(jié)果如圖3所示。由圖3可以看出，旋轉(zhuǎn)角度較小時(±30°以下)；匹配區(qū)域連線接近于平行，當出現(xiàn)大角度旋轉(zhuǎn)時(±30°以上)，匹配區(qū)域連線會出現(xiàn)交叉。在以往的匹配結(jié)果處理中，常采用RANSAC消除誤匹配，而對于實驗1中的情況，RANSAC將會消除過多的正確匹配區(qū)域。實驗1中沒有采用RANSAC消除誤匹配，而是直接顯示的采用雙層匹配策略得到的正確匹配結(jié)果。

實驗2利用M3制冷型紅外熱像儀拍攝了一組序列圖像，該序列圖像為某發(fā)電廠周圍區(qū)域，使用本方法得到的匹配結(jié)果如圖4所示。從匹配結(jié)果可以看出，在序列圖出現(xiàn)平移、旋轉(zhuǎn)等畸變時，本文算法仍能準確進行匹配。

圖3 實驗1匹配結(jié)果

圖4 實驗2匹配結(jié)果

4 結(jié)束語

本文提出了利用MSER區(qū)域進行匹配識別的雙層匹配策略，并且采用coil-100標準圖像庫及紅外實拍圖像進行了2組匹配試驗，得到了較好的匹配效果。本文針對描述子生成較復(fù)雜的問題，提出了針對歸一化MSER區(qū)域的雙層匹配策略：利用互相關(guān)性進行粗匹配，將候選區(qū)域進行分塊，采用hausdorff距離進行投票，最終確定正確匹配區(qū)域。本文提出的雙層匹配策略計算量小，易于實現(xiàn)，在實拍圖像的匹配識別中體現(xiàn)出較好的匹配結(jié)果。

[1] 吳偉平.局部仿射不變特征的提取技術(shù)研究[D].中國科學院研究生院(長春光學精密機械與物理研究所),2015.

[2] MIKOLAJCZYK K,SCHMID C.Scale & Affine Invariant Interest Point Detectors[J].International Journal of Computer vision,2004,60(1):63-86.

[3] MIKOLAJCZYK K,SCHMID C.An Affine Invariant Interest Point Detector[C]∥Computer Vision—ECCV 2002.Springer Berlin Heidelberg,2002:128-142.

[4] MATAS J,CHUM O,URBAN M,et al.Robust Wide-baseline Stereo from Maximally Stable Extremal Regions[J].Image and vision computing,2004,22(10):761-767.

[5] TUYTELAARS T,GOOL V L.Matching Widely Separated Views Based on Affine Invariant Regions[J].International journal of Computer Vision,2004,59(1):61-85.

[6] KIMMEL R,ZHANG C,BRONSTEIN A M,et al.Are MSER Features Really Interesting?[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(11):2316-2320.

[7] 廉藺,李國輝,王海濤,等.基于MSER的紅外與可見光圖像關(guān)聯(lián)特征提取算法[J].電子與信息學報,2011(7):1625-1631.

[8] 柳濤.多通道圖像MSER局部不變特征提取算法研究[D].長沙：國防科學技術(shù)大學,2010.

[9] 程丹,范洪冬,鄧喀中,等.基于MSER的SAR影像配準算法[J].測繪通報,2014(12):28-31.

[10] MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision,2005,65(1-2):43-72.

[11] 萬文寅.最大穩(wěn)定極值區(qū)域應(yīng)用研究[D].西安：西安電子科技大學,2011.

[12] 杜玉龍,李建增,張巖,等.基于MSER與SIFT融合的多通道圖像匹配算法研究[J].軍械工程學院學報,2016(1):52-58.

[13] 王帥,孫偉,姜樹明,等.基于旋轉(zhuǎn)不變特征的SIFT描述子在圖像配準中的應(yīng)用[J].計算機應(yīng)用,2014(9):2678-2682.

[14] MIKOLAJCZYK K,SCHMID C.A Performance Evaluation of Local Descriptors[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2005,27(10):1615-1630.

[15] 韓田甜,李航,張濤.基于改進HOG-LBP特征的行人檢測[J].信息工程大學學報,2016(3):298-302.

[16] 張潔玉,陳強,白小晶,等.一種新的局部仿射不變特征描述符[J].光電子·激光,2009,11(20):1503-1506.

[17] DUBUISSON M P,JAIN A K.A Modified Hausdorff Distance for Object Matching[J].Pattern Recognition,1994.Vol.1-Conference A:Computer Vision & Image Processing,Proceedings of the 12th IAPR International Conference on.IEEE,1994,1:566-568.

[18] PEI S C,LIN C N.Image Normalization for Pattern Recognition[J].Image and Vision Computing,1995,13(10):711-723.

[19] LEU J G.Shape Normalization through Compacting[J].Pattern Recognition Letters,1989,10(4):243-250.

[20] Columbia University.Coil-100 imagedatabase[EB/OL].http:∥www.cs.columbia.edu/CAVE/software/softlib/coil-100.php

ATwo-stepMatchingStrategyforMSERs

WANG Jian-yong,CHANG Wei

(RocketForceUniversityofEngineering,QingzhouShandong262500,China)

To quickly and efficiently conducting the image matching task using the Maximally Stable Extremal Regions(MSER),this paper presents a novaltwo-step matching strategy for the normalized MSER regions.After the MSER regions extracted from images to be matched are normalized,the coarse matching is performed by using cross correlation;the candidate regions are divided into 4×4sub-regions,the hausdorff distance of the corresponding sub-regions is calculated,and the results are used as the voting basis.Depending on the voting results,the best matching pairs are chosen from the candidates as the final matches.The two experiments are conducted by using standard image database and real infrared images respectively.The experimental results show that the proposed method can better complete the image matching task.This paper presents a two-step matching strategy for MSER regions,and the two matching experiments are conducted by using standard image database and infrared images respectively.The results show that this method is simple and efficient,and has better matching effect.

MSER;two-step matching strategy;cross correlation;hausdorff distance;image recognition

10.3969/j.issn.1003-3106.2017.10.15

王建永,常偉.一種針對MSER區(qū)域的雙層匹配策略[J].無線電工程,2017,47(10):68-72.[WANG Jianyong,CHANG Wei.A Two-step Matching Strategy for MSERs[J].Radio Engineering,2017,47(10):68-72.]

TP391.4

A

1003-3106(2017)10-0068-05

2017-07-05

王建永男,(1989—),碩士，助教。主要研究方向：測試與控制技術(shù)。常偉男，(1985—)，碩士，助教。主要研究方向：測試與控制技術(shù)。