高精度尺度不變特征點(diǎn)匹配方法及其應(yīng)用

化春鍵 陳 瑩

江南大學(xué)，無錫，214122

0 引言

尺度不變特征變換（scale invariant feature transform，SIFT）是 Lowe［1］于1999年提出，并于2004年完善總結(jié)的一種特征點(diǎn)檢測與匹配方法［2］。SIFT的特征是將構(gòu)造的圖像金字塔與高斯核濾波之間進(jìn)行差分，它能夠快速求得高斯拉普拉斯空間中的極值點(diǎn)，使特征提取的速度大大提高。在現(xiàn)實(shí)應(yīng)用中，由于SIFT特征具有旋轉(zhuǎn)、尺度以及仿射不變性，并且對視角條件的變換和光照變化等都有很好的抵抗能力，因此備受關(guān)注?；赟IFT特征的匹配技術(shù)被用于很多領(lǐng)域，如目標(biāo)定位［3］、模型檢索［4］、三維重建［5］、目標(biāo)識(shí)別［6］等。

實(shí)際應(yīng)用中，由于受到拍攝角度改變、光照條件變化、傳感器缺陷以及噪聲干擾等方面因素的影響，可能使圖像產(chǎn)生一定程度的灰度失真和幾何畸變，從而使形變后圖像的SIFT特征發(fā)生變化，而且，當(dāng)匹配圖像中存在多個(gè)相似局部區(qū)域時(shí)，SIFT方法的可區(qū)分性就會(huì)大大降低，導(dǎo)致基于最近鄰的匹配方法［2］可能產(chǎn)生錯(cuò)配。Lowe［2］只取第一相似度和第二相似度之比小于某閾值的點(diǎn)與其最相似點(diǎn)作為對應(yīng)點(diǎn)，剔除了大量噪聲點(diǎn)。文獻(xiàn)［7］使用匈牙利方法去除錯(cuò)誤的匹配點(diǎn)對。文獻(xiàn)［8］采用投票策略的方法來剔除誤匹配點(diǎn)對，從而提高精度。文獻(xiàn)［9］運(yùn)用隨機(jī)采樣一致性（random sample consensus，RANSAC）方法去除Lowe方法得到的匹配對中的誤匹配，但仍無法完全消除目標(biāo)發(fā)生較大變形或非剛性形變時(shí)對特征匹配產(chǎn)生的消極影響。

本文分析Lowe方法［2］中第一相似度和第二相似度比值閾值對匹配結(jié)果及其精度的影響，采用循環(huán)迭代的方法獲取雙閾值，其中高閾值對應(yīng)稀疏的精確匹配結(jié)果，而低閾值對應(yīng)密集但存在誤匹配的匹配結(jié)果，在此基礎(chǔ)上，通過精確稀疏匹配結(jié)果確定幾何約束模型來刪除密集匹配結(jié)果中的誤匹配，大幅提高匹配精度。將所提出的方法應(yīng)用于目標(biāo)定位與目標(biāo)檢測領(lǐng)域，得到精確的定位與檢測結(jié)果。

1 SIFT特征及其匹配

Lowe［2］提 出 的 SIFT 方 法 在 高 斯 差 分（difference of Gaussian，DoG）尺度空間中提取極值點(diǎn)作為特征點(diǎn)，由以下5個(gè)關(guān)鍵步驟所組成：

（1）生成高斯差分尺度空間并搜索極值點(diǎn)。SIFT方法通過將兩個(gè)相鄰高斯尺度空間中的圖像相減的方法獲得一個(gè)DoG空間中的響應(yīng)值圖像；然后仿照LoG（Laplace of Gaussian）方法，通過對響應(yīng)值圖像D（x，y，σ）進(jìn)行局部極大搜索，最終完成位置空間和尺度空間中的特征點(diǎn)定位過程。

（2）特征點(diǎn)精確定位。擬合三維二次函數(shù)，將特征點(diǎn)的位置和尺度精確到亞像素；濾除低對比度的特征點(diǎn)和邊緣響應(yīng)點(diǎn)。

（3）根據(jù)梯度計(jì)算，為關(guān)鍵點(diǎn)分配主方向。使用有限差分計(jì)算在以特征點(diǎn)為中心、4.5σ為半徑的區(qū)域內(nèi)圖像梯度的幅角和幅值，并應(yīng)用直方圖對鄰域內(nèi)像素的梯度方向和幅值進(jìn)行統(tǒng)計(jì)。根據(jù)統(tǒng)計(jì)結(jié)果，梯度直方圖的峰值代表該特征點(diǎn)所處鄰域內(nèi)圖像梯度的主方向，即該特征點(diǎn)的主方向。

（4）生成SIFT特征向量。為了使得到的特征矢量具有旋轉(zhuǎn)不變性，在特征向量的生成過程中，將特征點(diǎn)附近鄰域內(nèi)圖像梯度的位置和方向以特征點(diǎn)為中心轉(zhuǎn)過一個(gè)方向角θ。旋轉(zhuǎn)之后，再以特征點(diǎn)為中心，取一個(gè)16像素×16像素大小的圖像區(qū)域，并將它等間隔地劃分為4×4個(gè)子區(qū)域，在劃分得到的每個(gè)子區(qū)域內(nèi)計(jì)算8個(gè)不同方向上的梯度直方圖，同時(shí)畫出每個(gè)方向上的梯度累加值，最終得到一個(gè)4×4×8維的特征向量作為SIFT特征描述。

（5）完成最終的特征向量匹配。對于目標(biāo)圖像中的某一個(gè)特征點(diǎn)，在待匹配圖像中，提取出與其歐氏距離最近的前兩個(gè)特征點(diǎn)，如果在這兩個(gè)特征點(diǎn)中，滿足次近距離與最近距離之比大于某個(gè)閾值η的條件，則認(rèn)為這是一對匹配點(diǎn)；否則，認(rèn)為這一目標(biāo)圖像中的特征點(diǎn)在待匹配圖像中不存在匹配點(diǎn)。

不同閾值下SIFT方法的匹配結(jié)果如圖1所示，可見，當(dāng)閾值偏小時(shí)，匹配結(jié)果較為稠密，但存在誤匹配；隨著閾值的增大，匹配數(shù)減少且可能無法找到匹配，但匹配結(jié)果更為穩(wěn)定。由于SIFT在設(shè)計(jì)匹配準(zhǔn)則時(shí)未能考慮幾何約束，故當(dāng)匹配圖像中存在多個(gè)相似局部區(qū)域時(shí)匹配效果并不理想。圖1中，正確匹配用實(shí)線表示，錯(cuò)誤匹配用虛線表示。

2 改進(jìn)的SIFT特征匹配

圖1 不同閾值下的SIFT特征匹配

針對Lowe提出的SIFT特征匹配方法中存在的不足，本文從自適應(yīng)雙閾值選定及增加幾何約束模型兩方面入手，提高匹配的準(zhǔn)確性。

2.1 自適應(yīng)雙閾值

從以上分析可知，雖然提高SIFT匹配閾值有助于提高匹配精度，但同時(shí)導(dǎo)致匹配個(gè)數(shù)急劇下降，從而無法滿足目標(biāo)定位或檢測參數(shù)計(jì)算的需要。因此，本文采用雙閾值的思想，以迭代變步長的方式自適應(yīng)地完成匹配圖像高閾值與低閾值的確定工作，并在后續(xù)工作中以高閾值SIFT精確匹配結(jié)果建立幾何約束模型，刪除低閾值密集匹配結(jié)果中的誤匹配。在迭代過程中，限定高閾值匹配數(shù)qB滿足2≤qB≤5，從而保證匹配的精確性及其后續(xù)幾何約束模型的建立。自適應(yīng)雙閾值確定流程如下：

（1）雙閾值初始化。設(shè)閾值初始值η1＝1.5，η2＝8；循環(huán)次數(shù)i1＝0，i2＝0；循環(huán)次數(shù)限制i1max＝10，i2max＝20，所需最小匹配點(diǎn)個(gè)數(shù)Q＝5。

（2）從匹配圖像中提取SIFT特征。

（3）利用閾值η1做SIFT特征匹配，得到當(dāng)前匹配集A＝ ｛（ai，a′i）｝，i＝1，2，…，qA，其中qA為當(dāng)前η1所對應(yīng)的匹配個(gè)數(shù)，并令i1←i1＋1。

（4）若當(dāng)前匹配個(gè)數(shù)qA＜Q，且i1＜i1max，則令η1←η1＋0.15，并返回步驟（3）；若匹配個(gè)數(shù)大于Q，或i1＞i1max，則轉(zhuǎn)至步驟（5）。

（5）利用閾值η2做SIFT特征匹配，得到當(dāng)前匹配集B＝ ｛（bj，b′j）｝，j＝1，2，…，qB，其中qB為當(dāng)前η2所對應(yīng)的匹配個(gè)數(shù)，并令i2←i2＋1。

（6）若當(dāng)前匹配個(gè)數(shù)qB＜2，且i2＜i2max，則令η2←η2＋0.02，并返回步驟（5）；若匹配個(gè)數(shù)大于2且小于5，且i2＜i2max，則令η2←η2－0.01，并返回步驟（5）；否則，轉(zhuǎn)至步驟（7）。

（7）完成雙閾值選定工作，得到低閾值η1及其對應(yīng)的密集匹配集A，以及高閾值η2及其對應(yīng)的匹配集精確匹配集B。

2.2 幾何約束模型

根據(jù)上述雙閾值選取規(guī)則，高閾值所對應(yīng)的匹配集中的匹配結(jié)果稀疏但精確，在此基礎(chǔ)上，可建立匹配圖像間的幾何變化（如線段長度、角度）約束模型，以此濾除低閾值匹配結(jié)果中的誤匹配。如圖2所示，（b1，b′1）、（bqB，b′qB）為兩對精確匹配，（ai，a′i）為密集匹配中的任意一對。

圖2 幾何約束模型示意圖

由（b1，b′1）、（bqB、b′qB）可建立匹配圖像間的幾何約束，即長度變換約束

和角度變化約束

對于密集匹配中的任意一對匹配（ai，a′i），若其對應(yīng)長度和角度滿足上述幾何約束，即當(dāng)

時(shí)，保留當(dāng)前匹配（ai，a′i）；否則，將當(dāng)前匹配從密集匹配集A中刪除。

3 匹配實(shí)驗(yàn)及其應(yīng)用

為驗(yàn)證本文方法的有效性，將匹配方法應(yīng)用于實(shí)際拍攝的待匹配圖像，并將本文方法與Lowe提出的匹配方法、RANSAC匹配方法做比較，實(shí)驗(yàn)環(huán)境為MATLAB R2007b。部分實(shí)驗(yàn)結(jié)果如圖3所示。可以看出，本文的雙閾值匹配方法能很好地消除誤匹配，匹配精度明顯高于其他兩種方法。

圖3 匹配結(jié)果比較

為獲取匹配效果的統(tǒng)計(jì)特性，利用微軟劍橋圖像識(shí)別研究中心圖像庫［10］中共50幅圖像進(jìn)行的特征匹配，結(jié)果見表1。可以看出，傳統(tǒng)Lowe匹配方法雖然計(jì)算損耗較小，但匹配精度較低；經(jīng)RANSAC處理后，精度有所提高，但計(jì)算損耗也隨之增大；本文方法則進(jìn)一步提高了特征匹配的正確匹配率，同時(shí)與RANSAC匹配方法相比減小了計(jì)算損耗，且匹配方差較小，性能更為穩(wěn)定。

表1 三種方法性能的比較

將本文方法應(yīng)用到目標(biāo)檢測與定位中，精確的匹配結(jié)果將有助于提高目標(biāo)檢測與定位的精度。圖4所示為某工件定位結(jié)果，其中方框表示工件所在姿態(tài)，包括位置及工件轉(zhuǎn)角。

圖4 目標(biāo)定位與檢測

4 結(jié)語

本文在分析SIFT特征匹配方法的基礎(chǔ)上，提出了一種高精度的SIFT特征匹配方法。該方法通過迭代變步長的方法獲取合適的雙閾值，并利用高閾值對應(yīng)的稀疏精確匹配結(jié)果建立匹配圖像間的幾何約束模型，建立變形約束準(zhǔn)則，用以刪除低閾值對應(yīng)的密集匹配結(jié)果中的誤匹配，實(shí)驗(yàn)結(jié)果表明，該方法可明顯提高SIFT匹配精度，從而提高目標(biāo)檢測與定位的精度。本文方法能夠?yàn)榫纫筝^高的應(yīng)用場合提高保障，具有廣闊的工業(yè)應(yīng)用前景。

［1］Lowe D G.Object Recognition from Local Scale－invariant Features［C］／／Proceedings of the International Conference on Computer Vision.Kerkyra，1999：1150－1157.

［2］Lowe D G.Distinctive Image Features from Scale－invariant Keypoints［J］.International Journal on Computer Vision，2004，60（2）：91－110.

［3］侯一民，邸建銘.改進(jìn)的尺度不變特征轉(zhuǎn)換精確圖像匹配在電力設(shè)備目標(biāo)定位中的應(yīng)用［J］.中國電機(jī)工程學(xué)報(bào)，2012，32（19）：134－139.Hou Yimin，Di Jianming.Application of Improved Scale Invariant Feature Transform Accurate Image Matching in Target Positioning of Electric Power Equipment［J］.Proceedings of the Chinese Society for Electrical Engineering，2012，32（19）：134－139.

［4］王家樂，姜波，黃逸民.機(jī)械零件模型局部形狀相似性檢索算法研究［J］.中國機(jī)械工程，2012，23（11）：1293－1294，1301.Wang Jiale，Jiang Bo，Huang Yimi.Study on Local Similarity Retrieval of Mechanical Parts［J］.China Mechanical Engineering，2012，23（11）：1293－1294，1301.

［5］王劍，周國民.圖像三維重建中的特征點(diǎn)匹配方法研究［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45（2）：10－12.Wang Jian，Zhou Guomin.Research of Feature Points Matching Method in 3DReconstruction across Images［J］.Computer Engineering and Applications，2009，45（2）：10－12.

［6］修春波，張雨虹，陳奕梅.基于特征點(diǎn)匹配的目標(biāo)識(shí)別方法［J］.儀器儀表學(xué)報(bào)，2007，28（增4）：464－466.Xiu Chunbo，Zhang Yuhong，Chen Yimei.Target Recognition Method Based on Feature Points Matching［J］.Chinese Journal of Scientific Instrument，2007，28（S4）：464－466.

［7］Wu Youfu，Dai Mo.Matching Feature Points and Discarding False Matching Pairs［C］／／Proceedings of the IEEE International Conference Acquisition.Los Alamitos，2005：458－463.

［8］Qian Wei，F(xiàn)u Zhizhong，Liu Lingqiao，et al.Image Registration Based on Feature Extraction and Voting Strategy［C］／／Proceedings of the International Conference on Communications，Circuits and Systems.Fujian，2008：706－709.

［9］Feng Xuetao，Shen Xiaolu，Zhou Mingcai，et al.Robust Facial Expression Tracking Based on Composite Constraints AAM［C］／／18th IEEE International Conference on Image Processing（ICIP）.Brussels，2011：3045－3048.

［10］Microsoft Research Cambridge Object Recognition Image Database［DB／OL］.（2001－11－12）［2002－04－15］.http：／／research.microsoft.com／en－us／downloads／b94de342－60dc－45d0－830b－9f6eff91b301／default.aspx.