基于改進SIFT和RANSAC的物體特征提取和匹配的研究

張春林 陳勁杰

摘 要：使用基于RANSAC提純的改進SIFT算子和SIFT算子分別在兩張不同視角的圖像中提取并匹配特征點對，通過實驗結(jié)果驗證了基于改進的SIFT算提取特征點的準確率和匹配的精度都要比SIFT算子和Harris算子高，改進SIFT算子提取匹配出的特征點對更加的有利于目標物體的三維重建工作。

關(guān)鍵詞：物體特征提取和識別；SIFT；RANSAC；三維重建

中圖分類號：TP391 文獻標識碼：A

文章編號：2096-1472（2018）-11-07-03

1 引言（Introduction）

目前現(xiàn)有的幾種常用的圖像特征提取算子，例如：SUSAN算子、Harris特征提取算子、SIFT（Scale Invariant Feature Transform）特征提取匹配算子等。Harris特征提取算法則是C.Harris和J.Stephens于1998年提出的一種特征提取算子[1]。具體提取步驟：運算所有的像素點梯度，然后選取兩個方向上的梯度都是最大值的點作為Harris角點。這種算子能夠提前去除信息較強的角點，是一種很經(jīng)典的算子。SUSAN算子和Harris算子都是基于像素級別的特征提取算子，提取出來的特征的精度并不是很高，對后面的三維重建勢必會造成一定的影響。而David Lowe在總結(jié)優(yōu)化了這幾種算子的研究過程中，提出了一種不受圖像尺度和旋轉(zhuǎn)變化，甚至不受光線強度和拍攝角度變化的特征提取算子—SIFT算子[2]。所以說SIFT算子是一種比較優(yōu)秀的特征提取算法。但仍然存在容易誤匹配等缺點。

為此，本文提出將RANSAC算法與改進的SIFT算子結(jié)合[3]，通過實驗對比其與SIFT算子及Harris的在特征提取和匹配效果。

2 基于Harris算法的角點檢測（Corner detection based on Harris algorithm）

2.1 Harris特征提取

Harris角點檢測算法首先計算所有像素的梯度，隨后選取兩個方向都是最大梯度的點，并以此作為Harris的角點[4]。圖像內(nèi)的角點就是指目標物體的輪廓上曲率的局部極大值，它是通過目標物體曲率較大的區(qū)域或者兩條、多條邊緣的角點所構(gòu)成的，位于不同圖像亮區(qū)域的交界線上。Harris的角點檢測器公式如下：

如果大于某個閾值，而且成為相鄰區(qū)域最大值的時候，我們就能判斷這個點為角點。其中閾值的選取依靠場景實際圖像的尺寸、紋理和對比度等。選取閾值的步驟是：通過確定圖像中最大數(shù)量的特征點來選取灰度值最大的一些像素點作為特征點。再依據(jù)所有灰度值的排列序號，選取前個特征點，然后對特征點進行加權(quán)重心化。并且為了降低噪聲對角點選取的影響，我們可以先用高斯平滑對圖像進行處理。

其中，和分別是在灰度圖像中的點處u和v兩個方向上的偏微分。則是二階的混合偏導。X和Y為一階偏導，可以分別的運用微分算法在u和v方向與灰度圖像進行卷積處理得到。

2.2 Harris角點匹配

歸一化互相關(guān)是一種非常經(jīng)典的匹配算法，并且它具有一定的抗噪聲性能，而且比較容易實現(xiàn)。但是它的計算量比較大，對于試驗計算和分析來看，這種匹配算法的運行速度太慢，需要進一步的優(yōu)化。兩張圖像之間的匹配就是比較兩者之間的相似度，同理，我們應用在圖像的特征點匹配也是這樣的，具體就是把特征點作為中心，進而比較模板之間的相似程度。

3 基于SIFT的物體特征提取與匹配（Object feature extraction and matching based on SIFT）

SIFT（Scale Invariant Feature Transform）特征匹配算法是一種魯棒性很高的局部特征描述子，運用SIFT生產(chǎn)的圖像特征向量的性能穩(wěn)定，對旋轉(zhuǎn)、縮放、目標遮擋、噪聲等都有良好的不變性。特征提取主要包括四個步驟：

（1） 尺度空間極值檢測。

首先對圖像進行高斯差分塔金字塔得到高斯差分圖像，然后對高斯差分圖像在多尺度范圍內(nèi)進行關(guān)鍵點檢測。

通過高斯函數(shù)與原始圖像的卷積可以得到圖像的尺度空間。

在DoG空間進行極值檢測時，需要將關(guān)鍵點與同一尺度的八個相鄰和上下相鄰尺度的9×2個點，共26個點進行比較。如果該關(guān)鍵點在DoG尺度空間中，本層和相鄰兩層的26個領域中都是最大或者最小，那么該點就可以作為圖像的一個特征點。

（2） 特征點精確定位。

在得到大量圖像的候選特征點之后，通過擬合三維二次函數(shù)以精確確定關(guān)鍵點的位置和尺度，同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應點，以增強匹配穩(wěn)定性、提高抗噪聲能力。

（3） 特征點方向標定。

利用圖像的局部性質(zhì)，運用關(guān)鍵點領域像素的梯度分布特性為每個關(guān)鍵點指定方向參數(shù)，從而保證算子具有旋轉(zhuǎn)不變性。圖像中某一像素（x，y）處梯度幅值可以用式（9）來表示：

通過這些大小和方向的數(shù)據(jù)，可以創(chuàng)建方向直方圖，從而可以計算每一個關(guān)鍵點的主導方向。

（4） 特征描述子的生成。

特征描述子可以通過高斯窗口區(qū)域內(nèi)所有點的梯度和方向唯一表征。將每一個關(guān)鍵點周圍的16×16鄰域，分割成16個4×4的子區(qū)域，然后在每一個4×4的子區(qū)域中計算生成一個8方向直方圖。通過對該關(guān)鍵點的所有子區(qū)域都進行上述計算，可以產(chǎn)生一個4×4×8=128維的特征向量（SIFT描述子）。每一個關(guān)鍵點都可以由它的特征向量唯一確定[5]。

4 基于RANSAC和改進SIFT的特征提取匹配算法

即使運用抗干擾能力比較強的SIFT特征提取算子，在匹配時也會不可避免的出現(xiàn)少量錯配特征點對，為了滿足實驗的需要，結(jié)合RANSAC算法對提出出的特征點進行提純[6]。RANSAC算法選取大量的樣本，依次評估它們的參數(shù)，并且每次也隨機的選取大量的數(shù)據(jù)運算參數(shù)模型，隨后對依次得出的參數(shù)進行分類，把在誤差范圍內(nèi)的點稱為內(nèi)點，誤差范圍外的點稱為外點。并且RANSAC對錯誤匹配率超過50%的點仍然進行分析。RANSAC算法具體步驟如下：

首先假設初始的最佳內(nèi)點數(shù)有0個，隨機從I對待分配的特征點對中選取四對原始的特征匹配點對，兩個平面之間的投影變換矩陣參數(shù)能夠依據(jù)四組點進行線性運算。

隨后運算剩余下的I-4個特征點對，將它們依次通過變換矩陣獲得坐標值，以及它們與對應的待匹配點間的距離。

如果它們的距離比閥值T小，那么就判斷這個特征匹配點對是內(nèi)點，反之就是外點。

將當前的內(nèi)點數(shù)量進行比較，如果數(shù)量大于，那么當前的變換矩陣參數(shù)H是最佳的矩陣估計，并且將進行更新。

通過運算大量的隨機特征點對后，選取內(nèi)點數(shù)量最多，并且誤差函數(shù)最小的變換矩陣參數(shù)，并用這個參數(shù)作為匹配圖像之間的投影變換矩陣，通過這種變換矩陣能夠提高匹配的精度。

采用RANSAC算法對匹配之后的錯誤匹配點對進行提純[7]，并且還估算出了圖像間的變換矩陣參數(shù)，進而明確了待匹配圖像的精確特征點對。

5 實驗結(jié)果與分析（Experimental results and analysis）

實驗平臺為VS2015+Opencv2.4.13，操作系統(tǒng)為Windows 10，GPU為GTX1050ti，顯存為4GB。采用GPU并行計算，運用了NVIDIA提供的CUDA通用并行計算架構(gòu)和cuDNN計算加速方案。

5.1 特征提取實驗結(jié)果與分析

5.1.1 特征提取的實驗結(jié)果

為了證明本文的物體特征提取的效果，通過兩組圖片進行對比分析，圖片大小都是640×480，如圖1（a）所示。

（1）Harris特征提取。在OpenCV中，Harris角點提取是通過cornerHarris（）函數(shù)提取角點的，將cornerHarris（）函數(shù)進行封裝，獲得一個檢測角點類。調(diào)整閾值為70時，特征提取效果如圖1（b）所示。

（2）SIFT特征提取。實驗中運用OpenCV函數(shù)庫中的SiftFeatureDetector類對圖像進行特征檢測，特征提取效果如圖1（c）所示。

（3）改進SIFT特征提取。使用基于尺度、方向和距離約束來去除錯誤匹配點對，從特征點的匹配精度和特征匹配的數(shù)目上進行優(yōu)化改良，提高了提取特征點的精度，特征提取效果的如圖1（d）所示。

5.1.2 特征提取結(jié)果分析

通過圖1和表1可以發(fā)現(xiàn)，Harris算子提取的特征點最少，改進SIFT算子提取的特征點最多，同時改進SIFT算法的特征點提取的效果分布比Harris、SIFT都均勻。

5.2 特征匹配實驗結(jié)果與分析

5.2.1 特征匹配實驗結(jié)果

為了驗證基于改進SIFT算子的特征匹配的效果，采用兩組圖像來進行特征的提取與匹配實驗，如圖2所示。

通過實驗知道，OpenCV函數(shù)庫的GoodFeatureToTrack函數(shù)的qualityLevel取值0.04時，提取匹配的效果更好，本文以下的實驗都把qualityLevel取值0.04。

5.2.2 特征匹配實驗分析

從圖2和表2可以看出，經(jīng)RANSAC算法剔除錯誤匹配（提純）后[8]，已經(jīng)去除大量的錯誤匹配點，SIFT算子還存在少量的錯誤匹配，而基于改進的SIFT算法的特征點提取匹配基本沒有了錯誤匹配。

6 結(jié)論（Conclusion）

通過物體特征提取和匹配實驗將Harris、SIFT、改進SIFT算法進行對比，改進的SIFT算法通過RANSAC剔除錯誤匹配后，克服了其他兩種算法的缺點，在特征提取和匹配上效果更好。

參考文獻（References）

[1] 李鵬程，曾毓敏，張夢.一種改進的Harris角點檢測算法[J].南京師大學報（自然科學版），2014，37（02）：49-54.

[2] 周穎.基于SIFT算法的圖像特征匹配[J].現(xiàn)代計算機，2015（5）：63-68.

[3] 曾巒，王元欽，譚久彬.改進的SIFT特征提取和匹配算法[J].光學精密儀器，2011，19（06）：1392-1396.

[4] S.Bell，C.L.Zitnick，K.Bala，et al.Inside-outside net：Detecting objects in context with skip pooling and recurrent neural net works[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Reco}nition_2016：2874-2883.

[5] Fang Xianyong，Zhang Mingmin，Pan Zhigeng，et al.A new method of manifold mosaic for large displacement images[J].Journal of Computer Science and Technology，2006，21（2）：214-223.

[6] 錐偉群，高屹.基于改進RANSAC算法的圖像拼接方法[J].科技創(chuàng)新與應用，2015，26（5）：21-22.

[7] Kasar T，Ramakrishnaa A G.Block-based feature detection and matching for mosaicing of camera-captured document images [C].Pros of IEEE region 10 conference.Taipei：IEEE.

[8] 周建平，楊金坤，鄭宇.基于改進SIFT特征匹配的視頻拼接—在倒車系統(tǒng)中的應用[J].企業(yè)技術(shù)開發(fā)，2011，30（22）：70-71.

作者簡介：

張春林（1987-），男，碩士生.研究領域：智能制造.

陳勁杰（1969-），男，碩士，副教授.研究領域：智能制造.