陶靜 李逸琳 霍藝文 徐武
摘 ?要: 立體顯示技術中立體圖像對虛擬場景的構建至關重要,現(xiàn)有的立體圖像配準技術可能導致圖像扭曲、變形。結合SURF算法和RANSAC算法,根據(jù)SURF算法對圖像進行特征點檢測;計算各特征點的Haar小波響應系數(shù)以確定特征點主方向和特征矢量;通過特征矢量的歐氏距離來判斷特征點的匹配性,找出相鄰最近的匹配點;最后利用一種改進的RANSAC算法剔除錯誤的匹配點。實驗結果表明,基于SURF算法和改進的RANSAC算法的圖像配準方法提高了特征點匹配度和精確度,能有效改善圖像配準的變形問題。
關鍵詞: 圖像配準; 特征點匹配; 立體顯示; 特征點檢測; 算法改進; 錯誤匹配點剔除
中圖分類號: TN911.73?34; TP391.9 ? ? ? ? ? ? ? ? ? 文獻標識碼: A ? ? ? ? ? ? ? ?文章編號: 1004?373X(2019)20?0090?04
Research on image registration based on feature point matching
TAO Jing, LI Yilin, HUO Yiwen, XU Wu
(College of Electrical and Information Engineering, Yunnan Minzu University, Kunming 650500, China)
Abstract: The existing stereo image registration technology may lead to image distortion and deformation. The feature points of images are detected in combination with SURF algorithm and RANSAC algorithm. Haar wavelet response coefficients of each feature point are calculated to ascertain the main direction and feature vector of feature points. The matching performance of feature points is judged by Euclidean distance of feature vectors, and the nearest matching points are found. An improved RANSAC algorithm is used to eliminate the wrong matching points. The experimental results show that the image registration method based on SURF algorithm and the improved RANSAC algorithm can improve the matching degree and accuracy of feature points, and effectively improve the deformation in image registration.
Keywords: image registration; feature point matching; stereo display; feature point detection; algorithm improvement; wrong matching point removing
0 ?引 ?言
立體顯示技術可以讓觀看者看到物體的各個方面,目前的自由立體顯示主要是基于多視點的立體顯示[1],需要采集多個視點信息并做相應的處理,將處理后的圖像合成符合多視點立體顯示的圖像。但在圖像的采集和顯示上存在著水平、垂直視差,顏色失真等問題 [2],這些問題會導致觀看者看到的圖像扭曲、變形。因此對圖像的處理就顯得格外重要。
圖像配準技術是實現(xiàn)圖像融合關鍵的步驟。圖像配準中特征點提取及匹配方法有很多,如Harris算法、Moravec算法、SIFT算法等。SIFT算法提取的特征點比較穩(wěn)定,適用于局部目標匹配與識別,但其算法計算量大,耗時多,運算速度慢 [3]。SURF算法是在SIFT的基礎上進行優(yōu)化的算法,計算量小,運算速度快,提取特征點幾乎與SIFT算法相同[4]。對采集的特征點進行匹配時會出現(xiàn)錯誤的匹配對,目前RANSAC算法廣泛應用于圖像配準中剔除錯誤匹配點,提高圖像匹配的精度。
本文結合SURF算法和改進后的RANSAC算法,對采集的圖像進行分析配準。用SURF算法提取圖像的特征點,用RANSAC算法剔除錯誤的匹配特征點,確保特征點匹配準確性,為后續(xù)的立體圖像顯示增加精確度。
1 ?基于SURF算法的特征點選取匹配
1.1 ?特征點的檢測
SURF算法使用積分圖像生成特征矢量。由于特征點檢測的中間結果是積分圖像[5],所以SUFR 算法可以直接使用中間結果生成特征矢量,避免了對圖像的重復運算,相比 SIFT 算法要快很多。下面為SURF算法選取特征點的詳細步驟。
1.2 ?特征點主方向
為了保證算法的旋轉不變性,需要確定特征點的主方向。構造以特征點為中心,半徑為6ε的扇形區(qū)域,求出區(qū)域內(nèi)各點的Haar小波響應系數(shù),統(tǒng)計加權響應值,越靠近特征點的響應值越大,越遠離特征點的響應值越小;對60°扇形區(qū)域特征點再做一次Haar小波響應并求和,旋轉一周后對求和所得值最大的方向為主方向[7]。
1.3 ?特征矢量
以特征點為中心,構造一個正方形區(qū)域,其邊長為20ε,方向為主方向[8]。把該區(qū)域分成4×4個子區(qū)域,每個子區(qū)域內(nèi)計算Haar小波響應,對每一個子域分別計算[dx,dx,dy,dy],則每個子區(qū)域可以表示為:
把全部子區(qū)域的矢量[V]連在一起就得到一個64維的特征矢量[S=V1,V2,…,Vi]。
1.4 ?特征點匹配
得到特征點后,需要進行特征匹配,即在空間中找到最相似的特征向量。本文采用特征矢量的歐氏距離[d]來判斷特征點的匹配程度。找到與基準圖像中特征點歐氏距離最近的前兩個特征點,計算最近的距離[dfirst]除以次近的距離[dlater]的比值,即:
若K小于某個比例閾值,則匹配成功。
2 ?基于RANSAC算法的特征點匹配
特征點提取匹配后,可能會出現(xiàn)特征點匹配錯誤的情況,因此選擇RANSAC算法對匹配錯誤的特征點進行剔除。假設所有特征點中包含局內(nèi)點和局外點,其中局內(nèi)點近似被直線通過,局外點遠離于直線[9]。利用RANSAC算法得到一個僅由局內(nèi)點計算的矩陣模型,用矩陣模型測試特征點,若滿足的特征點個數(shù)最多,則該矩陣全局最優(yōu)。
假設局內(nèi)點至少有4組匹配點對,從特征點中隨機抽出4組不共線的特征點對作為樣本,那么其變換關系可以表示為:
3 ?RANSAC算法的改進
3.1 ?RANSAC算法的效率改進
本文隨機選取m個特征點作為樣本,假設樣本中內(nèi)點所占的比例為[σ],那么M次抽樣后至少有一次抽取的樣本中全為內(nèi)點的概率為:
3.2 ?RANSAC算法的匹配錯誤改進
假設[A1,B1]和[A2],[B2]是A,B兩幅圖像中兩組匹配正確的特征點對,則[A1,B1]的斜率應近似等于[A2,B2]的斜率。那么可以推論:[Ai]與所在圖像中其他特征點[Aj]的斜率近似等于[Bi]與所在圖像中其他特征點[Bj]的斜率。[Ai]與待匹配圖像中準確匹配特征點[Bi]的平均斜率為:
4 ?實驗結果分析
本文在Matlab實驗平臺上進行測試,選用兩幅不同視角拍攝的圖片如圖3所示。實驗的具體步驟為:對圖像進行預處理;利用SURF算法提取圖像對的特征點并對特征點進行匹配;用RANSAC算法快速去除錯誤的匹配點,提高特征點匹配的精確度;最后,基于SURF算法和改進的RANSAC算法進行特征點匹配,對匹配結果進行比較。
圖4是單獨使用SURF算法得出的特征點匹配結果及圖像配準結果。從圖4a)可以看出檢測出的特征點數(shù)量較多,但同時匹配錯誤的特征點對也較多。此時配準出的圖像有明顯的變形,如圖4b)所示。
圖5是SURF+RANSAC算法實驗結果??梢钥闯銎ヅ溴e誤的特征點明顯減少,匹配度有了一定的提高,但是錯誤匹配點依然存在;另外配準圖像的變形問題得到了有效的改善,但仍然存在輕微變形問題。
圖6是SURF+改進的RANSAC算法實驗結果。圖中錯誤的匹配對幾乎沒有。利用改進后的RANSAC 算法對誤匹配點進行了剔除,在提高精度的同時又提高了算法的實時性;同時圖像配準的結果是三次實驗中效果最好的,幾乎沒有變形。
還對三種算法的特征點匹配正確率進行了對比分析。特征點的匹配正確率可以用式(15)進行計算,數(shù)據(jù)對比如表1所示。
5 ?結 ?語
本文先用SURF算法提取待配準圖像對的特征;接著計算各特征點的Haar小波響應系數(shù)以確定特征點主方向和特征矢量;然后用基于歐氏距離的方法實現(xiàn)特征的匹配;并用改進后的RANSAC算法來快速剔除錯誤的匹配點,實現(xiàn)了快速地完成圖像的匹配過程。在實際的實驗對比表明,利用SURF算法和改進的RANSAC算法相結合的辦法能夠有效地提高特征點的匹配度,為立體顯示技術的后續(xù)工作提供了一定的前期準備。
注:本文通訊作者為徐武。
參考文獻
[1] CHATURVEDI A, SETHI N, CHATURVEDI A, et al. Automatic license plate recognition system using surf features and RBF neural network [J]. International journal of computer applications, 2014, 70(27): 37?41.
[2] 陳莉莉.自由立體顯示系統(tǒng)中的校正技術[D].天津:天津大學,2014.
CHEN Lili. Correction technology in free stereoscopic display system [D]. Tianjin: Tianjin University, 2014.
[3] 楊海燕,羅文超,劉國棟.基于SURF算法和SC?RANSAC算法的圖像配準[J].計算機應用研究,2013,30(5):1586?1588.
YANG Haiyan, LUO Wenchao, LIU Guodong. Image registration based on SURF and SC?RANSAC [J]. Journal of computer applications, 2013, 30(5): 1586?1588.
[4] 史露,蘇剛,韓飛.基于SIFT和SURF圖像拼接算法的改進算法[J].計算機應用與軟件,2013,30(6):72?74.
SHI Lu, SU Gang, HAN Fei. Improved algorithm based on SIFT and SURF image stitching [J]. Journal of computer applications and software, 2013, 30(6): 72?74.
[5] 佘建國,徐仁桐,陳寧.基于orb和改進ransac算法的圖像拼接技術[J].江蘇科技大學學報(自然科學版),2015(2):164?169.
SHE Jianguo, XU Rentong, CHEN Ning. Image mosaic based on Orb and improved Ransac [J]. Journal of Jiangsu University of Science and Technology (Natural science edition), 2015(2): 164?169.
[6] BAY H, ESS A, TUYTELAARS T, et al. Speeded?up robust features (SURF) [J]. Computer vision & image understanding, 2008, 110(3): 346?359.
[7] 陳雪濤,穆春陽,馬行.基于SURF和改進RANSAC的視頻拼接算法[J].現(xiàn)代電子技術,2016,39(10):44?48.
CHEN Xuetao, MU Chunyang, MA Xing. Video mosaic algorithm based on SURF and improved RANSAC [J]. Modern electronics technology, 2016, 39(10): 44?48.
[8] 權巍,包鐵壯,白寶興,等.SURF與RANSAC算法結合的圖像跟蹤方法[J].計算機仿真,2016,33(9):268?272.
QUAN Wei, BAO Tiezhuang, BAI Baoxing, et al. Image tracking method combining SURF and RANSAC algorithm [J]. Computer simulation, 2016, 33(9): 268?272.
[9] 范宗杰,徐向輝,周曉麗.一種基于SIFT算法的SAR圖像配準方法[J].電子測量技術,2014,37(8):70?74.
FAN Zongjie, XU Xianghui, ZHOU Xiaoli. A SAR image registration method based on SIFT [J]. Electronic measurement technology, 2014, 37(8): 70?74.
[10] 尚明姝.基于改進SIFT特征匹配的快速圖像拼接算法[J].微電子學與計算機,2014,31(1):64?67.
SHANG Mingshu. A fast image mosaic algorithm based on improved SIFT feature matching [J]. Microelectronics & computer, 2014, 31(1): 64?67.