面向移動設(shè)備的圖像匹配算法適用性研究

黃碧輝 吳 勇,2* 鄭森源

(1.福建師范大學(xué) 地理科學(xué)學(xué)院，福建 福州 350007；2.福建省陸地災(zāi)害監(jiān)測評估工程技術(shù)研究中心，福建 福州 350007)

增強現(xiàn)實(Augmented Reality，AR)是一種在用戶通過設(shè)備觀察到的現(xiàn)實世界中添加由計算機生成的多媒體對象和3D模型等虛擬信息的技術(shù)，通過這種虛實結(jié)合場景給用戶帶來對現(xiàn)實世界新的認知[1].高效、精準的移動增強現(xiàn)實系統(tǒng)研究受到國內(nèi)外眾多學(xué)者的關(guān)注，其中圖像匹配技術(shù)是其核心的研究內(nèi)容.相比桌面端電腦，移動終端由于其便攜性，能更好地擴大增強現(xiàn)實系統(tǒng)的應(yīng)用場景，使用戶與現(xiàn)實世界有更多的互動.圖像匹配算法在室內(nèi)移動增強現(xiàn)實的應(yīng)用已經(jīng)較為成熟，但是在室外大場景下，光照、視角、尺度、旋轉(zhuǎn)等因素容易影響匹配效果.因此，當(dāng)前移動增強現(xiàn)實迫切需要解決的問題是在保證室外匹配精度的條件下，實現(xiàn)目標快速高效的匹配.圖像匹配算法可分為基于像素灰度和基于圖像特征兩大類[2].其中，基于像素灰度的匹配方法是利用圖像像素之間的灰度差尋找對應(yīng)圖像，缺點在于計算量大、實時性較差，且對圖像光照變化、灰度畸變和幾何變形較敏感，易造成較大的匹配誤差；而基于圖像特征的匹配方法是利用圖像特征尋找對應(yīng)圖像[3]，其算法具有圖像匹配性能優(yōu)秀和簡單易操作、運算量小等優(yōu)點.在基于圖像特征的匹配研究中，Lowe于2004年提出了尺度不變特征變換(Scale Invariant Feature Transform，SIFT)圖像特征點匹配算法，該算法對圖像的各種變換具有較強的魯棒性，能較好解決匹配過程中圖像變形等問題，且該算法特征點數(shù)量多、信息量大、可拓展性強[4]，已被廣泛應(yīng)用于目標識別、圖像配準、數(shù)據(jù)挖掘、機器人導(dǎo)航等領(lǐng)域.隨著對特征點匹配算法匹配速度要求越來越高，許多算法相繼被提出.如Bay等在2006年提出SURF(Speeded Up Robust Features)算法[5]，采用積分圖像和HESSIAN矩陣技術(shù)，有效地降低SURF算法的運算量；Rublee等于2011年提出ORB(Oriented FAST and Rotated BRIEF)算法[6]，其在計算性能上有較大的提升，克服了SIFT和SURF算法實時性不強的缺陷；2011年，Stefan等提出BRISK(Binary Robust Invariant Scalable Keypoints)算法[7]，該算法具有較高的特征定位精度和較好的尺度、旋轉(zhuǎn)、噪聲的魯棒性，但對光照變化不敏感[8]；2012年Alahi等提出具有視網(wǎng)膜成像特性的FREAK(Fast Retina Keypoint)描述子算法[9]，其計算速度較SIFT、SURF算法更有優(yōu)勢，且在圖像光照、旋轉(zhuǎn)、視角等變換上具有較強的魯棒性[10]；在綜合傳統(tǒng)優(yōu)秀圖像匹配算法的基礎(chǔ)上，通過融合改進產(chǎn)生了FAST_FREAK、FAST_SURF、SURF_FREAK等混合算法.現(xiàn)有的研究多是針對電腦終端算法實現(xiàn)以及魯棒性而言的，而對性能較弱、室外環(huán)境因素影響更強的移動終端實現(xiàn)圖像匹配的魯棒性、適用性等方面探討較少.

基于此，本文以移動終端為實驗平臺，在常用的圖像匹配算法實現(xiàn)的基礎(chǔ)上，從匹配性能、旋轉(zhuǎn)、光照、尺度、視角變換等方面進行算法效率與魯棒性比較分析，探討算法在移動終端上的適用性，以期為移動增強現(xiàn)實圖像匹配應(yīng)用提供參考.

1 實驗方案及數(shù)據(jù)

1.1 實驗方案

基于移動終端的圖像匹配不僅受限于終端硬件性能，受室外環(huán)境因素影響也較大，對算法的實時性與匹配準確性要求較高.本實驗以Eclipse和OpenCV2.4.9為開發(fā)平臺，在vivo V3L型號1.5GHz八核處理器、3G內(nèi)存的移動手機平臺進行實驗.實驗選取了ORB、BRISK、SURF、SURF_FREAK、FAST_SURF、FAST_FREAK六種算法，從匹配速度、算法魯棒性兩個方面分別對匹配性能和穩(wěn)定性進行對比分析，并根據(jù)指標的重要性與性能排名進行打分評價該算法的綜合性能，選取適用于移動終端的圖像匹配算法.具體實驗流程如圖1所示.

圖1 圖像匹配算法實驗流程圖Fig. 1 Basic flow chart of the image matching algorithms

其中，匹配性能主要通過匹配速度指標進行衡量，該匹配速度是指特征點檢測、描述符提取和特征匹配的綜合耗時.穩(wěn)定性采用旋轉(zhuǎn)、尺度、光照和視角四種變換圖像下提取的正確匹配點對與匹配分數(shù)兩個指標進行衡量.正確匹配點對體現(xiàn)該算法對圖像匹配檢測的性能，匹配點對數(shù)量越多，匹配效果越好.匹配分數(shù)是指兩幅匹配圖像中篩選出的正確匹配點對與兩幅匹配圖像中提取出的較少特征點數(shù)量之比，用于衡量各類算法對于各種圖像變換的不變性，值越大表示區(qū)域檢測器的鑒別能力越好.匹配分數(shù)的計算公式如下：

(1)

式(1)中：rm為匹配分數(shù)，N為兩幅圖像中提取出的正確匹配點對數(shù)量，n1和n2表示在兩幅待匹配圖像上的相同區(qū)域內(nèi)分別檢測出的特征點數(shù)量，min(n1,n2)為n1和n2的較小值.

1.2 實驗步驟與數(shù)據(jù)

圖2 室外場景測試圖Fig.2 Building scene image for experiment

移動增強現(xiàn)實利用圖像匹配算法進行目標物體識別，其具體識別步驟如下：第一步，通過攝像頭獲取真實場景視頻流，通過圖像匹配算法與存儲在手機的目標圖像進行匹配，檢測其中是否含有匹配的目標圖像；第二步，如果不存在匹配的目標圖像，則重復(fù)第一步，如果存在匹配的目標圖像，則計算目標圖像的旋轉(zhuǎn)和平移矩陣，即投影變換矩陣；第三步，根據(jù)投影變換矩陣實時調(diào)整虛擬模型的姿態(tài)，將虛擬模型繪制到屏幕上.

本實驗選取多個建筑場景的圖像數(shù)據(jù)，用于測試算法的魯棒性.圖2所示為其中一個場景，由四組建筑物場景圖像構(gòu)成，每組均為六幅圖像.第一組為旋轉(zhuǎn)變換實驗圖像，由一張基準圖像以18°為間隔逆時針旋轉(zhuǎn)至90°生成；第二組為尺度實驗圖像，以距離建筑物40 m為基準，按圖像尺度縮小間隔0.2倍采集獲??；第三組為光照實驗圖像，將基準圖像的亮度按16%進行遞減獲得；第四組為視角變換實驗圖像，以距離建筑物40 m為半徑，每間隔12°拍攝一張圖像直至60°.

2 實驗結(jié)果與分析

2.1 匹配速度對比

對于處理能力較弱的移動終端而言，匹配算法運行時間是評價算法適用性的首要指標，其運行效率直接影響用戶對增強現(xiàn)實應(yīng)用的體驗.各算法圖像匹配耗時統(tǒng)計結(jié)果如表1所示.

表1 各算法圖像匹配耗時統(tǒng)計結(jié)果

從表1匹配點對數(shù)量看，SURF_FREAK和SURF算法檢測的匹配性能優(yōu)于其他算法.由于這兩個算法在特征點檢測和描述符提取上具有強烈方向性和亮度性的特性，使其匹配效果較好，但同時也較大程度影響算法的運行效率.從運行效率上看，F(xiàn)AST_FREAK和ORB算法分別耗時571 ms和640 ms，算法的實時性較好，原因是FAST_FREAK、ORB算法采用了改進的FAST算法以及二進制描述符，該方法處理和匹配速度更快，能較好地滿足移動增強現(xiàn)實應(yīng)用實時性的要求.

2.2 旋轉(zhuǎn)變換測試

旋轉(zhuǎn)變換角度圖3 旋轉(zhuǎn)變換的匹配分數(shù)曲線Fig. 3 The matching score cures with rotation change

旋轉(zhuǎn)變換匹配點對與匹配分數(shù)測試結(jié)果如圖3、表2所示.各匹配算法在圖像旋轉(zhuǎn)36°、54°左右時，匹配點對數(shù)量下降幅度最大，但是在圖像旋轉(zhuǎn)接近90°時，匹配點對數(shù)量快速回升.同樣，匹配分數(shù)曲線呈現(xiàn)先下降再上升的趨勢.這主要是由于在旋轉(zhuǎn)變換過程中，匹配圖像的像素點繞著旋轉(zhuǎn)中心發(fā)生相應(yīng)角度的旋轉(zhuǎn)，導(dǎo)致在旋轉(zhuǎn)變換前圖像的關(guān)鍵點周邊提取的像素梯度值和關(guān)鍵點方向信息發(fā)生了改變，改變了原圖像特征點的主方向，從而降低了圖像匹配的精度.

表2 各算法旋轉(zhuǎn)變換匹配點對測試結(jié)果

注：“a to a”表示旋轉(zhuǎn)變換照片集中照片a與照片a圖像匹配，其它類似.

圖4 尺度變換的匹配分數(shù)曲線Fig. 4 The matching score cures with scale change

在旋轉(zhuǎn)變換中，F(xiàn)AST_FREAK和SURF_FREAK在匹配點對數(shù)量和匹配分數(shù)上都表現(xiàn)出較強的魯棒性，原因是FREAK描述符采樣結(jié)構(gòu)中采樣點對具有較強的對稱性.將表2和圖3的數(shù)據(jù)進行比較，雖然SURF算法匹配點對數(shù)量較ORB多，但是SURF匹配分數(shù)曲線值整體上低于ORB算法，且匹配點對的數(shù)據(jù)相較ORB波動性較大，因此SURF旋轉(zhuǎn)魯棒性較ORB差.造成這一結(jié)果的主要原因是SURF算子使用矩形鄰域的梯度計算特征向量，與ORB采用oFAST特征檢測算子相比，其受旋轉(zhuǎn)角度變化影響較大.

2.3 尺度變換測試

尺度變換匹配點對與匹配分數(shù)測試結(jié)果如圖4、表3所示.各種算法的匹配點對和匹配分數(shù)整體呈下降趨勢，而SURF_FREAK和SURF在下降過程中出現(xiàn)小幅上升.原因在于變換程度越大的圖像，越容易產(chǎn)生新的特征點，造成其特征點落在原圖像區(qū)域的特征點數(shù)量減少，導(dǎo)致因圖像正確匹配點對數(shù)量的減少而影響算法的性能.

表3 各算法尺度變換匹配點對測試結(jié)果

注：“a to a”表示光照變換照片集中照片a與照片a圖像匹配，其它類似.

SURF和SURF_FREAK算法在匹配點對數(shù)量和匹配分數(shù)上都表現(xiàn)出較強的魯棒性.其中，SURF_FREAK算法尺度魯棒性最強，F(xiàn)REAK算法描述符的采樣位置和半徑隨著尺度變化，加強了采樣點距離之間的聯(lián)系.將表3和圖4的數(shù)據(jù)進行比較，ORB的尺度魯棒性高于BRISK、FAST_FREAK和FAST_SURF，主要的原因是ORB采用改進的FAST算法，建立金字塔，利用機器學(xué)習(xí)方法選取出最優(yōu)關(guān)鍵點，解決了FAST的特征點不具備尺度不變性的問題.

圖5 光照變換的匹配分數(shù)曲線Fig. 5 The matching score cures with illumination change

2.4 光照變換測試

光照變換匹配點對與匹配分數(shù)測試結(jié)果如圖5、表4所示.匹配點對數(shù)量對光照影響較為敏感，匹配點對數(shù)量隨著光照亮度下降而減少，原因在于兩幅圖像同一位置的像素塊可能受不同光照影響而有不同的灰度值，造成匹配過程中部分特征點被強化、部分特征點被弱化，最終使得一些相同特征點位于不同灰度階中，從而影響圖像匹配精度.相比其它算法，SURF_FREAK和SURF匹配點對數(shù)量較多，匹配分數(shù)得分較高，匹配質(zhì)量較好.SURF_FREAK算法光照魯棒性較強，因為FREAK對高斯平滑后的采樣點對的灰度值進行對比，比SURF利用鄰近像素塊的灰度差建立的描述子更具統(tǒng)計性.而BRISK算法在匹配點對和匹配分數(shù)這兩個方面的表現(xiàn)明顯較差，光照魯棒性最差.圖中ORB的匹配分數(shù)曲線與FAST_SURF多次相互交叉，但當(dāng)光照變換至20%時，ORB算法的匹配點對數(shù)量遠大于FAST_SURF算法，因此ORB算法的光照魯棒性優(yōu)于FAST_SURF算法.

表4 各算法光照變換匹配點對測試結(jié)果

注：“a to a”表示視角變換照片集中照片a與照片a圖像匹配，其它類似.

2.5 視角變換測試

圖6 視角變換的匹配分數(shù)曲線Fig. 6 The matching score cures with viewpoint change

視角變換匹配點對與匹配分數(shù)測試結(jié)果如圖6、表5所示.視角變換對匹配精度產(chǎn)生較大影響，圖像視角變化越大匹配點對數(shù)量和匹配分數(shù)值下降幅度越大，原因在于視角變化越大原始圖像處于邊緣和外部的特征點保留得越少，且視角變換越大特征點描述符形變越大，最終導(dǎo)致算法匹配精度下降.相比其他算法，SURF_FREAK和SURF匹配點對數(shù)量較多，匹配分數(shù)得分較高，視角變換的魯棒性較好.而BRISK的匹配點對數(shù)量少，且匹配分數(shù)值較低，BRISK視角變換的魯棒性最差.雖然ORB匹配點對數(shù)量少，但是數(shù)據(jù)波動小.從匹配分數(shù)上看，ORB在視角變換程度較小時，得分比BRISK、FAST_FREAK和FAST_SURF大，甚至一度比SURF和SURF_FREAK得分高，因此ORB算法在視角變換中表現(xiàn)出較強的魯棒性.

表5 各算法視角變換匹配點對測試結(jié)果

注：“a to a”表示視角變換照片集中照片a與照片a圖像匹配，其它類似.

2.6 圖像匹配算法性能綜合評價

圖7 各圖像匹配算法綜合性能圖Fig. 7 Comprehensive performance chart of each image matching algorithm

按照上述性能指標測試結(jié)果，根據(jù)各算法在速度、旋轉(zhuǎn)、尺度、光照和角度五項指標排名先后順序進行評分，每個排名間隔1分，制作算法綜合性能圖，如圖7所示.

總體上看，各種匹配算法在匹配效率與魯棒性方面各有優(yōu)缺點，沒有一種算法在上述兩個指標上同時存在明顯優(yōu)勢.對于面向自然場景的移動增強現(xiàn)實應(yīng)用而言，圖像匹配速度是其應(yīng)用考慮的首要因素，直接影響應(yīng)用的可接受程度.其次，室外環(huán)境下光照、視角等因素也較大程度的影響圖像匹配的精度，且各種指標的重要程度不一致.因此，利用專家打分法賦予速度、光照、視角、旋轉(zhuǎn)和尺度五項指標不同權(quán)重系數(shù)，其相應(yīng)權(quán)重系數(shù)分別為0.5、0.15、0.15、0.1、0.1.各算法的綜合得分由圖7中五項指標的排名得分與其對應(yīng)權(quán)重系數(shù)相乘后累加獲得.經(jīng)計算，ORB、BRISK、SURF、SURF_FREAK、FAST_SURF、FAST_FREAK算法的綜合得分分別為4.35、2.35、2.8、3.9、2.75、4.85.雖然ORB算法性能綜合評價得分低于FAST_FREAK算法，但其匹配速度與FAST_FREAK算法僅相差68 ms，且ORB算法對于各種圖像變換的魯棒性表現(xiàn)得更為均衡，更適用于移動增強現(xiàn)實的應(yīng)用.

3 結(jié)論

本文基于移動終端對圖像匹配算法的運行效率與圖像變換的魯棒性進行比較分析，并從綜合角度探討圖像匹配算法在移動終端上的適用性以及室外復(fù)雜環(huán)境的魯棒性.實驗結(jié)果表明，ORB算法具有較高的運行效率，同時其在旋轉(zhuǎn)、光照、尺度、視角等變換上具有較好的魯棒性，相比SURF_FREAK、SURF、BRISK、FAST_SURF等圖像匹配算法在移動終端上具有明顯優(yōu)勢，且算法簡單易于實現(xiàn)，適用于移動增強現(xiàn)實應(yīng)用.由于ORB算法在尺度和視角變換測試中匹配點對較少，下一步將考慮借鑒 SIFT尺度空間理論求取特征點的質(zhì)心方向，并采用分塊采樣模式取代整圖像塊采樣模式，以提高ORB算法在尺度和視角變化上的魯棒性，并將它應(yīng)用于室外移動增強現(xiàn)實中.

[1] 羅斌，王涌天，沈浩，等．增強現(xiàn)實混合跟蹤技術(shù)綜述[J]．自動化學(xué)報，2013，39(8)：1185-1201.

[2] 汪松．基于SIFT算法的圖像匹配方法研究[D]．西安：西安電子科技大學(xué)，2013.

[3] 羅楠，孫權(quán)森，耿蕾蕾，等．一種擴展SURF描述符及其在遙感圖像配準中的應(yīng)用[J]．測繪學(xué)報，2013,42(3)：383-388.

[4] Lowe D G．Distinctive image features from scale invariant keypoints[J]．International Journal of Computer Vision，2004，60(2)：91-110.

[5] Bay H，Ess A,Tuvtellars T,et al．Speeded-up robust features(SURF)[J]．Computer Vision and Image Understanding，2008,110(3)：346-359.

[6] Rublee E,Rabaud V,Konolige K,et al．ORB：an effcient alternative to SIFT or SURF[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision．Barcelona,2011：2564-2571.

[7] Stefan L,Margarita C,Roland Y S．BRISK：binary robust invariant scalable keypoints[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision(ICCV)．Barcelona,2011：2548-2555.

[8] 林森，苑瑋琦，宋輝．二進制魯棒不變尺度特征在非接觸掌紋識別中的應(yīng)用[J]．儀器儀表學(xué)報，2013,34(12)：2785-2792.

[9] Alahi A,Ortiz R,Vandergheynst P.FREAK：fast retina keypoint[C]//Proceedings of the 2012 IEEE Conference on Computer Version and Pattern Recognition. Providence,2012：510-517.

[10] 王燦進，孫濤，陳娟．基于FREAK特征的快速景象匹配[J]．電子測量與儀器學(xué)報，2015，29(2)：204-212.