基于稀疏光流法的ORB特征匹配優(yōu)化

周 磊，馬 立

(上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院，上海200444)

引言

圖像特征點(diǎn)匹配[1-4]作為計(jì)算視覺(jué)中的重要基礎(chǔ)算法之一，已廣泛應(yīng)用于機(jī)器視覺(jué)、圖像融合、目標(biāo)識(shí)別、同時(shí)定位與建圖[5-6]、雙目匹配測(cè)量系統(tǒng)[7]、人臉識(shí)別等領(lǐng)域。在同時(shí)定位與建圖技術(shù)中，特征點(diǎn)匹配的正確率決定著相機(jī)姿態(tài)求解速度和精度，而地圖點(diǎn)三維位置的求解亦是根據(jù)相機(jī)姿態(tài)和匹配點(diǎn)進(jìn)行的，因此，特征點(diǎn)匹配決定同時(shí)定位與建圖技術(shù)的精度和穩(wěn)定性。特征點(diǎn)匹配的本質(zhì)是將空間中一點(diǎn)在不同圖像上的投影匹配起來(lái)，可以分為3個(gè)步驟：特征點(diǎn)的檢測(cè)、特征點(diǎn)描述子的提取、特征點(diǎn)的匹配。特征點(diǎn)的檢測(cè)算法有ORB(oriented FAST and rotated BRIEF,簡(jiǎn)稱ORB)[8]、尺度不變特征[9](scale-invariant feature transform，簡(jiǎn)稱SIFT)、加速穩(wěn)健特征[10](speeded up robust features，簡(jiǎn)稱SURF)等。由Ethan Rublee提出的ORB特征提取算法應(yīng)用最為廣泛。該算法將加速角點(diǎn)提取[11](features from accelerated segment test，簡(jiǎn)稱FAST)和二進(jìn)制獨(dú)立基本特征[12](binary robust independent elementary features,簡(jiǎn)稱BRIEF)組合在一起，使特征點(diǎn)匹配速度遠(yuǎn)高于SIFT、SURF，保證了特征提取的實(shí)時(shí)性，但是匹配精度較差，會(huì)產(chǎn)生非常多的誤匹配。在滿足實(shí)時(shí)性要求的情況下提高ORB算法匹配的準(zhǔn)確率就變得非常有意義。

為了提高特征匹配精度，很多研究人員對(duì)其展開研究。白雪冰[13]將ORB和SURF相結(jié)合，利用Hessian矩陣提取ORB特征點(diǎn)描述子，以此來(lái)彌補(bǔ)ORB算法本身不具備尺度不變性的問(wèn)題。許宏科[14]等將ORB特征和SIFT算法結(jié)合，提出SIRB算法。該算法利用多尺度空間檢測(cè)提取特征點(diǎn)，使得特征點(diǎn)具有尺度不變性。以上算法在一定程度上改進(jìn)了匹配的尺度不穩(wěn)定問(wèn)題，但是由于SURF以及SIFT算法提取特征點(diǎn)的速度較慢，使得算法實(shí)時(shí)性無(wú)法保證，并且只是改進(jìn)了尺度不變性這一特性，在常見的圖像旋轉(zhuǎn)變換等應(yīng)用場(chǎng)合算法效果不理想。

針對(duì)實(shí)時(shí)性、準(zhǔn)確性和通用性無(wú)法兼顧的問(wèn)題，本文提出基于稀疏光流法[15]的ORB特征點(diǎn)匹配優(yōu)化算法。利用暴力匹配方法得出初始匹配點(diǎn)集，然后通過(guò)稀疏光流法對(duì)其進(jìn)行粗過(guò)濾，最后利用隨機(jī)抽樣一致性算法[16](random sample consensus，簡(jiǎn)稱RANSAC)對(duì)過(guò)濾結(jié)果進(jìn)行幾何校驗(yàn),精確過(guò)濾,得到最優(yōu)的匹配結(jié)果。

1 ORB特征匹配算法

ORB是將FAST特征點(diǎn)檢測(cè)器和BRIEF描述子組合的特征檢測(cè)算法。相比于SIFT，在保證有相當(dāng)?shù)钠ヅ湫阅艿那闆r下，ORB受圖像噪聲的影響更小并且速度更快，能達(dá)到實(shí)時(shí)性，因此被廣泛用于對(duì)實(shí)時(shí)性要求高的應(yīng)用場(chǎng)合。

FAST-9通過(guò)檢測(cè)每一個(gè)像素點(diǎn)周圍一定半徑的圓內(nèi)包含的像素的灰度值變化的劇烈程度來(lái)判斷該像素點(diǎn)是否是要檢測(cè)的角點(diǎn)。然后將FAST計(jì)算的角點(diǎn)利用Harris角點(diǎn)測(cè)量，根據(jù)得到的響應(yīng)值從大到小排序，取前目標(biāo)特征點(diǎn)數(shù)N個(gè)角點(diǎn)作為最終的角點(diǎn)檢測(cè)結(jié)果。此外，ORB將FAST特征提取和金字塔模型結(jié)合在一起，保證了角點(diǎn)的尺度不變性，并且還利用灰度質(zhì)心[17]保證了角點(diǎn)的旋轉(zhuǎn)不變性。本文采用FAST-9特征點(diǎn)檢測(cè)器，即在特征點(diǎn)選取的圓上有連續(xù)9個(gè)像素點(diǎn)的亮度變化量超過(guò)閾值，則被認(rèn)定為特征點(diǎn)。

描述子是對(duì)特征點(diǎn)進(jìn)行描述的二進(jìn)制編碼。它以角點(diǎn)為中心，取一定大小的鄰域窗口，然后在窗口中隨機(jī)選取2個(gè)5×5子窗口，比較其灰度和，將比較結(jié)果進(jìn)行二進(jìn)制賦值。最后，重復(fù)選取256次形成一個(gè)長(zhǎng)度為256的由0和1組成的向量作為特征描述子。

特征點(diǎn)匹配是指找出空間中的一點(diǎn)在不同圖像中的位置。通過(guò)暴力匹配算法，對(duì)原圖中的每一個(gè)特征，計(jì)算其描述子與待匹配圖像中所有特征點(diǎn)的描述子的歐氏距離，距離越小則說(shuō)明2個(gè)特征越相似，保留距離最近的作為該特征點(diǎn)的匹配特征點(diǎn)。記Xik為原圖第i個(gè)特征點(diǎn)的第k維特征向量，Xjk為匹配圖像的第j個(gè)特征點(diǎn)的第k維特征向量，2個(gè)特征點(diǎn)之間的歐式距離Dij為

(1)

然而，該方法過(guò)分依賴不穩(wěn)定的特征描述子并且缺少驗(yàn)證環(huán)節(jié)，而且圖片存在紋理相似的區(qū)域會(huì)導(dǎo)致即使不是空間中的同一點(diǎn)也會(huì)出現(xiàn)歐式距離足夠近被認(rèn)為是匹配的情況，使其得到的匹配結(jié)果存在大量的錯(cuò)誤匹配。所以，本文提出一種基于稀疏光流法的特征點(diǎn)匹配算法，利用空間位置的約束剔除誤匹配。

2 基于稀疏光流法的特征點(diǎn)匹配

針對(duì)誤匹配，本文提出一種基于稀疏光流法的特征點(diǎn)匹配算法。在原有算法的基礎(chǔ)上，引入幾何條件作為約束條件進(jìn)一步濾除特征點(diǎn)匹配，以求更高的匹配準(zhǔn)確率結(jié)果。采用稀疏光流法進(jìn)行特征點(diǎn)跟蹤，求出特征點(diǎn)在圖像中的運(yùn)動(dòng)矢量，以此為約束條件對(duì)匹配結(jié)果進(jìn)行粗步過(guò)濾，最后利用RANSAC算法進(jìn)行精確幾何校驗(yàn)得出最終結(jié)果。

光流法是求空間運(yùn)動(dòng)物體在觀察成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度的方法。稀疏光流法是針對(duì)某些角點(diǎn)進(jìn)行光流追蹤。該方法基于灰度值不變假設(shè)，可得光度誤差方程f(x)：

f(x)=I(x,y)-J(x+dx,y+dy)

(2)

式中：I,J分別表示原圖和待匹配的灰度圖像；I(x,y)表示原圖(x,y)處的灰度值；dx和dy則表示原圖中(x,y)處的像素在J圖中的像素位置的變化量，定義向量d=[dxdy]T為特征點(diǎn)的光流向量。

由于孔徑問(wèn)題，在每個(gè)特征點(diǎn)附近長(zhǎng)(2wx+1)，寬(2wy+1)的范圍內(nèi)的像素灰度值都應(yīng)滿足灰度不變性，因此構(gòu)建出光度誤差和的方程ε(d)，最后使用最小二乘法求解該方程，得到特征點(diǎn)的光流向量d。即有：

J(x+dx,y+dy))2

(3)

圖1 算法原理示意圖

算法分為2次過(guò)濾。第1次過(guò)濾的目的在于去除初始匹配結(jié)果中位置錯(cuò)誤較大的誤匹配，為第2次匹配提供優(yōu)化的匹配結(jié)果；第2次過(guò)濾則是利用優(yōu)化匹配對(duì)進(jìn)行幾何校驗(yàn)，得到精確的匹配結(jié)果。具體步驟如下：

第1次過(guò)濾。首先利用ORB算法分別對(duì)原圖和待匹配圖像提取特征點(diǎn)集合為A，B；然后利用暴力匹配法求出初始候選匹配對(duì)SET；最后，利用稀疏光流法對(duì)A中的所有特征點(diǎn)進(jìn)行光流跟蹤，求出光流向量d。

(4)

根據(jù)SET得出Ai對(duì)應(yīng)的初始匹配特征點(diǎn)Bj(xj,yj)，利用歐式距離計(jì)算公式求出該對(duì)匹配點(diǎn)的像素距離dij，同時(shí)經(jīng)過(guò)實(shí)驗(yàn)測(cè)試設(shè)定像素距離閾值δ為15，計(jì)算匹配對(duì)過(guò)濾函數(shù)ρ：

(5)

以此方法遍歷SET所有匹配對(duì)，將通過(guò)過(guò)濾函數(shù)的匹配對(duì)保留下來(lái)，進(jìn)一步做幾何校驗(yàn)，對(duì)沒(méi)有通過(guò)的特征點(diǎn)匹配對(duì)進(jìn)行濾除，最終達(dá)到優(yōu)化初始匹配對(duì)的目的。

第2次過(guò)濾。將優(yōu)化樣本集作為樣本數(shù)據(jù)代表集，再利用RANSAC算法進(jìn)行幾何校驗(yàn)，RANSAC算法是一種魯棒的參數(shù)估計(jì)方法。通過(guò)在匹配對(duì)中隨機(jī)選出一組樣本對(duì)數(shù)學(xué)模型參數(shù)進(jìn)行估計(jì)，以此模型對(duì)整體樣本集進(jìn)行分類，其中滿足模型的樣本稱為內(nèi)點(diǎn)，不滿足模型的樣本稱為外點(diǎn)，取內(nèi)點(diǎn)最多的模型參數(shù)作為最終的參數(shù)估計(jì)結(jié)果。其優(yōu)點(diǎn)是魯棒性強(qiáng)，可靠性強(qiáng)，對(duì)圖像噪聲有強(qiáng)健的承受能力，同時(shí)也具備剔除誤匹配點(diǎn)的能力。ORB特征匹配經(jīng)過(guò)幾何校驗(yàn)之后，能夠有效地濾除錯(cuò)誤匹配，使得匹配結(jié)果更加準(zhǔn)確，匹配性能更加優(yōu)良，選取算法結(jié)果內(nèi)點(diǎn)作為最終的匹配結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)使用的計(jì)算機(jī)CPU為英特爾i7-7700HQ，單核頻率2.8 GHz，內(nèi)存8 GB，操作系統(tǒng)為Ubuntu16.04。采用牛津大學(xué)幾何視覺(jué)組提供的局部仿射變換圖像庫(kù)的圖片作為測(cè)試數(shù)據(jù)集。該測(cè)試數(shù)據(jù)集的圖像變換種類分別是：JPEG圖像壓縮、光照變換、視角變換、模糊變換、旋轉(zhuǎn)和縮放變換，圖2為5種算法在測(cè)試數(shù)據(jù)集中的匹配效果圖。從圖2中可以明顯地看出，ORB算法圖片結(jié)果出現(xiàn)大量誤匹配，其中一部分像素錯(cuò)誤跨度非常大；RANSAC-ORB算法和本文算法處理結(jié)果匹配點(diǎn)對(duì)雖然變少了，但是匹配精度高，效果更加清晰；SIFT和SURF特征點(diǎn)提取特征點(diǎn)非常多。為了更準(zhǔn)確地描述ORB、RANSAC-ORB、SIFT、SURF和本文算法的匹配效果，下面對(duì)這5種算法的匹配準(zhǔn)確率和運(yùn)行時(shí)間展開研究。

圖2 5種算法處理效果圖

3.1 匹配準(zhǔn)確率測(cè)試

匹配準(zhǔn)確率是指特征匹配結(jié)果中正確的匹配點(diǎn)和算法檢測(cè)到的匹配點(diǎn)的比值，是匹配性能的評(píng)價(jià)指標(biāo)。分別對(duì)測(cè)試圖像數(shù)據(jù)集中5組圖像進(jìn)行匹配實(shí)驗(yàn)，然后利用數(shù)據(jù)集提供的單應(yīng)矩陣評(píng)測(cè)匹配結(jié)果,通過(guò)該矩陣求出特征點(diǎn)在待匹配圖像中的準(zhǔn)確像素位置，如果匹配結(jié)果在該特征點(diǎn)10個(gè)像素范圍之內(nèi)，則認(rèn)為匹配正確。特征點(diǎn)提取函數(shù)參數(shù)均為OpenCV3.2版本提供ORB，SIFT以及SURF以及RANSAC函數(shù)接口的默認(rèn)參數(shù)，采用暴力匹配算法，利用漢明距離進(jìn)行匹配。經(jīng)過(guò)多次實(shí)驗(yàn)，得到本文算法、ORB算法以及RANSAC-ORB算法、SIFT算法、SURF算法測(cè)試數(shù)據(jù)集在5種圖像變換下的匹配準(zhǔn)確率，如圖3所示。圖3中橫坐標(biāo)表示圖像變換，縱坐標(biāo)表示匹配準(zhǔn)確率。從圖3可知，本文算法和RANSAC-ORB算法相對(duì)ORB算法、SIFT算法，SURF算法在匹配精度方面提升明顯，匹配準(zhǔn)確率平均提高了21.6%。此外，在模糊變換，旋轉(zhuǎn)縮放變換，視角變換，JEPG圖像壓縮變換、光照變換中，本文算法整體優(yōu)于RANSAC-ORB算法，準(zhǔn)確率平均提升約2%。由此可知，本文算法利用稀疏光流法優(yōu)化初始匹配對(duì)，使得RANSAC算法得到的結(jié)果更加準(zhǔn)確。在圖像經(jīng)過(guò)光流變換之后，特征匹配準(zhǔn)確率整體下降，其中，RANSAC-ORB算法和本文算法降低到90%～95%之間，ORB、SIFT算法，SURF算法匹配準(zhǔn)確率在50%～65%之間。

進(jìn)一步分析可知，ORB算法、稀疏光流法是基于圖像像素灰度的，在圖像光照變換較大時(shí)，算法假設(shè)和實(shí)際出現(xiàn)較大出入，結(jié)果出現(xiàn)較大誤差，匹配準(zhǔn)確率下降明顯。綜上可知，本文算法在5種圖像變換中匹配準(zhǔn)確率基本最優(yōu)，相比于ORB算法、SIFT算法，SURF算法匹配準(zhǔn)確率提升明顯。

圖3 5種算法匹配準(zhǔn)確率對(duì)比圖

3.2 匹配速度測(cè)試

匹配速度測(cè)試實(shí)驗(yàn)是單純計(jì)算算法從開始到算法結(jié)束耗費(fèi)時(shí)間，單位為s，實(shí)驗(yàn)結(jié)果如表1所示。由于本文算法利用了光流法計(jì)算特征點(diǎn)的運(yùn)動(dòng)矢量，因此相比于RANSAC-ORB多了該部分算法的時(shí)間消耗，匹配速度約為其匹配速度的0.47倍,平均耗時(shí)僅多約0.08 s。此外，本文算法匹配速度為SIFT和SURF算子的18倍左右。本文算法匹配速度整體而言較快，居于5種算法中間位置。

表1 運(yùn)行時(shí)間比較 單位：s

4 結(jié)論

本文介紹了現(xiàn)有的幾種圖像特征匹配算法概況，分析了這些算法在實(shí)際應(yīng)用中遇到的問(wèn)題，進(jìn)而從提高匹配準(zhǔn)確率和降低耗時(shí)出發(fā)，提出了基于稀疏光流法的ORB特征點(diǎn)匹配算法，詳細(xì)闡述了該算法的實(shí)現(xiàn)過(guò)程。最后分別采用ORB、RANSAC-ORB、本文算法、SIFT算子、SURF算子進(jìn)行特征點(diǎn)匹配實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：本文提出的基于稀疏光流法的ORB特征點(diǎn)匹配優(yōu)化算法在匹配準(zhǔn)確率方面在5種匹配算法中準(zhǔn)確率最優(yōu)，而且本文算法對(duì)圖像光照變換、視角變換、模糊變換、旋轉(zhuǎn)和縮放變換，光照變換等情況具有較好的通用性。此外，相比于ORB算法、SIFT算法、SURF算子準(zhǔn)確率提升明顯，本文算法準(zhǔn)確率平均提升了21.6%，相比于RANSAC-ORB算法提升較小，準(zhǔn)確率平均提升了2%左右。在匹配耗時(shí)方面，本文算法速度約為SIFT、SURF算法的18倍。