一種應(yīng)用于雙目測距的SURF 優(yōu)化算法研究

楊 潔，華云松

（上海理工大學光電信息與計算機工程學院，上海 200093）

0 引言

隨著工業(yè)4.0 的發(fā)展，雙目立體視覺技術(shù)廣泛應(yīng)用于多個領(lǐng)域，例如目標識別［1］、目標跟蹤［2］、三維重建［3］和圖像配準［4-5］等。而目標物體特征點檢測和匹配的精度和效率直接影響雙目立體視覺技術(shù)在實際應(yīng)用中的可行性與有效性，因此特征匹配顯得尤為重要。

目前，應(yīng)用較廣泛的圖像匹配方法主要有兩種：基于灰度的匹配［6］和基于特征的匹配［7］。由于在抗噪性和匹配精度以及對物體的旋轉(zhuǎn)、尺度、遮擋的魯棒性等方面表現(xiàn)良好［8-10］，基于特征的匹配方法是當前研究領(lǐng)域的熱門，比較成熟的有尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算法［11］和加速穩(wěn)健特征（Speeded-Up Ro?bust Features，SURF）算法［12］。SIFT 算法首次于1999 年由Lowe［11］提出，并在2004 年加以完善。該算法在光照、旋轉(zhuǎn)和遮擋等方面表現(xiàn)良好，但運行速度較慢。2006 年，Bay［12］提出的SURF 算法是對SIFT 算法的改進，在保持SIFT 算法良好性能的基礎(chǔ)上，采用積分圖像、黑塞矩陣（Hessian Ma?trix）和Haar 小波變換，相比SIFT 算法，提高了算法的運行速度和魯棒性。由于SURF 算法存在主方向可能不準確的情況，易影響后續(xù)特征向量提取和匹配，最終導致誤匹配，因此許多學者在這方面進行了大量的研究工作。例如，陳潔等［13］在傳統(tǒng)SURF 算法之后加入基于極線約束的隨機抽樣一致（Random Sample Consensus，RANSAC）算法提高匹配精度；黃春鳳等［14］引入雙向唯一性匹配和基于視差約束后的RANSAC 算法剔除誤匹配；景軍鋒等［15］通過使用SURF 和ORB 算法提取特征點和生成描述子，再結(jié)合RANSAC 算法進行匹配，應(yīng)用在鞋面圖像中提高了匹配精度。由于RANSAC 算法是全隨機抽取樣本，存在計算量大、算法實時性不高等缺點，甚至可能存在不會收斂的情況，這樣就會導致圖像對齊或者匹配失敗。

基于以上分析，本文提出一種優(yōu)化SURF 算法。首先對原圖像進行雙邊濾波；接著對預(yù)處理后的圖像使用SURF 算法進行特征提取和生成特征描述子；再使用快速最近鄰逼近搜索（Fast Library for Approximate Nearest Neighbors，F(xiàn)LANN）算法進行初匹配；根據(jù)歐式距離，引入最大距離和最小距離差值的閾值比T再次對初匹配對進行篩選；對于匹配結(jié)果中仍然存在的偽匹配點，最后采用半隨機漸進一致采樣（Progressive Sample Consensus，PRO?SAC）［16］算法進行二次優(yōu)化與剔除，改掉傳統(tǒng)SURF 算法和加入RANSAC 算法篩選后仍然存在的誤匹配率高的缺點，最終達到精細匹配效果。將優(yōu)化的SURF 特征匹配算法與雙目立體視覺測距原理相結(jié)合，完成測距實驗。結(jié)果表明，本文算法能夠有效減少錯誤匹配特征點數(shù)目，滿足更高測距精度要求。

1 雙目視覺測距原理

平行式光軸雙目視覺系統(tǒng)模型如圖1 所示，該模型基于小孔成像原理，通過固定放置的雙目視覺采集任意目標物的兩幅圖像，經(jīng)過雙目立體匹配將目標物特征像素點在左右圖像中匹配起來，即可以獲得雙目相機圖像上的視差D，進而求得景深。

Fig.1 Binocular vision projection model圖1 雙目視覺投影模型

圖1 中坐標系X軸在同一直線上，Z表示物體到相機的實際距離，兩相機的Y軸、Z軸分別平行，左右相機光心分別為Ol與Or；基線長度記為b，相機焦距為f。P(X,Y,Z)為空間任意一點，其在兩相機平面的投影分別是Pl(xl,yl)和Pr(xr,yr)。

視差為：

根據(jù)三角形相似關(guān)系有：

由式（2）可推導：

2 SURF 特征匹配算法

傳統(tǒng)SURF 算法主要步驟包括：特征點檢測、主方向確定、小波特征點描述和特征點匹配。

由此可見，構(gòu)式“確認過眼神X”是帶有感情色彩的，具有一定的立場表達性。使用該構(gòu)式可以促進正面義的幽默表達和帶有諷刺意味的負面義的委婉表達，同時這種表達更幽默風趣，深入人心。其中特別是對人的委婉諷刺，相對地增加了話語的禮貌程度，確保交際在友好的氛圍中進行[10]115。此外，構(gòu)式具有典型的語境適切性[11]41-50，即要理清說話人是處于何種語境條件下使用的?！按_認過眼神X”構(gòu)式在其發(fā)展演化的過程中，構(gòu)式義經(jīng)歷了動態(tài)的演變過程。判定其是積極義或消極義需要結(jié)合一定的語境條件，而不是簡單地從構(gòu)式的表現(xiàn)形式進行推測。

（1）特征點檢測。SURF 算法的核心步驟是采用Hes?sian 矩陣行列式檢測特征點，圖像f(x,y)中每一個像素點(x,y)的Hessian 矩陣，經(jīng)高斯濾波如式（4）所示。

式（4）中，Lxx、Lxy和Lyy為經(jīng)過高斯濾波二階微分后圖像g(σ)在各個方向的二階微分。SURF 使用了盒式濾波器進一步求得矩陣H判別式的近似值為式（5）。

為了適應(yīng)尺度不變性，構(gòu)造高斯金字塔尺度空間；通過計算近似Hessian 矩陣行列式的局部最大值定位感興趣點位置。

（2）主方向確定。通過統(tǒng)計特征點鄰域的Haar 小波特征可以確定特征點主方向：以特征點為中心，在一定尺度大小為半徑的圓形領(lǐng)域內(nèi)，以角度為60°的扇形窗口進行旋轉(zhuǎn)掃描，分別統(tǒng)計該區(qū)域中水平方向和垂直方向的Haar小波響應(yīng)計算值，最后將兩者的統(tǒng)計結(jié)果值相加，重復(fù)上述過程，找到最大的結(jié)果值方向即為特征點的主方向。

（3）特征點描述。在特征點周圍建立一個帶方向的正方形框，框的方向為定位到的特征點的主方向，邊長為20s（s 是檢測特征點對應(yīng)的尺度）。然后將框等分為16 個子區(qū)域，在劃分的子區(qū)域中相對特征點主方向，分別統(tǒng)計水平方向、垂直方向的Haar 小波特征計算之和絕對值之和將子區(qū)域用一個四維向量表示，如式（6）所示。

每個子框有4 個值，重復(fù)統(tǒng)計16 個正方向子框，最終以16*4=64 維的向量表征每個特征點。

（4）特征點匹配。傳統(tǒng)SURF 算法匹配是通過最近鄰搜索，計算參考圖像中每一個特征點與待匹配圖像的最近和次近歐式距離的比值，若比值小于給定閾值則保留該匹配點，否則剔除。

3 優(yōu)化的SURF 特征匹配算法

傳統(tǒng)SURF 算法檢測實際采集圖像可能會包含大量噪聲等其他偽特征點，導致有效特征點的數(shù)量和準確度不高。由于每一個特征點都由64 維特征向量表示，因此在特征點匹配時會存在誤匹配點多和計算量大等問題，不能保證雙目測距精度的要求。為了提高傳統(tǒng)SURF 的準確性和實時性，將該算法流程進行優(yōu)化如圖2 所示。

Fig.2 Flow chart of SURF optimization algorithm圖2 SURF 優(yōu)化算法流程

3.1 特征點提取優(yōu)化

為過濾掉噪聲及一些其他偽特征點，考慮像素點周圍的空間臨近度和灰度相似關(guān)系，對采集到的左右圖像進行快速雙邊濾波［17］，如式（7）：

x為當前點位置，y為s×s區(qū)域內(nèi)的點，Ix、Iy為像素值，Gσd為空間鄰域關(guān)系函數(shù)為空間距離，Gσr為灰度值相似函數(shù)，σd、σr為高斯標準差。

3.2 特征點匹配優(yōu)化

（1）FLANN 匹配。采用快速近似最近鄰FLANN 算法對特征點進行初次匹配，計算左圖像中特征點xi到右圖像特征點yi的歐氏最短距離dxi yi，以及特征點xi到右圖像特征點yi1的歐氏次短距離dxi yi1。若：

其中，δ取值范圍一般在0.4～0.8，則左圖像特征點xi與右圖像特征點yi記為一對匹配點對，否則剔除。

（2）基于最大距離和最小距離差值的閾值比T初步篩選匹配點。若經(jīng)過FLANN 算法對特征點初次匹配后，保留下的大量特征點仍不可避免地存在誤匹配現(xiàn)象。為了再次消除誤匹配，引入最大距離和最小距離差值的閾值比T進行粗匹配。首先，基于匹配點對的最佳匹配和最差匹配思想，計算左右特征匹配點對的歐式距離，找到最佳匹配（Min）和最差匹配（Max）的歐式距離；其次，分別計算其余特征點對的距離M與最佳匹配（Min）和最差匹配（Max）距離差值的比值t，如式（10）所示。當t<Τ時，保留此特征點對，否則剔除。

（3）利用PROSAC 剔除誤匹配點。經(jīng)過近似最近鄰算法初次匹配找到相對精確的匹配點對，再經(jīng)過基于最大距離和最小距離差值的閾值比T篩選匹配點對后，再次引入改進的隨機抽樣一致算法PROSAC 算法剔除誤匹配點。PROSAC 算法是半隨機抽取樣本，首先會根據(jù)樣本數(shù)據(jù)質(zhì)量進行排序，從質(zhì)量較好的數(shù)據(jù)中抽取樣本，這樣就大大減小了計算量，可以提高特征點匹配速度，同時改善了全隨機抽樣RANSAC 算法在可能無法收斂情況下導致的圖像對齊或者匹配失敗。

設(shè)x和y為一對匹配點，如果該匹配點對不為誤匹配，則有式（11）成立。

其中，F(xiàn)表示基礎(chǔ)矩陣。其步驟為：①將經(jīng)過閾值比T篩選后的匹配對集合按照歐式距離升序排序；②從集合中選取質(zhì)量較好的前m個特征點，計算出對應(yīng)的基礎(chǔ)矩陣；③計算一個匹配點對到對應(yīng)極限距離的平方和，如果平方和的值小于F［18］，確定此匹配點對為正確匹配點對；④重復(fù)上述過程直到迭代次數(shù)達到最大迭代次數(shù)或者達到正確匹配點對數(shù)目的設(shè)定閾值。最終得到單應(yīng)性矩陣H，如式（12），即兩幅圖像的映射關(guān)系。

4 實驗驗證及分析

本文優(yōu)化的SURF 算法基于Python 語言編程實現(xiàn)，實驗平臺為PyCharm 2018 和OpenCV-contrib-python3.4.2.16，計算機系統(tǒng)是Windows 10，Intel（R）Core（TM）i5-8265U CPU @ 1.60GHz 1.80GHz，8G 內(nèi)存。本文通過雙目相機采集到的物體圖像驗證算法可行性，圖像分辨率為1 280×960，格式為JPG 格式。

4.1 優(yōu)化的SURF 算法匹配實驗

為了驗證本文算法的精確性和實時性，基于SURF 算法檢測的特征點分別與FLANN 算法、最大距離和最小距離差值的閾值比粗匹配算法、RANSAC 算法、PROSAC 算法進行組合試驗。本實驗采用目標物與相機距離1 400mm 處的圖像，實驗結(jié)果如圖3 所示，數(shù)據(jù)統(tǒng)計如表1 所示。

Fig.3 Comparison of 4 matching methods圖3 4 種匹配方法比較

Table 1 Comparison of matching results of four algorithms表1 4 種算法匹配結(jié)果比較

圖3（a）為僅使用FLANN 的匹配結(jié)果，其中存在比較明顯的錯誤匹配情況；圖3（b）為使用FLANN 算法后加入最大距離和最小距離差值的閾值比T進行的粗匹配結(jié)果，相比圖3（a）已經(jīng)剔除一部分錯誤匹配點對，相對匹配精度有所改善；3（c）為使用FLANN 算法加入全隨機抽樣RANSAC算法對匹配點對優(yōu)化，顯然比僅使用最大和最小差值閾值比剔除誤匹配效果更好；圖3（d）為本文算法匹配結(jié)果，相比其他3 種算法配準視覺效果更好。

從表1 可以看出，在SURF 算法之后僅使用FLANN 算法匹配，誤匹配率相對較高，但同時用時最短，為99.93ms；在傳統(tǒng)SURF 算法之后引入最大和最小距離差值的閾值比T，或者加入RANSAC 算法可以分別將誤匹配率從46.4%降低到26.8%和11.8%，但同時匹配時間也分別顯著增加，約為FLANN 匹配算法的3 倍；本文算法相對其他3 種匹配算法誤匹配率相對最低，僅為6.4%，用時也相對稍長，但匹配時間相差在ms 數(shù)量級，考慮精度和匹配速度都不錯的情況下，本文算法的運算速度更快、精度更高。

為了驗證本文算法在遮擋和光照共同影響情況下具有較好的魯棒性，將本文算法與傳統(tǒng)SIFT 算法、傳統(tǒng)SURF算法和傳統(tǒng)SURF 算法+RANSAC 算法進行比較，如圖4 所示。

Fig.4 Comparison of 4 methods圖4 4 種算法比較

Table 2 Comparison of results of four algorithms表2 4 種算法結(jié)果比較

由圖4 和表2 可以看到，在遮擋和光照共同影響下，傳統(tǒng)SIFT、傳統(tǒng)SURF 算法和傳統(tǒng)SURF 算法+RANSAC 算法都具有很好的魯棒性。傳統(tǒng)SURF 算法在SIFT 算法的基礎(chǔ)上改進而來，其在運行效率和誤匹配率等方面都優(yōu)于SIFT算法，在加入了RANSAC 算法后，進一步降低了誤匹配率，但同樣也存在一些誤匹配現(xiàn)象。本文算法在降低誤匹配率性能方面明顯優(yōu)于另外3 組算法，但由于是在SURF 算法之后的優(yōu)化匹配，因此運行時間相比SURF 算法稍長，但是相差在ms 數(shù)量級。結(jié)合上述分析并考慮精度方面，本文算法更優(yōu)。

4.2 測距實驗及分析

為了驗證本文算法的可行性，搭建雙目視覺測距系統(tǒng)進行驗證及分析。將兩個雙目相機平行放置，基線距離為100mm，經(jīng) 過Zhang［19］標定得到雙目視覺系統(tǒng)焦距為2 556.516 2，基線距離為100.429 3。通過在距離雙目視覺系統(tǒng)不同位置處放置目標物，然后結(jié)合式（3）得到理論測量距離。

本次選取實驗?zāi)繕宋锱c雙目系統(tǒng)實際距離范圍為800～1 700mm 的幾組數(shù)據(jù)，比較目標測量距離進行分析，測試結(jié)果如表3 所示。

Table 3 Comparison of ranging results表3 測距結(jié)果比較

由表3 可以看到，本文算法在測量距離1 300mm 時精度最高，誤差百分比絕對值為0.26%；在稍遠距離1 400～1 700mm 之間測量精度有所下降，誤差百分比絕對值在1.09%～1.38%之間；在800～1 000mm 之間精度再次下降，誤差百分比絕對值在1.17%～3.15%之間。在比較靠近相機和距離相機較遠位置測量精度會有所下降，在1 100～1 500mm之間測量精度最高。結(jié)果表明，本文算法在實際測距中有較好的精度和實時性。

5 結(jié)語

本文提出了一種應(yīng)用于雙目測距系統(tǒng)的優(yōu)化SURF 算法，通過對圖像進行雙邊濾波以減少后續(xù)的非必要特征點提取；引入最大距離和最小距離差值的閾值比T進行初次篩選并使用PROSAC 算法進行二次剔除與優(yōu)化。相比傳統(tǒng)SIFT 算法、傳統(tǒng)SURF 算法和僅加入RANSAC 算法，本文算法不僅在遮擋、光照條件下具有較好的魯棒性，而且在剔除誤匹配對方面效果顯著，對提高匹配精度具有一定優(yōu)勢。同時，在雙目測距實驗中有較高的準確性和實時性，其中在景深1 100～1 500mm 之間測量精度最高；當景深較小時，在800～900mm 之間視差較大，公共視野很小，此時測量精度會下降；當視野更小甚至幾乎沒有時，測量精度會顯著下降。實驗結(jié)果也說明，此類平行式雙目系統(tǒng)更適宜拍攝視野稍大、距離稍遠的物體，而不太適合拍攝距離較近的物體。