基于改進(jìn)ORB算法的雙目視覺定位測量方法*

楊 宇,許四祥,方建中,蔡永禎

(安徽工業(yè)大學(xué)機(jī)械工程學(xué)院,安徽 馬鞍山 243000)

現(xiàn)代化鋼鐵冶金行業(yè)中,成型的連鑄板坯在運(yùn)送前需按一定長度切割,火焰切割過程中鐵元素會快速與空氣中的氧氣發(fā)生反應(yīng)生成氧化物,隨著熔融鋼液蔓延至切割縫下沿,形成一條不規(guī)則且硬度較大的鋼坯毛刺,若不及時處理,會嚴(yán)重影響軋材的質(zhì)量和輥道的壽命。本課題組提出了一種等離子去除板坯毛刺的新方法[1],但是由于該系統(tǒng)不能對板坯在輥道上的位置進(jìn)行實(shí)時檢測,因此機(jī)器人不能按固定工作軌跡切除毛刺,故將其與雙目視覺定位與測量系統(tǒng)結(jié)合,先對板坯進(jìn)行定位與測量,再由機(jī)器人自主切除毛刺。

在背景復(fù)雜的環(huán)境中,如何快速尋找和精確匹配特征點(diǎn)成為鋼坯定位與測量的難點(diǎn)。在眾多特征檢測算法中,ORB(Oriented fast and Rotated Brief)算法[2]具有計(jì)算量小,匹配速度快等優(yōu)點(diǎn),但傳統(tǒng)的ORB算法的性能易受環(huán)境影響且匹配精度不高,需要進(jìn)一步提高它的穩(wěn)定性。邢凱盛[3]等通過提高選取匹配點(diǎn)質(zhì)量的方式改進(jìn)隨機(jī)采樣一致性(RANSAC)算法,剔除ORB算法誤匹配點(diǎn),但其特征點(diǎn)檢測和描述方法未改變,仍存在誤匹配。李卓[4]等采用三元組(LATCH[5])二進(jìn)制描述子代替?zhèn)鹘y(tǒng)ORB二進(jìn)制描述子,提升了描述符的魯棒性,但特征點(diǎn)檢測不穩(wěn)定,出現(xiàn)誤點(diǎn)率高的問題。樊彥國[6]等簡化傳統(tǒng)ORB算法金字塔模型并優(yōu)化特征點(diǎn)提取方式,采用梯度方向提取特征點(diǎn)主方向,其算法提高了圖像的配準(zhǔn)率,但存在多次函數(shù)擬合,影響了算法實(shí)時性。李佳寬[7]等提出基于ORB特征的水下立體匹配方法,采用水下曲線極線約束,剔除部分誤匹配點(diǎn),該方法顯著提升了運(yùn)算速度,但算法易受環(huán)境影響而不穩(wěn)定。左川[8]等采用加速分割檢測(AGAST[9])算法進(jìn)行特征點(diǎn)提取,利用改進(jìn)的二進(jìn)制描述子進(jìn)行ORB特征描述,提高了特征點(diǎn)的匹配精度和實(shí)時性,但該算法在旋轉(zhuǎn)性上還存在一定的不足。

針對上述問題,本文對ORB算法進(jìn)行改進(jìn),首先對特征點(diǎn)鄰域內(nèi)的像素點(diǎn)灰度值進(jìn)行加權(quán),再采用灰度質(zhì)心法提取特征點(diǎn)的主方向,以字符串描述子代替?zhèn)鹘y(tǒng)二進(jìn)制描述子對特征點(diǎn)進(jìn)行描述,提升特征點(diǎn)的匹配精度,最后對正確匹配的特征點(diǎn)對的像素坐標(biāo)進(jìn)行精確定位,得出特征點(diǎn)的亞像素坐標(biāo),依據(jù)亞像素坐標(biāo)對物體進(jìn)行測量,極大提升測量精度。

1 傳統(tǒng)ORB算法原理

ORB是一種快速特征點(diǎn)提取和描述的算法,該算法是FAST(Features From Accelerated Segment Test)特征點(diǎn)檢測和BRIEF(Binary Robust Independent Elementary Features)特征描述子的結(jié)合,并做了一定的優(yōu)化和改進(jìn)[10]。算法核心主要包括:

①特征點(diǎn)主方向計(jì)算:傳統(tǒng)ORB算法采用FAST算法對圖像進(jìn)行特征點(diǎn)檢測,運(yùn)算速度快且實(shí)時性高,但檢測的特征點(diǎn)不具有方向?qū)傩?傳統(tǒng)ORB算法采用灰度質(zhì)心法計(jì)算特征點(diǎn)主方向,實(shí)現(xiàn)旋轉(zhuǎn)不變性。

②特征點(diǎn)描述子構(gòu)建:ORB算法采用二值位描述符形式的BRIEF描述子,以特征點(diǎn)P為中心,定義一個鄰域?yàn)?1×31的補(bǔ)丁區(qū)域,在區(qū)域內(nèi)采用高斯隨機(jī)取樣方式選擇nd個像素點(diǎn)對,比較每個像素點(diǎn)對間的灰度值大小:

(1)

式中:xi,yi為第i個像素點(diǎn)對的兩個像素,P(xi)和P(yi)為兩個像素的灰度值。將補(bǔ)丁區(qū)域內(nèi)所有比較結(jié)果構(gòu)建一個nd維特征向量,生成特征點(diǎn)的描述符。

(2)

2 改進(jìn)的ORB算法

2.1 改進(jìn)特征點(diǎn)主方向

BRIEF描述子不具備旋轉(zhuǎn)不變性,對特征點(diǎn)進(jìn)行描述前,需確定特征點(diǎn)的主方向。傳統(tǒng)ORB算法采用灰度質(zhì)心法確定主方向,但計(jì)算精度存在誤差?？紤]到特征點(diǎn)周圍的像素的灰度值對特征點(diǎn)的貢獻(xiàn)是不同的,距離特征點(diǎn)越近,貢獻(xiàn)越大,因此對像素灰度值進(jìn)行高斯加權(quán)處理再通過灰度質(zhì)心法計(jì)算主方向,提高計(jì)算主方向的精度,提高配準(zhǔn)率。

具體求解步驟為:

①構(gòu)建一個以特征點(diǎn)P為中心,半徑為r的圓形補(bǔ)丁區(qū)域。以特征點(diǎn)為原點(diǎn)建立坐標(biāo)系,遍歷補(bǔ)丁區(qū)域內(nèi)每個像素灰度值,使用高斯函數(shù)對每個灰度值加權(quán)處理,二維高斯函數(shù)為:

(3)

式中:σ為標(biāo)準(zhǔn)差,一般取值2s,s為特征點(diǎn)所在的尺度圖像的尺度。

②定義補(bǔ)丁區(qū)域的矩,如式(4)所示,通過矩得出補(bǔ)丁區(qū)域的質(zhì)心C和特征點(diǎn)的角度θ。

圖1 主方向?qū)Ρ仁疽鈭D

(4)

(5)

(6)

在課題組平行雙目視覺定位連鑄板坯模型過程中,由于左右相機(jī)的人為布置,導(dǎo)致左右兩幅圖像之間必然存在一定的尺度旋轉(zhuǎn)變化。分別使用傳統(tǒng)ORB算法與本文算法求解主方向,對比圖如圖1所示。圖1中兩組圖片分別為對同一組圖像使用傳統(tǒng)ORB算法和改進(jìn)ORB算法計(jì)算主方向。以板坯左下角部分特征點(diǎn)為例,由圖1可知,角度α2>α1,β2>β1,即改進(jìn)ORB算法計(jì)算出的各特征點(diǎn)主方向方向區(qū)間更大,不同特征點(diǎn)主方向更易區(qū)分,而傳統(tǒng)ORB算法計(jì)算的各特征點(diǎn)主方向更聚集,易造成特征點(diǎn)誤匹配。

2.2 改進(jìn)特征點(diǎn)描述子

傳統(tǒng)ORB算法采用BRIEF描述子描述特征點(diǎn),生成一條長度為nd的二進(jìn)制碼,該二進(jìn)制碼為特征點(diǎn)周圍nd個點(diǎn)對的比較結(jié)果。傳統(tǒng)ORB算法采用漢明距離H來判斷特征點(diǎn)描述符是否匹配,當(dāng)漢明距離小于閾值Thanming時,認(rèn)定兩點(diǎn)為匹配點(diǎn)。二進(jìn)制碼描述子缺乏多樣性,點(diǎn)對的比較結(jié)果單一,較大影響特征點(diǎn)的匹配精度。因此,本文提出對點(diǎn)對的比較結(jié)果進(jìn)行多區(qū)間劃分,生成一條長度為nd的字符串,使結(jié)果呈現(xiàn)更好的多樣性,提升特征點(diǎn)的匹配精度,降低閾值Thanming.

具體操作步驟如下:

①實(shí)現(xiàn)BRIEF描述符的旋轉(zhuǎn)不變性,需要以特征點(diǎn)為中心的補(bǔ)丁區(qū)域旋轉(zhuǎn)角度θ,重新計(jì)算補(bǔ)丁區(qū)域內(nèi)部的坐標(biāo):(x,y)為旋轉(zhuǎn)前的坐標(biāo),(x′,y′)為旋轉(zhuǎn)后的坐標(biāo)。

(7)

②采用重新計(jì)算后的點(diǎn)對坐標(biāo),對應(yīng)補(bǔ)丁區(qū)域內(nèi)像素的灰度值。分別比較nd對點(diǎn)對的像素灰度值,對比較結(jié)果進(jìn)行如下分析:

將nd個點(diǎn)對(2n個點(diǎn))組合成一個矩陣A,

(8)

對每一行中兩個點(diǎn)對應(yīng)的像素灰度值進(jìn)行相減,對得到的差值進(jìn)行歸類,用一個字符表示,生成特征點(diǎn)的描述符。歸類算法如下:

t=I(xn1,yn1)-I(xn2,yn2)

(9)

(10)

式中:I(xn1,yn1)和I(xn2,yn2)為點(diǎn)對的灰度值,Valp為特征點(diǎn)P周圍點(diǎn)對的比較結(jié)果,灰度值差值t的區(qū)間可根據(jù)環(huán)境進(jìn)行改變。

針對尺度旋轉(zhuǎn)變化與視角變化的板坯模型進(jìn)行共6組實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖2和表1所示,傳統(tǒng)ORB算法匹配精度較差,存在一點(diǎn)多配準(zhǔn)現(xiàn)象,其匹配正確率為51.82%,本文改進(jìn)算法匹配正確率為83.62%,相比傳統(tǒng)ORB算法精度提升了30.63個百分點(diǎn)。表明本文改進(jìn)算法匹配正確率更高。

圖2 匹配對比圖

組號匹配精度/%傳統(tǒng)ORB算法本文算法136.9878.86243.7584.80340.4781.35456.2580.89567.5087.50666.0088.34均值51.8283.62

3 測量實(shí)驗(yàn)及結(jié)果分析

連鑄板坯定位與測量包括相機(jī)標(biāo)定、圖像校正、特征點(diǎn)提取與匹配等,其流程如圖3所示。為驗(yàn)證本文改進(jìn)算法的可靠性,通過實(shí)驗(yàn)比較傳統(tǒng)ORB算法、文獻(xiàn)[6]算法及本文改進(jìn)算法對板坯尺寸的測量精度。

3.1 相機(jī)標(biāo)定與立體校正

本文采用Zhang[11]提出的標(biāo)定法并結(jié)合OpenCV計(jì)算機(jī)視覺庫對相機(jī)進(jìn)行標(biāo)定[12]。標(biāo)定板是14×10棋盤格,每格長度為25 mm,使用相機(jī)采集24組分辨率為1 920×1 080的標(biāo)定板照片,標(biāo)定結(jié)果如表2、表3所示,焦距和主點(diǎn)以像素為單位,平移矩陣參數(shù)為mm。

表2 相機(jī)內(nèi)參數(shù)標(biāo)定結(jié)果

表3 相機(jī)外參數(shù)標(biāo)定結(jié)果

標(biāo)定結(jié)果最大重投影誤差為0.59pixels,平均重投影誤差為0.42pixels?；跇?biāo)定結(jié)果,對采集的板坯進(jìn)行畸變校正和極線校正,校正前后的圖像效果圖4所示。

圖4 立體校正前(上)和立體校正后(下)

3.2 匹配與測距

對校正后的左右連鑄坯圖像,采用本文改進(jìn)的ORB算法對左右圖像進(jìn)行特征點(diǎn)檢測、描述并匹配。

檢測特征點(diǎn)時,FAST算法會計(jì)算每一個特征點(diǎn)的得分值,即每個角點(diǎn)的角點(diǎn)響應(yīng)值V,根據(jù)角點(diǎn)響應(yīng)值對角點(diǎn)進(jìn)行非極大值抑制,排除多個特征點(diǎn)聚集在一起的問題。傳統(tǒng)非極大值抑制方法是把角點(diǎn)的灰度與它鄰近的圓周上16個像素點(diǎn)的灰度值的差值的絕對值之和作為角點(diǎn)響應(yīng)值V,在3×3領(lǐng)域內(nèi)比較V值,保留比其8鄰域都大的像素作為最終的特征點(diǎn)。

篩選出測量需求的匹配點(diǎn)對,以這些特征點(diǎn)為中心,在其3×3鄰域內(nèi)進(jìn)行二維二次函數(shù)的最小二乘法擬合,計(jì)算出鄰域內(nèi)最大得分值,以及該得分值所對應(yīng)的亞像素級坐標(biāo)。以特征點(diǎn)為原點(diǎn)(0,0)建立坐標(biāo)系,x,y表示像素的橫、縱坐標(biāo),z軸為像素得分值,3×3鄰域內(nèi)其他8個像素的坐標(biāo)分別為(-1,-1),(-1,0),(-1,1),(0,-1),(0,1),(1,-1),(1,0),(1,1),這9個像素的得分值分別為V1,…,V9。

設(shè)二維二次函數(shù)為:

z=a1x2+a2y2+a3x+a4y+a5xy+C

(11)

(12)

極大值處的坐標(biāo)(x′,y′)相對于特征點(diǎn)(x,y)的偏移量為(Δx,Δy)。選取左右圖像匹配點(diǎn)對,采用上述方法得出特征點(diǎn)的亞像素坐標(biāo),計(jì)算特征點(diǎn)的視差,根據(jù)三角測量原理,得出該點(diǎn)的三維坐標(biāo)。預(yù)測點(diǎn)如圖5所示,篩選出的匹配點(diǎn)對如圖6所示,關(guān)鍵特征點(diǎn)在左右圖像中的像素坐標(biāo)和空間坐標(biāo)如表4所示。

圖5 板坯左圖像測量點(diǎn)

圖6 板坯測量匹配點(diǎn)對

表4 角點(diǎn)坐標(biāo)

4 實(shí)驗(yàn)結(jié)果分析

4.1 測量精度分析

實(shí)驗(yàn)中被測板坯模型尺寸為300 mm×67 mm×63 mm,測量模型尺寸如表5所示。

表5 傳統(tǒng)算法測量板坯尺寸結(jié)果

從表5中可以得出,連鑄板坯模型三條邊的計(jì)算尺寸最低誤差為0.42%,最高誤差為1.93%,平均誤差為1.35%,絕對誤差保持在1.2 mm左右,均在誤差允許范圍內(nèi),而AB與BC邊的相對誤差較大,這與板坯角點(diǎn)不夠明顯,檢測出的特征點(diǎn)和理想角點(diǎn)有一定偏差有關(guān)。其反映在圖像上的像素偏移在各條邊產(chǎn)生的絕對誤差幾乎相同,但相對誤差區(qū)別較大。還需進(jìn)一步提升測量精度。

4.2 對比分析

實(shí)驗(yàn)測試配置:Inter 酷睿i5 4210U處理器,內(nèi)存8GB。改變雙目相機(jī)與板坯的相對位置,對板坯拍攝三組不同視角的圖像,分別比較傳統(tǒng)ORB算法、文獻(xiàn)[6]改進(jìn)ORB算法和本文算法的測量誤差、匹配時間。由表6～表8中多組實(shí)驗(yàn)數(shù)據(jù)對比可得,傳統(tǒng)的ORB算法運(yùn)算速度最快,其次是本文算法,文獻(xiàn)[6]改進(jìn)算法存在多次擬合函數(shù),速度最慢,本文算法在測量階段需要對精確的特征點(diǎn)像素坐標(biāo)進(jìn)行擬合,故速度比傳統(tǒng)ORB算法稍慢。從測量精度考慮,本文算法測量誤差最低,平均測量精度為0.48%,而傳統(tǒng)ORB算法結(jié)果誤差為2.17%,提升了1.69%,與文獻(xiàn)[6]算法相比也提升了0.8%,因此本文改進(jìn)算法在傳統(tǒng)ORB算法基礎(chǔ)上有很大的提升。

表6 傳統(tǒng)算法

表7 文獻(xiàn)[6]算法

表8 本文算法

5 結(jié)論

論文針對基于傳統(tǒng)特征點(diǎn)檢測的雙目視覺測量中匹配時間長、誤匹配率高和測量精度低的問題,提出一種應(yīng)用到雙目視覺測量中的改進(jìn)ORB算法。該算法對特征點(diǎn)鄰域內(nèi)像素灰度值進(jìn)行加權(quán)改進(jìn)傳統(tǒng)灰度質(zhì)心法,同時以字符串描述子代替?zhèn)鹘y(tǒng)的二進(jìn)制描述子對特征點(diǎn)進(jìn)行描述,最后利用二維二次函數(shù)擬合對特征點(diǎn)進(jìn)行定位。通過實(shí)驗(yàn)對比分析,本文改進(jìn)算法在滿足尺度和旋轉(zhuǎn)不變性要求下,具有更高的正確匹配率,同時特征點(diǎn)采用亞像素定位,提高了雙目立體視覺定位和測量的精度,為后續(xù)機(jī)器人自主去除毛刺提供了依據(jù)。