圓鋼端面中心主輔眼視覺(jué)定位方法研究*

王春梅，張付祥，李偉峰，馬嘉琦

(河北科技大學(xué) a.電氣工程學(xué)院；b.機(jī)械工程學(xué)院，石家莊 050018)

0 引言

目前,視覺(jué)定位方法主要有單目視覺(jué)定位與雙目視覺(jué)定位。單目視覺(jué)多用于近距離的平面測(cè)量，雙目視覺(jué)可以實(shí)現(xiàn)立體測(cè)量、但測(cè)量精度隨著距離的增加而降低[1-2]。單目視覺(jué)立體定位是通過(guò)采用三坐標(biāo)測(cè)量機(jī)等特殊設(shè)備操作相機(jī)的移動(dòng)，在兩個(gè)不同的位置獲取兩張圖片進(jìn)行處理，得到對(duì)應(yīng)點(diǎn)的視差值，進(jìn)而求得三維信息[4-5]。雙目視覺(jué)立體定位[6-7]由兩臺(tái)相機(jī)組成，雙目視覺(jué)可以獲得三維位置信息，但是其精度很低，且隨著測(cè)量距離的增加而降低[8-9]。目前，針對(duì)圓鋼圖像處理方面的研究?jī)H限于端面的識(shí)別及計(jì)算根數(shù)[3]，對(duì)圓鋼端面中心的定位還沒(méi)有通用的算法。

1 視覺(jué)定位系統(tǒng)設(shè)計(jì)

1.1 主輔眼視覺(jué)定位方案

鋼鐵廠生產(chǎn)的圓鋼需要按用戶(hù)需求的規(guī)格和重量進(jìn)行探傷并打捆后在每一根圓鋼的端面進(jìn)行貼標(biāo)[10-11]。成捆的圓鋼端面進(jìn)行視覺(jué)識(shí)別和中心定位(即X、Y坐標(biāo))的精度控制在±1mm，圓鋼端面中心的深度(即Z坐標(biāo))的視覺(jué)定位精度為±5mm。結(jié)合單目視覺(jué)和雙目視覺(jué)定位的優(yōu)點(diǎn)，提出一種主輔眼視覺(jué)定位方法，主輔眼視覺(jué)定位系統(tǒng)方案如圖1所示。

圖1 主輔眼視覺(jué)定位系統(tǒng)方案

圓鋼水平放置，主相機(jī)布置在圓鋼端面的正前方，輔相機(jī)在圓鋼端面左前方，主相機(jī)與輔相機(jī)的軸線(xiàn)相交于圓鋼端面處。C1和C2分別代表主相機(jī)和輔相機(jī)的光心位置，沿X軸放置。以C1為原點(diǎn)建立XYZ坐標(biāo)系，X軸水平朝右為正方向，Z軸向后為正方向，Y軸符合右手定則、向下為正方向。C1、C2的距離稱(chēng)為基線(xiàn)b。主相機(jī)用來(lái)求取X、Y坐標(biāo)，主相機(jī)與輔相機(jī)結(jié)合求取深度Z坐標(biāo)。

1.2 主輔眼視覺(jué)系統(tǒng)搭建

成捆圓鋼直徑大約為360mm，相機(jī)照射的視野范圍900×900mm，相機(jī)擺放位置距離圓鋼端面1100mm。經(jīng)計(jì)算選擇大恒MER-500-7UM/UC相機(jī)。光源選擇上海方千光電科技有限公司生產(chǎn)的型號(hào)VR144-B的LED環(huán)形光源，與光源配套的電源型號(hào)為VPD-24S。考慮到過(guò)濾雜光，光源配置為藍(lán)色光、相機(jī)配套選用藍(lán)色濾鏡，型號(hào)為BP470-30.5。以工控機(jī)作為控制單元，建立起主輔眼視覺(jué)定位試驗(yàn)系統(tǒng)如圖2所示。

圖2 主輔眼視覺(jué)定位試驗(yàn)系統(tǒng)組成

2 主輔眼視覺(jué)定位系統(tǒng)標(biāo)定方法

2.1 主相機(jī)平面標(biāo)定

采用三角內(nèi)插值法進(jìn)行標(biāo)定[12]。將標(biāo)定板放到圓鋼端面處，主相機(jī)采集標(biāo)定板圖像，設(shè)置參數(shù)包括標(biāo)定板上標(biāo)定點(diǎn)的行數(shù)、列數(shù)和二值化閾值，對(duì)標(biāo)定板圖像進(jìn)行圖像處理，識(shí)別標(biāo)定點(diǎn)，將識(shí)別出來(lái)的標(biāo)定點(diǎn)坐標(biāo)保存，如圖3建立坐標(biāo)系。

圖3 三角內(nèi)插值法坐標(biāo)系轉(zhuǎn)換圖

XOY為世界坐標(biāo)系，ucv是圖片上的像素坐標(biāo)系，在世界坐標(biāo)系XOY中三角形P1P2P3在像素坐標(biāo)系ucv的投影為p1p2p3，P點(diǎn)在三角形P1P2P3中，與P點(diǎn)對(duì)應(yīng)的p則在三角形p1p2p3中，已知點(diǎn)P1(X1,Y1)，P2(X2,Y2)，P3(X3,Y3)和P(X,Y)的坐標(biāo)則有如下關(guān)系式：

(1)

與點(diǎn)P1，P2，P3和P對(duì)應(yīng)的點(diǎn)為p1(u1,v1)，p2(u2,v2)，p3(u3,v3)和p(u,v)也有如下關(guān)系式：

(2)

求解式(1)和式(2)可得m、n，k、l的值，可以證明m=k，n=l，因此已知像素坐標(biāo)系中三個(gè)標(biāo)定點(diǎn)的像素坐標(biāo)與該三角形內(nèi)的一個(gè)目標(biāo)點(diǎn)的像素坐標(biāo)，并且已知三個(gè)標(biāo)定點(diǎn)的世界坐標(biāo)，就可以求出目標(biāo)點(diǎn)的世界坐標(biāo)。

2.2 主輔相機(jī)立體標(biāo)定

主輔相機(jī)應(yīng)用張正友標(biāo)定法進(jìn)行標(biāo)定，首先制作一塊棋盤(pán)格式的標(biāo)定板，首先主輔相機(jī)獲取成對(duì)圖像，之后按照標(biāo)定工具箱的步驟進(jìn)行圖像讀取、角點(diǎn)提取、參數(shù)標(biāo)定和參數(shù)保存操作。主輔相機(jī)采用張正友標(biāo)定法，通過(guò)MATLAB標(biāo)定工具箱對(duì)主輔相機(jī)進(jìn)行標(biāo)定。

3 主輔眼視覺(jué)定位方法

主輔眼視覺(jué)定位方法分為主相機(jī)求取X、Y坐標(biāo)，與主輔相機(jī)求取Z坐標(biāo)兩部分。主相機(jī)獲取圖像經(jīng)過(guò)圖像增強(qiáng)、二值化、去處干擾區(qū)域等操作后，進(jìn)行圖像分割，最后用最小二乘法進(jìn)行圓形擬合，獲得圓鋼端面的像素坐標(biāo)，通過(guò)主相機(jī)標(biāo)定原理可以計(jì)算出圓鋼端面X、Y的世界坐標(biāo)。

主輔相機(jī)在獲取圖像后首先要進(jìn)行極線(xiàn)校正，之后與主相機(jī)一樣進(jìn)行圖像增強(qiáng)等一系列處理，之后獲得主輔圖像各自圓鋼端面的像素坐標(biāo)，通過(guò)形心匹配方法對(duì)主輔圖像上圓鋼中心進(jìn)行匹配，獲得視差值，最后求得圓鋼端面深度值Z。

3.1 主相機(jī)平面定位

主相機(jī)獲取圖像后進(jìn)行圖像增強(qiáng)處理，如圖4所示為圖像增強(qiáng)的前后對(duì)比。

圖4 圖像增強(qiáng)的前后對(duì)比

圖像增強(qiáng)采用灰度變換。對(duì)圖像進(jìn)行整體的統(tǒng)計(jì)，記錄每一個(gè)像素點(diǎn)上的灰度值，設(shè)定一個(gè)閾值，讓小于一定值的灰度值等于0，大于一定值的灰度值等于255。圖像的二值化就是將圖像變?yōu)橹挥泻诎變煞N顏色的圖像，如圖5所示。

圖5 圖像二值化

圓鋼端面的輪廓都清晰的表現(xiàn)出來(lái)，但是圖片上還有許多的干擾區(qū)域。在MATLAB中采用去除過(guò)小區(qū)域的函數(shù)bwareaopen和去除與邊界相連的區(qū)域的函數(shù)imclearborder，再對(duì)圖像進(jìn)行分割處理獲得圓鋼端面的輪廓，采用最小二乘法圓形擬合[13]即可獲得圓鋼端面的中心平面坐標(biāo)，如圖6所示。由式(1)和式(2)可求出圓鋼端面坐標(biāo)X、Y坐標(biāo)。

圖6 最小二乘法擬合圓

3.2 主輔相機(jī)深度定位

主輔相機(jī)求取Z坐標(biāo)，獲取主輔圖像后進(jìn)行極線(xiàn)校正，如圖7所示。

圖7 極線(xiàn)校正后的主輔圖像

極線(xiàn)校正后主輔圖像上對(duì)應(yīng)點(diǎn)的y坐標(biāo)相等，通過(guò)與主相機(jī)相同的圖像增強(qiáng)、二值化等一系列處理，最后獲得主輔圖像上圓鋼端面的像素坐標(biāo)，此時(shí)的像素坐標(biāo)即為圓鋼端面的圓心坐標(biāo)，由極線(xiàn)校正后對(duì)應(yīng)點(diǎn)y坐標(biāo)相等的特點(diǎn)，通過(guò)對(duì)像素坐標(biāo)x坐標(biāo)匹配即可獲得相應(yīng)的匹配點(diǎn)，此為形心匹配，形心匹配大大簡(jiǎn)化了立體匹配的過(guò)程，提高了效率。

主輔眼視覺(jué)定位通過(guò)視差值求取深度信息。主圖像經(jīng)過(guò)圖像處理、圓形擬合得到圓鋼端面中心像素坐標(biāo)為(u1,v1)，輔圖像同樣獲得與主圖像對(duì)應(yīng)圓鋼的像素坐標(biāo)(u2,v2)，經(jīng)計(jì)算得深度值Z。

(3)

式中，x1為主圖像擬合圓的X坐標(biāo)；x2為輔圖像擬合圓的X坐標(biāo)；y為擬合圓的Y坐標(biāo)；f為相機(jī)焦距。

4 實(shí)驗(yàn)結(jié)果

將主輔相機(jī)按照?qǐng)D1所示固定，將圓鋼放好并對(duì)每一根圓鋼進(jìn)行編號(hào)，如圖8所示。

圖8 圓鋼位置與編號(hào)

1、2、3、4、6、7號(hào)圓鋼端面位于同一平面上，其余圓鋼端面位置相對(duì)1、2、3、4、6、7號(hào)圓鋼設(shè)置伸縮量，如圖9所示。5號(hào)鋼端面相對(duì)尺寸為12mm，見(jiàn)圖9a；10號(hào)鋼端面相對(duì)尺寸為11mm，見(jiàn)圖9b；9號(hào)鋼端面相對(duì)尺寸為10mm，見(jiàn)圖9c；8號(hào)鋼端面相對(duì)尺寸為9mm，見(jiàn)圖9d。

(a) 5號(hào)圓鋼端面縮進(jìn)12mm (b) 10號(hào)圓鋼端面縮進(jìn)11mm

(c) 9號(hào)圓鋼端面縮進(jìn)10mm (d) 8號(hào)圓鋼端面縮進(jìn)9mm圖9 圓鋼端面深度測(cè)量

連接光源，對(duì)主相機(jī)進(jìn)行標(biāo)定并保存數(shù)據(jù)，對(duì)主輔相機(jī)進(jìn)行立體標(biāo)定并保存數(shù)據(jù)，采集圖像，對(duì)主相機(jī)采集的圖像進(jìn)行處理，求取圓鋼端面的X、Y坐標(biāo)；之后通過(guò)對(duì)主輔相機(jī)圖像處理，對(duì)圓鋼端面進(jìn)行最小二乘圓形擬合，獲得圓鋼端面中心的像素坐標(biāo)，通過(guò)中心點(diǎn)對(duì)圓鋼進(jìn)行匹配對(duì)應(yīng)，最后求取每根圓鋼的視差值，最終求取圓鋼端面深度信息Z坐標(biāo)，10根圓鋼端面中心坐標(biāo)如表1所示。

表1 圓鋼端面中心坐標(biāo)

由表2計(jì)算出1、2、3、4、6、7號(hào)鋼Z坐標(biāo)的平均值為1355.6。第5、8、9、10號(hào)鋼與Z的平均值之差的絕對(duì)值為：15、5、12.9、13.8。5、8、9、10號(hào)鋼的Z坐標(biāo)相對(duì)誤差為3、-4、2.9、2.8。本系統(tǒng)用小二乘法擬合圓獲得的圓鋼端面像素坐標(biāo)，求取的深度值的精度范圍小于±5mm，滿(mǎn)足設(shè)定技術(shù)指標(biāo)。

目前，主輔眼視覺(jué)定位系統(tǒng)已經(jīng)集成到成捆圓鋼端面自動(dòng)貼標(biāo)系統(tǒng)中并在石家莊鋼鐵有限責(zé)任公司大型連軋線(xiàn)示范應(yīng)用，機(jī)器人自動(dòng)貼標(biāo)系統(tǒng)如圖10所示，采用直徑為50mm的標(biāo)簽對(duì)直徑為60mm的成捆圓鋼進(jìn)行貼標(biāo)，貼標(biāo)過(guò)程中能有效控制機(jī)器人末端操作器的進(jìn)深，最終的貼標(biāo)效果如圖14所示，平面定位精度小于±1mm，滿(mǎn)足生產(chǎn)實(shí)際的需求。

圖10 成捆圓鋼端面自動(dòng)貼標(biāo)系統(tǒng)現(xiàn)場(chǎng)應(yīng)用及貼標(biāo)效果

5 結(jié)論

本文提出一種主輔眼視覺(jué)定位方法，主相機(jī)采用單目視覺(jué)定位求取X、Y坐標(biāo)，主輔相機(jī)采用雙目視覺(jué)定位求取Z坐標(biāo)。充分結(jié)合了單目平面定位的高精度和采用形心匹配雙目立體定位的簡(jiǎn)便性，具有很強(qiáng)的實(shí)用價(jià)值。經(jīng)試驗(yàn)和現(xiàn)場(chǎng)示范應(yīng)用，主輔眼視覺(jué)定位方法能夠滿(mǎn)足貼標(biāo)機(jī)器人對(duì)圓鋼端面中心坐標(biāo)定位精度的要求。