面向機(jī)器人抓取的零散工件識(shí)別與測(cè)量方法

林強(qiáng)強(qiáng),金守峰,馬秋瑞,張 浩

(1.西安工程大學(xué) 機(jī)電工程學(xué)院,陜西 西安 710048;2. 西安工程大學(xué) 服裝與藝術(shù)設(shè)計(jì)學(xué)院,陜西 西安 710048)

0 引 言

隨著現(xiàn)代先進(jìn)制造技術(shù)的進(jìn)步,工業(yè)機(jī)器人在生產(chǎn)加工過(guò)程中扮演著越來(lái)越重要的角色,并且不斷地向著智能化和柔性化方向發(fā)展[1-3]。機(jī)器視覺(jué)使工業(yè)機(jī)器人具有了視覺(jué)感知的能力[4-5]。徐博凡等人基于FANUC機(jī)器人平臺(tái),研發(fā)了一套視覺(jué)引導(dǎo)系統(tǒng),提高了機(jī)器人柔性化抓取能力[6];李鵬飛等應(yīng)用雙目相機(jī)作為引導(dǎo),實(shí)現(xiàn)了機(jī)器人對(duì)織物的自動(dòng)抓取[7];李振雨等應(yīng)用神經(jīng)網(wǎng)絡(luò)算法,使用改進(jìn)的Hebb學(xué)習(xí)規(guī)則提高了識(shí)別的精度[8];康存鋒等應(yīng)用機(jī)器視覺(jué)完成了對(duì)并聯(lián)機(jī)器人的引導(dǎo),實(shí)現(xiàn)了穩(wěn)定可靠的抓取[9];韋攀東等人應(yīng)用多關(guān)節(jié)機(jī)器人實(shí)現(xiàn)了柔軟織物的抓取[10]。工業(yè)機(jī)器人對(duì)于固定未知的工件具有較好的抓取精度,但是,實(shí)際生產(chǎn)中,工件位置的隨機(jī)擺放,將導(dǎo)致機(jī)器人抓取失敗,影響工作效率。

針對(duì)工件位置隨機(jī)擺放,影響抓取精度和效率等問(wèn)題,提出了基于圖像旋轉(zhuǎn)和灰度投影的工件抓取方法。首先對(duì)采集的圖像經(jīng)過(guò)預(yù)處理后,用雙線(xiàn)性插值法進(jìn)行旋轉(zhuǎn)校正,在得到的校正圖后應(yīng)用Canny算子提取零件的邊緣,最后對(duì)邊緣圖像灰度投影,得到工件的測(cè)量尺寸,從而實(shí)現(xiàn)定位與測(cè)量。

1 旋轉(zhuǎn)模型的建立

1.1旋轉(zhuǎn)角

(1)

圖 1夾角計(jì)算模型Fig.1 Angle calculation model

在實(shí)際的計(jì)算過(guò)程中,經(jīng)過(guò)二值化和邊緣檢測(cè)等一系列預(yù)處理后,如圖1所示長(zhǎng)形工件的邊緣則被置為1,其余區(qū)域則置為0。選取圖形的中點(diǎn)P為起始點(diǎn),向右尋找像素值為1的點(diǎn),則該點(diǎn)為旋轉(zhuǎn)基準(zhǔn)點(diǎn)O,為避免圖像噪聲的影響,需要驗(yàn)證該點(diǎn)周?chē)南袼攸c(diǎn)是否為1,若不為1則向下一行繼續(xù)尋找,從而可確定基準(zhǔn)點(diǎn)O的位置;得到O點(diǎn)后,向y軸的方向搜索,直到像素值變?yōu)?,則為A點(diǎn)的位置;B點(diǎn)為x正半上軸隨機(jī)一點(diǎn)。

1.2旋轉(zhuǎn)原理

在機(jī)器人抓取工件時(shí),需要調(diào)整末端手爪的位姿來(lái)準(zhǔn)確地抓取工件,提高抓取的精度以及效率。因此可通過(guò)建立旋轉(zhuǎn)模型來(lái)求取工件與水平方向的夾角。圖像旋轉(zhuǎn)是一種常用的數(shù)字圖像處理技術(shù),已廣泛應(yīng)用于各個(gè)領(lǐng)域[11-12]。

由于在灰度投影時(shí),投影的零件圖像應(yīng)處于水平或者豎直狀態(tài),因而需要對(duì)采集的圖像做旋轉(zhuǎn)校正處理。如圖2所示,旋轉(zhuǎn)是指將圖像中所有的像素(基準(zhǔn)點(diǎn)除外)按給定的角度沿著圓弧方向逆時(shí)針或者順時(shí)針旋轉(zhuǎn)。(x0,y0)是原始圖像的坐標(biāo)點(diǎn),(x,y)是旋轉(zhuǎn)后圖像坐標(biāo)點(diǎn),R是(x0,y0)到原點(diǎn)的距離[13-15]。

根據(jù)圖2中的三角關(guān)系可得

(2)

旋轉(zhuǎn)后

(3)

圖 2圖像旋轉(zhuǎn)模型Fig.2 Image rotation model

聯(lián)立式(2)，(3)后寫(xiě)成矩陣形式

(4)

在進(jìn)行位圖旋轉(zhuǎn)時(shí),確定旋轉(zhuǎn)后的位圖大小后,可以確定旋轉(zhuǎn)之后位圖矩形區(qū)域,需要訪(fǎng)問(wèn)該區(qū)域的每一個(gè)坐標(biāo),以獲得該坐標(biāo)對(duì)應(yīng)于源位圖的坐標(biāo),最后獲得該坐標(biāo)對(duì)應(yīng)于原位圖坐標(biāo)點(diǎn)處的像素值。因此,在得到式(4)的旋轉(zhuǎn)矩陣后,需要做逆運(yùn)算,逆運(yùn)算矩陣如式(5)所示。

(5)

由于圖像坐標(biāo)系原點(diǎn)在左上角,因此需要與實(shí)際數(shù)學(xué)坐標(biāo)系進(jìn)行坐標(biāo)系轉(zhuǎn)換。假設(shè)位圖的寬度和高度分別為W和H,則圖像坐標(biāo)(x0,y0)與數(shù)學(xué)坐標(biāo)(x,y)的關(guān)系為

(6)

逆運(yùn)算關(guān)系為

(7)

旋轉(zhuǎn)需要再將數(shù)學(xué)坐標(biāo)轉(zhuǎn)換為圖像坐標(biāo),設(shè)旋轉(zhuǎn)后圖像的寬度和高度分別為W1和H1,則旋轉(zhuǎn)矩陣和逆運(yùn)算矩陣為

(8)

(9)

整個(gè)旋轉(zhuǎn)過(guò)程為:(1)將原始圖像的坐標(biāo)轉(zhuǎn)換為數(shù)學(xué)坐標(biāo);(2)通過(guò)旋轉(zhuǎn)公式將圖像進(jìn)行旋轉(zhuǎn);(3)將旋轉(zhuǎn)后的數(shù)學(xué)坐標(biāo)轉(zhuǎn)換為圖像坐標(biāo)。

旋轉(zhuǎn)過(guò)程矩陣變換為

(10)

式中：A=-0.5Wcosθ+0.5Hsinθ+0.5W1；

B=-0.5Wsinθ-0.5Hcosθ+0.5H1.

由于旋轉(zhuǎn)后圖像的坐標(biāo)不是整數(shù),故旋轉(zhuǎn)后必須對(duì)像素點(diǎn)灰度進(jìn)行插值運(yùn)算。常用的插值方法有最近鄰法、雙線(xiàn)性插值法和雙三插值法等3種[16-17]。最近鄰插值法操作簡(jiǎn)單,運(yùn)算速度高,但效果較差,圖像容易模糊;雙三插值法速度慢,但圖像質(zhì)量很高;綜合比較后,本文采用比較適中的雙線(xiàn)性插值法,對(duì)圖像進(jìn)行插值運(yùn)算。

雙線(xiàn)性插值原理如圖3所示,利用(X,Y)處鄰近的4個(gè)灰度值,計(jì)算(X,Y)處的灰度值。設(shè)4個(gè)鄰近像素,為A,B,C,D,其坐標(biāo)分別為(i,j),(i+1,j),(i,j+1)，(i+1,j+1),灰度值分別為g(A)，g(B)，g(C)，g(D),首先計(jì)算E，F(xiàn)點(diǎn)處的灰度值g(E) ，g(F)

圖 3雙線(xiàn)性插值Fig.3 Bilinear interpolation g(E)= (X-i)[g(B)-g(A)]+g(A)= (i+1-X)g(A)+ (X-i)g(B)

(11)

g(F)= (X-i)[g(D)-g(C)]+g(C)=

(i+1-X)g(C)+

(X-i)g(D)

(12)

則(X,Y)處的灰度值為

g(X,Y)= (Y-j)[g(F)-g(E)]-g(E)=

(j+1-Y)g(E)+

(Y-j)g(E)

(13)

經(jīng)過(guò)計(jì)算，圖1中的圖像與x軸的夾角為32.149 3°,將此圖像經(jīng)過(guò)旋轉(zhuǎn)校正后得到水平的軸邊緣檢測(cè)圖。

2 基于灰度投影的尺寸測(cè)量

經(jīng)過(guò)旋轉(zhuǎn)后的圖像與水平方向的夾角近似于0°,為了快速得到工件的尺寸,因此采用灰度投影的方法測(cè)量軸徑。灰度投影算法是利用圖像灰度曲線(xiàn)進(jìn)行圖像分析的一種方法,由于只需對(duì)圖像行列做投影運(yùn)算,因此,在減少計(jì)算量的同時(shí)也提高了運(yùn)算速度。設(shè)經(jīng)過(guò)旋轉(zhuǎn)校正后的圖像為I(x,y),大小為M×N,按式(14)對(duì)其進(jìn)行圖像行、列像素灰度值累加投影[18-19]。

(14)

式中:fk(i,j)為圖像中(i,j)點(diǎn)的灰度值；Ck(j)為圖像中第j列像素灰度值的累加投影；Rk(i)為圖像中第i行像素灰度值的累加投影。對(duì)校正后軸邊緣檢測(cè)圖像做行投影,得到圖4的投影曲線(xiàn)。從圖4可得,投影曲線(xiàn)的峰值位置即為軸的邊緣處,計(jì)算兩峰值位置的坐標(biāo)差值,即為軸的直徑大小。

圖 4投影曲線(xiàn)圖Fig.4 Projection curve

3 實(shí)驗(yàn)分析

3.1實(shí)驗(yàn)平臺(tái)與視覺(jué)標(biāo)定

Dobot機(jī)械臂、工業(yè)相機(jī)及計(jì)算機(jī)搭建的機(jī)器人視覺(jué)抓取實(shí)驗(yàn)平臺(tái)如圖5所示,Dobot機(jī)械臂為四軸四自由度的機(jī)器人,手爪為氣動(dòng)機(jī)械手爪,滑軌有效行程為0～1 000 mm,Dobot機(jī)械臂通過(guò)支撐板安裝在滑軌上,可實(shí)現(xiàn)移動(dòng)抓取。工業(yè)相機(jī)為AVT-GE相機(jī),分辨率為1 024×1 024,最大幀頻為59幀/s,使用鏡頭為Computar手動(dòng)光圈鏡頭,焦距25 mm。

通過(guò)以上計(jì)算所得的數(shù)據(jù)都以像素(pixel)為單位,因而需要通過(guò)相機(jī)標(biāo)定轉(zhuǎn)換為以mm為單位的數(shù)值。實(shí)驗(yàn)過(guò)程中,首先采集不同尺寸的標(biāo)準(zhǔn)量塊。假定量塊為P(mm),經(jīng)過(guò)圖像處理之后得到相應(yīng)像素?cái)?shù)為M,可計(jì)算物面分辨率K=P/M。采用20 mm,30 mm,40 mm,50 mm的量塊進(jìn)行標(biāo)定,實(shí)驗(yàn)之后以計(jì)算出多組物面分辨率的平均值作為機(jī)器視覺(jué)系統(tǒng)的物面分辨率。標(biāo)定實(shí)驗(yàn)數(shù)據(jù)如表1所示。

圖 5機(jī)器人抓取系統(tǒng)Fig.5 Robotic grab system表 1標(biāo)定實(shí)驗(yàn)數(shù)據(jù)Table 1 Calibration experiment data

量塊規(guī)格量塊尺寸/mm標(biāo)定像素/px物面分辨率/(mm·px-1) 20201030.194 2 30301520.197 4 40402040.196 1 50502530.197 6

根據(jù)表1中標(biāo)定的物面分辨率,計(jì)算得到物面分辨率的均值K:

0.196 3(mm/px)

3.2旋轉(zhuǎn)校正

表 2夾角計(jì)算Table 2 Angle calculation result

由表2可知,建立的旋轉(zhuǎn)模型校正誤差保持在±2°以?xún)?nèi)。由于采用灰度投影的計(jì)算方式,累加投影曲線(xiàn)對(duì)于圖片的旋轉(zhuǎn)誤差并不敏感,因此建立的旋轉(zhuǎn)模型可以滿(mǎn)足本文的計(jì)算要求。其中20°和60°的軸旋轉(zhuǎn)結(jié)果如圖6所示。

(a) 20°工件原始圖 (b) 旋轉(zhuǎn)校正圖

(c) 60°工件原始圖 (d) 旋轉(zhuǎn)校正圖圖 6部分工件校正圖Fig.6 Correction chart of parts of the workpiece

從表3可以看出,除編號(hào)2的軸徑測(cè)量值超出了實(shí)際的軸徑誤差外,其余測(cè)量值均在誤差范圍內(nèi)。實(shí)際測(cè)量值與計(jì)算值的誤差也保持在0.2 mm以?xún)?nèi),在精度要求不高的生產(chǎn)環(huán)境中,可以滿(mǎn)足實(shí)際識(shí)別與定位要求。

在工件的識(shí)別與定位過(guò)程中,對(duì)于旋轉(zhuǎn)角的計(jì)算存在±2°的誤差,因而導(dǎo)致在投影計(jì)算峰值時(shí)出現(xiàn)了誤差,計(jì)算值與實(shí)際的軸徑誤差經(jīng)過(guò)計(jì)算為0.134 1 mm。而在機(jī)器人識(shí)別抓取的過(guò)程中,這個(gè)誤差可以滿(mǎn)足抓取要求,并不會(huì)影響抓取精度,因而本文提出的方法可以應(yīng)用于實(shí)際生產(chǎn)。

4 結(jié) 論

(1) 建立了旋轉(zhuǎn)校正模型,在提取散放工件邊緣輪廓特征點(diǎn)的基礎(chǔ)上,通過(guò)坐標(biāo)轉(zhuǎn)換、雙線(xiàn)性插值計(jì)算工件與水平方向的夾角,實(shí)現(xiàn)工件的校正。所得夾角可用于機(jī)器人手爪位姿的調(diào)整,便于快速抓取。

(2) 提出了工件尺寸測(cè)量的灰度投影方法,對(duì)校正后的工件邊緣輪廓進(jìn)行行投影,查詢(xún)投影曲線(xiàn)的峰值,峰值點(diǎn)所對(duì)應(yīng)的像素坐標(biāo)差值為工件的像素尺寸,結(jié)合標(biāo)定參數(shù)得到實(shí)際尺寸,根據(jù)工件尺寸進(jìn)行機(jī)器人手爪開(kāi)合大小的調(diào)整。

(3) 以Dobot機(jī)械臂構(gòu)建了機(jī)器人視覺(jué)抓取實(shí)驗(yàn)平臺(tái),對(duì)本文方法進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明該方法校正角度的誤差控制在2°以?xún)?nèi),測(cè)量尺寸誤差控制在0.5 mm以?xún)?nèi),達(dá)到機(jī)器人末端手爪的位姿和手抓開(kāi)合的調(diào)整精度。