視覺(jué)-激光混合式3D測(cè)量方法及自動(dòng)裝配研究

祝春雨,謝小輝,朱 悅

(蘇州大學(xué) 機(jī)電工程學(xué)院,江蘇 蘇州 215000)

隨著工業(yè)機(jī)器人應(yīng)用的日益成熟,制造行業(yè)開(kāi)始大批量采用工業(yè)機(jī)器人替代人工進(jìn)行產(chǎn)品加工和裝配[1]。機(jī)器人自動(dòng)裝配是工業(yè)自動(dòng)化生產(chǎn)中的典型作業(yè),利用機(jī)器人替代人進(jìn)行上下料等方面的工作[2,3]。在機(jī)器人制造系統(tǒng)中,姿勢(shì)對(duì)齊和視覺(jué)定位在裝配前是必不可少的[4]。在基座與大臂的裝配過(guò)程中,基座的孔位與大臂的螺紋孔對(duì)齊是基座裝配過(guò)程中的關(guān)鍵工藝。傳統(tǒng)手工裝配方式效率低下且產(chǎn)品質(zhì)量不一。視覺(jué)裝配機(jī)器人可以有效解決上述問(wèn)題。采用裝配機(jī)器人代替人工可以提高效率,降低勞動(dòng)強(qiáng)度[5,6]。

Liu等[7]利用3個(gè)顯微攝像機(jī)和力傳感器實(shí)現(xiàn)了長(zhǎng)圓柱構(gòu)件的位姿對(duì)準(zhǔn)。徐遠(yuǎn)[8]等采用力反饋和兩次視覺(jué)定位的方法,實(shí)現(xiàn)了機(jī)器人定位精度由粗到細(xì)的改進(jìn)。這些方法完成了位置定位和單一方向的角度校準(zhǔn),考慮到在實(shí)際生產(chǎn)情況下,需要對(duì)裝配工件六自由度空間完成校準(zhǔn),本文提出一種激光位移傳感器測(cè)量技術(shù)和機(jī)器視覺(jué)技術(shù)相結(jié)合實(shí)現(xiàn)大臂工件六自由度定位和矯正的方法。

1 裝配系統(tǒng)總體設(shè)計(jì)

如圖1所示,機(jī)器人裝配系統(tǒng)主要由3個(gè)激光位移傳感器、2個(gè)電荷耦合元件(Charge coupled device,CCD)相機(jī)、2個(gè)六軸機(jī)器機(jī)械末端夾持器和1臺(tái)工控機(jī)組成。

圖1 機(jī)器人自動(dòng)裝配系統(tǒng)

單個(gè)相機(jī)可以識(shí)別工件在平面上的位姿信息,激光位移傳感器可以識(shí)別大臂搬運(yùn)過(guò)程中的位姿變化,二者結(jié)合可以對(duì)裝配工件的6個(gè)自由度空間進(jìn)行校準(zhǔn)。首先工業(yè)機(jī)器人A末端移動(dòng)到基座正前方,其末端安裝的CCD相機(jī)A提取螺紋孔區(qū)域,經(jīng)手眼標(biāo)定后計(jì)算當(dāng)前螺紋孔中心Y、Z位置和RX偏轉(zhuǎn)角度,以固定位姿作為基準(zhǔn),測(cè)量當(dāng)前底座螺紋孔位姿偏差值。大臂工件移動(dòng)到CCD相機(jī)B和激光位移傳感器的正前方,CCD相機(jī)B使用基座裝配體螺紋孔的亞邊緣作為模板,基于最小均方誤差匹配法準(zhǔn)確匹配當(dāng)前大臂工件螺紋孔亞像素邊緣,計(jì)算大臂工件當(dāng)前RX位姿和工件Y、Z位置偏差。通過(guò)3個(gè)激光測(cè)距儀解算出當(dāng)前大臂工件的X位置偏差和RY、RZ的姿態(tài)偏差,計(jì)算出6個(gè)自由度方向的偏差后,控制工業(yè)機(jī)器人B補(bǔ)償當(dāng)前大臂工件的位姿偏差。最終實(shí)現(xiàn)大臂工件與基座裝配體基準(zhǔn)面姿勢(shì)對(duì)齊和螺紋孔位置的準(zhǔn)確定位。

2 基于機(jī)器視覺(jué)的工件定位與位置校準(zhǔn)

采用兩個(gè)CCD相機(jī)實(shí)現(xiàn)基座的位置提取和姿態(tài)校準(zhǔn)。首先CCD相機(jī)A是眼在手上方式,機(jī)器人移動(dòng)到基座正前方,采用動(dòng)態(tài)閾值分割法,形態(tài)學(xué)處理提取基座螺紋孔像素位置,經(jīng)手眼標(biāo)定以后,得到螺紋孔位置信息以及繞X軸的角度RX值。接著再創(chuàng)建邊緣模板,基于最小均方誤差匹配法對(duì)CCD相機(jī)B讀取的大臂螺紋孔進(jìn)行識(shí)別,CCD相機(jī)B采用眼在手外的安裝方式,可以精準(zhǔn)解算出與基座平面位姿的誤差。在這個(gè)過(guò)程中,工控機(jī)實(shí)時(shí)解算圖像信息,控制機(jī)器人對(duì)大臂工件相對(duì)基座的Z、Y軸位置誤差,RX偏轉(zhuǎn)誤差進(jìn)行補(bǔ)償。具體工作流程如圖2所示,其中Ry、Rz代表具體的角度值。

圖2 裝配系統(tǒng)控制原理框圖

2.1 裝配體基座基準(zhǔn)面視覺(jué)定位

2.1.1 最大類(lèi)間方差法分割圖像

首先讓相機(jī)A采用閾值分割算法對(duì)螺紋孔區(qū)域進(jìn)行分割,再通過(guò)形態(tài)學(xué)處理,提取圓形螺紋孔區(qū)域。最大類(lèi)間方差法是由日本學(xué)者Otsu提出的一種圖像分割高效算法,也稱(chēng)Otsu分割法[9]。在使用此算法對(duì)基座螺紋孔圖像進(jìn)行閾值分割的時(shí)候,選定的閾值分割區(qū)域與前景區(qū)域、灰度背景與整幅圖像的平均灰度之間差別達(dá)到最大。圖像總的像素?cái)?shù)為

(1)

各灰度值出現(xiàn)的概率為

(2)

u、u0、u1分別代表整幅圖像的平均灰度、區(qū)域C0的平均灰度、區(qū)域C1的平均灰度,兩個(gè)區(qū)域的總方差為

(3)

圖3 基座螺紋孔圖像分割結(jié)果

2.1.2 求解RX位姿偏差

由于基座螺紋孔每次位置都會(huì)發(fā)生變化,因此需要對(duì)基座上的螺紋孔的位置進(jìn)行識(shí)別,并且需要求解RX方向的偏差,再對(duì)裝配工件進(jìn)行位姿校準(zhǔn)。對(duì)裝配底座螺紋孔位置求解中心點(diǎn)坐標(biāo)Yin和Zin。經(jīng)手眼標(biāo)定后將像素坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo),分別得到6個(gè)螺紋孔的Y和Z坐標(biāo)為YN和ZN,設(shè)定的初始化螺紋孔位置為(Y0,Z0),N的范圍是1至6。

然后求解RX方向上的偏移角度

(4)

以此作為另一個(gè)裝配工件的基準(zhǔn)Rx角度。

2.2 裝配工件視覺(jué)定位

2.2.1 基于最小均方誤差匹配法的圖像搜索策略

匹配算法是對(duì)每個(gè)待檢測(cè)邊緣,使用模板匹配分割結(jié)果,估計(jì)與其匹配的最優(yōu)值[10]。對(duì)基座螺紋孔區(qū)域提取亞像素輪廓,得到輪廓的像素坐標(biāo)集合為(M,N)。

對(duì)于圖像間的仿射變換(M,N)→(M′,N′),變換方程為

(5)

(6)

(7)

mi,ni代表的是第i對(duì)像素點(diǎn)坐標(biāo)。由最小均方差原理求解E2=(N-M?)T(N-M?),便可求解E2,通過(guò)遍歷基座螺孔邊緣像素點(diǎn)與大臂螺孔像素點(diǎn)匹配,得到如圖4所示最佳匹配螺紋孔輪廓,對(duì)輪廓圓坐標(biāo)解算出工件螺紋中心坐標(biāo),經(jīng)過(guò)手眼標(biāo)定后轉(zhuǎn)換為機(jī)器人坐標(biāo)Y′、Z′。

圖4 模板匹配結(jié)果及螺紋孔繞X軸偏轉(zhuǎn)方向

2.2.2 求解位姿偏移值

大臂工件的Y′、Z′、R′x螺紋中心坐標(biāo)與基準(zhǔn)底座螺紋孔位置YN、ZN、Rx對(duì)比后求ΔZ、ΔY、ΔRx偏移值

ΔZ=Z′-ZN

(8)

ΔY=Y′-YN

(9)

ΔRx=R′x-Rx

(10)

得到位置偏移值后控制工業(yè)機(jī)器人B移動(dòng)。

3 激光位移傳感器精密測(cè)量方法

以激光位移傳感器A為原點(diǎn),建立激光位移傳感器坐標(biāo)系,激光位移傳感器呈正三角形安裝,傳感器之間間距為L(zhǎng),傳感器在一個(gè)平面上,如圖5所示。

圖5 激光傳感器安裝位置示意圖

圖6 坐標(biāo)系相對(duì)位置

根據(jù)向量法公式

(11)

將工件表面激光照射的3個(gè)點(diǎn)坐標(biāo)代入得到大臂工件表面的法向量各坐標(biāo)為

(12)

(13)

(14)

機(jī)器人Z軸向量為

J=(0,0,1)

(15)

當(dāng)前大臂工件繞Y軸的Ry歐拉角公式為

(16)

解算出當(dāng)前大臂工件的Ry歐拉角偏差角度為

Ry=

(17)

機(jī)器人Y軸向量為

V=(0,1,0)

(18)

當(dāng)前大臂工件繞Z軸的Rz歐拉角公式為

(19)

解算出當(dāng)前大臂工件的Rz歐拉角偏差角度為

Rz=

(20)

4 實(shí)驗(yàn)

對(duì)提出的基于機(jī)器視覺(jué)和激光位移傳感器的機(jī)器人自動(dòng)裝配方法進(jìn)行了30次裝配實(shí)驗(yàn)。工業(yè)機(jī)器人是六軸機(jī)器人,工業(yè)機(jī)器人A負(fù)責(zé)擰螺絲作業(yè),機(jī)器人B負(fù)責(zé)對(duì)裝配工件的位姿校準(zhǔn)。

激光位移傳感器通過(guò)RS485串口與工控機(jī)通信,采用的通信協(xié)議為Modbus協(xié)議。圖像傳感器為?？低暪I(yè)600M彩色相機(jī),機(jī)器人和工業(yè)相機(jī)通過(guò)千兆網(wǎng)口與工控機(jī)通信。激光位移傳感器型號(hào)為CD22-100-485,最大位移檢測(cè)距離為150 mm,激光位移傳感器的線性度為±0.1% F.S.。傳感器的分辨率為6 μm,滿足系統(tǒng)精度要求。視覺(jué)算法采用Visual Studio 2015、Halcon和OpenCV聯(lián)合編程。裝配螺栓為M14型號(hào),部分不同大臂和基座配合的螺紋孔位對(duì)接結(jié)果如圖7和8所示。

圖7 裝配實(shí)驗(yàn)

如圖8所示,大臂工件在搬運(yùn)抓取過(guò)程中其位姿發(fā)生了較大變化,不經(jīng)過(guò)位姿校準(zhǔn)容易導(dǎo)致裝配失敗。經(jīng)過(guò)位姿校準(zhǔn)后與裝配平面的位姿偏差值如表1所示。通過(guò)校準(zhǔn)以后,位置偏差降低到0.2 mm以下,姿態(tài)偏差降低到0.1°以下,滿足實(shí)際的螺孔裝配精度需求。

圖8 搬運(yùn)過(guò)程中位姿偏差

5 結(jié)束語(yǔ)

針對(duì)裝配生產(chǎn)線工件位姿變化的問(wèn)題,提出了一種基于機(jī)器視覺(jué)技術(shù)和激光位移測(cè)量在線解算位姿的方法,用兩臺(tái)工業(yè)相機(jī)可以確定基座和大臂之間的相對(duì)Y、Z、RX偏差,通過(guò)激光位移傳感器測(cè)量大臂工件搬運(yùn)過(guò)程中的X軸位移,再解算出工件繞Y軸和繞Z軸的角度值,這兩種非接觸式傳感器準(zhǔn)確地測(cè)量出基座螺紋孔的位姿和大臂工件因搬運(yùn)引起的位姿誤差,從而引導(dǎo)工業(yè)機(jī)器人對(duì)大臂工件進(jìn)行位姿校準(zhǔn)。從實(shí)際裝配實(shí)驗(yàn)得出,這種方法校準(zhǔn)裝配軸孔定位姿態(tài)誤差小于0.1°,位置誤差小于0.2 mm,完全適用于工業(yè)現(xiàn)場(chǎng)的螺孔裝配作業(yè)。