胡嘉成,於雙飛,張濤,管貽生,朱海飛
(廣東工業(yè)大學(xué),機(jī)電工程學(xué)院,廣州,510006)
為了解決傳統(tǒng)機(jī)器人焊接無法應(yīng)對(duì)工件裝夾偏差以及工件熱變形等問題,多種傳感方法得到廣泛研究與應(yīng)用,尤其是視覺傳感由于其獲取信息豐富且精度高,獲得高度關(guān)注,機(jī)器人焊接也從自動(dòng)化焊接專用設(shè)備和示教-再現(xiàn)型機(jī)器人不斷向視覺輔助型機(jī)器人方向發(fā)展[1].
焊槍的空間姿態(tài)是機(jī)器人焊接中一個(gè)非常重要的因素.一方面,它是機(jī)器人運(yùn)動(dòng)控制參數(shù)中必須的參數(shù)之一;另一方面,為了滿足面向幾何與位置信息不確定工件的機(jī)器人焊接需求,需要根據(jù)不同焊縫的形貌、走向以及周圍環(huán)境對(duì)焊槍的空間姿態(tài)進(jìn)行調(diào)整.目前,國內(nèi)外基于三維視覺傳感的機(jī)器人焊接研究主要集中在焊縫位置的提取方面,而對(duì)焊接姿態(tài)等考慮相對(duì)較少[2],其中線結(jié)構(gòu)光視覺傳感是使用最廣泛的視覺傳感器之一,且已能較好實(shí)現(xiàn)對(duì)單條焊縫的焊縫跟蹤[3].文獻(xiàn)[4]使用線結(jié)構(gòu)光視覺傳感器掃描平面曲線焊縫,以工件點(diǎn)云擬合平面的法向量確定焊槍坐標(biāo)系的z方向,以焊縫路點(diǎn)擬合曲線的切向量確定焊槍坐標(biāo)系的x方向,但是該方法只能用于平面焊縫;Yu 等人[5]通過焊縫路點(diǎn)與兩側(cè)激光條紋上的點(diǎn)確定焊槍坐標(biāo)系的z方向,通過考慮特征點(diǎn)始終在圖像視野內(nèi)確定焊槍坐標(biāo)系的x方向,該方法能適應(yīng)多種焊縫類型焊縫跟蹤過程中的焊槍姿態(tài)確定,但是沒有考慮前置傳感器與前方障礙物的碰撞問題.
線結(jié)構(gòu)光視覺傳感是局部視覺傳感,為了面向幾何與位置信息不確定工件的機(jī)器人焊接,獲取更多環(huán)境與焊縫的信息,全局三維視覺傳感得到廣泛研究,并應(yīng)用到機(jī)器人焊接.Li 等人[6]使用V 形焊縫兩側(cè)二維圖像邊緣的三維數(shù)據(jù)逐步確定焊槍空間姿態(tài),適應(yīng)性差;文獻(xiàn)[7-8]求解機(jī)器人焊槍姿態(tài)的方法是根據(jù)兩側(cè)母材點(diǎn)云平面的法向量逐步求解,因此只能適用于平面焊縫的焊槍姿態(tài)求解;Zhou 等人[9]使用RGB-D 相機(jī)獲取工件點(diǎn)云并提取焊縫路點(diǎn),通過焊縫路點(diǎn)的法向量確定焊槍坐標(biāo)系的z方向,然后逐步確定焊槍姿態(tài),由于焊縫路點(diǎn)的法向量受點(diǎn)云質(zhì)量影響非常大,因此該方法存在不足.
目前基于三維視覺傳感的焊縫路點(diǎn)處焊槍空間姿態(tài)確定方法存在著針對(duì)性強(qiáng)、適應(yīng)性差等問題,且沒有考慮前置安裝在焊槍上的傳感器與前進(jìn)方向障礙物的碰撞問題.
為了適應(yīng)多種焊縫類型焊縫路點(diǎn)處的焊槍空間姿態(tài)確定,并考慮前置安裝的傳感器與前進(jìn)方向障礙物碰撞問題,提出一種基于焊縫路點(diǎn)局部點(diǎn)云的焊槍空間姿態(tài)確定方法.通過焊縫路點(diǎn)前進(jìn)方向前后和兩側(cè)不同搜索半徑的點(diǎn)云確定該路點(diǎn)處焊槍的偏擺和傾斜平面,從而確定該路點(diǎn)處適應(yīng)工件局部環(huán)境的焊槍空間姿態(tài).以搭接、對(duì)接、角接和復(fù)雜空間曲線的管道相貫線焊縫為對(duì)象,進(jìn)行焊槍空間姿態(tài)確定試驗(yàn),驗(yàn)證了提出方法的適應(yīng)性與有效性.
基于全局三維視覺傳感的機(jī)器人焊接系統(tǒng)能夠獲得更多環(huán)境和焊縫的三維信息.構(gòu)建的基于RGB-D 相機(jī)的機(jī)器人焊接系統(tǒng)以及系統(tǒng)的相關(guān)坐標(biāo)系如圖1 所示,相機(jī)型號(hào)為RealSense D435,機(jī)器人的型號(hào)為大族Elfin 5 協(xié)作型機(jī)器人.
圖1 系統(tǒng)坐標(biāo)系Fig.1 Description of system coordinate system
機(jī)器人末端坐標(biāo)系{E}相對(duì)于機(jī)器人基坐標(biāo)系{B}下的變換關(guān)系可以直接通過機(jī)器人控制器得到,即;RGB-D 相機(jī)使用TSAI 手眼標(biāo)定方法進(jìn)行手眼標(biāo)定可以得到相機(jī)相對(duì)于機(jī)器人末端的變換關(guān)系,即,因此可以直接將RGB-D 相機(jī)捕獲的工件點(diǎn)云CP轉(zhuǎn)換為機(jī)器人基坐標(biāo)系下的點(diǎn)云BP,其中CP和BP為4 × 1的列矢量,是點(diǎn)的齊次坐標(biāo)形式,計(jì)算式為
基于RGB-D 相機(jī)的機(jī)器人焊接系統(tǒng)面向幾何與位置信息不確定工件焊接的工作流程如下.通過RGB-D 相機(jī)獲取幾何與位置信息不確定工件的三維點(diǎn)云與圖像等數(shù)據(jù),使用焊縫檢測算法提取焊縫路點(diǎn)三維數(shù)據(jù),并對(duì)提取的焊縫路點(diǎn)分別進(jìn)行焊槍空間姿態(tài)確定,從而得到幾何與位置信息不確定工件焊縫的焊縫路點(diǎn)三維位置和其對(duì)應(yīng)的焊槍空間姿態(tài),即可控制機(jī)器人,使焊槍以對(duì)應(yīng)姿態(tài)逐步沿著焊縫路點(diǎn)運(yùn)動(dòng),完成對(duì)幾何與位置信息不確定工件的焊接.
機(jī)器人焊接過程中焊槍的空間姿態(tài)是指焊槍坐標(biāo)系相對(duì)于機(jī)器人基坐標(biāo)系的姿態(tài),坐標(biāo)系的描述如圖1 所示,焊槍的坐標(biāo)系建立在焊絲末端.為了使焊槍能適應(yīng)焊縫路點(diǎn)處的工件局部環(huán)境,該路點(diǎn)處的焊槍空間姿態(tài)應(yīng)由其所在位置的工件局部形貌而定.文獻(xiàn)[10-11]闡述了焊槍的空間位姿模型,描述了焊槍在待焊工件焊縫路點(diǎn)處相對(duì)于工件表面的空間姿態(tài),其中描述焊槍在一確定焊縫路點(diǎn)的空間姿態(tài)比較重要的兩個(gè)參數(shù)為傾斜角α和偏擺角β.
傾斜角α是指焊槍軸線沿著焊接前進(jìn)方向,即當(dāng)前路點(diǎn)指向下一焊縫路點(diǎn)的方向前傾或后傾的角度,傾斜角一方面對(duì)具體的工藝有影響,另一方面對(duì)焊接機(jī)器人前置安裝在焊槍末端的傳感器與前方障礙物避免碰撞有重要影響.偏擺角β是指焊槍軸線相對(duì)于焊接前進(jìn)方向兩側(cè)的待焊母材之間的偏擺角度.
對(duì)應(yīng)上述的系統(tǒng),焊槍空間姿態(tài)參數(shù)模型如圖2 所示.焊槍坐標(biāo)系的z軸和x軸所形成的偏擺平面N 相對(duì)于焊接前進(jìn)方向兩側(cè)母材的角度即為偏擺角β;焊槍坐標(biāo)系z(mì)軸和y軸所形成的傾斜平面M 相對(duì)于焊接前進(jìn)方向前后母材的傾斜角度即為傾斜角α.確定了偏擺平面N 與傾斜平面M,即可確定焊槍在當(dāng)前路點(diǎn)的偏擺角β與傾斜角α,即可確定焊槍在當(dāng)前路點(diǎn)的空間姿態(tài).
圖2 焊槍空間姿態(tài)參數(shù)模型Fig.2 Space pose parameter model of welding torch
通過調(diào)整機(jī)器人的位姿,使幾何與位置信息不確定的待焊工件出現(xiàn)在RGB-D 相機(jī)視野內(nèi).通過RGB-D 相機(jī)采集現(xiàn)場工件的點(diǎn)云等圖像數(shù)據(jù),并根據(jù)式(1)將相機(jī)坐標(biāo)系下的點(diǎn)云變換到機(jī)器人基坐標(biāo)系下.利用PCL(point cloud library)對(duì)采集的點(diǎn)云進(jìn)行處理,首先使用直通濾波將機(jī)器人工作空間外的點(diǎn)云濾除,然后使用統(tǒng)計(jì)濾波器濾除測量噪聲導(dǎo)致的離群點(diǎn).最后通過文獻(xiàn)[6,12-14]所提出的焊縫提取方法進(jìn)行焊縫路點(diǎn)的提取,從而獲得待焊工件焊縫的三維路點(diǎn)信息,為機(jī)器人運(yùn)動(dòng)提供位置信息.
對(duì)于一般焊接工藝,焊槍的偏擺平面多處于焊槍前進(jìn)方向左右兩側(cè)母材夾角的角平分位置.確定焊槍坐標(biāo)系在焊縫路點(diǎn)pi處的偏擺平面N的位置,即確定焊槍在pi處的偏擺角β.
焊槍在焊縫路點(diǎn)pi處的前進(jìn)方向的單位向量ai可由焊槍下一焊縫路點(diǎn)pi+1(xi+1,yi+1,zi+1)與當(dāng)前所在pi(xi,yi,zi)點(diǎn)三維坐標(biāo)相減并單位化可得.為了使焊槍的姿態(tài)能夠適應(yīng)焊縫路點(diǎn)處的局部環(huán)境,在pi點(diǎn)處以r1為半徑,使用kd-tree的最小半徑搜索,獲取焊縫路點(diǎn)pi處的局部點(diǎn)云數(shù)據(jù),搜索的結(jié)果點(diǎn)集由psc,c∈{1,2,...,n}表示,r1取待焊板材厚度.
經(jīng)過pi點(diǎn)且垂直于前進(jìn)向量ai的平面為Mt與pi點(diǎn)處的局部點(diǎn)集psc的交集點(diǎn)集,能夠清晰地反映出焊縫路點(diǎn)pi前進(jìn)方向兩側(cè)待焊母材的局部形貌.
通過pi到psc的各向量與平面Mt的法向量ai的點(diǎn)乘為0 判斷psc點(diǎn)集中哪些點(diǎn)是在平面Mt上的.由于點(diǎn)云嚴(yán)格在平面上的數(shù)量非常少,因此δ表示閾值,當(dāng)其值小于閾值時(shí)即認(rèn)為是在平面Mt上,從而增加數(shù)據(jù)量,pi到psc各點(diǎn)的向量可以由pipsc表示,即
將在Mt平面上的點(diǎn)集保存,計(jì)算各點(diǎn)到pi點(diǎn)的距離,通過對(duì)距離排序以及不同方向的判別,可以找到Mt平面上點(diǎn)集在待焊母材兩側(cè)最遠(yuǎn)的兩點(diǎn)plm和prm.
焊縫路點(diǎn)pi分別到plm和prm點(diǎn)的向量由于式(2)所設(shè)定的閾值的原因,從而可能沒有在平面Mt上.為了避免該偏差對(duì)偏擺平面的影響,piplm可投影到Mt平面上并單位化為pip′lm,同理piprm投影到Mt平面上并單位化為pip′rm.焊槍偏擺平面一般是兩側(cè)母材的角平分面,因此對(duì)投影后的向量進(jìn)行單位化是為了避免向量的大小對(duì)偏擺向量pni運(yùn)算結(jié)果產(chǎn)生較大的影響,計(jì)算式為
式中:pipm為待投影向量;n為投影平面的法向量;pip′m為向量投影到平面并單位化后的結(jié)果.
將pip′lm與pip′rm相 加并單位化即得焊縫路點(diǎn)pi在前進(jìn)方向法平面Mt上兩側(cè)母材角平分的偏擺向量pni.前進(jìn)向量ai與偏擺向量pni所形成的平面即是焊槍坐標(biāo)系在pi處的偏擺平面N,如圖3 所示.
圖3 偏擺平面求解Fig.3 Solution of deflection plane
傾斜平面的確定文中僅考慮焊槍前進(jìn)方向前后母材的角平分位置,以及前置安裝在焊槍上的傳感器與前方障礙物避免碰撞的問題,對(duì)于需要焊槍前傾和后傾的具體工藝可以在結(jié)果確定后進(jìn)行指定傾斜角度的補(bǔ)償.確定焊槍坐標(biāo)系在焊縫路點(diǎn)pi處的傾斜平面M的位置即確定焊槍在pi處的傾斜角α.
焊縫路點(diǎn)pi處的偏擺平面N的法向量(nni)可以有前進(jìn)向量(ai)和偏擺向量(pni)叉乘得到,即
在pi點(diǎn)處以r2為搜索半徑使用kd-tree的最小半徑搜索,搜索的結(jié)果點(diǎn)集使用式(2)進(jìn)行判別,篩選出前進(jìn)方向前后以r2為半徑的局部點(diǎn)云在偏擺平面N 上的點(diǎn)云集合,反映了在焊縫路點(diǎn)沿前進(jìn)方向前后待焊母材的相關(guān)形貌.同理計(jì)算在偏擺平面N 上的各個(gè)點(diǎn)到pi點(diǎn)的距離,分別找到距pi點(diǎn)前后方向最遠(yuǎn)的兩點(diǎn)pfm和pbm.
使用式(3)將pipfm與pipbm投影到偏擺平面N 上并單位化后,結(jié)果分別為pip′fm與pip′bm.pip′fm與pip′bm相加得到的即是焊縫路點(diǎn)pi處偏擺平面N 上與焊接方向前后母材角平分的傾斜向量pmi.pmi與偏擺平面N的法向量nni所組成的平面即為傾斜平面M,如圖4 所示.
圖4 傾斜平面求解Fig.4 Solution of inclined plane
對(duì)于前置安裝在焊槍上的傳感器與前方障礙物之間的避免碰撞問題,主要是通過合理設(shè)置搜索半徑r2來完成.r2應(yīng)大于傳感器相對(duì)于焊槍軸線的前置安裝距離,當(dāng)前方障礙物到焊縫路點(diǎn)的距離小于r2時(shí)使用上述的傾斜平面確定方法進(jìn)行求解.傾斜平面會(huì)相對(duì)于障礙物向后傾斜,且距障礙物越近傾斜角度越大,從而使焊槍可達(dá)障礙物附近的焊縫路點(diǎn),且能避免了前置安裝的傳感器與前方障礙物的碰撞,如圖5 所示.
圖5 前置安裝傳感器避碰示意圖Fig.5 Diagram of front-mounted sensor collision avoidance
確定了pi點(diǎn)處焊槍坐標(biāo)系的偏擺平面和傾斜平面后,通過確定焊槍在焊縫路點(diǎn)pi處的坐標(biāo)系,并對(duì)應(yīng)到機(jī)器人基坐標(biāo)系即可得到焊槍在焊縫路點(diǎn)pi處考慮局部環(huán)境信息的無碰空間姿態(tài).焊槍坐標(biāo)系的確定具體步驟如下.
(1)z軸的確定.焊槍坐標(biāo)系的z軸單位向量zi與傾斜向量pmi共線,由于傾斜向量的方向受到工件點(diǎn)云局部形貌凹凸性的影響,因此z軸的方向判斷還需根據(jù)pi點(diǎn)朝向視點(diǎn)的法向量ni判斷,確保焊槍朝向正確.
(2)y軸的確定.焊槍坐標(biāo)系的y軸單位向量為yi,其為前進(jìn)向量ai與zi叉乘后單位化的結(jié)果,即
(3)x軸的確定.焊槍坐標(biāo)系的x軸單位向量為xi,可由右手定則確定,即
得到pi點(diǎn)處焊槍坐標(biāo)系各軸的單位向量后,可投影到機(jī)器人基坐標(biāo)系xb=(1,0,0),yb=(0,1,0),zb=(0,0,1)下可得pi點(diǎn)處焊槍坐標(biāo)系相對(duì)于機(jī)器人基坐標(biāo)系的旋轉(zhuǎn)矩陣為
從而確定了焊槍在焊縫路點(diǎn)pi處相對(duì)于機(jī)器人基坐標(biāo)系下的無碰空間姿態(tài).
采用上述提到的RGB-D 相機(jī)與大族Elfin5 組成的機(jī)器人焊接系統(tǒng)進(jìn)行試驗(yàn),使用PCL 對(duì)點(diǎn)云進(jìn)行處理,使用Eigen 庫完成向量與矩陣相關(guān)的運(yùn)算.對(duì)搭接、對(duì)接、角接三種典型焊縫以及復(fù)雜空間曲線的管道相貫線焊縫進(jìn)行試驗(yàn),驗(yàn)證研究方法的適應(yīng)性與有效性.
I 形對(duì)接焊縫(圖6)由于其焊縫接觸緊密,且沒有溝槽等明顯的幾何特點(diǎn),在三維點(diǎn)云層面幾乎很難直接區(qū)分焊縫路點(diǎn),但是焊縫的二維圖像特征比較明顯,因此采用文獻(xiàn)[6,13]所提到的二維焊縫圖像邊緣對(duì)齊到深度圖像的方法,獲取焊縫路點(diǎn)的三維信息.然后使用所提方法確定焊槍的空間姿態(tài),對(duì)接焊縫的焊槍空間姿態(tài)確定結(jié)果如圖6(c)所示.
圖6 對(duì)接焊縫Fig.6 Butt weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose
搭接焊縫和角接焊縫(圖7 和圖8)在二維圖像與三維點(diǎn)云層面均有明顯的圖像與幾何特征,因此不管是采用二維圖像到深度圖像的對(duì)齊,還是直接從三維點(diǎn)云層面進(jìn)行檢測提取都是可行的.試驗(yàn)中采用文獻(xiàn)[14]的方法,直接從工件三維點(diǎn)云中檢測提取焊縫路點(diǎn)的三維數(shù)據(jù),然后使用所提方法確定焊槍空間姿態(tài),結(jié)果分別如圖7(c)和圖8(c)所示.
圖7 搭接焊縫Fig.7 Lap weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose
圖8 角接焊縫Fig.8 Fillet weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose
管道相貫線焊縫(圖9)屬于復(fù)雜空間曲線焊縫,試驗(yàn)中可采用文獻(xiàn)[6,13]所提到的從二維圖像到深度圖像對(duì)齊的方法獲取單視野下管道相貫線焊縫路點(diǎn)三維數(shù)據(jù),然后使用所提研究方法確定焊槍的空間姿態(tài),姿態(tài)確定結(jié)果如圖9(b)所示.
圖9 管道相貫線焊縫Fig.9 Pipe weld.(a) point clouds and weld waypoints;(b) determination results of welding torch space pose; (c) robot motion process
管道相貫線類型焊縫由于其較為復(fù)雜,焊縫路點(diǎn)處焊槍的真實(shí)空間姿態(tài)難以確定,因此不對(duì)其作偏差分析,機(jī)器人實(shí)際運(yùn)動(dòng)過程如圖9(c)所示.對(duì)于搭接、對(duì)接和角接三類焊縫的焊槍真實(shí)姿態(tài)可以得到,即對(duì)接為垂直向下,搭接和角接為斜45°向下,均處于焊縫路點(diǎn)處母材兩側(cè)與前后的角平分處.將均布的30 個(gè)焊縫路點(diǎn)處確定的焊槍空間姿態(tài)與真實(shí)姿態(tài)做比較,得到的偏擺平面與傾斜平面偏差如圖10 和圖11 所示,其中以焊槍前進(jìn)方向向左偏擺為偏擺的正方向,以焊槍前進(jìn)方向向前傾斜為傾斜的正方向.
圖10 偏擺平面偏差Fig.10 Deflection plane deviation
圖11 傾斜平面偏差Fig.11 Inclined plane deviation
上述對(duì)幾種典型類型的焊縫進(jìn)行了焊槍空間姿態(tài)確定試驗(yàn),從試驗(yàn)結(jié)果可以體現(xiàn)基于焊縫路點(diǎn)局部點(diǎn)云的焊槍空間姿態(tài)確定方法適應(yīng)性強(qiáng)、有效性好,對(duì)多種典型類型的焊縫均能有效確定焊槍在焊縫路點(diǎn)處適應(yīng)工件局部環(huán)境的空間姿態(tài).在姿態(tài)確定精度上,管道相貫線焊縫從姿態(tài)確定效果以及機(jī)器人實(shí)際運(yùn)動(dòng)效果觀感上是滿足需求的.對(duì)于三類典型焊縫由于工件點(diǎn)云表面凹凸不平質(zhì)量一般,對(duì)接和角接焊縫的偏擺平面偏差均在±10°以內(nèi),搭接焊縫的偏擺平面偏差最大為12.4°.傾斜平面的偏差均在±10°以內(nèi),主要傾斜偏差出現(xiàn)在焊縫的起始與終止部分路點(diǎn)處,是由工件表面與工作臺(tái)存在高度差導(dǎo)致.
姿態(tài)確定的精度與RGB-D 相機(jī)采集工件點(diǎn)云表面的質(zhì)量關(guān)系密切.由于消費(fèi)級(jí)RGB-D 相機(jī)精度有限,點(diǎn)云質(zhì)量一般,導(dǎo)致在連續(xù)焊縫路點(diǎn)間計(jì)算得到的焊槍姿態(tài)存在一定波動(dòng).為避免這些波動(dòng)造成機(jī)器人運(yùn)動(dòng)不平滑,一方面,可以對(duì)確定的姿態(tài)進(jìn)行平滑處理,然后再用于控制機(jī)器人完成焊接任務(wù);另一方面,可對(duì)工件的原始點(diǎn)云進(jìn)行平滑后再進(jìn)行焊槍空間姿態(tài)的確定,從而減小波動(dòng)幅度.另外基于消費(fèi)級(jí)RGB-D 相機(jī)數(shù)據(jù)的焊縫位置的提取精度難以滿足工業(yè)精度要求,后續(xù)可以利用焊縫提取的結(jié)果和文中方法確定的焊槍空間姿態(tài)結(jié)果粗略引導(dǎo)機(jī)器人運(yùn)動(dòng),然后借助成熟的激光視覺技術(shù)進(jìn)行精確的位置糾偏[15].可有望提升基于全局三維視覺傳感面向幾何與位置信息不確定工件的機(jī)器人自主焊接作業(yè)水平.
(1) 提出了基于焊縫路點(diǎn)局部點(diǎn)云的焊槍空間姿態(tài)確定方法,通過焊縫路點(diǎn)前進(jìn)方向兩側(cè)與前后的局部點(diǎn)云,確定焊槍在該路點(diǎn)處的偏擺平面和傾斜平面,從而確定了焊槍在該路點(diǎn)處的空間姿態(tài).
(2) 通過考慮傳感器的前置安裝距離確定局部點(diǎn)云的搜索半徑,確定的焊槍空間姿態(tài)能使其在焊縫路點(diǎn)可達(dá)的前提下,前置安裝的傳感器不會(huì)與前面的障礙物發(fā)生碰撞.
(3) 對(duì)幾類典型焊縫進(jìn)行試驗(yàn),結(jié)果表明基于焊縫路點(diǎn)局部點(diǎn)云的焊槍空間姿態(tài)確定方法適應(yīng)性強(qiáng)、有效性好,能滿足基于全局三維視覺傳感的機(jī)器人焊接中焊縫路點(diǎn)的焊槍空間姿態(tài)自主確定需求.