激光單目視覺(jué)焊縫起始點(diǎn)導(dǎo)引技術(shù)

倪沫楠，王天琪，李金鐘，賈振威

(天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室(天津工業(yè)大學(xué))，天津300387)

焊縫起始點(diǎn)自動(dòng)導(dǎo)引技術(shù)是實(shí)現(xiàn)智能焊接機(jī)器人自動(dòng)焊接的重要前提［1－3］.大多數(shù)工業(yè)生產(chǎn)中應(yīng)用的焊接機(jī)器人［4－5］主要采用示教－再現(xiàn)的工作方式，操作精度完全依賴于示教經(jīng)驗(yàn)，且改變待焊工件的位置需重新示教，勞動(dòng)強(qiáng)度大，工作效率低.目前，焊接起始點(diǎn)自動(dòng)導(dǎo)引技術(shù)的研究并不多見(jiàn).傳統(tǒng)基于視覺(jué)的焊接初始位置三維信息的獲取方法主要為立體視覺(jué)的方法［6－8］，該方法是根據(jù)雙目視覺(jué)原理利用攝像機(jī)在不同位置獲得目標(biāo)點(diǎn)的圖像，經(jīng)過(guò)圖像處理、立體匹配、空間定位等過(guò)程計(jì)算目標(biāo)點(diǎn)的三維坐標(biāo)，進(jìn)而控制機(jī)器人向目標(biāo)點(diǎn)運(yùn)動(dòng).而立體標(biāo)定和立體匹配的算法復(fù)雜，且攝像機(jī)需要多次變換位置對(duì)目標(biāo)點(diǎn)景物進(jìn)行圖像采集，為減小相機(jī)畸變的影響，需要盡量防止目標(biāo)點(diǎn)位于視野邊緣，操作過(guò)程較為繁瑣.近年來(lái)，采用單目視覺(jué)的焊縫起始點(diǎn)位置識(shí)別的研究中包含的模板匹配、角點(diǎn)檢測(cè)等算法停留在圖像處理的層面上［9－11］，僅檢測(cè)出了目標(biāo)點(diǎn)在成像平面上的二維坐標(biāo)，無(wú)法滿足實(shí)際焊接的要求.

針對(duì)以上問(wèn)題，本文提出了一種十字激光單目視覺(jué)的兩步導(dǎo)引法，利用單目視覺(jué)的圖像處理技術(shù)確定目標(biāo)點(diǎn)的二維位置信息，調(diào)整攝像機(jī)姿態(tài)使目標(biāo)點(diǎn)位于攝像機(jī)坐標(biāo)系z(mì)軸上;結(jié)合十字激光發(fā)生器，控制機(jī)器人沿?cái)z像機(jī)坐標(biāo)系z(mì)軸向目標(biāo)點(diǎn)運(yùn)動(dòng)，對(duì)焊縫起點(diǎn)位置進(jìn)行快速精確的導(dǎo)引.

1 系統(tǒng)結(jié)構(gòu)與前期工作

采用Eye-in-hand的方式固定CCD攝像機(jī)采集被測(cè)工件的圖像，機(jī)器人為瑞士ABB公司的IRB 1410型工業(yè)機(jī)器人，與工控機(jī)之間的通信采用其內(nèi)置的Interface模塊實(shí)現(xiàn).CCD攝像機(jī)與十字激光器采用標(biāo)準(zhǔn)的結(jié)構(gòu)光安裝方式，注意在固定過(guò)程中盡量使十字激光交叉線與攝像機(jī)光軸位于同一平面.試驗(yàn)工件為2塊50 mm×180 mm、厚度5 mm的普通碳鋼平板對(duì)接成的v型坡口樣件.試驗(yàn)裝置如圖1所示，工控機(jī)為系統(tǒng)的主要控制核心，承擔(dān)了圖像采集、圖像處理、數(shù)據(jù)運(yùn)算及機(jī)器人運(yùn)動(dòng)狀態(tài)的讀取和控制等工作.

圖1 試驗(yàn)裝置示意圖Fig.1 Schematic of test device

由于該試驗(yàn)中的導(dǎo)引為一個(gè)由遠(yuǎn)及近的過(guò)程，首先，控制機(jī)器人位于工件上方一定距離，并保證焊縫起始點(diǎn)在攝像機(jī)視野范圍內(nèi);然后，對(duì)采集到的圖像進(jìn)行Hough直線檢測(cè)，求取直線交點(diǎn)的方法獲得焊縫起始點(diǎn)的圖像坐標(biāo)［12］，為后續(xù)的導(dǎo)引工作做準(zhǔn)備.

2 攝像機(jī)坐標(biāo)系的姿態(tài)調(diào)整

根據(jù)焊縫起始點(diǎn)在成像平面的坐標(biāo)，建立如圖2所示的新坐標(biāo)系，并求取新舊坐標(biāo)系之間的轉(zhuǎn)換關(guān)系.

焊縫起始點(diǎn)P在攝像機(jī)坐標(biāo)系中的坐標(biāo)為(xc，yc，f)，其中 f為相機(jī)焦距，xc、yc為 P 點(diǎn)在成像平面上的坐標(biāo)，光源中心Oc與圖像中目標(biāo)點(diǎn)P可確定一條直線，設(shè)直線方程為

對(duì)式(1)進(jìn)行歸一化處理，則該直線的單位向量可用式(2)表示:

圖2 坐標(biāo)系轉(zhuǎn)換Fig.2 Conversion chart of coordinate

以向量OP作為新坐標(biāo)系的z軸，根據(jù)光源中心點(diǎn)O(0，0，0)、點(diǎn)(0，0，f)以及點(diǎn)(xc，yc，f)決定的平面的垂向量按右手定則確定新坐標(biāo)系的x軸與y軸，令兩坐標(biāo)系間轉(zhuǎn)換矩陣為Rot

由式(4)結(jié)合坐標(biāo)系繞空間中任意一軸旋轉(zhuǎn)的旋轉(zhuǎn)矩陣［3］，即可求得轉(zhuǎn)換矩陣Rot:

利用上述推導(dǎo)的旋轉(zhuǎn)矩陣對(duì)機(jī)器人進(jìn)行姿態(tài)變換，如圖3所示，W為機(jī)器人基坐標(biāo)系，T1、T2分別為機(jī)器人運(yùn)動(dòng)前后機(jī)器人末端坐標(biāo)系，c1、c2分別為機(jī)器人運(yùn)動(dòng)前后相機(jī)坐標(biāo)系，攝像機(jī)坐標(biāo)系與工具坐標(biāo)系的轉(zhuǎn)換矩陣T為常量矩陣，由兩步標(biāo)定法可以求解［13］;T1TW、T2TW為世界坐標(biāo)系與運(yùn)動(dòng)前后工具坐標(biāo)系之間的轉(zhuǎn)換矩陣，2T1為運(yùn)動(dòng)前后攝像基坐標(biāo)系間的轉(zhuǎn)換矩陣，存在如下關(guān)系:

經(jīng)過(guò)2T1的變換，控制機(jī)器人運(yùn)動(dòng)即可使焊縫起始點(diǎn)在攝像機(jī)光軸上.

圖3 系統(tǒng)坐標(biāo)轉(zhuǎn)換關(guān)系Fig.3 Diagram of coordinate transformation

3 光軸方向的導(dǎo)引

焊槍向目標(biāo)點(diǎn)接近的過(guò)程中，由CCD攝像機(jī)拍攝獲得的圖像可知，激光交點(diǎn)不斷向圖像中心移動(dòng)，如圖4所示，隨著光點(diǎn)的不斷靠近，焊槍距焊縫起始點(diǎn)的距離也是一個(gè)由遠(yuǎn)及近的過(guò)程.在調(diào)整攝像機(jī)姿后，十字激光交點(diǎn)可能沒(méi)有出現(xiàn)在視野范圍或距離圖像中心較遠(yuǎn).為節(jié)省計(jì)算時(shí)間，可通過(guò)激光點(diǎn)距離圖像中心較遠(yuǎn)和較近兩種控制模式對(duì)機(jī)器人進(jìn)行控制，通過(guò)判斷激光點(diǎn)是否出現(xiàn)在圖像中對(duì)控制模式進(jìn)行轉(zhuǎn)換.

圖4 激光點(diǎn)位置示意圖Fig.4 Map of laser spot location

3.1 激光點(diǎn)距離圖像中心較遠(yuǎn)的引導(dǎo)

導(dǎo)引過(guò)程主要對(duì)光軸方向上機(jī)器人移動(dòng)的距離進(jìn)行判定，假設(shè)機(jī)器人每次移動(dòng)距離d，工具坐標(biāo)系也在光軸方向上位移d，此時(shí)在得知機(jī)器人初始位姿矩陣iTW的情況下，即可對(duì)下一時(shí)刻的位姿進(jìn)行估計(jì)，由式(7)可知:

式中，系數(shù)k隨著工具坐標(biāo)系在光軸方向的位移變化不斷進(jìn)行調(diào)整.

3.2 激光點(diǎn)距離圖像中心較近的引導(dǎo)

系統(tǒng)精確導(dǎo)引的原理如圖5所示，圖中d即為需要向焊縫起始點(diǎn)移動(dòng)的距離，f為焦距，AD為激光平面與攝像機(jī)坐標(biāo)系軸交點(diǎn)坐標(biāo)的矢量，β為激光器與攝像機(jī)光軸夾角，e為激光點(diǎn)在圖像坐標(biāo)系中距圖像中心的距離，γ為光軸與工件平面夾角.其中，e、β、f、γ 均為已知，AD 可利用基于機(jī)器人運(yùn)動(dòng)和平面約束的激光平面方程標(biāo)定方法［14］求得，三角形幾何關(guān)系為

圖5 精確導(dǎo)引原理圖Fig.5 Principle diagram of precise guidance

根據(jù)式(8)，即可對(duì)焊槍的移動(dòng)距離進(jìn)行精確導(dǎo)引.

3.3 系統(tǒng)控制策略

系統(tǒng)沿光軸方向?qū)б目刂七^(guò)程如圖6所示，控制模式1為激光點(diǎn)距離圖像中心較遠(yuǎn)的導(dǎo)引，這個(gè)過(guò)程只是單一的控制機(jī)器人按給定的步長(zhǎng)沿?cái)z像機(jī)坐標(biāo)系z(mì)軸向被測(cè)工件以較快速度靠近.控制模式2為激光點(diǎn)距離圖像中心較近的引導(dǎo)，該模式下需要實(shí)時(shí)計(jì)算實(shí)際移動(dòng)距離與給定步長(zhǎng)之間的關(guān)系確定系數(shù)k，控制機(jī)器人進(jìn)行精確導(dǎo)引.

圖6 系統(tǒng)控制流程圖Fig.6 Flow chart of system control

系統(tǒng)的控制過(guò)程中設(shè)置了2個(gè)閾值.閾值m用來(lái)判斷控制模式的轉(zhuǎn)換，即使十字激光交點(diǎn)出現(xiàn)在圖像視野中，但它到圖像中心的距離大于閾值m則依然采用控制模式1，以此來(lái)減少不必要的計(jì)算，節(jié)省導(dǎo)引時(shí)間;閾值η用來(lái)判斷導(dǎo)引結(jié)果，當(dāng)激光點(diǎn)到圖像中心的距離小于該參數(shù)時(shí)停止導(dǎo)引，避免導(dǎo)引過(guò)程中存在的細(xì)小誤差使程序運(yùn)行錯(cuò)誤.

4 試驗(yàn)分析

焊縫起始點(diǎn)導(dǎo)引試驗(yàn)系統(tǒng)如圖7所示.首先，進(jìn)行機(jī)器人手眼標(biāo)定［15］以及十字激光單一平面方程參數(shù)標(biāo)定，求解相機(jī)坐標(biāo)系相對(duì)于機(jī)器人末端坐標(biāo)系的轉(zhuǎn)換矩陣T和攝像機(jī)坐標(biāo)系下的激光平面方程.

圖7 試驗(yàn)系統(tǒng)圖Fig.7 Diagram of test system

采集焊縫圖像對(duì)焊縫初始點(diǎn)進(jìn)行識(shí)別，獲得起始點(diǎn)位置的像素坐標(biāo)為(422.9，317.3)，根據(jù)標(biāo)定過(guò)程中獲得的相機(jī)參數(shù)求得相機(jī)的旋轉(zhuǎn)矩陣Rot

轉(zhuǎn)換前后的圖片對(duì)比如圖8(a)和(b)所示，轉(zhuǎn)換后的起始點(diǎn)像素坐標(biāo)為(328.6，248.3)與攝像機(jī)標(biāo)定所獲得的像素中心坐標(biāo)(334.6，243.1)相差較小，可知該方法可以實(shí)現(xiàn)對(duì)相機(jī)姿態(tài)的調(diào)整，進(jìn)而為下一步指導(dǎo)焊槍向起始點(diǎn)靠近做準(zhǔn)備.

如圖8(c)所示，激光器發(fā)出的十字激光交叉點(diǎn)已出現(xiàn)在攝像機(jī)成像平面內(nèi)，可直接進(jìn)行精確導(dǎo)引.十字激光交叉點(diǎn)像素坐標(biāo)為(338.8，355.4)，結(jié)合轉(zhuǎn)換后的起始點(diǎn)像素坐標(biāo)以及所標(biāo)定的激光平面方程，可計(jì)算出式(10)所需的已知量，將其代入式(10)，求得機(jī)器人沿?cái)z像機(jī)z軸方向移動(dòng)的精確值d=144 mm.再將d代入式(8)中，控制機(jī)器人沿?cái)z像機(jī)光軸(即攝像機(jī)坐標(biāo)系z(mì)軸)移動(dòng)至光點(diǎn)到達(dá)焊縫起始點(diǎn)，如圖8(d)所示.最終根據(jù)文獻(xiàn)［14］中介紹的激光條紋上特征點(diǎn)三維坐標(biāo)的計(jì)算方法，計(jì)算出該點(diǎn)的三維坐標(biāo)，進(jìn)而控制機(jī)器人是焊槍末端到達(dá)焊縫起始點(diǎn).

圖8 起始點(diǎn)位置變化Fig.8 Change of the initial point position:(a)position of the initial point before adjustment;(b)position of the initial point after adjustment;(c)positions of laser and the initial point before approaching;(d)positions of laser and the initial point after approaching

為驗(yàn)證導(dǎo)引方法的有效性，共進(jìn)行了20次實(shí)驗(yàn)，將導(dǎo)引結(jié)果的焊縫起始點(diǎn)位置計(jì)算值，與通過(guò)已標(biāo)定精確的焊槍末端尖點(diǎn)示教讀出的起始點(diǎn)位置進(jìn)行比較，得出導(dǎo)引結(jié)果相對(duì)于真實(shí)起始點(diǎn)位置的偏差如圖9所示，可知導(dǎo)引精度在0.5～1.6 mm，可滿足實(shí)際焊接的需要.

圖9 試驗(yàn)結(jié)果誤差圖Fig.9 Chart of test result error

5 結(jié)論

1)提出單目視覺(jué)與十字激光相結(jié)合的兩步法，只要保證目標(biāo)點(diǎn)位于攝像機(jī)視野范圍內(nèi)，即可自動(dòng)完成導(dǎo)引，方法簡(jiǎn)單、穩(wěn)定性高.克服了傳統(tǒng)基于“單目雙位”的立體視覺(jué)方法中，匹配算法復(fù)雜、導(dǎo)引效率不高等問(wèn)題.

2)采用激光點(diǎn)距離圖像中心較近、較遠(yuǎn)兩種控制模式對(duì)焊槍接近焊接起始點(diǎn)過(guò)程進(jìn)行改進(jìn)，在獲得導(dǎo)引效率的同時(shí)又能保證導(dǎo)引精度.