結(jié)構(gòu)光視覺輔助焊接的軌跡識(shí)別與控制技術(shù)

王浩，趙小輝，徐龍哲，蔣豪，劉宇

(吉林大學(xué),長春,130025)

0 序言

示教-再現(xiàn)焊接正向著以“高質(zhì)量、高效率”為核心的智能化自主化方向快速變革.數(shù)據(jù)傳感必將大規(guī)模集成于實(shí)際焊接生產(chǎn)中，使焊接機(jī)器人具備施焊軌跡自主可控的功能.在焊接軌跡識(shí)別傳感器中，基于三角成像原理的結(jié)構(gòu)光視覺傳感器獲取的是焊縫三維坐標(biāo)信息，能夠完成一維、二維、三維的焊接軌跡識(shí)別與控制操作，具備柔性高精度焊接能力，是未來發(fā)展的重要走向，在焊接工程應(yīng)用中，結(jié)構(gòu)光視覺輔助焊接的技術(shù)模式有3 種：激光多點(diǎn)尋位、焊前軌跡擬合與焊縫實(shí)時(shí)跟蹤焊接.

Zou 等人[1-6]對(duì)結(jié)構(gòu)光視覺輔助焊接的焊縫跟蹤圖像處理模塊提出了能夠準(zhǔn)確提取焊縫特征點(diǎn)的創(chuàng)新性算法，比如WLCS、STC、RNN、KCF、SVM、ERFNet 等，這些算法保證了實(shí)時(shí)跟蹤焊接的穩(wěn)定性.但是，激光多點(diǎn)尋位及焊前軌跡擬合的焊接方式卻沒有受到系統(tǒng)的研究，在某些焊接工程問題上，這兩種技術(shù)的重要性不可忽略.

文中將對(duì)結(jié)構(gòu)光視覺輔助焊接的軌跡識(shí)別與控制技術(shù)進(jìn)行細(xì)致的分析，提出了分別對(duì)應(yīng)尋位、擬合、跟蹤焊接的軌跡識(shí)別流程與軌跡控制模型，探究3 種軌跡識(shí)別流程與控制模式的執(zhí)行效果.

1 軌跡識(shí)別流程

焊接軌跡識(shí)別傳感器如圖1 所示，其中結(jié)構(gòu)光視覺輔助焊接的原理為裝置于焊槍前端的傳感器掃描接頭并根據(jù)軌跡識(shí)別流程獲取焊接點(diǎn)，后將其傳輸?shù)竭\(yùn)動(dòng)控制模型中，進(jìn)而完成一系列智能化焊接操作，如圖2 所示.根據(jù)圖2，設(shè)計(jì)的焊接軌跡識(shí)別流程如圖3 所示，其中焊前擬合焊接與實(shí)時(shí)跟蹤焊接的軌跡識(shí)別流程類似，但由于實(shí)時(shí)跟蹤焊接過程中存在不可抗拒的、動(dòng)態(tài)的、不規(guī)則的電弧、飛濺、金屬煙塵等干擾，其需要更高效、更穩(wěn)定的軌跡識(shí)別算法.文中以焊縫實(shí)時(shí)跟蹤的軌跡識(shí)別流程展開研究，其獲取的相關(guān)算法同樣適用于尋位、擬合焊接模式.

圖1 焊接軌跡識(shí)別傳感器Fig.1 Welding trajectory recognition sensors

圖2 結(jié)構(gòu)光視覺輔助焊接的原理Fig.2 Principle of welding assisted by structured light vision

圖3 結(jié)構(gòu)光視覺輔助焊接的軌跡識(shí)別流程Fig.3 Trajectory recognition process of welding assisted by structured light vision

1.1 CNN 模型

為能夠從拍攝的激光條紋中實(shí)時(shí)跟蹤、定位、提取感興趣區(qū)域(ROI)，進(jìn)而提高特征點(diǎn)的提取精度與效率，文中提出了一種卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型如圖4 所示.CNN 處理的流程如下.

圖4 CNN 模型示意圖Fig.4 Schematic diagram of CNN model

(1) 原圖像尺寸變換為224×224.

(2) 利用3×3 的卷積核對(duì)輸入圖像進(jìn)行多次卷積運(yùn)算，后輸出的結(jié)果將變?yōu)橐痪S向量.

(3) Softmax 層通過處理全連接完成對(duì)目標(biāo)區(qū)域的識(shí)別和定位.

研究訓(xùn)練的樣本集由4 134 幅不同干擾程度的激光圖像組成，對(duì)472 幅實(shí)際焊接圖像進(jìn)行目標(biāo)跟蹤測(cè)試，模型預(yù)測(cè)精度約為97%，如圖5 所示.

圖5 目標(biāo)區(qū)域識(shí)別結(jié)果Fig.5 Target area identification results.(a) image ROI extraction results under strong arc splash;(b)image ROI extraction results under weak arc splash

1.2 自適應(yīng)特征點(diǎn)提取

V 形接頭的特征點(diǎn)如圖6 所示，其中Te_c 是焊縫中心點(diǎn)，也是焊接軌跡識(shí)別的目標(biāo)點(diǎn).特征點(diǎn)提取之前需要從ROI 內(nèi)提取到焊縫激光條紋的中心線，圖7 和圖8 是灰度重心法激光條紋中心線的提取效果.由圖7d 與圖8d 可以看出，提取的中心線能夠準(zhǔn)確映射出焊縫的空間坐標(biāo)信息.此外，以條紋中心線像素的列為自變量，像素的行為因變量，自變量與因變量之間存在一一映射的函數(shù)關(guān)系.

圖6 V 形焊縫特征點(diǎn)Fig.6 The feature points of V-shaped seam

圖7 強(qiáng)弧光飛濺下激光條紋中心線提取效果Fig.7 Laser stripe centerline extraction effect under strong arc splash.(a) initial image;(b) otsu threshold segmentation after median filtering;(c)morphological processing;(d) extracting stripe centerline

圖8 弱弧光飛濺下激光條紋中心線提取效果Fig.8 Laser stripe centerline extraction effect under weak arc splash.(a) initial image;(b) otsu threshold segmentation after median filtering;(c)morphological processing;(d) extracting stripe centerline

當(dāng)激光條紋中心線存在跳躍點(diǎn)、孔洞、光點(diǎn)缺失等不連續(xù)特征(容易出現(xiàn)在弱電弧飛濺環(huán)境中)或凸起、下凹等波動(dòng)性特征(容易出現(xiàn)在強(qiáng)電弧飛濺環(huán)境中)時(shí)，以拐點(diǎn)法[7]、斜率分析法、連通區(qū)域法[8-9]、霍夫直線檢測(cè)法[10-12]等為核心的特征點(diǎn)提取方法容易失效.為此本文將提出一種基于行掃描和列掃描的自適應(yīng)特征提取算法來解決這一問題.自適應(yīng)特征提取算法的設(shè)計(jì)思想如圖9 所示，處理流程如下：

圖9 自適應(yīng)特征提取算法Fig.9 Adaptive feature extraction algorithm ..

(1) 屏蔽激光中心線上空洞缺陷，之后得到待處理的橫坐標(biāo)集p_col和縱坐標(biāo)集p_row.

(2) 移除跳躍點(diǎn).如果點(diǎn)(p_col[a]，p_row[a])滿足式(1)，該點(diǎn)為跳躍點(diǎn)并去除，否則，該點(diǎn)將作為下一個(gè)待確定點(diǎn)的比較點(diǎn).通過式(1)，得到新的橫坐標(biāo)集合p_c，縱坐標(biāo)集合p_r.

式中：kα/2與?分別是坡口面斜率與修正系數(shù)；(p_col[b]，p_row[b])為(p_col[a]，p_row[a])前最近的非跳躍點(diǎn)；a與b是整數(shù)，且a＞b.

(3) 分別對(duì)Ω的前n1與后n4個(gè)點(diǎn)進(jìn)行最小二乘法擬合，獲取直線v=f1(u)與v=f4(u).

(4) 行掃描將中心線谷底的 ?v行數(shù)據(jù)進(jìn)行隔離.

(5) 從點(diǎn)(p_col[n1]，p_row[n1])向谷底掃描，從谷底向點(diǎn)(p_col[n?n4]，p_row[n?n4])掃描，對(duì)滿足式(2)的點(diǎn)進(jìn)行擬合，分別得到直線v=f2(u)與v=f3(u).

式中：da為10；計(jì)算f2時(shí)，a和b分別為f1的斜率和截距，計(jì)算f3時(shí)，a 和b 分別為f4的斜率和截距.

(6) 依據(jù)式(3)計(jì)算Te_c 的坐標(biāo)值.

式中：Te_l、Te_r、Te_b 坐標(biāo)由上述直線求交所得.

自適應(yīng)特征提取算法的處理效果如圖10 和圖11 所示，可以看出該算法對(duì)電弧飛濺具有較強(qiáng)的抗干擾能力，對(duì)不同特性的條紋具備較好的適應(yīng)性，提取的Te_c 能夠真實(shí)地代表焊縫中心的實(shí)際位置；即使激光中心線存在孔洞、凸起、凹點(diǎn)和跳躍點(diǎn)等缺陷或具備波動(dòng)特性時(shí)，該算法也具有較好的特征點(diǎn)提取效果.

圖10 強(qiáng)弧光飛濺下特征點(diǎn)提取的結(jié)果Fig.10 Results of the feature point extraction under strong arc splash

圖11 弱弧光飛濺下特征點(diǎn)提取的結(jié)果Fig.11 Results of the feature point extraction under weak arc splash

1.3 先驗(yàn)?zāi)Ｐ?/h3>

強(qiáng)烈的弧光與飛濺會(huì)使激光條紋中心線偏離理論位置，但條紋的角度和寬度在相鄰幀中幾乎沒有變化，即根據(jù)上下文信息能夠?qū)ο乱粠瑘D像的噪聲進(jìn)行有效過濾，從而可以實(shí)現(xiàn)Te_c 點(diǎn)精度的進(jìn)一步提升.每個(gè)條帶的坡度和寬度的確定公式被定義為一種先驗(yàn)?zāi)Ｐ?式(4))，只保留滿足該模型的點(diǎn)，先驗(yàn)?zāi)Ｐ偷淖饔眠^程如圖12 和圖13 所示.

圖12 弱弧光飛濺下先驗(yàn)?zāi)Ｐ虵ig.12 The prior model under weak arc splash

圖13 強(qiáng)弧光飛濺下先驗(yàn)?zāi)Ｐ虵ig.13 The prior model under strong arc splash

式中：i是條紋圖像的幀序；width為條紋的寬度范圍；θ為條紋的角度范圍.得出強(qiáng)弧光飛濺和弱弧光飛濺下的公式為

根據(jù)每段連通區(qū)域的中心線角度和前一幀條紋中心線方程，利用先驗(yàn)?zāi)Ｐ偷慕嵌葴?zhǔn)則和寬度準(zhǔn)則將主條紋信息從背景噪聲中分離出來.提高Te_c 精度的效果.如圖14 和圖15 所示，先驗(yàn)?zāi)Ｐ涂朔藦?qiáng)電弧飛濺的干擾，促使激光條紋中心線更位于理想位置，更具備實(shí)際姿態(tài)，在像素級(jí)別內(nèi)進(jìn)一步降低了中心點(diǎn)提取的誤差.

圖14 弱弧光飛濺下提高Te_c 精度的效果Fig.14 The effect of improving the accuracy of the Te_c under weak arc splash

圖15 強(qiáng)弧光飛濺下提高Te_c 精度的效果Fig.15 The effect of improving the accuracy of the Te_c under strong arc splash

1.4 坐標(biāo)矩陣轉(zhuǎn)換

坐標(biāo)矩陣轉(zhuǎn)換：將圖像拍攝的像素坐標(biāo)(u,v)轉(zhuǎn)換為機(jī)器人可以識(shí)別的基坐標(biāo)系下的三維坐標(biāo)(XB,YB,ZB)，具體為像素坐標(biāo)系OpXpYp、圖像坐標(biāo)系OIXIYI、相機(jī)坐標(biāo)系OCXCYCZC、機(jī)器人末端坐標(biāo)系OHXHYHZH、機(jī)器人基坐標(biāo)系OBXBYBZB之間的轉(zhuǎn)化，主要涉及相機(jī)內(nèi)外參標(biāo)定、光平面標(biāo)定及手眼標(biāo)定.

OpXpYp與OCXCYCZC之間的轉(zhuǎn)換公式為

式中：XS為手眼變換矩陣，由手眼標(biāo)定獲取；R與T的公式為

式中：X，Y，Z，RX，RY，RZ是機(jī)器人直角坐標(biāo)系運(yùn)動(dòng)的六個(gè)參數(shù)，由示教器讀出.

將圖像處理獲取的特征點(diǎn)Te_c 的像素坐標(biāo)(u,v)與機(jī)器人實(shí)時(shí)運(yùn)動(dòng)參數(shù)(X,Y,Z,RX,RY,RZ)帶入式(7)與式(8)中，即可求得焊縫中心點(diǎn)在機(jī)器人基坐標(biāo)系下的三維坐標(biāo)值.

2 軌跡控制模型

2.1 示教軌跡修正模型

大批量生產(chǎn)中，焊縫較多、空間分布復(fù)雜、焊縫長度較短的工件難以定位，裝卡誤差、下料誤差、組對(duì)誤差等導(dǎo)致機(jī)器人不能準(zhǔn)確識(shí)別焊縫的位置，對(duì)于上述類型的工件，采用激光多點(diǎn)尋位的焊接軌跡識(shí)別與控制方式進(jìn)行焊接較為適合.

圖16 為示教軌跡修正模型，其通過固定的多個(gè)傳感器拍攝點(diǎn)獲取該焊槍位姿下新的尋位點(diǎn)，用新的尋位點(diǎn)代替該焊槍位姿下之前的示教點(diǎn)，修正示教軌跡，進(jìn)而完成焊接.在該模式下工人只需要進(jìn)行一次示教焊接軌跡的編輯，后續(xù)所有同規(guī)格產(chǎn)品的焊接軌跡都是在該示教軌跡的基礎(chǔ)上進(jìn)行修正的.

圖16 示教軌跡修正模型Fig.16 Teach trajectory correction model

2.2 焊前軌跡擬合模型

對(duì)于多層多道、深窄間隙、立向上、立向下焊接，焊縫跟蹤及激光多點(diǎn)尋位的焊接模式難以高校準(zhǔn)穩(wěn)定地獲取施焊軌跡，采用焊前軌跡擬合的焊接方式能夠在施焊之前準(zhǔn)確獲取到待施焊的各層各道軌跡，具備高魯棒性、高焊接精度等特性.

圖17 為焊前軌跡擬合的焊接模型，其利用結(jié)構(gòu)光傳感器掃描待焊區(qū)域，通過圖像處理獲取特征點(diǎn)，并轉(zhuǎn)化為基坐標(biāo)系下的三維坐標(biāo)，后將這些無數(shù)的點(diǎn)通過準(zhǔn)均勻三次B 樣條曲線擬合，獲取軌跡曲線，并傳輸于運(yùn)動(dòng)控制系統(tǒng)中進(jìn)行焊接運(yùn)動(dòng)控制.

圖17 焊前軌跡擬合的焊接模型Fig.17 Welding mode of the pre-welding trajectory fitting

2.3 焊縫跟蹤實(shí)時(shí)糾偏模型

實(shí)時(shí)跟蹤焊接模式對(duì)于長直線單道焊縫，具備高的焊接精度及高的焊接效率，可適用的焊接場合更廣，其在焊接過程中實(shí)時(shí)獲取焊槍的橫向偏差與高度偏差，如圖18 所示，后將偏差傳輸?shù)饺鐖D19 所示的PID 糾偏控制模型中，進(jìn)而實(shí)現(xiàn)焊接過程中焊槍實(shí)時(shí)糾偏的功能.

圖18 焊縫跟蹤偏差求取原理Fig.18 The principle of seam tracking deviation

圖19 焊縫跟蹤實(shí)時(shí)糾偏模型Fig.19 Real-time correction model for seam tracking

依據(jù)圖18，焊縫跟蹤t時(shí)刻的實(shí)際偏差e(t)求取公式為

對(duì)式14 進(jìn)行拉普拉斯變換得到式15，即

依據(jù)式(15)，設(shè)計(jì)的焊縫跟蹤PID 控制結(jié)構(gòu)參見圖19 所示.其中C(s)為運(yùn)動(dòng)控制器傳輸函數(shù)，P(s)為步進(jìn)電機(jī)傳遞函數(shù).

3 試驗(yàn)結(jié)果

3.1 結(jié)構(gòu)光視覺焊接系統(tǒng)

為了驗(yàn)證文中提出的軌跡識(shí)別流程與軌跡控制模型的準(zhǔn)確性，在如圖20 所示的結(jié)構(gòu)光視覺焊接系統(tǒng)中，以坡口為60°、板厚為5 mm 的對(duì)接焊縫作為試驗(yàn)對(duì)象，如圖21 所示.MAG 焊接的電流和電壓分別為120 A 和17.3 V，氣體流量為15 L/min.焊接速度為15 cm/min，送絲速度為3.2 m/min.

圖20 結(jié)構(gòu)光視覺焊接系統(tǒng)Fig.20 Structural light visual welding system

3.2 激光多點(diǎn)尋位焊接測(cè)試

圖22 為激光多點(diǎn)尋位模式下，3 次對(duì)同規(guī)則工件尋位焊接的結(jié)果，其中黑色實(shí)線為示教軌跡，藍(lán)色點(diǎn)劃線為焊接軌跡，紅色點(diǎn)劃線為焊縫中心線，可以得出3 次尋位獲取的真實(shí)焊接軌跡與焊縫中心曲線基本重合，證實(shí)了激光多點(diǎn)尋位焊接軌跡識(shí)別流程與控制模型能夠準(zhǔn)確在焊前尋位到真實(shí)焊接軌跡，其具備良好的施焊精度.

圖22 激光多點(diǎn)尋位焊接的試驗(yàn)結(jié)果Fig.22 The experimental results of the laser multi-point positioning welding

3.3 焊前軌跡擬合焊接測(cè)試

圖23 與圖24 為焊前軌跡擬合焊接模式在XY與XZ平面內(nèi)識(shí)別的效果.從圖中可以得出，通過示教獲取的焊接軌跡并非是實(shí)際的焊縫中心線，焊前軌跡擬合模式能夠在施焊之前獲取真實(shí)的焊接軌跡，保證了焊縫橫向方向與高度方向的施焊精度，擬合的軌跡呈現(xiàn)二階連續(xù)可導(dǎo)，焊槍運(yùn)行平穩(wěn)，焊縫精度較高，其精度能夠滿足實(shí)際生產(chǎn)的需求.

圖23 XY 平面內(nèi)施焊軌跡Fig.23 Welding trajectory in the XY plane

圖24 XZ 平面內(nèi)施焊軌跡Fig.24 Welding trajectory in the XZ plane

3.4 焊縫實(shí)時(shí)跟蹤焊接測(cè)試

實(shí)時(shí)跟蹤軌跡與焊縫中心線的關(guān)系如圖25 所示.示教軌跡的終點(diǎn)偏離焊縫15 mm；跟蹤軌跡與接縫中心線基本一致.上述算法可以實(shí)時(shí)校正焊槍到實(shí)際焊縫中心.圖26 中顯示了跟蹤軌跡和接縫中心線之間的實(shí)時(shí)測(cè)量誤差.在整個(gè)焊接過程中，測(cè)量的偏差在零點(diǎn)附近震蕩，振幅不等.試驗(yàn)結(jié)果表明，跟蹤焊接的最大誤差為?0.233 0 mm，平均誤差為0.116 0 mm，這證明了所提出的焊縫跟蹤軌跡識(shí)別流程與軌跡控制模型總體上具有較高的魯棒性，能夠滿足實(shí)際焊接的需求.

圖25 實(shí)時(shí)跟蹤下的焊接軌跡Fig.25 The welding trajectory under real-time tracking

圖26 實(shí)時(shí)跟蹤精度Fig.26 The real-time tracking accuracy

4 結(jié)論

(1) 建立了結(jié)構(gòu)光視覺輔助焊接的3 種智能化技術(shù)模式，即激光多點(diǎn)尋位焊接、焊前軌跡擬合焊接、焊縫實(shí)時(shí)跟蹤焊接；通過以CNN 模型、自適應(yīng)特征提取算法、先驗(yàn)?zāi)Ｐ?、坐?biāo)矩陣轉(zhuǎn)換為核心焊接軌跡識(shí)別流程能夠準(zhǔn)確獲取待焊點(diǎn)的三維坐標(biāo).

(2) 3 種軌跡控制模型(示教軌跡修正模型、焊前軌跡擬合模型、焊縫跟蹤實(shí)時(shí)糾偏模型)制定了各焊接模式的工藝方法，能夠穩(wěn)定高效的完成焊接軌跡的運(yùn)動(dòng)控制.

(3) 試驗(yàn)結(jié)果表明，激光尋位能夠準(zhǔn)確定位焊接點(diǎn)進(jìn)而修正示教軌跡，焊接軌跡與焊縫中心線重合，具備較高精度焊接的能力；焊前軌跡擬合能夠通過準(zhǔn)均勻3 次B 樣條曲線擬合出二階連續(xù)可導(dǎo)的焊接軌跡，提高系統(tǒng)運(yùn)行的穩(wěn)定性，且能夠識(shí)別出因坡口成形不良與操作臺(tái)平面傾斜導(dǎo)致的軌跡偏差，并且擬合出真實(shí)的焊接軌跡；焊縫實(shí)時(shí)跟蹤的誤差主要控制在± 0.2 mm 以內(nèi)，平均誤差為0.116 0 mm，足以保證機(jī)器人精確可靠的實(shí)時(shí)跟蹤焊接.