基于激光視覺的薄板焊縫跟蹤方法研究

周躍龍，陳新度，吳智恒，羅良傳，陳啟愉 ，李平

(1.廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣東廣州 510006；2.廣東工業(yè)大學(xué)，省屬共建精密電子制造技術(shù)與裝備國家重點(diǎn)實(shí)驗(yàn)室，廣東廣州 510006；3.廣東省科學(xué)院智能制造研究所，廣東廣州 510070)

0 前言

近年來隨著計(jì)算機(jī)信息化技術(shù)和智能機(jī)器人技術(shù)的發(fā)展，示教型機(jī)器人廣泛應(yīng)用于汽車制造領(lǐng)域。薄板連續(xù)焊接技術(shù)作為汽車制造中的核心工藝技術(shù)之一，對汽車制造過程中的制造費(fèi)用、制造質(zhì)量和制造周期有相當(dāng)大的影響。在實(shí)際焊接過程中，由于薄板構(gòu)件受熱不均勻發(fā)生熱變形，導(dǎo)致焊縫與實(shí)際示教軌跡產(chǎn)生偏移，而示教型機(jī)器人不能自適應(yīng)實(shí)時(shí)糾正焊接軌跡，造成焊接不滿足質(zhì)量和精度要求。因此，針對薄板件連續(xù)焊接實(shí)現(xiàn)焊接機(jī)器人自動軌跡糾偏十分重要?；趥鹘y(tǒng)圖像處理的焊縫跟蹤方法在焊接時(shí)強(qiáng)烈弧光干擾下，對環(huán)境變化和弧光等干擾的適應(yīng)性差，容易丟失跟蹤目標(biāo)；而基于深度學(xué)習(xí)的目標(biāo)檢測算法也難以兼顧焊接精度和速度。因此，針對汽車薄板件連續(xù)焊接，搭建機(jī)器人激光視覺焊縫跟蹤與檢測系統(tǒng)，提出基于目標(biāo)估計(jì)準(zhǔn)則的焊縫跟蹤算法。首先，通過傳統(tǒng)圖像處理算法提取焊縫激光條紋特征點(diǎn)；然后，基于改進(jìn)的孿生神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對焊縫激光條紋的特征提取與跟蹤，提高焊接的質(zhì)量和精度，滿足實(shí)際焊接需求。

1 焊縫跟蹤系統(tǒng)構(gòu)成及測量原理

1.1 系統(tǒng)構(gòu)成

焊縫跟蹤系統(tǒng)一般分為主動視覺和被動視覺兩種，區(qū)別在于人為打光或是利用焊接時(shí)的弧光。實(shí)驗(yàn)中采用主動視覺系統(tǒng)，如圖1所示，系統(tǒng)主要包括線激光視覺傳感器、六軸焊接機(jī)器人、工控機(jī)等。線激光視覺傳感器結(jié)構(gòu)如圖2所示，安裝于焊槍前方引導(dǎo)焊槍運(yùn)動，激光模組投射激光條紋于工件表面，工業(yè)相機(jī)采集圖像傳輸至工控機(jī)，濾光片可以過濾部分弧光，偏振片可減弱金屬表面反光的影響，通過標(biāo)定求解出焊縫特征點(diǎn)在機(jī)器人基坐標(biāo)下的三維坐標(biāo)，經(jīng)過以太網(wǎng)傳輸至機(jī)器人控制柜，從而實(shí)現(xiàn)對焊接軌跡的實(shí)時(shí)糾偏。

圖1 焊縫跟蹤系統(tǒng)

圖2 線激光視覺傳感器結(jié)構(gòu)原理

1.2 測量原理

線激光視覺傳感器透射投影模型如圖3所示，建立世界坐標(biāo)系、相機(jī)坐標(biāo)系、成像坐標(biāo)系和像素坐標(biāo)系。激光平面與標(biāo)定平面相交產(chǎn)生激光條紋的點(diǎn)世界坐標(biāo)為(,,),對應(yīng)像素坐標(biāo)為′(,),轉(zhuǎn)換關(guān)系如式(1)所示，其中：、為相機(jī)在軸和軸的焦距;(,)為主點(diǎn)坐標(biāo);為3×3旋轉(zhuǎn)矩陣;為3×1平移向量。

圖3 相機(jī)透射投影模型

(1)

由于鏡頭存在畸變，造成實(shí)際成像點(diǎn)跟理想成像點(diǎn)存在偏差，應(yīng)用LENZ畸變模型進(jìn)行矯正,如式(2)所示，其中為畸變因子。

(2)

通過標(biāo)定求解相機(jī)內(nèi)參(，，，，)和外參(，)。根據(jù)激光三角法原理，對激光平面進(jìn)行基于棋盤格的標(biāo)定，提取相機(jī)坐標(biāo)系下不同姿態(tài)的棋盤格平面上的激光條紋離散點(diǎn)的三維坐標(biāo)，平面擬合后計(jì)算出激光平面參數(shù)，最終建立焊縫特征點(diǎn)在像素坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換關(guān)系。

為驗(yàn)證標(biāo)定的精度，將棋盤格固定于可微調(diào)裝置，提取激光條紋與棋盤格的交點(diǎn)，計(jì)算對應(yīng)空間坐標(biāo)，然后調(diào)整微調(diào)裝置一定距離，通過反復(fù)計(jì)算不同位置的坐標(biāo)，計(jì)算相應(yīng)點(diǎn)的位移并與實(shí)際移動進(jìn)行比較，得到平均標(biāo)定誤差為0.12 mm，滿足標(biāo)定精度要求。

2 基于目標(biāo)估計(jì)準(zhǔn)則的焊縫跟蹤算法

針對在弧光、煙霧和熱變形等干擾下的實(shí)時(shí)準(zhǔn)確的焊縫跟蹤，提出基于目標(biāo)估計(jì)準(zhǔn)則的端到端跟蹤算法。利用孿生子網(wǎng)絡(luò)實(shí)現(xiàn)對模板圖像和待檢測圖像的特征提取，經(jīng)過互相關(guān)運(yùn)算后再設(shè)計(jì)分類分支和回歸分支，前者用于分類，后者實(shí)現(xiàn)對目標(biāo)邊框位置的優(yōu)化。網(wǎng)絡(luò)框架如圖4所示。其中，★為互相關(guān)運(yùn)算，?為分類分支與質(zhì)量評估分支對應(yīng)元素相乘，∧為argmax函數(shù)，為分類分支特征。

圖4 焊縫跟蹤示意

2.1 孿生子網(wǎng)絡(luò)

圖5 孿生神經(jīng)網(wǎng)絡(luò)原理

孿生子網(wǎng)絡(luò)采用沒有填充操作的Alexnet構(gòu)建模板分支和檢測分支，兩個(gè)分支之間共享權(quán)值，模板分支輸入初始幀目標(biāo)區(qū)域圖像，檢測分支輸入后續(xù)幀的圖像，將提取的特征輸入分類和回歸分支,進(jìn)行如式(3)所示的互相關(guān)運(yùn)算，其中∈{cls,reg}。

(,)=[()]·[()]

(3)

2.2 目標(biāo)狀態(tài)估計(jì)準(zhǔn)則

(4)

回歸頭將作為輸入，采用IoU損失函數(shù)，直接回歸分類中心位置到真實(shí)邊框上、下、左、右四邊的偏移量=(,,,)，對于位置(,)的回歸可以形式化為式(5)，完成優(yōu)化邊框位置的預(yù)測，最后分類回歸分支采用argmax函數(shù)結(jié)合。

(5)

2.3 網(wǎng)絡(luò)訓(xùn)練

(6)

先使用ImageNet進(jìn)行預(yù)訓(xùn)練，然后把實(shí)驗(yàn)采集的40個(gè)焊接視頻制作的數(shù)據(jù)集作為訓(xùn)練集對焊縫跟蹤神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端離線訓(xùn)練，采用0.01標(biāo)準(zhǔn)偏差的零中心高斯分布，選擇隨機(jī)梯度下降作為優(yōu)化器， 執(zhí)行50次訓(xùn)練，學(xué)習(xí)率從10線性增至10。

3 實(shí)驗(yàn)過程

焊縫視覺跟蹤過程中在弧光、煙塵和熱變形等強(qiáng)干擾下對焊縫特征點(diǎn)的實(shí)時(shí)準(zhǔn)確檢測與定位，是實(shí)現(xiàn)復(fù)雜構(gòu)件焊接機(jī)器人軌跡糾偏的關(guān)鍵一環(huán)。以直線角搭接焊縫為對象，首先在初始幀提取焊縫特征點(diǎn)，結(jié)合基于目標(biāo)估計(jì)準(zhǔn)則的孿生神經(jīng)網(wǎng)絡(luò)，通過端到端離線訓(xùn)練實(shí)現(xiàn)對焊縫特征點(diǎn)的實(shí)時(shí)穩(wěn)健跟蹤。

為驗(yàn)證焊縫跟蹤算法的可靠性，確定系統(tǒng)能否精確實(shí)時(shí)糾偏，采用直線角搭焊接焊縫進(jìn)行實(shí)驗(yàn)。通過示教器完成示教編程，讀取個(gè)采樣點(diǎn)的焊槍末端三維坐標(biāo)，采用最小二乘法擬合直線作為理論軌跡，利用焊接過程跟蹤算法對焊縫特征點(diǎn)進(jìn)行識別定位，根據(jù)系統(tǒng)標(biāo)定結(jié)果轉(zhuǎn)換像素坐標(biāo)為機(jī)器人基坐標(biāo)下的三維坐標(biāo)，計(jì)算理論軌跡和跟蹤軌跡個(gè)采樣點(diǎn)間的平均誤差作為評估文中跟蹤算法精度的指標(biāo)。

3.1 實(shí)驗(yàn)選材及參數(shù)設(shè)置

實(shí)驗(yàn)采用Q235碳鋼進(jìn)行研究，尺寸為200 mm×150 mm×2 mm，直線角搭接，采用川崎3BA006NAC01焊接機(jī)器人，保護(hù)氣體為CO,其余焊接參數(shù)如表1所示。

表1 焊接參數(shù)

3.2 圖像采集與初始幀焊縫特征點(diǎn)提取

將激光視覺傳感器固定于焊槍前端，調(diào)試至相機(jī)視野內(nèi)結(jié)構(gòu)光條紋清晰，然后啟動運(yùn)動控制模塊和圖像采集模塊。圖像采集模塊基于OpenCV進(jìn)行程序開發(fā)，控制工業(yè)相機(jī)實(shí)時(shí)采集焊接圖像，焊縫初始幀圖像如圖6(a)所示。

初始幀處于未起弧階段，容易提取焊縫特征點(diǎn)并確定跟蹤區(qū)域。圖像濾波是為了去除圖像噪聲，采用中值濾波能在有效去除噪聲的同時(shí)保留圖像邊緣信息，效果如圖6(b)所示。采用大津法對激光條紋二值化處理，凸顯激光條紋輪廓，效果如圖6(c)所示。為處理激光條紋邊緣和末端可能出現(xiàn)的毛刺或裂紋，采用形態(tài)學(xué)閉運(yùn)算去除毛刺和彌合裂痕，效果如圖6(d)所示。由于激光條紋具有一定的寬度，為進(jìn)一步提高焊縫特征點(diǎn)的準(zhǔn)確度，需要進(jìn)行骨架提取，將激光條紋的多像素寬度減少為單位像素寬度。采用基于Hessian矩陣的方法實(shí)現(xiàn)激光條紋的亞像素級骨架提取，效果如圖6(e)所示。最后基于霍夫變換直線檢測求得焊縫特征點(diǎn)坐標(biāo)值，如圖6(f)所示。

圖6 初始幀焊縫特征點(diǎn)提取

3.3 實(shí)驗(yàn)結(jié)果分析

選取三線激光的中間激光條紋作為跟蹤對象，與傳統(tǒng)圖像處理方法和基于核相關(guān)濾波(KCF)的方法對比，得到如圖7所示的跟蹤效果。通過觀察，在弧光和煙霧等強(qiáng)烈干擾下，傳統(tǒng)圖像處理方法會導(dǎo)致邊界框漂移甚至跟蹤失敗，跟蹤效果最差，平均幀率僅為20幀/s，無法滿足焊接精度要求。采用KCF的方法以前一幀的檢測結(jié)果作為模板，通過訓(xùn)練循環(huán)矩陣采集的正負(fù)樣本和利用高斯核函數(shù)映射在線更新模型，在噪聲干擾較小的情況下能夠穩(wěn)定且較精確地跟蹤焊縫特征，但是在噪聲干擾明顯時(shí)會出現(xiàn)較大的跟蹤偏差和跟蹤目標(biāo)丟失的情況，平均幀率為45幀/s，無法實(shí)現(xiàn)魯棒、準(zhǔn)確的焊縫跟蹤。而基于目標(biāo)估計(jì)準(zhǔn)則的焊縫跟蹤算法跟蹤效果最佳，該算法僅以初始幀為模板，通過離線訓(xùn)練神經(jīng)網(wǎng)絡(luò)，無需在線更新模型，所以能在強(qiáng)烈的干擾下依據(jù)初始模板找回目標(biāo)，跟蹤的平均幀率達(dá)到90幀/s，既能保持跟蹤的精度與穩(wěn)定性，又能滿足焊接實(shí)時(shí)性要求。

圖7 焊縫跟蹤效果

為驗(yàn)證提出的焊縫跟蹤算法的有效性，進(jìn)行薄板角搭接焊縫的視覺跟蹤實(shí)驗(yàn)。首先通過示教器控制機(jī)器人焊槍末端沿焊縫移動完成示教編程，記錄機(jī)器人示教器上個(gè)采樣點(diǎn)的焊槍末端三維坐標(biāo)(,,)(=1,2,3,…,)，通過最小二乘法將這些點(diǎn)擬合為直線作為理論軌跡。焊接過程中，激光視覺傳感器捕獲焊接圖像，根據(jù)跟蹤算法對焊縫特征點(diǎn)進(jìn)行識別定位，并通過坐標(biāo)轉(zhuǎn)換計(jì)算機(jī)器人基坐標(biāo)下的三維坐標(biāo)′(,,)(=1,2,3，…,)。最后，計(jì)算理論軌跡與跟蹤軌跡之間的平均誤差作為算法精度評估指標(biāo)，焊槍末端在平面的理論軌跡和跟蹤軌跡如圖8所示。薄板角搭接焊縫跟蹤的理論軌跡和跟蹤軌跡在軸方向上的坐標(biāo)誤差如圖9所示。在軸的最大誤差為0.92 mm，平均誤差為0.48 mm，最終得到的薄板角搭接焊縫如圖10所示，焊接質(zhì)量較為理想,滿足焊接作業(yè)要求。

圖8 焊接軌跡

圖9 焊縫跟蹤在X軸方向誤差

圖10 焊接效果

利用傳統(tǒng)圖像處理方法和KCF算法進(jìn)行實(shí)驗(yàn)，得到傳統(tǒng)圖像處理方法的平均跟蹤誤差為4.2 mm，而KCF算法的平均誤差為1.2 mm，都無法滿足焊接精度要求。

4 結(jié)束語

通過搭建基于激光視覺的薄板焊縫檢測與跟蹤系統(tǒng)，提出基于目標(biāo)估計(jì)準(zhǔn)則的端到端焊縫跟蹤算法，實(shí)現(xiàn)對由于熱變形等引起的焊縫位置變化的自動糾偏。經(jīng)過系統(tǒng)標(biāo)定后進(jìn)行圖像采集，采用傳統(tǒng)圖像處理方法提取初始幀焊縫特征點(diǎn)，建立目標(biāo)模板與待檢測圖像作為后續(xù)網(wǎng)絡(luò)分支的輸入，進(jìn)行特征提取與跟蹤，并通過焊接實(shí)驗(yàn)對比驗(yàn)證所提算法的可行性。結(jié)果表明：平均跟蹤誤差為0.48 mm，平均幀率為90幀/s，相較于基于傳統(tǒng)圖像處理和基于核相關(guān)濾波的跟蹤算法，提高了跟蹤精度和速度。