基于線(xiàn)結(jié)構(gòu)光的曲線(xiàn)焊縫焊接技術(shù)*

范明洋, 嵇保健, 洪磊

(1．南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院, 南京 211816；2.南京工程學(xué)院 汽車(chē)與軌道交通學(xué)院, 南京 211167)

基于線(xiàn)結(jié)構(gòu)光的曲線(xiàn)焊縫焊接技術(shù)*

范明洋1, 嵇保健1, 洪磊2

(1．南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院, 南京 211816；2.南京工程學(xué)院 汽車(chē)與軌道交通學(xué)院, 南京 211167)

在實(shí)際焊接過(guò)程中，曲線(xiàn)焊接是工業(yè)生產(chǎn)中的一項(xiàng)重要內(nèi)容，其焊接方法目前以示教焊接以及建立數(shù)學(xué)模型為主，這些方法的過(guò)程過(guò)于機(jī)械和繁雜。文中提出一種新的基于線(xiàn)結(jié)構(gòu)光的曲線(xiàn)焊縫焊接技術(shù)。在實(shí)驗(yàn)中，首先對(duì)采集的圖像進(jìn)行降噪等圖像處理，通過(guò)焊縫的特征點(diǎn)提取算法，得到焊縫的特征點(diǎn)坐標(biāo)，最后，利用B樣條曲線(xiàn)插值算法，將各特征點(diǎn)坐標(biāo)進(jìn)行曲線(xiàn)擬合。在此基礎(chǔ)上使用一種新的算法能夠?qū)崟r(shí)的根據(jù)工件側(cè)面的角度自動(dòng)調(diào)節(jié)焊槍的角度，極大地提高了焊接工藝。經(jīng)實(shí)驗(yàn)表明其實(shí)際誤差約為0. 1mm，具有良好的檢測(cè)精度，能夠滿(mǎn)足實(shí)際焊接的精度和需求。

曲線(xiàn)焊縫；線(xiàn)結(jié)構(gòu)光；圖像處理；斜交管

0 引言

隨著工業(yè)自動(dòng)化的不斷發(fā)展，自動(dòng)化焊接已經(jīng)成為汽車(chē)、船舶等生產(chǎn)企業(yè)的發(fā)展主流。然而，在實(shí)際焊接中，經(jīng)常會(huì)遇到斜交圓管插接時(shí)的相貫線(xiàn)焊接情況。對(duì)于管管相貫焊接而言[1]，其模型即為典型的空間曲線(xiàn)。與此同時(shí)，為了滿(mǎn)足焊接工藝需要時(shí)刻改變焊槍的位置和姿態(tài)[2]。

目前，國(guó)內(nèi)基于線(xiàn)結(jié)構(gòu)光的焊接機(jī)器人的應(yīng)用對(duì)象是以V型口的直線(xiàn)焊接為主，而就曲線(xiàn)焊縫檢測(cè)領(lǐng)域而言，焊縫的特征點(diǎn)提取往往采用離散示教的方法獲得,該種方法在實(shí)際焊接中較為繁瑣，不能滿(mǎn)足自動(dòng)化焊接生產(chǎn)的發(fā)展需求。趙潔等[3]建立了較為簡(jiǎn)便的球管相貫數(shù)學(xué)模型，但是并沒(méi)有對(duì)焊槍的位姿進(jìn)行深入分析，這樣使得焊槍不能實(shí)時(shí)的根據(jù)焊縫曲線(xiàn)模型改變自己的姿態(tài)。此后，汪蘇、等人提出了一種基于弗萊納-雪列的軌跡規(guī)劃[4-5]方法，該方法雖然有效的解決了復(fù)雜空間曲線(xiàn)位置和姿態(tài)的控制，但求解過(guò)程復(fù)雜且計(jì)算量大，實(shí)際應(yīng)用效率較低。

通過(guò)簡(jiǎn)單的位姿插補(bǔ)軌跡規(guī)劃算法已經(jīng)不能滿(mǎn)足當(dāng)前的焊接要求。為此，本文提出一種基于線(xiàn)結(jié)構(gòu)光的面向于斜交管的曲線(xiàn)焊縫焊接技術(shù)，該方法把機(jī)器視覺(jué)和機(jī)器人運(yùn)動(dòng)學(xué)很好的結(jié)合了起來(lái)，解決了曲線(xiàn)焊縫特征點(diǎn)獲取過(guò)程機(jī)械且曲線(xiàn)軌跡模型建立困難的問(wèn)題。該種方法不論是對(duì)理論研究還是生產(chǎn)實(shí)踐都有著一定的指導(dǎo)意義。

1 曲線(xiàn)焊縫圖像處理

圖像處理[6]模塊過(guò)程包括圖像預(yù)處理、圖像處理和圖像識(shí)別。圖像預(yù)處理操作包括中值濾波、ROI區(qū)域提取、圖像二值化、圖像腐蝕和圖像細(xì)化等。圖像處理過(guò)程主要為曲線(xiàn)擬合。焊縫識(shí)別主要包括特征點(diǎn)提取。焊縫原始圖像如圖1所示。

圖1 焊縫原始圖像

1.1 中值濾波

中值濾波對(duì)椒鹽、灰塵以及飛濺等噪聲具有良好的濾除作用。為此，對(duì)原始圖像進(jìn)行中值濾波，為兼顧處理質(zhì)量和效率，實(shí)驗(yàn)采用5×5的濾波窗口，該窗口沿圖像順次掃描，使得與周邊像素灰度差較大的像素接近周邊像素值，從而在較大程度上消除噪聲。

1.2 ROI區(qū)域提取與二值化

在圖像處理的過(guò)程中，常常會(huì)在非感興趣區(qū)域出現(xiàn)大量的噪聲干擾，如曝光點(diǎn)等，會(huì)給圖像處理工作帶來(lái)極大的困難和干擾，而ROI區(qū)域的提取便會(huì)使非感興趣區(qū)域帶來(lái)的干擾得以消除，降低了數(shù)據(jù)運(yùn)算規(guī)模，提高了圖像處理的運(yùn)算效率。ROI區(qū)域提取算法如下：

(1)讀取一幅灰度圖像，并將該幅圖像上所有像素點(diǎn)的灰度值存儲(chǔ)在一個(gè)已經(jīng)定義的二維數(shù)組當(dāng)中；

(2)確定ROI區(qū)域剪切圖像中的各項(xiàng)參數(shù)值。

Xmin(剪切圖像的起點(diǎn)的X軸坐標(biāo))：設(shè)置為“1”；

Ymin:(剪切圖像的起點(diǎn)的Y軸坐標(biāo))：通過(guò)Y軸方向的灰度值掃描，找到某一列豎直方向灰度值最大的像素點(diǎn)位置，根據(jù)工件尺寸，以此點(diǎn)為參考向該點(diǎn)的Y軸負(fù)方向平移20～30個(gè)像素點(diǎn)的位置，并把此點(diǎn)在Y軸方向的位置數(shù)值設(shè)置為“Ymin”；

Weight:選取原圖像的寬度作為“Weight”值；

Height:根據(jù)工件尺寸，將“Height”數(shù)值設(shè)置為40～50；ROI區(qū)域提取圖像如圖2所示。

圖2 ROI區(qū)域以及二值化

假設(shè)第n列灰度值最大的像素點(diǎn)的位置為Y，所以得到以下表達(dá)式：

在提取ROI區(qū)域之后，利用條紋與背景的灰度差，采用動(dòng)態(tài)二值化方法[7]，以最大限度的減小誤差并保留條紋區(qū)域。

1.3 焊縫特征點(diǎn)提取

經(jīng)過(guò)上述圖像處理只能得到結(jié)構(gòu)光條紋的所在區(qū)域，通常來(lái)說(shuō)，條紋寬度一般遠(yuǎn)大于1個(gè)像素，這會(huì)影響測(cè)量的精度，因此，實(shí)際應(yīng)用必須對(duì)獲取結(jié)構(gòu)光條紋進(jìn)行細(xì)化處理。本文采用的圖像細(xì)化算法如下：首先通過(guò)水平和豎直方向掃描，找出所有像素值為1的點(diǎn)，找出光帶在每一列上下邊界的縱坐標(biāo)，分別記為y1i和y2i。光帶的寬度記為△yi，中心線(xiàn)的縱坐標(biāo)記為ymidi，所以中心點(diǎn)坐標(biāo)為(xi,ymidi)。

本文的算法直接在細(xì)化圖像上進(jìn)行斜率計(jì)算，通過(guò)斜率法[8]以斜率直觀的反應(yīng)曲線(xiàn)的走向，最后確定特征點(diǎn)。算法的步驟為：

(1)首先從左向右不斷計(jì)算以n個(gè)像素點(diǎn)為長(zhǎng)度單位的線(xiàn)段的斜率，將整個(gè)線(xiàn)段的斜率以曲線(xiàn)的類(lèi)型表示。

(2)從斜率變化曲線(xiàn)可以清楚的知道線(xiàn)段的斜率變化，通過(guò)分析得知斜率最大值所對(duì)應(yīng)的點(diǎn)便是曲線(xiàn)上所需求取的焊縫特征點(diǎn)的位置，如圖3所示。

圖3 焊縫特征點(diǎn)提取效果圖

1.4 三維重建

首先對(duì)結(jié)構(gòu)光視覺(jué)傳感器進(jìn)行精確標(biāo)定，獲取攝像機(jī)內(nèi)參數(shù)及結(jié)構(gòu)光平面參數(shù)，詳細(xì)算法參見(jiàn)文獻(xiàn)[7，9]；由標(biāo)定得到的攝像機(jī)內(nèi)參數(shù)矩陣M、光平面方程分別為：

假設(shè)在圖像坐標(biāo)系下的坐標(biāo)(u1,v1)，可以計(jì)算出P點(diǎn)在攝像機(jī)的焦距歸一化成像平面的成像點(diǎn)P1c1的坐標(biāo):

由于空間點(diǎn)P1c1在攝像機(jī)的光軸中心點(diǎn)與成像點(diǎn)構(gòu)成的直線(xiàn)上，即可知：

利用該直線(xiàn)的方程與結(jié)構(gòu)光平面方程，即可得到特征點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)Pc=(x,y,z)。綜合上述公式可得:

其中a=-0.00037;b=0.03079;c=-0.00423

通過(guò)標(biāo)定可知攝像機(jī)到腕部的轉(zhuǎn)換矩陣T。機(jī)器人的六自由度關(guān)節(jié)角可以從示教器上得知，經(jīng)過(guò)機(jī)器人的正解可以得知機(jī)器人末端相對(duì)于機(jī)器人基座的位姿矩陣B。最后，通過(guò)式pb=B·T·pc,可求得pc點(diǎn)在基坐標(biāo)系下的坐標(biāo)pb。

2 焊槍位姿的確定與離散

要想控制曲線(xiàn)自動(dòng)焊縫焊接中焊槍的運(yùn)動(dòng)軌跡,首先要確定空間曲線(xiàn)焊縫的數(shù)學(xué)描述。在焊接加工中我們首先根據(jù)前期的圖像處理算法以及三維重建,獲取到曲線(xiàn)焊縫各個(gè)特征點(diǎn)的三維坐標(biāo)，也就是型值點(diǎn)坐標(biāo),然后計(jì)算控制頂點(diǎn)。我們根據(jù)給定的型值點(diǎn)序列Pi(i=1,2,…,n)計(jì)算控制頂點(diǎn)vj(j=1,2,…，n+1,n+2)，使其定義的三次B樣條曲線(xiàn)通過(guò)點(diǎn)列Pi(i=1,2…，n)并以Pi為曲線(xiàn)段的結(jié)點(diǎn)。

在曲線(xiàn)擬合中一般需要n個(gè)型值點(diǎn)，在本實(shí)驗(yàn)中通過(guò)前期獲取的6個(gè)型值點(diǎn)為例，把曲線(xiàn)段數(shù)分為5段，詳細(xì)算法參照文獻(xiàn)[10]。最終就可以求出所有的控制頂點(diǎn)。結(jié)果如圖4所示。

圖4 曲線(xiàn)焊縫控制頂點(diǎn)效果圖

2.1 焊槍姿態(tài)的確定

由于在焊接的過(guò)程中，需要時(shí)刻根據(jù)每個(gè)焊縫特征點(diǎn)的位置和斜交管的角度來(lái)確定焊槍的姿態(tài)。在本文中，在直線(xiàn)和曲線(xiàn)上各選取一個(gè)參考點(diǎn)C和B，其中B點(diǎn)在曲線(xiàn)焊縫特征點(diǎn)起點(diǎn)的切線(xiàn)延長(zhǎng)線(xiàn)上，如圖5所示。

圖5 焊縫參考點(diǎn)示意圖

角BAC近似表示為斜交管的側(cè)面張角。根據(jù)焊接工藝及要求，焊槍所在的位置應(yīng)為斜交管側(cè)面張角角平分線(xiàn)的位置。根據(jù)B樣條曲線(xiàn)插值得到焊縫曲線(xiàn)表達(dá)式U，通過(guò)對(duì)U求導(dǎo)，從而得到沿曲線(xiàn)切線(xiàn)方向的方向向量Xx。把向量AB和AC單位化：

初步計(jì)算焊槍尖點(diǎn)Z軸的方向向量：

Xz′ =AB+AC

進(jìn)一步求取特征點(diǎn)Y軸方向的方向向量：

Xy=Xz′×Xx

顯然可以得出，Xx和Xy是相互垂直的，而Xx和Xz′不能保證垂直，所以需要對(duì)Xz′的方向向量進(jìn)行方向修正：

Xz=Xx×X

根據(jù)該特征點(diǎn)三個(gè)方向向量的確定進(jìn)而可以得到該特征點(diǎn)所對(duì)應(yīng)焊槍位置的姿態(tài)矩陣：

最后經(jīng)過(guò)機(jī)器人逆運(yùn)動(dòng)學(xué)分析[11]驗(yàn)證得到的六自由度關(guān)節(jié)角和機(jī)器人示教器上的關(guān)節(jié)角大小完全吻合。

2.2 焊槍姿態(tài)的離散

根據(jù)2.1中得到的各特征點(diǎn)的姿態(tài)矩陣，進(jìn)而求解每?jī)蓚€(gè)特征點(diǎn)之間各離散點(diǎn)的姿態(tài)。假設(shè)第一和第二特征點(diǎn)的姿態(tài)矩陣分別為R1和R2，R1和R2之間需要離散N個(gè)點(diǎn)。在這里我們可以得到：R1到R2的姿態(tài)變換矩陣Rot1=R1R2；利用機(jī)器人運(yùn)動(dòng)學(xué)求解得到R1和R2之間每個(gè)離散點(diǎn)之間的歐拉角梯度E1，進(jìn)而得到每?jī)蓚€(gè)離散點(diǎn)之間的姿態(tài)梯度R01;最終得到第一個(gè)離散點(diǎn)的姿態(tài)矩陣R11=R1·R01;同理可以得到第二個(gè)離散點(diǎn)的姿態(tài)矩陣為R12=R1·R01·R01，以此類(lèi)推求取接下來(lái)各離散點(diǎn)的姿態(tài)矩陣。

根據(jù)焊縫特征點(diǎn)以及離散點(diǎn)各姿態(tài)矩陣的確定，通過(guò)機(jī)器人運(yùn)動(dòng)學(xué)求解，最終得到焊縫特征點(diǎn)位置的四元數(shù)數(shù)值。最后把這些離散得到的焊縫特征點(diǎn)的四元數(shù)數(shù)值傳輸給機(jī)器人，以此來(lái)實(shí)現(xiàn)曲線(xiàn)焊縫各特征點(diǎn)位置和姿態(tài)的傳輸與控制。如圖6所示。

圖6 焊槍在各個(gè)焊縫特征點(diǎn)的姿態(tài)

3 實(shí)驗(yàn)平臺(tái)與數(shù)據(jù)分析

整個(gè)焊接實(shí)驗(yàn)平臺(tái)包括焊接執(zhí)行與控制系統(tǒng)與視覺(jué)檢測(cè)系統(tǒng)，焊接執(zhí)行系統(tǒng)由6自動(dòng)度工業(yè)機(jī)器人本體及其控制器、焊機(jī)系統(tǒng)、焊槍機(jī)構(gòu)、主控機(jī)及各通信線(xiàn)纜組成。其中工業(yè)機(jī)器人及其控制器采用ABB1410型工業(yè)機(jī)器人和IRC5控制器、焊機(jī)及焊接電源系統(tǒng)采用松下YM-500GR3HGE500A系統(tǒng)，焊槍可裝配各種尺寸直徑的焊絲。視覺(jué)檢測(cè)系統(tǒng)由CCD 攝像機(jī)、線(xiàn)結(jié)構(gòu)光傳感器和圖像采集卡構(gòu)成。其中線(xiàn)結(jié)構(gòu)光傳感器系統(tǒng)以及CCD攝像機(jī)固定安裝在工業(yè)機(jī)器人的末端執(zhí)行器上，構(gòu)成機(jī)器人手眼系統(tǒng)，用于焊縫識(shí)別和位置檢測(cè)。如圖7所示。

經(jīng)過(guò)圖像處理和三維重建，得到曲線(xiàn)焊縫各特征點(diǎn)坐標(biāo)數(shù)據(jù)如表1所示。由表1可見(jiàn)，曲線(xiàn)焊縫各特征點(diǎn)的檢測(cè)坐標(biāo)與實(shí)際示教坐標(biāo)相比，其誤差為0.1mm，焊接精度較高。

圖7 焊接實(shí)驗(yàn)平臺(tái)

表1特征提取后特征點(diǎn)的坐標(biāo)參數(shù)

4 結(jié)束語(yǔ)

為實(shí)現(xiàn)曲線(xiàn)焊縫的自動(dòng)化焊接，本文提出了一種基于線(xiàn)結(jié)構(gòu)光的視覺(jué)檢測(cè)算法以及焊槍軌跡規(guī)劃技術(shù)。

在焊接過(guò)程中，該種算法不僅檢測(cè)效率高而且可以根據(jù)工件的夾角實(shí)時(shí)的改變焊槍的姿態(tài)，以達(dá)到最佳的焊接效果。相比較于之前通過(guò)示教獲取焊縫特征點(diǎn)以及單一的焊接姿態(tài)有了很大的提高。當(dāng)然，在實(shí)際檢測(cè)的過(guò)程中，由于在機(jī)器人的焊槍標(biāo)定、攝像機(jī)內(nèi)外參數(shù)標(biāo)定以及機(jī)器人手眼標(biāo)定的過(guò)程中可能存在誤差，造成實(shí)際檢測(cè)和實(shí)際示教的結(jié)果存在誤差。在后來(lái)的實(shí)驗(yàn)過(guò)程中，應(yīng)多次標(biāo)定求取平均值以減小標(biāo)定帶來(lái)的誤差。經(jīng)實(shí)際檢測(cè)表面,其誤差大約為0.1mm,誤差較小，能滿(mǎn)足工業(yè)現(xiàn)場(chǎng)的實(shí)際需求，該種算法對(duì)于進(jìn)一步實(shí)現(xiàn)自動(dòng)化加工與生產(chǎn)具有十分重要的參考價(jià)值。

[1] 黃世游，徐雷，任清川，等.管管相貫開(kāi)孔及焊接裝配模型與BP仿真[J].焊接學(xué)報(bào)，2014,35(6)：53-56.

[2] 汪蘇，焦茂強(qiáng)，李曉光，等.大型相貫線(xiàn)埋弧焊接工藝研究及焊槍姿態(tài)建模[J].焊接技術(shù)，2009,38(10)：42-47.

[3] 趙潔，胡繩蓀，丁煒，等.基于Matlab的球管相貫空間曲線(xiàn)焊縫的數(shù)學(xué)模型[J].焊接學(xué)報(bào)，2010,32(8)：89-91.

[4] 曾翠華，張繼忠，楊軍.基于弗萊納-雪列空間矢量的焊接離線(xiàn)編程規(guī)劃[J].焊接技術(shù),2011,40(7):44-48.

[5] Liu H, Huang s, Gai Y. Robot continuous Trajectory Planning Based on Frenet-Serret Formulas[C]//International Conference on Computer,2010:47-51.

[6] 催明,顧啟民,黃震. 基于機(jī)器視覺(jué)的軸承滾動(dòng)體缺陷檢測(cè)算法研究 [J].組合機(jī)床與自動(dòng)化加工技術(shù)，2015(11):74-78.

[7] 王帥，徐方，陳亮，等. 視覺(jué)技術(shù)在機(jī)器人零部件裝配中的應(yīng)用研究.[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2015(8):107-110.

[8] 劉國(guó)平，張華，王洪亮，等. V形焊縫特征點(diǎn)提取的算法研究[J]. 焊接,2006(2):36-38.

[9] 洪磊, 田啟良, 嵇保健. 基于單應(yīng)性矩陣的線(xiàn)結(jié)構(gòu)光參量標(biāo)定法[J]. 光子學(xué)報(bào), 2015,44(12):1212003-1-6.

[10] 徐紹華.空間相貫曲線(xiàn)自動(dòng)化焊接中的軌跡規(guī)劃[D].濟(jì)南:山東大學(xué)，2008.

[11] 苗建偉，楊鐵寶，曾林森.一種六自由度機(jī)械手的智能軌跡規(guī)劃 [J].組合機(jī)床與自動(dòng)化加工技術(shù)，2014(9):73-76.

(編輯李秀敏)

CurveWeldingTechnologyBasedOnLineStructuredLight

FAN Ming-yang1, JI Bao-jian1, HONG Lei2

(1.College of Electrical Engineering and Control Science, Nanjing TECH University, Nanjing 211816, China;2.School of Automotive and Rail Transit, Nanjing Institute of Technology, Nanjing 211167,China)

In the actual welding process, curve welding is an important part of industrial production. At present, the welding method is mainly through the manual teaching of welding and the establishment of mathematical model method, but the process of these methods is too mechanical and complex. In this paper, a new method of curve welding based on line structured light is proposed. In this experiment, the first work is to image noise reduction, Based on the feature point extraction algorithm, the coordinates of the characteristic points of the corresponding position of the weld are obtained. Finally, the B spline curve interpolation algorithm is used to fit the coordinates of each feature point. Based on this，A new algorithm is proposed that can automatically adjust the position and posture of welding torch, it’s improve the welding process. Experiments show that the actual detection error is about 0. 1mm, It has good detection accuracy and can meet the requirement and demand of the actual welding.

curve weld; structured-light vision; image processing; skewed tube

TH122；TG40

：A

1001-2265(2017)09-0142-04

10.13462/j.cnki.mmtamt.2017.09.037

2016-12-08；

：2017-01-11

江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金-前瞻性聯(lián)合研究項(xiàng)目(BY2014005-09)；南京工程學(xué)院產(chǎn)學(xué)研項(xiàng)目(281210926216083)

范明洋(1991—)，男，安徽滁州人，南京工業(yè)大學(xué)碩士研究生，研究方向?yàn)闄C(jī)器視覺(jué)與機(jī)器人軌跡規(guī)劃技術(shù)，(E-mail)1435643790@qq.com。