基于機器人焊槍傾角變化的熔池圖像分析*

徐梓惠 姚屏,2 梁道贊 唐賀清

基于機器人焊槍傾角變化的熔池圖像分析*

徐梓惠1姚屏1,2梁道贊3唐賀清1

（1.廣東技術(shù)師范大學，廣東 廣州 510665 2.廣東技術(shù)師范大學天河學院，廣東 廣州 510540 3.廣東奇正科技有限公司，廣東 廣州 526854）

熔池是工藝規(guī)范綜合作用的結(jié)果，熔池形狀特征與焊接質(zhì)量密切相關(guān)。建立基于熔化極氣體保護焊平臺的機器視覺監(jiān)控系統(tǒng)，設(shè)計圖像處理程序，對采集的熔池圖像進行預(yù)處理、形態(tài)學處理和Canny算子提取邊緣，得到邊緣輪廓平滑的熔池圖像，并計算出其面積以及長寬比。根據(jù)提取的熔池圖像，分析焊槍前傾和后傾角度變化對熔池形狀變化的影響規(guī)律，為指導機器人焊槍工藝參數(shù)選擇提供參考。

GMAW；焊槍傾角；熔池邊緣提??；Canny算子

0 引言

熔化極氣體保護焊是一種高效優(yōu)質(zhì)的焊接方法，具有良好的穩(wěn)定性及熔池可見特點，廣泛應(yīng)用于車輛、船舶、容器、自動化設(shè)備連接結(jié)構(gòu)間的焊接。為掌握該工藝特點，研究人員圍繞焊接過程質(zhì)量監(jiān)控進行了大量研究，利用電信號[1]、聲音[2]、焊縫形貌[3]、圖 像[4]等信息對焊接成形質(zhì)量進行分析，并取得豐富的研究成果。隨著機器人焊接技術(shù)的發(fā)展，研究人員越來越重視傾角對焊接質(zhì)量的影響。通過調(diào)整焊槍傾斜角度適應(yīng)焊接工藝條件的變化，但角度改變會給焊縫成形質(zhì)量帶來影響，因此，探索焊槍傾角變化對熔池形態(tài)的影響對焊接質(zhì)量研究具有重要意義。本文利用電弧監(jiān)控相機獲取圖像，對機器人焊接過程中焊槍傾角變化時的熔池形狀進行研究分析，更深入地了解焊縫成形過程，并指導焊接工藝參數(shù)的選取。

1 熔池圖像的獲取及其特征分析

目前，弧焊熔池邊緣提取方法主要包括灰度變換和形態(tài)學處理，常用的邊緣檢測算子有Robert，Sobel，Prewitt，Laplacian-Gaussian，Canny等。通過分析熔池圖像灰度直方圖確定邊緣灰度值，進而利用Canny算子提取邊緣的方法可獲得完整的熔池邊緣[5]；但基于熔化極氣體保護焊（gas metal arc welding ,GMAW）熔池邊界與母材融合處灰度梯度小，該方法易丟失有用信息。利用數(shù)學形態(tài)學方法對圖像進行灰度形態(tài)學上的4種基本運算：膨脹、腐蝕、開運算和閉運算，實現(xiàn)了從預(yù)處理到邊緣檢測形態(tài)學算法提取[6]；但對微小的點噪聲濾波效果不理想。相位一致性模型利用局部能量不變原理和閾值分割對熔池區(qū)域初步定位，并采用Sobel對該區(qū)域進行精分割提取[7]?；诨叶人阉鞣椒ǖ木植孔畲筇荻群途€性插值算法是比較完善的邊緣檢測算法[8-9]。多尺度多結(jié)構(gòu)元素形態(tài)學算法運用并集獲得完整邊緣，并在此基礎(chǔ)上研究自適應(yīng)閾值方法，對實時熔池圖像處理效果較為理想[10-11]。上述算法既涵蓋了焊接領(lǐng)域傳統(tǒng)算法，又提出了新方法，對本文探索機器人焊槍傾角變化熔池圖像提取極具借鑒意義。

本文考慮到GMAW焊接過程弧光輻射干擾強，點狀噪聲不確定性的特點，利用中值濾波與形態(tài)學處理相結(jié)合方法優(yōu)化熔池區(qū)域；在焊槍傾斜情況下，針對焊槍弧光區(qū)與熔池區(qū)域分離問題，采用閾值分割法及Canny算子提取熔池邊緣；經(jīng)驗證分析，該算法適用于焊槍傾角變化的GMAW系統(tǒng)。

試驗使用FANUC焊接機器人和Mecaweld超級寬動態(tài)電弧監(jiān)控相機獲取和拍攝熔池，相機采用側(cè)拍方式，保證每組試驗拍攝時間、起點和終點一致，每個像素點的長度為0.036 mm/pix。機器人焊槍傾角示意圖如圖1所示。

圖1　焊槍傾角示意圖

1.1 熔池圖像獲取

基于熔化極氣體保護焊平臺的機器視覺監(jiān)控系統(tǒng)主要由焊接平臺和圖像采集系統(tǒng)組成。焊接平臺包括電源、焊機、控制箱等。圖像采集系統(tǒng)包括計算機、電弧監(jiān)控相機、相機支架等。焊接模式為直流高速電弧焊，焊絲直徑為1.2 mm；保護氣體成分為98%Ar+ 2%CO2的混合氣體；氣體流速為15 L/min；母材選用304不銹鋼板，尺寸為200 mm×40 mm×2 mm，本系統(tǒng)采集到的原始熔池圖像如圖2所示。

圖2　原始熔池圖像

1.2 熔池圖像特點

熔池圖像如圖3所示，其特點有：1）熔池形狀為不標準的半橢圓形，橢圓中心最大長度為熔池熔寬；2）電弧相機獲取的是RGB圖像，需進行灰度轉(zhuǎn)換，在電弧弧光作用下，熔池區(qū)域和背景區(qū)域之間的灰度梯度變化量大，對比強烈；3）熔池邊緣附近較熔池區(qū)較暗的小塊是飛濺的金屬液滴，焊槍弧光區(qū)與熔池區(qū)域之間為保護氣體。通過上述分析可知，應(yīng)盡可能濾除熔池邊緣處的干擾，增強對比度，充分利用灰度梯度信息來提高邊緣提取的準確性和可靠性。

2 基于Canny算子的熔池邊緣提取方法

圖像本質(zhì)是不同灰度值像素點組成的矩陣，對圖像進行的各種運算（平移、旋轉(zhuǎn)、鏡像、分割、邊緣提?。┒际腔诰仃嚥僮鲗崿F(xiàn)的。本文基于機器人焊槍傾角變化的熔池圖像算法處理流程如圖4所示。

圖3 熔池圖像

圖4 圖像處理流程

2.1 圖像預(yù)處理

由圖2可觀察到：采集的熔池圖像存在許多噪聲，為突出熔池邊緣區(qū)域，降低噪聲對邊緣提取的影響，對圖像進行預(yù)處理十分必要。首先，采用加權(quán)平均算法對圖像進行灰度化，將圖像色調(diào)和飽和度降低，保留亮度；其次，對圖像進行中值濾波，可過濾邊緣點附近大部分點狀噪聲，效果圖如圖5所示。從圖5(e)可以看出：邊緣處的小點雖然沒有消失，但像素值比原來減小，經(jīng)過閾值變換可把這些像素點轉(zhuǎn)換為背景點。

圖5　中值濾波效果圖

線性濾波器的輸出取決于輸入加權(quán)和，濾波器同時降低了噪聲和邊緣的像素值，對于需要提取邊緣的熔池圖像而言，這是需要避免的。本試驗選取3×3的中值濾波模板進行濾波，如表1所示。中值濾波算法原理：以第二行第二列像素點為中心，與其8鄰域內(nèi)各點的像素值進行降序排列；若位于中心位置的點像素值為(,)，則中心點(0, 0)的像素值為(,)。熔池邊緣介于焊槍弧光區(qū)與背景區(qū)之間，故邊緣點鄰域內(nèi)的像素值分布按由大到小排列得到的中間值十分接近邊緣真實值。

表1 中值濾波模板

煙塵處的灰度值與熔池區(qū)域灰度值存在較大差異，采用灰度閾值變換法去除熔池邊緣附近煙塵。經(jīng)過閾值變換后即可轉(zhuǎn)換成形態(tài)學處理所需的二值圖像，其變換表達式為

式中，為變換臨界值，該值是通過分析灰度直方圖得到的閾值分割參數(shù)，本試驗取0.9。由此，計算出圖像臨界值為230（= 255×0.9），當< 230時，像素點為黑（0），而> 230像素值為白（255）。

灰度閾值變換結(jié)果如圖6所示，位于上方的區(qū)域為焊槍弧光區(qū)，該區(qū)域與熔池區(qū)之間已經(jīng)斷開。經(jīng)過上述兩步處理，基本上已濾除對熔池影響較大的噪聲，但圖像邊緣點附近很小的噪聲點還不能完全消除，故需作進一步處理。

圖6 灰度閾值變換結(jié)果

2.2 二值圖像的基本形態(tài)學處理

圖7 形態(tài)學處理后的二值圖像

2.3 Canny算子邊緣提取

邊緣可以反映出物體的整體形貌，提取邊緣是圖像處理的最基本操作，常用于目標跟蹤和特征提取。邊緣定位準確，不受噪聲干擾是邊緣提取的基本要求，然而選用不同算子提取出來的邊緣效果也不一樣，主要表現(xiàn)在受噪聲影響的程度。GMAW焊接弧光強烈，存在細小飛濺，經(jīng)綜合考慮，選取Canny算子提取熔池邊緣。

Canny算子檢測原則包括信噪比原則、精準定位原則、單邊緣響應(yīng)原則。

單邊緣響應(yīng)原則：檢測出來的邊緣只有一條閉合的邊界最佳，不應(yīng)出現(xiàn)虛假邊緣，這就要求濾波只有一個響應(yīng)值。為此，利用式(4)對濾波器的極大值取平均；由于系統(tǒng)中人為設(shè)置響應(yīng)次數(shù)為，故利用式(5)確定極大值的個數(shù)。

Canny檢測步驟：

方向為

3）非極大值抑制。利用求出的梯度幅值和方向，將圖像內(nèi)的點歸類為上、下、左、右、左上、左下、右上、右下8個位置區(qū)間。比較每個區(qū)域各點像素值，保留局部最大值，其余值置為零，得到細化邊緣。

4）運用雙閾值變換連接邊緣。在步驟3）中得到的極大值，有的比較小而有的比較大，從中確定最小閾值和最大閾值；所有極大值與,兩值比較，極大值小于認為是非邊緣值，置零；極大值大于認為是邊緣值，保留；<極大值<時，如果與邊緣值有連接則歸為邊緣，無連接則置零。經(jīng)過反復判斷可得到連接起來的邊緣。Canny算子對邊緣經(jīng)過反復確認，比較再提取，邊緣連接連續(xù)光滑，無噪聲干擾，提取結(jié)果如圖8所示。

圖8 Canny算子邊緣提取

3 熔池圖像的特征及誤差分析

提取熔池圖像的邊緣后，測量邊緣圖像的長度和寬度。測量時，對邊緣圖像進行行掃描和列掃描，以提取熔池左、右邊界點和上、下邊界點。將對應(yīng)的兩點連接成線段，并計算出兩點之間的像素值即可得到兩線段的長度，然后再轉(zhuǎn)化成以mm為單位的長度與實際測量值比較。測量值與焊縫實際熔寬和余高對比的結(jié)果如表2、表3所示，測量最大誤差僅為0.01 mm，從被測的8組數(shù)據(jù)中計算最大誤差百分比為12.5%，則可以認為利用此方法測量的數(shù)據(jù)是可靠的。熔池的面積定義為邊緣區(qū)域中的像素總數(shù)，直接利用regionprops函數(shù)計算連通區(qū)域的面積。熔池長度對應(yīng)焊縫實際熔寬，熔池寬度對應(yīng)余高，從表2、表3還可分析出前傾角增大，熔池長度減小，寬度增加；后傾角增大熔池長度和寬度均增加，與前者相比，增幅較小。

表2 焊槍前傾誤差對比

表3 焊槍后傾誤差對比

熔池參數(shù)特征的長寬比和面積如表4所示，可以看出：隨著前傾角增加，長寬比減小，面積也減小，可以分析出熔池區(qū)域逐漸變小；后傾角增加，長寬比和面積均增大，可知熔池區(qū)域呈增大趨勢，但變化量都不大，因此，傾角對熔池的參數(shù)特征影響輕微，但影響熔池形貌，焊縫的外觀也會隨傾角變化發(fā)生較大變形。

表4 熔池參數(shù)表

4 結(jié)論

1）本文針對機器人焊槍傾角變化作用下對熔池的邊緣進行提取，首先，采用濾波方法減小部分噪聲干擾，然后，進行形態(tài)學運算優(yōu)化邊緣，最后，用Canny算子進行邊緣提取，邊緣連續(xù)光滑，誤差小。

2）焊槍傾角焊接最重要的是把焊槍弧光區(qū)與熔池弧光區(qū)分開，且隨著傾角增大，兩區(qū)域之間的連接更緊密，本試驗運用灰度閾值的變換將兩者之間連接部分分開，精確還原熔池形貌，使熔池的特征參數(shù)更接近實際測量值。

3）前傾角焊接時，隨著傾角增大，熔池的長度減小、寬度增大，面積減??；后傾角焊接時，隨著傾角增大，熔池的長度、寬度和面積都增大，但增加的幅度較?。槐砻骱笜尯髢A焊接比前傾焊接穩(wěn)定性更好。

[1] Yao Ping, Xue JiaXiang, Zhou Kang, et al. Symmetrical transition waveform control on double-wire MIG welding[J]. Journal of Materials Processing Technology,2016(229):111-120.

[2] Yao Ping, Zhou Kang, Zhu Qiang. Quantitative evaluation method of arc sound spectrum based on sample entropy[J]. Mechanical Systems and Signal Processing,2017(92):379-390.

[3] Yao Ping, Zhou Kang, Huang Shuwei. Process and parameter optimization of the double-pulsed GMAW process[J]. Metals, 2019,9(9):1-22.

[4] 薛家祥,張麗玲.MAG焊熔池圖像的灰度形態(tài)學分析[J].焊接學報,2006,27(4):13-16,113.

[5] 王歡,高向東,張瑞.分段線性灰度變換在熔池邊緣提取中的應(yīng)用[J].焊接技術(shù),2012,41(4):11-13.

[6] 鄭相鋒.基于形態(tài)學的焊接區(qū)熔池圖像的處理與識別[D].合肥:合肥工業(yè)大學,2006.

[7] 劉堅,向超前,王方華,等.基于相位一致性的激光熔覆熔池邊緣提取方法[J].機械工程學報,2018,54(5):166-172.

[8] Zou Yanbiao, Chen Tao. Laser vision seam tracking system based on image processing and continuous convolution operator tracker[J].Optics and Lasers in Engineering,2018(105):141–149.

[9] Masiyang Luo, Yung C. Shin. Vision-based weld pool boundary extraction and width measurement during keyhole fiber laser welding[J]. Optics and Lasers in Engineering,2015(64):59-70.

[10] 劉曉剛,閆紅方,張榮.基于形態(tài)學多尺度多結(jié)構(gòu)的熔池圖像邊緣檢測[J].熱加工工藝,2019,48(5):216-219.

[11] 肖宏,宋建嶺,劉憲力,等.基于形態(tài)學算法的2219鋁合金鎢極氦弧焊熔池圖像特征提取[J].宇航材料工藝,2019,49(1): 78-81.

Image Analysis of Molten Pool Based on Inclination Variation of Robot Welding Gun

Xu Zihui1Yao Ping1,2Liang Daozan3Tang Heqing1

(1.Guangdong Polytechnic Normal University, Guangzhou 510665, China 2. College of Tianhe, Guangdong Polytechnic Normal University, Guangzhou 510540, China 3.KITSEN Technologies Co., Ltd. Guangzhou 526854, China)

The molten pool is the result of the comprehensive action of process specifications. The shape characteristics of the molten pool are closely related to the welding quality. The thesis establishes a machine vision monitoring system based on the GMAW platform, designs an image processing program, pre-processes the collected molten pool image, morphological processing and Canny operator to extract the edges, and the edge contour is smooth, calculate its area and aspect ratio. According to the proposed graph, the influence of the forward and backward tilting angles of the welding torch on the shape of the molten pool was analyzed, which provided a reference for guiding the selection of the welding torch process parameters.

GMAW; torch angle; edge extraction of molten pool; Canny operator

徐梓惠，女，1996年生，碩士研究生，主要研究方向：自動控制，計算機圖像等。E-mail: xzh110592@163.com

姚屏（通信作者），女，1978年生，教授，博士，主要研究方向：工業(yè)機器人及智能控制等。E-mail: ypsunny@163.com

國家自然科學基金（51805099）；廣東省省級科技計劃項目（2017B090914005）；廣東省研究生教育創(chuàng)新計劃項目（2017QTLXXM38），2018年廣東省聯(lián)合培養(yǎng)研究生示范基地項目；廣州市科技計劃項目（201805010001）；陽江市科技計劃（SDZX2019022）。

TP301.6

A

1674-2605(2020)04-0002-07

10.3969/j.issn.1674-2605.2020.04.002