圖像自動(dòng)增強(qiáng)與注意力機(jī)制深度學(xué)習(xí)的MIG焊縫跟蹤系統(tǒng)

MIG weld seam tracking system based on image automatic enhancement and attention mechanism deep learning

ZHU Ming1，2，LEI Runji1，WENG Jun¹ ，WANG Jincheng1， SHI Yu1， 2 （1.State KeyLaboratoryof Advanced Procesing and Recycling of Non-ferrous Metals，Lanzhou Universityof Technology， Lanzhou 73Oo5O，China;2. Key Laboratory of Non-ferous Metal Alloys and Processing of State Education Ministry， Lanzhou University of Technology，Lanzhou 730o5O，China）

Abstract：Aiming at the problem that conventional MIG welding is diffcult to adjust the welding position in real time according to the group deviation and thermal accumulation deformation，a weld seam tracking method based on passive vision is proposed. Through the image spatial domain filtering and automatic enhancement algorithm， the YOLO v7 deep learning model with attention mechanism is used to extract and analyze the groove alignment position andarc position in theregion of interest inreal time.The fuzzy control algorithm isused to control the MIG welding processin real time when the preset deviation occurs. The results show that，the image automatic enhancement algorithm is used to complete the preprocesing of the image，and the pixel gray value of the edge position is increased from 40 to about110，which significantly improves the accuracy of the edge position information extraction；Based on the YOLO v7 network structure，the attntion mechanism module is added to improve the eficiency of target detection，and the mAP index is as high as 99.27% .The preset deviation test shows thatthe pixel errorof the alignment deviation detection is within8 pixels，and thealignment deviation distance is controlled between ±0.5 mm.

Key words： weld tracking；passive vision； image enhancement； deep learning

0 前言

在工程實(shí)踐中，由于焊件的坡口加工、組對(duì)與熱積累變形等造成的偏差，會(huì)引起間隙、錯(cuò)邊的不規(guī)則變化，并嚴(yán)重影響了焊接過(guò)程的穩(wěn)定性與焊縫質(zhì)量[1]。為了進(jìn)一步提高焊接效率與智能化水平，亟需開(kāi)發(fā)可以根據(jù)焊接工況變化、實(shí)時(shí)調(diào)整焊接位置的焊縫跟蹤算法及系統(tǒng)[2]

采用實(shí)時(shí)性更好的被動(dòng)視覺(jué)算法是實(shí)現(xiàn)焊縫跟蹤的有效途徑之一。國(guó)內(nèi)外眾多學(xué)者針對(duì)這一領(lǐng)域開(kāi)展了長(zhǎng)期的研究，Xia等人[3提出了一種基于窗口信息融合的被動(dòng)視覺(jué)焊縫跟蹤算法，實(shí)現(xiàn)了對(duì)焊道擺動(dòng)電弧過(guò)程中焊槍中心偏差的實(shí)時(shí)識(shí)別；Xiao等人[4]提出一種基于改進(jìn)Snake模型的特征提取算法，可以對(duì)多個(gè)焊縫具有較好的適應(yīng)性和魯棒性；張廣軍等人[5]實(shí)現(xiàn)了對(duì)S形曲線(xiàn)焊縫平穩(wěn)、精確的自主跟蹤；Wang等人[分析了圖像特征隨焊槍位置的變化規(guī)律，提出了焊槍的控制策略和實(shí)現(xiàn)焊縫跟蹤的圖像處理方法；Zhang等人研究了基于深度學(xué)習(xí)的機(jī)器人弧焊鋁合金在線(xiàn)缺陷檢測(cè)方法。上述研究為弧焊過(guò)程被動(dòng)視覺(jué)傳感的光學(xué)系統(tǒng)構(gòu)建與信號(hào)特征處理提供了有效的途徑與模式，但在處理速度與跟蹤精度方面仍需進(jìn)一步優(yōu)化。

文中提出了圖像自動(dòng)增強(qiáng)算法，提高了復(fù)雜焊接環(huán)境中圖像特征位置對(duì)比度及圖像檢測(cè)的準(zhǔn)確度.提出了基于邊緣檢測(cè)和卷積神經(jīng)網(wǎng)絡(luò)的方法，實(shí)現(xiàn)對(duì)坡口位置信息、電弧水平位置信息提取與表征，采用模糊控制算法進(jìn)行了焊縫跟蹤試驗(yàn)。

1 試驗(yàn)系統(tǒng)

試驗(yàn)系統(tǒng)如圖1所示，主要包含MOTOWELD-RD350 焊機(jī)、XIRISXVC510 焊接相機(jī)、NI-IC3171 工業(yè)控制器及Fanuc機(jī)器人等硬件。電弧電壓 18V 、焊接電流約為 200A， 焊接速度 5mm/s 、送絲速度140mm/s 、保護(hù)氣體為純氬氣，氣體流量 10L/min 。

2 試驗(yàn)結(jié)果與分析

2.1 焊接圖像預(yù)增強(qiáng)處理

提出了一種自動(dòng)增強(qiáng)的方法對(duì)圖像的灰度進(jìn)行增強(qiáng)，從而提高整幅圖像的對(duì)比度。首先利用直方圖分析可得到整張圖像的各個(gè)像素點(diǎn)灰度值與整張圖像的灰度平均值A(chǔ)，經(jīng)過(guò)平均化處理后坡口外灰度值為0，坡口內(nèi)的灰度值遠(yuǎn)大于0。為了進(jìn)一步提高對(duì)比度，給圖像的所有灰度值再乘以一個(gè)增強(qiáng)系數(shù) K ，進(jìn)一步增大坡口內(nèi)外區(qū)域的灰度差值。

MIG焊圖像自動(dòng)增強(qiáng)對(duì)比結(jié)果如圖2所示。可以發(fā)現(xiàn)對(duì)于焊槍區(qū)域和坡口區(qū)域特征信息都得到了明顯的增強(qiáng)，提高了焊槍邊緣信息與坡口邊緣信息的對(duì)比度，使得特征信息的提取更為容易。增強(qiáng)圖像的坡口邊緣強(qiáng)度遠(yuǎn)遠(yuǎn)大于原圖像相同位置的邊緣強(qiáng)度，邊緣灰度值從40增大到110左右。

2.2特征位置信息提取與表征

采取卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)定位加邊緣檢測(cè)的辦法，通過(guò)對(duì)焊縫坡口感興區(qū)位置的定位預(yù)測(cè)，再使用邊緣檢測(cè)的方法獲得坡口邊緣信息。綜合考慮焊縫跟蹤的圖像處理實(shí)時(shí)性與精確度，選擇改進(jìn)型的YOLOv7作為焊縫目標(biāo)定位與識(shí)別檢測(cè)的模型

在對(duì)焊縫圖像進(jìn)行訓(xùn)練與檢測(cè)時(shí)，要求感興區(qū)域位于坡口區(qū)和焊絲區(qū)，從而更好的獲得坡口邊緣信息和焊絲邊緣信息。為此，在原有的YOLOv7網(wǎng)絡(luò)結(jié)構(gòu)上，添加了如圖3所示注意力機(jī)制模塊。

完成模型構(gòu)建后進(jìn)行樣本訓(xùn)練，選擇1000張焊接圖像制作模型訓(xùn)練的數(shù)據(jù)集。選用Labelme對(duì)焊縫特征進(jìn)行精確標(biāo)注，標(biāo)注信息為焊絲、熔池和和焊縫坡口。將1000張圖片劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集3個(gè)數(shù)據(jù)集，為了驗(yàn)證集和測(cè)試集能夠客觀(guān)地評(píng)估訓(xùn)練集上訓(xùn)練的模型的泛化能力和其他性能，選擇訓(xùn)練集、驗(yàn)證集與測(cè)試集的比例為 2：8 。選用mAP指標(biāo)評(píng)價(jià)MIG圖像目標(biāo)識(shí)別模型的性能，圖4顯示了模型在不同焊接相關(guān)類(lèi)別上的平均精度（averageprecision，AP）以及整體的平均精度值（mean average precision，mAP）。不同類(lèi)別的AP值大于0.98，mAP值為 99.27% ，表明模型在這個(gè)特定數(shù)據(jù)集上具有非常高的檢測(cè)準(zhǔn)確性。

焊接位置的特征信息如圖5所示。以圖像左上角建立坐標(biāo)系，焊絲檢測(cè)框可由矩形框的4個(gè)坐標(biāo)表示：（X_L1，Y_L1），（X_L2，Y_L2） 和點(diǎn) （X_R1，Y_R1），（X_R2，Y_R2） 。由此可以獲得焊絲表征點(diǎn)的坐標(biāo)為 （X₀，Y₀） ，其中 X₀，Y₀ 滿(mǎn)足

式中： X₀，Y₀ 表示焊絲位置點(diǎn)在整張圖片中的位置坐標(biāo)； X_R2 ， X_R2 表示矩形框右下側(cè)端點(diǎn)的位置坐標(biāo)； X₁₂ ，Y_L2 表示矩形框左下側(cè)端點(diǎn)的位置坐標(biāo)。

坡口信息表征由邊緣檢測(cè)獲得，通過(guò)邊緣線(xiàn)檢測(cè)可以得到各個(gè)邊緣位于整張圖像中的坐標(biāo)信息，可以獲得坡口左邊緣點(diǎn)和右邊緣點(diǎn)的特征表征，通過(guò)左右坡口信息可以得到坡口邊緣線(xiàn)的表征方程。由于視覺(jué)傳感的二維視場(chǎng)存在透視畸變，使原本平行的坡口邊緣在視場(chǎng)中呈現(xiàn)一定角度。根據(jù)角平分線(xiàn)的性質(zhì)，焊縫中心線(xiàn)正好位于這兩條坡口邊緣的角平分線(xiàn)上，因此，通過(guò)坡口邊緣線(xiàn)的交點(diǎn)和角平分線(xiàn)的斜率可以確定焊縫中心線(xiàn)的表征方程，即

式中： （x_c，y_c） 為坡口邊緣線(xiàn)的交點(diǎn)； k_L 和 k_R 分別為左右坡口邊緣線(xiàn)的斜率。

將焊絲表征點(diǎn) （X₀，Y₀） 代入焊縫中心線(xiàn)方程可以得到偏差距離 D ，即

通過(guò)偏差距離 D 的大小可以判斷焊槍的對(duì)中位置。當(dāng) D= 0 時(shí)，焊槍位于焊縫中心線(xiàn)位置；當(dāng) Dgt;0 時(shí)，焊槍位于焊縫中心的右側(cè)；當(dāng) Dlt;0 時(shí)，焊槍位于焊縫中心的左側(cè)。

2.3對(duì)中偏差控制試驗(yàn)與結(jié)果分析

試驗(yàn)選用的焊接材料為Q345鋼，加工尺寸為300

mm×100mm×18mm ，坡口形式為 70^°V 形坡口，如圖6

所示。為了檢測(cè)焊縫跟蹤系統(tǒng)的實(shí)際控制效果，焊縫起始點(diǎn)到終點(diǎn)預(yù)設(shè)了 15mm 的偏差。

由于焊接過(guò)程的高耦合性、非線(xiàn)性和時(shí)變性，難以建立一個(gè)精確的數(shù)學(xué)模型實(shí)現(xiàn)對(duì)焊接偏差的控制。在焊縫跟蹤中采用了模糊控制策略，將焊工的圖像觀(guān)察經(jīng)驗(yàn)轉(zhuǎn)化為模糊規(guī)則，利用模糊控制器根據(jù)焊接狀態(tài)和模糊規(guī)則生成控制信號(hào)，以實(shí)現(xiàn)焊縫的精確跟蹤。模糊規(guī)則見(jiàn)表1，其核心邏輯在于確定糾偏控制量與偏差 D 及偏差變化率 D_cr 之間的動(dòng)態(tài)關(guān)系，并通過(guò)實(shí)時(shí)監(jiān)控和模糊控制原理對(duì)糾偏控制量進(jìn)行動(dòng)態(tài)調(diào)整。

按照預(yù)設(shè)焊縫偏差展開(kāi)有無(wú)控制對(duì)比MIG焊接試驗(yàn)，并對(duì)圖像信息進(jìn)行處理得到如圖7所示的焊接偏差信息。圖7（a）為無(wú)控制情況下焊縫對(duì)中像素偏差，可以發(fā)現(xiàn)焊槍在焊縫中從一側(cè)向另一側(cè)偏移焊接時(shí)，提取到的焊縫中心線(xiàn)與焊絲位置表征點(diǎn)之間的偏差像素也隨之不斷變化。圖7（b）為加入焊縫跟蹤系統(tǒng)的對(duì)中偏差像素變化，可以發(fā)現(xiàn)在起弧初始階段焊槍遠(yuǎn)遠(yuǎn)偏離焊縫中心位置，此時(shí)上位機(jī)會(huì)持續(xù)給出調(diào)整控制信號(hào)，并在較短時(shí)間內(nèi)調(diào)整焊槍位置，使其快速移動(dòng)到焊縫中心位置。

焊槍距離焊縫中心的位置信息如圖8所示，可以發(fā)現(xiàn)，通過(guò)焊縫跟蹤可以使焊槍始終可以保持在焊縫中心線(xiàn)附近 ±0.5mm 的范圍內(nèi)穩(wěn)定。

3結(jié)論

（1）通過(guò)設(shè)計(jì)的圖像自動(dòng)增強(qiáng)算法使坡口邊緣位置的像素灰度值由40增大到110左右；通過(guò)添加注意力機(jī)制模塊提升了檢測(cè)效率，mAP指標(biāo)高達(dá)99.27% 。

（2）預(yù)設(shè)偏差試驗(yàn)焊縫跟蹤系統(tǒng)的檢測(cè)準(zhǔn)確率在90% 以上，圖像的對(duì)中偏差檢測(cè)像素誤差在8個(gè)像素以?xún)?nèi)，實(shí)際焊縫跟蹤偏差在 ±0.5mm 。

參考文獻(xiàn)

[1］韓慶璘，李大用，李鑫磊，等．基于分區(qū)減光的電弧增材制造熔敷道尺寸主被動(dòng)聯(lián)合視覺(jué)檢測(cè)［J]．焊接學(xué)報(bào)，2020，41（9）：28-32.

[2] 陳華斌，陳善本．復(fù)雜場(chǎng)景下的焊接智能制造中的信息感知與控制方法[J]．金屬學(xué)報(bào)，2022，58（4）：541-550.

[3] XiaLei，Zhou Jianping，Xue Ruilei，etal.Real-time seamtracking during narrow gap GMAW process based on the widedynamic vision sensing method[J]. Journal of ManufacturingProcesses，2023，101：820-834.

[4] XiaoRunquan，Xu Yanling，Hou Zhen，etal.Afeature ex-traction algorithm based on improved Snake model for multi -pass seam tracking in robotic arc welding[J].Journal ofManufacturingProcesses，2021，72：48-60.

[5] 張廣軍，冷孝宇，吳林．弧焊機(jī)器人結(jié)構(gòu)光視覺(jué)傳感焊縫跟蹤[J].焊接學(xué)報(bào)，2008，29（9）：8-10.

[6] WangWeixi，Yamane Satoshi，WangQi，et al. Visual sens-ingand quality control inplasma MIG welding[J].JournalofManufacturing Processes，2023，86：163-176.

[7] Zhang Zhifen，Wen Guangrui，Chen Shanben.Weld imagedeeplearning-based on-linedefects detection using convo-lutional neural networks for Al alloy in robotic arc welding[J].Journal ofManufacturingProcesses，2O19，45：208-216.