基于機器視覺的焊接偏弧檢測方法研究

1圖分類號：TG40 文獻標志碼：A文章編號：1006-0316（2025）06-0061-07

doi ： 10.3969/j.issn.1006-0316.2025.06.009

Welding Arc Deflection Detection Method Based on Machine Vision

YI Taixun’，WUHaifeng'，WANG Kun¹ ，PEI Weiping’，ZHU Gaoyi'，WANG Jie2 （1.Dongfang Turbine Co.，Ltd.， Dongfang Electric Corporation，Deyang 618ooo， China;

2. College ofMechanical Engineering， Sichuan University， Chengdu 610o65， China）

Abstract ∵ Welding arc deflection not only affects the strength of welded joints，but also may lead to welding defects such as porosity and slag inclusion， which willsignificantly reduce the durability and safety of welded structures.In this paper，a welding arc deflection detection method based on machine vision is proposed. Specifically，the method is divided into two main steps.First，the DeepLabV3+ network is used to process the image during the welding proces，accurately segment the area of the welding pool and the welding material，and extracttheir characteristics.Second，on the basis of feature extraction， the relative angle between the welding pool and the welding material is calculated to further judge whether the welding pool deviates from the predetermined welding path.In order to verifythe effectivenessof this method，a large number of experiments are carried out onthe self-built data set.The experimental results show that the proposed method can achieve 82% mIoU in extracting welding pool and welding material features， which reflects the accuracy of image segmentation. The Precision of 91% is achieved in judging whether the weld pool deviates.

Key words ∵ machine vision ; semantic segmentation ; welding arc deflection ; DeepLabV3+

電弧焊接廣泛應用于建筑、造船、汽車制造、管道鋪設和機械制造等多個領域。在應用該技術時，偏弧計算能夠幫助確定焊接過程中電弧的位置和方向，確保焊縫的寬度和深度符合設計要求，并有效避免氣孔、夾渣和未熔合等焊接缺陷。因此，為了保證電弧焊接的精度，針對電弧焊接中的偏弧計算問題，亟需找到解決方案。

李曉東[1]介紹了一種用于定位焊接熔池圖像中光斑中心的方法，首先對激光熔池圖像進行預處理，并根據(jù)處理結果提取圖像特征，接著利用Hough變換對特征參數(shù)進行處理，提取出激光光斑中心的位置信息，最后通過所提取的信息實現(xiàn)光斑中心的線性定位。該方法通過提取圖像特征，可以更精確地識別光斑中心的位置，但預處理步驟和Hough變換的計算可能導致算法復雜度增加，需要較高的計算資源，特別是在處理高分辨率圖像時。除此之外，還有大量研究使用基于圖像處理的視覺監(jiān)測方法提取焊接圖像中的熔池特征。比如薛家祥等[2]利用數(shù)學形態(tài)學方法分析焊接熔池圖像，提出一套從預處理到邊緣檢測的形態(tài)學算法。王歡等[3]采用分段線性灰度變換突出熔池區(qū)域，并用Canny算子提取熔池圖像邊緣。沈瑩吉等[4]通過圖像處理技術優(yōu)化焊縫熔池圖像，以獲取焊縫熔池的輪廓，并定義其幾何參數(shù)，最終利用軟件提取這些參數(shù)。裴瑩蕾等[5]利用最小二乘法計算未知焊接過程測試圖像的特征矩陣投影值，從而提出一種焊接缺陷的自動識別方法。徐梓惠等[設計了圖像處理程序，對采集的熔池圖像進行預處理、形態(tài)學處理和Canny算子提取邊緣，從而得到平滑的熔池邊緣輪廓，并計算其面積和長寬比。這些方法同樣存在傳統(tǒng)圖像處理方法的缺點，比如通常依賴于手動設計的特征提取算法，這對專業(yè)知識的要求較高，且設計過程繁瑣，容易受到設計者的主觀影響。

并且傳統(tǒng)的圖像處理方法往往需要多個步驟和復雜的算法組合，如圖像平滑、邊緣檢測等，流程復雜且編程難度較大。

近年來，深度學習憑借其能夠自動從數(shù)據(jù)中學習特征而不需要人工干預的優(yōu)勢，在智能制造領域大放異彩[7-8]。因此為解決傳統(tǒng)圖像處理的缺點，基于深度學習的卷積神經(jīng)網(wǎng)絡算法被引入到了熔池視覺監(jiān)測領域。胡繼濤等介紹了一種輕量級的基于DeepLabV3 ⁺ 網(wǎng)絡的焊接熔池圖像分割方法。馬曉鋒等[10]提出一種結合生成對抗網(wǎng)絡和改進的PSPNet網(wǎng)絡的深度學習檢測方法，用于在熔化極活性氣體保護焊過程中實現(xiàn)熔池的動態(tài)跟蹤和精準檢測。深度學習模型能夠自動從原始數(shù)據(jù)中提取有用特征，這種自動化減少了人工干預，并提高了特征提取的效率和效果。深度學習模型，尤其是卷積神經(jīng)網(wǎng)絡，具有更強的非線性映射能力，能夠更好地捕捉圖像中的復雜模式和結構，從而提高模型的準確性。深度學習模型對于噪聲、遮擋和其他圖像變換（如旋轉、縮放等）具有較好的魯棒性，在復雜環(huán)境中表現(xiàn)優(yōu)異，而傳統(tǒng)方法在這些情況下往往性能下降顯著。

因此，本文采用基于深度學習的視覺監(jiān)測方法從熔池圖像中提取目標的特征，并根據(jù)熔池中心點和焊材中心線之間的相對角度進一步判斷是否存在焊接偏弧的情況。該方法可以實時、準確地檢測出焊接過程中的偏弧情況，從而及時調整焊接參數(shù)或操作，避免產(chǎn)生缺陷，顯著提高焊接質量。

1焊接偏弧檢測方法

所提出的焊接偏弧檢測方法主要分為兩個部分，首先使用語義分割算法從焊接監(jiān)測圖像中提取出熔池和焊材特征，然后基于提取出的特征進行焊偏計算。

1.1焊接熔池圖像分割

本文采用DeepLabV3 + 作為語義分割模型，其網(wǎng)絡框架如圖1 所示[11]。DeepLabV3 是由

Google的研究人員提出的一種用于語義分割的深度學習模型，廣泛應用于自動駕駛[12]、醫(yī)學影像分析[13]、場景理解[14]等領域。

DeepLabV3+主要依賴于深度卷積神經(jīng)網(wǎng)絡作為特征提取的主干網(wǎng)絡。主干網(wǎng)絡負責提取圖像的高層次特征，本文中采用ResNet50[15]作為主干網(wǎng)絡。輸入圖片經(jīng)過主干網(wǎng)絡獲得的特征圖分別輸入到空洞空間金字塔池化模塊（Atrous Spatial Pyramid Pooling， ASPP） 和解碼器中。其中ASPP模塊處理多尺度特征。ASPP是DeepLabV3中的重要組成部分，通過不同大小的空洞卷積來捕捉各種尺度的上下文信息，從而增強對不同物體尺度的處理能力，而不需要增加計算量。本文使用的ASPP由五層組成。解碼器對來自主干網(wǎng)絡和ASPP模塊的特征圖進行融合和上采樣，逐步恢復細節(jié)信息，以提高分割結果的精度。

整個網(wǎng)絡使用交叉熵損失函數(shù)進行訓練，公式為：

式中： L 為交叉熵損失函數(shù)； N 為圖像中所有

像素的總數(shù)； C 為類別總數(shù)（包含背景）； y_ij 為第 i 個像素屬于第 j 個類別的真實標簽； 為第 i 個像素屬于第 j 個類別的預測值。

1.2焊接偏弧判斷

整個焊接偏弧判斷的流程如圖2所示。

語義分割網(wǎng)絡輸出一張三通道的圖片，背景、熔池和焊材各占一個通道，需要按照語義信息將熔池和焊材的通道進行分離。通道分離后分別提取熔池的中心點和輪廓，以及焊材的中心線和輪廓。其中熔池和焊材的輪廓提取所用方法相同，使用Canny邊緣檢測，本文中使用的是OpenCV中內置的Canny函數(shù)，該函數(shù)返回目標輪廓的像素點。

得到熔池的輪廓后，可以通過計算質心的方式得到熔池的中心點。使用OpenCV內置函數(shù)moments得到輪廓的幾何矩，然后計算熔池的中心點 C 的坐標為：

式中： c_x，c_y 為 c 的橫縱坐標； m₀₀ 為輪廓總面積； m₁₀ 為 x 方向的第一矩； m₀₁ 為 y 方向的第一矩。

獲得焊材的輪廓后，選取輪廓中最上、最下、最左、最右和任意一點共五個點，來擬合一個橢圓，該橢圓的中心線即焊材的中心線。當焊材的輪廓與熔池的輪廓未接觸時，可認為是焊接偏弧。

當焊材的輪廓與熔池的輪廓有交集時，需要根據(jù)焊材中心線與熔池中心點的角度來進一步判斷是否偏弧。計算方式如圖3所示。

熔池中心點垂直向下的垂線與焊材中心線相交，兩線之間的夾角為 a ，當 a 在規(guī)定范圍內時，認為焊接正常，否則認為焊接偏弧。通過分析大量視頻監(jiān)控，發(fā)現(xiàn) α=±45^° 時焊接正常。熔池的中心點和焊材中心的頂點是已知的，焊材中心線和垂線的交點通過兩線相交可計算得到，進而根據(jù)三角函數(shù)可獲得 α 的大小。

2數(shù)據(jù)集

所用焊接電源為德國KUKAKR60型焊機，搭配日本安川SK6弧焊機器人系統(tǒng)。焊接參數(shù)為焊接速度 30cm/min 、電流 260A. 、電壓30V. ，保護氣體的組成為 95% 氬氣和 5% 二氧化碳。母材為 10mm 厚的Q235低碳鋼，焊絲選用直徑 1.2mm 的 H08Mn2SiA ，焊接采用V型坡口 （ 60^° 1 2mm 鈍邊）。熔池的視覺傳感系統(tǒng)包括來自臺灣敏通的OS-45D近紅外CCD（ChargeCoupledDevice，電荷耦合器件）攝像機、大恒CG400圖像采集卡以及相關的連續(xù)采集軟件，配備 1064nm 的濾光片和 1% 的減光片。采集的典型熔池圖像如圖4所示，最亮的白色部分為熔池區(qū)域，整體呈圓形，焊材位于熔池旁邊，呈白色條形。圖像分為正常焊接熔池和焊材偏離熔池兩種情況。為確保數(shù)據(jù)分析的全面性，采集的圖像數(shù)據(jù)共計250幅，每幅圖像經(jīng)裁剪處理后，固定為 1920×1080 像素的jpg格式。隨后通過使用pytorch中的圖像增強庫Augmentor，對圖像進行旋轉、裁剪、翻轉和平移等一系列增強操作，使得數(shù)據(jù)集數(shù)量擴充至2000張，并按7：3的比例劃分為訓練集和測試集，以供后續(xù)的深度學習和模型訓練使用。

3實驗

3.1實現(xiàn)細節(jié)

實驗中所用的DeepLabV3+是利用PyTorch和MMSegmentation框架開發(fā)的，初始化使用HeInitialization，不需要對外部數(shù)據(jù)集進行任何事先訓練。所有網(wǎng)絡經(jīng)歷了500次訓練。訓練過程使用Adam優(yōu)化器，初始學習率為0.0005，在第200次epoch后降低至1/10。所有實驗均在NVIDIA Geforce RTX-3060 GPU 平臺上進行，該平臺顯存為12GB。為保證輸入圖片包含盡可能多的特征信息，未對圖片進行縮放處理。

3.2評價指標

實驗中使用的評價指標包括：

其中， A_Acc 用于評價偏弧檢測的精度， m_Acc 和 m_IoU 用于評價語義分割網(wǎng)絡的精度。

3.3結果與分析

對FCN （Fully Convolutional Networks，全卷積網(wǎng)絡）[16]、UNet[17]及DeepLabV3 + 這三種語義分割網(wǎng)絡進行對比，結果如表1所示?？梢钥闯觯珼eepLabV3+在關鍵的mIoU指標上顯示出了明顯優(yōu)勢，比UNet高出0.5個百分點，比FCN高出4.3個百分點。這個顯著提升不僅反映了DeepLabV3 + 在精確捕捉熔池特征方面的強大能力，同時也突顯了其在復雜工業(yè)環(huán)境下，處理焊接過程中微小細節(jié)的高靈敏度與準確性。

式中： A_Acc 為像素精度（Pixel Accuracy，Acc）;m_Acc 為平均像素精度（meanPixel Accuracy，mAcc）; I_IoU 為每個類的交叉比（Intersectionover Union，IoU）; m_IoU 為平均交并比（meanIntersection over Union， mIoU）; P_precision 為精確率； T_p 為真陽性； T_n 為真陰性； F_p 為假陽性；F_n 為假陰性； N 為語義分割任務中的類別數(shù)。

鑒于DeepLabV3+在性能指標上的優(yōu)勢，也因為其在實際應用中表現(xiàn)出的穩(wěn)定性和可靠性，本文將DeepLabV3+作為熔池與焊材掩碼提取的首選網(wǎng)絡，有助于提高焊接過程中特征提取的準確性，從而提升整體焊接質量并優(yōu)化工藝流程。

為驗證所提出的焊接偏弧判斷方法的準確性，首先使用訓練好的DeepLabV3+網(wǎng)絡對測試集中所有的共600張圖片進行預測，得到熔池和焊材的掩碼，并基于此進行焊偏判斷。結果顯示，該方法的準確率達到了 91.5% ，表明了語義分割方法在提取焊接特征方面的強大能力。為了更直觀地展示實驗結果，進行詳細的數(shù)據(jù)可視化處理，如圖5所示，其中虛線框為放大圖。可以看出，語義分割方法不僅能準確分割出熔池和焊材的掩碼，還能精確勾勒出熔池的中心點和焊材的中心線。這些細節(jié)的準確描繪為后續(xù)的焊偏判斷提供了有力支持。

4結論

提出一種基于機器視覺的焊接熔池偏離檢測方法，首先使用DeepLab V3+ 網(wǎng)絡的焊接熔池圖像分割，提取出焊接熔池和焊材的特征，然后計算焊接熔池與焊材的角度和判斷焊接熔池是否偏離。在自建數(shù)據(jù)集上進行大量實驗，結果表明，所提出的方法在提取熔池和焊材特征時可以實現(xiàn) 89.8% 的mIoU，在對是否偏離的計算上可以實現(xiàn) 91.5% 的Precision。通過對實驗結果的定性和定量分析，證明本文提出的基于機器視覺的焊接熔池偏離檢測方法，不僅在理論上合理，在實際應用中也展現(xiàn)出了顯著優(yōu)勢，能夠有效檢測出焊接過程中的偏離問題。這一方法的提出和實驗驗證，為焊接過程中的質量控制提供了新的思路和技術手段，對于提升焊接工藝的自動化和智能化水平具有重要意義。

參考文獻：

[1]李曉東，激光焊接熔池圖像光斑中心線性定位算法[J].應用激光，2022，42 （6）：1-7.

[2]薛家祥，張麗玲.MAG焊熔池圖像的灰度形態(tài)學分析[J].焊接學報，2006（4）：13-16.

[3]王歡，高向東，張瑞.分段線性灰度變換在熔池邊緣提取中的應用[J].焊接技術，2012，41（4）：11-13.

[4]沈瑩吉，姜夢，馮杰才.焊接熔池圖像采集及邊緣幾何形態(tài)研究[J]：兵器材料科學與工程，2024，47（3）：69-73.

[5]裴瑩蕾，王克鴻.基于非負矩陣分解的熔池圖像識別方法[J].計算機集成制造系統(tǒng)，2023，29（3）：930-937.

[6]徐梓惠，姚屏，梁道贊，等.基于機器人焊槍傾角變化的熔池圖像分析[J].自動化與信息工程，2020，41（4）：6-12.

[7]張懿，楊旭鋒，方修洋.一種考慮車輪多邊形的轉向架故障診斷深度學習方法[J].機械，2024，51（9）：37-44.

[8]葉之騫，鐘紫鵬，鄧永聰，等.基于Mixup數(shù)據(jù)增強的CNN-GRU深度學習電火花線切割放電狀態(tài)識別[J].機械，2023，50（9）：8-15.

[9]胡繼濤，馬曉鋒，趙榮麗，等.基于輕量級DeepLabV z+ 網(wǎng)絡的焊接熔池圖像分割方法[J].計算機集成制造系統(tǒng)，2025，31（1）：126-134

[10]馬曉鋒，夏攀，劉海生，等.全位置焊接熔池的深度學習檢測方法[J].機械工程學報，2023，59（12）：272-283.

[11]CHENLC，ZHUY，PAPANDREOUG，etal.Encoder-DecoderwithAtrousSeparable Convolution forSemanticImageSegmentation ∵ European Conference on Computer Vision 2018[C].Springer， Cham ∵ European Conference on ComputerVision，2018.

[12]FYU，YWU，YSUO，etal.ShallowDetail andSemanticSegmentation Combined Bilateral Network Model for LaneDetection[J]. IEEE Transactions on Intelligent TransportationSystems，2023，24 （8）：8617-8627.

[13]YLING，YWANG，WDAI，etal.MTANet：Multi-TaskAttention Network for Automatic Medical Image Segmentation andClassification[J].IEEE Transactions on Medical Imaging，2024，43（2）：674-685.

[14]JMIAO，YWEI，XWANG，etal.Temporal Pixel-LevelSemantic Understanding Through the VSPW Dataset[J]. IEEETransactions on Pattern AnalysisandMachine Intelligence，2023，45（9）：11297-11308.

[15]KHE，XZHANG，SREN，etal.Deep residual learningforimagerecognition ：Proceedings of the IEEE conference on computervision and pattern recognition[C]. Seattle ∵ IEEE Computer Society，2016.

[16]ESHELHAMER，JLONG，TDARRELL.FullyConvolutionalNetworks for Semantic Segmentation[J].IEEE Transactions onPattern Analysis and Machine Intelligence，2017，39（4）：640-651.

[17]O RONNEBERGER，P FISCHER，T BROX.U-Net：Convolutional networks for biomedical image segmentation ：Proceedingsof International Conference on Medical ImageComputing and Computer-Assisted Intervention[C].Berlin ∵ SpringerInternational Publishing，2015.