基于小波時頻圖和ResNet18的焊接狀態(tài)監(jiān)測方法研究

摘" 要： 針對焊接過程中因外部干擾因素或焊接參數(shù)選擇不當而導致的氣孔和未熔合缺陷的問題，提出一種小波時頻圖和深度殘差網(wǎng)絡(luò)（ResNet18）相結(jié)合的焊接質(zhì)量檢測方法。首先，搭建管道全位置自動焊接試驗平臺，利用拾音器記錄熔合良好、未熔合和氣孔焊接狀態(tài)下的聲音信號，將采集到的聲音信號進行小波閾值降噪處理并且計算信號的信噪比，從而得到合適的信號降噪方法。其次，使用連續(xù)小波變換得到小波時頻圖，對時頻圖進行壓縮和預處理，將時頻圖的大小設(shè)置為224×224，并剔除時頻圖上的標題、坐標和能量等。最后，將處理好的小波時頻圖作為輸入，以未熔合、熔合良好和氣孔三種狀態(tài)作為輸出，利用ResNet18網(wǎng)絡(luò)進行訓練。結(jié)果表明，該模型對三種焊接狀態(tài)下的聲音信號具有良好的監(jiān)測效果，其準確率為90.78%。

關(guān)鍵詞： 焊接過程； 焊接質(zhì)量檢測； ResNet18； 深度殘差網(wǎng)絡(luò)； 聲音信號； 小波閾值降噪； 小波時頻圖

中圖分類號： TN911.23?34" " " " " " " " " " " " " 文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2024）08?0165?06

Research on welding condition monitoring method based on wavelet time?frequency diagram and ResNet18

ZHANG Yawen1， WU Libin2， ZHOU Jianping3

（1. College of Intelligent Manufacturing and Modern Industry （School of Mechanical Engineering）， Xinjiang University， Urumqi 830000， China;

2. Sichuan Petroleum and Natural Gas Construction Company Limited， Chengdu 610213， China;

3. College of Intelligent Manufacturing and Modern Industry （School of Mechanical Engineering）， Xinjiang University， Urumqi" 830000，" China）

Abstract： In allusion to the problems of porosity and unfused defects caused by external interference factors or improper selection of welding parameters in the welding process， a welding quality inspection method combining wavelet time?frequency mapping and deep residual network （ResNet18） is proposed. A testing platform for pipeline all?position automatic welding is constructed， and the sound signals under the weld states of good fusion， unfused and porosity are recorded by means of a pickup， and the collected sound signals are subjected to wavelet threshold noising reduction and the signal?to?noise ratio is calculated， so as to obtain a suitable signal noising reduction method. The wavelet time?frequency diagram is obtained by means of the continuous wavelet transform， and the time?frequency diagram is compressed and preprocessed， and the size of the time?frequency diagram is set to 224×224， and the title， coordinates and energy on the time?frequency diagram are eliminated. By using processed wavelet time?frequency maps as input， and the three states of unfused， well?fused and porosity as output， the ResNet18 network is used for training. The results show that the model has a good effect of monitoring the sound signals in the three welding states with an accuracy of 90.78%.

Keywords： welding process; welding quality inspection; ResNet18; deep residual network; sound signal; wavelet threshold denoising; wavelet time?frequency map

0" 引" 言

焊接作為現(xiàn)代制造業(yè)的重要組成部分，其涉及領(lǐng)域非常廣，包括機械加工、石油儲氣、汽車等行業(yè)，且焊接技術(shù)水平的高低能夠反映出一個國家制造業(yè)的發(fā)展狀況。熔化極氣體保護焊（Gas Metal Arc Welding， GMAW）因采用明弧焊接、熔池可見度好、受熱應力變形小以及焊接效率高等特點，被廣泛用于全位置焊接中。

焊接過程中出現(xiàn)未熔合、氣孔、咬邊等焊接狀態(tài)，會使得焊縫出現(xiàn)焊接缺陷、結(jié)構(gòu)力學性能變差，容易造成焊件報廢，從而降低生產(chǎn)效率以及增加生產(chǎn)成本[1]。在目前的焊接工藝流程中，焊接質(zhì)量的評定是在焊接完成后，使用無損檢測、超聲波檢測及金相分析等方法發(fā)現(xiàn)焊縫產(chǎn)生的缺陷位置，從而進行焊后打磨或者坡口返修，但這會增加時間成本。如果能夠在焊接過程中對焊接的質(zhì)量進行實時監(jiān)測，當出現(xiàn)焊接質(zhì)量問題時，操作人員能夠及時進行干預和處理，可以在一定程度上提高焊接質(zhì)量，提升焊接效率和節(jié)約相應的成本。

有經(jīng)驗的工人一般會根據(jù)焊接時的電弧聲音來判斷焊接質(zhì)量，進而實時地調(diào)整工藝參數(shù)，這主要是因為焊接過程中產(chǎn)生的聲音信號蘊含著與焊接質(zhì)量密切相關(guān)的信息。文獻[2]針對不同焊接熔透狀態(tài)，提出了一種基于主觀評價的熔透狀態(tài)識別方法。針對電弧音色特征構(gòu)建音色空間模型，利用支持向量機模型實現(xiàn)對熔透狀態(tài)的識別，識別率能夠達到91%以上。文獻[3]對焊接過程中所形成的噪聲信息進行了收集，首先通過頻域?qū)υ肼曅畔⑦M行了特征提?。辉倩谛拚拿窢栴l率的光譜系數(shù)和稀疏對不同焊縫的熔透特性信息進行獲?。蝗缓笸ㄟ^SVM技術(shù)對所采集的信息加以識別。結(jié)果表明，該方法識別效果良好，準確率能夠達到98%。文獻[4]通過采集焊接聲音、電流、電壓等數(shù)據(jù)構(gòu)建數(shù)據(jù)集，提取特征并構(gòu)建特征集，利用支持向量機模型對焊接狀態(tài)進行預測。結(jié)果表明，分類識別率能達到99%以上。文獻[5]針對焊接的熔透狀態(tài)與聲音相關(guān)的特性，提取出與聲音信號相關(guān)的短時幅值平均值、幅值標準差、能量和及對數(shù)能量平均值等特征；再將上述的特征構(gòu)建成特征集，并且建立SVM分類模型，實現(xiàn)了對鋁合金脈沖GTAW的熔透狀態(tài)的識別。文獻[6]通過采集焊接過程中的聲音信號，采用模擬人類聽覺皮層反映的方式提取相關(guān)特征向量，構(gòu)建了聽覺感知模型來識別焊縫的熔透狀態(tài)。

焊接過程中，電弧干伸長過長、保護氣體不暢以及焊接參數(shù)會產(chǎn)生未熔合和氣孔缺陷，進而對焊接質(zhì)量造成影響。為此，本文提出了一種基于小波時頻圖和深度殘差網(wǎng)絡(luò)（ResNet18）相結(jié)合的焊接缺陷檢測方法。針對焊接熔合良好、焊接氣孔和未熔合缺陷，先對采集到的焊接聲音信號進行小波降噪處理，再對降噪后的聲音信號進行連續(xù)小波變換，得到小波時頻圖。之后，將小波時頻圖輸入到深度殘差網(wǎng)絡(luò)（RetNet18）中，將熔合良好、焊接氣孔和未熔合三種焊接狀態(tài)作為輸出。

1" 信號預處理及特征提取

焊接是一個復雜的物理化學的局部冶金過程，焊接過程中容易受到外部因素影響，如：環(huán)境噪聲、焊接設(shè)備以及人的聲音等。因此，實際采集到的焊接聲音信號中包含一些噪聲信號，為了后續(xù)對焊接聲音信號進行分析，需要對焊接聲音信號進行相應的降噪處理，并利用連續(xù)小波變換得到小波時頻圖，為后續(xù)識別分類做準備。

1.1" 小波降噪

由于焊接所采集到的聲音信號容易受到焊接電源、焊接機器人的運行以及外部環(huán)境噪聲的影響，因此拾音器采集到的焊接聲音信號包含一定噪聲信號。為避免其對后續(xù)的特征提取造成影響，需要對采集到的信號進行降噪處理。本文所采用的小波閾值降噪法目前已經(jīng)應用在多個領(lǐng)域中，對信號的降噪處理有良好的效果[7]。

設(shè)含有噪聲的信號模型為：

[f（i）=s（i）+n（i）]" （1）

式中：[f（i）]為含噪信號；[s（i）]為原始采集的信號；[n（i）]為噪聲信號。

小波閾值降噪是對采集到的含有噪聲的信號進行多尺度的小波分解，得到低頻和高頻系數(shù)；然后再采用閾值函數(shù)對高頻系數(shù)進行閾值處理；最后將處理好的信號進行重構(gòu)，得到降噪后的信號[8]。小波降噪過程按以下步驟進行：

1） 對含噪聲的信號在多尺度下進行分解，將原始信號和噪聲信號分離；再選擇小波函數(shù)和分解層數(shù)[M]，對信號進行[M]層小波分解。

2） 選擇合適的閾值，并將小波分解后的高頻系數(shù)進行閾值處理。

3） 利用小波逆變換對閾值處理后的小波系數(shù)進行處理，得到重構(gòu)后的信號。

為了得到合適的降噪效果，需要確定小波函數(shù)、閾值以及分解層數(shù)等。

1.2" 小波時頻圖

焊接電弧聲音是焊接時電弧產(chǎn)生能量的變化而產(chǎn)生的振動，而焊接質(zhì)量與焊接電弧的狀態(tài)、電弧在熔池中位置以及坡口邊沿的熔化狀態(tài)密切相關(guān)[9]。與人類產(chǎn)生語音信號非常相似，電弧聲音信號的發(fā)聲模型可以分為聲源和聲道模型，電弧聲源模型一般認為電弧聲信號的激勵來源為焊接電信號[10]。焊接出現(xiàn)不同的焊接狀態(tài)時，焊接電流會發(fā)生突變，并且會導致聲音信號發(fā)生變化，此時的聲音信號可視作非平穩(wěn)信號。傅里葉變換在處理非平穩(wěn)信號時無法突出分析信號的突變時間，因此不適合處理非平穩(wěn)的信號。而小波變換采用隨頻率變化的時頻窗對信號進行時頻分析，并且通過伸縮平移運算對信號逐步進行多尺度分析，最終達到在高頻和低頻處頻率都進行細分處理，能自動適應時頻信號分析的要求[11]。將可平方和積分的信號[f（t）]轉(zhuǎn)換成連續(xù)小波，公式如下：

[WTx（α，τ）=1α-∞+∞x（t）ψt-ταdt] （2）

式中：[WTx（α，τ）]為小波變換系數(shù)；[α]為縮放因子；[τ]為平移因子。

將采集到的聲音信號轉(zhuǎn)換成小波時頻圖，具體的實現(xiàn)過程如下：

1） 設(shè)[α]為伸縮因子，[fs]為采樣頻率，[Fc]為小波中心頻率，則實際頻率為：

[Fa=Fc·fsα] （3）

2） 尺度序列形式為：

[ctotalscal，c（totalscal-1），L，c2，c] （4）

式中：[totalscal]是對信號進行小波變換時所用尺度序列的長度；c為常數(shù)；[ctotalscal]尺度對應的實際頻率為[fs2]。因此根據(jù)式（4）可得出尺度序列：

[c=2·Fc·totalscal] （5）

3） 根據(jù)確定的小波基和尺度，通過式（2）求出小波系數(shù)；然后依據(jù)式（3）將尺度序列轉(zhuǎn)換為實際頻率序列[f]；最后結(jié)合時間序列[t]即可繪制小波時頻圖，獲取特征信息。

1.3" ResNet18網(wǎng)絡(luò)分類模型

2016年，He等人提出了ResNet殘差網(wǎng)絡(luò)模型，該模型的思想是短路連接（Shortcut Connection），它能夠解決傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的梯度爆炸和網(wǎng)絡(luò)退化問題。ResNet殘差網(wǎng)絡(luò)模型主要由卷積層構(gòu)成的模塊組成，這些模塊被稱為殘差模塊[12]。殘差模塊的輸入通過恒等映射直接加到模塊的輸出中，深度殘差網(wǎng)絡(luò)由多個殘差模塊組成，每個殘差網(wǎng)絡(luò)可以擬合上一個分類器的誤差，從而達到提升分類能力的效果[13]。殘差模塊基本結(jié)構(gòu)如圖1所示。

ResNet網(wǎng)絡(luò)將每組殘差單元映射中的網(wǎng)絡(luò)設(shè)為一個殘差模塊，殘差模塊的定義如下：

[y=F（x，Wi）+x]" "（6）

式中：[x]、[y]分別為殘差模塊的輸入和輸出向量；[F（x，Wi）]是待訓練的殘差映射，并且式（6）中的x與F維度需相同。如果存在池化導致維度不同，這時則需要在短路連接中增加恒等映射來實現(xiàn)維度匹配，公式為：

[y=F（x，Wi）+Wsx] （7）

ResNet18是由17個卷積層與1個全連接層構(gòu)成，其中17個卷積層由一個獨立卷積和4個殘差模塊組成。該網(wǎng)絡(luò)是由多個殘差模塊所組成的，每個殘差模塊利用恒等映射的方式將模塊的輸入和輸出信息進行合并，最后一個殘差模塊與全連接層相連，以此來降低擬合誤差，最后經(jīng)過Softmax操作得到類別的概率[14]。ResNet18網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，具體參數(shù)如表1所示。

2" 管道焊接試驗平臺

2.1" 試驗設(shè)備

為了獲取管道全位置自動焊接過程中的聲音信號，本文搭建了基于GMAW焊接特點的管道焊接系統(tǒng)。管道焊接系統(tǒng)主要由焊接試驗系統(tǒng)、聲音信號采集系統(tǒng)以及運動控制系統(tǒng)三部分組成。焊接試驗系統(tǒng)由安意源500型焊接小車、E52系列氣?？刂齐娫?、焊槍升降機構(gòu)組成；信號采集系統(tǒng)由拾音器和采集卡組成；運動控制系統(tǒng)由遙控器、驅(qū)動器以及步進電機組成。管道焊接設(shè)備安裝示意圖如圖3所示。

焊接采用上行焊接的方法，焊接時由遙控器發(fā)出指令，焊接小車由180°向0°焊接，聲音信號采集設(shè)備安裝在電弧水平距離焊接電弧100 mm處，用于采集焊接過程中的聲音信號。該設(shè)備的采樣頻率為44.8 kHz，符合焊接聲音信號的采樣需求。

2.2" 試驗材料

焊接管道的材料為L245NS，規(guī)格為[Φ406 mm×1]5 mm，焊絲為BOHLER EMK 6的實芯焊絲，直徑為1.0 mm。管道坡口角度為22.5°，組對間隙為1.0 mm。

管道分為左右兩個半圓，每個半圓各180°，焊接時按照角度可分為平焊（0°～60°）、立焊（60°～120°）、仰焊（120°～180°），其中每15°為一個段，一共有24段，其管道相關(guān)的示意圖如圖4所示。管道焊接按照填充分為：根焊（第1層）、熱焊（第2層）、填充（3～6層）和蓋面層（第7層），本文信號采集工作主要集中在熱焊層和填充層。焊縫填充層道數(shù)示意圖如圖5所示。

2.3" 設(shè)置對照組試驗

在焊接時，模擬焊接真實環(huán)境并同步采集焊接時產(chǎn)生的聲音信號；再根據(jù)焊接材料和工藝選擇最優(yōu)的焊接工藝參數(shù)，設(shè)置三組對照組試驗，其中一組采用正常的焊接工藝，其他兩組人為模擬焊接出氣孔缺陷和未熔合缺陷。在其他焊接參數(shù)不變的情況下，在兩組對照管道試驗的平焊位置（0°～15°）、立焊位置（90°～100°）和仰焊位置（170°～180°）處分別采用減少氣體和將焊炬擺動距離減少，以此模擬產(chǎn)生氣孔缺陷和未熔合缺陷。三種焊接狀態(tài)示意圖如圖6所示。記錄上述的焊接聲音信號，并將聲音信號分成三類，方便后續(xù)分析。

3" 實驗驗證

3.1" 聲音信號降噪處理

焊接時將焊接聲音信號進行采集，剔除掉焊接前后起弧階段和收弧階段的聲音信號，再將數(shù)據(jù)進行保存。本文選取db4函數(shù)進行去噪處理，分解層數(shù)為4層，圖7所示是降噪前后聲音信號的波形對比圖。由圖可知，經(jīng)過小波閾值降噪處理之后，焊接聲音的原始特性變得更加明顯，原始聲音信號中的高頻信號明顯減少。

3.2" 小波時頻圖提取及預處理

利用連續(xù)小波變換將降噪后的聲音信號進行處理，本文采用db6小波基函數(shù)，分解層數(shù)設(shè)為5層，樣本的時間長度為3 000 ms。圖8為三種焊接狀態(tài)下的聲音信號的小波時頻圖。連續(xù)小波變換處理后的小波時頻圖無法直接使用，需要對時頻圖進行預處理，其步驟如下：

1） 使用連續(xù)小波變換的方法將焊接聲音信號生成為小波時頻圖。

2） 去除小波時頻譜圖周邊的坐標、文字、能量條等內(nèi)容。

3） 根據(jù)深度殘差網(wǎng)絡(luò)輸入層樣本圖片要求，將小波時頻圖處理為245×245的大小，然后對時頻圖進行壓縮處理。

得到小波時頻圖后，再對小波時頻圖進行預處理壓縮，預處理后的小波時頻圖如圖9所示。三種不同焊接狀態(tài)的小波時頻圖樣本各1 200個，選取其中的 960個作為訓練樣本，剩余的240個作為測試樣本，并且對三種焊接狀態(tài)進行標簽化處理，為后續(xù)模型分類識別做準備。

3.3" 焊接狀態(tài)分類

在焊接試驗過程中，將三種不同焊接狀態(tài)的聲音信號各提取10 s，并將所有的聲音信號進行降噪處理和轉(zhuǎn)換成小波時頻圖；再將小波時頻圖樣本集隨機按照8∶2的比例分成訓練集和測試集；最后在深度殘差網(wǎng)絡(luò)中進行訓練，訓練結(jié)果見圖10。訓練樣本經(jīng)過20輪迭代和180次訓練，得到最優(yōu)的損失和準確率，將測試集放入模型進行測試，得到其準確率為90.78%。結(jié)果表明，所提模型對三種焊接狀態(tài)下的聲音信號檢測效果較好。

4" 結(jié)" 論

本文搭建了管道全位置自動焊焊接試驗平臺，針對三種焊接狀態(tài)所產(chǎn)生的聲音信號，采用小波時頻圖直接作為焊接狀態(tài)識別的依據(jù)，建立了基于小波時頻圖和深度殘差網(wǎng)絡(luò)（ResNet18）模型，進行三種焊接狀態(tài)的聲音識別的實驗研究，并且驗證了該模型的有效性。測試集的驗證效果表明，該焊接狀態(tài)檢測方法可以為焊接過程中的在線質(zhì)量檢測提供一定參考。

參考文獻

[1] 譚棋.基于電弧聲信號的管道全位置焊接狀態(tài)監(jiān)測技術(shù)研究[D].襄陽：湖北文理學院，2023.

[2] 趙佳敏.基于電弧聲主觀評價與音色建模的焊縫熔透狀態(tài)識別[D].南昌：南昌航空大學，2021.

[3] 郭鵬，孫章龍，高繼民，等.基于共稀疏模型的MAG焊熔透狀態(tài)的識別[J].南昌大學學報（工科版），2018，40（4）：390?396.

[4] RAMESHKUMAR K， VIGNESH A， GOKULA C P， et al. Machine learning models for weld quality monitoring in shielded metal arc welding process using arc signature features [J]. SAE international journal of materials and manufacturing， 2022， 15（4）： 347?365.

[5] 張歡歡.基于聲音信號頻率特征的鋁合金脈沖GTAW熔透識別方法研究[D].上海：上海交通大學，2016.

[6] WANG Q S， GAO Y F， HUANG L R， et al. Weld bead penetration state recognition in GMAW process based on a central auditory perception model [J]. Measurement， 2019， 147： 106901.

[7] 李薇，白艷萍.基于MEEMD小波軟閾值函數(shù)的去噪方法[J].重慶理工大學學報（自然科學），2018，32（5）：189?198.

[8] 劉曉凰，李春英.基于EEMD分解和改進小波閾值降噪的齒輪故障診斷[J].機械管理開發(fā)，2018，33（4）：76?78.

[9] 陳凱.基于焊接參數(shù)及電弧聲音的薄板CMT搭接質(zhì)量監(jiān)測研究[D].上海：上海交通大學，2019.

[10] 呂娜.基于電弧聲信號的鋁合金脈沖GTAW熔透特征識別及其實時控制研究[D].上海：上海交通大學，2014.

[11] 向小民，汪杰，盧云.基于小波時頻圖和AlexNet網(wǎng)絡(luò)的電弧故障診斷方法[J].國外電子測量技術(shù)，2022，41（10）：170?177.

[12] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 770?778.

[13] 管淑賢，葛萬成.基于ResNet18的減速帶識別及其環(huán)境影響研究[J].通信技術(shù)，2021，54（3）：597?603.

[14] 單巍，董璇，龔佳佳，等.基于Resnet18網(wǎng)絡(luò)的紅外圖像行人危險動作識別[J].河北師范大學學報（自然科學版），2023，47（3）：245?250.

作者簡介：張亞文（1995—），男，新疆伊犁人，碩士研究生，主要研究方向為焊接自動化。

吳立斌（1967—），男，江蘇金壇人，高級工程師，主要研究方向為全位置管道焊接技術(shù)與工藝。