基于深度學(xué)習(xí)的GMAW 焊接缺陷在線監(jiān)測(cè)

徐東輝，孟范鵬，孫鵬，鄭旭宸，程永超，馬志，陳樹(shù)君

(1.中車青島四方車輛研究所有限公司,青島,266114；2.中車工業(yè)研究院有限公司,北京,100160；3.北京工業(yè)大學(xué),北京,100124)

0 序言

在軌道交通領(lǐng)域，國(guó)內(nèi)進(jìn)入了快速發(fā)展，經(jīng)歷了引進(jìn)、消化吸收、再創(chuàng)新階段，高速動(dòng)車鑄就了“金名片”，為持續(xù)保持國(guó)內(nèi)軌道交通在全球的領(lǐng)先優(yōu)勢(shì)，中國(guó)中車新一代軌道交通裝備CR450 和時(shí)速600 km/h 的磁懸浮列車的研制不僅要滿足高速快捷的需求，而且更需要安全可靠，其制造過(guò)程顯得尤其重要.焊接是高速動(dòng)車組車體結(jié)構(gòu)連接的主要方式，為了確保焊接質(zhì)量的提高，核心部件焊接性能的一致性，以及生產(chǎn)效率的提升，焊接過(guò)程中的智能傳感與控制變得日益重要，在自動(dòng)化和智能化焊接領(lǐng)域扮演著關(guān)鍵的角色，其中弧壓傳感[1-2]，視覺(jué)傳感，聲音傳感，超聲傳感，紅外線傳感，X 射線傳感以及多維信息傳感[3-9]等方法被廣泛應(yīng)用于焊接過(guò)程，能夠有效地監(jiān)測(cè)焊接缺陷，避免廢品廢件，保障產(chǎn)品質(zhì)量.

高速動(dòng)車組司機(jī)室鋁合金外板，對(duì)焊接質(zhì)量在線監(jiān)測(cè)和歷史數(shù)據(jù)可視化追溯等方面提出了更高的要求，為了更全面地監(jiān)測(cè)司機(jī)室鋁合金外板焊接中的焊縫質(zhì)量問(wèn)題，對(duì)焊接過(guò)程中遇到的缺陷進(jìn)行梳理、分析和歸納，具體包含：焊漏、未焊透、焊偏、氣孔、夾渣等問(wèn)題，將這些問(wèn)題劃分為熔透性、對(duì)中性以及設(shè)備異常3 個(gè)類別.針對(duì)焊接熔透性問(wèn)題，熔透狀態(tài)依據(jù)焊縫背面熔寬/熔深可分為未熔透、臨界熔透、全熔透和過(guò)熔透，其中全熔透狀態(tài)為生產(chǎn)制造過(guò)程中采用的工藝區(qū)間范圍，此時(shí)焊縫背面熔寬大于未熔透狀態(tài)，小于過(guò)熔透狀態(tài).為了保證焊接質(zhì)量的一致性，焊縫背面熔寬/熔深應(yīng)該保持在一定的區(qū)間范圍，如何有效且實(shí)時(shí)地監(jiān)測(cè)焊縫熔透狀態(tài)是目前遇到的一大難題；針對(duì)焊縫對(duì)中性問(wèn)題，由于裝配誤差以及工件變形等引起的焊槍與焊縫之間的偏差，如何有效且實(shí)時(shí)地識(shí)別焊偏是目前遇到的又一難題；在設(shè)備異常方面，由于保護(hù)氣堵塞或者保護(hù)氣不足引起的焊縫氣孔問(wèn)題，以及鋁合金試件待焊區(qū)表面氧化膜和油漬去除不充分引起的夾渣問(wèn)題，這些均是生產(chǎn)現(xiàn)場(chǎng)需要面臨解決的問(wèn)題.通過(guò)對(duì)焊接過(guò)程可傳感的信息進(jìn)行調(diào)研和分析，發(fā)現(xiàn)熔池圖像可有效映射熔池表面信息，國(guó)內(nèi)學(xué)者發(fā)現(xiàn)在一定條件下圖像表面特征可與熔透狀態(tài)、焊偏、氣孔以及夾渣等建立關(guān)聯(lián)，通過(guò)查閱國(guó)內(nèi)外文獻(xiàn)發(fā)現(xiàn)電弧聲音與熔透狀態(tài)、焊偏、氣孔等具有關(guān)聯(lián)性，焊接電流和電弧電壓作為焊接電源的輸出形式，在一定速度下可表征熱輸入，與焊接熔透狀態(tài)具有關(guān)聯(lián)性.以上調(diào)研發(fā)現(xiàn)，熔池圖像、電弧聲音、電流和電壓均與焊縫缺陷存在直接或間接的映射關(guān)系，如何更有效地提取和融合上述信息的特征，以建立與焊縫缺陷之間的關(guān)系，深度學(xué)習(xí)[10]的快速發(fā)展為實(shí)現(xiàn)這一目標(biāo)提供可能性.

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNNs)作為當(dāng)前非常受歡迎的深度學(xué)習(xí)模型之一，被廣泛地應(yīng)用于圖像分類及回歸、自然語(yǔ)言處理和信號(hào)分析等領(lǐng)域，其中典型的CNNs 模型為L(zhǎng)eNet，AlexNet，VGG-Nets，GoogLeNet 和ResNet[11-14]等，通過(guò)這幾年的迭代發(fā)展，具有強(qiáng)大的特征提取能力和識(shí)別能力.文中通過(guò)典型的鋁合金熔化極氣體保護(hù) 焊(gas metal arc welding，GMAW) 工 藝與深度學(xué)習(xí)的結(jié)合，依據(jù)采集信息構(gòu)建多維信息融合模型，對(duì)融合模型進(jìn)行迭代訓(xùn)練以及優(yōu)化，并驗(yàn)證融合模型的識(shí)別能力，解決焊縫缺陷在線監(jiān)測(cè)問(wèn)題，為焊接生產(chǎn)現(xiàn)場(chǎng)提供預(yù)警，保障產(chǎn)品質(zhì)量與安全.

1 試驗(yàn)平臺(tái)搭建

試驗(yàn)平臺(tái)由焊接系統(tǒng)、運(yùn)動(dòng)機(jī)構(gòu)和采集系統(tǒng)組成，如圖1 所示.其中焊接系統(tǒng)由福尼斯TPS500i數(shù)字化焊接電源、送絲機(jī)、清槍器、99.99%純氬保護(hù)氣和GMAW 焊槍等組成；運(yùn)動(dòng)機(jī)構(gòu)由KUKA 10R1420 六自由度工業(yè)機(jī)器人執(zhí)行；采集系統(tǒng)由Xiris XVC 1000 相機(jī)、660 nm 濾光片、聲望科技MPA201 傳聲器、霍爾傳感器、電壓傳感器和工控機(jī)等組成，可實(shí)現(xiàn)不同類型缺陷的焊接以及焊接過(guò)程相關(guān)信息的同步采集.由中車工業(yè)研究院有限公司與中車青島四方車輛研究所有限公司聯(lián)合設(shè)計(jì)和開(kāi)發(fā)的信息采集平臺(tái)界面如圖2 所示，信息采集平臺(tái)采集的信息分為4 類，分別為熔池正面圖像、電弧聲音、焊接電流和焊接電壓，此采集平臺(tái)可用于數(shù)據(jù)的在線顯示和歷史數(shù)據(jù)追溯，并對(duì)當(dāng)前焊接缺陷狀態(tài)進(jìn)行識(shí)別和預(yù)警.

圖1 焊接試驗(yàn)平臺(tái)Fig.1 Welding test platform

圖2 信號(hào)采集平臺(tái)界面Fig.2 Signal acquisition platform interface

2 數(shù)據(jù)采集與標(biāo)定

2.1 試驗(yàn)設(shè)計(jì)與數(shù)據(jù)采集

試驗(yàn)采用高速動(dòng)車司機(jī)室鋁合金外板材料，焊接試板如圖3 所示，材料型號(hào)為5083，試件長(zhǎng)寬尺寸為300 mm × 150 mm，厚度4 mm，坡口60°，無(wú)鈍邊，焊絲采用直徑為1.2 mm 的ER5356 鋁合金焊絲，焊接方式為對(duì)接，焊縫背面采用襯板，焊前待焊區(qū)域均進(jìn)行氧化膜清除處理以及油漬清洗處理.

圖3 焊接試板(mm)Fig.3 Welding test plate

依據(jù)生產(chǎn)現(xiàn)場(chǎng)工藝卡進(jìn)行焊接參數(shù)設(shè)計(jì)，其中焊接電流、焊接速度、保護(hù)氣流量、焊縫中心偏差量以及試件表面整潔度等參數(shù)見(jiàn)表1，試驗(yàn)設(shè)計(jì)過(guò)程采用交叉試驗(yàn)對(duì)多場(chǎng)景下的焊接缺陷問(wèn)題進(jìn)行復(fù)刻，使數(shù)據(jù)樣本更加豐富，提高后續(xù)訓(xùn)練模型的泛化能力.

表1 焊接參數(shù)Table 1 Welding parameters

試驗(yàn)復(fù)現(xiàn)的焊接質(zhì)量類別共8 種，其定義如下：未開(kāi)始(序號(hào)1)為未開(kāi)始的焊接狀態(tài)；正常(序號(hào)2) 為生產(chǎn)現(xiàn)場(chǎng)滿足產(chǎn)品要求的焊接狀態(tài)；焊偏(序號(hào)3)為焊槍偏離焊縫中心位置的焊接狀態(tài)；未焊透(序號(hào)4) 為焊接熱輸入過(guò)小或者由于焊接試樣散熱大，導(dǎo)致焊縫未能達(dá)到標(biāo)準(zhǔn)全熔透的焊接狀態(tài)；焊漏(序號(hào)5)為焊接熱輸入過(guò)大或者由于焊接試樣散熱小，導(dǎo)致焊縫超過(guò)標(biāo)準(zhǔn)全熔透的焊接狀態(tài)；氣孔(序號(hào)6)為保護(hù)氣不足而導(dǎo)致的焊縫出現(xiàn)氣孔的焊接狀態(tài)；夾渣(序號(hào)7)為焊接試樣表面未清理干凈而導(dǎo)致的焊縫夾渣狀態(tài)；未確定(序號(hào)8)為信息采集中不能夠人工區(qū)分具體類別的焊接狀態(tài).圖4 為8 種類別某一時(shí)刻的熔池正面圖像，可以看出不同狀態(tài)下熔池表面特征主要體現(xiàn)在熔池尺寸、形狀和圖像灰度等方面的差異，證明了采集圖像信息的有效性，圖5 為幾種類別在特定條件下的焊縫宏觀形貌.

圖4 8 種類別熔池正面圖像Fig.4 8 kinds of topside images of weld pool

圖5 焊縫宏觀形貌Fig.5 Schematic of the weld

2.2 數(shù)據(jù)預(yù)處理

試驗(yàn)中采集的焊接過(guò)程信號(hào)有熔池正面圖像、電流、電壓和聲音，像素大小為200 × 200，采集范圍能夠較為全面地覆蓋熔池和電弧部分，其中一幀圖像單獨(dú)作為一個(gè)數(shù)據(jù)包進(jìn)行發(fā)送、存儲(chǔ)和調(diào)取；電流、電壓和聲音分別單獨(dú)作為一個(gè)數(shù)據(jù)包，每個(gè)數(shù)據(jù)包包含1 000 個(gè)數(shù)據(jù)點(diǎn)；圖像的采樣頻率為10 Hz，電流、電壓和聲音采樣頻率均為10 000 Hz，即100 ms 可獲取4 個(gè)數(shù)據(jù)包，分別為圖像包、電流包、電壓包和聲音包.數(shù)據(jù)包采用Base64 進(jìn)行編碼并存儲(chǔ)到MySQL 數(shù)據(jù)庫(kù)，歷史查詢與分析階段，可以將編碼數(shù)據(jù)進(jìn)行解碼對(duì)數(shù)據(jù)進(jìn)行分析和識(shí)別；在在線識(shí)別階段，數(shù)據(jù)均被保存為神經(jīng)網(wǎng)絡(luò)能夠讀取的Numpy 格式，送入預(yù)先訓(xùn)練的模型進(jìn)行識(shí)別，輸出預(yù)測(cè)結(jié)果.

數(shù)據(jù)標(biāo)定質(zhì)量直接關(guān)系到模型的識(shí)別精度，依據(jù)專家經(jīng)驗(yàn)對(duì)數(shù)據(jù)對(duì)進(jìn)行標(biāo)定，確保數(shù)據(jù)與標(biāo)簽匹配的準(zhǔn)確性，人工標(biāo)定的標(biāo)簽與時(shí)序下對(duì)應(yīng)的4 個(gè)數(shù)據(jù)包組成數(shù)據(jù)對(duì)，大量數(shù)據(jù)對(duì)構(gòu)成數(shù)據(jù)集，數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.對(duì)于熔透性數(shù)據(jù)標(biāo)定方面，通過(guò)觀察熔池正面圖像和焊縫背面熔寬對(duì)數(shù)據(jù)對(duì)進(jìn)行一一標(biāo)定，為了符合生產(chǎn)需求，認(rèn)定焊縫背面熔寬w滿足w≥2.5 mm且w≤10 mm時(shí)，焊縫熔透滿足生產(chǎn)要求，即定義為正常熔透；焊縫背面熔寬w<2.5 mm 時(shí)，定義為未熔透；焊縫背面熔寬w>10 mm 時(shí)，定義為焊漏；2.5 mm 和10 mm 熔池背面熔寬值的選取是依據(jù)經(jīng)驗(yàn)及試樣橫截面測(cè)量試驗(yàn)；加上焊偏、氣孔、夾渣、未開(kāi)始以及未確定等標(biāo)注樣本，試驗(yàn)共獲取樣本84 820 對(duì)，其中訓(xùn)練集57 915 對(duì)，驗(yàn)證集12 755 對(duì)，測(cè)試集14 150 對(duì)，數(shù)據(jù)集具體分布情況見(jiàn)表2.

表2 數(shù)據(jù)集分布Table 2 Data set distribution

3 深度學(xué)習(xí)模型構(gòu)建

3.1 模型架構(gòu)設(shè)計(jì)

試驗(yàn)采用基于Pytorch 平臺(tái)設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)融合模型，對(duì)采集的信號(hào)進(jìn)行特征提取和識(shí)別，融合模型由4 個(gè)子神經(jīng)網(wǎng)絡(luò)組成，具體的神經(jīng)網(wǎng)絡(luò)架構(gòu)和各子神經(jīng)網(wǎng)絡(luò)參數(shù)如圖6 和圖7 所示.圖6 描述了4 個(gè)子網(wǎng)絡(luò)與輸入和輸出之間的關(guān)系，圖像、電流、電壓和聲音信號(hào)分別送入子神經(jīng)網(wǎng)絡(luò)Net_1，Net_2，Net_3 和Net_4 中進(jìn)行特征提取和識(shí)別，其中，Net_1 為18 層的殘差神經(jīng)網(wǎng)絡(luò)(ResNet18)，Net_2，Net_3 和Net_4 均為8 層的一維卷積神經(jīng)網(wǎng)絡(luò)，分別包含3 層卷積層、3 層池化層以及2 層全連接層.子神經(jīng)網(wǎng)絡(luò)輸出結(jié)果分別乘上權(quán)重系數(shù)W1，W2，W3和W4，再求和作為整個(gè)融合模型的輸出，經(jīng)過(guò)多次調(diào)試，其中W1=0.4，W2=0.2，W3=0.2和W4=0.2 時(shí)具有較好的效果，且W1+W2+W3+W4=1.圖7 為每個(gè)子神經(jīng)網(wǎng)絡(luò)的層數(shù)，數(shù)據(jù)流的尺寸變化以及每層網(wǎng)絡(luò)中參數(shù)的數(shù)量，模型最終輸出8 種類別的識(shí)別概率，以最高概率類別作為識(shí)別的結(jié)果.這種通過(guò)采集信號(hào)(圖像、電流、電壓和聲音)與焊縫質(zhì)量之間建立關(guān)聯(lián)的人工智能方法，不僅有效地解決了不同類型數(shù)據(jù)的提取問(wèn)題，而且智能地融合了不同類別的特征，對(duì)焊縫質(zhì)量進(jìn)行更精確的識(shí)別，從而提高了模型識(shí)別結(jié)果的精度和泛化能力.

圖6 設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)架構(gòu)Fig.6 Designed neural network architecture

圖7 各子神經(jīng)網(wǎng)絡(luò)層數(shù)及其參數(shù)Fig.7 The number of sub neural network layers and parameters

3.2 模型訓(xùn)練、測(cè)試與優(yōu)化

采用上述的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)采集的數(shù)據(jù)開(kāi)展訓(xùn)練，并通過(guò)調(diào)節(jié)超參數(shù)對(duì)模型進(jìn)行多次優(yōu)化，模型共進(jìn)行50 次迭代訓(xùn)練，訓(xùn)練中后期，模型精確度和損失值均趨于穩(wěn)定.在50 次迭代訓(xùn)練中，當(dāng)驗(yàn)證集精確度達(dá)到最高時(shí)，保存此時(shí)訓(xùn)練得到的模型，并把此次模型作為最優(yōu)模型，依據(jù)最優(yōu)模型開(kāi)展模型測(cè)試，訓(xùn)練結(jié)果表明，模型在24 次迭代訓(xùn)練獲得最優(yōu)模型.為了對(duì)比分析多維信息融合模型和單信息模型之間的優(yōu)劣，在融合模型訓(xùn)練過(guò)程中同時(shí)保存每個(gè)單信息的最優(yōu)模型，一次迭代訓(xùn)練完成后共獲得5 個(gè)最優(yōu)模型，分別為融合模型、圖像模型、電流模型、電壓模型和聲音模型.訓(xùn)練集結(jié)果見(jiàn)表3，融合模型和圖像模型均有較高的精確度，約為99%，其次是聲音模型，約為67.9%，電壓模型和電流模型的精確度均較低，約為34.3%.測(cè)試集結(jié)果表明，5 個(gè)最優(yōu)模型識(shí)別精確度分別為88.3%，87.5%，35.2%，35.4% 和62.9%，融合模型具有最高精確度，證明多維信息融合的有效性，能在一定程度上提高單信息模型的識(shí)別精度.

表3 各模型的精確度Table 3 The accuracy of each model

融合模型訓(xùn)練集、驗(yàn)證集以及測(cè)試集中由真實(shí)標(biāo)定標(biāo)簽和識(shí)別結(jié)果組成的混淆矩陣分別如圖8～圖10 所示，其表明8 種焊接質(zhì)量的識(shí)別結(jié)果均分布在對(duì)角線區(qū)域，每個(gè)類別均具有較高的識(shí)別精度，圖10 中未開(kāi)始、正常、焊偏、未焊透、焊漏、氣孔、夾渣以及未確定的識(shí)別精確度分別約為100%，85.2%，91.3%，88.7%，91.7%，92.8%，80.0%和63.3%.結(jié)果表明，依據(jù)焊接過(guò)程傳感信息，采用深度學(xué)習(xí)方法對(duì)焊接缺陷進(jìn)行識(shí)別的可行性和有效性.

圖8 訓(xùn)練集混淆矩陣Fig.8 Training set confusion matrix

圖9 驗(yàn)證集混淆矩陣Fig.9 Verification set confusion matrix

圖10 測(cè)試集混淆矩陣Fig.10 Testing set confusion matrix

4 結(jié)論

(1) 構(gòu)建的焊接過(guò)程采集與監(jiān)測(cè)系統(tǒng)，能夠?qū)缚p缺陷的關(guān)鍵信息進(jìn)行采集、傳輸和存儲(chǔ)，焊接過(guò)程中可以實(shí)時(shí)顯示各類信息的變化以及各缺陷類別的判別結(jié)果，焊后能夠?qū)v史數(shù)據(jù)進(jìn)行讀取和分析，系統(tǒng)采集的具體信息包含熔池正面圖像、焊接電流、焊接電壓以及電弧聲音.

(2) 依據(jù)數(shù)據(jù)類型設(shè)計(jì)的多維融合模型，能夠?qū)Ω黝悢?shù)據(jù)進(jìn)行特征提取與融合，有效地解決了不同維度數(shù)據(jù)融合難的問(wèn)題，并且能夠充分利用各數(shù)據(jù)的特征與焊縫缺陷建立關(guān)聯(lián).

(3) 通過(guò)多次迭代訓(xùn)練獲得的最優(yōu)深度學(xué)習(xí)模型，對(duì)文中8 種類別的綜合識(shí)別精度約為88.3%，且每一次識(shí)別中監(jiān)測(cè)系統(tǒng)運(yùn)行和模型響應(yīng)總時(shí)間不超過(guò)100 ms，在精確度和響應(yīng)速率方面能夠滿足工程化應(yīng)用需求.

(4)文中的焊接缺陷在線監(jiān)測(cè)系統(tǒng)，已在高速高鐵司機(jī)室鋁合金外板焊接過(guò)程中完成了相關(guān)功能測(cè)試，對(duì)焊接過(guò)程中焊縫質(zhì)量具有較好的監(jiān)測(cè)效果，目前正在進(jìn)行工程化應(yīng)用研究，并持續(xù)優(yōu)化模型與完善監(jiān)測(cè)系統(tǒng)，后續(xù)開(kāi)展進(jìn)一步推廣和應(yīng)用.