焊接缺陷識(shí)別中的多模態(tài)注意力方法

趙新玉， 馬小創(chuàng)， 李正光， 張佳瑩

(1.大連交通大學(xué) ，遼寧 大連 116028；2.大連外國(guó)語(yǔ)大學(xué),語(yǔ)言智能研究中心，遼寧 大連 116028)

0 前言

建立焊接過(guò)程參數(shù)與焊接缺陷之間的關(guān)聯(lián)對(duì)焊接產(chǎn)品質(zhì)量控制具有重要意義。自動(dòng)化和智能化焊接，需要焊接系統(tǒng)能夠依據(jù)焊接過(guò)程采集的參數(shù)來(lái)預(yù)測(cè)焊接質(zhì)量。

利用不同傳感器監(jiān)測(cè)焊接過(guò)程中的焊縫質(zhì)量具有重要意義[1-4]，利用不同傳感器的互補(bǔ)性，實(shí)現(xiàn)更全面可靠的焊接質(zhì)量監(jiān)測(cè)動(dòng)態(tài)過(guò)程，You等人[5]提出了一種基于SVM的方法，通過(guò)多傳感器來(lái)檢查激光焊接過(guò)程中的缺陷。Cui等人[6]建立了一種多傳感系統(tǒng)，獲得電弧聲、電弧電壓和焊接電流的信號(hào)，利用ECCOC SVM-GSCV模型，在TIG焊缺陷識(shí)別中獲得了較高的準(zhǔn)確率。Sumesh等人[7-8]研究了機(jī)器人GMAW過(guò)程中的焊接質(zhì)量使用決策樹(shù)，利用焊接電流、電弧電壓和聲學(xué)信號(hào)對(duì)缺陷進(jìn)行分類，由于大量的過(guò)程參數(shù)使過(guò)程更加復(fù)雜，因此在GWAM焊接中進(jìn)行的研究較少。孫明健等人[9]利用光學(xué)信號(hào)為主體、結(jié)合光學(xué)信號(hào)和超聲信號(hào)3種模態(tài)來(lái)分析金屬材料的缺陷，得到了缺陷的完整信息，獲得了精確可靠的檢測(cè)，該方法使用ANSYS有限元仿真軟件。胡文剛等人[10]提出融合超聲信號(hào)和圖像的焊接缺陷識(shí)別方法，該方法利用BP神經(jīng)網(wǎng)絡(luò)，通過(guò)對(duì)缺陷的回波信號(hào)特征與缺陷形態(tài)特征的數(shù)據(jù)融合，實(shí)現(xiàn)了焊縫缺陷識(shí)別，提高了焊接缺陷識(shí)別率。

焊接過(guò)程中的電壓、電流、聲音、熔池圖像信息，對(duì)于不同的焊接缺陷，其區(qū)分能力不同，因此文中將電壓、電流作為一種模態(tài)，聲音作為一種模態(tài)，圖像作為一種模態(tài)進(jìn)行焊接缺陷分類。SVM分類器大規(guī)模訓(xùn)練樣本，具有速度慢、費(fèi)時(shí)費(fèi)成本的缺點(diǎn)，而卷積神經(jīng)網(wǎng)絡(luò)是一種端對(duì)端檢測(cè)模型，具有移植性好和精度高的特點(diǎn)[11-12]，很多研究者利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像處理進(jìn)行處理，Bacioiu等人[13]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)HDR相機(jī)捕捉TIG焊焊接熔池和周圍區(qū)域單一模態(tài)進(jìn)行分類識(shí)別，具有較高的分類精度。文中其缺陷識(shí)別的主模態(tài)也是熔池圖像，因此利用3支卷積神經(jīng)網(wǎng)絡(luò)提取電流、電壓、聲音及熔池圖像的特征信息，并加入空間和通道注意力，以有效地提高焊接缺陷的檢測(cè)能力。

1 網(wǎng)絡(luò)結(jié)構(gòu)

該試驗(yàn)建立3個(gè)分支的卷積神經(jīng)網(wǎng)絡(luò)，分別對(duì)熔池圖像、聲音、電流和電壓進(jìn)行處理。最終網(wǎng)絡(luò)結(jié)構(gòu)的3支卷積神經(jīng)網(wǎng)絡(luò)安排如下，圖像采用10層卷積，5個(gè)池化層進(jìn)行處理，圖像卷積采用2D卷積進(jìn)行處理，激活函數(shù)為relu。聲音、電流與電壓都是采用8層卷積，一個(gè)池化層進(jìn)行處理，卷積采用的是1D卷積，激活函數(shù)為tanh。其模型結(jié)構(gòu)簡(jiǎn)圖如圖1所示，在3個(gè)分支神經(jīng)網(wǎng)絡(luò)提取到3個(gè)數(shù)據(jù)集特征之后，最后進(jìn)行特征拼接，經(jīng)過(guò)2個(gè)全連接層之后進(jìn)行預(yù)測(cè)分類。

圖1模型框架圖中，在卷積神經(jīng)網(wǎng)絡(luò)第2層后加入注意力機(jī)制，先經(jīng)過(guò)通道注意力機(jī)制，得到注意力圖Mc，經(jīng)過(guò)空間注意力機(jī)制，得到注意力圖Ms，送入第3層卷積中。

2 五折交叉驗(yàn)證與注意力機(jī)制

2.1 五折交叉驗(yàn)證

五折交叉驗(yàn)證用來(lái)測(cè)試模型的準(zhǔn)確性，驗(yàn)證在新數(shù)據(jù)上的預(yù)測(cè)能力。在一定程度上減小數(shù)據(jù)的過(guò)擬合情況，防止數(shù)據(jù)的浪費(fèi)應(yīng)用。訓(xùn)練集、驗(yàn)證集、測(cè)試集的數(shù)據(jù)分配如圖2所示。

圖2 五折交叉驗(yàn)證配比

按照?qǐng)D2把數(shù)據(jù)分為5次進(jìn)行訓(xùn)練、驗(yàn)證、測(cè)試，來(lái)驗(yàn)證模型的穩(wěn)定性及分類結(jié)果受數(shù)據(jù)的影響程度。

2.2 注意力機(jī)制

近年來(lái)，基于注意力的深度學(xué)習(xí)模型對(duì)圖像識(shí)別、分類的問(wèn)題有著良好的處理效果[14]，在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用。深度學(xué)習(xí)過(guò)程中的注意力模塊模仿了人類對(duì)事物的注意力，會(huì)優(yōu)先提取圖片的特征信息。該試驗(yàn)的注意力機(jī)制CBAM(Convolutional block attention module)，其包含2個(gè)網(wǎng)絡(luò)模塊：空間注意力機(jī)制(Spital attention)和通道注意力機(jī)制(Channel attention)[15]，這2個(gè)注意力模塊可以加入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。CBAM 結(jié)構(gòu)如圖3所示，從圖中清楚地看到通道注意力機(jī)制和空間注意力機(jī)制是單獨(dú)存在的，結(jié)構(gòu)相對(duì)簡(jiǎn)單，網(wǎng)絡(luò)中加入CBAM 模塊，網(wǎng)絡(luò)結(jié)構(gòu)在空間和通道做了微小的調(diào)整，并不影響網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜程度。

圖3 卷積模塊的注意力機(jī)制模塊

圖4表示的是通道注意力模塊的簡(jiǎn)圖，輸入一個(gè)特征圖F，經(jīng)過(guò)一次最大池化操作和一次平均池化操作，再通過(guò)一個(gè)多層感知器把這2個(gè)結(jié)果連接在一起，它們的通道數(shù)都是一樣的。使用激活函數(shù)上述過(guò)程進(jìn)行處理，得到通道層面的注意力特征圖Mc，將通道注意力結(jié)果特征圖和輸入特征圖做乘法操作，得到最后微調(diào)后的特征圖。用式(1)表示：

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))

(1)

式中：σ表示Sigmoid函數(shù)；MLP表示多層感知器；AvgPool表示全局平均池化；MaxPool表示全局最大池化。

圖4 通道注意力模塊

在圖5中可以看出，空間注意力模塊的簡(jiǎn)圖，它是在前一個(gè)通道注意力的結(jié)果作為輸入，再次經(jīng)過(guò)最大池化和平均池化，將其結(jié)果送入卷積層。此卷積層卷積核大小為 7 × 7、步長(zhǎng)為 3，最后進(jìn)入Sigmoid激活函數(shù)輸出。將空間注意力模塊的輸出結(jié)果與在通道注意力機(jī)制的輸入的特征圖對(duì)應(yīng)相乘，生成新的特征，將其記為Ms，用式(2)表示：

Ms(F)=σ(f7×7([AvgPool(F);Max(F)]))

(2)

式中：σ表示 Sigmoid 函數(shù)；f7×7表示卷積核大小為 7 ×7 的卷積操作；AvgPool表示全局平均池化；MaxPool 表示全局最大池化。

圖5 空間注意力模塊

3 數(shù)據(jù)處理

3.1 數(shù)據(jù)對(duì)齊

電流、電壓與聲音數(shù)據(jù)集都是采用數(shù)組方式進(jìn)行存儲(chǔ)，每個(gè)時(shí)刻的電流、電壓與聲音信號(hào)都是一定維度的數(shù)組。

由于各個(gè)傳感器的頻率不同，因此在采集到的電流、電壓、聲音、與圖像數(shù)據(jù)并非一一對(duì)應(yīng)，只是在各自的模態(tài)上起到相應(yīng)的作用，為了使數(shù)據(jù)在時(shí)間維度上對(duì)齊，方便各個(gè)模態(tài)之間進(jìn)行信息交互，需要對(duì)數(shù)據(jù)進(jìn)行補(bǔ)齊處理，其方法如下：

假設(shè)電流、電壓與聲音在一個(gè)焊縫號(hào)有5條數(shù)據(jù)，而對(duì)應(yīng)此焊縫圖像有11條數(shù)據(jù)，圖像數(shù)據(jù)個(gè)數(shù)大于電流、電壓與聲音的個(gè)數(shù)，具體處理方法見(jiàn)表1。在T0，T3，T5，T7，T105個(gè)時(shí)刻，電流、電壓和聲音與圖像都有對(duì)應(yīng)的數(shù)據(jù)，電流、電壓為T0VOC，T3VOC，T5VOC，T7VOC，T10VOC，聲音為T0S，T3S，T5S，T7S，T10S，而此時(shí)圖像在每個(gè)時(shí)刻都有信息，因此為了一一對(duì)應(yīng)便引出了該對(duì)齊方式，在T1時(shí)刻時(shí)，計(jì)算T1-T0和T2-T1的差值，如果T1-T0較小，則在T1時(shí)刻補(bǔ)充T0時(shí)刻的數(shù)據(jù)，反之補(bǔ)充T2時(shí)刻數(shù)據(jù)，以此類推，把每個(gè)缺少時(shí)刻都進(jìn)行補(bǔ)充，最后電流、電壓、聲音、圖像數(shù)據(jù)一一對(duì)應(yīng)。

表1 數(shù)據(jù)對(duì)齊方式

3.2 數(shù)據(jù)維度對(duì)齊

在電流、電壓與聲音數(shù)據(jù)集中，每組數(shù)據(jù)的特征信息的數(shù)據(jù)長(zhǎng)度不等，因此要對(duì)數(shù)據(jù)進(jìn)行處理。綜合考慮各方面的因素，包括計(jì)算機(jī)的性能和數(shù)據(jù)普遍的長(zhǎng)度，以2 500個(gè)點(diǎn)的脈沖信息的數(shù)據(jù)長(zhǎng)度作為標(biāo)準(zhǔn)，大于2 500個(gè)點(diǎn)的數(shù)據(jù)脈沖選取前2 500，小于2 500個(gè)點(diǎn)的數(shù)據(jù)脈沖的數(shù)據(jù)，用零進(jìn)行補(bǔ)充。

3.3 數(shù)據(jù)標(biāo)簽標(biāo)注

在原始數(shù)據(jù)中，每條數(shù)據(jù)對(duì)應(yīng)一個(gè)標(biāo)簽，由于在焊接過(guò)程中存在2個(gè)過(guò)程，即焊接準(zhǔn)備階段和焊接結(jié)束階段，這2個(gè)階段為正常，對(duì)其他數(shù)據(jù)，錯(cuò)邊為0，未焊為1，咬邊為2，氣孔為3，正常為4，擺動(dòng)為5，焊漏為6，夾渣為7，卡絲為8，焊偏為9，未熔為10。

4 試驗(yàn)和結(jié)果分析

4.1 試驗(yàn)數(shù)據(jù)

該試驗(yàn)采用的圖像、電流/電壓、聲音4種模態(tài)信息，是一個(gè)高級(jí)焊工通過(guò)調(diào)節(jié)焊接位置、焊接電流、電弧電壓、是否送保護(hù)氣模擬出十種焊接缺陷，通過(guò)4個(gè)傳感器獲得4種模態(tài)信息。試驗(yàn)數(shù)據(jù)包括6 166條聲音數(shù)據(jù)，6 166條電流/電壓數(shù)據(jù)，以及9 233條圖像數(shù)據(jù)，有11種標(biāo)簽，隨機(jī)打亂后，60%共5 540條數(shù)據(jù)作為訓(xùn)練集，20%共1 846條數(shù)據(jù)作為驗(yàn)證集，20%共1 846條數(shù)據(jù)作為測(cè)試集。

4.2 試驗(yàn)環(huán)境與設(shè)置

試驗(yàn)環(huán)境見(jiàn)表2。利用Adam優(yōu)化器進(jìn)行模型優(yōu)化，初始學(xué)習(xí)率設(shè)置為1×10-4，迭代次數(shù)為100個(gè)epoch，數(shù)據(jù)批量處理大小batchsize為32，dropout_rate為0.5，使用softmax進(jìn)行分類。

表2 試驗(yàn)環(huán)境

4.3 分類評(píng)價(jià)指標(biāo)

準(zhǔn)確率(Precision，P)和召回率(Recall，R)是信息檢索和統(tǒng)計(jì)學(xué)分類領(lǐng)域的兩個(gè)度量值，用于評(píng)價(jià)模型的性能[16]。有時(shí)候需要綜合評(píng)估模型的性能，最常用的方法就是F-Measure(又稱為F-Score)。計(jì)算公式如下:

(3)

(4)

(5)

式中：TP預(yù)測(cè)為正例實(shí)際為正例的數(shù)量；FP預(yù)測(cè)為正例實(shí)際為負(fù)例的數(shù)量；TN預(yù)測(cè)為負(fù)例實(shí)際為負(fù)例的數(shù)量；FN預(yù)測(cè)為負(fù)例實(shí)際為正例的數(shù)量。

4.4 試驗(yàn)結(jié)果與分析

4.4.1加入注意力機(jī)制之后圖片增強(qiáng)比較

把雙通道注意力機(jī)制加入圖像卷積神經(jīng)網(wǎng)絡(luò)中，增強(qiáng)圖片的特征信息，圖6為注意力機(jī)制增強(qiáng)前后的圖片信息，圖像是焊接過(guò)程中的熔池圖片。圖6注意力機(jī)制加入前后對(duì)比圖，該圖像是通過(guò)模型可視化得到，通過(guò)模型對(duì)圖像進(jìn)行復(fù)現(xiàn)，可以清楚地看到圖像增強(qiáng)的區(qū)域，注意力機(jī)制有助于模型重點(diǎn)關(guān)注到焊接熔池，使得焊接熔池的輪廓更清晰，從而提高模型的缺陷識(shí)別能力。

圖6 注意力機(jī)制前后對(duì)比圖

4.4.2注意力機(jī)制加入2層后與加入10層后的結(jié)果比較

把空間注意力機(jī)制和通道注意力機(jī)制加入到圖像神經(jīng)網(wǎng)絡(luò)中，通過(guò)多次試驗(yàn)，可以看出把注意力機(jī)制放到神經(jīng)網(wǎng)絡(luò)的前端效果更好，表3是注意力機(jī)制加入神經(jīng)網(wǎng)絡(luò)的第2層后和加入到第10層后的結(jié)果對(duì)比。從表3可以清楚地看到，把注意力機(jī)制加入到神經(jīng)網(wǎng)絡(luò)的2層后相對(duì)于加入到10層后F值有著明顯的提高，說(shuō)明注意力機(jī)制加在神經(jīng)網(wǎng)絡(luò)的前端有著明顯的增強(qiáng)效果。該結(jié)果表明，注意力機(jī)制在圖像處理中應(yīng)該加在初始網(wǎng)絡(luò)層，也符合人類的認(rèn)知習(xí)慣，對(duì)于圖像人類大腦是一種表層認(rèn)知，與抽象的語(yǔ)言認(rèn)知不同[17]。

4.4.3加入注意力機(jī)制與不加注意力機(jī)制結(jié)果分析

把注意力機(jī)制加入到圖像卷積神經(jīng)網(wǎng)絡(luò)的第2層卷積后與不加注意力機(jī)制的結(jié)果對(duì)比見(jiàn)表4。從表4中可以看到，把雙通道注意力機(jī)制加入圖像卷積神經(jīng)網(wǎng)絡(luò)的第2層后與不加入注意力機(jī)制結(jié)果對(duì)比可以看出，R值在加入注意力機(jī)制之后得到很大程度的提升，識(shí)別率增加了0.2%以上，均方差相對(duì)于不加注意力機(jī)制偏小，說(shuō)明數(shù)據(jù)更偏于穩(wěn)定。從F值的角度看，在加入注意力機(jī)制的情況下，咬邊、氣孔、正常、焊漏、夾渣、卡絲的識(shí)別效果高于不加注意力機(jī)制，有了明顯的增強(qiáng)效果，均方差波動(dòng)較小，說(shuō)明受數(shù)據(jù)影響較小。錯(cuò)邊、擺動(dòng)、焊偏、未熔的識(shí)別效果并沒(méi)有增加，是因?yàn)槿鄢靥卣鞑幻黠@，導(dǎo)致數(shù)據(jù)特征信息增強(qiáng)的不明顯。

表3 注意力機(jī)制加入神經(jīng)網(wǎng)絡(luò)的結(jié)果對(duì)比

表4 加入注意力機(jī)制前后結(jié)果對(duì)比

5 結(jié)論

(1)利用3支卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)焊接熔池圖片、聲音、電流和電壓進(jìn)行信息提取，融合識(shí)別。

(2)利用五折交叉驗(yàn)證的方式來(lái)驗(yàn)證此模型的穩(wěn)定性，結(jié)果顯示，缺陷識(shí)別的F值大多在92.6%以上，根據(jù)均方差說(shuō)明數(shù)據(jù)識(shí)別穩(wěn)定。

(3)驗(yàn)證了雙通道注意力機(jī)制嵌入卷積神經(jīng)網(wǎng)絡(luò)的淺層效果優(yōu)于深層。

(4)在圖像卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制，增強(qiáng)焊接熔池圖片信息，F(xiàn)值得到明顯提升。

(5)4種模態(tài)信息可利用4個(gè)傳感器獲取信息，為以后的實(shí)時(shí)檢測(cè)焊接缺陷提供了思路。