融合空間和通道特征的等離子弧焊熔池熔透狀態(tài)預(yù)測方法

陳宸，周方正，李成龍，劉新鋒，賈傳寶，徐瑤

(1.山東建筑大學(xué),濟(jì)南,250101；2.山東大學(xué),濟(jì)南,250100)

0 序言

隨著國內(nèi)制造強(qiáng)國戰(zhàn)略任務(wù)的提出，信息技術(shù)與制造技術(shù)正在加速融合，智能制造逐漸成為一種新型的生產(chǎn)方式[1].焊接技術(shù)作為一種傳統(tǒng)的材料加工連接技術(shù)，追求高質(zhì)量、高效率、高精度的發(fā)展前景，特別是在船舶、航天設(shè)備、橋梁等大型復(fù)雜結(jié)構(gòu)的制造過程中，對中厚板焊接技術(shù)提出越來越高的要求.等離子弧具備能量密度高、電弧挺度大、等離子流力強(qiáng)的特點(diǎn)[2]，對應(yīng)開發(fā)的穿孔等離子弧焊設(shè)備具有良好的工藝性能，接頭內(nèi)部缺陷率低、焊件變形小[3-4].等離子弧焊技術(shù)可以克服傳統(tǒng)焊接技術(shù)工藝復(fù)雜、效率低下等缺點(diǎn)，提高焊接質(zhì)量和生產(chǎn)效率，在現(xiàn)代工業(yè)生產(chǎn)中具有極大的應(yīng)用潛力.

穿孔等離子弧焊過程中，熔池前部在持續(xù)的等離子弧作用下會形成一個貫穿工件的小孔.小孔的狀態(tài)，也稱熔池熔透狀態(tài)，決定了工件是否完全熔透，是影響焊接過程穩(wěn)定性和焊接接頭質(zhì)量的重要因素.在實(shí)際焊接過程中穩(wěn)定穿孔焊接的規(guī)范參數(shù)范圍窄，容易造成間斷性的熔透、未穿孔等質(zhì)量缺陷問題，限制了等離子弧焊技術(shù)在工業(yè)領(lǐng)域的廣泛應(yīng)用[5].因此等離子弧焊熔池熔透狀態(tài)的準(zhǔn)確檢測成為一個亟待解決的問題.在實(shí)際焊接過程中，焊接工作者采用工業(yè)相機(jī)獲取熔池圖像，提取熔池尺度等幾何特征信息，并根據(jù)這些特征信息判斷熔池熔透狀態(tài)，但這種方式容易忽略電弧狀態(tài)、熔池灰度等隱含特征信息，導(dǎo)致判斷結(jié)果不準(zhǔn)確.而深度學(xué)習(xí)算法[6]在圖像特征提取和識別領(lǐng)域中表現(xiàn)效果優(yōu)異，為熔池熔透狀態(tài)預(yù)測提供了新的思路.

近年來，卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural network,CNN) 在傳統(tǒng)的焊接熔池圖像處理領(lǐng)域取得了重大進(jìn)展.覃科等人[7]為了通過熔池圖像對焊接狀態(tài)進(jìn)行判斷，提出了一種CO2氣體保護(hù)焊熔池狀態(tài)識別卷積神經(jīng)網(wǎng)絡(luò).使用預(yù)處理的熔池圖像作為網(wǎng)絡(luò)輸入，從而避免了人工提取圖像特征的主觀性產(chǎn)生的不良影響，同時使用RELU 激活函數(shù)、隨機(jī)Dropout 及SVM 分類器，降低了樣本集稀少可能出現(xiàn)的網(wǎng)絡(luò)過擬合現(xiàn)象.雖然此網(wǎng)絡(luò)在識別速度和識別率方面取得了優(yōu)良的性能表現(xiàn)，但它只能建立熔池特征參數(shù)與熔透狀態(tài)的關(guān)系，預(yù)測僅僅依靠熔池圖像的邊緣信息并不能充分利用熔池內(nèi)部包含的豐富信息.李海超等人[8]針對建立熔池與熔透狀態(tài)的關(guān)系問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的鎢極氣體保護(hù)焊(gas tungsten arc welding,GTAW)背面熔透預(yù)測模型，建立了熔池邊緣，反光點(diǎn)位置和熔池尾部等特征與背面熔透情況的關(guān)系，具有良好的預(yù)測效果.Li 等人[9]為了支持控制焊接接頭在工業(yè)生產(chǎn)線上的應(yīng)用，提出了一種基于CNN 的焊縫熔透狀態(tài)識別方法.使用一種先進(jìn)的熔池傳感系統(tǒng)來同時捕捉反射的點(diǎn)結(jié)構(gòu)激光圖案和相應(yīng)的焊縫背面圖像，達(dá)到較好的識別精度.

基于CNN 在傳統(tǒng)焊接工藝熔池圖像處理上取得的優(yōu)良效果，展現(xiàn)了CNN 對等離子弧焊熔池圖像處理的優(yōu)良前景.劉新鋒[10]基于在ImageNet 數(shù)據(jù)集上預(yù)訓(xùn)練的AlexNet 網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)，建立深度學(xué)習(xí)訓(xùn)練模型，得到正面熔池圖像特征與熔池熔透狀態(tài)的內(nèi)在關(guān)聯(lián)，實(shí)現(xiàn)了熔池熔透狀態(tài)的準(zhǔn)確預(yù)測，模型精度達(dá)90%以上，為等離子弧焊提供了一個有前景的檢測方式.

盡管深度學(xué)習(xí)模型在傳統(tǒng)焊接工藝方式下的熔池圖像分類任務(wù)中具備良好表現(xiàn)，但由于等離子弧焊方式下的正面熔池圖像電弧干擾更大、圖像細(xì)節(jié)更多、不同熔池熔透狀態(tài)下的圖像區(qū)分度更小，導(dǎo)致結(jié)構(gòu)簡單的CNN 網(wǎng)絡(luò)難以實(shí)現(xiàn)更高精度的熔透狀態(tài)分類效果.因此為了滿足等離子弧焊實(shí)際工業(yè)應(yīng)用需求，熔透狀態(tài)的分類準(zhǔn)確率仍需要進(jìn)一步提升，基于殘差激勵網(wǎng)絡(luò)的設(shè)計(jì)思想，改進(jìn)ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)，同時提取熔池圖像的空間特征信息和通道特征信息，提出了一種融合圖像空間特征信息和通道特征信息的等離子弧焊熔池熔透狀態(tài)預(yù)測模型PCSCNet，并且使用數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)的方法來處理數(shù)據(jù)集，在等離子弧焊正面熔池圖像數(shù)據(jù)集上進(jìn)行模型訓(xùn)練和測試，實(shí)現(xiàn)等離子弧焊熔池熔透狀態(tài)高精度、高可靠性的預(yù)測.

1 數(shù)據(jù)集獲取與預(yù)處理

1.1 數(shù)據(jù)采集與數(shù)據(jù)集建設(shè)

試驗(yàn)所用的等離子弧視覺檢測平臺示意圖如圖1 所示，由等離子弧焊系統(tǒng)和側(cè)向視覺檢測系統(tǒng)兩部分組成.

圖1 等離子弧視覺檢測平臺示意圖Fig.1 Diagram of plasma arc visual detection platform

等離子弧焊時采用等離子弧焊系統(tǒng)進(jìn)行不同參數(shù)條件下的焊接試驗(yàn)，在焊接試驗(yàn)時采用側(cè)向視覺檢測系統(tǒng)同步采集實(shí)時圖像.等離子弧焊系統(tǒng)主要包括等離子弧焊機(jī)、電源、冷卻水箱、氣瓶等；側(cè)向視覺檢測系統(tǒng)主要包括工業(yè)CCD 攝像機(jī)、圖像采集卡、濾光片以及圖像處理程序.

側(cè)向視覺檢測系統(tǒng)中兩臺工業(yè)CCD 攝像機(jī)分別捕獲正面焊接熔池和熔孔出口圖像.其中CCD1 垂直于焊縫的側(cè)面，用于拍攝完整、清晰的正面熔池圖像，CCD2 從工件背面同步監(jiān)控熔孔出口.兩臺工業(yè)CCD 攝像機(jī)同時工作，以30 幀/s 的幀速率和640 像素 × 320 像素的分辨率捕獲圖像.對厚度為6 mm 的不銹鋼板焊接過程進(jìn)行拍攝，采集卡同時采集兩臺工業(yè)CCD 攝像機(jī)拍攝到的熔池圖片.

該試驗(yàn)設(shè)計(jì)開展 16 組恒流等離子弧焊工藝試驗(yàn)，試驗(yàn)時采用 6 mm 厚度的不銹鋼板進(jìn)行焊接，采用側(cè)向視覺檢測系統(tǒng)捕捉清晰的正面熔池圖像，背面熔孔 CCD 檢測傳感裝置，獲取熔池熔透狀態(tài)及制備圖像標(biāo)簽.其中，分別設(shè)計(jì)逐漸增大焊接電流、焊接速度、等離子氣體流速和電弧電壓的試驗(yàn)，以獲取不同焊接工藝參數(shù)下熔池圖像數(shù)據(jù).16 組試驗(yàn)參數(shù)如表1 所示.

表1 焊接工藝參數(shù)Table 1 Welding paraments

試驗(yàn)采集共10 176 對圖像，其中每組試驗(yàn)中大約采集600～ 700 對圖像.每對圖像包括一個正面熔池圖像和一個背部小孔出口圖像，組成該試驗(yàn)的數(shù)據(jù)集，并按照3∶1∶1 的比例分配訓(xùn)練集、驗(yàn)證集和測試集，試驗(yàn)數(shù)據(jù)分布情況如表2 所示.

表2 數(shù)據(jù)集中樣本數(shù)量Table 2 Sample quantity in data set 個

1.2 數(shù)據(jù)預(yù)處理與數(shù)據(jù)增強(qiáng)

在構(gòu)建數(shù)據(jù)集的過程中，預(yù)處理是去除圖像噪音的關(guān)鍵步驟，同時對圖像數(shù)據(jù)進(jìn)行預(yù)處理可以簡化數(shù)據(jù)，提高網(wǎng)絡(luò)模型的訓(xùn)練速度，從而提升圖像特征提取和識別的可靠性.工業(yè)CCD 攝像機(jī)采集圖像的原始像素值是640 像素 × 320 像素.而根據(jù)實(shí)際觀察熔池和電弧區(qū)域集中于上部圖像的中心，因此為了減少熔池圖像信息中的無用干擾，把原始圖像根據(jù)目標(biāo)區(qū)域進(jìn)行裁剪形成371 像素 × 320 像素.同時為了適應(yīng)網(wǎng)絡(luò)模型的輸入形式，在實(shí)際輸入時將圖像大小調(diào)整成224 像素 × 224 像素.相比于大型數(shù)據(jù)，試驗(yàn)數(shù)據(jù)集10 176 對圖像的數(shù)據(jù)集容量相對較小.而數(shù)據(jù)量過小通常會使CNN 在訓(xùn)練過程中出現(xiàn)過擬合問題，因此為了獲得更高的準(zhǔn)確率，使用數(shù)據(jù)增強(qiáng)的方法對原始數(shù)據(jù)集進(jìn)行擴(kuò)充，例如縮放、翻轉(zhuǎn)、旋轉(zhuǎn)、放大以及亮度變化等，從而增加樣本數(shù)量.如圖2 所示.然后使用特征歸一化將特征的數(shù)值縮放到一個度量相同的區(qū)間內(nèi)，消除特征之間的量綱，避免某一特征對整體數(shù)據(jù)起到?jīng)Q定性的作用.并且采用線性函數(shù)歸一化的方式，將數(shù)據(jù)映射到(0,1)區(qū)間內(nèi)，從而達(dá)到消除量綱的目的.函數(shù)歸一化方式為

圖2 數(shù)據(jù)增強(qiáng)圖樣例Fig.2 Sample diagram of data enhancement

式中：Xnorm為函數(shù)歸一化值；X為原始數(shù)據(jù)；Xmin為最小值；Xmax為最大值.特征歸一化讓基于梯度優(yōu)化方法的神經(jīng)網(wǎng)絡(luò)求解更快，各個參數(shù)的更新速度一致，從而避免更新路徑呈現(xiàn)Z 字型，同時也避免了某些數(shù)值過大或過小導(dǎo)致的計(jì)算問題，對各個數(shù)據(jù)之間的重要性進(jìn)行平均，避免某些特征因量綱太小而被其它特征淹沒.

2 網(wǎng)絡(luò)模型

2.1 骨干網(wǎng)絡(luò)選型

CNN 是以卷積算子為基礎(chǔ)搭建的神經(jīng)網(wǎng)絡(luò)，是目前計(jì)算機(jī)視覺應(yīng)用領(lǐng)域代表性最強(qiáng)、應(yīng)用最廣的算法之一[11].CNN 主要的優(yōu)點(diǎn)是可以模擬人的視覺，以一個較小的感受野從局部提取圖像的抽象特征，經(jīng)過網(wǎng)絡(luò)連續(xù)的學(xué)習(xí)實(shí)現(xiàn)圖像分類任務(wù).CNN 基本結(jié)構(gòu)一般由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成，卷積層和池化層交替設(shè)置，之后將提取的特征圖進(jìn)行展平處理后形成一維的特征向量輸入全連接層，經(jīng)過輸出層輸出結(jié)果.圖3為一個簡單的CNN 模型結(jié)構(gòu).

圖3 CNN 結(jié)構(gòu)示意圖Fig.3 CNN structure diagram

在計(jì)算機(jī)視覺圖像分類預(yù)測任務(wù)中模型性能是評價模型是否適合實(shí)際生產(chǎn)應(yīng)用需求的重要指標(biāo)，而提升網(wǎng)絡(luò)性能的一個主要方法是增加網(wǎng)絡(luò)深度，但網(wǎng)絡(luò)層數(shù)的盲目加深極容易導(dǎo)致網(wǎng)絡(luò)在反向傳播的時候出現(xiàn)梯度消失或梯度爆炸的現(xiàn)象.He 等人[12]提出的ResNet 證明了深度學(xué)習(xí)網(wǎng)絡(luò)能夠繼續(xù)增加網(wǎng)絡(luò)層數(shù)，而且殘差塊結(jié)構(gòu)的提出有效緩解了深層網(wǎng)絡(luò)梯度的問題.殘差塊單元結(jié)構(gòu)如圖4 所示.

圖4 殘差塊單元結(jié)構(gòu)Fig.4 Residual block element structure

ResNet50 首先經(jīng)過一個卷積層和池化層，然后經(jīng)過4 個殘差塊，得到圖像的特征后輸入到全連接層中進(jìn)行預(yù)測分類.ResNet 延續(xù)了深度卷積神經(jīng)網(wǎng)絡(luò)(visual geometry group network,VGGNet)中使用小卷積核堆疊擴(kuò)大感受野的思想，網(wǎng)絡(luò)結(jié)構(gòu)主要使用3 × 3 的小卷積核進(jìn)行搭建.

在殘差塊中首先經(jīng)過不會改變特征圖形狀的卷積，再經(jīng)過一個批量歸一化層后，使用RELU 函數(shù)進(jìn)行激活，該條線路可以被稱為主線路.殘差塊中的“捷徑”是將輸入數(shù)據(jù)X跳過這兩個卷積層與主線路的輸出進(jìn)行元素級相加，之后再經(jīng)過一次RELU 激活得到輸出數(shù)據(jù)，“捷徑”讓數(shù)據(jù)能夠更快地傳播并緩解了梯度消失等問題的發(fā)生.基于以上殘差網(wǎng)絡(luò)的特性，選用ResNet50 作為模型的骨干網(wǎng)絡(luò).由于等離子弧焊過程中產(chǎn)生的弧光會導(dǎo)致熔池圖像特征的淹沒，干擾模型空間特征的提取.并且在等離子弧焊的工業(yè)生產(chǎn)過程中需要同時考慮預(yù)測精度和預(yù)測速度的實(shí)際問題.需要對骨干網(wǎng)絡(luò)進(jìn)行改進(jìn)，以滿足熔池圖像檢測的需要.

2.2 通道特征提取模塊

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的卷積變換，是將各個通道的卷積結(jié)果進(jìn)行求和之后進(jìn)行輸出，即

式中：U為該層最終的輸出矩陣，U∈RH×W×C；X為對應(yīng)層輸入特征矩陣，X∈RH′×W′×C′；F為由X轉(zhuǎn)為U的卷積操作；為一個卷積核，用于學(xué)習(xí)特征空間關(guān)系，但傳統(tǒng)卷積計(jì)算是對各個通道的卷積結(jié)果直接進(jìn)行相加，通道特征關(guān)系與卷積核學(xué)習(xí)到的空間特征關(guān)系結(jié)合在一起.這種傳統(tǒng)卷積計(jì)算中的卷積操作只是實(shí)現(xiàn)對圖像空間上的特征融合，沒有考慮到不同通道間的特征融合，由于每個通道的重要程度不同，通道特征也是極為關(guān)鍵的分類特征.

為了優(yōu)化傳統(tǒng)卷積忽略特征圖通道信息的問題，Hu 等人[13]提出了一種壓縮和激勵網(wǎng)絡(luò)(squeeze and excitation network，SENet)，其主要模塊壓縮-激勵(squeeze and excitation，SE)模塊結(jié)構(gòu)如圖5 所示，能夠在保持原通道數(shù)并且不引入新的特征維度的情況下，充分利用特征通道間的關(guān)系，并利用反向傳播學(xué)習(xí)每個特征通道的權(quán)重系數(shù)，該權(quán)重系數(shù)代表著該通道的重要程度，不同重要程度的通道配置不同的權(quán)重，最后按照權(quán)重大小去提升對分類重要的特征，抑制對分類無用的特征，以此來提升網(wǎng)絡(luò)分類性能.

圖5 SE 模塊的總體結(jié)構(gòu)Fig.5 Overall structure of SE module

首先是壓縮操作，為了使網(wǎng)絡(luò)模型學(xué)習(xí)特征通道的信息，將得到的特征圖U沿空間維度的方向進(jìn)行特征壓縮，將每個特征通道都壓縮成一個實(shí)數(shù)，從而利用這個實(shí)數(shù)來代表所對應(yīng)的特征通道的全局分布.因此特征圖U中的C個特征通道的特征圖變成了1 ×1×C的特征圖，壓縮操作輸出的實(shí)數(shù)數(shù)量與輸入的特征通道數(shù)量相同.該操作即為圖5 中的Fsq().

式中：Z為壓縮操作后的結(jié)果；W，H為輸入特征圖的尺寸；C為輸入特征圖的通道數(shù)；uc(i,j)則代表輸入特征圖第C個通道中第i行第j列的值.

通過壓縮操作得到了全局描述特征，接下來為了學(xué)習(xí)通道之間的非線性關(guān)系，從而降低模型復(fù)雜度以及提升模型的泛化能力，SENet 提出了激勵操作，通過引入一個參數(shù)Wt來為每個特征通道生成相應(yīng)權(quán)重，權(quán)重的不同代表著特征通道的重要程度的不同，即圖5 中的Fex().

式中：δ 和 σ分別代表激活函數(shù)RELU 和sigmoid.

將壓縮和激勵兩個操作學(xué)習(xí)到的各個通道的激活值S乘以U的原始特征來實(shí)現(xiàn)特征通道的重標(biāo)定，即圖5 中的Fscale()操作.

SENet 模塊讓模型可以更加關(guān)注對分類性能影響最大的通道特征，而抑制那些不重要的通道特征，從而實(shí)現(xiàn)對一個局部區(qū)域通道上的特征融合.

2.3 骨干網(wǎng)絡(luò)優(yōu)化

等離子弧焊工業(yè)生產(chǎn)過程中需要及時準(zhǔn)確地對熔池狀態(tài)進(jìn)行預(yù)測，因此為了適應(yīng)等離子弧焊的工業(yè)應(yīng)用需求，需要綜合考慮模型的精度和運(yùn)算速度.因此對ResNet50 模型進(jìn)行改造，來進(jìn)行熔池圖像的空間特征提取，使其獲得在運(yùn)算速度和精度上的綜合提升.ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)由輸入階段、四個子序列階段與模型輸出階段組成.

為了提升ResNet50 模型的計(jì)算速度，對模型的輸入部分進(jìn)行調(diào)整，如圖6 所示.在輸入階段，設(shè)計(jì)使用3 個3 × 3 的卷積核來代替原本7 × 7 的卷積核.卷積的計(jì)算消耗是卷積核長寬的二次函數(shù)[14]，因此一個7 × 7 的卷積比一個3 × 3 的卷積計(jì)算量大5.4 倍，通過這種改進(jìn)可以顯著地提高計(jì)算速度.

圖6 ResNet50 模型改進(jìn)Fig.6 ResNet50 model improvement

對于模型性能，通常認(rèn)為模型提取的特征越多，相應(yīng)的模型性能會更好.而原始的ResNet 模型在殘差結(jié)構(gòu)中采用的是步長為2 的1 × 1 卷積進(jìn)行下采樣，這種卷積會忽略3/4 的特征映射[14]，針對于模型的這種問題，將1 × 1 的卷積步長改為1，并在卷積前添加步長為2 的2 × 2 的全局池化層.使模型在不改變輸出形狀的基礎(chǔ)下，不忽略特征信息，從而提高模型特征提取能力.

為了使模型在提取熔池圖像的空間特征的同時，能夠提取圖像的通道特征，將Se-block 嵌入到50 層的深度殘差網(wǎng)絡(luò)結(jié)構(gòu)中，在ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)中Se-block 使用全局平均池化來對特征圖進(jìn)行壓縮，對特征圖中每個通道生成相應(yīng)權(quán)重，然后使用兩個全連接層來實(shí)現(xiàn)激勵操作，用于表達(dá)不同特征通道間的相關(guān)性和依賴性.其中為了減少模型的計(jì)算量同時保持特征通道數(shù)不變，設(shè)置壓縮參數(shù)為1/16 來對第一個全連接層進(jìn)行降維，壓縮后的特征圖通過RELU 激活函數(shù)后，輸入第二個全連接層中，第二個全連接層設(shè)置壓縮參數(shù)為16，來對通道數(shù)進(jìn)行還原.使用sigmoid 函數(shù)將權(quán)重歸一化后將其與原始特征圖進(jìn)行加權(quán)，實(shí)現(xiàn)通道維度上的特征重標(biāo)定.Se-ResNet50 網(wǎng)絡(luò)中殘差模塊結(jié)構(gòu)如圖7所示.

圖7 Se-block 結(jié)構(gòu)Fig.7 Se-block structure

對于Se-block 模塊在ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)中的嵌入位置，設(shè)計(jì)在每個bottle neck 結(jié)構(gòu)后都插入Se-block 模塊.而ResNet 的網(wǎng)絡(luò)結(jié)構(gòu)中的bottle neck 具有兩種不同的形式，如圖8 所示，分別為4 個子序列第一個階段的具有降維作用的bottle neck 1 和其它階段的bottle neck 2 結(jié)構(gòu).

圖8 Se-block 嵌入位置Fig.8 Se-block embedding location

3 試驗(yàn)結(jié)果與分析

試驗(yàn)使用的計(jì)算配置如下：64 位的Windows 10 操作系統(tǒng)，192 G RAM，CPU 為Intel Xeon Silver 4110@2.10 GHz，GPU 為NVIDIA GeForce TITAN Xp 12 GB.試驗(yàn)環(huán)境為：Python=3.6，TensorFlowgpu=1.13.1，Keras=2.2.4.

3.1 模型評價指標(biāo)

評價指標(biāo)是衡量模型性能的標(biāo)準(zhǔn)，對等離子弧熔池熔透狀態(tài)的分類預(yù)測使用的評價指標(biāo)有準(zhǔn)確率(A)、精度(P)、召回率(R)、F1指數(shù)值(F1),即

式中：TP(true positives)代表真正例，即被正確預(yù)測為正例的個數(shù)；FN(false negatives)代表假負(fù)例，即被錯誤預(yù)測為負(fù)例的個數(shù)；FP(false positives)代表假正例，即被錯誤預(yù)測為正例的個數(shù)；TN(true negatives)代表真負(fù)例，即被正確預(yù)測為負(fù)例的個數(shù).

3.2 試驗(yàn)參數(shù)設(shè)計(jì)與分析

在深度學(xué)習(xí)的模型訓(xùn)練過程中，采用的優(yōu)化方法、學(xué)習(xí)率和迭代次數(shù)等是一個重要的初始選擇的設(shè)置，模型的調(diào)參是一個重要的過程.為了找到模型最優(yōu)的參數(shù)設(shè)置，在提出的PCSCNet 模型上進(jìn)行不同的參數(shù)對照試驗(yàn)，結(jié)果如表3 所示.經(jīng)過試驗(yàn)對比，該試驗(yàn)過程中的最優(yōu)參數(shù)設(shè)置為：epoch=100，bitch_size=32，lr=0.000 1.損失函數(shù)選用binary_crossentropy，優(yōu)化器選用Adam.同時為了提高模型的準(zhǔn)確率以及降低損失值，優(yōu)化器在設(shè)置了初始學(xué)習(xí)率后采用自動降低學(xué)習(xí)率的方法來調(diào)節(jié)學(xué)習(xí)率，設(shè)置縮放學(xué)習(xí)率的值為0.2，學(xué)習(xí)率將以lr=lrf的形式被減少，f為學(xué)習(xí)率縮放因子，設(shè)置檢測值為val_loss，經(jīng)過20 個epoch 后模型性能若不再提升，則會觸發(fā)學(xué)習(xí)率衰減，直到設(shè)置的epoch訓(xùn)練完或?qū)W習(xí)率達(dá)到設(shè)置的最低值0.000 01 時，學(xué)習(xí)率衰減函數(shù)才會停止運(yùn)行.

表3 試驗(yàn)參數(shù)設(shè)置Table 3 Experimental parameter setting

在模型訓(xùn)練過程中，希望更好地?cái)M合數(shù)據(jù)以獲得最好地泛化性能，但網(wǎng)絡(luò)模型訓(xùn)練過程中很容易過擬合.通常情況下，用模型在驗(yàn)證集上的表現(xiàn)來評估模型的泛化能力.隨著網(wǎng)絡(luò)的不斷訓(xùn)練優(yōu)化，期望模型在訓(xùn)練集上的損失值不斷降低，精度不斷提升的同時，模型在驗(yàn)證集上也有同樣良好的表現(xiàn).反之，當(dāng)模型在訓(xùn)練集上表現(xiàn)良好，但在驗(yàn)證集上表現(xiàn)較差時，一般是模型出現(xiàn)了過擬合的現(xiàn)象.解決過擬合的問題主要有兩個方向：一種是降低參數(shù)的數(shù)量，主要是剪枝[15]和權(quán)重共享[16]，另一種是降低每個參數(shù)維度的有效規(guī)模，主要是正則化的方法，如權(quán)重衰減和早停法[17]等.試驗(yàn)中采用早停法來解決過擬合的問題.通過迭代次數(shù)截取的方法，在模型對訓(xùn)練數(shù)據(jù)集迭代收斂之前停止迭代來防止過擬合.把驗(yàn)證集的損失值作為模型監(jiān)測性能的指標(biāo).設(shè)置模型在20 次迭代之后沒有改進(jìn)便早停來結(jié)束訓(xùn)練.圖9 為PCSCNet 模型的訓(xùn)練驗(yàn)證準(zhǔn)確率曲線和訓(xùn)練驗(yàn)證損失曲線.

圖9 模型訓(xùn)練曲線Fig.9 Model training curve.(a) loss of PCSCNet training and validation;(b) accuracy of PCSCNet training and validation

3.3 消融試驗(yàn)設(shè)計(jì)與分析

為了驗(yàn)證通道注意力模塊和ResNet50 改進(jìn)結(jié)構(gòu)等組件的作用，設(shè)計(jì)了消融試驗(yàn).以ResNet50 網(wǎng)絡(luò)作為基準(zhǔn)方法，在此基礎(chǔ)上依次增加通道特征提取模塊(SE-ResNet50)和ResNet50 改進(jìn)結(jié)構(gòu)(PCSCNet).兩種組合在等離子弧熔池圖像數(shù)據(jù)集上的表現(xiàn)如表4 所示.

表4 不同網(wǎng)絡(luò)結(jié)構(gòu)對預(yù)測性能的影響Table 4 Effects of different network structures on prediction performance %

由表4 可知，通道注意力模塊能夠提高熔池圖像特征提取能力，相比于原始網(wǎng)絡(luò)在預(yù)測準(zhǔn)確率和F1指標(biāo)上分別提升了1.62%和3.60%.而ResNet50改進(jìn)結(jié)構(gòu)可以進(jìn)一步提升預(yù)測性能，在預(yù)測準(zhǔn)確率和F1指標(biāo)上分別提升了0.91%和0.03%.ResNet50模型在融合了通道注意力模塊和ResNet50 改進(jìn)模塊后，在等離子弧熔池圖像數(shù)據(jù)集上預(yù)測準(zhǔn)確率和F1指標(biāo)上分別達(dá)到了95.55%和94.79%.

3.4 模型對比分析

為了證明提出的模型效果，在等離子弧焊熔池圖像數(shù)據(jù)集上設(shè)計(jì)一組試驗(yàn)，使用幾種經(jīng)典的圖像分類方法AlexNet-trans，VGG16，ResNet50，InceptionNetV3[18]與提出的PCSCNet 模型進(jìn)行訓(xùn)練測試，并對比這5 種模型在等離子弧焊熔池圖像數(shù)據(jù)集上的性能表現(xiàn).

表5 展示了5 種模型在熔池圖像測試集中的綜合表現(xiàn)，在評估模型性能好壞的時候，采用準(zhǔn)確率、精度、召回率和F1作為模型的綜合評價指標(biāo).其中baseline 模型來自文獻(xiàn)[19]基于Alexnet 網(wǎng)絡(luò)和遷移學(xué)習(xí)設(shè)計(jì)的熔透狀態(tài)預(yù)測模型，是深度學(xué)習(xí)在等離子弧焊領(lǐng)域應(yīng)用的最新進(jìn)展.從表中可以看出PCSCNet 模型在各個評價指標(biāo)中都表現(xiàn)最好.特別是對比于baseline 模型，PCSCNet 模型在準(zhǔn)確率上有0.95%的提升，同時在F1 綜合指標(biāo)上有8.31%的提升.展現(xiàn)了PCSCNet 模型不僅在預(yù)測準(zhǔn)確率上有良好的表現(xiàn)，而且在綜合性能上也具有顯著的優(yōu)越性.

表5 模型在測試集上的性能表現(xiàn)Table 5 Performance of the model on the test set %

3.5 模型可行性分析

為了適應(yīng)工業(yè)場景的應(yīng)用，現(xiàn)場運(yùn)行環(huán)境復(fù)雜，需要驗(yàn)證模型性能的可行性與可解釋性，圖10為正面熔池圖像的主要特征點(diǎn).等離子弧焊熔池主要是由熔池前端、等離子弧、等離子云和熔池后端4 個部分組成.根據(jù)傳統(tǒng)的人工經(jīng)驗(yàn)，等離子弧焊的熔池熔透狀態(tài)的差別主要在等離子弧和等離子云部分，熔池前端與熔池后端同樣有部分差異，但差別較小.所以傳統(tǒng)焊接過程中的穿孔狀態(tài)的判斷主要依賴于觀察等離子弧與等離子云的特征變化.

圖10 正面熔池圖像特征Fig.10 Front molten pool image feature

為了驗(yàn)證PCSCNet 模型的可行性，使用Grad-CAM[20]方法對其進(jìn)行視覺上的可視化解釋，來顯示模型的分類依據(jù)，該方法使用包含有最多特征信息的最后一個卷積層為模型中每個神經(jīng)元分配權(quán)重，進(jìn)行特定的關(guān)注決策.通過生成與卷積特征圖大小相同的熱力圖來表示不同特征對分類的影響程度.熱力圖中越紅的區(qū)域代表對分類決策的影響越大，越藍(lán)的區(qū)域則代表對分類決策的影響越小.

圖11 為 Grad-CAM 可視化結(jié)果.圖11a 為原始正面熔池圖像，圖11b 為生成的相同大小的熱力圖，圖11c 為原始圖像與熱力圖融合后的圖像.從可視化結(jié)果可以看出，紅色區(qū)域主要集中在熔孔入口附近，說明模型分類過程中主要關(guān)注于正面熔池圖像的等離子弧和等離子云部分區(qū)域，這與實(shí)際焊接過程中的經(jīng)驗(yàn)特征信息相符，驗(yàn)證了模型的可靠性.

圖11 Grad-CAM 可視化結(jié)果Fig.11 Grad-cam visualization results.(a) original diagram;(b) thermodynamic diagram;(c) Grad-CAM diagram

4 結(jié)論

(1) 針對等離子弧焊的實(shí)際應(yīng)用場景，通過對ResNet50 的輸入和殘差結(jié)構(gòu)進(jìn)行更改并同步提取熔池圖像的空間和通道特征信息，提出了一種新型的等離子弧焊熔池熔透狀態(tài)預(yù)測模型PCSCNet.模型熔透狀態(tài)預(yù)測準(zhǔn)確率達(dá)到95%以上.

(2) 使用一種基于梯度定位的深度網(wǎng)絡(luò)可視化方法Grad-CAM 來可視化模型的分類依據(jù)，與人工焊接過程中的經(jīng)驗(yàn)特征信息相符，體現(xiàn)了模型熔透狀態(tài)預(yù)測的依據(jù)是正確的，驗(yàn)證了模型的可行性.