基于多域多尺度深度特征自適應(yīng)融合的焊縫缺陷檢測研究

張 睿,高美蓉,傅留虎,張鵬云,白曉露,趙 娜

(1.太原科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,太原 030024;2.山西省機電設(shè)計研究院有限公司,太原 030009)

為滿足現(xiàn)代制造技術(shù)高性能和功能多樣化的發(fā)展需求,以奧氏體不銹鋼為代表的現(xiàn)代制造業(yè)基礎(chǔ)材料的應(yīng)用日趨增多,在不銹鋼工件焊接過程焊縫常會產(chǎn)生夾渣、未焊透、未熔合等缺陷。由于忽視焊接質(zhì)量造成的事故屢見不鮮,因此必須加強不銹鋼焊縫的質(zhì)量檢測,提高缺陷識別的準確率。在實際缺陷檢測中,人工識別和機器識別的方法仍占據(jù)大多數(shù),易受主觀感受和經(jīng)驗主導(dǎo)且計算成本較高,目前已難以適用。隨著深度學(xué)習(xí)在圖像分類方面顯現(xiàn)出的優(yōu)勢,人們開始嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于焊縫缺陷的自動化檢測。

王睿等[1]提出基于輕量級倒殘差結(jié)構(gòu)的YOLO-M網(wǎng)絡(luò),采用多尺度預(yù)測機制分層預(yù)測不同缺陷特征,對X射線焊接圖像中缺陷的預(yù)測精度達到93.5%。Ajmi等[2]使用改進的VGGNet網(wǎng)絡(luò)和數(shù)據(jù)增強以及分別用Canny邊緣映射和自適應(yīng)高斯閾值提供的二值圖像替代原焊接X射線RGB三通道圖像中的通道B(藍色)和通道G(綠色),實現(xiàn)了對未焊透,銷孔,氣孔三類焊縫缺陷較好的分類結(jié)果。黃煥東等[3]通過對焊縫缺陷的TOFD二維超聲焊縫缺陷圖像特征與缺陷輪廓關(guān)系的分析,提出一種基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster RCNN)的深度學(xué)習(xí)模型,在超聲波衍射時差法構(gòu)建的數(shù)據(jù)集基礎(chǔ)上的實現(xiàn)了對裂紋、氣孔、夾渣、未焊透和未熔合五類焊縫缺陷類型的自動識別。以上研究方法均在焊縫缺陷識別領(lǐng)域取得了一定成效,但在實際工程應(yīng)用中,X射線檢測方法存在安全性問題,實時檢測很難實現(xiàn)。光學(xué)傳感方法不能很好的獲取到金屬材料內(nèi)部缺陷特征,TOFD二維成像方法又對設(shè)備超聲探頭橫向、縱向分辨率性能以及實時性性能要求較高,較難在實際工程開展應(yīng)用。

近年來,多使用超聲回波法對焊縫缺陷進行檢測,其檢測裝備價格相對便宜且更安全快捷。胡宏偉等[4]采用LBP-KPCA算法提取缺陷回波信號特征,利用基于徑向基核函數(shù)的支持向量機對夾渣、氣孔和未焊透三類焊縫缺陷類型的自動分類。Wang等[5]從時域和頻域特征出發(fā),在最終提取了9個特征值的情況下,對良好點焊接頭、合格點焊接頭和不合格點焊接頭采用BP神經(jīng)網(wǎng)絡(luò)分類器和粒子群優(yōu)化支持向量機方法達到了95%的識別率。Murta[6]等模擬了超聲在二維介質(zhì)中的傳播,每個介質(zhì)均包含模擬焊接接頭缺陷的不同類型的模擬不連續(xù)點。采用聚類和分類(主成分分析和k-近鄰)算法將每個A掃超聲信號與其對應(yīng)的建模缺陷關(guān)聯(lián)起來,結(jié)果表明信號包絡(luò)的主成分分析算法對氣孔、裂紋和未焊透三類缺陷的正確分類率可達76.85%,k臨近算法的成功率為73.14%。Silva等[7]提出了一種以深度極限學(xué)習(xí)機為基礎(chǔ)的決策支持系統(tǒng),將超聲波衍射時差法信號分段的頻譜作為訓(xùn)練特征,可較好地識別出焊縫未熔合、未焊透、夾渣和氣孔四種缺陷類型。通過以上研究,基于超聲回波信號的焊縫檢測方法是具備可行性的,但仍然存在一些挑戰(zhàn):(1) 現(xiàn)有研究大多是基于時域或頻域兩種實數(shù)域分析所得信息開展焊縫缺陷類型檢測,均忽視檢測原始數(shù)據(jù)的復(fù)數(shù)域形式,僅依賴實部信息進行特征提取而忽視虛部數(shù)據(jù)的相位上的非線性信息及信號變化率,且對于一維超聲信號的其余映射方式,以及映射后高維空間域中色相、明度、純度等空間分量的互補與聯(lián)立相關(guān)研究甚少。(2) 焊縫缺陷檢測模型的建立不僅需要設(shè)計者具有豐富專業(yè)知識和領(lǐng)域知識,權(quán)衡模型大小和計算效率,還需在構(gòu)建模型時反復(fù)試驗以獲得最佳模型參數(shù),面對新的現(xiàn)實問題時往往需要重新構(gòu)建模型,既耗時耗力又難以保證網(wǎng)絡(luò)的魯棒性和泛化性,進而制約了實際工程中焊縫缺陷檢測方法的落地應(yīng)用。

綜上分析,本文結(jié)合實際工程應(yīng)用需求,開展基于多域多尺度深度特征自適應(yīng)融合的焊縫缺陷檢測研究。對一維超聲檢測信號進行實數(shù)域、復(fù)數(shù)域等高維空間域映射,利用模型優(yōu)化策略自適應(yīng)尋優(yōu)得到焊縫缺陷類型檢測模型進行多域深度特征融合,最終通過復(fù)數(shù)全連接層實現(xiàn)對奧氏體不銹鋼焊縫缺陷類型的識別與診斷。

本文整體框架如圖1所示,主要分為三部分。第一部分是一維超聲檢測信號多域表征方法研究:將一維超聲信號序列映射到復(fù)數(shù)域與多個候選實數(shù)域,對比效果選取特征信息表征能力強的兩個實數(shù)域以及復(fù)數(shù)域作為本模型的特征域;第二部分是基于多域多尺度焊縫缺陷深度特征融合策略的焊縫缺陷類型檢測模型構(gòu)建(multi-domain and multi-scale fusion detection model of weld defect depth feature,MDMF):通過本文提出的深度半密集特征提取器(depth semi-dense feature extractor,PSD)充分分析檢測信號的實數(shù)域和復(fù)數(shù)域特性,實現(xiàn)焊縫缺陷特征的完備性提取并基于多域特征融合策略將選定的特征域信息融合以實現(xiàn)更精確的焊縫缺陷類型識別;第三部分提出了面向卷積神經(jīng)網(wǎng)絡(luò)多維超參數(shù)自尋優(yōu)的模型優(yōu)化策略:基于分組通信改良的萊維混沌平衡優(yōu)化器優(yōu)化算法(improved Levy chaos equilibrium optimizer algorithm based on packet communication,PEO)對MDMF卷積網(wǎng)絡(luò)模型的9個關(guān)鍵參數(shù)自尋優(yōu)得到優(yōu)化后的模型(adaptive multi-domain and multi-scale fusion detection model of weld defect depth feature,AMDMF),為不銹鋼焊縫缺陷識別自適應(yīng)地尋找一個效果較優(yōu)的模型,并用于奧氏體不銹鋼焊縫五類缺陷的識別。

圖1 模型總體架構(gòu)Fig.1 Overall architecture of the model

本文的主要貢獻如下:

(1) 提出面向焊縫超聲檢測的多域多尺度特征信息融合模型。從序列周期性、相關(guān)性、時空轉(zhuǎn)換等角度出發(fā),將一維超聲信號衍生至復(fù)數(shù)域和實數(shù)域的格拉姆角場域、馬爾科夫轉(zhuǎn)移場域、遞歸域等高維空間域中,引入深度半密集特征提取器PSD提取出多域樣本在時間和空間兩個維度上的特征信息,基于多域焊縫缺陷深度特征融合的思想,利用不同域的特點通過多頭注意力機制將復(fù)數(shù)域和實數(shù)域提取的不同特征信息相融合,得到更豐富的焊縫缺陷特征。提高焊縫缺陷類型的檢測精度和數(shù)值穩(wěn)定性的同時為多場景域下的信息融合提供思路。

(2) 提出面向卷積神經(jīng)網(wǎng)絡(luò)多維超參數(shù)自尋優(yōu)的PEO模型優(yōu)化策略。為進一步提升原始平衡優(yōu)化器算法全局尋優(yōu)效能以及開拓能力,依次引入萊維初始化、混沌濃度更新以及分組通信策略對其進行改良,并將改良后的PEO應(yīng)用于MDMF模型中,實現(xiàn)9個結(jié)構(gòu)參數(shù)的自適應(yīng)最優(yōu)化重構(gòu)。增強模型設(shè)計的可解釋性和泛化性,在避免模型主觀經(jīng)驗構(gòu)建的同時縮減了模型設(shè)計時所消耗的時間、人力等成本。

1 一維超聲檢測信號多域表征方法研究

通常對焊縫缺陷類型的診斷只利用采集到的一維超聲檢測信號進行分析,收集的數(shù)據(jù)樣本均為一維時域序列,所包含的焊縫缺陷特征信息不明顯且特征之間相關(guān)性表達不充分。為提高樣本信息表達豐富性,開展一維超聲檢測信號多域表征方法研究,將一維超聲檢測信號映射入復(fù)數(shù)域和實數(shù)域的格拉姆角場域(Gramain angular field,GAF)[8]、馬爾科夫轉(zhuǎn)移場域(Markov transition field,MTF)[9]、遞歸域(recurrence plot field,RPF)[10]等高維空間域中。

1.1 復(fù)數(shù)域表征方法研究

將一維信號樣本映射入復(fù)數(shù)域,其實部是信號本身的值,虛部是負變化率與角頻率之比,將復(fù)數(shù)域的虛部信息引入共同作為特征向量避免了信息提取過程中的相位失配,提高了特征信息的完整性和有效性。Morlet復(fù)小波[11]具有良好的時頻局部化特性,其小波系數(shù)的相位信息比較規(guī)則,因此本文使用Morlet復(fù)小波變換進行復(fù)數(shù)域映射。

設(shè)信號x(t)∈L2(R),根據(jù)小波變換的原理,將信號x(t)與小波基φa,b(t)進行卷積得到W(a,b),分別使用Real函數(shù)和Imagic函數(shù)對W(a,b)進行操作得到復(fù)數(shù)域的實部矩陣Re[W(a,b)]和虛部矩陣Im[W(a,b)]。具體如式(1)、(2)所示。

(1)

Re[W(a,b)]+jIm[W(a,b)]

(2)

1.2 實數(shù)域表征方法研究

將一維信號樣本映射入實數(shù)域即GAF、MTF和RPF等高維空間域中,以點、線、圖像色彩或交叉邊界等細節(jié)類描述來優(yōu)化原始一維域中存在的特征單一性、相關(guān)性表達不充分等問題。實數(shù)域特征增強效果如表1所示。

表1 實數(shù)域特征增強效果圖Tab.1 Real field feature enhancement rendering

GAF將時間序列在極坐標系統(tǒng)內(nèi)進行編碼,展現(xiàn)樣本的不同信息粒度。在Gramain矩陣中的每個元素實際上是角度的三角函數(shù)值,衍生出兩種不同的實現(xiàn)方式,即Gramain angular summation Field (GASF)與Gramain angular difference Field(GADF)。變換表達函數(shù)如式(3)與(4)。

(3)

(4)

MTF是基于一階馬爾科夫鏈的變體,主要為解決馬爾科夫轉(zhuǎn)移矩陣對序列樣本的時間特點的不敏感問題,轉(zhuǎn)換時會優(yōu)先考慮序列樣本的時間位置關(guān)系。長度為n的信號序列X(t)將會被映射到每個對應(yīng)的值域qj中,由qj結(jié)合每個樣本緊鄰的頻率wij構(gòu)建出相應(yīng)的轉(zhuǎn)移矩陣,繼而由式(5)轉(zhuǎn)換得到馬爾科夫變遷域圖像。

(5)

RPF是分析信號序列周期性、混沌性以及非平穩(wěn)性的有效方法,可以分離出數(shù)據(jù)樣本的內(nèi)部結(jié)構(gòu)、相似性以及預(yù)測性等相關(guān)知識。變換函數(shù)表達式如式(6)。

(6)

式中:Θ為Heaviside函數(shù);ε為遞歸閾值。

2 面向焊縫缺陷檢測的MDMF模型

為解決現(xiàn)有的實數(shù)域相位信息丟失、單一域焊縫缺陷特征信息不明顯造成的焊縫缺陷類型檢測模型準確率不高與現(xiàn)有模型高計算成本、高時間成本等問題。本文開展MDMF的研究。利用PSD特征提取器來提取復(fù)數(shù)域和兩個實數(shù)域的深度特征,將提取的特征輸入到多域多尺度焊縫缺陷深度特征融合空間,依據(jù)多域融合得到的有效特征實現(xiàn)不銹鋼焊縫缺陷類型的高效識別。

2.1 深度半密集特征提取器

本文提出深度半密集特征提取器,包括多尺度深度可分離卷積和半密集連接[12]兩個功能性模塊,具體結(jié)構(gòu)如圖2所示,對選取出的兩個實數(shù)域和復(fù)數(shù)域的特征域進行更深層次地特征提取,X∈{Xt,Xm,Xg},X表示經(jīng)過特征提取器對某一焊縫缺陷問題提取到的綜合特征,其中Xt,Xm,Xg分別為三個高維空間域所對應(yīng)的特有特征,該方法豐富了一維缺陷信號的特征表征且更好地提取了不同域信息的內(nèi)在關(guān)聯(lián)性,得到更豐富的焊縫缺陷特征。為保證后續(xù)三個高維空間域特征融合操作的準確性及高效性,在特征輸出時使用一維時間卷積層將特征控制在同一維度。

圖2 深度半密集特征提取器Fig.2 Depth semi-dense feature extractor

多尺度深度可分離卷積模塊在深度可分離卷積[13]的基礎(chǔ)上被提出來,將深度卷積中的單一卷積核替換為多尺度不同大小的卷積核,擴大卷積感受野,有效提取不同尺度下的焊縫缺陷信息。

半密集連接模塊基于特征重用的思想,對給定層的輸出在后續(xù)層中被重用多次。給定層的輸入不僅是來自上一層的輸出,而且還是給定層之前的多個層的輸出,可以有效避免梯度消失問題。較薄的密集網(wǎng)絡(luò)要優(yōu)于較寬的普通網(wǎng)絡(luò),提高了網(wǎng)絡(luò)的參數(shù)效率。半密集連接模塊的卷積層數(shù)與卷積核大小由第3章優(yōu)化策略確定,其輸入通道數(shù)分別為{d,2d,3d…nd},每一層的輸出通道數(shù)均為d。

2.2 多域多尺度焊縫缺陷深度特征融合空間

為充分利用焊縫缺陷特征信息,MDMF擬考慮復(fù)數(shù)域和不同實數(shù)域在特征空間的關(guān)聯(lián)與互補性,由基礎(chǔ)CNN在單域上的診斷表現(xiàn)選取對相應(yīng)數(shù)據(jù)集焊縫缺陷信息表征能力較強的兩個實數(shù)域,將其與復(fù)數(shù)域共同作為特征域輸入至多頭注意力機制進行多域焊縫缺陷深度特征融合,構(gòu)建出伴隨有空間特性的特征融合空間。

MDMF將兩個實數(shù)域分別作為兩個特征Q,復(fù)數(shù)域?qū)嵅烤仃囎鳛樘卣鱇、V,使用多頭注意力機制進行融合形成特征的實部,并將其與復(fù)數(shù)域虛部矩陣共同合成單一的復(fù)數(shù)矩陣作為復(fù)數(shù)焊縫缺陷深度特征輸入復(fù)數(shù)全連接層進行分類,在融合過程中應(yīng)用一種相對位置編碼機制來實現(xiàn)狀態(tài)重用,防止造成幀之間時間混亂。因使用多頭注意力機制融合時需將特征圖embedding[14]為一維序列,可能存在embedding后長度不同的問題,故本文通過Linear層將特征的長度轉(zhuǎn)換,使其長度相同,在運算過程中必須保持embedding的長度可以整除復(fù)數(shù)多頭注意力機制中頭的個數(shù)。若遇到embedding為質(zhì)數(shù)無法整除的情況,需將其填充0后再進行計算,并在運算結(jié)束后刪除補0位置的信息。在最終兩個融合部分空間特征的拼接上采用哈達瑪乘積操作如式(7),區(qū)別于傳統(tǒng)的concat以及add方式,哈達瑪乘積操作可以對特征張量的時間步長信息進行保留。第i個頭部的注意力如式(8)～(9)所示,復(fù)數(shù)全連接層計算為式(10)。

rept=[αt;βt;αt·βt]Wrep+brep

(7)

(8)

(9)

(10)

CReLU(W)=ReLU(Wr)+iReLU(Wi)

(11)

3 基于分組通信改良的萊維混沌平衡優(yōu)化器算法

平衡優(yōu)化器(equilibrium optimizer,EO)算法是由Faramarzi[15]于2020年提出的一種受控制容積強混合型動態(tài)質(zhì)量平衡的物理啟發(fā)式優(yōu)化算法,具有需調(diào)節(jié)參數(shù)少、穩(wěn)定性好等特點,目前已成功應(yīng)用于約束優(yōu)化問題[16]、多模態(tài)圖像配準[17]等現(xiàn)實問題中。具體算法原理是控制體積-質(zhì)量平衡模型中,粒子根據(jù)平衡候選解進行濃度更新,最終達到平衡狀態(tài)。主要為種群初始化、平衡池構(gòu)建和濃度更新三個階段。更新公式如式(12)～(17)所示。

Ci=LB+Ri*(UB-LB)

(12)

(13)

Ceq,pool={Ceq1,Ceq2,Ceq3,Ceq4,Ceq(ave)}

(14)

(15)

F=a1sign(r-0.5)[e-lt-1]

(16)

(17)

式中:Ci為初始種群中第i個粒子的初始位置;Ri為[0,1]中i=1,2,…n的隨機向量;UB和LB分別為搜索空間的上界和下界;Ceq1～Ceq4和Cave為當(dāng)前最好的四個候選解以及它們的算術(shù)平均值共同構(gòu)成平衡池Ceq,pool;C和Ceq為當(dāng)前粒子和平衡候選解;λ和r為[0,1]之間的隨機向量;V為單位體積;G為生成率。F為指數(shù)項。Iter和Max iter分別為粒子的當(dāng)前迭代次數(shù)和最大迭代次數(shù)。a1與a2分別設(shè)置為2和1。

EO中初始個體都是在搜索空間內(nèi)隨機生成,難以獲取較好的種群多樣性,易導(dǎo)致算法出現(xiàn)收斂性能差、局部開拓能力弱等問題。對此PEO算法依次引入萊維飛行初始化、混沌濃度更新以及分組通信策略三種方式提高初始解的質(zhì)量,擴大搜索區(qū)域,增強算法的全局以及局部搜索能力,構(gòu)成面向卷積神經(jīng)網(wǎng)絡(luò)多維超參數(shù)自尋優(yōu)的PEO模型優(yōu)化策略。

萊維飛行[18]是服從萊維分布的隨機搜索路徑,是一種短距離搜索和偶爾長距離搜索相間的隨機行走模式,可以有效提升EO種群的全局搜索能力,避免迭代后期種群中所攜帶的待優(yōu)化參數(shù)多樣性降低。結(jié)合萊維飛行具有隨機性和規(guī)律性的特點來初始化種群。萊維飛行表達式如式(18)所示。將原種群初始化式(12)改進為式(19)且由于萊維飛行十分復(fù)雜,目前大多使用Mantegna算法,如式(20)～(22)所示,故式(19)可簡化為式(23)。

(18)

Ci=LB+Levy(β)*(UB-LB)

(19)

(20)

(21)

(22)

Ci=LB+s(u,v)*(UB-LB)

(23)

混沌映射[19]擁有非周期、不收斂和有界等特點,可以有效避免根據(jù)單一候選解進行濃度更新導(dǎo)致種群多樣性流失致后期陷入局部最優(yōu)的問題。在求解高維復(fù)雜問題時,標準EO的種群多樣性隨算法迭代而逐漸減小,故本文將Circle混沌映射融入濃度更新策略來解決多樣性流失的問題。Circle映射表達式如式(24)。

(24)

式中:α為0.5;β為0.2;Xi+1為混沌序列中第i+1個粒子。將Circle混沌映射向量化后與原濃度更新公式(18)相結(jié)合,得到混沌濃度更新公式如式(25)。

(25)

分組通信策略將種群分為四組,各組獨立更新,采用三種通信策略進行組間信息交換以緩解各組信息差等問題,提高了搜索能力和收斂速度,擴大了搜索區(qū)域,能更快找到最優(yōu)解且避免陷入局部最優(yōu)。

PEO算法三種通信策略具體如下所示:

策略一:將所有粒子分為N組,每組為二進制數(shù)。平均數(shù)量相差一位數(shù)的兩組為最優(yōu)平衡候選組,當(dāng)前組中一些適應(yīng)度值較差的粒子發(fā)生個體突變。

策略二:該策略對所有群體的全局最優(yōu)值進行排序。第一組中排序后的最佳粒子替換第二組中適應(yīng)度較差的粒子,第二組中的最佳粒子替換第三組中適應(yīng)度較差的粒子,以此類推。最后一組用適應(yīng)度值較差的粒子取代了第一組中的一些粒子。

策略三:每20代使用通信策略一,每50代使用通信策略二循環(huán)更新。

4 MDMF模型自優(yōu)化

MDMF卷積模型中,卷積層結(jié)構(gòu)的靈感來自于文獻[20]中用于焊縫表面缺陷分類研究。但值得注意的是,此類模型大多是基于人工經(jīng)驗而選擇的模型,確定內(nèi)部參數(shù)時均依靠大量的專家經(jīng)驗來調(diào)試,并且由于焊縫缺陷數(shù)據(jù)采樣形式的差異性,面對不同的問題很可能需要重構(gòu)模型。對此本文在原EO的基礎(chǔ)上,結(jié)合多策略優(yōu)化并引入群通信思想提出了一種基于分組通信策略改良的萊維混沌EO模型優(yōu)化算法(PEO),具體優(yōu)化步驟如算法1所示。

經(jīng)上述機制改良后的PEO將用于MDMF中9個關(guān)鍵參數(shù)自尋優(yōu),以減小模型設(shè)計難度同時提高模型自適應(yīng)尋優(yōu)能力,得到優(yōu)化后的焊縫缺陷類型檢測模型AMDMF。9個參數(shù)包括半密集連接模塊卷積層數(shù)、學(xué)習(xí)率、批次大小、三個卷積層各自的激活函數(shù)、優(yōu)化器、半密集連接模塊卷積核大小和多頭注意力機制頭個數(shù)。根據(jù)經(jīng)PEO每個粒子位置信息建立AMDMF模型,訓(xùn)練AMDMF模型并利用式(26)的適應(yīng)度函數(shù)計算它在測試集上的性能。式中y(i)代表預(yù)測標簽,t(i)為真實標簽,batch為批量大小。求取出的f作為PEO中的適應(yīng)度函數(shù)進行種群更新,最優(yōu)個體信息會被用來建立最終的模型。

(26)

算法1 PEO算法流程

-----------------------------------------------

輸入:Particles(種群大小),Max_iter(最大迭代次數(shù)),Dim(維度)

輸出:Total Best(全局最優(yōu)值)

初始化:G(生成速率),Particles(種群大小),P(每組種群數(shù)),Iter (當(dāng)前迭代次數(shù)),Max_iter(最大迭代次數(shù)),a1,a2(勘探和開發(fā)能力).

1:for gth = 1 toNdo

2:隨機更新P = Particles/N.

3:end for

4:while Iter <= Max_iter do

5:采用其中一種通信策略更新粒子.

6:for gth = 1 toNdo

7:fori= 1 to P do

8:計算每組粒子適應(yīng)度值.

9:尋找每組中當(dāng)前四個最好的候選解.

10:end for

11:將當(dāng)前最好解作為Total Best.

12:根據(jù)公式(13)計算四個最好候選解的均值.

13:根據(jù)公式(14)構(gòu)建平衡池.

14:根據(jù)公式(17)計算t.

15:fori= 1 to P do

16:從平衡池中隨機選擇一個候選解.

17:根據(jù)公式(25)更新粒子濃度.

18:end for

19:end for

20:Iter = Iter + 1

21:end while

5 試驗與結(jié)論

5.1 試驗平臺環(huán)境搭建、數(shù)據(jù)采集與預(yù)處理

本文試驗在Intel Core CPU I5-10500H、16 GB內(nèi)存、64位Windows操作系統(tǒng)、PyCharm2020.1.3,并使用自制數(shù)據(jù)集。通過與山西省機電設(shè)計研究院有限公司合作,在該單位搭建試驗平臺(圖3),制備包含夾渣、裂紋、氣孔、未焊透、未熔合五類缺陷類型的試樣。使用KARL DEUTSCH(ECHOGRAPH)探傷儀、Tektronix DPO 2024B示波器和2.5P 9x9 K2.5斜探頭對缺陷試樣進行數(shù)據(jù)采集。試驗共采集了未熔合、夾渣、未焊透、裂紋和氣孔五種超聲A掃缺陷數(shù)據(jù)544條。

圖3 試驗平臺Fig.3 The experiment platform

圖4(a)為采集到的一維超聲檢測信號可視化圖像,電磁耦合的起始時刻作為超聲信號發(fā)射初始時刻,使用巴特沃斯濾波器進行濾波處理,得到圖4(b)所示的圖像。通過向無損檢測領(lǐng)域?qū)＜疫M行咨詢,缺陷信號可以在一次回波和二次回波時間范圍內(nèi)被全部采集到,因此為了避免電磁耦合信號對缺陷信號特征提取造成干擾,并保證不遺漏一維回波信號,本文分別將第一次與第二次回波對應(yīng)的時間點作為起點和終點對一維超聲檢測信號進行截取,得到如圖4(c)所示的時域數(shù)據(jù)。

(a) 原始一維檢測信號可視化圖像

將處理后的一維時域信號分別映射至復(fù)數(shù)域以及實數(shù)域,完成一維超聲檢測時域信號的多域衍生。對通過多域轉(zhuǎn)換得到的各高維空間域二維圖像進行相同旋轉(zhuǎn)、翻轉(zhuǎn)、鏡像和平移等數(shù)據(jù)增強操作,為訓(xùn)練深度學(xué)習(xí)模型提供了一定的數(shù)據(jù)支撐以達到較好效果。各高維空間域數(shù)據(jù)集經(jīng)此操作后均由544張擴充至8 160張,包含夾渣、氣孔和未焊透缺陷各1 590張、裂紋1 815張、未熔合1 575張,并按照4∶1的比例劃分訓(xùn)練集和驗證集。

5.2 PEO算法性能驗證

為驗證PEO相較近幾年其他智能優(yōu)化算法的優(yōu)越性,對麻雀搜索算法(sparrow search algorithm,SSA)、蜻蜓優(yōu)化算法(dragonfly algorithm,DA)、灰狼優(yōu)化算法(grey wolf optimizer,GWO)、粒子群優(yōu)化算法(sunflower optimization,SFO)、平衡優(yōu)化器算法(equilibrium optimizer,EO)五種算法在12個基準函數(shù)上進行對比仿真試驗。12個基準函數(shù)包括:Sphere(F1)、SchwefelN2.22(F2)、SchwefelN1.2(F3)、SchwefelN2.21(F4)、Rosenborck(F5)、Step(F6)、Quartic(F7)七個高維單峰基準函數(shù),以及Schwefel(F8)、Rastrigin(F9)、Ackley(F10)、Griewank(F11)、Penalized(F12)五個高維多峰基準函數(shù)。

各算法的種群規(guī)模設(shè)為100,最大迭代次數(shù)設(shè)為1 000,問題維度為30,初始參數(shù)值參照各算法原始論文的設(shè)置。為避免尋優(yōu)結(jié)果的偶然性并證明PEO的穩(wěn)定性,選取各基準函數(shù)獨立運行30次的試驗結(jié)果作為試驗數(shù)據(jù),將各個算法的平均值(Mean)和標準差(Std)作為最終評價指標,較優(yōu)結(jié)果用粗黑體進行表示,單峰多峰基準函數(shù)對比結(jié)果分別如表2和表3所示。

表2 單峰基準函數(shù)試驗結(jié)果Tab.2 Experimental results of single peak reference function

表3 多峰基準函數(shù)試驗結(jié)果Tab.3 Experimental results of multi-peak reference function

由表2分析可知,在相同測試約束條件下,PEO對五組高維單峰基準函數(shù)的統(tǒng)計結(jié)果明均顯優(yōu)于其它5種對比算法。對于基準函數(shù)F1、F2、F3、F4,PEO均能穩(wěn)定得到其理論最優(yōu)解。在求解F5、F6和F7時,雖然PEO未能尋找出理論最優(yōu)解,但在平均值和標準差兩個評價指標上相比其它算法優(yōu)越多個數(shù)量級。證明經(jīng)改進后的PEO相較于其他算法能夠在單峰類函數(shù)上具備較強性能和穩(wěn)定性。

由表3分析可知,對高維多峰基準函數(shù)F9、F11,PEO與SSA均可穩(wěn)定收斂于全局最優(yōu)值。在F8、F10基準函數(shù)上,相較其它算法,PEO比其他算法有著顯著的提高與優(yōu)越性。在求解F12時,PEO在兩項評價指標上略差于SSA,但很大程度上優(yōu)于其他對比算法。因此,不論在單峰基準函數(shù)或是多峰基準函數(shù)上,PEO在多次尋優(yōu)過程中,均能表現(xiàn)出較好的尋優(yōu)性能。表明PEO具備高效的全局尋優(yōu)能力和局部探索能力,能夠充分高效的探尋搜索空間,且穩(wěn)定性和魯棒性較強。

由于本文對EO算法的修改較為深入,可能會出現(xiàn)引入的修改會帶來性能下降的問題,為避免該問題,本文對EO算法的修改進行了詳盡的消融試驗以證明修改的可行性和正確性。PEO改進消融試驗結(jié)果見表4,表中結(jié)果均為不同算法在12個基準函數(shù)運行30次的平均適應(yīng)度值。

表4 PEO改進消融試驗Tab.4 PEO modified ablation experiment

從消融試驗中可以得出本文每次修改后的算法尋優(yōu)效果對比原算法均有不同數(shù)量級的大幅提高,證明了PEO引入的各個改進策略均可以提高算法的尋優(yōu)性能,且尤其引入分組通信策略后提高最高,在多個適應(yīng)度函數(shù)上均搜索到理論最優(yōu)解。因此該算法可以應(yīng)用于本文對MDMF的自適應(yīng)尋優(yōu)問題中且具有較大的實用價值。

5.3 高維空間域的選取及有效性驗證

為了驗證缺陷樣本高維空間域轉(zhuǎn)換有效性,并選取出在不銹鋼焊縫缺陷檢測中表征能力最好的兩個實數(shù)高維空間域。使用目前主流的輕量型網(wǎng)絡(luò)MobileNetV1、MobileNetV2、MobileNetV3、ShuffleNet、SqueezeNet在原數(shù)據(jù)集上進行檢測精度的比較,具體對比結(jié)果如圖5所示。

圖5 候選實數(shù)域在不同網(wǎng)絡(luò)下檢測精度對比圖Fig.5 Comparison of detection accuracy of candidate real number fields in different networks

綜上結(jié)果分析,在同一網(wǎng)絡(luò)中,相較于時域方式,GASF、GADF、RPF和MTF各實數(shù)域映射方式取得的平均精度均有提升,證明了本文域轉(zhuǎn)換方式的先進性。為將實數(shù)域之間的優(yōu)勢相結(jié)合,更好的應(yīng)用于本文研究方法。選取上述驗證試驗中平均精度處于第一、二位的MTF和GADF作為2.1節(jié)所述特征融合空間的兩個實數(shù)域輸入。

5.4 MDMF模型參數(shù)自優(yōu)化

本文利用經(jīng)試驗驗證后的高性能PEO對MDMF模型自適應(yīng)尋優(yōu),將個體的9個維度分別對應(yīng)于模型MDMF的9個待定參數(shù):半密集連接模塊卷積層數(shù)、學(xué)習(xí)率、批次大小、三個卷積層各自的激活函數(shù)、優(yōu)化器、半密集連接模塊卷積核大小、多頭注意力機制頭個數(shù)。初始種群數(shù)量設(shè)置為10,最大迭代次數(shù)設(shè)置為5?；诖?構(gòu)建優(yōu)化后的模型AMDMF。

PEO的參數(shù)搜索范圍如表5所示,使用PEO所搜尋到的最優(yōu)模型(表6)與其他基線模型進行對比,在每種情況下,較優(yōu)結(jié)果都用粗體號突出顯示。

表5 MDMF模型待優(yōu)化參數(shù)及范圍Tab.5 Parameters and range of MDMF model to be optimized

表6 MDMF模型使用PEO優(yōu)化后的最優(yōu)模型組件Tab.6 The MDMF model uses PEO optimized optimal model components

為了充分證明本文所提方法的有效性,將SqueezeNet、MobileNetV3、ShuffleNet、MDMF與本文自適應(yīng)構(gòu)建的高性能AMDMF模型從參數(shù)量、時間消耗和準確率等不同角度進行比較,結(jié)果如表7所示。從表7可以看出,AMDMF相比MDMF在準確率提升2.48%的前提下,參數(shù)量、訓(xùn)練時長和時間消耗均大幅下降,證明了本文所提基于PEO的模型自優(yōu)化方法的有效性,且AMDMF優(yōu)于所有基線模型。AMDMF較性能優(yōu)秀的MobileNetV3模型在準確率僅有4.74%上升情況下大幅減少了模型參數(shù)量以及時間消耗且單幅圖像的檢測時間僅為1 ms,可滿足不銹鋼焊縫缺陷在線實時識別的要求,能夠為集成和便攜設(shè)備的開發(fā)提供技術(shù)支持。

表7 網(wǎng)絡(luò)模型性能對比試驗Tab.7 Network model performance comparison experiment

混淆矩陣進一步展示了高性能AMDMF模型在測試集中對每個類別缺陷的識別效果,如圖6所示,標簽序號0～4分別代表夾渣、裂紋、氣孔、未焊透、未熔合五類缺陷。從圖中可以看出,模型對裂紋、未焊透、未熔合三類類缺陷有較高的識別率,分別為99.1%、97.5%、和96.7%。對夾渣和氣孔兩類缺陷的識別準確率略低,均為94.7%,造成這兩類缺陷識別準確率較低的主要原因為夾渣缺陷是熔渣焊后殘留在焊縫中形成缺陷,導(dǎo)致部分超聲波會穿透這些熔渣到達鋼板底部,損失部分缺陷信號,而部分氣孔缺陷的位置靠近鋼板底部,在利用超聲波對焊縫缺陷檢測過程中,二者易被混淆。

圖6 混淆矩陣Fig.6 Confusion matrix

5.5 AMDMF模型泛化能力驗證

我們選擇了兩個公共數(shù)據(jù)集NEU-CLS[21]和miniImageNet[22],來驗證所提出的網(wǎng)絡(luò)和方法的泛化能力,NEU-CLS是東北大學(xué)發(fā)布的熱軋帶鋼表面缺陷圖像數(shù)據(jù)集。缺陷包括裂紋 (Cr)、夾雜物(In)、斑塊(Pa)、點蝕表面(PS)、軋制氧化皮(RS)和劃痕(Sc)。該數(shù)據(jù)集由六種缺陷的1 800張灰度圖像組成,每個圖像以300個樣本為例。miniImageNet是由DeepMind團隊從包含2萬多個類別(如“氣球”、“輪胎”和“狗”等且每個類別均有不少于500張圖像)的ImageNet數(shù)據(jù)集中提取而成的數(shù)據(jù)集,包含100個類別,共計60 000張彩色圖像,每個樣本像素值均為84×84。兩個數(shù)據(jù)集分別按照4∶1的比例分為訓(xùn)練集和測試集,在AMDMF上進行訓(xùn)練。測試集的分類準確率如圖7和圖8所示。在NEU-CLS數(shù)據(jù)集上,AMDMF達到了98.52%的分類準確率;在miniImageNet 數(shù)據(jù)集上,AMDMF的分類準確率達到了84.31%。試驗結(jié)果表明,本文所提出的方法不僅可以用于缺陷識別,而且對其他領(lǐng)域的復(fù)雜分類任務(wù)也具有一定的應(yīng)用價值,并具有一定的泛化能力。

圖7 NEU-CLS數(shù)據(jù)集上的分類準確率Fig.7 NEU-CLS dataset classification accuracy

圖8 mimiImageNet數(shù)據(jù)集上的分類準確率Fig.8 MimiImageNet dataset classification accuracy

6 結(jié) 論

在這項研究中,我們提出了一種基于多域多尺度深度特征自適應(yīng)融合的焊縫缺陷檢測。通過試驗分析比較,可以得出以下結(jié)論。

(1) 基于不銹鋼焊縫超聲檢測信號開展智能化缺陷識別是具備可行性的。

(2) 將一維超聲檢測時域信號映射至復(fù)數(shù)域以及GAF、MTF、RPF等實數(shù)域中,由基礎(chǔ)CNN在單域上的診斷表現(xiàn)選取對相應(yīng)數(shù)據(jù)集焊縫缺陷信息表征能力較強的兩個實數(shù)域與復(fù)數(shù)域進行多域多尺度焊縫缺陷深度特征融合,有利于找到在焊縫檢測領(lǐng)域契合度更高的高維空間域數(shù)據(jù)集的組合。

(3) 開展面向卷積神經(jīng)網(wǎng)絡(luò)多維超參數(shù)自尋優(yōu)的PEO模型優(yōu)化策略對模型結(jié)構(gòu)自適應(yīng)壓縮和參數(shù)自適應(yīng)優(yōu)化,可以在不損失網(wǎng)絡(luò)精度的前提下大幅減少網(wǎng)絡(luò)的參數(shù)量和計算量,有效確定針對特定任務(wù)的最優(yōu)參數(shù)組合,避免人為調(diào)參帶來的高時間成本和高計算成本。

通過多域多尺度特征融合和模型自優(yōu)化,我們所設(shè)計的AMDMF模型相比其他基線模型各項指標明顯提高,對五類不銹鋼焊縫缺陷的識別準確率為96.54%,對單個焊縫缺陷類型識別時間為1.0 ms,可滿足不銹鋼焊縫缺陷在線實時識別的要求,這為實際工程應(yīng)用中基于超聲檢測方法開展自動缺陷識別提供了一定的技術(shù)參考,為后續(xù)集成輔助診斷設(shè)備提供有利的技術(shù)保障。我們所提出的方法還具備一定的泛化能力和可靠性,除了基于序列樣本的各種識別、分類、診斷和檢測模型外,還可以廣泛用于各種網(wǎng)絡(luò)模型的自適應(yīng)壓縮和優(yōu)化。我們在該領(lǐng)域的未來研究將側(cè)重于多目標檢測和識別,并在時間復(fù)雜度和識別性能之間取得平衡。