奧氏體不銹鋼焊縫超聲相控陣檢測(cè)圖像智能分類(lèi)

張雨航， 張 旭， 付麗敏

(1 湖北工業(yè)大學(xué)機(jī)械工程學(xué)院， 湖北 武漢 430068； 2 湖北省現(xiàn)代制造質(zhì)量工程重點(diǎn)實(shí)驗(yàn)室， 湖北 武漢 430068)

由于具有更高的檢測(cè)靈活性以及定量、定位精度高等優(yōu)勢(shì)，無(wú)損檢測(cè)領(lǐng)域的超聲相控陣技術(shù)常常用于復(fù)雜工件的檢測(cè)。但在檢測(cè)過(guò)程中，由于檢測(cè)人員的過(guò)度疲勞、心理壓力、經(jīng)驗(yàn)不足等因素，容易導(dǎo)致誤檢率大大上升。而使用自動(dòng)化分類(lèi)方法可以消除人員精神疲勞、經(jīng)驗(yàn)不足等因素對(duì)檢測(cè)結(jié)果的影響。早期一些研究人員開(kāi)始使用簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的機(jī)器學(xué)習(xí)模型對(duì)各種類(lèi)型的無(wú)損檢測(cè)缺陷圖像進(jìn)行分類(lèi)。如：Cruz等利用小波變換和余弦變換等方法來(lái)實(shí)現(xiàn)特征提取，然后使用基于主成分分析的特征提取訓(xùn)練淺層神經(jīng)網(wǎng)絡(luò)，從超聲波A掃描中檢測(cè)裂紋[1]；伏喜斌在標(biāo)記的改進(jìn)分水嶺TOFD 檢測(cè)圖像分割的基礎(chǔ)上,分別利用局部相位量化和局部二值模式獲取缺陷區(qū)域的特征參數(shù),然后將二者特征參數(shù)進(jìn)行歸一化融合,再將融合特征向量用SVM模型進(jìn)行分類(lèi)識(shí)別，其融合特征分類(lèi)識(shí)別正確率達(dá)到87.10%[2]。但是這些方法都需要人工設(shè)計(jì)提取特征的方法。深度學(xué)習(xí)領(lǐng)域的卷積神經(jīng)網(wǎng)絡(luò)由于可以較好地自動(dòng)提取樣本中復(fù)雜的高層次的結(jié)構(gòu)特征用以描述樣本數(shù)據(jù)，反應(yīng)樣本的特性，也被普遍應(yīng)用到了圖像自動(dòng)分類(lèi)，在無(wú)損檢測(cè)領(lǐng)域也取得了一定進(jìn)展。Zheng Tong等使用深層卷積神經(jīng)網(wǎng)絡(luò)對(duì)探地雷達(dá)圖像進(jìn)行路基缺陷自動(dòng)分類(lèi)，驗(yàn)證準(zhǔn)確率為96.8%[3]。Munir等設(shè)計(jì)了一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行噪聲條件下的焊接件超聲缺陷分類(lèi)，分類(lèi)結(jié)果表明卷積神經(jīng)網(wǎng)絡(luò)具備良好的魯棒性，并且在高噪聲和低噪聲情況下都有很好的預(yù)測(cè)性能[4]。谷靜等基于DenseNet網(wǎng)絡(luò)來(lái)進(jìn)行X射線焊縫的缺陷分類(lèi)識(shí)別，對(duì)焊縫缺陷識(shí)別準(zhǔn)確率可達(dá)98.9%，但是如何更好地減少網(wǎng)絡(luò)參數(shù)、優(yōu)化內(nèi)存還有待研究[5]。

本文研究了通過(guò)輕量化卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2對(duì)奧氏體不銹鋼焊縫超聲相控陣B掃圖像數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，以實(shí)現(xiàn)缺陷的自動(dòng)分類(lèi)，并進(jìn)一步改進(jìn)MobileNetV2的訓(xùn)練方法和模型結(jié)構(gòu)，使其在奧氏體不銹鋼焊縫超聲相控陣檢測(cè)圖像缺陷分類(lèi)的任務(wù)中達(dá)到良好的分類(lèi)效果。

1 焊縫缺陷檢測(cè)方法的選擇

奧氏不銹鋼在工業(yè)上應(yīng)用比較普遍， 其焊縫缺陷的檢測(cè)多先采用超聲相控陣設(shè)備得到超聲相控陣圖像， 再對(duì)獲取到的檢測(cè)圖像進(jìn)行分析， 判斷其有無(wú)缺陷， 人工檢測(cè)過(guò)程復(fù)雜。 雖然使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法可以實(shí)現(xiàn)缺陷的自動(dòng)分類(lèi)， 但是需要人為地設(shè)計(jì)使用小波變換、 主成分分析等特征提取方法來(lái)對(duì)原始圖像進(jìn)行特征提取預(yù)處理，然后使用經(jīng)過(guò)預(yù)處理過(guò)后的特征信息數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)， 并且分類(lèi)效果又比較依賴(lài)于特征提取的作用好壞。如果所設(shè)計(jì)的特征提取的方法不好，會(huì)影響最終的分類(lèi)效果[6]。 而奧氏不銹鋼焊縫的粗晶粒以及材料各向異性導(dǎo)致得到的超聲相控陣檢測(cè)圖像噪聲較大， 信噪比低， 圖片質(zhì)量不好，這就給人工設(shè)計(jì)提取特征帶來(lái)了困難。 而卷積神經(jīng)網(wǎng)絡(luò)可以完成特征的自動(dòng)提取， 既減少工作量， 也能使分類(lèi)結(jié)果更穩(wěn)定。 這也是本文選擇使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行奧氏體不銹鋼焊縫超聲相控陣B掃圖像缺陷分類(lèi)的一個(gè)重要原因。

考慮到實(shí)際應(yīng)用中硬件條件的限制導(dǎo)致計(jì)算資源不足等因素，本文選用目前主流的輕量化卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2。MobileNetV2基本模塊將深度可分離卷積和改良的shortcut連接相結(jié)合，使其與大型的卷積神經(jīng)網(wǎng)絡(luò)InceptionV3、ResNet50、DenseNet121等相比擁有更少的參數(shù)量，同時(shí)能夠減小特征信息被破壞的損失，加強(qiáng)了網(wǎng)絡(luò)中特征信息的傳遞，提高了網(wǎng)絡(luò)的性能。

2 奧氏體不銹鋼焊縫超聲相控陣B掃圖像數(shù)據(jù)集

超聲相控陣的檢測(cè)對(duì)象為一根奧氏體316L不銹鋼管上的對(duì)接焊縫。Trueflaw有限公司在這根奧氏體不銹鋼管靠近焊縫根部的管道內(nèi)徑上發(fā)現(xiàn)3個(gè)深度分別為1.6、4.0和8.6 mm的熱疲勞裂紋，并使用超聲相控陣技術(shù)進(jìn)行了檢測(cè)。掃描采用Zetec Dynaray 64/64PR Lite探傷儀，使用的探頭是IMASONIC 1.5 MHz 1.5M5x3E17.5-9相控陣探傷儀探頭，采用剪切波進(jìn)行數(shù)據(jù)采集。詳細(xì)的實(shí)驗(yàn)過(guò)程見(jiàn)文獻(xiàn)[7]。

用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)超聲相控陣圖像缺陷智能分類(lèi)的第一步，需要先準(zhǔn)備好數(shù)據(jù)集。一個(gè)完整的數(shù)據(jù)集包含了訓(xùn)練樣本、驗(yàn)證樣本和測(cè)試樣本。本文實(shí)驗(yàn)的數(shù)據(jù)集由Trueflaw公司提供。Trueflaw公司在獲取上述實(shí)驗(yàn)的奧氏體不銹鋼焊縫熱疲勞裂紋超聲相控陣B掃圖像后，采用eFlaw技術(shù)擴(kuò)展了原始數(shù)據(jù)集，獲取到更多有代表性的缺陷樣本。eFlaw的核心思想是從有缺陷的數(shù)據(jù)集中提取缺陷信號(hào)，然后重新將缺陷信號(hào)引入數(shù)據(jù)集中的各個(gè)位置，以提供不同位置缺陷的樣本，同時(shí)也可以將原始裂紋信號(hào)幅值進(jìn)行修改后引入原始數(shù)據(jù)集，構(gòu)造出一些不同尺寸的裂紋[8]。數(shù)據(jù)集中的圖像是分辨率為256×256的RGB圖像。Trueflaw公司提供的擴(kuò)展后數(shù)據(jù)集一共有20000個(gè)圖像樣本，但是考慮到實(shí)際硬件條件限制，本實(shí)驗(yàn)抽取了數(shù)據(jù)集中的1800張奧氏體不銹鋼焊縫超聲相控陣B掃圖像用于訓(xùn)練和測(cè)試(數(shù)據(jù)劃分見(jiàn)表1)。圖1展示了缺陷信號(hào)在不同位置的圖像。訓(xùn)練集中又抽取1/4作為驗(yàn)證集。

表1 數(shù)據(jù)集劃分 張

(a)焊縫熱疲勞裂紋缺陷圖像(1) (b)焊縫熱疲勞裂紋缺陷圖像(2)圖1 焊縫熱疲勞裂紋超聲相控陣B

3 實(shí)驗(yàn)及分析

本文實(shí)驗(yàn)分為兩部分，均在Ubuntu20.04操作系統(tǒng)下進(jìn)行。深度學(xué)習(xí)的框架選用tensorflow2.0。為了契合卷積神經(jīng)網(wǎng)絡(luò)的輸入尺寸，本文先將原來(lái)的數(shù)據(jù)集圖片調(diào)整為224×224和299×299兩種不同分辨率的RGB圖像。

3.1 MobileNet V2與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)比

為了追求更高的準(zhǔn)確率，卷積神經(jīng)網(wǎng)絡(luò)的深度和復(fù)雜度越來(lái)越大，網(wǎng)絡(luò)模型很難運(yùn)用在移動(dòng)或者嵌入式設(shè)備上，因此近幾年越來(lái)越趨向于發(fā)展輕量化的卷積神經(jīng)網(wǎng)絡(luò)。第一部分實(shí)驗(yàn)選取MobileNetV2與具有代表性的InceptionV3[9-10]、ResNet50[11]、DenseNet121[12]卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比。模型訓(xùn)練過(guò)程中迭代次數(shù)設(shè)為50次，batch_size設(shè)為4，初始學(xué)習(xí)率設(shè)為0.001，學(xué)習(xí)率下限設(shè)為0.000001。如果訓(xùn)練過(guò)程中每迭代10次，模型在驗(yàn)證集上的準(zhǔn)確度不提升時(shí)，學(xué)習(xí)率減小2/3。對(duì)比結(jié)果見(jiàn)表2。

表2 實(shí)驗(yàn)一測(cè)試集Accuracy與Precision、Recall和F1-score對(duì)比

通過(guò)對(duì)比各個(gè)模型Accuracy和F1-score可以直觀地判斷出：迭代訓(xùn)練50次后，DenseNet121和ResNet50的分類(lèi)效果最佳；InceptionV3略低于DenseNet121和ResNet50；而MobileNetV2 的表現(xiàn)最差，且與其他3種網(wǎng)絡(luò)模型相比差距較大。雖然結(jié)果表明DenseNet121和ResNet50的分類(lèi)效果優(yōu)于MobileNetV2，但是相比于MobileNetV2，DenseNet121和ResNet50參數(shù)量巨大，內(nèi)存占用大，不適用于移動(dòng)或者嵌入式設(shè)備上。

3.2 改進(jìn)了的MobileNetV2

采用圖像分類(lèi)常用的Accuracy、Precision、Recall和F1-score幾項(xiàng)指標(biāo)來(lái)評(píng)估模型分類(lèi)效果。評(píng)估指標(biāo)計(jì)算公式

(1)

(2)

(3)

(4)

其中：TP為實(shí)際有缺陷并且被預(yù)測(cè)為有缺陷的樣本數(shù)；TN為實(shí)際無(wú)缺陷并且被預(yù)測(cè)為無(wú)缺陷的樣本數(shù)；FP為實(shí)際無(wú)缺陷但是被預(yù)測(cè)為有缺陷的樣本數(shù)；FN為實(shí)際有缺陷但是被預(yù)測(cè)為無(wú)缺陷的樣本數(shù)。

通過(guò)查看MobileNetV2在驗(yàn)證集上的準(zhǔn)確度后發(fā)現(xiàn)，MobileNetV2最終在驗(yàn)證集上的準(zhǔn)確度(Accuracy)為0.957，而測(cè)試集上的準(zhǔn)確度卻為0.908，說(shuō)明MobileNetV2發(fā)生了過(guò)擬合。為解決過(guò)擬合的問(wèn)題，本文從減緩學(xué)習(xí)速率和降低模型復(fù)雜度兩方面對(duì)MobileNetV2模型訓(xùn)練進(jìn)行改進(jìn)。

為了通過(guò)減緩學(xué)習(xí)速率來(lái)防止模型訓(xùn)練過(guò)擬合，在參數(shù)設(shè)置上將原來(lái)訓(xùn)練過(guò)程中每迭代10次、模型在驗(yàn)證集上的準(zhǔn)確度不提升時(shí)學(xué)習(xí)率減小2/3，改為每迭代5次，模型在驗(yàn)證集上的準(zhǔn)確度不提升時(shí)學(xué)習(xí)率減小2/3。

為了通過(guò)降低MobileNetV2模型的復(fù)雜度來(lái)達(dá)到防止模型訓(xùn)練過(guò)擬合的目的，本文將MobileNetV2的平均池化層前的1×1卷積去除，網(wǎng)絡(luò)最終輸出的特征向量維數(shù)也由1280下降到了320，同時(shí)在全連接層前引入了Dropout層。改進(jìn)后的MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，MobileNetV2中的瓶頸層結(jié)構(gòu)如圖3所示[13]。

圖2 改進(jìn)MobileNetV2后的網(wǎng)絡(luò)結(jié)構(gòu)

圖3 MobileNetV2中的瓶頸層結(jié)構(gòu)

上述處理一方面能夠防止模型學(xué)習(xí)到一些不必要的特征，從而防止過(guò)擬合，另一方面改進(jìn)后的MobileNetV2模型參數(shù)量由2 260 546個(gè)下降到1 843 906個(gè)，相比于原始的MobileNetV2模型下降18.4%，權(quán)重文件大小也有所減小，進(jìn)一步輕量化了模型，減小了內(nèi)存占用(各模型參數(shù)量和權(quán)重文件大小見(jiàn)表3)。改進(jìn)后模型和訓(xùn)練方式后的MobileNetV2模型(即MobileNetV2(1))測(cè)試結(jié)果見(jiàn)表4。

表3 各模型參數(shù)量和權(quán)值文件大小

表4 測(cè)試結(jié)果

MobileNetV2(1)代表改進(jìn)MobileNetV2的訓(xùn)練方法和模型結(jié)構(gòu)后模型在訓(xùn)練集上的測(cè)試結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)MobileNetV2的訓(xùn)練方法和模型結(jié)構(gòu)以后，模型在測(cè)試集上的Accuracy、Precision、Recall和F1-score分別提升了9.2%、15.1%、0.7%、8.4%，且均達(dá)到了100%，與實(shí)驗(yàn)一中的DenseNet121和ResNet50達(dá)到了相同的分類(lèi)效果，并且驗(yàn)證集上的準(zhǔn)確度也為100%。這說(shuō)明改進(jìn)MobileNetV2的訓(xùn)練方法和模型結(jié)構(gòu)以后，確實(shí)能夠防止模型過(guò)擬合，提高了模型的泛化能力，進(jìn)而提高了模型的分類(lèi)效果。

4 結(jié)束語(yǔ)

本文通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)奧氏體不銹鋼焊縫超聲相控陣B掃圖像進(jìn)行了有無(wú)缺陷的智能分類(lèi)。結(jié)果表明，雖然奧氏不銹鋼焊縫圖像噪聲較大，但是卷積神經(jīng)網(wǎng)絡(luò)可以高精度識(shí)別缺陷與非缺陷圖像。本文通過(guò)改進(jìn)輕量化卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2，在保證其準(zhǔn)確度的前提下，減小了模型的參數(shù)以及權(quán)重文件大小，優(yōu)化了內(nèi)存，有利于這項(xiàng)技術(shù)未來(lái)在移動(dòng)端上應(yīng)用。