基于深度學(xué)習(xí)與域自適應(yīng)的工件渦流熱成像的缺陷檢測

張 毅，范玉剛

〈無損檢測〉

基于深度學(xué)習(xí)與域自適應(yīng)的工件渦流熱成像的缺陷檢測

張 毅1,2，范玉剛1,2

（1. 昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500；2.云南省人工智能重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500）

機(jī)械設(shè)備運(yùn)行過程中，標(biāo)記的故障樣本量小，導(dǎo)致建立的模型故障診斷準(zhǔn)確率低，為此本文提出一種結(jié)合深度學(xué)習(xí)與域自適應(yīng)的工件渦流熱成像的缺陷檢測方法。首先將注意力機(jī)制引入深度殘差網(wǎng)絡(luò)ResNet50中，加強(qiáng)模型的特征提取能力；然后將源域和目標(biāo)域數(shù)據(jù)送入改進(jìn)的ResNet50網(wǎng)絡(luò)中提取深度特征，并且在網(wǎng)絡(luò)的全連接層中引入局部最大均值差異，用于縮小兩域特征間的分布差異，以此實(shí)現(xiàn)相關(guān)子域的分布對齊；最后在網(wǎng)絡(luò)的Softmax分類器中實(shí)現(xiàn)對工件金屬材料的缺陷檢測。在公開的磁瓦數(shù)據(jù)集和本文實(shí)驗(yàn)采集的金屬板渦流紅外圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，本文方法對渦流紅外圖像的裂紋缺陷檢測識(shí)別準(zhǔn)確率較高，通過t分布隨機(jī)鄰居嵌入方法對分析結(jié)果可視化，驗(yàn)證了本文方法的優(yōu)越性。

渦流熱成像；深度殘差網(wǎng)絡(luò)；注意力機(jī)制；域自適應(yīng)；局部最大均值差異

0 引言

工業(yè)生產(chǎn)中的金屬材料在使用過程中可能會(huì)產(chǎn)生劃痕、裂紋等損傷缺陷，從而影響設(shè)備的正常運(yùn)行，甚至危及人身安全，因而對金屬材料中的損傷缺陷進(jìn)行檢測具有重要意義。渦流脈沖熱成像檢測作為新興的無損檢測技術(shù)，具有非接觸性、檢測速度快等優(yōu)點(diǎn)[1]，因而被廣大研究者應(yīng)用于工業(yè)中金屬材料的探傷檢測。如Peng等[2]采用快速傅里葉變換和主成分分析消除非均勻加熱影響來增強(qiáng)紅外圖像的裂紋特征，成功檢測出銅棒裂紋位置和形狀。Yi等[3]通過渦流熱成像檢測技術(shù)，提出用核主成分分析和低秩稀疏建模方法，增強(qiáng)缺陷區(qū)域特征，實(shí)現(xiàn)了金屬表面裂紋深度的檢測。

因此基于圖像分析的檢測方法能夠有效識(shí)別設(shè)備的金屬裂紋，但上述文獻(xiàn)無法實(shí)現(xiàn)自適應(yīng)地提取缺陷圖像的特征信息。近年來深度學(xué)習(xí)方法在圖像識(shí)別、缺陷檢測等方向取得了較好的效果，它能夠自動(dòng)地學(xué)習(xí)輸入數(shù)據(jù)的深度特征。但深度學(xué)習(xí)方法的訓(xùn)練需要足量的數(shù)據(jù)，且訓(xùn)練的數(shù)據(jù)和測試的數(shù)據(jù)要具有相同的分布[4]，實(shí)際的工業(yè)生產(chǎn)中，工況多變，訓(xùn)練和測試樣本數(shù)據(jù)同分布的要求難以得到滿足。

為解決以上問題，多種深度遷移學(xué)習(xí)方法被提出，例如基于特征遷移的深度學(xué)習(xí)方法。特征遷移的核心思路是通過適當(dāng)?shù)奶卣髯儞Q將源域和目標(biāo)域的數(shù)據(jù)映射到一個(gè)公共的特征空間，并通過特征對齊來減小領(lǐng)域間的分布差異，然后利用源域的標(biāo)簽數(shù)據(jù)訓(xùn)練目標(biāo)域的分類器[5]。特征遷移學(xué)習(xí)方法在許多領(lǐng)域得到發(fā)展和應(yīng)用，例如Long等[6]提出的DAN深度適配網(wǎng)絡(luò)同時(shí)適配3個(gè)全連接層，且提出了多核MMD（Maximum mean discrepancy）來度量兩域之間的分布差異。Ganin等[7]引入生成對抗網(wǎng)絡(luò)（Generative adversarial networks, GAN）[8]思想提出領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)（Domain adversarial neural network, DANN），將生成對抗網(wǎng)絡(luò)的生成器視為特征提取器，將生成對抗網(wǎng)絡(luò)的判別器視為域適應(yīng)器，因而提取出源域和目標(biāo)域的共同特征實(shí)現(xiàn)遷移。王等[9]聯(lián)合生成對抗網(wǎng)絡(luò)和多核MMD最小化域間距離，提出了基于生成對抗網(wǎng)絡(luò)和距離度量的聯(lián)合分類模型。

以上文獻(xiàn)聚焦于源域和目標(biāo)域進(jìn)行全局特征對齊研究，缺乏對源域和目標(biāo)域相同類別間關(guān)系的深入研究，故本文在特征提取網(wǎng)絡(luò)ResNet50的基礎(chǔ)上引入CBAM注意力機(jī)制，使得網(wǎng)絡(luò)更加關(guān)注圖像的重點(diǎn)區(qū)域，以此來提高網(wǎng)絡(luò)的特征提取能力，并引用局部最大均值差異（Local maximum mean discrepancy, LMMD）[10]作為子領(lǐng)域自適應(yīng)對齊算法，用來度量源域和目標(biāo)域特征的分布差異，通過最小化該差異損失優(yōu)化訓(xùn)練模型，并將得到的特征遷移深度學(xué)習(xí)模型應(yīng)用于金屬板材料缺陷的檢測問題。

1 領(lǐng)域自適應(yīng)

1.1 全局域自適應(yīng)與子領(lǐng)域自適應(yīng)

領(lǐng)域自適應(yīng)實(shí)質(zhì)就是把提取的源域和目標(biāo)域數(shù)據(jù)特征映射到可再生核希爾伯特空間（Reproducing kernel Hilbert space, RKHS）中來減小兩領(lǐng)域間的分布差異。實(shí)行全局域自適應(yīng)后，源域和目標(biāo)域的全局特征得到對齊，但兩域間不同類別的特征樣本并沒有明顯地分開，影響了分類的準(zhǔn)確性。而經(jīng)過子領(lǐng)域自適應(yīng)后，源域和目標(biāo)域不僅全局特征得到對齊，而且兩域中不同類別的特征很好地得以分開，且同類別間的特征分布更為緊密，因此子領(lǐng)域自適應(yīng)可以改善全局域自適應(yīng)分類精度較差的情況。兩種領(lǐng)域自適應(yīng)的思想如圖1所示。

圖1 領(lǐng)域自適應(yīng)示意圖

1.2 最大均值差異度量算法

2 融合注意力的ResNet50網(wǎng)絡(luò)和子領(lǐng)域自適應(yīng)的工件缺陷檢測模型

2.1 融合CBAM注意力機(jī)制的ResNet50特征提取模塊

卷積注意力模塊（Convolutional block attention module, CBAM）[12]是一種結(jié)合了通道注意力和空間注意力的綜合注意力模塊，CBAM結(jié)構(gòu)如圖2所示[13]。輸入特征圖∈R××，先經(jīng)過通道注意力模塊得到其權(quán)值C()，再經(jīng)過空間注意力模塊得到其權(quán)值S(￠)，整個(gè)過程計(jì)算公式如(3)、(4)所示。

￠＝C()?(3)

2＝S(￠)?￠(4)

圖2 CBAM模塊結(jié)構(gòu)圖

由于隨著網(wǎng)絡(luò)模型的加深，會(huì)相繼出現(xiàn)梯度消失和網(wǎng)絡(luò)退化的問題，因此本文選擇了采用殘差塊的ResNet50[14]網(wǎng)絡(luò)模型，殘差塊的存在使得網(wǎng)絡(luò)層之間能夠進(jìn)行短連接，緩解了梯度爆炸和梯度消失問題，提高了模型的穩(wěn)定性。

ResNet50網(wǎng)絡(luò)在提取特征中沒有重點(diǎn)的關(guān)注喜好，本文希望網(wǎng)絡(luò)模型在對工件進(jìn)行檢測訓(xùn)練時(shí)能更多地關(guān)注缺陷的部位，而忽略不重要的背景信息，從而提高模型檢測識(shí)別的正確率。因此本文將CBAM注意力模塊引入ResNet50網(wǎng)絡(luò)中，實(shí)驗(yàn)采用在ImageNet上預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)，在引入CBAM模塊時(shí)不改變ResNet50的殘差結(jié)構(gòu)，所以分別在第一層卷積和最后一層卷積后面加入CBAM模塊，融合CBAM機(jī)制的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1所示。

2.2 子領(lǐng)域自適應(yīng)模塊

本文使用局部最大均值差異來測量兩領(lǐng)域間相關(guān)子領(lǐng)域的分布差異，其公式為：

式中：是兩域的類別數(shù)；w,jt和分別是樣本xs和xt屬于類別的權(quán)重，其計(jì)算公式為：

表1 添加CBAM的ResNet50網(wǎng)絡(luò)結(jié)構(gòu)

本文使用真實(shí)標(biāo)簽ys的one-hot得出源域中類樣本的權(quán)重w,is。目標(biāo)域中樣本由于沒有標(biāo)簽，故無法使用yt來計(jì)算目標(biāo)域中對應(yīng)的權(quán)重，但卷積神經(jīng)網(wǎng)絡(luò)的輸出是概率分布，它可以表示樣本x屬于某個(gè)類別的概率大小，故而使用卷積神經(jīng)網(wǎng)絡(luò)的Softmax分類器來預(yù)測目標(biāo)域中的標(biāo)簽，從而得出樣本xt是類的權(quán)重w,jt。

對于輸入的源域和目標(biāo)域數(shù)據(jù)，經(jīng)過本文改進(jìn)的ResNet50網(wǎng)絡(luò)的全連接層中提取得到對應(yīng)特征zs和zt，于是將其映射到可再生核希爾伯特空間進(jìn)行特征對齊，因此可將公式(5)重新計(jì)算得到：

2.3 網(wǎng)絡(luò)模型的整體結(jié)構(gòu)

本文通過融合CBAM注意力的ResNet50特征提取網(wǎng)絡(luò)模塊和子領(lǐng)域自適應(yīng)模塊，搭建了工件的缺陷檢測模型，其結(jié)構(gòu)如圖3所示，首先將注意力機(jī)制CBAM模塊添加到ResNet50中，提取源域和目標(biāo)域數(shù)據(jù)的深度特征，并將網(wǎng)絡(luò)的參數(shù)共享，同時(shí)將子領(lǐng)域自適應(yīng)層設(shè)在網(wǎng)絡(luò)的全連接層[10]，以便在此層中使用局部最大均值差異來實(shí)現(xiàn)兩域中相關(guān)子領(lǐng)域的特征對齊，最后用網(wǎng)絡(luò)模型中的Softmax分類器對金屬板材料的紅外熱圖像進(jìn)行缺陷的檢測識(shí)別。

2.4 模型的目標(biāo)函數(shù)

式中：J(,)是交叉熵?fù)p失函數(shù)；dlmmd(,)是子領(lǐng)域自適應(yīng)的分布距離函數(shù)；l＞0，是權(quán)衡超參數(shù)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)平臺(tái)和數(shù)據(jù)采集

渦流熱成像實(shí)驗(yàn)平臺(tái)由渦流加熱裝置和紅外熱像儀組成，圖4為實(shí)驗(yàn)的渦流加熱設(shè)備和有缺陷的金屬板材料。實(shí)驗(yàn)時(shí)給裝置通電，給被測金屬材料渦流加熱，然后用紅外熱像儀拍攝金屬板材料的紅外圖像，從而得到實(shí)驗(yàn)的紅外圖像數(shù)據(jù)。

圖4 渦流加熱設(shè)備（左）和缺陷金屬板（右）

Fig.4 Eddy current heating equipment (left) and defective metal plate (right)

本文實(shí)驗(yàn)?zāi)M工業(yè)生產(chǎn)設(shè)備的金屬材料工件，選用并加工了有裂紋缺陷的金屬板和無缺陷的完好的金屬板作為實(shí)驗(yàn)中的兩大類別，以此來驗(yàn)證本文提出網(wǎng)絡(luò)模型的性能優(yōu)劣。對工件材料加工時(shí)分別設(shè)置了有缺陷的裂紋長度為4mm、8mm、10mm、20mm，以滿足不同長度裂紋缺陷的檢測實(shí)驗(yàn)，提高實(shí)驗(yàn)的豐富性和可靠性，裂紋的寬度均為1.5mm，考慮到加工誤差，裂紋缺陷的尺寸會(huì)和標(biāo)注數(shù)據(jù)有0.2mm的誤差，本實(shí)驗(yàn)加工的裂紋缺陷均在金屬材料的表面。通過渦流設(shè)備對金屬材料的加熱和紅外熱像儀采集圖像數(shù)據(jù)，本實(shí)驗(yàn)采集得到的紅外圖像分辨率為320×240，紅外圖像集分別有裂紋缺陷和無裂紋缺陷兩種類型。在實(shí)際的機(jī)械設(shè)備運(yùn)行過程中，工況多變，標(biāo)記的故障樣本量小，為此本文提出一種結(jié)合深度學(xué)習(xí)與域自適應(yīng)的工件渦流熱成像的缺陷檢測方法，所以還需要選擇一個(gè)相似的領(lǐng)域數(shù)據(jù)集來進(jìn)行實(shí)驗(yàn)，于是選擇了中科院自動(dòng)化所收集的磁瓦數(shù)據(jù)集[16]作為其相似領(lǐng)域來進(jìn)行遷移學(xué)習(xí)的實(shí)驗(yàn)。因本實(shí)驗(yàn)采集的數(shù)據(jù)集有無裂紋缺陷和有裂紋缺陷兩種類別，所以從磁瓦數(shù)據(jù)集中也選用了對應(yīng)的類別進(jìn)行實(shí)驗(yàn)。同時(shí)由于實(shí)驗(yàn)采集的圖像是彩色的RGB圖像，因此需要先對磁瓦數(shù)據(jù)集的兩種類型的黑白圖像進(jìn)行處理轉(zhuǎn)化為RGB圖像后再進(jìn)行本文模型方法的相關(guān)實(shí)驗(yàn)，根據(jù)源域數(shù)據(jù)集相關(guān)資料，盡量還原了真實(shí)的RGB色彩，以便和本文的紅外圖像進(jìn)行領(lǐng)域適應(yīng)的遷移學(xué)習(xí)。如圖5為實(shí)驗(yàn)數(shù)據(jù)集示例。

圖5 實(shí)驗(yàn)數(shù)據(jù)集示例

本文中實(shí)驗(yàn)的兩個(gè)領(lǐng)域的樣本存在數(shù)目不均衡的問題，為了更好地訓(xùn)練模型，驗(yàn)證實(shí)驗(yàn)方法的性能，因此使用翻轉(zhuǎn)、縮放、裁剪，旋轉(zhuǎn)等一些數(shù)據(jù)增強(qiáng)的方式得到了相對均衡的數(shù)據(jù)樣本。故最后得到磁瓦數(shù)據(jù)集的裂紋缺陷圖像460張，無裂紋缺陷圖像434張，本實(shí)驗(yàn)得到的金屬板紅外圖像數(shù)據(jù)集的裂紋缺陷圖像380張，無裂紋缺陷圖像320張。將兩域的數(shù)據(jù)集根據(jù)有無裂紋缺陷各自按照8:1:1的比例劃分訓(xùn)練集，驗(yàn)證集和測試集。實(shí)驗(yàn)包含兩種域遷移：磁瓦數(shù)據(jù)集→金屬板數(shù)據(jù)集，金屬板數(shù)據(jù)集→磁瓦數(shù)據(jù)集，因本文主要應(yīng)用網(wǎng)上公開的缺陷數(shù)據(jù)集來實(shí)現(xiàn)對我所實(shí)驗(yàn)的金屬材料紅外圖像的缺陷檢測識(shí)別，所以更多關(guān)注的是從磁瓦數(shù)據(jù)集到金屬板數(shù)據(jù)集的遷移任務(wù)的準(zhǔn)確率。

3.2 實(shí)驗(yàn)配置和實(shí)驗(yàn)對比

本文實(shí)驗(yàn)都使用基于Python 3.7的Pytorch深度學(xué)習(xí)框架，CPU為i5-11400H，GPU為GeForce RTX 3060，RAM為16GB。模型訓(xùn)練的迭代輪數(shù)保持一致，使用隨機(jī)梯度下降法（Stochastic gradient descent，SGD），動(dòng)量設(shè)置為0.9，學(xué)習(xí)率的調(diào)整公式為＝0/(1＋)，其中訓(xùn)練時(shí)服從0到1的線性變化，0＝0.01,＝10,＝0.75。

為對比證明本文方法的優(yōu)越性，于是設(shè)置了幾組不同方法的模型來進(jìn)行對比實(shí)驗(yàn)。一是經(jīng)過網(wǎng)絡(luò)數(shù)據(jù)集預(yù)訓(xùn)練后的微調(diào)ResNet50網(wǎng)絡(luò)模型，二是度量距離為多核最大均值差異（Multipe Kernel Maximum Mean Discrepancy，MK-MMD）的DAN模型，三是未添加注意力機(jī)制，采用局部最大均值差異（Local Maximum Mean Discrepancy，LMMD）度量距離的ResNet50_LMMD模型，四是本文的添加CBAM注意力模塊的改進(jìn)ResNet50網(wǎng)絡(luò)，用局部最大均值差異度量距離的模型。幾種模型實(shí)驗(yàn)的環(huán)境條件和配置相同，實(shí)驗(yàn)設(shè)定100輪次，本文方法訓(xùn)練集和測試集的檢測精度如圖6所示。可以看出，訓(xùn)練集和測試集在30輪左右達(dá)到穩(wěn)定，且精度相差不大，說明模型是穩(wěn)定可靠的。

圖6 訓(xùn)練集和測試集精度對比圖

各個(gè)不同模型的檢測精度對比如表2所示，可以明顯看出本文提出的方法平均精度為88.52%，好于對比的其他模型，表明本文提出的模型通過對齊同類子領(lǐng)域，能得到領(lǐng)域間更細(xì)節(jié)的信息，使得不同領(lǐng)域間同類別聯(lián)系更為緊密，不同類別間的類間距分得更開，同時(shí)和方法3相比可知添加注意力機(jī)制后檢測精度得到大約1.3%的提升，驗(yàn)證了模型的優(yōu)越性。同時(shí)圖7展示了磁瓦數(shù)據(jù)集到金屬板數(shù)據(jù)集訓(xùn)練得到的準(zhǔn)確率的對比效果，相同輪次下，可以看到其余方法在20個(gè)epoch左右達(dá)到收斂，隨后細(xì)微振蕩，而本文提出的方法收斂速度較慢，原因是在ResNet50網(wǎng)絡(luò)基礎(chǔ)上加入了CBAM注意力模塊，增加了網(wǎng)絡(luò)的復(fù)雜度，所以檢測消耗的時(shí)間較不添加CBAM模塊的時(shí)間增加了大約2.5s，但是檢測缺陷的準(zhǔn)確率得到了提升。

表2 不同模型的檢測精度

Magnetic tile data set→sheet metal data set

3.3 實(shí)驗(yàn)結(jié)果可視化

為了更加直觀地體現(xiàn)出本文方法的優(yōu)點(diǎn)，實(shí)驗(yàn)選擇了源域?yàn)榇磐邤?shù)據(jù)集，目標(biāo)域?yàn)楸疚牟杉慕饘侔宓募t外圖像數(shù)據(jù)集作為可視化對比，利用t-SNE（t-distributed stochastic neighbor embedding）算法[17]將源域和目標(biāo)域部分?jǐn)?shù)據(jù)的特征值映射為二維空間，然后在二維空間里將其特征可視化。幾種對比方法的特征可視化效果如圖8所示，其中S代表源域，T代表目標(biāo)域，S-0表示源域中無缺陷的樣本，S-1表示源域中裂紋缺陷的樣本。由圖可知，僅采用經(jīng)過預(yù)訓(xùn)練微調(diào)的ResNet50模型提取通用特征能力強(qiáng)，一個(gè)域內(nèi)的同類別間的聚類效果好，但不同領(lǐng)域相同類別就沒有很好地聚類。采用多核MMD（MK-MMD）的DAN模型展現(xiàn)出一定的特征對齊能力，但未考慮兩域子領(lǐng)域的分布對齊，不同領(lǐng)域的同類別間聚類效果不是很好。而采用子領(lǐng)域自適應(yīng)模型的ResNet50_LMMD和本文方法在對齊全局域分布的同時(shí)還實(shí)現(xiàn)了對齊同類子領(lǐng)域的分布，另外本文方法融入注意力機(jī)制，提升了特征提取能力，可以看出兩域間相同類別密切地聚集在一起，得到了不錯(cuò)的聚類效果，充分證實(shí)了本文方法的有效性和優(yōu)越性。

圖8 不同方法的t-SNE特征可視化

4 結(jié)論

通過引入特征遷移學(xué)習(xí)思想，建立局部最大均值差異衡量指標(biāo)，縮小了源域和目標(biāo)域數(shù)據(jù)特征間的分布差異，實(shí)現(xiàn)了相關(guān)子域的分布對齊?；谔卣鬟w移學(xué)習(xí)思想建立的金屬板材料裂紋的缺陷識(shí)別模型，解決了數(shù)據(jù)集中裂紋缺陷樣本量少，訓(xùn)練和測試樣本難以同分布的問題。提出的基于深度學(xué)習(xí)與子領(lǐng)域自適應(yīng)的工件渦流熱成像的缺陷檢測模型，在ResNet50網(wǎng)絡(luò)添加CBAM注意力機(jī)制，提高了模型對于缺陷區(qū)域特征的關(guān)注度，可以聚焦于缺陷特征的提取，提升模型缺陷檢測能力。通過相關(guān)實(shí)驗(yàn)對比，并使用t-SNE算法對幾種對比實(shí)驗(yàn)提取的特征進(jìn)行可視化，驗(yàn)證了所提模型的有效性，提升了金屬板材料裂紋缺陷的檢測精度。

[1] 李寶蕓, 范玉剛, 高陽. 基于OTSU和Canny算子的紅外圖像特征提取[J]. 陜西理工大學(xué)學(xué)報(bào): 自然科學(xué)版, 2019, 35(6): 33-40. LI Baoyun, FAN Yugang, GAO Yang. Infrared image feature extraction based on OTSU and Canny operator[J].:, 2019, 35(6): 33-40.

[2] PENG Y, HUANG S, HE Y, et al. Eddy current pulsed thermography for noncontact nondestructive inspection of motor winding defects[J]., 2020, 20(5): 2625-2634.

[3] YI Q, Malekmohammadi H, TIAN G Y, et al. Quantitative evaluation of crack depths on thin aluminum plate using eddy current pulse-compression thermography[J]., 2021, 16(6): 3963-3973.

[4] 董紹江, 朱朋, 裴雪武, 等. 基于子領(lǐng)域自適應(yīng)的變工況下滾動(dòng)軸承故障診斷[J]. 吉林大學(xué)學(xué)報(bào): 工學(xué)版, 2022, 52(2): 288-295. DONG Shaojiang, ZHU Peng, PEI Xuewu, et al. Fault diagnosis of rolling bearing under variable operating conditions based on subdomain adaptation[J].:, 2022, 52(2): 288-295.

[5] 姜萬錄, 岳毅, 張淑清, 等. 基于特征遷移學(xué)習(xí)的變工況下軸向柱塞泵故障診斷[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2022, 38(5): 45-55. JIANG Wanlu, Yue Yi, ZHANG Shuqing, et al. Axial piston pump fault diagnosis under variable working conditions based on feature transfer learning[J]., 2022, 38(5): 45-55.

[6] LONG M S, CAO Y, WANG J, et al. Learning transferable features with deep adaptation networks[C]//, 2015: 97-105.

[7] Ganin Y, Ustinova E, Ajakan H, et al. Domain-adversarial training of neural networks[J]., 2016, 17(1): 2096-2030.

[8] 陳佛計(jì), 朱楓, 吳清瀟, 等. 生成對抗網(wǎng)絡(luò)及其在圖像生成中的應(yīng)用研究綜述[J].計(jì)算機(jī)學(xué)報(bào), 2021, 44(2): 347-369. CHEN Foji, ZHU Feng, WU Qingxiao, et al. A survey about image generation with generative adversarial nets[J]., 2021, 44(2): 347-369.

[9] 王格格, 郭濤, 余游, 等. 基于生成對抗網(wǎng)絡(luò)的無監(jiān)督域適應(yīng)分類模型[J]. 電子學(xué)報(bào), 2020, 48(6): 1190-1197. WANG Gege, GUO Tao, YU You, et al. Unsupervised domain adaptation classification model based on generative adversarial network[J].2020, 48(6): 1190-1197.

[10] ZHU Y C, ZHUANG F Z, WANG J D, et al. Deep subdomain adaptation network for image classification[J]., 2020(99): 1-10.

[11] Gretton A, Borgwardt K M, Rasch M J, et al. A kernel two-sample test[J]., 2012, 13: 723-773.

[12] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//, 2018: 3-19.

[13] 郝帥, 張旭, 馬旭, 等. 基于CBAM-YOLOv5的煤礦輸送帶異物檢測[J].煤炭學(xué)報(bào), 2021, 1644: 1-11. HAO Shuai, ZHANG Xu, MA Xu, et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J].2021, 1644: 1-11.

[14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//, 2016: 770-778.

[15] 吳靜然, 劉建華, 崔冉. 子域適應(yīng)無監(jiān)督軸承故障診斷[J]. 振動(dòng)與沖擊, 2021, 40(15): 34-40. WU Jingran, LIU Jianhua, CUI Ran. Sub-domain adaptive unsupervised bearing fault diagnosis[J]., 2021, 40(15): 34-40.

[16] HUANG Y B, QIU C Y, YUAN K. Surface defect saliency of magnetic tile[J]., 2020, 36(1): 85-96.

[17] Laurens V D M, Hinton G. Visualizing data using t-SNE[J]., 2008, 9(2605): 2579-2605.

Defect Detection of Eddy Current Thermal Imaging of Workpiece Based on Deep Learning and Domain Adaptation

ZHANG Yi1,2，F(xiàn)AN Yugang1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China; 2. Key Laboratory of Artificial Intelligence in Yunnan Province, Kunming 650500, China)

When operating mechanical equipment, the number of fault samples marked is small, which leads to low accuracy of the fault diagnosis of the established model. Therefore, this study proposes a defect detection method for eddy current thermal imaging of a workpiece that combines depth learning and domain adaptation. First, the attention mechanism is introduced into the deep residual network ResNet50 to enhance the feature extraction capability of the model. Then, the source and target domain data are sent into the improved ResNet50 network to extract the depth features. The local maximum mean difference is introduced into the full connection layer of the network to reduce the distribution difference between the two domain features to achieve the distribution alignment of related sub-domains. Finally, workpiece metal material defects were detected in the Softmax classifier of the network. The experiment was conducted on the open magnetic tile dataset and eddy current infrared image dataset of the metal plate collected during the experiment. The results show that the method proposed in this paper is highly accurate in detecting and recognizing crack defects in eddy current infrared images. The advantages of the method in this study were verified by visualizing the analysis results using the t-distribution random neighbor embedding method.

eddy current thermal imaging, deep residual network, attention mechanism, domain adaptation, local maximum mean discrepancy

TP391

A

1001-8891(2024)03-0347-07

2022-11-15；

2023-01-31.

張毅（1997-），男，四川眉山人，碩士研究生，主要從事渦流熱成像缺陷檢測、圖像處理。E-mail：1946552068@qq.com。

范玉剛（1973-），男，山東省威海市人，副教授，主要從事渦流熱成像檢測技術(shù)、圖像處理。E-mail：km72905566372@qq.com。

云南省科技廳項(xiàng)目（KKPT202203010）。