基于改進(jìn)卷積網(wǎng)絡(luò)的鑄件視覺(jué)檢測(cè)

摘 要：為實(shí)現(xiàn)對(duì)鑄件各種不同缺陷的自動(dòng)診斷，設(shè)計(jì)一種視覺(jué)檢測(cè)系統(tǒng)對(duì)鑄造產(chǎn)品進(jìn)行外觀檢測(cè)。利用多頭自注意力模塊對(duì)圖像識(shí)別網(wǎng)絡(luò)的下采樣過(guò)程進(jìn)行增強(qiáng)，使得經(jīng)典圖像分類網(wǎng)絡(luò)能夠獲得全局特征信息，以提升模型對(duì)鑄件體外觀上細(xì)小裂紋和大范圍毛刺的識(shí)別能力。實(shí)驗(yàn)結(jié)果表明：改進(jìn)得到的卷積網(wǎng)絡(luò)對(duì)鑄件缺陷具有較高的識(shí)別準(zhǔn)確率，能夠較準(zhǔn)確地判斷鑄件缺陷類型。

關(guān)鍵詞：缺陷檢測(cè)；圖像識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；自注意力機(jī)制

中圖分類號(hào)：TP391.4" 文獻(xiàn)標(biāo)志碼：A" 文章編號(hào)：1671-5276（2024）05-0229-05

Casting Visual Detection Based on improved Convolutional Network

Abstract：For automatical diagnosing different defects in castings， a visual inspection system is designed to inspect the appearance of casting products. The multi-head self-attention module is used to enhance the downsampling process of the image recognition network， enabling the classic image classification network to obtain global feature information and promote the model's ability to identify small cracks and large-scale burrs on the appearance of castings. The experimental results show that the improved convolutional network has a higher recognition accuracy for casting defects， and can more accurately determine the type of casting defects.

Keywords：defect detection；image recognition；convolutional neural network；deep learning；self-attention mechanism

0 引言

鑄件是用各種鑄造方法獲得的金屬或者合金材料成型零件，常用作機(jī)械、建筑、航空航天和汽車等領(lǐng)域的主要零部件。由于鑄件的特殊成型方式，在制造過(guò)程中常出現(xiàn)氣孔、裂紋和夾渣等質(zhì)量問(wèn)題。這些問(wèn)題不僅影響機(jī)械零件的性能，還可能導(dǎo)致它的使用壽命大大縮短。為及時(shí)發(fā)現(xiàn)鑄件的缺陷，基于X射線的無(wú)損檢測(cè)［1］廣泛應(yīng)用于鑄件檢測(cè)中，能夠準(zhǔn)確診斷鑄件內(nèi)部缺陷。但是由于X射線的無(wú)損檢測(cè)效率較低、成本較高，通常會(huì)采用外觀檢查等人工方式進(jìn)行初步篩選。為了高效、準(zhǔn)確地篩選出有缺陷的鑄件，可通過(guò)圖像分類網(wǎng)絡(luò)對(duì)所有鑄件進(jìn)行分類，實(shí)現(xiàn)對(duì)氣孔、細(xì)小裂紋和毛刺等缺陷的初步篩選。相比人工外觀檢查等低效的篩選方式，圖像檢測(cè)系統(tǒng)［2］能夠更加高效、準(zhǔn)確地檢測(cè)鑄件的外觀缺陷。

隨著計(jì)算機(jī)視覺(jué)技術(shù)和深度學(xué)習(xí)方法的快速發(fā)展，通過(guò)圖像數(shù)據(jù)對(duì)物體進(jìn)行準(zhǔn)確分類已成為可能。2012年ILSVRC圖像分類大賽中，深度卷積結(jié)構(gòu)實(shí)現(xiàn)的AlexNet［3］一舉奪冠，2014年GoogLeNet［4］實(shí)現(xiàn)了74.8%的top-1準(zhǔn)確率，并且VGGNet［5］也實(shí)現(xiàn)了相同的精度。此外，ResNet［6］提出的殘差連接使得訓(xùn)練這些極深的網(wǎng)絡(luò)更加容易，表現(xiàn)也更好。

近幾年來(lái)，研究者們利用不同的改進(jìn)方法來(lái)提升圖像分類網(wǎng)絡(luò)的準(zhǔn)確率。Transformer［7］是一種與卷積結(jié)構(gòu)不同的模型，最開始用于解決自然語(yǔ)言處理（NLP）任務(wù)，因其表現(xiàn)出的卓越性能而迅速成為主流架構(gòu)。ViT［8］是視覺(jué)任務(wù)中應(yīng)用Transformer結(jié)構(gòu)的先驅(qū)，它通過(guò)直接堆疊的方式，在不重疊圖像塊上運(yùn)行Transformer塊來(lái)實(shí)現(xiàn)圖像識(shí)別的卓越性能。BoTNet［9］則將Transformer引入卷積結(jié)構(gòu)中，提出帶有MHSA層的ResNet瓶頸結(jié)構(gòu)的Transformer塊。Conformer［10］是CNN和Transformer并行的混合網(wǎng)絡(luò)，通過(guò)特征耦合模塊對(duì)每個(gè)階段的局部特征和全局特征之間進(jìn)行信息交互，使得Conformer同時(shí)兼具兩者的優(yōu)勢(shì)。在分類任務(wù)中，Conformer以更小的參數(shù)取得更高的準(zhǔn)確率。

基于此，本文對(duì)Conformer結(jié)構(gòu)中的Transformer分支進(jìn)行簡(jiǎn)化和改進(jìn)，提出增強(qiáng)型Transformer（enhance transformer， ET）架構(gòu)，并將其插入到ResNet和其他深度卷積網(wǎng)絡(luò)中，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)性能的增強(qiáng)以及網(wǎng)絡(luò)準(zhǔn)確率的提升。

本文主要工作有：

1）使用深度卷積網(wǎng)絡(luò)對(duì)鑄件的外觀缺陷進(jìn)行識(shí)別，搜集鑄件圖像數(shù)據(jù)集，對(duì)孔狀缺陷、毛刺和細(xì)小裂紋等圖像進(jìn)行分類處理；細(xì)化缺陷數(shù)據(jù)類別，使得缺陷診斷網(wǎng)絡(luò)能夠更加準(zhǔn)確地判斷缺陷種類，以便后期對(duì)鑄造方法進(jìn)行分析和改進(jìn)；

2）為提升深度卷積網(wǎng)絡(luò)對(duì)細(xì)小裂紋的識(shí)別準(zhǔn)確率，將Conformer中的方法加以簡(jiǎn)化和改進(jìn)，提出增強(qiáng)Transformer結(jié)構(gòu)，將該結(jié)構(gòu)插入ResNet的下采樣模塊中能夠顯著提升準(zhǔn)確率；并對(duì)此方法進(jìn)行對(duì)比試驗(yàn)，以找到最佳融合方式。

1 缺陷診斷模型

視覺(jué)診斷系統(tǒng)能夠自動(dòng)地對(duì)鑄件進(jìn)行外觀缺陷檢測(cè)，檢測(cè)的精度由圖像分類網(wǎng)絡(luò)的準(zhǔn)確率決定。通過(guò)比對(duì)大量缺陷圖片發(fā)現(xiàn)，鑄件毛刺特征和細(xì)小裂紋表現(xiàn)出的尺寸相差較大，這要求圖像分類網(wǎng)絡(luò)能夠捕捉到圖像中的全局特征和局部特征。因此，將能夠捕捉全局特征的Transformer結(jié)構(gòu)對(duì)深度卷積結(jié)構(gòu)進(jìn)行增強(qiáng)，使得網(wǎng)絡(luò)模型的局部特征和全局特征都能進(jìn)行信息交互。

如圖1所示，在一般的深度卷積結(jié)構(gòu)中插入一個(gè)Transformer模塊，與卷積計(jì)算分支組成并行的結(jié)構(gòu)，使得網(wǎng)絡(luò)模型能夠利用卷積實(shí)現(xiàn)局部特征交互，也能通過(guò)Transformer進(jìn)行全局特征信息交互。實(shí)驗(yàn)結(jié)果表明： 增強(qiáng)Transformer放在下采樣層的前面會(huì)獲得更好的表現(xiàn)。因?yàn)檫@種方法還能增強(qiáng)特征信息，使得網(wǎng)絡(luò)在下采樣過(guò)程中保留更多的特征信息。

詳細(xì)計(jì)算過(guò)程如圖2所示。在第3個(gè)Stage和第4個(gè)Stage中間加上一個(gè)Transformer模塊。從第4個(gè)Stage開始，進(jìn)行特征圖下采樣，Transformer模塊通過(guò)捕捉全局特征后合并信息流實(shí)現(xiàn)對(duì)特征信息進(jìn)行增強(qiáng)。

將第3個(gè)Stage最后一個(gè)3×3卷積的輸出特征圖分別經(jīng)過(guò)主干卷積層和增強(qiáng)Transformer結(jié)構(gòu)。該特征圖X首先經(jīng)過(guò)一個(gè)1×1卷積層，再進(jìn)行重組，變成一個(gè)B×C×H×W尺寸的特征圖X。特征圖X依次經(jīng)過(guò)多頭自注意力層（multi head self-attention， MHSA）、layer normalization（LN）層和多層感知機(jī)（multi layer perceptron， MLP），計(jì)算過(guò)程如式（1）所示。

XT=MLP（LN（MHSA（X）））（1）

多頭自注意力層中的特征圖X分別生成query、key和value，再經(jīng)過(guò)計(jì)算得到同維度的輸出結(jié)果，計(jì)算過(guò)程如式（2）所示。這個(gè)過(guò)程中，特征圖上的全局特征會(huì)進(jìn)行信息交互，并對(duì)感興趣的特征進(jìn)行加權(quán)，從而捕捉到特征圖上的全局關(guān)鍵信息。

Attention（Q，K，V）=softmax（QKT）V（2）

特征圖XT重新變形重組為B×C×H×W的特征圖，再經(jīng)過(guò)一個(gè)3×3卷積層后和主干特征圖相加。這個(gè)卷積層的作用是將特征圖XT的維度變?yōu)楹椭鞲商卣鲌D的維度一致。整個(gè)計(jì)算過(guò)程可以由式（3）表示，其中C（·）表示卷積操作，Xl和Xl－1分別表示當(dāng)前卷積層的輸出特征圖和前一個(gè)卷積層的輸出特征圖，Y表示雙分支的合并結(jié)果。

Y=XT+C1×1（Xl+C1×1（Xl－1））（3）

通過(guò)這種雙分支的方式，網(wǎng)絡(luò)模型在第4個(gè)Stage能夠感受到圖片上的局部特征和全局特征，因此對(duì)大范圍的毛刺和小尺寸的裂紋都能有較好的識(shí)別效果。并且，增強(qiáng)Transformer結(jié)構(gòu)只在低分辨率階段與卷積進(jìn)行融合，不會(huì)導(dǎo)致計(jì)算速度大幅下降。實(shí)驗(yàn)結(jié)果表明：增強(qiáng)Transformer帶來(lái)準(zhǔn)確率提升的同時(shí)，并沒(méi)有大幅度降低吞吐率，這種方法可以為圖像缺陷診斷系統(tǒng)帶來(lái)更好的檢測(cè)性能。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)中每個(gè)網(wǎng)絡(luò)均使用SGD優(yōu)化器進(jìn)行訓(xùn)練，優(yōu)化器的weight decay和momentum分別設(shè)置為0.000 1和0.9。在訓(xùn)練過(guò)程中，Batchsize設(shè)置為128，初始學(xué)習(xí)率固定為0.1，隨著實(shí)驗(yàn)進(jìn)行，學(xué)習(xí)率逐漸衰退。

在各種網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，對(duì)所有訓(xùn)練圖像運(yùn)用相同的數(shù)據(jù)增強(qiáng)方法。這里用到的數(shù)據(jù)增強(qiáng)方法為隨機(jī)裁剪和隨機(jī)水平翻轉(zhuǎn)。所有實(shí)驗(yàn)代碼基于pytorch框架實(shí)現(xiàn)，訓(xùn)練和測(cè)試過(guò)程在多張NVIDIA GeForce RTX 3090上采用并行計(jì)算完成。

2.2 對(duì)比實(shí)驗(yàn)

1）診斷模型對(duì)比實(shí)驗(yàn)

為了讓診斷模型能夠準(zhǔn)確判斷出鑄件缺陷的類型，以便后期能針對(duì)性地加以改進(jìn)，需制作包含不同類型缺陷的訓(xùn)練數(shù)據(jù)集。從各相關(guān)數(shù)據(jù)集中挑選各種不良鑄造軸承圖片，將其鑄造缺陷類別主要分為孔狀缺陷、毛刺和細(xì)微劃痕等3類，加上正常鑄件類別組成一共4個(gè)類別的數(shù)據(jù)集。其中，每個(gè)類別的訓(xùn)練圖片為190張，驗(yàn)證圖片都是10張，另外準(zhǔn)備少量跨域場(chǎng)景圖片對(duì)診斷模型進(jìn)行泛化能力測(cè)試。

采用2.1節(jié)中的實(shí)驗(yàn)參數(shù)設(shè)置，將ResNet、VGG、ResNeXt［11］、DenseNet［12］等主流分類網(wǎng)絡(luò)和這里的ResNet（ET）在鑄件診斷訓(xùn)練數(shù)據(jù)集上進(jìn)行訓(xùn)練和驗(yàn)證，其中BoT為CNN和Transformer結(jié)合網(wǎng)絡(luò)，主要特點(diǎn)為精度和計(jì)算速度表現(xiàn)都較好，實(shí)驗(yàn)結(jié)果如表1所示。相比ResNet和VGG等分類網(wǎng)絡(luò)，具有ET結(jié)構(gòu)的ResNet網(wǎng)絡(luò)實(shí)現(xiàn)了更高的準(zhǔn)確率和更快的計(jì)算速度，表明ET結(jié)構(gòu)可以作為缺陷檢測(cè)系統(tǒng)的增強(qiáng)方法，能使模型準(zhǔn)確、快速地對(duì)鑄件缺陷類型進(jìn)行分類判斷。

此外，為了驗(yàn)證本文方法對(duì)細(xì)小劃痕缺陷識(shí)別的增強(qiáng)效果，隨機(jī)選擇包含細(xì)小劃痕的鑄件圖片進(jìn)行驗(yàn)證和分析。將缺陷鑄件圖片輸入改進(jìn)診斷模型計(jì)算，并得到計(jì)算時(shí)的熱力圖，如圖3所示。圖3（a）為原圖，圖3（b）是網(wǎng)絡(luò)發(fā)現(xiàn)毛刺和細(xì)小氣孔缺陷區(qū)域的熱力圖，這正說(shuō)明它依賴于這些特征進(jìn)行缺陷分類。

2）公開數(shù)據(jù)集對(duì)比實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證改進(jìn)方法對(duì)分類網(wǎng)絡(luò)的有效性，讓ResNet、VGG、ResNeXt、DenseNet等分類網(wǎng)絡(luò)和ResNet（ET）分別在公開分類數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)集主要包括：CIFAR［13］和Tiny-ImageNet。訓(xùn)練參數(shù)與2.1節(jié)中的一致，為了讓分類網(wǎng)絡(luò)適應(yīng)小分辨率數(shù)據(jù)的尺寸，將深度卷積模型都進(jìn)行相同的修改，將下采樣次數(shù)由原本的5次減少為3次。

實(shí)驗(yàn)結(jié)果如表2所示，提出的ResNet-50（ET）在CIFAR10、CIFAR100和Tiny-ImageNet上分別比ResNet-50高0.52個(gè)百分點(diǎn)、0.85個(gè)百分點(diǎn)和0.02個(gè)百分點(diǎn)。并且在一系列公開數(shù)據(jù)集中，ResNet-101（ET）也比ResNet-101表現(xiàn)出更高的準(zhǔn)確率。此外，DenseNet在CIFAR10和CIFAR100兩個(gè)數(shù)據(jù)集上的表現(xiàn)都稍優(yōu)于ResNet（ET），但是在Tiny-ImageNet數(shù)據(jù)集上的準(zhǔn)確率表現(xiàn)較差，并且從表1可以看出它的計(jì)算速度較慢。

改進(jìn)方法能夠提升分類網(wǎng)絡(luò)的準(zhǔn)確率，但是也會(huì)引入更多參數(shù)量和計(jì)算量，因此只在第4個(gè)Stage使用改進(jìn)方法。為了對(duì)比改進(jìn)方法在網(wǎng)絡(luò)不同層插入帶來(lái)的改變，將改進(jìn)方法分別插入ResNet-50第4個(gè)Stage的第1、第2、第3個(gè)Bottleneck中，并在CIFAR100和Tiny-ImageNet上訓(xùn)練和驗(yàn)證。實(shí)驗(yàn)結(jié)果如表3所示。增強(qiáng)Transformer的位置放在下采樣Bottleneck的前面能得到較好的準(zhǔn)確率，并且插入位置越靠近頂部，模型的準(zhǔn)確率會(huì)越低。

3 結(jié)語(yǔ)

通過(guò)在ResNet下采樣過(guò)程中添加增強(qiáng)Transformer得到改進(jìn)模型，利用圖像識(shí)別對(duì)鑄件外觀缺陷檢測(cè)。實(shí)驗(yàn)表明改進(jìn)后的圖像識(shí)別模型能夠更精確地對(duì)缺陷圖像進(jìn)行分類。在深度卷積結(jié)構(gòu)中插入Transformer模塊，使得網(wǎng)絡(luò)可以進(jìn)行局部或全局特征信息交互，從而增強(qiáng)特征信息，對(duì)大范圍毛刺和細(xì)小劃痕缺陷都能準(zhǔn)確識(shí)別。ResNet（ET）不僅能夠在圖像識(shí)別任務(wù)中獲得較高的準(zhǔn)確率，同時(shí)它的計(jì)算速度并未下降，ResNet（ET）相比同類型的網(wǎng)絡(luò)架構(gòu)表現(xiàn)出更好的泛化性能。

參考文獻(xiàn)：

［1］ 張國(guó)寶，楊為，趙恒陽(yáng)，等. 基于X射線三維成像技術(shù)的在役GIS盆式絕緣子缺陷檢測(cè)［J］. 高壓電器，2022，58（10）：230-236.

［2］ 周祺智，馬萬(wàn)太. 基于局部分類的鋁合金低倍組織圖像分割［J］. 機(jī)械制造與自動(dòng)化，2022，51（4）：129-132.

［3］ KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM，2017，60（6）：84-90.

［4］ SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston，MA，USA： IEEE，2015：1-9.

［5］ SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2022-10-20］. http：//arxiv. org/abs/1409.1556.

［6］ HE K M，ZHANG X Y，REN S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas，NV，USA： IEEE，2016：770-778.

［7］ VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all You need［EB/OL］. （2017-06-12）［2022-10-20］. https：//arxiv.org/abs/1706.03762.

［8］ DOSOVITSKIY A，BEYER L，KOLESNIKOV A，et al. An image is worth 16x16 words：transformers for image recognition at scale［EB/OL］. （2020-10-22）［2022-10-20］. https：//arxiv.org/abs/2010.11929.

［9］ SRINIVAS A，LIN T Y，PARMAR N，et al. Bottleneck transformers for visual recognition［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville，TN，USA： IEEE，2021：16514-16524.

［10］ PENG Z L，HUANG W，GU S Z，et al. Conformer：local features coupling global representations for visual recognition［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal，QC，Canada： IEEE，2022：357-366.

［11］ XIE S N，GIRSHICK R，DOLLR P，et al. Aggregated residual transformations for deep neural networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA： IEEE，2017：5987-5995.

［12］ HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely connected convolutional networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu，HI，USA： IEEE，2017：2261-2269.

［13］ KRIZHEVSKY A. Learning multiple layers of features from tiny images［R］.Toronto， Canada： University of Toronto，2009.