改進(jìn)mixed-segdec-net的金屬表面缺陷檢測方法

彭 寧，吳 浩*，王 盛，宋 弘，劉 梅

(1.四川輕化工大學(xué) 人工智能四川省重點(diǎn)實驗室，四川 宜賓 644000；2.四川輕化工大學(xué) 自動化與信息工程學(xué)院，四川 宜賓 644000；3.阿壩師范學(xué)院，四川 阿壩 623002；4.四川啟?？丝萍加邢薰?，四川 綿陽 621050)

0 引言

一直以來，金屬表面的缺陷檢測都是工業(yè)生產(chǎn)過程的關(guān)鍵，在工業(yè)生產(chǎn)中難免會對金屬表面造成如臟點(diǎn)、裂紋、碰傷和壓痕等損傷。為了使工業(yè)產(chǎn)品滿足要求，需要確保產(chǎn)品的金屬表面不存在任何缺陷。傳統(tǒng)的表面缺陷檢測都是人工借助外界設(shè)備進(jìn)行的，由于檢測的標(biāo)準(zhǔn)不一，導(dǎo)致存在誤檢、漏檢及效率低等問題。

傳統(tǒng)的圖像處理方法可以快速獲取缺陷特征，如Sobel[1]，Canny[2]，Prewiit[3]和LBP[4]等，并利用這些特征進(jìn)行匹配和識別其中的缺陷，但是這些方法很容易受到外界因素的影響，如燈光、噪聲等。近些年，基于深度學(xué)習(xí)的方法能夠利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，建立起有效的網(wǎng)絡(luò)模型，在缺陷檢測中取得了有效的成果。目前主要分為以SSD[5]，YOLO[6]為代表的單階段目標(biāo)檢測網(wǎng)絡(luò)和Faster-RCNN[7]為代表的兩階段目標(biāo)檢測網(wǎng)絡(luò)2個部分。Zhang等[8]對SSD進(jìn)行優(yōu)化，通過將多尺度感受野模塊和路徑聚合網(wǎng)絡(luò)(PANet)中雙向特征金字塔的層間特征融合策略融入SSD，克服了人工目視檢測稀土磁性材料表面缺陷的局限性。Cheng等[9]通過對YOLOv3的特征圖采集網(wǎng)絡(luò)進(jìn)行改進(jìn)，并增加尺寸識別模塊和輸出網(wǎng)絡(luò)層的殘差網(wǎng)絡(luò)，有效提高小目標(biāo)檢測的準(zhǔn)確率。Jiang等[10]通過對YOLOv5進(jìn)行改進(jìn)，利用平衡特征金字塔結(jié)構(gòu)和全局上下文塊來增強(qiáng)特征融合和特征提取能力，成功降低了在交通標(biāo)志檢測的誤檢率。Zhang等[11]對Faster-RCNN進(jìn)行改進(jìn)，主要將遷移學(xué)習(xí)與ResNet-101進(jìn)行融合。實驗表明，該方法在連接器焊點(diǎn)缺陷檢測上得到很大的改進(jìn)，平均檢測精度可達(dá)94%，對某些缺陷的檢出率甚至可達(dá)100%。

目前，mixde-segdec-net算法相比于其他網(wǎng)絡(luò)在工業(yè)金屬表面缺陷檢測中具備精度高、低漏檢和低誤檢的優(yōu)勢。本文以mixde-segdec-net為基礎(chǔ)，構(gòu)建基于ECB的InceptionA模塊增強(qiáng)了網(wǎng)絡(luò)對尺度的適應(yīng)能力，然后引入基于注意力機(jī)制的殘差網(wǎng)絡(luò)模塊CRASNet，解決網(wǎng)絡(luò)中網(wǎng)絡(luò)退化及梯度退散問題，同時使用深度殘差卷積層來構(gòu)建分類網(wǎng)絡(luò)中新的卷積層，降低了網(wǎng)絡(luò)的參數(shù)量和計算量。最后通過對比實驗和消融實驗突出了本文算法的有效性。

1 mixed-segdec-net算法

1.1 網(wǎng)絡(luò)基本結(jié)構(gòu)

mixde-segdec-net算法[15]是一種基于語義分割和決策分類的二階段網(wǎng)絡(luò)，其中分割網(wǎng)絡(luò)采用精細(xì)的像素級信息，分類網(wǎng)絡(luò)采用粗糙的圖像級信息。相比于單階段的U-Net，DeepLabv3網(wǎng)絡(luò)以及商業(yè)軟件Cognex ViDi Suite，其在檢測精度和檢測速度上都有很大的提升。網(wǎng)絡(luò)的整體框架如圖1所示。

圖1 mixde-segdec-net網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 mixde-segdec-net network structure

分割網(wǎng)絡(luò)在每個卷積層后都連接了BN層和ReLU，目的是為了更好地提高訓(xùn)練過程中的收斂速度，使模型更加穩(wěn)定，并防止過擬合和梯度消失。由于卷積層的權(quán)重共享機(jī)制提供了足夠的正則化，因此在該網(wǎng)絡(luò)中不使用Dropout。在分割網(wǎng)絡(luò)中的池化層和最后一層采用大卷積核的目的在于增加感受野，從而可以保留圖像中小而重要的特征信息。

分類網(wǎng)絡(luò)的最后采用連接一個全局最大池化層和一個全局平均池化層進(jìn)行參數(shù)縮減和特征融合，得到了2個32×1的特征向量。同時還把分割網(wǎng)絡(luò)得到的分割輸出圖連接一個全局最大池化層和一個全局平均池化層，得到2個1×1的特征向量，并最終采用全連接層將這4個特征向量連接起來作為輸出。這樣設(shè)計分類網(wǎng)絡(luò)不僅可以完整地保留缺陷特征，還可以防止訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象。

1.2 損失函數(shù)

mixde-segdec-net算法為了實現(xiàn)端到端學(xué)習(xí)，將損失、分割損失以及分類損失組成了一個新的損失函數(shù)，允許它們同時學(xué)習(xí)。新的損失函數(shù)為：

ζtotal=λ·γ·ζseg+(1-λ)·δ·ζcls，

(1)

式中，ζseg和ζcls分別為分割和分類的損失，它們都由交叉熵函數(shù)所得；δ用來平衡分割和分類損失的貢獻(xiàn)；λ為平衡因子，用來平衡每個子網(wǎng)絡(luò)在最終損失中貢獻(xiàn)的平衡因子；γ作為存在像素級注釋的指示器，通過將λ這個平衡因子計算為一個簡單的線性函數(shù)，從而解決了在初始不穩(wěn)定分割特征上學(xué)習(xí)分類網(wǎng)絡(luò)的問題。λ定義為：

(2)

式中，n為訓(xùn)練的樣本總數(shù)；nep為當(dāng)前數(shù)目的指數(shù)。如果不能平衡這2種損失，學(xué)習(xí)在某些情況下會導(dǎo)致梯度爆炸。

2 改進(jìn)mixed-segdec-net的金屬表面缺陷檢測方法

2.1 基于ECB的InceptionA結(jié)構(gòu)網(wǎng)絡(luò)

Inception模塊[16]最先是由GoogLeNet團(tuán)隊在2014年ImageNet大規(guī)模視覺挑戰(zhàn)賽上提出。Inception將多個卷積和池化操作組合成一個新的網(wǎng)絡(luò)模塊。InceptionA模塊屬于Inception v3的一種，它與傳統(tǒng)的卷積層和池化層的連接順序不同，將不同尺寸大小的卷積層和池化層進(jìn)行排序，使得網(wǎng)絡(luò)不僅可以學(xué)習(xí)局部信息，還可以學(xué)習(xí)到全局信息。

雖然InceptionA可以使網(wǎng)絡(luò)學(xué)習(xí)到局部信息和全局信息，但是會使網(wǎng)絡(luò)陷入過擬合、計算量劇增的困境。ECB模塊雖然可以降低網(wǎng)絡(luò)模型的參數(shù)量、提升網(wǎng)絡(luò)的訓(xùn)練速度，但是它的性能相比于其他復(fù)雜的模型要差許多。將ECB模塊引入到InceptionA網(wǎng)絡(luò)中不僅可以有效提升網(wǎng)絡(luò)的性能，還可以解決網(wǎng)絡(luò)中過擬合及計算量過多的問題。

ECB網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，由5個部分組合而成。首先，采用3×3的卷積以確?；镜男阅埽蝗缓?，采用1×1的卷積進(jìn)行通道升維；最后，再通過3×3的卷積進(jìn)行降維，以保證不同分支的輸出通道相同。同時采用隱式方式將Sobel梯度集成到ECB的第3支和第4支當(dāng)中，采用Laplacian濾波器提取二階梯度來增加它的穩(wěn)定性和魯棒性。

圖2 ECB網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 ECB network structure

ECB模塊不僅可以提升網(wǎng)絡(luò)的性能，還能有效提取邊緣和紋理信息，本文將其代替原InceptionA中的傳統(tǒng)5×5卷積，使網(wǎng)絡(luò)的性能和檢測的速度都得到進(jìn)一步提升。改進(jìn)后的InceptionA結(jié)構(gòu)如圖3所示。

圖3 基于ECB的InceptionA結(jié)構(gòu)Fig.3 InceptionA structure based on ECB

2.2 CRASNet的殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)最先是由He等于2015年在CNN的基礎(chǔ)上提出的。傳統(tǒng)的卷積網(wǎng)絡(luò)是將卷積層的輸出通過激活函數(shù)ReLU作用后將產(chǎn)生的結(jié)果作為下一個卷積層的輸入，而殘差網(wǎng)絡(luò)則是在次卷積層中將前一個卷積層的輸入和次卷積層的輸入進(jìn)行疊加，再將通過激活函數(shù)ReLU作用得到的結(jié)果輸入到網(wǎng)絡(luò)的下一層。

本文采用的殘差網(wǎng)絡(luò)是ResBlock，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該網(wǎng)絡(luò)的殘差支路由2組Conv-BN-ReLU層組成。

圖4 ResBlock結(jié)構(gòu)Fig.4 ResBlock structure diagram

殘差網(wǎng)絡(luò)ResBlock可以很好地提取特征，為了增強(qiáng)對表面細(xì)小異物的提取能力，本文引入了輕量級注意力機(jī)制——CBAM。CBAM表示卷積模塊的注意力機(jī)制模塊，結(jié)合了通道注意力機(jī)制和空間注意力機(jī)制[16]，可以無縫連接至神經(jīng)網(wǎng)絡(luò)中，實現(xiàn)端到端的訓(xùn)練。

CBAM中的空間注意力模塊為了將上下空間的特征進(jìn)行聚合，采用了一個7×7大小的卷積核。雖然可以增大感受野，但增大了參數(shù)量。為了解決上述問題，本文采用了空洞卷積對CBAM進(jìn)行空間特征聚合，在保證相同感受野的前提下，減少模塊參數(shù)量。同時，本文還將原CBAM中通道注意力模塊和空間注意力模塊的串行連接改成了并行連接。改變后的CBAM將輸入特征圖通過通道和改進(jìn)后的空間注意力模塊得到對應(yīng)的特征值，再與輸入特征圖F共同加權(quán)輸出到優(yōu)化后的特征圖F″。不僅可以保證注意力模塊效果的穩(wěn)定性，還能提高網(wǎng)絡(luò)的檢測精度。改變后的CBAM結(jié)構(gòu)如圖5所示。

圖5 改變后的CBAM結(jié)構(gòu)Fig.5 CBAM structure after changing

本文將2個ResBlock進(jìn)行組合，形成一個深度殘差網(wǎng)絡(luò)，可以有效地解決網(wǎng)絡(luò)中網(wǎng)絡(luò)退化和梯度彌散的問題。為了增強(qiáng)對表面細(xì)小異物的提取能力，在深度殘差網(wǎng)絡(luò)的最后引入了改變后的CBAM模塊，可以保證網(wǎng)絡(luò)在有效解決網(wǎng)絡(luò)退化和梯度彌散的同時，對網(wǎng)絡(luò)最后的分類精度不產(chǎn)生影響。CRASNet結(jié)構(gòu)如圖6所示。

圖6 CRASNet殘差網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 CRASNet residual network structure

2.3 基于深度可分離卷積的分類網(wǎng)絡(luò)結(jié)構(gòu)

卷積層的作用是進(jìn)行特征提取，標(biāo)準(zhǔn)卷積層在接收到輸入的特征圖后需要在卷積核中學(xué)習(xí)空間特征和通道特征。Howard在2017年提出的深度可分離卷積可以將卷積層的空間相關(guān)性和通道性進(jìn)行解耦，在標(biāo)準(zhǔn)卷積層之后加上一層過渡層，并將其分解成為逐點(diǎn)卷積和深度卷積，深度可分離卷積的引入可以保證在不降低精度的前提下，大幅降低參數(shù)量和計算量[17-18]。

本文將mixde-segdec-net的部分標(biāo)準(zhǔn)卷積層替換為深度可分離卷積層。將原本分類網(wǎng)絡(luò)中特征大小為1 025和6的標(biāo)準(zhǔn)卷積層替換成深度可分離卷積層。原本卷積層由一個5×5的標(biāo)準(zhǔn)卷積、BN層和ReLU組成，替換后的深度可分離卷積層則是由一個5×5的深度卷積、BN層、1×1的標(biāo)準(zhǔn)卷積和BN層組成。改進(jìn)前的卷積層和改進(jìn)后的深度可分離卷積層如圖7所示。

圖7 分類網(wǎng)絡(luò)改進(jìn)前后對比Fig.7 Comparison of classification network before and after improvement

2.4 基于改進(jìn)mixde-segdec-net的檢測模型總框架

為了增強(qiáng)網(wǎng)絡(luò)對尺度的適應(yīng)能力，應(yīng)用基于ECB的InceptionA模塊，提高了檢測速度。為了解決網(wǎng)絡(luò)退化及梯度退散問題，用CRASNet模塊替換原分割網(wǎng)絡(luò)的Conv卷積模塊，提高了網(wǎng)絡(luò)的檢測精度。為了降低參數(shù)量和計算量，將分類網(wǎng)絡(luò)的卷積層替換為深度可分離卷積層。以mixde-segdec-net網(wǎng)絡(luò)為基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)，融入了ECB+Inception，CRASNet和深度可分離卷積層的檢測模型框架，提高了對金屬表面缺陷檢測的精度，其模型結(jié)構(gòu)如圖8所示。

圖8 模型結(jié)構(gòu)Fig.8 Model structure diagram

3 模型訓(xùn)練與實驗結(jié)果

3.1 模型訓(xùn)練

3.1.1 數(shù)據(jù)集準(zhǔn)備

本文選取的數(shù)據(jù)集是公開的數(shù)據(jù)集KolektorSDD2，它由4 662張訓(xùn)練集圖片和2 008張測試集圖片組成，這些圖片都是由視覺檢測系統(tǒng)捕捉的部分帶有注釋缺陷的金屬表面圖集，圖片大小相似。在網(wǎng)絡(luò)訓(xùn)練中，數(shù)據(jù)集被分為有缺陷和無缺陷2種類別進(jìn)行分析。

3.1.2 數(shù)據(jù)增強(qiáng)

本文實驗對原始數(shù)據(jù)集進(jìn)行增強(qiáng)，首先采用了隨機(jī)的圖像翻轉(zhuǎn)和圖像旋轉(zhuǎn)對KolektorSDD2數(shù)據(jù)集中的訓(xùn)練集進(jìn)行增強(qiáng)，使得原來訓(xùn)練集中的圖片數(shù)量由4 662張增至9 324張。增強(qiáng)前后的圖片如圖9所示。

圖9 數(shù)據(jù)增強(qiáng)前后圖Fig.9 Data diagram before and after enhancement

在對原始圖片進(jìn)行隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)之后，將訓(xùn)練集中的所有圖片進(jìn)行高斯去噪。高斯去噪屬于空間域濾波的方法之一，是對均值濾波的改進(jìn)，它對模板內(nèi)像素值進(jìn)行加權(quán)平均，有效抑制了高頻信息，使得平滑處理的效果更自然。高斯函數(shù)的表達(dá)式為：

(3)

式中，x，y為像素的模板坐標(biāo)；σ為正態(tài)分布的標(biāo)準(zhǔn)偏差。

3.1.3 實驗環(huán)境

實驗軟硬件平臺系統(tǒng)為Windows10，CPU為Intel Core i9-119000K，GPU為NVIDIA GeForce RTX 3090,配備64 GB內(nèi)存，使用Pytorch框架，編程軟件為Python。程序運(yùn)行環(huán)境如下：Python版本為3.8.0，opencv-python版本為4.5.5.64，CUDA版本為11.2，torch版本為1.9.0。

3.1.4 網(wǎng)絡(luò)訓(xùn)練

為了實現(xiàn)模型的最佳性能，在訓(xùn)練過程中，將迭代次數(shù)設(shè)置為50次，初始學(xué)習(xí)率設(shè)置為0.01，學(xué)習(xí)衰減率設(shè)置為1，膨脹系數(shù)設(shè)置為15，訓(xùn)練批次設(shè)置為1。

3.2 評價指標(biāo)

采用缺陷檢測領(lǐng)域中常用的評估指標(biāo)平均精度(Average Precision，AP)以及模型評估指標(biāo)(AUC)對模型進(jìn)行評估。

精度(precision)是指檢測出所有被認(rèn)為是正樣本的總數(shù)中正樣本正確檢測的占比。召回率(recall)是指所有正樣本中，檢測出的正樣本占比。它們可以很好地展示檢測過程中誤檢和漏檢的情況，這2個指標(biāo)計算如下:

(4)

(5)

式中，TP為被模型預(yù)測為正類的正樣本；FP為被模型預(yù)測為正類的負(fù)樣本；FN為被模型預(yù)測為負(fù)類的正樣本。

本文將金屬表面有缺陷的樣本設(shè)置為正樣本，反之則為負(fù)樣本。FP可以展示出模型中誤檢的情況，而FN則可以展示出模型中漏檢的情況。

AP是PR曲線下的面積(即precision-recall曲線下的面積)，它可以有效地衡量學(xué)習(xí)出來的模型在分類上的好壞。而AUC的值即為ROC曲線下的面積，它的值在0.1～1.0。AUC的數(shù)值可以直觀地評價分類器的好壞，值越大就說明分類效果越好。AP和AUC的計算如下：

(6)

(7)

式中，Pi為第i次的精度；M為正樣本的數(shù)量；N為負(fù)樣本的數(shù)量。

3.3 實驗結(jié)果

3.3.1 消融實驗

為了分析本文提出的改進(jìn)方法對工業(yè)金屬表面缺陷檢測的影響，通過消融實驗評估引進(jìn)不同模塊對檢測的影響，具體的實驗內(nèi)容及實驗結(jié)果如表1所示。改進(jìn)1是在網(wǎng)絡(luò)中加入基于ECB的InceptionA模塊，改進(jìn)2是將分割網(wǎng)絡(luò)的conv模塊替換成CRASNet模塊，改進(jìn)3是將分類網(wǎng)絡(luò)中卷積層替換為深度可分離卷積層。結(jié)果表明，這幾種單獨(dú)改進(jìn)的方法相比于原始的網(wǎng)絡(luò)而言，AP和AUC的指標(biāo)均得到了提升。將這些方法共同加入至模型中，AP從94.5%提升到96.0%，對工業(yè)金屬表面缺陷檢測實現(xiàn)了進(jìn)一步的提升。訓(xùn)練的總時間隨著模型模塊的增多卻沒有明顯變化，完全符合工業(yè)金屬表面缺陷檢測要求。

表1 消融實驗結(jié)果對比Tab.1 Comparison of ablation experiment results

3.3.2 實驗結(jié)果分析

改進(jìn)前后的mixde-segdec-net模型在訓(xùn)練過程中均使用相同的數(shù)據(jù)集和相同的參數(shù)設(shè)置，改進(jìn)前后的AP和AUC指標(biāo)如圖10所示。改進(jìn)后的AP和AUC曲線相比于改進(jìn)前都更加平穩(wěn)，說明改進(jìn)后的網(wǎng)絡(luò)相比于改進(jìn)前具有更好的識別性。

(a)原模型AP曲線(AP=0.945 8)

(b)原模型AUC曲線(AUC=0.982 9)

(c)改進(jìn)后模型AP曲線(AP=0.960 2)

(d)改進(jìn)后模型AUC曲線(AUC=0.987 7)圖10 改進(jìn)前后性能對比Fig.10 Performance comparison before and after improvement

改進(jìn)后的mixde-segdec-net在KolektorSDD2數(shù)據(jù)集中的部分測試集的識別結(jié)果如圖11所示。

圖11 改進(jìn)網(wǎng)絡(luò)后的識別結(jié)果Fig.11 Identification results after network improvement

圖中，左邊2張是對正常圖片進(jìn)行檢測，右邊2張是對有缺陷的圖片進(jìn)行檢測。由圖11可以看出，改進(jìn)后的算法可以很好地檢測出圖片中是否有缺陷，對于圖片中存在的缺陷，可以很好地將其特征信息從圖片的背景中分割出來，不僅可以對圖片中的小目標(biāo)缺陷進(jìn)行檢測，而且最終進(jìn)行二分類的精度也相對較高。相比于mixde-segdec-net模型，改進(jìn)后的模型對工業(yè)金屬表面的缺陷檢測有更好的魯棒性，從而表現(xiàn)更優(yōu)越的分類精度和更高的模型評價指標(biāo)。

3.3.3 對比實驗

為了證明本文算法的綜合檢測性能，把改進(jìn)后的mixed-segdec-net與U-Net，DeepLabv3與mixed-segdec-net對KolektorSDD2數(shù)據(jù)集進(jìn)行實驗對比，并采用AP作為評價指標(biāo)，對比結(jié)果如表2所示。

表2 模型性能對比Tab.2 Model performance comparison

由表2的AP值可以看出，改進(jìn)的mixed-segdec-net網(wǎng)絡(luò)相比于傳統(tǒng)的U-Net和DeepLabv3在分類精度上有明顯提升，說明改進(jìn)后的mixed-segdec-net網(wǎng)絡(luò)在工業(yè)金屬表面的缺陷檢測有更好的效果。雖然訓(xùn)練總時間相比于原算法要稍長，但是遠(yuǎn)遠(yuǎn)低于傳統(tǒng)的U-Net和DeepLabv3，達(dá)到了實時檢測的要求。

4 結(jié)束語

針對工業(yè)金屬表面缺陷檢測中存在誤檢、漏檢及檢測精度不高的問題，提出了一種改進(jìn)mixed-segdec-net的金屬表面缺陷檢測算法。在mixed-segdec-net主干網(wǎng)絡(luò)中加入基于ECB的InceptionA模塊，用CRASNet模塊替換分割網(wǎng)絡(luò)的Conv模塊，同時把分類網(wǎng)絡(luò)中的卷積層改成深度可分離層，不僅提高了模型對信息處理的能力，還解決了網(wǎng)絡(luò)退化和梯度彌散的問題。實驗表明，將數(shù)據(jù)增強(qiáng)后的公開數(shù)據(jù)集KolektorSDD2放在改進(jìn)前后的mixed-segdec-net進(jìn)行對比，改進(jìn)后的mixed-segdec-net得到的AP值和AUC值均有所提升。下一步的研究重點(diǎn)是在保證高精度的前提下對模型繼續(xù)優(yōu)化，提升檢測的速度，并進(jìn)一步降低工業(yè)金屬表面缺陷檢測的誤檢率和漏檢率。