基于注意力密集連接Unet 的磁瓦表面孔洞和裂痕缺陷分割算法

陳榮演，邱天，楊創(chuàng)富

（五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020）

磁瓦是各種電子產(chǎn)品線圈、電動機(jī)以及變壓器等的重要組成部件，其質(zhì)量的好壞直接影響相關(guān)產(chǎn)品的品質(zhì). 磁瓦缺陷檢測具有較大的復(fù)雜性和多樣性，從早期人工檢測方式發(fā)展到目前主流的基于機(jī)器視覺的檢測方式，雖然提高了檢測效率，但是受限于人為設(shè)定規(guī)則劃分缺陷的檢測思想和人工設(shè)定規(guī)則難度大、魯棒性差等缺點，基于視覺的檢測方式一直局限于一些特定使用場合，雖有不少研究成果[1-5]，但仍然無法滿足現(xiàn)代化生產(chǎn)需要. 隨著人工智能的興起，利用深度學(xué)習(xí)這種通過數(shù)據(jù)驅(qū)動來自動提取特征的方式在工業(yè)缺陷檢測中取得了很多不錯的結(jié)果[6-10]，基于以上成果，本文采用Unet 深度學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)對磁瓦表面孔洞和裂痕缺陷分割進(jìn)行研究，針對磁瓦數(shù)據(jù)集數(shù)量較少和缺陷不明顯等情況，構(gòu)建一種密集連接的改進(jìn)Unet 網(wǎng)絡(luò)來實現(xiàn)對磁瓦表面孔洞和裂痕缺陷的分割算法，以提高磁瓦缺陷分割精度.

1 基于Unet 網(wǎng)絡(luò)算法改進(jìn)

Unet 作為圖像分割的經(jīng)典網(wǎng)絡(luò)，已經(jīng)在醫(yī)學(xué)、工業(yè)以及自然圖像等方面廣泛應(yīng)用. Unet 之所以會被廣泛使用，是因為其獨(dú)特的U 形編碼—解碼結(jié)構(gòu)，其左邊部分為編碼部分，是通過多次卷積下采樣獲取不同尺度特征的網(wǎng)絡(luò)結(jié)構(gòu). 編碼部分得到的特征會通過跳躍連接送到解碼部分，使得高層語義信息和底層信息進(jìn)行融合，解碼部分會通過上采樣和卷積以融合不同的層次特征，并恢復(fù)回原圖大小. 由于Unet 交互、融合了多層次的特征，故其對特征的表示能力較好，但是Unet 對細(xì)節(jié)處理不足以及對小物體分割效果不理想. 本文為了加強(qiáng)特征的表述和對小物體缺陷的分割，構(gòu)建了密集連接的改進(jìn)U 型卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)后的網(wǎng)絡(luò)模型如圖1 所示，改進(jìn)主要包括以下幾個方面：解碼階段的密集連接、增加注意力機(jī)制CBAM、使用混合空洞取代下采樣池化.

圖1 改進(jìn)密集連接Unet 模型

1.1 解碼階段的密集連接

一般來說，在進(jìn)行磁瓦缺陷檢測時所能采集到的數(shù)據(jù)是非常有限的，所以要在有限的數(shù)據(jù)中盡可能地充分利用數(shù)據(jù)，而密集卷積連接[11]可以有效提高特征的利用和傳播，還可以解決梯度消失等問題，從而提高分割的準(zhǔn)確性. 本文在網(wǎng)絡(luò)中把編碼階段的每一層的特征都進(jìn)行級聯(lián)，并且通過一個1 ×1 的卷積對級聯(lián)后的數(shù)據(jù)進(jìn)行降維，另外在每個下采樣前的卷積層添加批歸一化（Batch Normalizing，BN）. 采用密集連接不僅可以通過復(fù)用特征來獲得較高的利用率，而且可以起到正則化的作用，也可以在小樣本中防止過擬合的發(fā)生.

1.2 增加注意力機(jī)制CBAM

注意力機(jī)制的主要思想是通過給特征進(jìn)行加權(quán)，使得有效特征的權(quán)重增大，抑制無效特征或者噪聲. 本文在特征提取的開始位置嵌入如圖2 所示的CBAM 模塊[12]，特征經(jīng)過通道注意力和空間注意力模塊生成注意力圖，然后以注意力圖為權(quán)重將輸入的特征進(jìn)行加權(quán)操作，使受關(guān)注的特征能夠更突出地表達(dá)出來.

圖2 CBAM 模塊

在通道注意力模塊中，特征分別經(jīng)過最大池化和平均池化后送到多層感知網(wǎng)絡(luò)，然后將多層感知網(wǎng)絡(luò)的兩個輸出特征進(jìn)行加和，最后通過sigmoid 函數(shù)進(jìn)行激活. 在空間注意力模塊中，將從通道注意力模塊得到的輸出分別進(jìn)行最大池化和平均池化，然后在空間的維度上進(jìn)行拼接，并使用1×1卷積進(jìn)行降維，最后通過sigmoid 函數(shù)進(jìn)行激活.

1.3 使用混合空洞卷積代替下采樣池化

磁瓦的孔洞缺陷很小，而過多的下采樣池化會造成特征和細(xì)節(jié)信息的丟失，因此在編碼階段的最后一個下采樣用空洞卷積代替池化層，同時因為空洞卷積是間隔采樣，因此會造成感受域圖像不連續(xù)的現(xiàn)象，也就是網(wǎng)格效應(yīng)的發(fā)生，從而導(dǎo)致一些細(xì)節(jié)丟失. 所以在檢測中使用混合空洞卷積（Hybrid Dialated Convolution），也就是用空洞率為[1,2,5,1,2,5]的卷積，這樣的設(shè)計可以把原本間隔采樣的點補(bǔ)齊，從而達(dá)到感受野覆蓋全圖的目的.

2 實驗與分析

在進(jìn)行實驗前，首先對數(shù)據(jù)進(jìn)行增強(qiáng)和預(yù)處理，然后搭建網(wǎng)絡(luò)和定義損失函數(shù)對網(wǎng)絡(luò)進(jìn)行反向傳播訓(xùn)練，最后對網(wǎng)絡(luò)輸出的分割結(jié)果進(jìn)行客觀評價，從而判斷分割網(wǎng)絡(luò)的優(yōu)劣.

2.1 數(shù)據(jù)增強(qiáng)和預(yù)處理

文中采用的磁瓦缺陷數(shù)據(jù)來源于中科院自動化所收集的磁瓦數(shù)據(jù)集[13]，里面包含了6 種常見磁瓦缺陷的圖像. 因為孔洞和裂痕是磁瓦中最常見也是最難被檢測出來的表面缺陷，因此選取這兩項來進(jìn)行實驗. 數(shù)據(jù)集里面含有標(biāo)注的孔洞缺陷圖像共有115 張，含有裂痕缺陷標(biāo)注的圖像共57 張. 為了擴(kuò)大訓(xùn)練樣本，對原數(shù)據(jù)集的圖像數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、移位、調(diào)節(jié)亮度等一系列增強(qiáng)數(shù)據(jù)操作，使得孔洞和裂痕數(shù)據(jù)都擴(kuò)大到300 張，并保持高寬地把圖像調(diào)整到256 ×256大小和進(jìn)行歸一化處理. 其中270 張圖片數(shù)據(jù)用于訓(xùn)練，30 張圖片數(shù)據(jù)用來測試.

2.2 損失函數(shù)

磁瓦缺陷的分割屬于二分類問題，由于磁瓦的缺陷占圖像的比例比較小，樣本分布不均衡. 正樣本所占比例很少，這會使模型更傾向于判斷其為負(fù)樣本. 為了平衡正負(fù)樣本的不均衡，需要在交叉熵?fù)p失函數(shù)上進(jìn)行加權(quán)，使占比多的樣本擁有的權(quán)重低、占比少的樣本擁有權(quán)重高，以此平衡樣本. 加權(quán)交叉熵?fù)p失如公式（1）所示：

式中，Yi表示目標(biāo)，P(Yi)表示屬于目標(biāo)的概率，α表示平衡樣本的權(quán)重.

2.3 評價指標(biāo)

本文采用的模型評價指標(biāo)如下：TP 表示預(yù)測為目標(biāo)真實也為目標(biāo)；TN 表示預(yù)測為背景真實也為背景；FP 表示預(yù)測為目標(biāo)真實為背景；FN 表示預(yù)測為背景真實為目標(biāo).

MIoU：用來評價分割每個類真實結(jié)果和預(yù)測值之間的交集和并集比例的平均值.

Dice：用來衡量預(yù)測集和真實集的相似度.

Precision（精確度）：反映真實為正例所占的比例.

Sensitive（靈敏度）：反映被正確分成正例所占的比例.

2.4 分割結(jié)果對比分析

本文算法主要針對磁瓦的孔洞和裂痕缺陷進(jìn)行分割，分割結(jié)果對比如圖3 所示，評價指標(biāo)得分如表1 所示. 其中MIoU、Dice 系數(shù)用來衡量分割結(jié)果和標(biāo)簽數(shù)據(jù)集合的相似程度，精確度是衡量模型分割正確的指標(biāo)，靈敏度是衡量模型找出缺陷目標(biāo)像素能力的指標(biāo). 表1 中，Res Unet 靈敏度約為64%，而精確度約為92%，說明分割結(jié)果中屬于FN（假負(fù)）的比例高，表明Res Unet 不能很好地找出屬于缺陷目標(biāo)的像素. Unet 的各項指標(biāo)在表1 中都比較平均，說明Unet 能夠較好的完成分割任務(wù)，但從圖3 中可以看出Unet 分割結(jié)果的邊界存在模糊不清. 本文改進(jìn)算法的MIoU 和Dice相比于Unet 分別有2.692%和3.342%的提升，因此本文算法分割目標(biāo)在一定程度上優(yōu)于U-net，從圖3 中也可以看出本文算法的邊界都比較清晰，且更加接近于真實缺陷的形狀.

圖3 磁瓦孔洞缺陷分割效果圖

表1 磁瓦孔洞缺陷不同模型分割對比

在裂痕缺陷圖片分割中，分割效果對比如圖4 所示，評價指標(biāo)得分如表2 所示. 文獻(xiàn)[9]算法的精確度約為57%，而靈敏度約為93%，說明分割結(jié)果中屬于FN（假正）的比例高，表明該算法把屬于背景的像素錯誤劃分為目標(biāo)像素的情況較多. Unet 的分割情況與文獻(xiàn)[9]算法類似，但分割后的圖像邊緣略顯模糊，整體上優(yōu)于文獻(xiàn)[9]算法. 本文改進(jìn)算法的MIoU 和Dice 系數(shù)都比較高，在分割精確度較高的情況下，靈敏度也處于較高水平，因此說明本文算法能較好找出缺陷目標(biāo). 從圖4 可以看出，本文算法可以清晰分割較小的缺陷目標(biāo)，分割效果更接近真實情況.

圖4 磁瓦裂痕缺陷分割效果圖

表2 磁瓦裂痕缺陷不同模型分割對比

3 結(jié)論

本文通過在Unet 算法的基礎(chǔ)上構(gòu)建了密集連接的U 型改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)算法，完成了對磁瓦的孔洞和裂痕缺陷分割. 實驗結(jié)果表明，本文改進(jìn)算法可以提高磁瓦孔洞和裂痕缺陷分割的精確度.為了使改進(jìn)算法可以真正部署到工業(yè)上，下一步工作將對網(wǎng)絡(luò)進(jìn)行優(yōu)化修剪，采集和制作包含多種缺陷類型的磁瓦數(shù)據(jù)集并進(jìn)行訓(xùn)練，以增強(qiáng)算法的魯棒性.