基于深度學(xué)習(xí)的磁瓦表面缺陷分割與識(shí)別

謝 艦，姚劍敏,2*，嚴(yán) 群,2，林志賢

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108；2.晉江市博感電子科技有限公司,福建 晉江362200)

1 引 言

磁瓦是由永磁鐵氧體材料制成的瓦形磁體，其在工業(yè)上常作為生產(chǎn)永磁電機(jī)的核心部分之一。在廠端批量的生產(chǎn)加工磁瓦的過程中，不可避免地會(huì)產(chǎn)出表面帶有各種缺陷的殘次品。這些殘次品表面帶有不同類型的缺陷，如果用于生產(chǎn)永磁電機(jī)，將會(huì)影響永磁電機(jī)的性能，嚴(yán)重的會(huì)引發(fā)各種故障。另一方面廠端也需要精準(zhǔn)地分辨各種缺陷的邊界和大小，來決定這些殘次品是否可進(jìn)行維修或進(jìn)入下一步工序，因此在磁瓦生產(chǎn)工藝中，表面質(zhì)量檢測(cè)是十分重要的一環(huán)。傳統(tǒng)方法主要依靠人工檢查磁瓦的表面，這需要額外的雇傭大量的員工，并且需要專門培養(yǎng)員工來識(shí)別各種復(fù)雜的表面缺陷。這種方法十分耗時(shí)、耗力，不僅效率不高，并且限制了工廠的生產(chǎn)力。因此開發(fā)自動(dòng)缺陷識(shí)別系統(tǒng)，將磁瓦表面缺陷識(shí)別自動(dòng)化、智能化，是磁瓦制造企業(yè)適應(yīng)工業(yè)化4.0發(fā)展的重要一步。

早期對(duì)磁瓦表面缺陷的自動(dòng)識(shí)別還集中在使用傳統(tǒng)圖像處理技術(shù)上。Li[1]提出了一種使用快速離散曲波變換(FDCT)與紋理分析的方法來自動(dòng)檢測(cè)磁瓦上裂紋缺陷的機(jī)制，可以檢測(cè)到最小長度為0.8 mm的裂紋。楊成立[2]等人提出使用小波變換去噪處理圖像，通過計(jì)算對(duì)比閾值提取區(qū)域匹配相似度和對(duì)比輪廓邊緣面積的方式判別磁瓦是否存在缺陷，該方法對(duì)磁瓦表面存在的顯著缺陷有較好的檢測(cè)效果。針對(duì)經(jīng)典缺陷檢測(cè)算法不能很好地提取顏色暗、對(duì)比度低的磁瓦圖像缺陷問題，李雪琴[3]等人提出一種非下采樣Contourlet域自適應(yīng)閾值面的磁瓦缺陷自動(dòng)檢測(cè)方法。為了準(zhǔn)確定位磁瓦表面缺陷的邊界，林麗君[4]等人提出一種基于圖像加權(quán)信息熵與小波模極大值兩者結(jié)合的缺陷邊緣檢測(cè)算法。以上所描述的方法能夠很好地解決部分場(chǎng)景下的磁瓦表面缺陷檢測(cè)，但面對(duì)生產(chǎn)線上背景復(fù)雜多變、顏色形狀繁多的缺陷，傳統(tǒng)圖像算法能夠起到的作用十分有限。

近幾年隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，國內(nèi)外對(duì)基于深度學(xué)習(xí)的缺陷提取技術(shù)進(jìn)行了不同程度的研究，Wang[5]等人嘗試對(duì)輸入圖像進(jìn)行滑窗切片并通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行逐位置識(shí)別，來實(shí)現(xiàn)對(duì)布匹缺陷的檢測(cè)。Mei[6]等人通過改進(jìn)的卷積降噪自編碼器網(wǎng)絡(luò)，使用無缺陷樣本進(jìn)行訓(xùn)練并完成對(duì)缺陷的定位。王春哲[7]等人引入卷積邊緣信息、顯著性及位置信息改進(jìn)了候選區(qū)域算法從而有效提升了目標(biāo)檢測(cè)算法的召回率。劉暢[8]等人通過U-net[9]分割磁瓦表面缺陷，并且將分割的前景裁剪后使用另一個(gè)單獨(dú)的分類網(wǎng)絡(luò)來進(jìn)行缺陷分類，實(shí)現(xiàn)了缺陷的分割和分類并且都達(dá)到了很高的精度。但該方法分割的區(qū)域不準(zhǔn)時(shí)會(huì)影響分類準(zhǔn)確率，因而限制了準(zhǔn)確率的提升。Tabernik[10]等人的工作是嘗試使用一個(gè)網(wǎng)絡(luò)同時(shí)完成分割與分類的任務(wù)，僅僅使用少量的訓(xùn)練數(shù)據(jù)就在KolektorSDD數(shù)據(jù)集上取得了99.8%的缺陷識(shí)別率。但該方法只能輸出原圖1/8的分割結(jié)果，無法分割出原圖一致大小的精細(xì)掩膜。綜上所述，基于深度學(xué)習(xí)的方法在磁瓦表面缺陷檢測(cè)識(shí)別上已經(jīng)取得了不錯(cuò)的效果，但在實(shí)際生產(chǎn)過程中往往存在著能夠獲取的總數(shù)據(jù)少且每種類別分布不均勻的問題，并且想要滿足廠端缺陷分割精準(zhǔn)、缺陷分類準(zhǔn)確率高的要求，還要解決訓(xùn)練過程中由于缺陷前景面積占比小導(dǎo)致網(wǎng)絡(luò)難以收斂等技術(shù)問題。

結(jié)合以上所存在的問題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的新模型，能夠使用少量的訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)對(duì)磁瓦表面缺陷的實(shí)時(shí)分割與分類，很好地契合了工業(yè)界對(duì)于磁瓦表面質(zhì)量檢測(cè)的高要求。

2 方 法

圖1顯示了本文設(shè)計(jì)的網(wǎng)絡(luò)的主要架構(gòu)，其中包括了一階段的分割網(wǎng)絡(luò)，該分割網(wǎng)絡(luò)對(duì)磁瓦表面的缺陷進(jìn)行像素級(jí)別的定位，通過添加輔助損失函數(shù)來提升模型的分割精度。隨后將網(wǎng)絡(luò)提取到的深層特征送入二階段的分類網(wǎng)絡(luò)，從而實(shí)現(xiàn)對(duì)磁瓦表面缺陷的精準(zhǔn)分割和分類。

2.1 分割網(wǎng)絡(luò)

分割網(wǎng)絡(luò)使用的是經(jīng)典的U-net網(wǎng)絡(luò)架構(gòu)。U-net作為經(jīng)典的語義分割模型，經(jīng)常用于醫(yī)學(xué)圖像分割、缺陷分割等場(chǎng)景，它能夠使用較少的數(shù)據(jù)獲得不錯(cuò)的分割效果。在網(wǎng)絡(luò)結(jié)構(gòu)上，U-net采用的是編解碼的結(jié)構(gòu)，先對(duì)輸入進(jìn)行降采樣然后再上采樣。

編碼結(jié)構(gòu)的存在是使卷積神經(jīng)網(wǎng)絡(luò)通過多次降采樣后能夠擁有一個(gè)足夠大的感受野，這個(gè)感受野能讓網(wǎng)絡(luò)提取到更加底層的語義信息，更加關(guān)注于一個(gè)整體目標(biāo)和其他背景間的區(qū)別。解碼結(jié)構(gòu)是將網(wǎng)絡(luò)提取到的抽象特征恢復(fù)到原圖大小的過程，由于深度神經(jīng)網(wǎng)絡(luò)一般會(huì)使用池化層或者步長不為1的卷積層進(jìn)行降采樣，在這個(gè)過程中會(huì)逐漸丟失一些細(xì)粒度的信息，所以需要使用直連(Skip-connection)結(jié)構(gòu)，這個(gè)結(jié)構(gòu)從高層重新補(bǔ)充了語義信息，在底層特征的基礎(chǔ)上細(xì)化了輪廓和邊緣，從而保證了分割的精準(zhǔn)度。

分割網(wǎng)絡(luò)結(jié)構(gòu)如圖1的紅色虛線框部分所示，藍(lán)色的塊為每層輸出的特征圖，黃框內(nèi)為每層的具體操作。為了加速網(wǎng)絡(luò)收斂、穩(wěn)定訓(xùn)練，分割部分使用的卷積除1×1的以外都通過了批歸一化層[11]和非線性激活層。將原圖經(jīng)過兩個(gè)3×3的卷積進(jìn)行擴(kuò)維操作后，一共使用4個(gè)降采樣塊進(jìn)行編碼操作，每個(gè)降采樣塊包含一個(gè)2×2的最大池化和兩個(gè)3×3的卷積，通過最大池化將輸出寬高降為原來的1/2。同時(shí)為了保證降采樣過程中總體信息不損失，每個(gè)降采樣塊都會(huì)將圖像通道數(shù)翻倍，于是在編碼部分的底層輸出原圖寬高1/16大小且通道數(shù)為512的特征圖。解碼部分可以看做編碼部分的鏡像，不同的是將2×2的最大池化替換為上采樣操作。上采樣使用的方法為雙線性上采樣，同時(shí)將圖像編碼部分提取到和上采樣后一致大小的特征圖在通道上進(jìn)行合并，最后在經(jīng)過兩個(gè)3×3的卷積合并多個(gè)通道的信息輸出給下一層。最終將編解碼得到的特征圖通過一個(gè)1×1的卷積進(jìn)行像素級(jí)的分類，輸出和原圖一致大小的掩膜，于是就完成了磁瓦表面缺陷的分割。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Network structure diagram

由于在分割上只關(guān)注缺陷前景和背景，所以在基礎(chǔ)損失函數(shù)的設(shè)計(jì)上本文使用的是二值交叉熵?fù)p失。對(duì)于每個(gè)像素預(yù)測(cè)為缺陷概率為p，背景概率為1-p，其公式的定義如下：

(1)

其中yi表示每個(gè)像素的標(biāo)簽，缺陷類別為1，背景類別為0，pi表示像素預(yù)測(cè)為缺陷類別的概率。

并且在實(shí)際磁瓦表面缺陷分割問題上考慮到很多細(xì)小缺陷實(shí)際占磁瓦表面積比例很小，所以對(duì)于損失函數(shù)的形式進(jìn)行修正，提升缺陷正樣本所占的損失比重，表達(dá)式如下：

(2)

其中i表示屬于標(biāo)簽的所有缺陷類別的像素集合，j表示屬于標(biāo)簽的所有背景類別的像素集合，兩者各自求交叉熵的均值后相加。

2.1.1 差異系數(shù)損失

為了解決部分的磁瓦表面缺陷前景面積占比太小，導(dǎo)致訓(xùn)練階段梯度太小網(wǎng)絡(luò)難以收斂，本文添加了差異系數(shù)損失[12](Dice loss)來提升訓(xùn)練速度和分割精度，其定義如下：

(3)

從定義上看差異系數(shù)是一個(gè)相似度度量函數(shù)，能夠用于計(jì)算兩個(gè)樣本間的匹配度。在分割任務(wù)上其計(jì)算形式是預(yù)測(cè)的前景區(qū)域和標(biāo)簽掩膜前景區(qū)域的交并比，所以它是從一個(gè)整體角度去考慮和標(biāo)簽的區(qū)別。這樣即使磁瓦表面缺陷前景面積很小，依然不會(huì)影響分割結(jié)果和標(biāo)簽計(jì)算的差異度，從而維持訓(xùn)練階段的梯度。并且直接將分割效果評(píng)估指標(biāo)作為損失去監(jiān)督網(wǎng)絡(luò)訓(xùn)練，能夠忽略背景像素的影響，解決正負(fù)樣本不均衡的問題，提升網(wǎng)絡(luò)收斂速度。對(duì)應(yīng)差異系數(shù)，其損失函數(shù)的形式如下：

(4)

其中，X是網(wǎng)絡(luò)預(yù)測(cè)缺陷區(qū)域的像素個(gè)數(shù)，Y是標(biāo)簽掩膜的缺陷區(qū)域的像素個(gè)數(shù)。

2.1.2 多層損失

為了解決訓(xùn)練過程中深層網(wǎng)絡(luò)的梯度逐漸消失導(dǎo)致模型無法完全收斂的問題，進(jìn)一步提升分割精度。本文添加了多層損失[13]維持網(wǎng)絡(luò)深層的梯度，監(jiān)督網(wǎng)絡(luò)的深層繼續(xù)優(yōu)化從而降低網(wǎng)絡(luò)訓(xùn)練難度并提升精度。具體的做法為：對(duì)于如圖1網(wǎng)絡(luò)編解碼部分輸出的特征圖F4_0、F3_1、F2_2和F1_3，在網(wǎng)絡(luò)訓(xùn)練階段對(duì)每個(gè)特征圖通過一個(gè)1×1的卷積輸出和對(duì)應(yīng)特征圖一致寬高的掩膜。于是除網(wǎng)絡(luò)本身輸出外，又得到了原圖1/2，1/4，1/8，1/16大小的多層輸出掩膜。并且考慮要得到原圖1/2，1/4，1/8，1/16大小的標(biāo)簽掩膜，就需要對(duì)標(biāo)簽的尺寸降低對(duì)應(yīng)的倍率，這會(huì)導(dǎo)致一些過小的缺陷標(biāo)簽完全失去邊緣信息。于是本文修改方法為對(duì)網(wǎng)絡(luò)多層輸出掩膜進(jìn)行雙線性上采樣到原圖大小，然后計(jì)算對(duì)應(yīng)的損失，具體的公式如下：

(5)

對(duì)應(yīng)添加輔助損失函數(shù)后訓(xùn)練的損失下降和缺陷類別的MIoU指標(biāo)上升曲線如圖2所示，大約訓(xùn)練75輪以后基礎(chǔ)的交叉熵?fù)p失趨近0，無法再提供梯度信息。此后主要由添加的差異系數(shù)損失和多層損失產(chǎn)生梯度，使得網(wǎng)絡(luò)能夠繼續(xù)優(yōu)化，使得最終缺陷類別的MIoU指標(biāo)可以提升至接近70%。

圖2 損失下降與MIoU上升曲線Fig.2 Loss decrease and MIoU rate increase curve

2.2 分類網(wǎng)絡(luò)

分類網(wǎng)絡(luò)的設(shè)計(jì)上采用的網(wǎng)絡(luò)架構(gòu)類似于Tabernik[10]等人提出的方法，并且進(jìn)行了適應(yīng)性的修改。本文沒有設(shè)計(jì)一個(gè)單獨(dú)的分類網(wǎng)絡(luò)來重新訓(xùn)練分割出的磁瓦表面缺陷，而是通過在分割網(wǎng)絡(luò)深層連接卷積層分支來將網(wǎng)絡(luò)編碼階段提取到的高級(jí)語義信息額外用于磁瓦表面缺陷分類。之所以這么做是因?yàn)榭紤]到分割任務(wù)本身就擁有比分類任務(wù)更強(qiáng)的監(jiān)督信息，通過分割精確到像素的監(jiān)督信息網(wǎng)絡(luò)能夠?qū)W習(xí)到缺陷更細(xì)致的輪廓與特征，進(jìn)一步過濾背景等噪聲的影響，從而得到比只用類別標(biāo)簽訓(xùn)練更高的準(zhǔn)確率。

參考通常的分類網(wǎng)絡(luò)[14-17]的設(shè)計(jì)一般會(huì)采用32倍的降采樣倍率，但考慮到部分缺陷很小，在多次的降采樣過程中的信息丟失會(huì)使得磁瓦表面的小缺陷難以區(qū)分，并且由于多層損失的引入使得網(wǎng)絡(luò)深層對(duì)缺陷特征提取能力獲得了進(jìn)一步提升，于是本文在分類網(wǎng)絡(luò)部分沒有再進(jìn)行降采樣。具體的設(shè)計(jì)是在圖1的藍(lán)色虛線框內(nèi)，將一階段得到的分割網(wǎng)絡(luò)最終輸出的512維特征圖通過兩個(gè)殘差塊分別將最終通道合并為128維。此階段不在進(jìn)行最大池化操作減少信息丟失，并且使用信息流通更加便捷的殘差塊[15]進(jìn)行特征的編碼。

殘差塊的結(jié)構(gòu)為在圖1的黃色虛線框內(nèi)，將輸入分為兩條路徑后合并。一條為通過1×1卷積、3×3卷積和1×1卷積，其中除最后的1×1卷積未激活外，其余操作均經(jīng)過批歸一化層和非線性激活層并且通過第一個(gè)1×1卷積合并通道數(shù)。另一條路徑為直接通過3×3卷積合并通道數(shù)并經(jīng)過批歸一化層，在殘差塊結(jié)尾將兩個(gè)路徑輸出的特征圖結(jié)果按通道求和并通過非線性激活層進(jìn)行輸出。經(jīng)過兩個(gè)這樣的殘差塊合并通道特征編碼后，最后將輸出的128維度的特征圖通過全局平均池化和全局最大池化，并合并為256維的向量通過全連接層進(jìn)行分類。

分類訓(xùn)練時(shí)計(jì)算的損失函數(shù)為單類別基于sigmoid的二值交叉熵而非一般所使用多類別的softmax交叉熵，因?yàn)榭紤]到磁瓦表面可能存在多種類別缺陷共存的狀態(tài)，所以選取各種類別間不相互排斥的單類別交叉熵作為損失函數(shù)。網(wǎng)絡(luò)最終輸出的結(jié)果為一個(gè)6維的向量，對(duì)向量取sigmoid激活后獲得每個(gè)類別的概率分布，其中概率最大的就是網(wǎng)絡(luò)預(yù)測(cè)的類別。損失函數(shù)具體的定義如下：

， (6)

其中yi表示對(duì)應(yīng)類別i的預(yù)測(cè)概率，pi為類別的標(biāo)簽，樣本類別如果是i則為1，否則為0，將樣本所有類別的二值交叉熵求和的結(jié)果即為分類損失。

2.3 數(shù)據(jù)增強(qiáng)

由于實(shí)際場(chǎng)景下能夠獲取的磁瓦表面圖像數(shù)據(jù)十分有限，在訓(xùn)練集過小時(shí)模型的魯棒性會(huì)下降，并且有過擬合的風(fēng)險(xiǎn)。這時(shí)通過數(shù)據(jù)增強(qiáng)能夠有效地?cái)U(kuò)充訓(xùn)練數(shù)據(jù)，增加數(shù)據(jù)的多樣性，增強(qiáng)模型的泛化能力，提升模型的性能。因此本文在訓(xùn)練的過程中對(duì)數(shù)據(jù)進(jìn)行在線增強(qiáng)，具體的操作如下：

在訓(xùn)練的過程中對(duì)圖像和對(duì)應(yīng)標(biāo)注掩膜進(jìn)行增強(qiáng)，具體的增強(qiáng)策略包括：(1)有0.5的概率隨機(jī)上下翻轉(zhuǎn)；(2)有0.5的概率隨機(jī)左右翻轉(zhuǎn)；(3)進(jìn)行-5°～5°的隨機(jī)旋轉(zhuǎn)；(4)有0.5的概率加高斯白噪聲。在訓(xùn)練過程中，每輪對(duì)以上4種圖像增強(qiáng)操作隨機(jī)選擇3種，測(cè)試集不進(jìn)行數(shù)據(jù)增強(qiáng)。得到具體的效果如圖3所示。

圖3 磁瓦圖像增強(qiáng)效果Fig.3 Magnetic tile image augment effect

3 實(shí)驗(yàn)和結(jié)果分析

實(shí)驗(yàn)環(huán)境基于開源深度學(xué)習(xí)框架pytorch，編程工具為vscode。計(jì)算機(jī)的配置為Ubuntu18.04操作環(huán)境，8 G內(nèi)存，顯卡為GTX1060ti，顯存大小為6 G。模型的訓(xùn)練是分階段進(jìn)行的，將分割網(wǎng)絡(luò)部分和分類網(wǎng)絡(luò)部分分開訓(xùn)練。分割網(wǎng)絡(luò)訓(xùn)練時(shí)模型會(huì)只輸出分割網(wǎng)絡(luò)的結(jié)果，分類網(wǎng)絡(luò)的權(quán)重不會(huì)參與更新。同樣分類網(wǎng)絡(luò)訓(xùn)練時(shí)將凍結(jié)分割網(wǎng)絡(luò)部分的權(quán)重，只對(duì)分類網(wǎng)絡(luò)的權(quán)重進(jìn)行更新。在訓(xùn)練階段不載入任何預(yù)訓(xùn)練權(quán)重，而是權(quán)重隨機(jī)正態(tài)初始化?？紤]到實(shí)際場(chǎng)景下的測(cè)試樣本會(huì)遠(yuǎn)多于訓(xùn)練樣本，為了更好地驗(yàn)證模型的魯棒性并且降低模型過擬合的風(fēng)險(xiǎn)，對(duì)數(shù)據(jù)集進(jìn)行5∶5劃分，訓(xùn)練集包含670個(gè)樣本，測(cè)試集包含674個(gè)樣本，兩者的各類別的數(shù)目分布相同。

3.1 數(shù)據(jù)預(yù)處理

本文所使用的數(shù)據(jù)來自開源數(shù)據(jù)集magnetic tile surface defects[18]，其包含5種缺陷類別和無缺陷類別，共1 344張。數(shù)據(jù)集的正負(fù)樣本比例為大約2∶5，無缺陷圖片占多數(shù)，數(shù)據(jù)分布很符合實(shí)際場(chǎng)景的工廠產(chǎn)出。所有圖片的寬高比例均不一，具體的寬高比例散點(diǎn)圖和數(shù)目分布如圖4所示。

圖4 原始圖像寬高分布散點(diǎn)圖Fig.4 Scatter plot of original image width and height distribution

針對(duì)原始圖像寬高分布和網(wǎng)絡(luò)的降采樣倍率，本文對(duì)所有圖片和對(duì)應(yīng)標(biāo)注掩膜的圖片先統(tǒng)一轉(zhuǎn)置使得寬大于高，然后再雙線性插值為寬352像素、高320像素的圖像。對(duì)應(yīng)的預(yù)處理結(jié)果示例如圖5所示，數(shù)據(jù)集包含的磁瓦表面缺陷有氣孔、破損、裂紋、磨損、起層5種缺陷和無缺陷類別。

圖5 示例圖像Fig.5 Sample images

3.2 評(píng)估指標(biāo)

對(duì)于分割所使用的評(píng)估指標(biāo)，我們一般會(huì)用平均交并比(Mean Intersection over Union，MIoU)來衡量某個(gè)模型的分割效果。IoU指的是兩個(gè)區(qū)域的交集面積與并集面積的比例，在缺陷分割中，IoU指的是缺陷真實(shí)標(biāo)簽和預(yù)測(cè)值部分的交并的比值，而MIOU指的是該數(shù)據(jù)集中每個(gè)類別樣本的交并比的平均值。其定義如下：

(7)

其中TP表示實(shí)際為缺陷區(qū)域以及預(yù)測(cè)正確為缺陷部位的區(qū)域，F(xiàn)P表示實(shí)際為背景區(qū)域以及預(yù)測(cè)錯(cuò)誤為缺陷部位的區(qū)域，F(xiàn)N表示實(shí)際為缺陷區(qū)域以及預(yù)測(cè)錯(cuò)誤為背景的區(qū)域。

考慮到在缺陷分割任務(wù)中，對(duì)于缺陷圖片和無缺陷圖片，我們所期望的分割結(jié)果是不相同的，對(duì)于缺陷圖片更希望能夠分割出缺陷，我們可以用分割出前景的MIoU來衡量分割的效果。但對(duì)于無缺陷圖，我們更希望模型輸出一個(gè)正常的結(jié)果，也即沒有分割出任何前景。又由于實(shí)際場(chǎng)景的無缺陷圖片是遠(yuǎn)多于缺陷圖片的，如果單純地放在一起進(jìn)行統(tǒng)計(jì)會(huì)對(duì)總MIoU有很大的影響，從而對(duì)模型的指標(biāo)評(píng)估產(chǎn)生偏差。所以本文對(duì)無缺陷圖片所采取的衡量方法為單獨(dú)取出評(píng)估，并且計(jì)算背景部分的MIoU。

在實(shí)際的場(chǎng)景下，一般會(huì)更加關(guān)注與缺陷分割出的面積占缺陷本身的比例。于是定義缺陷分割準(zhǔn)確率PA(Pixel Accuracy,像素準(zhǔn)確率)為分割出的缺陷部位面積占所有缺陷面積的平均值，計(jì)算公式如下：

(8)

對(duì)于分類評(píng)估的指標(biāo)除了總分類準(zhǔn)確率外，想要衡量對(duì)于每個(gè)缺陷類別的預(yù)測(cè)精度，會(huì)使用召回率(Recall)和準(zhǔn)確率(Precition)來衡量每個(gè)類別的預(yù)測(cè)結(jié)果，其各自的定義如下：

(9)

(10)

其中TP表示預(yù)測(cè)為對(duì)應(yīng)類別實(shí)際也是該類別的樣本，F(xiàn)P表示預(yù)測(cè)為該類別實(shí)際并非該類別的樣本，F(xiàn)N表示預(yù)測(cè)并非該類別實(shí)際是該類別的樣本。

為了平衡召回率和準(zhǔn)確率，本文采用F1-score來衡量模型對(duì)每個(gè)缺陷類別的預(yù)測(cè)結(jié)果。F1-score同時(shí)兼顧了分類模型的精確率和召回率，在形式上表現(xiàn)為每個(gè)類別召回率和準(zhǔn)確率的調(diào)和平均數(shù)，其公式定義如下：

(11)

3.3 分割效果

分割網(wǎng)絡(luò)部分訓(xùn)練過程如下：設(shè)定初始學(xué)習(xí)率0.01，優(yōu)化器采用使用動(dòng)量的SGD，設(shè)定權(quán)重衰減率為5e-5。訓(xùn)練采取動(dòng)態(tài)學(xué)習(xí)率衰減策略，在訓(xùn)練輪數(shù)為100，200，300，400時(shí)令學(xué)習(xí)率衰減1/10，訓(xùn)練500輪后網(wǎng)絡(luò)基本收斂。

為了驗(yàn)證添加輔助損失以及數(shù)據(jù)增強(qiáng)的效果，本文訓(xùn)練了4組模型，并且記錄了在測(cè)試圖片上的各種相關(guān)指標(biāo)，具體結(jié)果如表1所示。

表1 添加輔助損失以及數(shù)據(jù)增強(qiáng)效果對(duì)比Tab.1 Effect comprison of add auxiliary loss and data augment

根據(jù)消融實(shí)驗(yàn)的結(jié)果可以看到，原先分割網(wǎng)絡(luò)對(duì)于缺陷分割的準(zhǔn)確率較低，通過添加差異系數(shù)損失能夠使得網(wǎng)絡(luò)繼續(xù)優(yōu)化，從而提升2.4%的缺陷類別MIoU，但是缺陷分割準(zhǔn)確率只提升0.4%，表明該損失函數(shù)貢獻(xiàn)主要在減少網(wǎng)絡(luò)對(duì)非缺陷部位的誤分割。對(duì)比添加多層損失的效果，缺陷類別MIoU提升6.4%，缺陷分割準(zhǔn)確率提升10.4%，表明添加多層損失能夠有效優(yōu)化網(wǎng)絡(luò)深層，明顯提升網(wǎng)絡(luò)分割效果。最后對(duì)比進(jìn)行數(shù)據(jù)增強(qiáng)后的效果，缺陷類別MIoU提升8.2%，缺陷分割準(zhǔn)確率提升16.9%，表明通過數(shù)據(jù)增強(qiáng)能夠有效提升模型的魯棒性，增強(qiáng)模型的泛化效果，解決數(shù)據(jù)量少、數(shù)據(jù)分布不均衡的問題，從而大幅提升分割精度。

分割網(wǎng)絡(luò)消融實(shí)驗(yàn)效果對(duì)比如圖6所示，可以明顯看出，通過添加輔助函數(shù)后原先分割網(wǎng)絡(luò)對(duì)于缺陷能夠有效地分割出整體，通過數(shù)據(jù)增強(qiáng)訓(xùn)練后，分割的輪廓更加精細(xì)。本文訓(xùn)練使用的缺陷圖片共196張，最后在測(cè)試的196張缺陷圖片上獲得了94.5%的缺陷分割準(zhǔn)確率，表明本文提出的方法能夠有效地分割出磁瓦表面缺陷，適應(yīng)實(shí)際場(chǎng)景對(duì)于磁瓦表面缺陷分割的高精度要求。

圖6 分割效果對(duì)比圖。(a)原始圖像；(b)標(biāo)簽掩膜；(c)原版分割網(wǎng)絡(luò)；(d)添加輔助損失；(e)添加輔助損失與數(shù)據(jù)增強(qiáng)。Fig.6 Comparison charts of segmentation effect.(a)Original image;(b)Label mask;(c)Original segment network;(d)Add auxiliary loss;(e)Add auxiliary loss and data augment.

3.4 分類效果

分類網(wǎng)絡(luò)部分訓(xùn)練過程如下：設(shè)定初始學(xué)習(xí)率3e-4，優(yōu)化器采用Adam，設(shè)定權(quán)重衰減率為5e-5。凍結(jié)分割網(wǎng)絡(luò)部分的權(quán)重，訓(xùn)練50輪后網(wǎng)絡(luò)收斂。

為了驗(yàn)證本文通過分割提取特征進(jìn)行分類方法的有效性，本文設(shè)置了對(duì)比實(shí)驗(yàn)，使用同樣的訓(xùn)練集與測(cè)試集來訓(xùn)練常用的分類網(wǎng)絡(luò)。為了驗(yàn)證本文方法相比劉暢等人的方法是否進(jìn)一步提升了分類準(zhǔn)確率，設(shè)置了和文獻(xiàn)[8]的對(duì)比實(shí)驗(yàn)。并且為了橫向?qū)Ρ缺疚乃岢龅姆诸惥W(wǎng)絡(luò)結(jié)構(gòu)的有效性，與擁有同樣類似結(jié)構(gòu)的文獻(xiàn)[10]進(jìn)行對(duì)比，最終實(shí)驗(yàn)的結(jié)果如表2所示。

表2 分類準(zhǔn)確率對(duì)比Tab.2 Comparison of classification accuracy

通過實(shí)驗(yàn)1、2與3、4、5的對(duì)比，在同樣的圖片預(yù)處理下沒有通過一階段分割網(wǎng)絡(luò)直接使用Resnet-50[15]、X-ception[16]等分類網(wǎng)絡(luò)，最終分類準(zhǔn)確率只有70%～89%，表明大量的無缺陷圖片對(duì)分類網(wǎng)絡(luò)的精度有很大影響，并且由于大部分缺陷占前景面積很小，網(wǎng)絡(luò)很難過濾背景信息的影響，因此很難有效提取到缺陷的特征并進(jìn)行區(qū)分。而本文的方法能夠獲得98.9%的準(zhǔn)確率表明通過分割部分的強(qiáng)監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)能夠有效過濾缺陷背景并且學(xué)習(xí)到缺陷的特征，避免了類別不均衡的影響，獲得了很高的準(zhǔn)確率。通過對(duì)比文獻(xiàn)[8]和本文方法的實(shí)驗(yàn)結(jié)果，可以看到本文方法在分類準(zhǔn)確率上提升了5.4%，表明通過分割網(wǎng)絡(luò)提取缺陷特征用于分類的方法能夠避免因誤分割或分割不全所導(dǎo)致的誤分類，從而進(jìn)一步提升分類的準(zhǔn)確率。

本文方法和文獻(xiàn)[10]對(duì)比的各缺陷類別F1-score分布柱狀圖如圖7所示。

圖7 各缺陷類別F1-score對(duì)比柱狀圖Fig.7 F1-score comparison histogram for each defect category

由圖7可知，本文方法所有的缺陷類別F1-score都能夠到達(dá)93%以上，并且大部分高于文獻(xiàn)[10]方法，對(duì)比可得應(yīng)對(duì)該場(chǎng)景下本文的分類網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)更加合理，能夠獲得更高的缺陷分類準(zhǔn)確率，滿足工業(yè)生產(chǎn)的高精度要求。

4 結(jié) 論

本文針對(duì)磁瓦生產(chǎn)工藝對(duì)磁瓦表面缺陷分割準(zhǔn)確、缺陷分類精度高的要求，提出一種基于深度學(xué)習(xí)的缺陷分割與分類方法，該方法包括一個(gè)缺陷分割網(wǎng)絡(luò)和在分割網(wǎng)絡(luò)上添加的缺陷分類網(wǎng)絡(luò)。本文通過添加輔助損失函數(shù)有效地提升了分割精度，并使用在線數(shù)據(jù)增強(qiáng)的方式訓(xùn)練模型。消融實(shí)驗(yàn)表明，本文添加輔助損失函數(shù)和在線數(shù)據(jù)增強(qiáng)能夠有效提升網(wǎng)絡(luò)性能，使其分割出94.5%標(biāo)注的缺陷區(qū)域。對(duì)比實(shí)驗(yàn)表明，本文方法相比其他分類方法能夠獲得98.9%的分類準(zhǔn)確率，滿足工業(yè)上磁瓦表面質(zhì)量檢測(cè)的高要求。