基于輕量級網(wǎng)絡(luò)的鋼板表面缺陷分類研究

閆俊紅，龔志成，李忠虎

(內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古 包頭 014010)

1 引言

鋼鐵產(chǎn)業(yè)是國家經(jīng)濟(jì)發(fā)展的重要基石，尤其是汽車、建筑等傳統(tǒng)行業(yè)和航空航天、電子機(jī)械等高精尖行業(yè)對產(chǎn)量需求日益增長，由于在生產(chǎn)過程中由于生產(chǎn)工藝、控制技術(shù)等諸多因素容易產(chǎn)生氧化鐵皮、斑塊、裂紋、麻點(diǎn)、劃傷[1-2]等缺陷，傳統(tǒng)人工目測方法效率低且效果差，故在工業(yè)檢測領(lǐng)域中引入智能檢測技術(shù)具有重要的意義。

隨著計(jì)算機(jī)發(fā)展和人工智能領(lǐng)域興起，在深度學(xué)習(xí)理論提出和龐大的數(shù)據(jù)累積下[3-6]，卷積神經(jīng)網(wǎng)絡(luò)表征學(xué)習(xí)能力得到了廣泛關(guān)注且應(yīng)用于表面缺陷檢測的領(lǐng)域里也越來越廣泛，王憲保[7]等提出一種基于深度學(xué)習(xí)模型對太陽能電池片表面缺陷進(jìn)行檢測的方法；Park[8]等設(shè)計(jì)了一種簡易的CNN模型對表面零件上的缺陷進(jìn)行檢測且準(zhǔn)確率高達(dá)98%；景軍峰[9]等通過微調(diào)卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)對織物表面缺陷識別的方法；Malekzadeh[10]等采用vgg-DNN的fc6層的輸出作為特征輸入到SVM中實(shí)現(xiàn)飛機(jī)表面缺陷分類，精度可達(dá)96%以上；Fusaomisa[11]等提出一種SssNet的改進(jìn)雙分支卷積神經(jīng)網(wǎng)絡(luò)模型，充分挖掘出了缺陷與正常樣本間的差異。然而傳統(tǒng)深度學(xué)習(xí)大量的時(shí)間和計(jì)算資源都在在設(shè)計(jì)網(wǎng)絡(luò)模型中消耗，并且針對不同任務(wù)需要重新建立模型復(fù)雜且耗時(shí)，數(shù)據(jù)集不足或網(wǎng)絡(luò)層數(shù)過深帶來的過擬合現(xiàn)象。

本文提出了一種改進(jìn)的MobileNetV3模型的鋼板缺陷分類方法，主要貢獻(xiàn)如下：

1) 能高效布置在硬件需求即資源有限的設(shè)備上，解決了大模型的實(shí)際使用限制。

2) 在KTH-TIPS數(shù)據(jù)集上預(yù)訓(xùn)練學(xué)習(xí)紋理特征，再在鋼板缺陷上進(jìn)行二次訓(xùn)練并微調(diào)超參數(shù)，解決了針對新任務(wù)再次布置訓(xùn)練網(wǎng)絡(luò)產(chǎn)生龐大計(jì)算量和大量浮點(diǎn)運(yùn)算以及大容量的內(nèi)存空間的需求。

3) 改進(jìn)后的模型通過舍棄相關(guān)冗余參數(shù)并添加相關(guān)結(jié)構(gòu)層，降低了整體的參數(shù)量的同時(shí)保持良好的模型精度。

2 鋼板表面的缺陷分類模型設(shè)計(jì)

2.1 網(wǎng)絡(luò)模型壓縮

為了降低卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算和存儲消耗，網(wǎng)絡(luò)模型壓縮問題這種輕量化設(shè)計(jì)思想衍生為了兩類：壓縮神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和設(shè)計(jì)新的網(wǎng)絡(luò)模型，前者通常采用網(wǎng)絡(luò)修剪、低秩分解等為主要方法，在不影響原有架構(gòu)的基礎(chǔ)上降低模型參數(shù)，后者以設(shè)計(jì)特殊化、結(jié)構(gòu)化計(jì)算核心和緊湊的計(jì)算單元，進(jìn)一步減小模型參數(shù)，得到高效能網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 改進(jìn)后MobileNetV3模塊

在網(wǎng)絡(luò)模型中引入遷移學(xué)習(xí)，是壓縮網(wǎng)絡(luò)模型的一種手段，可大致分為基于樣本、特征、模型以及關(guān)系的四種常見遷移方法，遷移學(xué)習(xí)中相關(guān)術(shù)語的定義如下所示：

定義1 領(lǐng)域(Domians)：一個(gè)領(lǐng)域可以表示為

D={X，P(x)}

(1)

式中X表示特征空間；P(x)表示x={x1，x2，…，xn}∈X，xi∈Rd，i=1，2，…，n的邊緣分布，xi表示第i幅圖的特征，Rd表示領(lǐng)域的特征集。

定義2 任務(wù)(Tasks)：給定某一個(gè)具體的領(lǐng)域D={X，P(x)}，一個(gè)任務(wù)可以表示為

T={Y，f(·)}

(2)

式中：Y表示類標(biāo)簽空間；f(·)表示目標(biāo)預(yù)測函數(shù)，可以預(yù)測任意的實(shí)例類標(biāo)簽，一個(gè)任務(wù)的解可以從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)獲得，xi，yi表示不同的特征，m表示對應(yīng)特征的維度，i表示當(dāng)前第i幅圖片，本文遷移學(xué)習(xí)流程圖如圖1所示。

圖1 本文遷移學(xué)習(xí)流程圖

2.2 改進(jìn)的MobileNetV3

MobileNetV3繼承了MobileNetV1模型中深度可分離卷積結(jié)構(gòu)和MobileNetV2模型中具有線性瓶頸的逆殘差結(jié)構(gòu)，本質(zhì)上是在MnasNet基礎(chǔ)上進(jìn)行完成了對模型的輕量化與優(yōu)化，核心部分NetAdapt算法的引入使得MobileNetV3模型具備了獲取最佳的拓展層濾波器數(shù)量和瓶頸層的通道數(shù)量的能力。

通過觀察樣本缺陷復(fù)雜程度及識別難度，科學(xué)對MobileNetV3架構(gòu)作出改進(jìn)，Resolution表示輸入圖像的分辨率，Channels和Layers分別表示模型通道數(shù)和網(wǎng)絡(luò)層數(shù)，如下表1所示為改進(jìn)后的MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)及相關(guān)參數(shù)，如下圖2所示為改進(jìn)后的MobileNetV3模塊，首先考慮將網(wǎng)絡(luò)結(jié)構(gòu)中的對模型貢獻(xiàn)度較小的卷積層通道數(shù)進(jìn)行刪減，故選擇將表1倒數(shù)第二行Conv層的通道數(shù)精簡為原先的1/3左右，由1280刪減至460，其次考慮到單純刪除通道數(shù)可能會引發(fā)模型的擬合能力驟降，故在模型結(jié)構(gòu)輸入層后引入一個(gè)1×1的點(diǎn)卷積結(jié)構(gòu)，在保留對原始缺陷圖像的平面結(jié)構(gòu)的基礎(chǔ)上，完成對鋼板缺陷圖像的每一個(gè)像素點(diǎn)的信息整合，通過有效的降維達(dá)到進(jìn)一步減參的目的，同時(shí)增加MobileNetV3的網(wǎng)絡(luò)模型深度，即加入非線性以提升網(wǎng)絡(luò)表達(dá)能力，最后考慮到本文鋼板表面缺陷數(shù)據(jù)主要是由于在加工中因表面過燒、脫碳、疏松、變形、內(nèi)應(yīng)力過大以及表面硫、磷等雜質(zhì)含量較多而產(chǎn)生的發(fā)紋、熱裂紋、冷裂紋等以紋理特征為主的紋理缺陷圖像。通過引入遷移學(xué)習(xí)思想，并且考慮只有將網(wǎng)絡(luò)模型學(xué)習(xí)到的具有共性的知識遷移到目標(biāo)領(lǐng)域才能避免負(fù)遷移現(xiàn)象的發(fā)生，故選擇數(shù)據(jù)增強(qiáng)后的KTH-TIPS數(shù)據(jù)集作為源域完成對改進(jìn)后MobileNetV3模型的預(yù)訓(xùn)練，鑒于由于兩個(gè)數(shù)據(jù)集中都含有相似的高級特征，應(yīng)選擇保留預(yù)訓(xùn)練網(wǎng)絡(luò)層級中包含關(guān)于鋼板表面缺陷數(shù)據(jù)集相關(guān)信息，即相關(guān)模型及權(quán)重參數(shù)。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，遷移學(xué)習(xí)后的模型不僅避免由于鋼板缺陷樣本量不足引發(fā)的過擬合現(xiàn)象，導(dǎo)致最終對鋼板表面缺陷圖像測試數(shù)據(jù)識別精度的大打折扣，同時(shí)也能在KTH-TIPS數(shù)據(jù)集中學(xué)習(xí)到幾何特征更為復(fù)雜且種類更為繁多的紋理圖像，故利用數(shù)據(jù)增強(qiáng)方式對KTH-TIPS紋理數(shù)據(jù)集進(jìn)行擴(kuò)充，在節(jié)約大量的計(jì)算及時(shí)間資源的同時(shí)，保證了模型整體的魯棒性及訓(xùn)練效果，具體方法如下：

1) 刪除神經(jīng)網(wǎng)絡(luò)末尾層級；

2) 添加一個(gè)新全連接層并保證輸出數(shù)量和新數(shù)據(jù)集類別數(shù)量一致；

3) 隨機(jī)初始化全連接層權(quán)重并凍結(jié)預(yù)訓(xùn)練網(wǎng)絡(luò)中所有權(quán)重；

4) 訓(xùn)練并更新新的全連接層權(quán)重；

表1 改進(jìn)的MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

本文源域數(shù)據(jù)集使用瑞典皇家理工學(xué)院紋理數(shù)據(jù)集(KTH-TIPS)，其類型包含有砂紙、鋁箔、發(fā)泡膠、燈芯絨、亞麻、棉等共11類，通過翻轉(zhuǎn)、旋轉(zhuǎn)、色彩抖動、加噪等數(shù)據(jù)增強(qiáng)方式，在原來4752張總量基礎(chǔ)上擴(kuò)充約3倍，共計(jì)11720張。目標(biāo)域采用NEU鋼板缺陷樣本包含夾雜、劃痕、壓入氧化皮、裂紋、麻點(diǎn)和斑塊，六類軋制鋼板缺陷，每個(gè)類下包含300張圖片，共計(jì)1800張圖片缺陷，部分紋理及缺陷數(shù)據(jù)集樣圖如圖3和圖4所示。

圖3 KTH-TIPS紋理數(shù)據(jù)集樣圖

圖4 鋼板缺陷數(shù)據(jù)集樣圖

通過引入交叉驗(yàn)證法(cross validation)的思想，在二次訓(xùn)練數(shù)據(jù)集上嘗試劃分不同的訓(xùn)練集和驗(yàn)證集數(shù)量進(jìn)行多組驗(yàn)證，交叉驗(yàn)證法相對于留出法數(shù)據(jù)量要求小且樣本信息損失小，通過評價(jià)插值方法質(zhì)量的方法，通過交叉驗(yàn)證的報(bào)告數(shù)據(jù)統(tǒng)計(jì)量設(shè)置的插值方法是否合理，同時(shí)還可以比較不同的插值模型得出的不同質(zhì)量的結(jié)果，交叉驗(yàn)證法一般使用統(tǒng)計(jì)指標(biāo)來進(jìn)行評價(jià)，在給定模型樣本上，利用大部分樣本建立模型，留小部分樣本在剛建立的模型上進(jìn)行預(yù)報(bào)，求出小部分樣本的預(yù)報(bào)誤差，并記錄平方加，和進(jìn)行數(shù)據(jù)集分割在樣本充足情況下，一般至少大于總數(shù)的50%，本文選擇平均誤差作為評價(jià)指標(biāo)，進(jìn)行多組劃分樣本數(shù)據(jù)誤差數(shù)據(jù)比較最終確定按照4：1進(jìn)行劃分?jǐn)?shù)據(jù)集樣本作為訓(xùn)練集及驗(yàn)證集。

3.2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)環(huán)境：Intel i5-8400處理器，連接云端并使用單個(gè)NVIDIA Tesla V100 GPU進(jìn)行云計(jì)算，操作系統(tǒng)Ubuntu 16.04.6，顯存16GB，內(nèi)存32GB，硬盤100GB，編程環(huán)境python3.7，編輯器采用Jupyter Notebook，學(xué)習(xí)框架采用Tensorflow1.14.1。

3.3 實(shí)驗(yàn)設(shè)置

配置相關(guān)實(shí)驗(yàn)環(huán)境，利用Python語言搭建ShuffleNetV2、MobileNetV2、改進(jìn)后的MobileNetV3模型及遷移學(xué)習(xí)后的深度卷積神經(jīng)網(wǎng)絡(luò)ResNet50模型，設(shè)置迭代次數(shù)Epoch為3000輪，批尺寸(Batch＿Size)為40，初始學(xué)習(xí)率為0.025，學(xué)習(xí)率設(shè)置衰減模式為自然指數(shù)衰減，同時(shí)設(shè)置文件路徑保存迭代次數(shù)中最優(yōu)模型，每個(gè)Epoch訓(xùn)練結(jié)束后保存準(zhǔn)確率、及學(xué)習(xí)率大小，每組模型訓(xùn)練保證喂入相同訓(xùn)練數(shù)據(jù)集及預(yù)訓(xùn)練數(shù)據(jù)集，配置相同參數(shù)及運(yùn)行環(huán)境。

3.4 實(shí)驗(yàn)結(jié)果及相關(guān)評價(jià)指標(biāo)分析

訓(xùn)練次數(shù)Epoch為500左右時(shí)學(xué)習(xí)率由0.0025衰減值至0.0000225，作為梯度下降法中搜索步長的方法，其設(shè)置很大程度影響到模型收斂的效果，學(xué)習(xí)率衰減方式可分為等間隔的調(diào)整(STRPLR)、多步長衰減(MULTISTEPLR)、指數(shù)衰減型調(diào)整(EXPONENTIALLR)等方式，通過分析文中網(wǎng)絡(luò)模型訓(xùn)練難易程度，且考慮設(shè)置訓(xùn)練迭代次數(shù)較為長防止學(xué)習(xí)率過大直接跳過最優(yōu)值，且保證模型收斂速度，故學(xué)習(xí)率采用自然指數(shù)衰減方式如圖5所示。改進(jìn)后的MobileNetV3模型在迭代次數(shù)為300左右就開始收斂且?guī)谉o波動，而原始模型在迭代次數(shù)為750左右時(shí)才開始緩慢收斂，模型通過遷移學(xué)習(xí)二次訓(xùn)練，冗余參數(shù)的刪減及相關(guān)結(jié)構(gòu)層添加增強(qiáng)了模型的魯棒性和收斂速度，在同一個(gè)訓(xùn)練目標(biāo)任務(wù)下，改進(jìn)后的MobileNetV3效率遠(yuǎn)遠(yuǎn)高于原始模型，故曲線收斂的速度快，改進(jìn)前后的MobileNetV3準(zhǔn)確率變化曲線如圖6所示。

圖5 訓(xùn)練模型學(xué)習(xí)率衰減

圖6 MobileNetV3模型改進(jìn)前后對比

遷移學(xué)習(xí)后的ResNet50模型采用壓縮網(wǎng)絡(luò)方式輕量化網(wǎng)絡(luò)，可是壓縮后的網(wǎng)絡(luò)模型始終依賴于原始網(wǎng)絡(luò)模型，且在網(wǎng)絡(luò)架構(gòu)上并未做出任何改進(jìn)，兩圖中的準(zhǔn)確率及曲線收斂速度遠(yuǎn)遠(yuǎn)不及其它三種輕量級網(wǎng)絡(luò)模型，由圖9觀察可得改進(jìn)后的MobileNetV3在驗(yàn)證集上迭代次數(shù)Epoch為200左右開始收斂且之后訓(xùn)練中幾乎無波動，改進(jìn)之后的模型具有更好的魯棒性和泛化能力，遷移學(xué)習(xí)后ResNet50、ShuffleNetV2、MobileNetV2、改進(jìn)后的MobileNetV3在鋼板缺陷訓(xùn)練集及驗(yàn)證集上識別精確度變化曲線如圖7和圖8所示。

圖7 缺陷訓(xùn)練集準(zhǔn)確率變化曲線

圖8 缺陷驗(yàn)證集準(zhǔn)確率變化曲線

“Accuracy”表示各模型在缺陷數(shù)據(jù)集集上的識別準(zhǔn)確率，“Parameter Amount”表示模型中卷積核等所有參數(shù)數(shù)量，同時(shí)引入Recall(召回率)和F1分?jǐn)?shù)作為評價(jià)指標(biāo)。文中改進(jìn)MobileNetV3模型相比于原始模型1.24×106的參數(shù)量下降為原來1/4左右，實(shí)驗(yàn)發(fā)現(xiàn)改進(jìn)后MobileNetV3的準(zhǔn)確率值高達(dá)99.7%，比其它網(wǎng)絡(luò)高出0.5%到10%，F(xiàn)1分?jǐn)?shù)是將準(zhǔn)確率和精確度結(jié)合的一種綜合指標(biāo)，F(xiàn)1值越高模型越理想，“Predict Times”表示訓(xùn)練好模型對單張缺陷樣本的實(shí)時(shí)檢測時(shí)間，改進(jìn)后的MobieNetV3模型單張檢測效率相對于原始模型及其它模型提升11.9%到28.6%，模型評價(jià)數(shù)值見表2。

表2 各種網(wǎng)絡(luò)模型實(shí)驗(yàn)評價(jià)指標(biāo)對比

由上述實(shí)驗(yàn)綜合分析，MobileNetV3各項(xiàng)指標(biāo)均為最優(yōu)，ResNet50、MobileNetV2、ShuffleNetV3及原始MobileNetV3模型在鋼板表面缺陷的檢測中對于夾雜等微小型和長寬比較大缺陷會產(chǎn)生漏檢，即對微小缺陷識別能力較弱，文中MobileNetV3通過預(yù)訓(xùn)練學(xué)習(xí)到紋理特征后并做出相關(guān)改進(jìn)，在鋼板表面缺陷數(shù)據(jù)集上識別準(zhǔn)確度均為最佳，神經(jīng)網(wǎng)絡(luò)模型在各類缺陷識別準(zhǔn)確率見表3。

表3 各類缺陷模型分類準(zhǔn)確率對比

FLOPS(每秒峰值速度)，即每秒執(zhí)行的浮點(diǎn)運(yùn)算數(shù)，F(xiàn)LOPS經(jīng)常用來評估使用到大量浮點(diǎn)運(yùn)算的科學(xué)計(jì)算領(lǐng)域，Tesla V100 GPU單精度浮點(diǎn)性能高達(dá)15TFLOPS，雙精度浮點(diǎn)高達(dá)7.5TFLOPS，更適用于超大數(shù)據(jù)的復(fù)雜計(jì)算，在本文缺陷樣本訓(xùn)練中容易造成資源過?，F(xiàn)象，同時(shí)為證明輕量級網(wǎng)絡(luò)在資源有限設(shè)備上的可移植性，故利用Intel Core(TM) i7-4720HQ CPU和GeForce 950M GPU兩種硬件受限的平臺進(jìn)行訓(xùn)練。通過搭建網(wǎng)絡(luò)模型并分析訓(xùn)練效率發(fā)現(xiàn)輕量級網(wǎng)絡(luò)MobileNetV3模型在兩種資源受限平臺上，訓(xùn)練速度明顯要優(yōu)于原始模型及DenseNet121、DenseNet101模型，改進(jìn)后的MobileNetV3模型在CPU平臺上的的檢測速度為28.04FPS，在原始模型基礎(chǔ)上速度提升1.4倍，相對于兩種深度網(wǎng)絡(luò)模型分別提升7.1倍、4倍，另外在GPU平臺上，檢測速度可達(dá)229.75FPS，在原始模型基礎(chǔ)上速度提升4.7倍，相對于兩種深度網(wǎng)絡(luò)模型分別提升15.3倍、12.4倍，本文改進(jìn)后的MobileNetV3即使在資源受限平臺上也能保持較高的檢測速率，在進(jìn)一步節(jié)約了企業(yè)購進(jìn)高性能檢測設(shè)備同時(shí)也能夠滿足工業(yè)中實(shí)時(shí)檢測需求，具體參數(shù)見表4。

表4 資源受限平臺實(shí)時(shí)檢測效率

4 結(jié)論

本文通過建立鋼板缺陷數(shù)據(jù)集分類識別任務(wù)，在刪除MobileNetV3冗余參數(shù)及添加相關(guān)結(jié)構(gòu)基礎(chǔ)上，通過選擇合適的遷移學(xué)習(xí)方案，改進(jìn)后的MobileNetV3模型在目標(biāo)鋼板缺陷數(shù)據(jù)上識別準(zhǔn)確率高達(dá)99.7%，收斂速度快且具有較強(qiáng)魯棒性，且在文中布置兩個(gè)資源有限平臺上仍然保持28.04FPS和229.75FPS的實(shí)時(shí)檢測效率。綜合試驗(yàn)分析得出，本文方法在提高了對鋼板缺陷樣本檢測精度的同時(shí)進(jìn)一步降低了模型參數(shù)，在模型實(shí)時(shí)性和識別精度上都有了顯著提高。