基于深度學(xué)習(xí)的偏光片缺陷實(shí)時(shí)檢測(cè)算法

劉瑞珍，孫志毅，王安紅，楊 凱，王 銀，孫前來(lái)

(太原科技大學(xué) a.材料科學(xué)與工程學(xué)院，b.電子信息工程學(xué)院，太原 030024)

在偏光片生產(chǎn)過(guò)程中，由于加工工藝限制、設(shè)計(jì)水平不足，生產(chǎn)設(shè)備故障和生產(chǎn)條件惡劣等因素，在工件內(nèi)部極易形成不均勻的區(qū)域，這些區(qū)域通常表現(xiàn)為氣泡狀的殘膠、裂縫、夾雜物、污漬、劃痕等缺陷。這些缺陷通常是通過(guò)人工檢查來(lái)完成的，主要是通過(guò)在生產(chǎn)線(xiàn)上對(duì)偏光片進(jìn)行視覺(jué)掃描，將有缺陷的產(chǎn)品分類(lèi)出來(lái)以便后續(xù)處理。然而，在大批量生產(chǎn)過(guò)程中，檢測(cè)精度和速度易受檢測(cè)人員主觀因素及經(jīng)驗(yàn)的影響，難以滿(mǎn)足現(xiàn)代裝配線(xiàn)的要求。因此，需要開(kāi)發(fā)高精度、高速度以及自動(dòng)有效的圖像分類(lèi)技術(shù)來(lái)檢測(cè)這些缺陷，以確保生產(chǎn)線(xiàn)中偏光片的質(zhì)量。

傳統(tǒng)的機(jī)器視覺(jué)檢測(cè)缺陷[1]主要通過(guò)對(duì)被檢物圖像進(jìn)行處理，在圖像處理過(guò)程中，需要人工定義和選擇能夠準(zhǔn)確識(shí)別圖像中缺陷的特征表示。但是在工業(yè)環(huán)境中，當(dāng)出現(xiàn)新的問(wèn)題時(shí)，必須手動(dòng)設(shè)計(jì)新的特征，由于缺陷區(qū)域位置隨機(jī)性，形狀多樣性和復(fù)雜性，因此用于描述缺陷的標(biāo)準(zhǔn)特征描述符往往導(dǎo)致分類(lèi)結(jié)果不準(zhǔn)確，很難滿(mǎn)足實(shí)際工業(yè)要求。

近年來(lái)，隨著深度學(xué)習(xí)的興起與發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)克服了手動(dòng)重新定義每個(gè)新缺陷的特征表示的困難，顯著提高了圖像分類(lèi)[2-3]、目標(biāo)分割[4-5]、目標(biāo)檢測(cè)[6]和其他視覺(jué)任務(wù)[7-8]等應(yīng)用中的檢測(cè)性能，其中具有代表性的分類(lèi)網(wǎng)絡(luò)主要有AlexNet[2]，VGG[9]，GoogLeNet[3]和ResNet[10]。然而，這些經(jīng)典的分類(lèi)網(wǎng)絡(luò)構(gòu)建的越來(lái)越深，模型大小也在不斷增加，在許多實(shí)際應(yīng)用如人臉識(shí)別和汽車(chē)自動(dòng)駕駛中，需要在計(jì)算受限的平臺(tái)上實(shí)時(shí)地執(zhí)行識(shí)別任務(wù)，因此，在盡量不影響網(wǎng)絡(luò)效果的前提下，模型壓縮和簡(jiǎn)化設(shè)計(jì)成為了一個(gè)很重要的研究方向。

為了減少深度學(xué)習(xí)網(wǎng)絡(luò)模型在移動(dòng)設(shè)備上運(yùn)行所占用的存儲(chǔ)空間，2015年，HAN et al[11]在不影響分類(lèi)準(zhǔn)確率的前提下，通過(guò)修剪網(wǎng)絡(luò)中不重要的權(quán)重連接，將深度學(xué)習(xí)網(wǎng)絡(luò)所需要的存儲(chǔ)和計(jì)算量減少了一個(gè)數(shù)量級(jí)。2016年，HAN et al[12]將網(wǎng)絡(luò)剪枝、量化和霍夫曼編碼相結(jié)合來(lái)擴(kuò)展他們以前的工作，提出了一種稱(chēng)為“深度壓縮”的方法，將AlexNet壓縮了幾十倍，極大地減少了模型的存儲(chǔ)空間。2017年，IANDOLA et al[13]設(shè)計(jì)了一個(gè)不同于傳統(tǒng)卷積層的Fire模塊，并構(gòu)建了一個(gè)名為SqueezeNet的小型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分類(lèi)正確率和AlexNet相同的情況下，參數(shù)量比AlexNet減少了50倍。MobileNet[14]網(wǎng)絡(luò)使用深度可分離卷積來(lái)構(gòu)建高性能的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型，有效地減少了網(wǎng)絡(luò)的參數(shù)量，并能很好地與移動(dòng)和嵌入式可視化應(yīng)用的設(shè)計(jì)要求相匹配。ShuffleNet[15]網(wǎng)絡(luò)是專(zhuān)門(mén)為計(jì)算能力非常有限的移動(dòng)設(shè)備而設(shè)計(jì)的，主要采用了兩個(gè)新的操作，即逐點(diǎn)組卷積和信道混合，既保持了分類(lèi)準(zhǔn)確率，又大大降低了計(jì)算成本。因此本文將圖像分類(lèi)與模型壓縮相結(jié)合，搭建了一個(gè)輕量級(jí)的偏振片缺陷實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)，在不降低分類(lèi)準(zhǔn)確率的前提下最小化訓(xùn)練模型及加快檢測(cè)速度，以達(dá)到實(shí)際工業(yè)的實(shí)時(shí)需求。

1 基于深度學(xué)習(xí)的偏光片缺陷實(shí)時(shí)檢測(cè)算法

1.1 偏光片缺陷分類(lèi)網(wǎng)絡(luò)設(shè)計(jì)

本文提出的偏光片缺陷分類(lèi)網(wǎng)絡(luò)是基于并行模塊和并行非對(duì)稱(chēng)卷積模塊設(shè)計(jì)的，如圖1所示，該網(wǎng)絡(luò)主要由一個(gè)標(biāo)準(zhǔn)的3×3卷積層(卷積層1)，5個(gè)并行模塊和1個(gè)并行非對(duì)稱(chēng)卷積模塊組成。在并行模塊2、3、4和并行非對(duì)稱(chēng)卷積模塊之后，我們分別使用最大池化層來(lái)減少特征映射的維數(shù)和參數(shù)。LIN et al[16]的工作中用全局均值池化層代替全連接層，以減少網(wǎng)絡(luò)的參數(shù)量，同時(shí)克服了全連接層容易過(guò)擬合的缺點(diǎn)，提高了整個(gè)網(wǎng)絡(luò)的泛化能力。本文利用全局均值池化層的上述優(yōu)點(diǎn)，在并行模塊5之后使用一個(gè)全局均值池化層來(lái)增強(qiáng)特征映射與類(lèi)別之間的對(duì)應(yīng)關(guān)系，使卷積結(jié)構(gòu)保留的更好，分類(lèi)更準(zhǔn)確；此外，全局均值池化層與全連接層相比，無(wú)任何參數(shù)需要優(yōu)化，大大地減少了網(wǎng)絡(luò)的參數(shù)量及計(jì)算量。最后，網(wǎng)絡(luò)經(jīng)過(guò)Softmax層對(duì)輸入的偏光片圖像進(jìn)行分類(lèi)，得到分類(lèi)結(jié)果。本文提出的偏光片分類(lèi)網(wǎng)絡(luò)為了加速網(wǎng)絡(luò)訓(xùn)練的收斂速度并提高網(wǎng)絡(luò)的泛化能力，除最大池化層外，網(wǎng)絡(luò)每層后面都添加一個(gè)批量歸一化(Batch Normalization，BN)層對(duì)輸入數(shù)據(jù)做歸一化處理，同時(shí)為了增加各層之間的非線(xiàn)性關(guān)系，在BN層之后添加激活層，所使用的激活函數(shù)為ReLU函數(shù)。

圖1 偏光片缺陷分類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)

1.2 并行深度可分離卷積模塊

經(jīng)典的分類(lèi)網(wǎng)絡(luò)如AlexNet，GoogLeNet和ResNet，由于其網(wǎng)絡(luò)層數(shù)越來(lái)越深，模型越來(lái)越大，占用內(nèi)存不斷增加，實(shí)時(shí)性差，因此很難應(yīng)用于偏光片在線(xiàn)檢測(cè)系統(tǒng)中?？紤]到工業(yè)中對(duì)于實(shí)時(shí)性和準(zhǔn)確性的要求，本文參考經(jīng)典深度壓縮模型MobileNet[14]中利用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積以減少網(wǎng)絡(luò)參數(shù)量的思想，主要對(duì)深度可分離卷積進(jìn)行了改進(jìn)與優(yōu)化，得到并行深度可分離卷積模塊用來(lái)構(gòu)建偏光片缺陷分類(lèi)網(wǎng)絡(luò)。

圖2給出了本文設(shè)計(jì)的并行深度可分離卷積模塊的結(jié)構(gòu)，與深度可分離卷積不同，該并行模塊混合了不同尺寸的卷積濾波器，這種設(shè)計(jì)不但能夠更好地融合不同尺度的特征，還能提取到更豐富的缺陷特征，使后續(xù)的缺陷分類(lèi)操作更準(zhǔn)確。利用該模塊搭建的偏光片缺陷分類(lèi)網(wǎng)絡(luò)可以顯著地減少網(wǎng)絡(luò)參數(shù)量和MACCs，這將會(huì)在實(shí)驗(yàn)部分得到充分的驗(yàn)證。

圖2中實(shí)線(xiàn)框1代表的是本文提出的并行深度可分離卷積模塊。首先，使用1×1的卷積濾波器來(lái)減少輸入到虛線(xiàn)框2的通道數(shù)，即特征圖個(gè)數(shù)；其次，虛線(xiàn)框2是由1×1卷積濾波器和點(diǎn)劃線(xiàn)框3混合而成，即采用不同尺寸的卷積濾波器(1×1和3×3)來(lái)提取偏光片中缺陷特征；最后，將1×1卷積濾波器和點(diǎn)劃線(xiàn)框3的輸出連接到一起，作為網(wǎng)絡(luò)下一層的輸入。點(diǎn)劃線(xiàn)框3代表的是深度可分離卷積。該并行模塊中所有的卷積操作后都執(zhí)行BN和ReLU操作以加速收斂，提高模型的泛化能力和防止梯度消失問(wèn)題。

圖2 本文提出的并行深度可分離卷積模塊結(jié)構(gòu)

在圖2中，有4個(gè)可調(diào)參數(shù)：n1，n2，n3，n4和2個(gè)固定參數(shù)F和n0，F(xiàn)和n0分別指輸入到并行模塊的特征圖的寬度(或高度)和特征圖的個(gè)數(shù)。n1表示并行模塊中虛線(xiàn)框2上方1×1卷積濾波器輸出的特征圖個(gè)數(shù)，n2表示虛線(xiàn)框2左側(cè)的1×1卷積濾波器輸出的特征圖的個(gè)數(shù)，n3和n4表示點(diǎn)劃線(xiàn)框3中卷積濾波器的輸出特征圖個(gè)數(shù)。在本文設(shè)計(jì)的網(wǎng)絡(luò)中使用并行模塊時(shí)，n1

1.3 深度可分離非對(duì)稱(chēng)卷積結(jié)構(gòu)

GoogLeNet Inception V3中將n×n的卷積拆分為1×n+n×1的非對(duì)稱(chēng)卷積用以節(jié)約網(wǎng)絡(luò)參數(shù)量，加快運(yùn)算及減輕過(guò)擬合，同時(shí)非對(duì)稱(chēng)卷積還能處理更多、更豐富的空間特征，增加特征的多樣性，擴(kuò)展模型的表達(dá)能力[17]。所以為了進(jìn)一步減少網(wǎng)絡(luò)的參數(shù)量，本文利用非對(duì)稱(chēng)卷積的上述優(yōu)點(diǎn)，對(duì)1.2節(jié)中提出的并行深度可分離卷積模塊中的深度可分離卷積進(jìn)行改進(jìn)，即將圖2中點(diǎn)劃線(xiàn)框3中的3×3深度卷積(圖3(a)所示)用1×3+3×1卷積替代(圖3(b)所示)以構(gòu)成并行非對(duì)稱(chēng)深度可分離卷積模塊，利用1×3+3×1的卷積核對(duì)特征圖進(jìn)行卷積的感受野和利用3×3的卷積核進(jìn)行操作的感受野是相同的，不同之處在于1×3+3×1的卷積核將網(wǎng)絡(luò)分成兩層進(jìn)行滑動(dòng)卷積，增加了網(wǎng)絡(luò)的深度，隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)提取特征的能力也隨之提高，所以這種空間結(jié)構(gòu)的拆分能夠提取到更加豐富的缺陷特征，使訓(xùn)練得到的網(wǎng)絡(luò)模型的分類(lèi)正確率得到提高。

圖3 (a)深度可分離卷積，(b)深度可分離非對(duì)稱(chēng)卷積

對(duì)于中等網(wǎng)絡(luò)尺寸，在m×m的特征圖上，當(dāng)12

表1列出了并行模塊與并行非對(duì)稱(chēng)卷積模塊的參數(shù)量及分類(lèi)正確率，若圖1中偏光片缺陷分類(lèi)網(wǎng)絡(luò)是由標(biāo)準(zhǔn)卷積層與6個(gè)并行模塊組成，則第五個(gè)并行模塊的參數(shù)量為86 016，訓(xùn)練得到的模型分類(lèi)正確率為98.9%.將第五個(gè)并行模塊用并行非對(duì)稱(chēng)卷積模塊代替之后，此模塊的參數(shù)量為73 728，參數(shù)量減少了14.3%，模型的分類(lèi)正確率為99.4%，正確率提高了0.5%.所以在網(wǎng)絡(luò)輸出特征圖大小在12到20范圍內(nèi)，用并行非對(duì)稱(chēng)卷積模塊代替并行模塊之后，既增加了網(wǎng)絡(luò)的深度，減少了參數(shù)量，也提高了分類(lèi)準(zhǔn)確率。

表1 并行模塊與并行非對(duì)稱(chēng)卷積模塊參數(shù)量及分類(lèi)正確率比較

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集介紹

從電子二廠獲得了某一批次產(chǎn)品的偏光片圖像數(shù)據(jù)集，并將圖像分為三類(lèi)：無(wú)缺陷圖像、污漬圖像和缺陷圖像(如圖4所示)，實(shí)驗(yàn)部分將利用此數(shù)據(jù)集來(lái)評(píng)估該系統(tǒng)的性能。該數(shù)據(jù)集共有5 000張200×200×3偏光片灰度圖像，其中無(wú)缺陷圖像共1 000張，污漬圖像和缺陷圖像各2 000張。將這5 000張圖像隨機(jī)地按3∶1∶1的比例分配為訓(xùn)練集、校驗(yàn)集和測(cè)試集。本文實(shí)驗(yàn)過(guò)程中，需要檢測(cè)偏光片圖像中是否存在污漬和缺陷，并能將其與無(wú)缺陷圖像進(jìn)行正確的分類(lèi)。

圖4中，第一行代表無(wú)缺陷圖像；第二行代表污漬圖像，紅色矩形框代表污漬部分，其對(duì)應(yīng)于生產(chǎn)過(guò)程中偏光片表面有污漬的樣品，它們需要被正確分類(lèi)出來(lái)，并將污漬清洗干凈后可再次投入使用；第三行代表缺陷圖像，紅色矩形框內(nèi)不規(guī)則的圓圈或半圓代表的是在偏光片的生產(chǎn)過(guò)程中由特定的編碼裝置噴涂在偏光片表面的特殊記號(hào)，這類(lèi)缺陷樣本被正確分類(lèi)出來(lái)后將不能再次進(jìn)行使用。從圖中可以看出，紅色矩形框的位置和大小都不一致，即缺陷的位置不固定，形狀多種多樣。

圖4 偏光片圖像數(shù)據(jù)集

2.2 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)環(huán)境為L(zhǎng)inux Ubuntu 14.04操作系統(tǒng)，8 GB內(nèi)存，NVIDIA GeForce 1080顯卡，并用Caffe深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。訓(xùn)練過(guò)程和校驗(yàn)過(guò)程中的mini-batch大小分別設(shè)置為20和10.動(dòng)量因子設(shè)置為0.9，權(quán)重更新量設(shè)置為0.000 2，初始學(xué)習(xí)率設(shè)置為0.001，且采用隨機(jī)梯度下降方法進(jìn)行訓(xùn)練，網(wǎng)絡(luò)的最大迭代次數(shù)設(shè)置為140 000次。

為了驗(yàn)證本文方法的有效性，將其與現(xiàn)有的深度學(xué)習(xí)經(jīng)典算法AlexNet[2]、VGG-16[9]、ResNet-18[10]、SqueezeNet[13]和MobileNet[14]進(jìn)行了比較。表2給出了本文方法與上述5種經(jīng)典算法在校驗(yàn)集上的實(shí)驗(yàn)結(jié)果比較，從表2可以看出，本文方法得到的模型分類(lèi)正確率分別比AlexNet，VGG-16，ResNet-18，SqueezeNet和MobileNet高0.8%；0.2%，0.8%，1.5%和0.5%.模型大小分別減少了647.8，1 137.6，76.7，4.98和22.1倍；參數(shù)量比AlexNet，VGG-16和MobileNet減少了兩個(gè)數(shù)量級(jí)，比ResNet-18減少了一個(gè)數(shù)量級(jí)。MACCs比AlexNet和VGG-16減少了三個(gè)數(shù)量級(jí)，比SqueezeNet減少了一個(gè)數(shù)量級(jí)，比ResNet-18和MobileNet減少了兩個(gè)數(shù)量級(jí)。因此，本文方法可以在不降低分類(lèi)準(zhǔn)確率的情況下大大減小模型的尺寸，并且在分類(lèi)準(zhǔn)確率、速度和存儲(chǔ)器使用方面目前均可滿(mǎn)足行業(yè)對(duì)偏光片缺陷的在線(xiàn)實(shí)時(shí)檢測(cè)的要求。

表2 不同模型在校驗(yàn)集的實(shí)驗(yàn)結(jié)果比較

圖5顯示了6種不同方法訓(xùn)練得到的模型在校驗(yàn)集上的分類(lèi)正確率和損失函數(shù)曲線(xiàn)。本文用140 000次迭代中每1 000次迭代的平均正確率和損失率共14個(gè)點(diǎn)來(lái)繪制正確率和損失函數(shù)曲線(xiàn)。從圖中可以清晰地看到本文方法能得到更高的分類(lèi)正確率和更低的損失率。另外，從圖5(a)可以看出本文方法收斂速度明顯高于AlexNet，VGG-16，SqueezeNet和MobileNet這四個(gè)經(jīng)典分類(lèi)模型。

使用測(cè)試集來(lái)驗(yàn)證本文方法的有效性及泛化能力，測(cè)試集中偏光片圖像共有1 000張，其中無(wú)缺陷圖像有200張，污漬圖像和缺陷圖像各400張，此測(cè)試集既沒(méi)有參與網(wǎng)絡(luò)的訓(xùn)練，也沒(méi)有參與網(wǎng)絡(luò)的校驗(yàn)過(guò)程。測(cè)試結(jié)果如表3所示，可以得出，本文方法比其他五種經(jīng)典算法能獲得更低的分類(lèi)錯(cuò)誤率，充分驗(yàn)證了本文方法的有效性。表3最后一列列出了6種算法在測(cè)試過(guò)程中每張圖片的測(cè)試時(shí)間，從表中可以看出，與AlexNet，VGG-16，SqueezeNet，ResNet-18和MobileNet相比，本文方法將每張圖片的分類(lèi)時(shí)間分別縮短了303.1，2 471，280.4，17.1和116.7 ms.所以無(wú)論是從分類(lèi)精度和速度，本文方法均滿(mǎn)足工業(yè)中偏光片缺陷實(shí)時(shí)監(jiān)測(cè)的需求。

圖5 (a)校驗(yàn)集上分類(lèi)正確率的比較，(b)校驗(yàn)集上損失函數(shù)的比較

表3 不同模型在測(cè)試集上的試驗(yàn)結(jié)果比較

圖6顯示了6種不同的方法訓(xùn)練得到的模型準(zhǔn)確率，模型大小和在測(cè)試集上針對(duì)每張圖片的測(cè)試時(shí)間的比較結(jié)果，圖中1，2，3，4，5，6分別代表AlexNet，VGG-16，ResNet-18，SqueezeNet，MobileNet和本文方法，圖6和表2相結(jié)合可以得出，本文方法可以獲得更高的準(zhǔn)確率，訓(xùn)練得到的模型最小，同時(shí)測(cè)試速度最快，充分證明了本文方法的有效性。

圖6 六種模型的正確率，模型大小和在測(cè)試集上的測(cè)試時(shí)間的比較

3 結(jié)束語(yǔ)

本文主要設(shè)計(jì)了一種基于深度學(xué)習(xí)的偏光片缺陷實(shí)時(shí)檢測(cè)算法，首先，設(shè)計(jì)了一個(gè)并行深度可分離卷積模塊來(lái)構(gòu)建偏光片缺陷檢測(cè)網(wǎng)絡(luò)，該并行模塊有兩個(gè)優(yōu)點(diǎn)：一是利用不同尺寸大小的卷積濾波器來(lái)提取更加豐富的缺陷特征；二是該并行模塊中采用深度可分離卷積替代傳統(tǒng)的卷積，顯著減少了網(wǎng)絡(luò)的參數(shù)量及MACCs；其次，將并行模塊中的3×3深度卷積用非對(duì)稱(chēng)卷積替代得到并行非對(duì)稱(chēng)卷積模塊，進(jìn)一步減少網(wǎng)絡(luò)的參數(shù)量；最后，網(wǎng)絡(luò)最后使用全局均值池化層最大限度地減少網(wǎng)絡(luò)的參數(shù)量。實(shí)驗(yàn)結(jié)果表明，本文方法在分類(lèi)精度、速度及內(nèi)存消耗方面均優(yōu)于現(xiàn)有的方法，達(dá)到了工業(yè)實(shí)時(shí)檢測(cè)缺陷的要求。未來(lái)還可以通過(guò)其他模型壓縮的方法進(jìn)一步減少模型占用空間，提高模型分類(lèi)速度及精度。