改進(jìn)的VGG網(wǎng)絡(luò)的二極管玻殼圖像缺陷檢測

杜 超，劉桂華

(西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621000)

玻殼作為二極管封裝的重要材料因其良好性能被廣泛應(yīng)用[1]。區(qū)別于一般的玻璃檢測方法[2-3]，目前二極管玻殼缺陷檢測方法主要分為人工檢測法、圖像識別法和機(jī)器學(xué)習(xí)法。采用人工檢測的方法，不僅效率低，勞動強度大，而且檢測精度差，難以滿足生產(chǎn)需要。圖像處理方法[4]一般都是基于閾值分割，操作簡單，存在準(zhǔn)確率不高和自適應(yīng)性能差問題。

機(jī)器學(xué)習(xí)的方法進(jìn)行缺陷檢測中有LI等[5-6]開發(fā)了一種高度穩(wěn)健的估計器，稱為模型擬合(model fitting，MF)估計器[7]。ZHAO等[8]提取玻璃中比較大的氣泡邊緣的直方圖特征，使用自適應(yīng)提升算法(adaptive boosting，AdaBoost)進(jìn)行分類，可以達(dá)到88.89%的準(zhǔn)確率。馮小波等[9]利用小波共現(xiàn)提取特征，通過主成分分析(principal component analysis，PCA)降低特征的維數(shù)，并且選擇3種不同方法之間的最佳分類器：包括分類和回歸樹(classification and regression trees，CART)，多層感知器(multi-layer perception，MLP)和支持向量機(jī)(support vector machine，SVM)。在訓(xùn)練SVM和MLP分類器時，使用模擬退火算法來獲得分類器的最佳調(diào)整參數(shù)，將缺陷識別準(zhǔn)確率提升到89.5%。牛乾等[1]使用BP(back propagation)神經(jīng)網(wǎng)絡(luò)，通過對二極管玻殼灰度、不變矩、紋理特征提取，然后使用多層感知機(jī)神經(jīng)網(wǎng)絡(luò)對缺陷進(jìn)行分類檢測，得到了91%的精確率。雖然使用機(jī)器學(xué)習(xí)算法可以達(dá)到較高的識別率，但是其不足之處是需要進(jìn)行分割和人工提取特征，識別精確度很大程度上會依賴于所輸入的特征的準(zhǔn)確性以及所設(shè)計出的特征量維度，識別難度比較大，而且容易陷入“降維詛咒”[10]。

針對于以上問題，分析傳統(tǒng)的二極管玻殼圖像缺陷檢測的缺點，為了進(jìn)一步提高缺陷的識別率，提出了一種基于VGG-19(visual geometry group-19)網(wǎng)絡(luò)的二極管玻殼圖像檢測方法，并在此基礎(chǔ)上進(jìn)行改進(jìn)。VGG神經(jīng)網(wǎng)絡(luò)曾贏得了ILSVR(ImageNet)2014年的冠軍，具有良好的模型遷移能力[11]，采用制作的二極管玻殼圖像進(jìn)行實驗驗證，實驗結(jié)果表明，相比于傳統(tǒng)的檢測方法，該方法大幅度提高了二極管玻殼缺陷檢測的準(zhǔn)確率。

1 數(shù)據(jù)集獲取與系統(tǒng)設(shè)計

1.1 二極管玻殼數(shù)據(jù)集獲取

采集圖像主要分為4種缺陷：裂紋、破殼、污點、無缺陷。每一種采集樣本700張，總共2 800張圖片，訓(xùn)練集每種500張，總共2 000張；測試集每種200張，總共800張,其次采集100張包含多種缺陷樣本作為測試集使用，最后通過訓(xùn)練得出最佳模型并保存，圖1為采集的部分樣本圖像。

1.2 系統(tǒng)流程設(shè)計

傳統(tǒng)的玻殼檢測都是通過手工提取特征，再進(jìn)行分類，而卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)作為一種新的圖像檢測方法不需要手工提取特征，通過卷積與池化等操作不斷逐級加深特征的提取。傳統(tǒng)的機(jī)器學(xué)習(xí)和本文的缺陷檢測流程如圖2所示。

圖2 本文系統(tǒng)整體流程圖

在圖2(a)中所示為傳統(tǒng)的分類檢測，其流程主要包含：二極管玻殼圖像預(yù)處理、圖像缺陷特征提取、分類器選擇、分類檢測，其中特征提取的好壞直接影響缺陷檢測的識別率。而基于CNN檢測的主要流程(圖2(b))，其主要分為2部分：①進(jìn)行玻殼圖像預(yù)處理，②進(jìn)行分類識別。

分類識別也包含2大步驟：①大樣本集訓(xùn)練的VGG-19網(wǎng)絡(luò)模型(如圖3所示)，得到VGG-19預(yù)訓(xùn)練模型[12-13]。②重新調(diào)整網(wǎng)絡(luò)的全連接層結(jié)構(gòu)的層數(shù)以及單元個數(shù)等超參數(shù)，遷移訓(xùn)練好的VGG-19網(wǎng)絡(luò)模型的權(quán)重參數(shù)入固定層，改進(jìn)層使用玻殼圖像進(jìn)行訓(xùn)練，訓(xùn)練完成后得到改進(jìn)模型。

最終使用改進(jìn)模型進(jìn)行缺陷種類的識別。

圖3 VGG-19網(wǎng)絡(luò)結(jié)構(gòu)

2 玻殼圖像缺陷檢測方法

2.1 玻殼圖像預(yù)處理

由于采集的玻殼包含大量噪聲，并且玻殼在整張圖片的位置是不確定的，因此需要對玻殼圖像進(jìn)行預(yù)處理，主要包括：

(1)模板匹配：去掉除二極管以外的部分；

(2)濾波：使用自適應(yīng)中值濾波去除噪聲；

(3)增強：使用線性增強圖像缺陷。

預(yù)處理效果流程如圖4所示。

圖4 二極管玻殼圖像預(yù)處理

2.2 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

VGG-19[14]的CNN模型如圖3所示，相比其他網(wǎng)絡(luò)模型具有以下特點：

(1)在卷積層使用更小的濾波器尺寸和間隔。VGG-19模型共有19層，其中連續(xù)卷積層的深度最多達(dá)到4層，不僅網(wǎng)絡(luò)較AlexNet更深，而且都采用3×3的卷核作為濾波器。此種連續(xù)小模板的卷積核比單個大的積核具有更好的非線性，具有隱式規(guī)則的作用。

(2)將圖片進(jìn)行多尺度化訓(xùn)練與測試。對原始圖片進(jìn)行等比例縮放，保證圖片短邊大于 224，然后再圖片上隨機(jī)提取224×224窗口，進(jìn)行訓(xùn)練，多尺度方法可以更好地識別缺陷。如圖所示，VGG-19卷積網(wǎng)絡(luò)模型有19個權(quán)重層，其中包含了16個卷積層和3個全連接層。輸層需要將輸入的圖像調(diào)整到3×224×224，隱層結(jié)構(gòu)中2層或4層卷積層相互堆疊。中間層的池化采用2×2步長為2的結(jié)構(gòu)進(jìn)行特征降維，全連接層為3層具有多層感知機(jī)(multi-layer perception，MLP)的結(jié)構(gòu)。最后將輸出到具有1 000個標(biāo)簽類的SoftMax分類器進(jìn)行預(yù)測概率排序，從而選出具有最大概率的類別標(biāo)簽作為分類的結(jié)果。

激活函數(shù)的選擇上使用了線性整流函數(shù)(rectified linear unit，ReLU)，其表達(dá)式為

當(dāng)x≥0時，梯度恒為1，無梯度耗散問題，收斂快，增大了網(wǎng)絡(luò)的稀疏性。當(dāng)x<0時，該層的輸出為0，訓(xùn)練完成后為0的神經(jīng)元越多，稀疏性越大，提取出來的特征就越具有代表性，泛化性能越好。

2.3 VGG-19改進(jìn)模型

在VGG-19的基礎(chǔ)上對網(wǎng)絡(luò)模型的全連接層進(jìn)行了改進(jìn)，并且在訓(xùn)練中通過調(diào)節(jié)固定層的深度，使模型在泛化性和檢測精度上得到最大地提升，其改進(jìn)的模型機(jī)構(gòu)如圖5所示。VGG-19固定有3個全連接層其神經(jīng)元，個數(shù)為4096×4096×1000，使用4類標(biāo)簽SoftMax分類層替換原有網(wǎng)絡(luò)中的分類層，同時使用ReLU作為激活函數(shù)。

VGG-19的預(yù)訓(xùn)練模型是通過 ImageNet數(shù)據(jù)庫中的1 000種類別的圖片數(shù)據(jù)集訓(xùn)練而成的，可以分類1 000種類別的圖像并且錯誤率為7.3%，因此具有較強的分類圖像特征學(xué)習(xí)能力。將其部分參數(shù)與權(quán)重遷移到二極管玻殼缺陷的特征提取中，可以避免使用大量數(shù)據(jù)集重新訓(xùn)練整個網(wǎng)絡(luò)，減少了訓(xùn)練時間和提高了訓(xùn)練效率，利用訓(xùn)練好的VGG-19模型參數(shù)優(yōu)化改進(jìn)網(wǎng)絡(luò)的參數(shù)，有利于二極管玻殼圖像識別。

圖5 改進(jìn)模型整體流程圖

如圖5所示，將VGG-19與訓(xùn)練模型參數(shù)遷移到二極管玻殼圖像識別模型的部分卷積層和池化層，其主要流程如下：

(1)采集二極管玻殼數(shù)據(jù)集，挑選出需要識別的類別圖像，作為訓(xùn)練集與測試集使用。

(2)采集的玻殼圖像包含大量噪聲，在輸入模型之前需要進(jìn)行濾波、去噪、增強等預(yù)處理操作。

(3)建立改進(jìn)模型，調(diào)節(jié)超參數(shù)。

(4)訓(xùn)練改進(jìn)模型。

(5)使用測試集，測試和驗證模型。

3 實驗結(jié)果與分析

本實驗的深度神經(jīng)網(wǎng)絡(luò)搭建在Tensorflow深度學(xué)習(xí)框架上，并采用基于 Python語言編程實現(xiàn);硬件包含臺式電腦，英特爾酷睿i7 7700 k處理器，12 G內(nèi)存，顯卡為NVIDIA GeForce GTX 750 Ti。

3.1 改進(jìn)網(wǎng)絡(luò)超參數(shù)調(diào)節(jié)

(1)全連接層層數(shù)和單元數(shù)確定。VGG-19全連接層為固定的3層結(jié)構(gòu)為4096×4096×4，首先對全連接層進(jìn)行改進(jìn)，設(shè)定全連接層為2層，網(wǎng)絡(luò)層結(jié)構(gòu)為a×4(a為首層單元數(shù))。分別設(shè)a為512，1 024，2 048，3 069，4 096。實驗結(jié)果如圖6所示，對第2層全連接層的超參數(shù)進(jìn)行設(shè)定，第2層全連接層結(jié)構(gòu)為4096×b×4(其中b為第2層單元數(shù))。此時分別設(shè)定b為0，100，1 024和2 048，當(dāng)?shù)?層單元層設(shè)定為0時收斂最快而且穩(wěn)定。由以上實驗得出最佳的全連接網(wǎng)絡(luò)層為4096×4。

圖6 全連接層首層單元個數(shù)設(shè)定

(2)固定層層數(shù)確定。在訓(xùn)練中固定層的參數(shù)可以改善和優(yōu)化新的模型，非固定參數(shù)層通過新的數(shù)據(jù)集進(jìn)行訓(xùn)練可以提高模型的泛化能力和模型的檢測精度。

VGG-19共有25個權(quán)重層，設(shè)定最小的固定層數(shù)為17，測試效果如圖7所示，可以看出固定層數(shù)為19和20的時候測試的準(zhǔn)確率曲線波動最小。并且固定層數(shù)設(shè)定為20的時候迭代次數(shù)在1 000以后波動是最小的，因此網(wǎng)絡(luò)設(shè)定固定層為前 20層，20層以后的權(quán)重層作為玻殼數(shù)據(jù)集訓(xùn)練時的權(quán)重參數(shù)修改層。

3.2 改進(jìn)模型訓(xùn)練與測試

(1)全連接層層數(shù)和單元數(shù)確定。淺層網(wǎng)絡(luò)主要是提取玻殼缺陷的顏色、紋理、邊緣等細(xì)節(jié)信息，如圖8(a)和(b)所示。隨著網(wǎng)絡(luò)越深，提取到的特征更加抽象，更加具有分類能力，如圖8(c)和(d)所示。

圖7 固定層深度對準(zhǔn)確率的影響

圖8 不同卷積層對玻殼圖像特征提取的結(jié)果

(2)準(zhǔn)確率曲線和損失曲線。將采集的 2 000張二極管玻殼圖像數(shù)據(jù)集對改進(jìn)模型進(jìn)行訓(xùn)練，800張進(jìn)行測試，二級管玻殼圖像分辨率分別縮放用來測試分辨率對準(zhǔn)確率和損失函數(shù)的影響，再將數(shù)據(jù)集進(jìn)行增強，用來測試增強數(shù)據(jù)集對準(zhǔn)確率和損失函數(shù)的影響。

分別使用分辨率為 128×128，256×256以及661×601的不同像素尺寸進(jìn)行檢測，使用 30°旋轉(zhuǎn)角度，左右尺寸曾加0.2倍，然后進(jìn)行隨機(jī)剪裁增強數(shù)據(jù)集。測試的準(zhǔn)確率曲線和損失曲線如圖9和圖0所示，可以看出隨著分辨率的增加準(zhǔn)確率函數(shù)變得越來越穩(wěn)定，但是依然有部分波動很陡峭，當(dāng)使用數(shù)據(jù)增強后準(zhǔn)確率函數(shù)和損失函數(shù)曲線變得更加平滑，測試效果最好。

3.3 對比實驗

為了研究改進(jìn)模型的性能，對二極管玻殼圖像進(jìn)行對比實驗：①通過提取特征使用傳統(tǒng)分類器進(jìn)行缺陷分類如 SVM，AdaBoost，MLP等[12,15]；②分別使用AlexNet，GoogLeNet[16]和VGG-16的CNN進(jìn)行測試。

圖9 準(zhǔn)確率函數(shù)曲線

圖10 損失函數(shù)曲線

在機(jī)器學(xué)習(xí)中需要提取特征作為輸入，首先求玻殼圖像缺陷的灰度共生矩陣，利用共生矩陣h獲得圖像的對比度、能量、相關(guān)性、逆差矩等特征和求灰度均值、灰度方差、偏度、峰度、灰度熵等特征作為圖像灰度特征的描述，以及紋理特征與不變矩特征一起作為總的特征。為了解決尺度不變性問題，再將這些特征在3個尺度下分別求取，獲得特征共140維。將特征作為輸入分別輸入到高斯混合模型(Gaussian mixture model，GMM)，K 最近鄰(k-nearest neighbor，KNN)，SVM，決策樹(random forest，RF)，AdaBoost，Bayes和 MLP 進(jìn)行分測試，效果見表1。

表1 傳統(tǒng)特征分類準(zhǔn)確率對比(%)

由表1可以看出，AdaBoost和BP網(wǎng)絡(luò)效果最佳。但由于手工提取特征的限制很難做到更好。對于CNN，使用卷積模塊進(jìn)行特征提取，彌補了人工提取特征的缺點。并且卷積網(wǎng)絡(luò)提取的特征更加全面，且網(wǎng)絡(luò)越深提取特征也更加抽象，更具有分類能力，同時池化可以優(yōu)化和降低特征維度。

為了驗證改進(jìn)的CNN的性能，通過AlexNet，GoogLeNet和VGG-16進(jìn)行驗證對比。對比效果見表2。可以看出CNN比傳統(tǒng)網(wǎng)絡(luò)將準(zhǔn)確率提高了至少 5%，改進(jìn)網(wǎng)絡(luò)相比準(zhǔn)確率提高到了 98.3%，效果最佳。

表2 改進(jìn)網(wǎng)絡(luò)與其他CNN分類精度對比(%)

調(diào)用已訓(xùn)練好的模型進(jìn)行單張測試，當(dāng)使用機(jī)器學(xué)習(xí)方法檢測一張玻殼缺陷圖片需用0.141 3 s，而在GPU(2 G內(nèi)存)下調(diào)用深度網(wǎng)絡(luò)模型測試一張玻殼缺陷圖片需耗時0.426 2 s，雖然在該實驗平臺上使用機(jī)器學(xué)習(xí)的方法檢測速度比深度學(xué)習(xí)的方法快，但是調(diào)用深度模型進(jìn)行檢測基本上也能滿足工業(yè)檢測的要求，且檢測的準(zhǔn)確率有很大的提升。

4 結(jié)束語

由于傳統(tǒng)的機(jī)器學(xué)習(xí)算法固有缺陷[10]使得在玻殼缺陷檢測上不能達(dá)到很高的識別率，因此使用自動提取特征的卷積網(wǎng)絡(luò)進(jìn)行檢測，通過使用VGG-19模型進(jìn)行遷移學(xué)習(xí)，大范圍提高了玻殼缺陷檢測的準(zhǔn)確率，并在此基礎(chǔ)上進(jìn)行改進(jìn)，改變網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步提高了識別率。

本文只針對二極管玻殼中的裂紋、污點、破殼和無缺陷4種類別進(jìn)行了研究，在網(wǎng)絡(luò)模型的選擇和結(jié)構(gòu)改進(jìn)過程也只使用了有限的模型和改進(jìn)機(jī)制進(jìn)行對比實驗，后期的工作需要增加樣本數(shù)據(jù)集和擴(kuò)大樣本種類。并且使用其他種類模型和改進(jìn)網(wǎng)絡(luò)方法進(jìn)行改進(jìn)和測試，進(jìn)一步提高檢測的效果。