基于卷積神經(jīng)網(wǎng)絡(luò)的磁瓦表面缺陷識別

祝禮佳，劉桂華，林 杰

（西南科技大學(xué) 信息工程學(xué)院，綿陽 621010）

0 引言

永磁直流電機(jī)的使用的永磁材料由磁瓦加工而成，磁瓦的質(zhì)量直接影響直流電機(jī)的質(zhì)量[1]。在復(fù)雜的生產(chǎn)與加工過程中難以避免產(chǎn)出一些表面帶有缺陷的劣質(zhì)磁瓦工件。為了保證磁瓦以及基于磁瓦二次加工產(chǎn)品的質(zhì)量，磁瓦質(zhì)量監(jiān)測是磁瓦生產(chǎn)工藝中不可缺少的一部分。傳統(tǒng)人工缺陷檢測存在工作效率不高、檢測結(jié)果主觀化、工件二次損傷等問題，進(jìn)而有許多學(xué)者基于機(jī)器視覺進(jìn)行磁瓦表面缺陷識別與檢測。

基于傳統(tǒng)機(jī)器視覺的方法進(jìn)行磁瓦表面缺陷檢測，檢測精度較低且通用性較差。Li X等人[2]利用快速離散曲波變換重構(gòu)低噪聲圖像，并使用邊緣檢測算法在重構(gòu)的低噪聲圖像上實現(xiàn)磁瓦裂紋缺陷檢測，該算法在圖像采集過程中需要嚴(yán)格的光照條件。Yang C等人[3]結(jié)合平穩(wěn)小波變換和自適應(yīng)閾值分割算法提取磁瓦表面缺陷，該算法可以應(yīng)用于不同的光照條件，但是對細(xì)小裂紋缺陷檢測困難，檢測精度較低。后[4]又提出結(jié)合非下采樣的小波變換和包絡(luò)灰度梯度算法實現(xiàn)磁瓦裂紋檢測，只能檢測單一的裂紋缺陷。

結(jié)合手工提取特征和傳統(tǒng)機(jī)器學(xué)習(xí)的方法，針對不同圖像需要人為地提取不同的有效特征。劉洪生等人[5]提取圖像特征（面積、周長和中心幾何距離）并輸入高斯混合模型進(jìn)行磁瓦好壞的判別，準(zhǔn)確率為80%。杜柳青等人[6]通過提取多項特征輸入支持向量機(jī)分類器進(jìn)行磁瓦表面缺陷分類，該算法平均識別精度約為92%。

卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征自主提取能力，逐漸取代了手工提取特征，并成功應(yīng)用于目標(biāo)檢測[7，8]、圖像識別[9，10]、圖像分割[11]等多個研究領(lǐng)域。王昕鈺等人通過改進(jìn)VGG16全連接層實現(xiàn)了高鐵接觸網(wǎng)定位管開口銷缺陷檢測[12]。李啟南等人改進(jìn)B-CNN實現(xiàn)了軌枕擋肩裂紋圖像細(xì)粒度分類，識別精度約93.89%[13]。目前，基于深度學(xué)習(xí)的磁瓦表面缺陷檢測研究并不多。Yibin Huang等人通過分析磁瓦圖像的缺陷特征計算顯著圖，并融合顯著圖和原圖像輸入改進(jìn)的U-net網(wǎng)絡(luò)實現(xiàn)缺陷自動檢測，該算法對裂紋和氣孔兩類缺陷有較好的檢測效果[14]。孫夢鴿提出基于密集生成對抗網(wǎng)絡(luò)獲得缺陷語義分割圖像，并統(tǒng)計分割圖像中的缺陷區(qū)域面積判定磁瓦的好壞，該算法需要人為設(shè)定分類閾值[15]。劉暢等人結(jié)合改進(jìn)的U-net網(wǎng)絡(luò)和分類神經(jīng)網(wǎng)絡(luò)實現(xiàn)磁瓦裂紋、斷角等缺陷的自動檢測識別，平均識別精度為94%[16]。

針對傳統(tǒng)機(jī)器視覺算法檢測磁瓦缺陷類別較為單一，機(jī)器學(xué)習(xí)算法識別率低的問題，提出基于深度學(xué)習(xí)進(jìn)行多類別磁瓦表面缺陷識別。深度學(xué)習(xí)應(yīng)用于磁瓦表面缺陷識別存在以下兩個難點：1）磁瓦缺陷類圖像樣本量少，應(yīng)用于深度卷積神經(jīng)網(wǎng)絡(luò)容易導(dǎo)致過擬合現(xiàn)象。2）磁瓦圖像受到光照、角度、噪聲等干擾因素較大，多類別的磁瓦表面缺陷識別算法的精確度與泛化能力有待提高。針對上述問題，本文提出結(jié)合改進(jìn)的輕量級NASNet網(wǎng)絡(luò)[16]與雙線性模型[17]構(gòu)建磁瓦表面缺陷識別網(wǎng)絡(luò)，并且優(yōu)化網(wǎng)絡(luò)的優(yōu)化函數(shù)與激活函數(shù)提高模型收斂速度與識別精度；同時利用Dropout、樣本增強(qiáng)和遷移學(xué)習(xí)技術(shù)解決小樣本難以訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)的問題，進(jìn)而提高模型泛化能力。

1 構(gòu)建磁瓦表面缺陷識別網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

最新提出的NASNet網(wǎng)絡(luò)在1000類的ImageNet數(shù)據(jù)集上可達(dá)82.7%的Top-1識別精度和96.2%的Top-5識別精度；其輕量級版本的NASNet在ImageNet數(shù)據(jù)集上也達(dá)到了74%的Top-1識別率和91.6%的Top-5識別精度[17]。表明NASNet網(wǎng)絡(luò)對復(fù)雜場景中的多類別目標(biāo)具有較強(qiáng)的分辨能力?？紤]輕量級網(wǎng)絡(luò)更加適合小樣本學(xué)習(xí)，故選擇輕量級NASNet網(wǎng)絡(luò)進(jìn)行磁瓦表面缺陷識別研究。

磁瓦表面缺陷圖像具有缺陷區(qū)域與非缺陷區(qū)域外觀差異小的特點，存在缺陷類別之間具有高度相似性的現(xiàn)象，導(dǎo)致部分缺陷樣本識別難度大。研究表明，雙線性模型能夠捕捉細(xì)粒度圖像的類間差異，有效提高細(xì)粒度圖像的識別率[18]。為了提高磁瓦表面缺陷的識別率，在輕量級NASNet卷積網(wǎng)絡(luò)的基礎(chǔ)上，引入雙線性模型構(gòu)建磁瓦表面缺陷識別網(wǎng)絡(luò)。

磁瓦表面缺陷識別網(wǎng)絡(luò)采用兩個完全對稱的、改進(jìn)的輕量級NASNet網(wǎng)絡(luò)模型（去除頂層分類層）組成雙線性模型實現(xiàn)5類磁瓦圖像的自動分類，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，這種對稱的雙線性模型只需要進(jìn)行一次卷積網(wǎng)絡(luò)評估，運行速度快。模型分為兩個階段，第一階段基于改進(jìn)的輕量級NASNet網(wǎng)絡(luò)提取圖像特征，第二階段基于雙線性模型實現(xiàn)圖像特征交互。

圖1 磁瓦表面缺陷識別網(wǎng)絡(luò)結(jié)構(gòu)

1.1.1 基于改進(jìn)的輕量級NASNet提取磁瓦圖像缺陷特征

NASNet卷積網(wǎng)絡(luò)復(fù)制堆疊性能最好的卷積單元應(yīng)用于ImageNet數(shù)據(jù)集，卷積單元包括普通卷積單元（Normal Cell）和下采樣卷積單元（Reduction Cell），設(shè)置普通卷積單元重復(fù)次數(shù)N=4獲得輕量級NASNet網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)層級信息如表1所示，由數(shù)據(jù)輸入層、卷積層、普通卷積單元和下采樣卷積單元、全局平均池化層和全連接層構(gòu)成。NASNet-A架構(gòu)下的卷積單元性能最佳，如圖2所示。每個卷積單元由5個模塊組成，每個模塊包含2次基本構(gòu)件操作（卷積或者池化）和1次特征圖融合操作（逐點相加或者向量拼接）。普通卷積單元輸出的特征圖與輸入圖像尺寸相同；下采樣卷積單元輸出的特征圖，其高度和寬度相比輸入圖像縮減2倍。

表1 輕量級NASNet網(wǎng)絡(luò)結(jié)構(gòu)表

圖2 最佳卷積單元結(jié)構(gòu)（NASNet-A）

為了減少磁瓦表面缺陷識別網(wǎng)絡(luò)的參數(shù)量，同時減少特征提取后續(xù)操作的計算量，改進(jìn)輕量級NASNet網(wǎng)絡(luò)結(jié)構(gòu)，對輸出卷積特征進(jìn)行降維處理。如表1所示，在普通卷積單元12后增加一層普通卷積層，卷積核尺寸為1，卷積核的數(shù)量為512，步長為1。在卷積操作前使用激活函數(shù)激活輸入特征，在卷積操作后進(jìn)行批量標(biāo)準(zhǔn)化處理。磁瓦圖像尺寸調(diào)整為224×224×3，輸入改進(jìn)的輕量級NASNet卷積網(wǎng)絡(luò)獲得尺寸為7×7×512的磁瓦缺陷特征。

1.1.2 基于雙線性模型實現(xiàn)圖像特征交互

磁瓦表面缺陷識別的雙線性模型B數(shù)學(xué)表達(dá)式為一個四元數(shù)函數(shù)，如式(1)所示，其中fA和fB表示特征函數(shù)，P是池化函數(shù)，F(xiàn)是分類函數(shù)。

雙線性模型通過矩陣外積聚集fA和fB特征獲得圖像每一個位置的雙線性特征bilinear，如式(2)所示，I表示輸入圖像，l表示圖像上的空間位置。其中，fA和fB的特征圖尺寸必須相等且大于1。磁瓦表面缺陷識別的雙線性模型中，特征函數(shù)fA和fB是改進(jìn)的輕量級NASNet網(wǎng)絡(luò)輸出的卷積特征，其維度是7×7×512。

為了進(jìn)一步獲得圖像特征描述符，池化函數(shù)P聚集了圖像上所有位置的雙線性特征。如式(3)所示，L表示圖像的所有位置集合，求和池化函數(shù)計算圖像所有位置的雙線性特征之和。假設(shè)fA和fB輸出的特征維度分別為c×M和c×N，雙線性模型圖像特征描述符Φ(I)維度為M×N。磁瓦表面缺陷識別的雙線性模型中獲得的圖像描述符Φ(I)維度為512×512。

圖像描述符Φ(I)調(diào)整為1×5122的特征向量v，并進(jìn)行有符號平方根和L2范數(shù)歸一化。最后，分類函數(shù)F利用Softmax函數(shù)實現(xiàn)磁瓦表面缺陷的自動分類。雙線性模型結(jié)構(gòu)導(dǎo)致特征向量維度升高，為了避免小樣本訓(xùn)練過擬合，在特征向量輸出與全連接層之間增加一層Dropout層。Dropout層在網(wǎng)絡(luò)訓(xùn)練階段以概率p隨機(jī)失活神經(jīng)元，本文p取值0.5。

從直觀的角度來看，雙線性模型利用矩陣外積使得fA和fB卷積特征相互微調(diào)，相互約束，相互補(bǔ)充。磁瓦表面缺陷識別網(wǎng)絡(luò)是對稱的雙線性模型結(jié)構(gòu)，即利用卷積特征的二階信息豐富網(wǎng)絡(luò)的紋理等缺陷特征，提高磁瓦表面缺陷的分類精度。

1.2 優(yōu)化算法

選擇一個好的優(yōu)化算法可以有效提高網(wǎng)絡(luò)訓(xùn)練階段的收斂速度與平穩(wěn)性。輕量級NASNet模型的優(yōu)化算法是RMSProp，具有處理非平穩(wěn)目標(biāo)的優(yōu)點[19]。該算法引入衰減系數(shù)控制梯度平方和，避免了Adagrad算法隨著迭代次數(shù)增加梯度平方和變大造成梯度快速下降趨近0，過早結(jié)束網(wǎng)絡(luò)訓(xùn)練的問題；但是，衰減系數(shù)通常取值接近于1，容易導(dǎo)致訓(xùn)練初期梯度步長過大，進(jìn)而造成目標(biāo)損失在下降過程中產(chǎn)生大幅度震蕩的問題，Adam算法通過增加初始化偏差修正解決了該問題。如圖3所示，實驗對比了上述三種優(yōu)化算法對磁瓦表面缺陷識別網(wǎng)絡(luò)性能的影響。與Adagrad算法相比，利用RMSProp算法與Adam算法網(wǎng)絡(luò)識別率得到提升。其次，與RMSProp算法，Adam算法相比減小了損失值訓(xùn)練初期振蕩的幅度，且損失值降到更低。故采用Adam算法作為磁瓦表面缺陷識別網(wǎng)絡(luò)的優(yōu)化算法，改善網(wǎng)絡(luò)訓(xùn)練過程。

圖3 優(yōu)化算法對模型性能的影響

1.3 激活函數(shù)

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中非常重要的一部分，實現(xiàn)神經(jīng)元的非線性映射。輕量級NASNet模型的激活函數(shù)是ReLU函數(shù)，該激活函數(shù)是最常用的，也是深度學(xué)習(xí)成功的重要原因之一[20]。ReLU激活函數(shù)是非飽和函數(shù)，抑制了Sigmoid和tanh激活函數(shù)容易出現(xiàn)的“梯度彌散”現(xiàn)象。其公式定義(4)，x是非線性激活函數(shù)的輸入。但是當(dāng)x小于0時，ReLU激活函數(shù)無法激活神經(jīng)元，進(jìn)而容易導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不收斂。Leaky ReLU激活函數(shù)[21]利用一個較小的權(quán)值保留部分信息解決了上述問題，其定義如式(5)所示。

實驗比較了ReLU、Leaky ReLU激活函數(shù)對磁瓦表面缺陷識別網(wǎng)絡(luò)性能的影響，如圖4所示，與ReLU激活函數(shù)相比，Leaky ReLU激活函數(shù)在識別精度與損失值都有更好的表現(xiàn)，且收斂速度更快。本文選擇Leaky ReLU函數(shù)作為磁瓦表面缺陷識別網(wǎng)絡(luò)的激活函數(shù)，提高模型的魯棒性。

圖4 激活函數(shù)對模型性能的影響

2 實驗分析

實驗使用的計算機(jī)CPU型號是Inter(R) Xeon(R) E5-2620 v4@2.1GHz，GPU型號為TITAN Xp，顯存大小為12G，實驗采用了NVIDIA提高計算加速方案；軟件開發(fā)平臺使用PyCharm集成開發(fā)環(huán)境，利用keras深度學(xué)習(xí)框架搭建磁瓦表面缺陷識別網(wǎng)絡(luò)，實驗操作系統(tǒng)為Ubuntu 16.04 。

2.1 數(shù)據(jù)集構(gòu)建與樣本增強(qiáng)

利用中科院自動化所收集的磁瓦表面缺陷數(shù)據(jù)集[14]，從中選取了常見的4類缺陷樣本（裂紋、斷角、氣孔、磨損）和一類無缺陷樣本，如圖5所示。原始數(shù)據(jù)集裂紋缺陷、斷角缺陷、氣孔缺陷、磨損缺陷與無缺陷樣本數(shù)量分別為57張、85張、115張、32張、952張。原始數(shù)據(jù)集磁瓦表面缺陷類樣本數(shù)量少，且存在嚴(yán)重的數(shù)據(jù)不平衡問題。

圖5 磁瓦表面缺陷示例

針對磁瓦數(shù)據(jù)集樣本量少的問題，本文選擇樣本離線增強(qiáng)方法。每類缺陷樣本隨機(jī)選擇翻轉(zhuǎn)、旋轉(zhuǎn)、尺度縮放、裁剪4種常用的樣本增強(qiáng)方式。最后，通過樣本增強(qiáng)技術(shù)每類缺陷樣本擴(kuò)充至500張。針對數(shù)據(jù)不平衡問題，對無缺陷樣本進(jìn)行欠采樣，從952張的無缺陷樣本中隨機(jī)抽取500張圖像。實驗磁瓦數(shù)據(jù)集由5類樣本組成，總共2500張樣本，隨機(jī)抽取2000張作為訓(xùn)練集，剩下500張作為測試集。每類樣本訓(xùn)練集400張圖像，測試集100張圖像。

2.2 基于遷移學(xué)習(xí)的網(wǎng)絡(luò)訓(xùn)練

針對磁瓦數(shù)據(jù)集樣本數(shù)量少，深度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量大，直接利用磁瓦圖像訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)容易導(dǎo)致網(wǎng)絡(luò)過擬合；進(jìn)而出現(xiàn)在訓(xùn)練集上樣本識別率高，在測試集上樣本識別率低的現(xiàn)象。遷移學(xué)習(xí)可以有效減少小樣本數(shù)據(jù)集應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)的過擬合現(xiàn)象，并提高網(wǎng)絡(luò)的泛化性[22]。因此，提出基于遷移學(xué)習(xí)的磁瓦表面缺陷識別網(wǎng)絡(luò)訓(xùn)練策略。

基于遷移學(xué)習(xí)的磁瓦表面缺陷識別網(wǎng)絡(luò)的訓(xùn)練分為兩個階段過程。第一訓(xùn)練階段，利用在大數(shù)據(jù)集ImageNet預(yù)先訓(xùn)練得到的權(quán)重參數(shù)初始化磁瓦識別網(wǎng)絡(luò)的特征提取層（不包含分類頂層），并凍結(jié)特征提取層，然后利用磁瓦訓(xùn)練集驅(qū)動學(xué)習(xí)網(wǎng)絡(luò)分類頂層的權(quán)重參數(shù)。第二訓(xùn)練階段，解凍特征提取層，然后利用磁瓦訓(xùn)練集微調(diào)網(wǎng)絡(luò)的所有參數(shù)。

網(wǎng)絡(luò)優(yōu)化算法為Adam，激活函數(shù)為Leaky ReLU，目標(biāo)函數(shù)采用交叉損失熵，學(xué)習(xí)率為0.0001，樣本批量大小batch_size為8，迭代周期epoch為50，其中第一訓(xùn)練階段freeze_epoch設(shè)置為25。網(wǎng)絡(luò)訓(xùn)練過程中的精度變化曲線與損失變化曲線如圖6所示。模型訓(xùn)練過程平穩(wěn)，收斂速度快，約15個周期收斂。測試集識別精度接近訓(xùn)練集識別精度，未出現(xiàn)過擬合現(xiàn)象。

圖6 模型精度與損失變化曲線

2.3 模型性能比較

本文算法與VGG16[23]、BCNN[18]、輕量級NASNet[17]、輕量級NASNet結(jié)合BCNN算法進(jìn)行比較。模型性能評價指標(biāo)選擇精確率、召回率、F1值、模型大小和運行時間。精確率也叫查準(zhǔn)率，表示網(wǎng)絡(luò)檢測正確的樣本占所有檢測為正樣本的比例；召回率也叫查全率，表示檢測正確的正樣本占所有檢測為正樣本的比例；F1值將精確率和召回率統(tǒng)一起來，值越大代表網(wǎng)絡(luò)性能越好。針對多分類任務(wù)，依次取一類作為正樣本，其余的類別作為負(fù)樣本計算性能指標(biāo)，最后計算所有類別精確率、召回率和F1值的平均值和中值作為衡量網(wǎng)絡(luò)性能的指標(biāo)。

網(wǎng)絡(luò)模型性能對比結(jié)果如表2所示，輕量級NASNet結(jié)合B-CNN構(gòu)建的網(wǎng)絡(luò)模型大小為38.46M，本文算法模型大小為23.92M，模型大小降低了37.8%。本文通過改進(jìn)輕量級NASNet模型結(jié)構(gòu)，大大減少了模型參數(shù)量，利于小樣本學(xué)習(xí)。引入雙線性模型增強(qiáng)了模型特征表達(dá)力，提高了網(wǎng)絡(luò)的識別精度。VGG16結(jié)合雙線性模型識別率提高3.42%；輕量級NASNet結(jié)合雙線性模型識別率提高1.24%。本文算法結(jié)合改進(jìn)的輕量級NASNet與雙線性模型，并進(jìn)一步優(yōu)化激活函數(shù)與優(yōu)化算法，精確率、召回率、F1值的均值為98.80%、98.84%、98.80%，實現(xiàn)了多類別磁瓦表面缺陷的高精度識別。

表2 模型性能對比

磁瓦表面缺陷的分類結(jié)果如表3所示，氣孔與裂紋容易誤檢為無缺陷，這是因為部分氣孔缺陷與裂紋缺陷特征表現(xiàn)不明顯。本文算法在斷角、磨損以及無缺陷類別識別率都達(dá)到了100%；氣孔類、裂紋類缺陷識別率為97%。與輕量級NASNet網(wǎng)絡(luò)模型相比，氣孔類缺陷識別率提高了7.77%，斷角類缺陷識別率提高了2.04%，磨損類缺陷識別率提高了4.16%，算法平均識別率提升約2.49%。

算法平均一張圖像識別所耗時間如表3所示，輕量級NASNet結(jié)合雙線性模型識別一張圖像大約需要51.93ms，本文算法識別一張圖像大約需要50.01ms，大約減少了3.70%。本文通過改進(jìn)NASNet模型結(jié)構(gòu)降低了模型計算量，提高了模型的運行速度。本文算法識別所耗時間相比VGG16網(wǎng)絡(luò)較長，但滿足工業(yè)需求。

表3 算法識別時間對比

綜上所述，本文算法實現(xiàn)了小樣本多類別磁瓦表面缺陷的高精度識別。

3 結(jié)語

針對磁瓦表面缺陷圖像背景噪聲大，亮度不均勻，缺陷特征不明顯導(dǎo)致缺陷識別困難的問題，結(jié)合改進(jìn)的輕量級NASNet和雙線性模型構(gòu)建網(wǎng)絡(luò)實現(xiàn)磁瓦表面缺陷的自動分類。算法改進(jìn)了輕量級NASNet的模型結(jié)構(gòu)，模型參數(shù)降低了約37.8%，模型運行時間減少了約3.70%；并優(yōu)化了網(wǎng)絡(luò)模型的優(yōu)化算法與激活函數(shù)，改善了網(wǎng)絡(luò)訓(xùn)練階段的收斂過程，有效提高了算法的識別精度。其次，針對數(shù)據(jù)集樣本量少，引用遷移學(xué)習(xí)、Dropout技術(shù)以及數(shù)據(jù)增強(qiáng)技術(shù)，實驗表明，未出現(xiàn)過擬合現(xiàn)象，本文算法在5類磁瓦數(shù)據(jù)集實現(xiàn)了高精度識別。