基于卷積神經(jīng)網(wǎng)絡(luò)的織物瑕疵檢測方法研究*

劉艷鋒 ，鄭云波 ，黃惠玲 ，張財(cái)貴 ，劉文芳 ，韓 軍

(1.福州大學(xué) 電氣工程與自動(dòng)化學(xué)院，福建 福州 350108；2.中國科學(xué)院福建物質(zhì)結(jié)構(gòu)研究所，福建 福州 350002；3.海西紡織新材料工業(yè)技術(shù)晉江研究院，福建 泉州362200；4.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108)

0 引言

織物瑕疵檢測是織物生產(chǎn)過程中質(zhì)量檢驗(yàn)和控制的重要一步。一個(gè)有缺陷的成品布，其價(jià)值將會降低 45%以上[1]。因此，布匹的瑕疵檢測非常重要。傳統(tǒng)的瑕疵檢測手段主要是通過人工目視，這種方法勞動(dòng)強(qiáng)度大而且瑕疵的漏檢率高。近些年來，機(jī)器視覺方法在瑕疵自動(dòng)化檢測方面快速發(fā)展，其具有效率高、漏檢率低、長時(shí)間穩(wěn)定運(yùn)行等優(yōu)點(diǎn)。

針對織物瑕疵的檢測，國內(nèi)外學(xué)者提出了許多方法，主要包括統(tǒng)計(jì)學(xué)方法[2-3]、模型法[4-5]、頻譜法[6-7]、字典學(xué)習(xí)法[8-9]。這些方法雖然能在有限的數(shù)據(jù)上實(shí)現(xiàn)較高的準(zhǔn)確率，但是對于工業(yè)中各種各樣的布匹和瑕疵類型，其檢測性能仍然不足。統(tǒng)計(jì)學(xué)方法根據(jù)織物瑕疵所引起的圖像局部統(tǒng)計(jì)信息異常來檢測瑕疵，這種方法對于特定的布料有效，但對于其余樣式的布料，檢測效果仍然有限。模型法將織物紋理看作是一個(gè)隨機(jī)的過程，紋理圖片是圖像空間中所產(chǎn)生的樣本，這種方法不僅計(jì)算復(fù)雜度高，而且對小瑕疵織物樣品的檢測表現(xiàn)不足。頻譜法將時(shí)域信號轉(zhuǎn)化為頻域信號，根據(jù)能量標(biāo)準(zhǔn)來檢測織物圖片瑕疵，這種方法對簡單的紋理布檢測精度高，但對紋理明顯的布料檢測精度低，而且算法的計(jì)算量大。基于字典學(xué)習(xí)的方法可根據(jù)從訓(xùn)練集和測試集中學(xué)習(xí)的信息來構(gòu)建字典，測試過程中重構(gòu)待檢測布匹圖片，根據(jù)重構(gòu)圖片和原始圖片的差值檢測瑕疵，或者將圖片投影到字典中檢測瑕疵。這兩種檢測方式都需要重構(gòu)圖片，如果重構(gòu)圖片中也存在瑕疵，就會降低瑕疵檢測的準(zhǔn)確率。

近些年來，隨著深度學(xué)習(xí)的快速發(fā)展，深度學(xué)習(xí)在分類任務(wù)[10-11]、目標(biāo)識別[12-13]和語義分割[14-15]等方面有卓越表現(xiàn)，證明其有獨(dú)特的圖像特征提取能力。因此，不少學(xué)者將深度學(xué)習(xí)應(yīng)用于瑕疵檢測方面研究，包括金屬表面瑕疵檢測[16-17]、膠囊表面瑕疵檢測[18]、織物瑕疵檢測[19]等。基于深度學(xué)習(xí)的瑕疵檢測的方法包括 BP 神經(jīng)網(wǎng)絡(luò)[20]、自編碼器[21]和CNN[22]等技術(shù)。BP 神經(jīng)網(wǎng)絡(luò)通過手動(dòng)提取織物的一維特征信息，然后對特征信息進(jìn)行分類，這種方法具有優(yōu)良的分類能力和多維函數(shù)映射能力，但是存在收斂速度慢、容易陷入局部最小值。自編碼器方法通過對輸入數(shù)據(jù)壓縮和解壓來實(shí)現(xiàn)瑕疵檢測，這種方法對于紋理復(fù)雜、瑕疵較少的織物檢測不理想。卷積神經(jīng)網(wǎng)絡(luò)方法相對于 BP 網(wǎng)絡(luò)，通過共享卷積核大大降低網(wǎng)絡(luò)的參數(shù)，這種方法準(zhǔn)確率高，但是訓(xùn)練過程需要大量的樣本。

織物瑕疵具有多樣性、尺度不一等特點(diǎn)，這些因素增加了織物瑕疵檢測的難度。目前，卷積神經(jīng)網(wǎng)絡(luò)算法在織物瑕疵檢測方面存在如下困難：

(1)織物瑕疵在生產(chǎn)過程中出現(xiàn)的概率較小，構(gòu)建大容量織物瑕疵數(shù)據(jù)庫困難；

(2)不同瑕疵出現(xiàn)的概率不同而且同種瑕疵在不同布料的表現(xiàn)不同；

(3)搜集的數(shù)據(jù)庫中瑕疵占圖片比例差別很大，造成算法魯棒性低。

針對以上存在的問題，本文提出利用卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的分類能力來實(shí)現(xiàn)織物瑕疵的檢測。首先針對布料中的瑕疵大小不確定，提出使用包含瑕疵邊界的小圖片作為負(fù)樣本，將沒有包含瑕疵邊界的小圖片作為正樣本，這樣同一個(gè)瑕疵可以分割成多個(gè)瑕疵樣本，解決了圖片中瑕疵占比不一和瑕疵圖片搜集困難的問題；通過對小尺度織物圖片的分類訓(xùn)練，將被檢測的大尺度圖片分割成相同尺度的小圖片，判斷各小圖片是否有瑕疵，并在大尺度圖片中標(biāo)注有瑕疵小圖片的位置，最終實(shí)現(xiàn)大尺度織物圖片的瑕疵檢測。本文的網(wǎng)絡(luò)只用于檢測圖片中有無瑕疵，并不需要判斷瑕疵的具體種類，從而避免了相同瑕疵在不同布匹中表現(xiàn)不同的問題。本文提出的網(wǎng)絡(luò)結(jié)構(gòu)相比于 VGG16 和 LeNet 網(wǎng)絡(luò)結(jié)構(gòu)，具有瑕疵檢測速度快和檢測精度高的優(yōu)點(diǎn)，更加滿足實(shí)時(shí)需求。

1 算法分析

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò), 神經(jīng)元的響應(yīng)可以覆蓋一定范圍內(nèi)的相鄰單元，能夠進(jìn)行高效的特征提取，防止過擬合現(xiàn)象的產(chǎn)生。此外，相較于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，卷積神經(jīng)網(wǎng)絡(luò)所采用的數(shù)據(jù)格式具有簡易性，無需對數(shù)據(jù)做過多的處理。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層[23]。

卷積神經(jīng)網(wǎng)絡(luò)的卷積過程如圖1(a)所示，圖中所示的卷積核大小為 3×3，步長為 1。卷積輸出為圖像的特征圖。卷積神經(jīng)網(wǎng)絡(luò)中卷積的定義如式(1)所示：

式中，(y*h)x為卷積神經(jīng)網(wǎng)絡(luò)的輸入層y(x)與和隱含層h(x)之間的卷積過程。卷積后輸出的特征圖大小如式(2)所示[24]。

式中，k表示圖像層數(shù)，為第k層特征圖的大小，為第k層卷積核的大小，為第k層卷積核的移動(dòng)步長。

卷積層的激活函數(shù)如式(3)所示：

池化過程是卷積神經(jīng)網(wǎng)絡(luò)另一個(gè)重要環(huán)節(jié)，池化層常用的方法有 Max-pooling 和 Average-pooling。本文所采用的池化方式是Max-pooling，核大小為2×2，步長為 2。每經(jīng)過一次池化下采樣，特征圖的維度就變?yōu)樵瓉淼?.5，其實(shí)現(xiàn)過程如圖1(b)所示。池化主要目的是進(jìn)行壓縮數(shù)據(jù)減少計(jì)算，防止過擬合現(xiàn)象產(chǎn)生，同時(shí)提高模型的容錯(cuò)性。

圖1 卷積神經(jīng)網(wǎng)絡(luò)的卷積和池化過程

1.2 圖像預(yù)處理

數(shù)據(jù)歸一化能夠降低幾何變換的影響以及加快梯度下降和最優(yōu)解的尋找速度。因此，在模型訓(xùn)練之前，對所有輸入圖片進(jìn)行圖像歸一化。其計(jì)算公式(4)如下。

式中，I是網(wǎng)絡(luò)的輸入圖片。圖 2 為圖像歸一化前后的對比圖。

圖2 圖像歸一化前后對比

除此之外，引入數(shù)據(jù)增強(qiáng)技術(shù)提高神經(jīng)網(wǎng)絡(luò)的泛化能力，包括翻轉(zhuǎn)、鏡像、旋轉(zhuǎn)、通道變換等。

1.3 優(yōu)化函數(shù)

優(yōu)化模型對于訓(xùn)練的速度和結(jié)果都具有很重要的作用。本文使用隨機(jī)梯度下降(SGD)算法、沖量(Momentum)算法、RMSProp 算法和 Adam 算法來優(yōu)化所提出的網(wǎng)絡(luò)模型，并比較訓(xùn)練過程中損失函數(shù)的變化情況，如圖 3 所示。實(shí)驗(yàn)結(jié)果表明，使用 Adam優(yōu)化算法，網(wǎng)絡(luò)的收斂速度最快。損失函數(shù)計(jì)算公式如式(5)、式(6)所示。

圖3 各種優(yōu)化算法對損失函數(shù)變化的影響

其中，是網(wǎng)絡(luò)輸出層的非歸一化分?jǐn)?shù)，pn是第n個(gè)類別的概率，N指輸出層中神經(jīng)元個(gè)數(shù)，即所要分類的類別數(shù)，n，k∈[1，N]，p，y∈RN。損失函數(shù)的第一項(xiàng)是交叉熵?fù)p失函數(shù)，第二項(xiàng)為權(quán)重的正則化損失函數(shù)。

Adam 算法對網(wǎng)絡(luò)的優(yōu)化過程如下：

步驟 1：步長 ε=0.001

步驟 2：矩 估 計(jì) 的 指 數(shù) 衰 減 速 率 ，ρ1=0.9，ρ2=0.999

步驟 3：用于數(shù)值穩(wěn)定的小常數(shù) δ=10-8

步驟 4：初始參數(shù) θ

初始化一階和二階矩變量s=0，r=0

初始化時(shí)間步t=0

While 沒有達(dá)到停止準(zhǔn)則 do

從訓(xùn)練集中采樣包含m 個(gè)樣本

{x(1)，…，x(m)}的小批量，對應(yīng)目標(biāo)為y(t)

計(jì)算梯度：

1.4 訓(xùn)練和測試

網(wǎng)絡(luò)的輸入圖片為 64×64 RGB 圖像，經(jīng)過連續(xù)三次卷積、池化操作，最后通過全連接層輸出每張圖片所屬類的預(yù)測概率。網(wǎng)絡(luò)中所有的卷積核大小均為 3×3，步長均為 1。最大值池化所采用的核大小為 2×2，步長為 2。其中“1”是有瑕疵圖片標(biāo)簽，“0”是無瑕疵圖片標(biāo)簽。網(wǎng)絡(luò)結(jié)構(gòu)如圖 4 所示，圖中的數(shù)字表示每一層卷積核的數(shù)量。

圖4 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程

測試過程分為兩種情況，第一種情況測試網(wǎng)絡(luò)的分類能力，第二種情況測試整個(gè)檢測系統(tǒng)對瑕疵的檢測能力。

測試網(wǎng)絡(luò)的分類能力。輸入64×64 的小尺度圖片，輸出每張圖片對應(yīng)的標(biāo)簽，其中標(biāo)簽“0”是代表此圖片無瑕疵，標(biāo)簽“1”是代表此圖片中有瑕疵。

測試系統(tǒng)對瑕疵的檢測能力。首先將一張400×400 圖片按一定的比例進(jìn)行有重疊的分割，分割成若干個(gè) 64×64 大小的小圖片，記錄每張小圖片在原始圖片中的位置信息，然后將分割出來的小圖片通過所提出的網(wǎng)絡(luò)進(jìn)行分類，輸出每張小圖片的標(biāo)簽。標(biāo)簽“1”代表有瑕疵圖片，根據(jù)其在原圖中的位置信息定位到原始圖片中相關(guān)區(qū)域，從而檢測出原圖片中的瑕疵區(qū)域。由于采用的是有重疊的分割方法，因此出現(xiàn)了檢測瑕疵框重疊的現(xiàn)象。具體的實(shí)現(xiàn)過程如圖5 所示。

2 實(shí)驗(yàn)結(jié)果和討論

為了對所提出的基于卷積神經(jīng)網(wǎng)絡(luò)的織物瑕疵檢測方法性能進(jìn)行評估，本文做了大量的實(shí)驗(yàn)論證。實(shí)驗(yàn)中訓(xùn)練集大小為 515 張，其中無瑕疵圖片 271 張，瑕疵圖片244 張。測試集分為兩種尺度：64×64 和 384×384。小 尺 度 測 試 集 包 含 圖 片 127張， 其中無瑕疵圖片為 67 張， 有瑕疵圖片 60 張。大尺度測試數(shù)據(jù)集包含圖片70 張，全部為有瑕疵圖片。數(shù)據(jù)集包含 10 種布匹。本文實(shí)驗(yàn)條件：Python3.7，Nvidia GTX1060 GPU。

圖5 卷積神經(jīng)網(wǎng)絡(luò)的測試過程

2.1 評價(jià)準(zhǔn)則

混淆矩陣對預(yù)測標(biāo)簽數(shù)量與真實(shí)標(biāo)簽數(shù)量進(jìn)行統(tǒng)計(jì)，如表 1 所示。TP 指的是模型預(yù)測為 1，并且真實(shí)樣本也為 1。TN 指的是模型預(yù)測為 0，并且真實(shí)樣本也為 0。FP 指的是模型預(yù)測為 1，但真實(shí)預(yù)測為0。FN 指的是模型預(yù)測為 0，但真實(shí)樣本為 1。

表1 混淆矩陣

混淆矩陣可以衍生出多個(gè)模型評價(jià)指標(biāo)：準(zhǔn)確率(Accuracy)是模型正確分類標(biāo)簽比例，可以對模型整體的分類能力進(jìn)行評估，如式(7)所示。精確率(Precision)評估模型是預(yù)測數(shù)據(jù)中正樣本的準(zhǔn)確率，如式(8)所示。召回率(Recall)估模型是預(yù)測數(shù)據(jù)中正樣本的覆蓋率，如式(9)所示。F1 分?jǐn)?shù)用于在精確率和召回率同等重要的情況下，F(xiàn)1 分?jǐn)?shù)值就是精確率和召回率的倒數(shù)平均值，如式(10)所示。誤檢率(False)評估的是無瑕疵樣本中預(yù)測為瑕疵樣本比例，如式(11)所示。

對于大圖片瑕疵的檢測過程，本文所說的準(zhǔn)確率指標(biāo)注的紅色框中必須有瑕疵，如果在沒有瑕疵的位置標(biāo)注了紅色框，認(rèn)定為瑕疵檢測失敗。

2.2 定性分析

本文比較了兩種不同的瑕疵檢測算法，第一種方法是小波變換法和低秩分解方法[25]，第二種方法是改進(jìn)的加權(quán)中值濾波和K-mean 聚類方法[26]。圖 6為三種算法的瑕疵檢測結(jié)果，小波變換算法對于瑕疵較為明顯的圖片具有較好的檢測性能，但是容易受到褶皺和噪聲的干擾。改進(jìn)中值濾波方法對于大瑕疵的檢測有較好的結(jié)果，但對于瑕疵與背景沒有明顯邊界的瑕疵檢測結(jié)果表現(xiàn)較差。結(jié)果表明，本文所提出的算法受褶皺和光照的影響較小，能夠檢測出圖片中不明顯的瑕疵。

圖6 瑕疵檢測方法的對比

2.3 定量分析

本文將所提出的網(wǎng)絡(luò)與 VGG16 和 LeNet 兩種深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行比較。為了減少訓(xùn)練的偶然性，網(wǎng)絡(luò)使用的數(shù)據(jù)是三次訓(xùn)練結(jié)果的平均。VGG16 網(wǎng)絡(luò)的初始化使用的是預(yù)訓(xùn)練模型，然后通過微調(diào)網(wǎng)絡(luò)參數(shù)實(shí)現(xiàn)訓(xùn)練。在小圖片瑕疵測試分類中，所提出的方法的準(zhǔn)確率和精確率分別達(dá)到0.961和 0.966，是三種方法中最高的，如表 2 所示。實(shí)驗(yàn)結(jié)果表明，本文提出的方法對瑕疵圖片的分類表現(xiàn)出很好的優(yōu)越性。對于 F1 分?jǐn)?shù)而言，所提出方法的F1 分?jǐn)?shù)達(dá)到 0.958。相比較于其余兩種方法，雖然本文所提出的方法召回率比VGG16 網(wǎng)絡(luò)略低0.000 1，但在分類的準(zhǔn)確率和精確率遠(yuǎn)遠(yuǎn)高于其余兩種。在誤檢率方面，本文方法的誤檢率能達(dá)到0.029 85，相對于其余兩種方法性能分別提升 53.94%和66.69%， 從而在小瑕疵圖片中表現(xiàn)更好的瑕疵分類效果。在大圖片瑕疵檢測測試中，所提出模型的瑕疵檢測準(zhǔn)確率達(dá)到了90%，相較于最好的 VGG16 網(wǎng)絡(luò)提高了將近 3% ， 并且對一張384×384 大小的圖片檢測時(shí)間也達(dá)到0.069 s/張。

表2 模型對比

3 結(jié)論

本文以平紋布為檢測對象，提出采用優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)方法來檢測織物中的瑕疵。本文提出的方法對瑕疵檢測的效果要明顯好于傳統(tǒng)的小波濾波方法和改進(jìn)的加權(quán)中值濾波方法。除此之外，所提出的網(wǎng)絡(luò)結(jié)構(gòu)在織物瑕疵訓(xùn)練數(shù)據(jù)集上的分類準(zhǔn)確達(dá)到98%以上，在測試數(shù)據(jù)集上的分類準(zhǔn)確率達(dá)到96.6%。相比于LeNet 網(wǎng)絡(luò)，本文所提出的方法在準(zhǔn)確率、精確率、F1 等性能指標(biāo)上都有明顯的優(yōu)勢；與經(jīng)典的 VGG16 網(wǎng)絡(luò)相比，本文所提網(wǎng)絡(luò)模型具有檢測速度快，瑕疵分類準(zhǔn)確率、瑕疵檢測的準(zhǔn)確率更高等優(yōu)勢，更加具有實(shí)際意義。合適的網(wǎng)絡(luò)大小對于檢測任務(wù)至關(guān)重要。實(shí)驗(yàn)結(jié)果證明了所提方法的有效性，對10 種布匹的各種瑕疵檢測準(zhǔn)確率較高且適應(yīng)性更強(qiáng)，可實(shí)現(xiàn)高效率檢測，基本達(dá)到了工業(yè)上對平紋布的在線檢測要求。