基于可變形密集卷積神經(jīng)網(wǎng)絡(luò)的布匹瑕疵檢測(cè)

莊集超，郭保蘇，吳鳳和

(燕山大學(xué) 機(jī)械工程學(xué)院，河北 秦皇島 066004)

1 引 言

由于設(shè)備故障等影響，常在布匹上造成諸如破洞、油漬等瑕疵[1]。各類瑕疵會(huì)嚴(yán)重降低布匹質(zhì)量，直接影響布匹等級(jí)測(cè)評(píng)[2]，因此布匹瑕疵檢測(cè)是必要的生產(chǎn)環(huán)節(jié)。但傳統(tǒng)紡織制造仍依賴于人工檢測(cè)，極易造成因視覺疲勞所致的錯(cuò)檢、漏檢。同時(shí)，不同批次的布匹具有不同的復(fù)雜紋理和花色，極大提高了瑕疵檢測(cè)的難度。傳統(tǒng)的布匹瑕疵檢測(cè)方法主要包括5類：基于結(jié)構(gòu)分析方法、基于頻譜分析方法、基于模型分析方法、基于統(tǒng)計(jì)分析方法和基于學(xué)習(xí)方法。

(1) 基于結(jié)構(gòu)分析方法的紋理圖像是由骨架和紋理基元按照一定放置規(guī)則重復(fù)出現(xiàn)的組合，并通過閾值來(lái)檢測(cè)缺陷[3,4]。Chen J H等[5]對(duì)紋理圖像進(jìn)行閾值分割后，將其映射到稱為骨架表示的特殊數(shù)據(jù)結(jié)構(gòu)中，并通過位置和長(zhǎng)度直方圖定義了統(tǒng)計(jì)測(cè)量方法，用以識(shí)別和定位紋理圖像中的缺陷。

(2) 基于頻譜分析方法將圖像信號(hào)轉(zhuǎn)換為頻域信號(hào)，以凸顯紋理的周期性特征，利用頻域特征檢測(cè)瑕疵點(diǎn)[6]。Tsai D M等[7]通過一維Hough變換檢測(cè)Fourier域圖像中的高能頻率分量，并設(shè)定區(qū)分缺陷和正常模式的控制限值，然而該方法忽略了瑕疵在空間域的信息；Mak K L等[8]利用預(yù)訓(xùn)練的Gabor小波網(wǎng)絡(luò)提取織物的重要紋理特征，利用所提取的紋理特征構(gòu)造結(jié)構(gòu)元素，用以分離瑕疵點(diǎn)。由于該方法所提出的缺陷檢測(cè)方案需要多個(gè)濾波器，難以平衡組合。

(3) 基于模型分析方法通過判斷待檢測(cè)圖像是否符合正?？椢锛y理模型，利用像素點(diǎn)間的關(guān)系，并通過計(jì)算局部像素的特征值來(lái)檢測(cè)像素是否存在突變[9]。Zhou J等[10]充分利用織物紋理在水平和垂直投影下的周期性和方向性，并結(jié)合一維投影序列進(jìn)行檢測(cè)。

(4) 基于統(tǒng)計(jì)分析方法主要依據(jù)像素在空間分布情況來(lái)表達(dá)圖像的紋理特性[11]。Banumathi P等[12]通過提取基于灰度共生矩陣的統(tǒng)計(jì)特征，并采用神經(jīng)網(wǎng)絡(luò)作為分類模型，利用所提取的特征作為神經(jīng)網(wǎng)絡(luò)的輸入，對(duì)缺陷進(jìn)行識(shí)別。

對(duì)于上述4類方法研究，瑕疵特征的提取與分類是兩個(gè)分離的過程，檢測(cè)精度嚴(yán)重依賴于所提取的特征集，且后續(xù)難以提高精度，不易進(jìn)行遷移學(xué)習(xí)。同時(shí)，分類器亦是影響算法精度的重要因素，其參數(shù)調(diào)整需要通過大量的對(duì)比實(shí)驗(yàn)確定，難以提高實(shí)驗(yàn)的泛化性。

(5)基于學(xué)習(xí)方法通過在網(wǎng)絡(luò)訓(xùn)練過程中，利用多次卷積運(yùn)算融合邊緣細(xì)節(jié)，逐步提取瑕疵特征，并利用SoftMax函數(shù)對(duì)瑕疵類型進(jìn)行預(yù)測(cè)。Li Y等[13]基于Fisher準(zhǔn)則的疊層去噪自編碼器將織物圖像有效地分為有無(wú)缺陷類型；針對(duì)織物缺陷樣本數(shù)量分布不均問題，卷積神經(jīng)網(wǎng)絡(luò)可結(jié)合生成對(duì)抗網(wǎng)絡(luò)以生成缺陷織物圖像，擴(kuò)充樣本數(shù)量[14]；Liu J等[15]提出通過學(xué)習(xí)現(xiàn)有的織物瑕疵樣本，可在不同的應(yīng)用階段自動(dòng)適應(yīng)不同織物紋理；Jing J等[16]提出了一種基于改進(jìn)AlexNet的織物瑕疵點(diǎn)分類方法。然而，上述多數(shù)研究?jī)H針對(duì)幾類常見的瑕疵，無(wú)法擴(kuò)展至小目標(biāo)瑕疵類型。同時(shí)，傳統(tǒng)卷積方式是單一尺度的窗口檢測(cè)[17]，無(wú)法全面提取尺度變化大，面積占比小的瑕疵特征，并隨著網(wǎng)絡(luò)層數(shù)增加，網(wǎng)絡(luò)梯度消失越嚴(yán)重，易致使模型崩潰。

為解決上述問題，本文提出了一種可變形密集卷積神經(jīng)網(wǎng)絡(luò)的布匹瑕疵檢測(cè)方法以實(shí)現(xiàn)布匹瑕疵的識(shí)別與定位。采用特征重用方式緩解梯度消失和保持特征信息，并利用可變形卷積增強(qiáng)瑕疵特征的提取能力。實(shí)驗(yàn)結(jié)果表明：所提出的方法相對(duì)于其他模型具有更高的檢測(cè)精度和更強(qiáng)的特征提取能力。

2 特征提取

本文采用了一種多尺度的卷積操作提取布匹的瑕疵特征。

2.1 可變形卷積

可變形卷積通過在常規(guī)的卷積網(wǎng)格位置中加入二維偏移量以實(shí)現(xiàn)采樣網(wǎng)格自由變形，如圖1所示。二維偏移量通過在卷積層的特征圖中進(jìn)行訓(xùn)練學(xué)習(xí)，并利用改變偏移量來(lái)控制卷積采樣位置。相對(duì)于標(biāo)準(zhǔn)卷積，可變形卷積增加了偏移學(xué)習(xí)的參數(shù)和計(jì)算，并且可以采用反向傳播進(jìn)行端到端訓(xùn)練?？勺冃尉矸e的采樣視野得到了極大增加，且其感受野具有不規(guī)則的形狀，可極大覆蓋不同尺度的瑕疵。從圖1(a)中可以發(fā)現(xiàn)，標(biāo)準(zhǔn)卷積的感受野是固定的區(qū)域，與瑕疵的輪廓形狀并不匹配，導(dǎo)致無(wú)法完全提取瑕疵特征，從而影響模型性能。相反，可變形卷積因其靈活的感受野，所覆蓋的區(qū)域更大，更匹配瑕疵的形狀，進(jìn)而改善卷積效率，見圖1(b)。

圖1 卷積操作Fig.1 Convolution operation

設(shè)置一個(gè)偏移層，通過偏移層輸出通道數(shù)，控制學(xué)習(xí)x和y方向的偏移量，如圖2所示。假設(shè)3×3卷積網(wǎng)格位置R={(-1,-1),(-1,0),…,(0,1),(1,1)}，對(duì)于所輸出的特征圖y上每個(gè)位置的數(shù)學(xué)描述如下：

(1)

式中:Pn表示R中的位置;w表示卷積權(quán)重。

圖2 可變形卷積Fig.2 3×3 Deformable convolution

在可變形卷積中，通過在網(wǎng)格位置R增加偏移量{ΔPn|n=1,…,N}，N=|R|，其數(shù)學(xué)描述如下：

(2)

從而實(shí)現(xiàn)在不規(guī)則網(wǎng)格位置上進(jìn)行偏移位置為Pn+ΔPn的卷積采樣。由于偏移量ΔPn通常為分?jǐn)?shù)，通過雙線性插值將式(2)轉(zhuǎn)換為：

(3)

式中：p為任意位置；q是特征圖y中的所有積分空間位置；G(q,p)表示為雙線性插值內(nèi)核。

2.2 密集連接

為了確保網(wǎng)絡(luò)層之間的最大信息流，并使其保持前饋特性，提出一種特征可重用的特征提取方法。每個(gè)層從前面所有層獲取額外的輸入，并將特征映射傳遞給后面所有層，從而實(shí)現(xiàn)特征的重用。

通過設(shè)計(jì)多個(gè)單元，使特征信息流在單元內(nèi)任何兩層之間均有直接連接，即單元內(nèi)每層的輸入均是前面所有層輸出的并集。前面所有層所學(xué)習(xí)的特征圖也會(huì)被直接前饋至其后面所有層，并作為其輸入，如圖3所示。

假設(shè)X0為輸入，H是批正則化、卷積、ReLU激活函數(shù)和可變形卷積的綜合層，X1為H0的輸出和

H1的輸入。每個(gè)單元的最終輸出如下：

Hl=Hl(Xl-1)=Hl([X0,X1,…,Xl-1])

(4)

圖3 單元連接Fig.3 Unit connection

所提出的模型中設(shè)置了4個(gè)單元，每?jī)蓚€(gè)單元之間采用批正則化、卷積和平均池化進(jìn)行連接，如圖3所示，用以降低特征圖維度和提高模型的計(jì)算效率。

3 可變形密集卷積神經(jīng)網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)內(nèi)每個(gè)單元的內(nèi)部連接如圖4所示，其中經(jīng)過試驗(yàn)初步確定，將可變形卷積模塊放置在單元內(nèi)的最后輸出，可最大幅度提高模型的性能。所提出的可變形密集卷積神經(jīng)網(wǎng)絡(luò)可分為6個(gè)步驟，每個(gè)步驟能學(xué)習(xí)到一個(gè)特征圖，然后在每個(gè)特征圖上進(jìn)行邊框回歸和分類，如圖5所示。瑕疵圖像經(jīng)過所提出的模型，利用密集連接的運(yùn)算方式充分獲取上一層與本層產(chǎn)生特征圖的并集，其中可變形卷積操作可保證充分辨識(shí)不同尺度的瑕疵特征。最后在不同的特征圖上獲得的候選框。

圖4 單元結(jié)構(gòu)Fig.4 Unit structure

在可變形密集卷積神經(jīng)網(wǎng)絡(luò)中，將單元3和單元4的輸出分別作為前2個(gè)步驟，并將4個(gè)遞減卷積層conv5、conv6、conv7、conv8作為其余4個(gè)步驟，其結(jié)構(gòu)參數(shù)見表1，#號(hào)位置為空。將單元3、單元4與額外卷積層conv5、conv6、conv7、conv8的最終輸出特征圖輸入至兩層全連接層F1和F2，并在邊框回歸層FB中構(gòu)造出6個(gè)不同尺度的候選框，最后分別對(duì)其進(jìn)行檢測(cè)與分類。同時(shí)，conv8的輸出單獨(dú)作為類別預(yù)測(cè)層FC的輸入，從而進(jìn)行瑕疵類別預(yù)測(cè)。對(duì)于多個(gè)不同的候選框，采用非極大值抑制方法[18]來(lái)剔除掉重疊或不正確的候選框，并生成最終的檢測(cè)框集合。

圖5 可變形卷密集積神經(jīng)網(wǎng)絡(luò)Fig.5 Deformable convolution dense neural network

表1 結(jié)構(gòu)參數(shù)Tab.1 The structure parameters

3.2 邊框回歸

模型使用6個(gè)不同尺度的特征圖在SoftMax分類器進(jìn)行瑕疵類別預(yù)測(cè)，并通過在不同大小的特征映射中以不同大小和縱橫比的候選框?qū)Σ煌叨鹊蔫Υ梦恢眠M(jìn)行回歸，如圖6所示。

圖6 候選框Fig.6 The candidate box

最底層的特征圖的尺度smin=0.2，最高層的尺度smax=0.95，其余各層尺度為

(5)

正方形候選框的最大-最小值尺寸為：

min_size=sk

(6)

(7)

式中：min_size和max_size分別表示正方形候選框最小和最大尺寸。

長(zhǎng)方形候選框的尺寸為

(8)

(9)

式中：w表示長(zhǎng)方形候選框的寬；h表示長(zhǎng)方形候選框的高；α表示比例系數(shù)，α∈[1,2,3,1/2,1/3]。

3.3 損失函數(shù)

模型中每個(gè)輸出可被視為將前一層的輸出向量xi∈D，D=C×H×W，乘以權(quán)重系數(shù)wi+1，最后添加偏差值bi+1，其定義如下：

αi+1=f(wi+1xi+bi+1)

(10)

式中：wi+1∈K×D表示具有K個(gè)特征的權(quán)重矩陣；bi+1∈K表示偏差。

整流線性單元激活的數(shù)學(xué)描述如下：

f(x)=max(0,x)

(11)

(12)

(13)

卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重是采用損失的反向傳播算法[19]進(jìn)行更新，所提出模型的損失包括目標(biāo)類別和相應(yīng)位置回歸的損失，其數(shù)學(xué)描述如下：

(14)

式中：N表示匹配到目標(biāo)的候選框數(shù)量；Lconf表示目標(biāo)類別損失；Lloc表示位置回歸損失；αt表示比例系數(shù)，用以調(diào)整兩個(gè)損失之間的比例，默認(rèn)為1。

目標(biāo)類別損失采用Focal Loss[20]數(shù)學(xué)描述：

(15)

位置回歸損失采用SmoothL1Loss，其數(shù)學(xué)描述為

(16)

SmoothL1Loss的數(shù)學(xué)表達(dá)如下：

(17)

4 實(shí)驗(yàn)與分析

4.1 評(píng)價(jià)標(biāo)準(zhǔn)

在實(shí)驗(yàn)驗(yàn)證中，選用平均檢測(cè)精度(mean average precision，MAP)和交并比(intersection over union，IOU)評(píng)價(jià)指標(biāo)[21]。

(1) MAP主要用于評(píng)價(jià)算法在多目標(biāo)檢測(cè)的性能。其數(shù)學(xué)描述如下：

(18)

(19)

(20)

(21)

式中：AP表示單類目標(biāo)檢測(cè)精度；TP表示正確識(shí)別目標(biāo)數(shù)目；FP表示非目標(biāo)識(shí)別的數(shù)目；FN表示未識(shí)別目標(biāo)的數(shù)目。

(2) IOU主要用于度量?jī)蓚€(gè)檢測(cè)框的疊加程度，其數(shù)學(xué)描述如下：

(22)

式中：Bp表示預(yù)測(cè)的邊框；Bg表示目標(biāo)的實(shí)際邊框。

4.2 數(shù)據(jù)預(yù)處理

在原始圖像的基礎(chǔ)上，對(duì)數(shù)據(jù)進(jìn)行適當(dāng)?shù)母淖?，以增加?shù)據(jù)樣本的數(shù)量。隨機(jī)選取圖像進(jìn)行隨機(jī)旋轉(zhuǎn)和圖像擦除。圖像尺寸越大，其紋理和上下文信息越多，模型越容易能捕獲特征。但當(dāng)圖像過大時(shí)，模型的分類性能反而會(huì)變差，甚至出現(xiàn)過擬合現(xiàn)象。由于原始布匹圖像的實(shí)際尺寸為2 446×1 000 pixels，為了在后續(xù)模型訓(xùn)練過程中，保證模型訓(xùn)練的速度，同時(shí)保留缺陷信息，需要對(duì)圖像進(jìn)行分割處理。本文采用滑動(dòng)分割方法進(jìn)行布匹圖像分割處理。

具體操作如下：

以512×512 pixels的滑動(dòng)窗口，在原始圖像中沿行和列進(jìn)行移動(dòng)，每次移動(dòng)的步長(zhǎng)為256 pixels，如圖7所示；每次移動(dòng)2 446×1 000 pixels的布匹圖像中提取的512×512 pixels的圖像塊，進(jìn)而從一個(gè)原始布匹圖像數(shù)據(jù)中可提取出24張子圖像。對(duì)10類布匹瑕疵進(jìn)行檢測(cè)，瑕疵類型包括毛粒、斷經(jīng)、軋痕、污漬、結(jié)頭、百腳、跳花、漿斑、破洞和云織。

圖7 滑動(dòng)分割Fig.7 The sliding segmentation

4.3 模型訓(xùn)練

在模型訓(xùn)練中，訓(xùn)練集和驗(yàn)證集的比例為8:2，數(shù)據(jù)的批處理大小為64，并設(shè)置批處理歸一化。Adam的學(xué)習(xí)率為0.01，并設(shè)置學(xué)習(xí)率衰減為1×10-4，訓(xùn)練的Epoch為200，并設(shè)置保存200次Epoch內(nèi)最優(yōu)Loss值模型為最終的模型。

圖8展示了網(wǎng)絡(luò)200次Epoch訓(xùn)練的網(wǎng)絡(luò)損失曲線。隨著Epoch次數(shù)的增加，訓(xùn)練損失在25次Epoch時(shí)，已經(jīng)趨于穩(wěn)定，且損失值在0.5以下。驗(yàn)證與訓(xùn)練的Loss曲線逐漸趨向擬合收斂，說明網(wǎng)絡(luò)訓(xùn)練未出現(xiàn)過擬合現(xiàn)象。驗(yàn)證精度在119次Epoch時(shí)取得最小Loss值，并保存該Epoch的模型參數(shù)。

圖8 損失曲線Fig.8 The loss curve

4.4 結(jié)果可視化

類激活圖是經(jīng)過權(quán)重加權(quán)的特征圖集重疊而成的，用以進(jìn)一步對(duì)表示每個(gè)位置對(duì)該類別的重要程度進(jìn)行可視化。圖9展示了各類瑕疵圖像的類激活可視化，其中紅色部分為重點(diǎn)權(quán)重大的區(qū)域，藍(lán)色為權(quán)重最小的區(qū)域?？梢钥闯觯簩?duì)于小目標(biāo)瑕疵區(qū)域，如結(jié)頭，毛粒等瑕疵，網(wǎng)絡(luò)賦予了較大權(quán)重。對(duì)于經(jīng)過擴(kuò)展后的圖像瑕疵區(qū)域，網(wǎng)絡(luò)也實(shí)現(xiàn)了該區(qū)域的識(shí)別，圖像隨機(jī)擴(kuò)展后，可極大提升網(wǎng)絡(luò)的泛化性能。對(duì)于存在2個(gè)或者3個(gè)瑕疵的圖像，網(wǎng)絡(luò)也實(shí)現(xiàn)了檢測(cè)，并取得了令人滿意的識(shí)別效果，這可歸因于可變形卷積表現(xiàn)出更強(qiáng)的靈活視野。

圖9 瑕疵類激活圖Fig.9 Defect class activation maps

模型通過分類預(yù)測(cè)和邊框回歸可針對(duì)瑕疵圖像分別輸出瑕疵類型、預(yù)測(cè)概率和檢測(cè)方框，用以可視化模型的最終輸出，如圖10所示。

圖10 瑕疵識(shí)別與定位Fig.10 Defect identification and Location

可視化結(jié)果表明：所提出的模型表現(xiàn)出較強(qiáng)的判別特征性能，可從瑕疵圖像中自適應(yīng)地學(xué)習(xí)尺度變化大的瑕疵特征。

4.5 對(duì)比分析

為了進(jìn)一步說明本文所用方法的有效性和可行性，與經(jīng)典算法進(jìn)行了對(duì)比驗(yàn)證，4種方法各類瑕疵的AP值見表2。

表2 4種方法各類瑕疵的AP值Tab.2 Metric values of each defect for four methods (%)

圖11展示了4種方法的IOU值。

相比于SSD和Faster RCNN，本文所用方法具有更好的檢測(cè)性能，其平均檢測(cè)精度為93.53%。本文方法在IOU取得了0.718的最佳性能值，各類瑕疵檢測(cè)精度的標(biāo)準(zhǔn)差為2.513 9，說明本文所用方法具有更精準(zhǔn)的瑕疵定位能力，能夠有效識(shí)別各類瑕疵。其中，SSD的識(shí)別性能是最差的，這可歸因于特征提取網(wǎng)絡(luò)無(wú)法勝任提取瑕疵特征，甚至出現(xiàn)過擬合。在檢測(cè)時(shí)間上，F(xiàn)aster RCNN取得了最快的檢測(cè)效果，但其檢測(cè)精度次之。本文方法的fps(frame per second,畫面每秒傳輸幀數(shù))平均為11幀/s，檢測(cè)時(shí)間已滿足實(shí)時(shí)性檢測(cè)要求。

圖11 4種方法的IOU和fpsFig.11 IOU and fps of four methods

5 結(jié) 論

本文提出了一種基于可變形密集卷積神經(jīng)網(wǎng)絡(luò)模型用以對(duì)瑕疵進(jìn)行識(shí)別與定位檢測(cè)。采用可變形卷積機(jī)制，用以在局部特征上補(bǔ)充卷積操作無(wú)法獲得的一些信息，構(gòu)建起圖像中兩個(gè)有一定距離像素之間的聯(lián)系。使模型對(duì)不同尺度的瑕疵具有自適應(yīng)的特征提取能力，使其感受野具有不規(guī)則的形狀，實(shí)現(xiàn)自適應(yīng)覆蓋不同尺度的瑕疵。采用密集連接方式實(shí)現(xiàn)了特征信息流重用的最大化。最后，結(jié)合類別預(yù)測(cè)和位置邊框回歸，從而實(shí)現(xiàn)瑕疵的識(shí)別與定位，并與其他經(jīng)典方法進(jìn)行了對(duì)比 分析。所提出的方法取得了更好的檢測(cè)性能，能夠?qū)﹁Υ锰卣骶哂凶赃m應(yīng)學(xué)習(xí)能力。實(shí)驗(yàn)結(jié)果表明：模型的平均檢測(cè)精度和單類目標(biāo)檢測(cè)精度標(biāo)準(zhǔn)差分別為93.53%，2.513 9，相比于其他方法更具有檢測(cè)優(yōu)勢(shì)。