基于改進Pix2PixGAN的織物疵點檢測算法

郜仲元，余靈婕，章玉銘，支 超，陳夢琦

(1.西安工程大學(xué) 紡織科學(xué)與工程學(xué)院，陜西 西安 710048； 2.西安工程大學(xué) 省部共建智能紡織材料與制品國家重點 實驗室(培育)陜西 西安 710048； 3.紹興文理學(xué)院元培學(xué)院 紡織服裝與藝術(shù)設(shè)計分院，浙江 紹興 312000)

織物疵點檢測在紡織生產(chǎn)的質(zhì)量控制中起著至關(guān)重要的作用。傳統(tǒng)的人工疵點檢測很容易受到心理等主觀條件的影響，導(dǎo)致效率低、精度低、實時性能差[1]。因此，智能織物疵點檢測已成為近年來的一種研究趨勢。

近年來，深度學(xué)習(xí)在織物疵點檢測領(lǐng)域取得了可觀的成果，但深度學(xué)習(xí)網(wǎng)絡(luò)的檢測能力主要依賴于訓(xùn)練數(shù)據(jù)集的大小和多樣性[2]。然而由于織物紋理和疵點的復(fù)雜和隨機性，難以獲得一個包含所有可能的織物紋理和疵點的完整數(shù)據(jù)集，這限制了深度學(xué)習(xí)在織物疵點檢測領(lǐng)域的進一步發(fā)展和應(yīng)用。

Goodfellow等[3]于2014年提出了生成式對抗性網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)以人工合成圖像，其在人臉識別、醫(yī)學(xué)、自動駕駛等各類領(lǐng)域取得了較好效果。近年來，基于GAN的改進生成模型已被廣泛用于目標檢測的數(shù)據(jù)集增強問題。Hu等[4]提出了一種基于深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)的自動檢測織物疵點的無監(jiān)督方法。Liu等[5]采用多層GAN模型在無疵點樣品圖像中人工合成疵點，增強了數(shù)據(jù)集。劉紀等[6]通過 GAN擴充數(shù)據(jù)樣本，再利用濾波處理及霍夫變換檢測織物缺陷。但他們的方法都局限于單一紋理，且適用于特定模型。

雖然收集具有不同紋理和疵點形態(tài)的織物疵點圖像非常困難，但采集包含各類織物背景的無疵點織物圖像相對較為簡單。若能利用GAN網(wǎng)絡(luò)構(gòu)建適用于織物疵點的生成模型，在干凈的無疵點圖像上人工合成各類疵點，則能夠有效增強訓(xùn)練數(shù)據(jù)集，從而提高后續(xù)目標檢測模型的效率。基于上述討論，本文提出了一種基于雙層深度Pix2PixGAN網(wǎng)絡(luò)[7](簡稱為DPGAN)的織物疵點數(shù)據(jù)集增強方法，并采用目標檢測網(wǎng)絡(luò)Faster R-CNN[8]驗證該方法對檢測模型的提高效果。實驗結(jié)果表明該方法生成的疵點圖像較為真實，并能有效提高疵點檢測的準確性。

1 DPGAN模型

1.1 DPGAN網(wǎng)絡(luò)概述

DPGAN網(wǎng)絡(luò)的主要任務(wù)為在無疵點的織物圖像上人工合成疵點。DPGAN模型基本框架如圖1所示。

圖1 DPGAN模型基本框架Fig.1 Basic framework of the DPGAN model. (a) First stage of DPGAN model; (b) Second stage of DPGAN model

從圖1可以看出，DPGAN網(wǎng)絡(luò)的訓(xùn)練主要包括2個階段：

階段1：DPGAN預(yù)訓(xùn)練。首先對原織物疵點數(shù)據(jù)集(即紋理1)進行訓(xùn)練，得到預(yù)訓(xùn)練模型。輸入圖像大小設(shè)置為512 dpi×512 dpi×3 dpi。此階段通過對紋理1圖像中的疵點人工語義分割，并結(jié)合原圖像同時送入網(wǎng)絡(luò)訓(xùn)練，從而實現(xiàn)了一種偽注意力機制，幫助網(wǎng)絡(luò)更好地提取疵點特征。為了匹配圖像的像素大小和確保更好的全局信息，深化了一層u-net[9]網(wǎng)絡(luò)結(jié)構(gòu)，并通過調(diào)整適當(dāng)?shù)腖L1損失參數(shù)來確保紋理的完整繼承，此階段網(wǎng)絡(luò)的損失定義見式(1)：

(1)

式中：LPGAN為生成對抗網(wǎng)絡(luò)損失，LL1為正則化損失，G*為總損失。x和y均為輸入圖像，其中x是原織物疵點數(shù)據(jù)集，y為疵點涂白的紋理1圖像數(shù)據(jù)集;D(x,y)表示真實配對數(shù)據(jù)x與y對于判別器D的結(jié)果，而D(x,G(x))表示x生成的圖像G(x)與x對于D的判斷結(jié)果；在式(1)中，可通過改變λ來控制生成圖像與真實值的相似度，λ越大則相似度越高，本文λ值設(shè)定為200。

階段2：DPGAN微調(diào)。在預(yù)實驗中發(fā)現(xiàn)經(jīng)預(yù)訓(xùn)練模型生成的疵點圖像不夠真實，疵點與織物紋理融合效果較差。為此，利用第1階段得到的預(yù)訓(xùn)練疵點圖像，并結(jié)合對應(yīng)紋理2無疵點真實圖像進行第2次訓(xùn)練。增加了疵點與背景的融合度。此階段為了生成圖像與真實圖像相似度更高，將λ設(shè)定為500。最終完成DPGAN的網(wǎng)絡(luò)權(quán)重訓(xùn)練。

1.2 DPGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)

輸入生成器的圖像大小為512 dpi×512 dpi×3 dpi，DPGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其中，卷積核大小為4，步幅為2。整個網(wǎng)絡(luò)除第1層卷積，使用批處理歸一化來加速網(wǎng)絡(luò)的收斂速度。同時，為了防止過擬合，在前4層反卷積中加入了dropout函數(shù)，并將該值設(shè)置為0.5。

圖2 DPGAN生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of DPGAN generator

2 結(jié)果與討論

2.1 實驗配置

實驗所使用的計算機硬件配置為TitanRTXGPU(24 G)，軟件環(huán)境為Windows10操作系統(tǒng)、Tensorflow(2.1.1)深度學(xué)習(xí)框架和Python3.6編程環(huán)境。DPGAN網(wǎng)絡(luò)學(xué)習(xí)率為0.000 2，采用Adam優(yōu)化器自適應(yīng)優(yōu)化學(xué)習(xí)率，迭代次數(shù)為1 000。目標檢測網(wǎng)絡(luò)的訓(xùn)練損失函數(shù)沿用原Faster R-CNN中的損失函數(shù)公式。網(wǎng)絡(luò)訓(xùn)練初始學(xué)習(xí)率為0.000 1，迭代次數(shù)為100，采用Adam優(yōu)化器自適應(yīng)優(yōu)化學(xué)習(xí)率。

2.2 基于DPGAN的數(shù)據(jù)增強

為驗證方法的有效性，本文分別收集了真實場景中的織物疵點圖像和無疵點織物圖像作為數(shù)據(jù)集[10]。圖3顯示了搜集的原始織物數(shù)據(jù)集，圖像大小均為600 dpi×600 dpi×3 dpi。其中圖3(a)所示為部分紋理1的織物疵點圖像，包含線狀、破洞和污漬3種疵點類型；圖3(b)為部分紋理2的無疵點織物圖像，此部分圖像將用于數(shù)據(jù)增強。

圖3 原織物數(shù)據(jù)集Fig.3 Original fabric dataset. (a) Parts of fabric defect images of Texture 1; (b) Parts of defect-free fabric images of Texture 2

在訓(xùn)練DPGAN模型時，由于數(shù)據(jù)集不均衡，將色織的破洞和污漬數(shù)據(jù)通過翻轉(zhuǎn)和顏色變換增強1倍，得到最終的DPGAN模型訓(xùn)練集和測試集，如表1所示。

表1 DPGAN模型訓(xùn)練集和測試集Tab.1 Training set and test set of DPGAN model

在無疵點織物圖像上可任意標注區(qū)域，通過已訓(xùn)練的DPGAN在該區(qū)域根據(jù)不同模型自動生成不同疵點。圖4顯示了無疵點織物圖像經(jīng)由DPGAN模型生成的疵點圖像。從圖4可看出，第2階段與第1階段相比，線狀效果減弱，但破洞和污漬的圖像效果有了較大的提升，更接近實際情況。

圖4 DPGAN生成疵點圖像Fig.4 Generateded defect images by using DPGAN model. (a) Generated images of stage 1；(b) Generated images of stage 2

2.3 評估指標

本文采用平均精度(Average Precision，簡稱AP)以及平均精度均值(mean Average Precision，簡稱mAP)來評估目標檢測率。

AP值是精確度和召回率被繪制的二維曲線所包圍的區(qū)域，具有垂直坐標和水平軸坐標，其表示某一類疵點的檢測精度，mAP表示3類疵點的平均檢測精度。當(dāng)目標檢測模型接受不同的信息時，就會得到不同的精度和召回率。通過改變置信度，可以得到許多精確度(Precision)和召回率值(Recall)。精度和召回率計算公式如式(2)(3)所示：

(2)

(3)

式中：TP指分類器認為是正樣本而實際上就是正樣本的例子，F(xiàn)P指分類器認為是正樣本但實際上不是正樣本的例子，而FN是指一個分類器認為是負樣本但實際上不是負樣本的例子。

2.4 結(jié)果分析

在本節(jié)中，采用經(jīng)典目標檢測網(wǎng)絡(luò)Faster-RCNN 作為疵點檢測模型，采用原紋理1織物疵點數(shù)據(jù)集作為檢測模型訓(xùn)練集1，采用DPGAN模型生成圖像與訓(xùn)練集1結(jié)合作為檢測模型訓(xùn)練集2。另外采用由紋理1和紋理2部分疵點圖像組合作為檢測模型測試集。

Faster-RCNN模型訓(xùn)練集和測試集如表2所示。訓(xùn)練集1共1 800張；訓(xùn)練集2共3 632張，其中生成圖像由DPGAN模型階段1和階段2組合產(chǎn)生，每階段選取大約300張圖像。

表2 Faster-RCNN模型訓(xùn)練集和測試集Tab.2 Faster-RCNN model training set and test set

在Faster-RCNN網(wǎng)絡(luò)中，輸入圖像大小為512 dpi×512 dpi×3 dpi，訓(xùn)練次數(shù)為100次，學(xué)習(xí)率為0.000 1，置信度為0.5。在使用不同訓(xùn)練集，同一測試集的情況下，F(xiàn)aster-RCNN模型AP值如表3所示。

表3 Faster-RCNN模型AP值Tab.3 The AP value of Faster-RCNN model %

從結(jié)果中可以看出，模型平均精度僅有70%左右，導(dǎo)致平均精度低的原因，主要是由于訓(xùn)練集和測試集紋理是完全不同的。而3種疵點圖像在經(jīng)過數(shù)據(jù)增強后，平均精度都有所提升。其中線狀提升效果最好，提升了11%，這源于在DPGAN模型中，線狀的訓(xùn)練集最大，生成的圖像效果好，而破洞和污漬的原始數(shù)據(jù)集較小，即使經(jīng)過翻轉(zhuǎn)和顏色變換，但并沒能從本質(zhì)改變訓(xùn)練集。

3 結(jié) 論

本文提出了一種基于改進Pix2PixGAN(簡稱為DPGAN)的織物疵點數(shù)據(jù)集增強方法，該方法可幫助提升織物疵點檢測模型的精度。首先利用人工圖像分割實現(xiàn)偽注意力機制，幫助后續(xù)網(wǎng)絡(luò)對疵點位置的判定與學(xué)習(xí)；其次構(gòu)建DPGAN網(wǎng)絡(luò)，即通過加深U-net網(wǎng)絡(luò)結(jié)構(gòu)，并串聯(lián)2個Pix2PixGAN網(wǎng)絡(luò)；最后在無疵點織物圖像上任意標注區(qū)域，通過已訓(xùn)練的DPGAN在該區(qū)域自動生成制定疵點，從而實現(xiàn)織物疵點圖像數(shù)據(jù)增強。

本文搜集了包含2種紋理(即紋理1和紋理2)、3類疵點(即線狀、破洞和污漬)的原始織物數(shù)據(jù)集，通過構(gòu)建的DPGAN網(wǎng)絡(luò)對各類疵點分別生成600張，共1 800張織物疵點圖像擴展原訓(xùn)練集樣本，并利用Faster-RCNN目標檢測網(wǎng)絡(luò)來驗證本文提出算法的有效性。實驗結(jié)果表明：

①構(gòu)建的DPGAN網(wǎng)絡(luò)可改善原始U-net網(wǎng)絡(luò)生成疵點與紋理匹配較差的問題，從而獲得接近真實疵點形態(tài)的織物疵點圖像。

②增強后的訓(xùn)練集有利于提高疵點檢測模型的平均精度，線狀、破洞和污漬的平均精度分別由73%、75%和62%提升到了84%、79%和65%。