基于語義生成與語義分割的機織物缺陷檢測方法

馬浩然， 張團善， 王 峰， 趙浩銘

(西安工程大學 機電工程學院， 陜西 西安 710048)

紡織業(yè)的重要性上至航空航天、生物醫(yī)療，下至服裝家紡、包裝材料?？椢锶毕菔怯绊懣椢锟捎眯缘年P(guān)鍵因素，具有較多缺陷的織物將被判定為次品，影響銷售甚至被銷毀，同時織物缺陷率的上升也能反映出紡織機械故障的出現(xiàn)。所以織物缺陷檢測是提升織物質(zhì)量，監(jiān)測紡機狀態(tài)的重要步驟，快速、準確地檢出缺陷對提升生產(chǎn)效率、提高產(chǎn)品質(zhì)量都有重要意義[1]。

目前工廠中織物缺陷檢測主要依靠人工進行，這不僅需要工人具有豐富的工作經(jīng)驗，且勞動強度大，對視力損傷嚴重。即使如此，人工也僅能達到70%的正確率，這意味著高質(zhì)量的布匹不得不反復檢測，這極大地提高了生產(chǎn)成本。

近年來，計算機技術(shù)快速發(fā)展，深度學習因其較高的檢測正確率，已經(jīng)逐漸成為織物缺陷檢測的常用方法，使用較多的任務模式有分類、目標檢測和語義分割[2-4]。分類任務僅能判別當前整張圖像是否含有缺陷，并對缺陷分類，這種方式檢測較為粗略，無法提供具體的缺陷位置；目標檢測可以提取缺陷的中心位置和外接矩形的大小，能夠更加精細地提供缺陷的信息，但無法提供缺陷的輪廓信息；語義分割可以提供織物缺陷的種類、位置、準確輪廓以及像素級精度的缺陷面積，對缺陷的描述較為全面[5]。因此語義分割任務在織物缺陷檢測中的使用頻率越來越高。

深度學習作為有監(jiān)督學習，最為重要的是數(shù)據(jù)集的規(guī)模，數(shù)據(jù)集的規(guī)模越大、覆蓋越廣，越能反映出真實狀態(tài)下的缺陷分布。一個全面的數(shù)據(jù)集對于獲得一個泛用的、魯棒的模型十分重要。在織物缺陷檢測方面，現(xiàn)有的公共數(shù)據(jù)集數(shù)據(jù)量較少，且織物的種類也在日益增多，往往需要對擁有的有限的數(shù)據(jù)進行擴充[6]。傳統(tǒng)的擴充方式采用翻轉(zhuǎn)、旋轉(zhuǎn)和縮放等方式，但這些方式只是對現(xiàn)有圖像的處理，不能產(chǎn)生新的樣本圖像。

生成對抗網(wǎng)絡(generative adversarial networks，GAN)[7]常常被用來擴充數(shù)據(jù)集，傳統(tǒng)的GAN輸入服從某種分布的噪聲，輸出生成的圖像，這種方式可以產(chǎn)生新的圖像，但這些圖像仍需人手工標注，這增加了工作量。傳統(tǒng)的GAN存在難以訓練、模式崩潰等問題，作為數(shù)據(jù)擴充工具，傳統(tǒng) GAN在使用上存在困難。

近年來，語義生成作為GAN新的研究方向，廣受關(guān)注，語義生成采用編碼-解碼器的方式，輸入語義標簽，輸出與之對應的真實圖像[8]。語義生成的提出使得語義分割的數(shù)據(jù)增強不再需要手工標注，僅需要隨機產(chǎn)生語義標簽，或?qū)ΜF(xiàn)有的語義標簽進行數(shù)據(jù)增強，即可獲得語義標簽與對應的真實圖像的一組數(shù)據(jù)，免去標注過程，可以在語義分割網(wǎng)絡訓練過程中實時增強。

傳統(tǒng)GAN、深度卷積生成對抗網(wǎng)絡(deep convolution generative adversarial networks，DCGAN)中[9]，庫爾貝特-萊布勒散度(Kullback-Leibler divergence)，簡稱KL散度，和杰森-香農(nóng)散度(Jensen-Shannon divergence)，簡稱JS散度，在生成分布與真實分布不重疊時會造成梯度消失，導致網(wǎng)絡無法收斂。瓦瑟斯坦生成對抗網(wǎng)絡(Wasserstein generative adversarial networks，WGAN)[10]使用推土機距離(earth mover′s distance，EM距離)替代KL散度和JS散度，EM距離在2分布無重疊時也能良好地衡量真實分布與生成分布的距離。邊界平衡生成對抗網(wǎng)絡(boundary equilibrium generative adversarial networks，BEGAN)將判別器設置為編碼-解碼器的形式，通過重構(gòu)誤差的分布的逼近來代替真實分布的逼近，提升了訓練速度，并且通過設置生成器與判別器損失的反饋機制來避免判別器過強導致的訓練崩潰。

菲利普等[11]發(fā)現(xiàn)，在GAN的生成器訓練中加入一些傳統(tǒng)損失函數(shù)(L1損失函數(shù))可以輔助訓練，僅使用判別器的輸出作為生成器的損失函數(shù)會導致生成的圖像缺乏真實，僅使用L1損失函數(shù)會導致生成的圖像十分模糊，2者融合可以更好地生成圖像。

課題組采用BEGAN的網(wǎng)絡結(jié)構(gòu)[12]，同時在生成器訓練時添加加權(quán)的L1損失函數(shù)作為輔助，L1損失函數(shù)使用尺寸自適應加權(quán)函數(shù)進行加權(quán)，減少大尺寸缺陷模糊的問題。BEGAN同樣采用EM距離評估生成分布和真實分布的差距，這可以避免KL散度和JS散度帶來的梯度消失。課題組選用多樣性比率γ(diversity ratio)，用于控制生成網(wǎng)絡在多樣性和生成質(zhì)量中的比例，同時比例控制原理(proportional control theory)的加入用于控制判別器對生成樣本和真實樣本重構(gòu)誤差期望維持在γ附近，從而避免判別器對生成樣本過于嚴格而導致的訓練崩潰。

1 語義生成

生成網(wǎng)絡主要包括網(wǎng)絡原理的構(gòu)造和網(wǎng)絡結(jié)構(gòu)及參數(shù)的選擇。生成對抗網(wǎng)絡采用BEGAN的形式，生成器與判別器都采用編碼-解碼器的形式，判別器獲取生成樣本與真實樣本的重構(gòu)誤差，損失函數(shù)采用EM距離，采用L1損失函數(shù)輔助生成器的訓練。

1.1 原理及損失函數(shù)設計

傳統(tǒng)GAN 的優(yōu)化目標分為2部分：判別器D(xi)與生成器G(z)部分。

1) 判別器部分。

(1)

式中：xi為采樣樣本,Pr是真實圖像分布，PG是生成器生成的圖像分布。

對于判別器，在輸入真實圖像時，判別器D(xi)的期望輸出越大越好，即Exi～PrlnD(xi)越大越好；在輸入生成圖像時，判別器D(xi)的期望輸出越小越好，即Exi～PGln [1-D(xi)]越小越好。

2) 生成器部分。

Exi～PGln [1-D(xi)]。

(2)

對于生成器的優(yōu)化目標，在對判別器輸入為生成圖像時，判別器的輸出期望越大越好，即Exi～PGln [1-D(xi)]越小越好。

定義V(D,G)為優(yōu)化目標，則有：

(3)

式中：PG=G(z),z～N(μ,σ2)；V(D,G)為關(guān)于判別器與生成器的優(yōu)化函數(shù)；∏(Pr,PG)是真實樣Pr與生成樣本PG的聯(lián)合分布；z是符合某種分布的噪聲，往往是正態(tài)分布。

在固定生成器G(z)時，最優(yōu)的判別器

(4)

當判別器最優(yōu)時，生成器的優(yōu)化目標為：

(5)

引入KL散度和JS散度：

divKL(P1‖P2)=Exi～P1ln (P1/P2)。

(6)

(7)

式中P1與P2為不同的樣本分布。

將生成器優(yōu)化目標寫成JS散度的形式：

2divJS(Pr‖PG)-2ln 2。

(8)

JS散度存在弊端，當真實樣本分布Pr與生成樣本分布PG分布完全不重疊時，JS散度恒為ln 2。即無論Pr與PG的分布多近或多遠，JS散度為定值，這導致了梯度消失；而在實際情況中，Pr與PG的分布完全不重疊的情況十分常見，JS散度存在的弊端直接導致了原始的GAN難以訓練。

EM距離W(Pr,PG)可以更好地衡量2個分布的差距。

(9)

對于聯(lián)合分布樣本σ，從中采樣真實樣本xr和生成樣本xG，計算2者距離，取下界，定義為EM距離。

BEGAN將樣本分布的優(yōu)化轉(zhuǎn)化為樣本重構(gòu)誤差L的優(yōu)化，即：

L(xi)=|xi-D(xi)|η。

(10)

式中η∈[1,2]。

除此之外，BEGAN還引入了多樣性比例γ和比例控制原理，使得網(wǎng)絡可以調(diào)節(jié)多樣性和生成質(zhì)量。

(11)

式中：Rd為標簽中缺陷像素占比，yd為缺陷樣本，yb為背景樣本，μ為尺寸自適應權(quán)重，gd為生成缺陷樣本，gb為生成背景樣本，α為調(diào)節(jié)權(quán)重。

1.2 網(wǎng)絡結(jié)構(gòu)

生成器與判別器均采用編碼-解碼器的形式。編碼器的網(wǎng)絡結(jié)構(gòu)如圖1所示，輸入經(jīng)過純卷積網(wǎng)絡進行下采樣，最終到15×15像素大小。傳統(tǒng)的最大池化下采樣不適用于語義生成任務，抑制低激活值不利于網(wǎng)絡推導織物紋理。下采樣部分采用卷積進行，卷積核4×4，步長為2。

解碼器的作用主要是還原圖像分辨率以及產(chǎn)生紋理。傳統(tǒng)網(wǎng)絡上采樣為避免訓練初期出現(xiàn)的周期性噪聲而回避使用反卷積，轉(zhuǎn)而采用雙線性插值進行上采樣。而在織物缺陷生成任務中，訓練初期反卷積的周期性噪聲的出現(xiàn)有利于織物底紋的推理，故采用反卷積進行上采樣，同時串聯(lián)一個3×3的卷積進一步產(chǎn)生紋理。解碼器網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖1 編碼器網(wǎng)絡結(jié)構(gòu)Figure 1 Encoder structure

圖2 解碼器網(wǎng)絡結(jié)構(gòu)Figure 2 Decoder structure

生成器與判別器采用相同的結(jié)構(gòu)，唯一不同的是生成器的輸入維度m=6，而判別器的輸入維度m=3。模型添加了大跨度的特征融合，編碼器的特征與其尺寸匹配的解碼器特征相加。每個卷積層后添加BN層，使用ELU作為激活函數(shù)。整體采用大跨度的特征連接用于補充特征損失，輔助輪廓推導。圖3所示為整體網(wǎng)絡結(jié)構(gòu)。

圖3 生成器/判別器網(wǎng)絡結(jié)構(gòu)Figure 3 Generator/discriminator network structure

1.3 參數(shù)選擇

在BEGAN的訓練過程中，采用Adam優(yōu)化器，β1=0.500，β2=0.999。為確保生成樣本的多樣性，在BEGAN的損失函數(shù)中，多樣性比例γ=1，λk=0.001。在生成器訓練過程中，圖4中展示了不同α下的生成結(jié)果。在α=10.0時，生成圖像清晰度低，真實性較差;在α=1.0時，清晰度提高;α=0.1時，生成圖像清晰，真實性好。過高的L1損失函數(shù)權(quán)重α將導致生成網(wǎng)絡多樣性降低，且生成的圖像較為模糊，故取α=0.1。

圖4 不同α的生成結(jié)果Figure 4 Generation results for different α

2 語義分割

語義分割網(wǎng)絡同樣采用編碼-解碼器的形式，采用帶空洞卷積的空間池化金字塔(atrous spatial pyramid pooling，ASPP)結(jié)構(gòu)[13]，最小下采樣尺寸為30×30像素，這是保持織物缺陷不被縮放的最小下采樣尺寸。設置尺寸自適應函數(shù)對Dice損失函數(shù)進行加權(quán)。

2.1 缺陷分析及損失函數(shù)設計

采樣得到的織物圖像分辨率為1 920×1 440像素，將整張圖像作為網(wǎng)絡輸入將導致過高的顯存占用，現(xiàn)有的深度學習框架在并行處理中能取得更高的處理效率，所以原圖像被分割張數(shù)為4×3子圖像，每張子圖像經(jīng)過雙線性插值縮放到240×240像素。

織物疵點數(shù)據(jù)中，缺陷的分布并不均勻，有數(shù)量與大小的差距，語義分割中，每個像素點都被視為一個樣本，那么織物缺陷的樣本分布是十分不均勻的，呈現(xiàn)無缺陷樣本與有缺陷樣本的不均衡，缺陷的樣本種類間不均衡。這種不均衡的現(xiàn)象導致像素數(shù)量占比較低的缺陷種類容易被忽略，這部分的損失容易被背景稀釋，導致無法收斂或者滯后收斂。

Dice損失函數(shù)可以很好反映網(wǎng)絡輸出結(jié)果與目標的差距，這使得Dice損失函數(shù)在語義分割任務中被廣泛地使用。原始Dice損失函數(shù)無法解決樣本不均的問題，需要尺寸自適應函數(shù)解決樣本不均衡的問題，將尺寸自適應函數(shù)改變相位如下：

式中：pd為網(wǎng)絡預測輸出，td為標簽。

2.2 網(wǎng)絡結(jié)構(gòu)

語義分割網(wǎng)絡同樣采用編碼-解碼器的結(jié)構(gòu)，如圖5所示。殘差塊是編碼器網(wǎng)絡的基本組成，它可以更好地補充特征，同時還能防止網(wǎng)絡退化。編碼器將輸入下采樣至30×30像素的大小。240×240像素的圖像中，缺陷的最小跨度為8個像素，故30×30像素的大小是保證缺陷不被縮放的最小下采樣尺寸。在下采樣后，采用了ASPP以不同空洞率Dr對解碼器的底層特征進行采樣，這是為了能夠更好地提取到不同尺度的缺陷，同時也能擴大感受野，更好地檢測尺度較大的缺陷。解碼器中，使用了反卷積進行上采樣，相較于雙線性插值上采樣，反卷積可以更好地推理輪廓，同時可以減少特征張量的維度，減少計算量。

2.3 參數(shù)選擇

語義分割網(wǎng)絡訓練中，使用Adam優(yōu)化器，Adam優(yōu)化器參數(shù)β1=0.900，β2=0.999。訓練采用使用余弦退火學習率，參數(shù)為T0=12，Tmult=2。

圖5 語義分割網(wǎng)絡結(jié)構(gòu)Figure 5 Semantic segmentation network structure

3 實驗結(jié)果

BEGAN在數(shù)據(jù)集上使用尺寸自適應L1損失函數(shù)與原始L1損失函數(shù)各訓練了1 800次，使用測試集并進行數(shù)據(jù)擴充，增加缺陷多樣性。語義分割網(wǎng)絡在原始數(shù)據(jù)集上，使用原始Dice損失函數(shù)與尺寸自適應Dice損失函數(shù)各訓練了1 000次。在使用BEGAN擴充的數(shù)據(jù)集上，使用尺寸自適應Dice損失函數(shù)訓練1 000次。將結(jié)果進行對比分析。

3.1 BEGAN實驗結(jié)果

圖6所示為不同訓練階段下的缺陷圖片生成圖像，可以明顯地觀察到：使用尺寸自適應損失函數(shù)的生成結(jié)果優(yōu)于原始L1損失，使用尺寸自適應L1損失函數(shù)的圖像更加清晰，缺陷部分更加真實、清晰。

圖6 原始L1損失函數(shù)與尺寸自適應L1損失函數(shù)生成圖像對比Figure 6 Comparison of original L1 loss function and size-adaptive L1 loss function generated images

3.2 語義分割實驗結(jié)果

圖7所示為在原始Dice損失與尺寸自適應Dice損失下， 模型訓練中驗證集精度的對比。由圖7可以看出在使用原始Dice損失時，模型的收斂出現(xiàn)了明顯的滯后。這是因為在原始Dice損失下，小尺寸缺陷的損失被稀釋，模型難以訓練，負樣本優(yōu)先于正樣本收斂，最終導致模型訓練時間過長。尺寸自適應Dice損失函數(shù)能很好地解決這一問題，正、負樣本損失分開計算可以減輕負樣本對正樣本的稀釋。尺寸自適應函數(shù)對不同尺寸缺陷進行自適應權(quán)重分配，提高小尺寸缺陷的損失占比，由此解決正樣本間不均衡問題。使用尺寸自適應Dice損失函數(shù)使得模型的檢測精度提高了11.1%。

圖7 Dice損失函數(shù)與尺寸自適應Dice損失函數(shù)模型準確率對比Figure 7 Accuracy comparison of Dice loss function and size-adaptive Dice loss function models

圖8所示為使用BEGAN擴充數(shù)據(jù)集并且適應尺寸自適應Dice損失函數(shù)訓練的模型的檢測結(jié)果。模型可檢測多種顏色及紋理的機織物，對缺陷的分割以及分類效果較好，能劃分復雜形狀缺陷輪廓，對于孔洞、斷紗等小尺寸缺陷的檢測效果優(yōu)異。

圖8 語義分割網(wǎng)絡檢測結(jié)果Figure 8 Semantic segmentation network detection results

圖9所示為使用原始數(shù)據(jù)集訓練出的語義分割網(wǎng)絡與使用BEGAN擴充過的數(shù)據(jù)集訓練的語義分割網(wǎng)絡的性能對比。使用傳統(tǒng)數(shù)據(jù)增強相較于使用原始數(shù)據(jù)集的提升較小，因為傳統(tǒng)的數(shù)據(jù)增強只是對現(xiàn)有圖片進行旋轉(zhuǎn)、縮放、翻轉(zhuǎn)等操作，本質(zhì)上并未產(chǎn)生新的樣本。使用BEGAN擴充的數(shù)據(jù)集更接近缺陷的真實分布，并且生成樣本經(jīng)過判別器篩選，擴充的缺陷圖像皆是從隨機語義標簽重新生成的，缺陷圖像更加多樣，使得訓練出的模型魯棒性更好。

圖9 不同數(shù)據(jù)增強方法對比Figure 9 Comparison of different data enhancement methods

均交并比(mean intersection over union，MIoU)為語義分割的標準度量，計算所有類別交集和并集之比的平均值：

式中：n為預測類別數(shù)量；TP表示模型預測為正例，實際也為正例，預測正確;FN表示模型預測為反例，實際為正例，預測錯誤;FP表示模型預測為正例，實際為反例，預測錯誤。

表1所示為不同數(shù)據(jù)增強方法下，模型的檢測精度。使用BEGAN的語義生成方法獲得了最好的效果，在測試集上獲得90.8%的MIoU均值。

表1 數(shù)據(jù)增強方法對比

4 結(jié)語

課題組針對織物缺陷檢測中的數(shù)據(jù)集缺失設計了語義生成網(wǎng)絡，使用BEGAN平衡生成器與判別器，加入尺寸自適應的L1損失函數(shù)輔助訓練，提升缺陷圖像生成質(zhì)量。語義生成的圖像經(jīng)過判別器篩選后進入擴充數(shù)據(jù)集，使得缺陷圖像真實性更好。相較于傳統(tǒng)數(shù)據(jù)增強方法，語義生成的圖像更加真實，且能產(chǎn)出全新樣本；相較于傳統(tǒng)GAN進行的數(shù)據(jù)擴充，語義生成可以指定位置、形狀和類別進行針對性生成，免去標注過程。

在語義分割方面，提出了尺寸自適應Dice損失函數(shù)，該損失函數(shù)能夠解決樣本不均衡問題，使得網(wǎng)絡對小缺陷更加敏感， 提高檢出率。尺寸自適應Dice損失函數(shù)相較于原始的Dice損失函數(shù)收斂更快，且最終得到的模型檢測精度提高了11.1%。

使用BEGAN的免標注的數(shù)據(jù)集擴充，與傳統(tǒng)數(shù)據(jù)增強方法進行對比，使用尺寸自適應Dice損失函數(shù)對模型進行訓練，避免模型收斂滯后。最終在測試集上得到均交并比為90.8%，在GTX 1080Ti的運行速度可達到99幀/s。