基于深度學(xué)習(xí)的織物疵點(diǎn)檢測研究進(jìn)展

賀智明，彭亞楠

(江西理工大學(xué) 信息工程學(xué)院，江西 贛州 341000)

在紡織工業(yè)中，機(jī)器故障、紗線斷裂等各種不利因素易造成面料缺陷并影響產(chǎn)品品質(zhì)，給企業(yè)造成巨大的經(jīng)濟(jì)損失，因此織物疵點(diǎn)檢測是品質(zhì)控制的重要環(huán)節(jié)之一。疵點(diǎn)種類多樣、形狀不一，傳統(tǒng)的檢測過程主要依靠人眼識別，但此方法受到燈光強(qiáng)度、檢驗(yàn)員疲勞程度和經(jīng)驗(yàn)等因素的影響，人工檢驗(yàn)的準(zhǔn)確率只有60%～75%。理想的織物疵點(diǎn)檢測方法應(yīng)從人工構(gòu)建的數(shù)據(jù)集中自動學(xué)習(xí)知識檢測缺陷，這使得基于機(jī)器學(xué)習(xí)的疵點(diǎn)檢測成為近年來的熱門檢測方法。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個新領(lǐng)域，能通過構(gòu)建多層網(wǎng)絡(luò)自動學(xué)習(xí)織物圖像的特征，對實(shí)現(xiàn)織物疵點(diǎn)自動化檢測具有重要意義[1]。本文在總結(jié)近幾年相關(guān)文獻(xiàn)的基礎(chǔ)上，簡要綜述了幾種常用的織物疵點(diǎn)檢測方法及其優(yōu)缺點(diǎn)，并著重介紹了基于深度學(xué)習(xí)織物疵點(diǎn)檢測的研究現(xiàn)狀，為相關(guān)學(xué)術(shù)研究提供參考。

1 織物疵點(diǎn)檢測方法

目前織物疵點(diǎn)檢測方法主要分為5類：基于結(jié)構(gòu)的方法、基于頻譜的方法、基于統(tǒng)計(jì)的方法、基于模型的方法和基于學(xué)習(xí)的方法。常用的織物疵點(diǎn)檢測方法對比如表1所示。

1.1 基于結(jié)構(gòu)的方法

基于結(jié)構(gòu)的方法將織物紋理看作是紋理基元按某種放置規(guī)則的排列組合，具有周期性和方向性。結(jié)構(gòu)紋理分析分提取紋理特征、整體織物圖案建模2個步驟。在基于結(jié)構(gòu)的方法中，紋理基元的建模方式不一，如CHEN J等[2]將紋理基元定義為二值化織物圖像中前景像素的運(yùn)行，通過分析與運(yùn)行位置和長度相關(guān)聯(lián)的直方圖來識別缺陷；而BODNAROVA等[3]將紋理基元定義為與二值化圖像重疊區(qū)域的紋理塊，通過比較紋理基元的最大頻率差來識別缺陷。基于結(jié)構(gòu)的方法雖計(jì)算簡單，但可靠性較低，只適用于紋理規(guī)整的織物圖案。

表1 常用的織物疵點(diǎn)檢測方法對比

1.2 基于頻譜的方法

織物疵點(diǎn)檢測需要空間域和頻域信息，基于頻譜的方法是利用織物圖案的周期性來檢測疵點(diǎn)，具有適用性強(qiáng)、準(zhǔn)確率高等優(yōu)點(diǎn)，應(yīng)用最為廣泛，主要有傅里葉變換、小波變換、Gabor變換和其他濾波方法等。

1.2.1 傅里葉變換

傅里葉變換將圖像空間域信號轉(zhuǎn)換為頻域信號進(jìn)行頻譜分析，它反映了整個信號的時間頻譜，具有平移不變性和表征周期性，因此可以很好的描述平穩(wěn)信號的整體特征，但該方法不能對空間域上的疵點(diǎn)區(qū)域定位，只適用于全局檢測。近年來，單獨(dú)基于傅里葉變換的疵點(diǎn)檢測越來越少，大多采用混合的方法進(jìn)行檢測。

劉偉斌等[4]根據(jù)傅里葉變換后的疵點(diǎn)頻譜圖提出一種新的頻域?yàn)V波器設(shè)計(jì)方法，該方法具有很好的檢測效果和時效性，不足之處在于抑制正常紋理背景的同時也抑制了部分織物疵點(diǎn)信息。朱丹丹等[5]對織物圖像進(jìn)行傅里葉變換得到頻譜圖，計(jì)算待檢圖像特征值與正?？椢飯D像特征值之間的相關(guān)系數(shù)來確定閾值，實(shí)現(xiàn)織物疵點(diǎn)檢測。當(dāng)閾值設(shè)定為 0.80時，該算法能夠?qū)崿F(xiàn)稀密路、斷經(jīng)、吊經(jīng)、緯縮、破洞等常見疵點(diǎn)的準(zhǔn)確檢測。

1.2.2 小波變換

小波變換是繼傅里葉變換后的一種突破性信號分析技術(shù)，從根本上克服了傅里葉變換只能以單個變量描述信號的缺陷。小波變換利用聯(lián)合的時間-尺度函數(shù)分析非平穩(wěn)信號,能有效地從信號中提取信息，具有多尺度多分辨率的特點(diǎn)，不同的子小波可以識別不同的疵點(diǎn)類型，因此十分適用于局部疵點(diǎn)檢測[6]。近年來，利用小波變換檢測織物疵點(diǎn)的研究也越來越多。

花良浩等[7]通過分析各種疵點(diǎn)在頻域上的特性，利用小波算法檢測出空間域內(nèi)無法檢測出的孔洞、異物類型疵點(diǎn)，與Gabor算法相比較，小波算法的實(shí)時性和準(zhǔn)確率都有所提高。楊亞等[8]采用正交小波變換對織物圖像進(jìn)行分解，分解后的子圖像只分別經(jīng)過經(jīng)向和緯向的2次間隔采樣。該方法能夠保留大部分疵點(diǎn)信息，計(jì)算量較小，檢測速度較快，具有實(shí)時性。

1.2.3 Gabor變換

Gabor濾波器可以看作是由復(fù)正弦函數(shù)調(diào)制而成的高斯分布函數(shù)，根據(jù)紋理結(jié)構(gòu)可以設(shè)計(jì)不同尺度和角度值的Gabor濾波器對織物紋理進(jìn)行空間和頻域分析[9-10]。湯曉慶等[9]和王傳桐等[10]分別采用不同尺度方向的Gabor濾波器對疵點(diǎn)圖像進(jìn)行濾波，經(jīng)過后續(xù)處理，均取得了良好的檢測效果。唐旭晟等[11]利用Gabor濾波器的能量值來描述簾子布紗線疵點(diǎn)特征，對不同尺度參數(shù)的Gabor濾波器進(jìn)行疵點(diǎn)檢測，當(dāng)尺度參數(shù)取0.6且方向參數(shù)取90°時，檢測準(zhǔn)確度達(dá)到99.2%，但該方法存在一定的誤停次數(shù)，在紗線交叉嚴(yán)重的情況下還存在一定數(shù)量的漏報(bào)。Gabor變換雖在一定程度上解決了傅里葉變換的時頻分離問題，但在分析信號或數(shù)值計(jì)算時采用非正交的冗余基，增加了不必要的計(jì)算量和存儲量，且Gabor變換的時頻窗難以調(diào)節(jié)，對于非平穩(wěn)信號難以得到滿意的結(jié)果。

1.3 基于統(tǒng)計(jì)的方法

基于統(tǒng)計(jì)的方法利用一階統(tǒng)計(jì)量和二階統(tǒng)計(jì)量來提取織物圖像的標(biāo)準(zhǔn)差、方差、平均值等紋理特征，經(jīng)典的統(tǒng)計(jì)方法主要有直方圖統(tǒng)計(jì)法、灰度共生矩陣法、數(shù)學(xué)形態(tài)學(xué)等。

1.3.1 直方圖統(tǒng)計(jì)法

直方圖包含圖像的灰度像素分布的統(tǒng)計(jì)數(shù)據(jù)，常見的直方圖屬性有均值、標(biāo)準(zhǔn)差、方差和中值等[6]。孫國棟等[12]提出基于灰度直方圖反向投影的疵點(diǎn)圖像分割算法，與Gabor濾波方法和灰度共生矩陣方法相比，該方法不僅效果好，而且用時短，復(fù)雜度低。劉海軍等[13]將梯度方向直方圖作為圖像特征，采用最近鄰分類器和卡方距離進(jìn)行分類，準(zhǔn)確率達(dá)到96.85%。直方圖技術(shù)簡單、計(jì)算成本低，有著廣泛的應(yīng)用，不足之處是對噪音敏感，誤檢率高。

1.3.2 灰度共生矩陣法

灰度共生矩陣法是通過測量顏色強(qiáng)度之間的相關(guān)性來分析圖像紋理特征的二階統(tǒng)計(jì)法[14]?；叶裙采仃嚨臄?shù)據(jù)量較大，一般將它構(gòu)建的統(tǒng)計(jì)量作為紋理特征，如能量、熵、對比度、相關(guān)性、和方差、最大相關(guān)系數(shù)等。王孟濤等[15]利用灰度梯度共生矩陣對預(yù)處理后的圖像提取15個特征值，通過單分類器SVDD訓(xùn)練和測試，檢驗(yàn)正確率達(dá)97%，漏檢率為4.5%，誤檢率為1.4%。NEELAMBUR等[16]提取基于灰度共生矩陣的統(tǒng)計(jì)特征并輸入人工神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測分類，也取得良好的實(shí)驗(yàn)效果。灰度共生矩陣的準(zhǔn)確率高，但計(jì)算量大，在高分辨率圖像中性能較差。

1.3.3 數(shù)學(xué)形態(tài)學(xué)

數(shù)學(xué)形態(tài)學(xué)是一種基于物體幾何信息的特征提取方法，它通過物體和結(jié)構(gòu)元素相互作用的某些運(yùn)算得到物體更本質(zhì)的形態(tài)，基本運(yùn)算包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算[6]。牛生鵬等[17]提出了一種單色織物疵點(diǎn)區(qū)域的快速檢測方法，將圖像自適應(yīng)閾值分割、數(shù)學(xué)形態(tài)學(xué)和邊緣檢測算法相結(jié)合進(jìn)行疵點(diǎn)檢測，該方法適用于常見的疵點(diǎn)類型，具有效率高、準(zhǔn)確定位疵點(diǎn)等優(yōu)點(diǎn)。LI等[18]和ZHAO等[19]利用數(shù)學(xué)形態(tài)學(xué)消除疵點(diǎn)圖像中的噪聲，提高了疵點(diǎn)檢測準(zhǔn)確率。數(shù)學(xué)形態(tài)學(xué)對非周期性圖像疵點(diǎn)的檢測有效且適用于隨機(jī)紋理，但由于織物紋理大多具有周期性，所以它的實(shí)用性不高。

1.4 基于模型的方法

基于模型的方法是在建立正?？椢锛y理模型的基礎(chǔ)上采用假設(shè)檢驗(yàn)的方法判斷被測織物圖像是否符合該模型。該方法適用于斷紗、針刺斷頭等疵點(diǎn)的檢測，但計(jì)算量大、檢測的疵點(diǎn)類型有限，適用性和實(shí)用性并不高，近幾年的研究也相對較少，常用的基于模型的方法有自回歸模型和高斯馬爾科夫隨機(jī)場模型。

1.4.1 自回歸模型

自回歸(AR)模型反映的是紋理圖像中不同像素間的線性相關(guān)性，它只需要對線性方程組求解，計(jì)算時間短、成本低，但近幾年的相關(guān)研究較少，且大多實(shí)驗(yàn)基于有限樣本，準(zhǔn)確率不高。

朱俊嶺等[20]針對線狀疵點(diǎn)采用灰度值的方差序列求得AR譜估計(jì)，再根據(jù)疵點(diǎn)圖像與正常紋理圖像的相關(guān)系數(shù)來確定疵點(diǎn)及其位置，并將方差序列與步紅剛等[21]的平均值列在同等條件下進(jìn)行比較，相比之下，方差序列的檢測效果較好，平均值序列誤檢率高，效果不理想。ZHOU等[22]充分利用織物紋理的周期性和方向性特征，提出一種基于織物圖像一維投影序列的疵點(diǎn)檢測方法，該方法將紋理信息從二維降到一維，大大降低了計(jì)算復(fù)雜度，并采用Burg算法對AR譜進(jìn)行譜估計(jì)，最后通過t檢驗(yàn)驗(yàn)證了AR譜分析的有效性和適用性。

1.4.2 馬爾科夫隨機(jī)場模型

馬爾科夫隨機(jī)場模型(MRF)利用無噪聲織物圖像中像素點(diǎn)間的依賴性，計(jì)算局部區(qū)域每個像素的密度值來測量像素與突變之間的關(guān)系。楊曉波[23]研究了基于高斯馬爾科夫隨機(jī)場(GMRF)模型的疵點(diǎn)自動檢測方法，該方法能通過模型參數(shù)簡潔地表示多種織物，適用于統(tǒng)計(jì)特征畸變疵點(diǎn)的自動檢測，但不適合區(qū)域面積較小的疵點(diǎn)。VERMAAK等[24]對灰度共生矩陣、離散小波變換和高斯馬爾科夫隨機(jī)場模型3種織物疵點(diǎn)檢測方法的性能進(jìn)行了比較，研究表明基于灰度共生矩陣的疵點(diǎn)檢測性能最高，小波變換次之，但在隨機(jī)紋理織物中，基于馬爾科夫隨機(jī)場模型的方法要比基于小波變換的方法好。

1.5 基于學(xué)習(xí)的方法

基于學(xué)習(xí)的方法主要通過字典學(xué)習(xí)實(shí)現(xiàn)疵點(diǎn)圖像的稀疏表達(dá)，從而完成疵點(diǎn)檢測。字典學(xué)習(xí)算法包括構(gòu)建字典和利用字典稀疏表示樣本2個階段，每個階段都可選擇不同的算法。占竹等[25]使用K-SVD算法學(xué)習(xí)得到正常紋理信息的字典，利用該字典對疵點(diǎn)紋理圖像進(jìn)行重構(gòu)，并計(jì)算出重構(gòu)圖像與疵點(diǎn)圖像間的均方誤差、峰值信噪比和相關(guān)系數(shù)等指標(biāo)。該方法能有效對疵點(diǎn)圖像進(jìn)行評定，但適用性和準(zhǔn)確率還有待提高。LI等[26]構(gòu)造出正常樣本和疵點(diǎn)樣本的學(xué)習(xí)字典，并利用稀疏編碼計(jì)算每個圖像塊的顯著性，最后基于改進(jìn)的強(qiáng)調(diào)波谷法對疵點(diǎn)區(qū)域進(jìn)行分割。該方法適用性廣，能有效定位和識別復(fù)雜織物的疵點(diǎn)區(qū)域。

2 基于深度學(xué)習(xí)疵點(diǎn)檢測的研究現(xiàn)狀

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個新的領(lǐng)域，通過模仿人腦機(jī)制構(gòu)建神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)，解決了傳統(tǒng)疵點(diǎn)檢測模型中特征提取和分類器分開訓(xùn)練等問題[1]?；谏疃葘W(xué)習(xí)的織物疵點(diǎn)檢測是近年來研究的重點(diǎn)，主要包括BP神經(jīng)網(wǎng)絡(luò)、自動編碼器和卷積神經(jīng)網(wǎng)絡(luò)等技術(shù)。

2.1 基于BP神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)檢測

BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是按照誤差反向傳播算法的多層前饋性神經(jīng)網(wǎng)絡(luò)，目前應(yīng)用最為廣泛，其本質(zhì)是以網(wǎng)絡(luò)誤差平方為目標(biāo)函數(shù)，采用梯度下降法來計(jì)算目標(biāo)函數(shù)的最小值[27]。

近年來，很多學(xué)者將不同的圖像處理方法與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，徐曉峰等[27]對織物疵點(diǎn)圖像進(jìn)行線灰度分析，將提取到的特征參數(shù)送入BP神經(jīng)網(wǎng)絡(luò)，可有效檢測出4種常見疵點(diǎn)；李鵬飛等[28]和KANG Z等[29]采用小波變換對預(yù)處理后的圖像進(jìn)行分解，最后將提取到的特征參數(shù)送入BP神經(jīng)網(wǎng)絡(luò)中，能準(zhǔn)確快速的檢測出常見疵點(diǎn)，但識別率有待提高；張五一等[30]采用Gabor濾波器對簾子布疵點(diǎn)紋理進(jìn)行濾波，再使用最大熵閾值分割提取特征值并輸入到BP神經(jīng)網(wǎng)絡(luò)中，識別率達(dá)到94%。BP神經(jīng)網(wǎng)絡(luò)具有優(yōu)良的分類能力和多維函數(shù)映射能力，同時也存在網(wǎng)絡(luò)收斂速度慢、容易陷入局部極小值等不足。

2.2 基于自動編碼器的織物疵點(diǎn)檢測

自動編碼器(AutoEncode)是深度學(xué)習(xí)中最簡單的一種訓(xùn)練方法，通過復(fù)現(xiàn)輸入信號來逐層地調(diào)整整個網(wǎng)絡(luò)，其可以學(xué)習(xí)輸入數(shù)據(jù)的隱含特征，同時能根據(jù)這些特征重構(gòu)出原始數(shù)據(jù)。自動編碼器通過對輸入數(shù)據(jù)的壓縮或解壓縮來實(shí)現(xiàn)對織物疵點(diǎn)的檢測，正因如此，它只能壓縮那些與訓(xùn)練數(shù)據(jù)類似的數(shù)據(jù)，而且解壓縮的輸出與原始的輸入相比是退化的、有損的。常用的幾種自動編碼器有降噪自編碼器(Denoising Autoencoder，DAE)、堆疊自編碼器(Stacked Autoencoder，SAE)和稀疏自編碼器(Sparse Autoencoder，SAE)等。

LI等[31]利用堆疊自編碼器根據(jù)以像素為中心的上下文預(yù)測每個像素屬于疵點(diǎn)區(qū)域的概率，提出基于Fisher準(zhǔn)則的堆疊自編碼器(FCSAE)，使提取的特征更具識別性；景軍鋒等[32]提出基于Fisher準(zhǔn)則的棧式去噪自編碼器算法(FSDAE)，利用稀疏自編碼器得到小塊圖像的稀疏性特征對卷積自編碼網(wǎng)絡(luò)參數(shù)進(jìn)行初始化,最后將提取到的特征送入FSDAE網(wǎng)絡(luò)進(jìn)行疵點(diǎn)檢測分類。該方法能有效提取織物圖像的分類特征,提高檢測率，但對于紋理背景復(fù)雜，疵點(diǎn)信息較少的織物圖像檢測效果不理想；而LI[33]作出了進(jìn)一步改進(jìn)，提出的基于Fisher準(zhǔn)則的堆疊去噪自動編碼器(FCSDA)對周期性圖案織物和提花經(jīng)編織物的缺陷檢測更具有效性。

2.3 基于卷積神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)檢測

在BP神經(jīng)網(wǎng)絡(luò)中，每一層都是全連接的，導(dǎo)致訓(xùn)練困難。卷積神經(jīng)網(wǎng)絡(luò)(CNN)通過共享卷積核和池化技術(shù)降低了網(wǎng)絡(luò)參數(shù)的數(shù)量級，但卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)多、樣本量大，極易陷入過擬合。目前，已有很多研究者對卷積神經(jīng)網(wǎng)絡(luò)模型作出不同的改進(jìn)方案，改進(jìn)后的模型計(jì)算成本降低，準(zhǔn)確率提高且具有一定的普適性。

JING等[34]用批量歸一化層替代卷積神經(jīng)網(wǎng)絡(luò)AlexNet中的本地響應(yīng)規(guī)范化層，提高了系統(tǒng)的計(jì)算效率和分類準(zhǔn)確性，在染色織物缺陷分類方面具有良好的性能；景軍鋒等[35]在遷移學(xué)習(xí)的基礎(chǔ)上，利用微調(diào)卷積神經(jīng)網(wǎng)絡(luò)Alexnet對織物疵點(diǎn)圖像進(jìn)行特征提取，該方法比原始Alexnet模型和深度學(xué)習(xí)(GoogLenet)模型的準(zhǔn)確率高、訓(xùn)練樣本量小且能避免陷入過擬合，但該方法只限于原網(wǎng)絡(luò)的用途與目標(biāo)領(lǐng)域相似才能使用遷移學(xué)習(xí)。

為了更有效地檢測復(fù)雜紋理的織物圖像缺陷，LIU等[36]提出基于卷積神經(jīng)網(wǎng)絡(luò)的端到端自動檢測，采用快速區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Fast R-CNN)來檢測織物圖像缺陷。與現(xiàn)有技術(shù)相比，該方法能夠更準(zhǔn)確地定位織物缺陷區(qū)域，并且具有更好的適應(yīng)性；李明等[37]將生成對抗網(wǎng)絡(luò)(GAN)與Faster R-CNN相結(jié)合對7種色織物進(jìn)行疵點(diǎn)檢測，平均準(zhǔn)確率可到93%。

3 結(jié)束語

通過查閱國內(nèi)外近年來的相關(guān)文獻(xiàn)，本文簡要綜述了基于結(jié)構(gòu)、頻譜、統(tǒng)計(jì)、模型、學(xué)習(xí)的5種常用的織物疵點(diǎn)檢測方法，并對這些方法的原理做了概括和比較，分析了其優(yōu)缺點(diǎn)。著重回顧了近幾年基于深度學(xué)習(xí)的織物疵點(diǎn)檢測方法，并對織物疵點(diǎn)檢測方法的未來發(fā)展方向作出了展望，得出：

①為更好地評估一種檢測方法的有效性和通用性，應(yīng)考慮發(fā)展公共免費(fèi)的大型數(shù)據(jù)庫。

②不同的檢測算法適用于不同的織物紋理，因此發(fā)展更具通用性的檢測算法是未來的研究方向之一。

③目前只有小波變換、深度學(xué)習(xí)等少數(shù)疵點(diǎn)檢測方法具有實(shí)時性，如何將計(jì)算效率高并有準(zhǔn)確率的檢測方法應(yīng)用于實(shí)時場景，未來還需要進(jìn)行大量研究。