面向織物疵點檢測的圖像處理技術(shù)研究進展

呂文濤， 林琪琪， 鐘佳瑩， 王成群， 徐偉強

(1. 浙江理工大學 信息學院， 浙江 杭州 310018; 2. 浙江理工大學 紡織科學與工程學院(國際絲綢學院), 浙江 杭州 310018)

圖像處理是對人類視覺進行延伸的一種重要方法。它是將圖像以數(shù)字矩陣的形式存放在計算機中，通過一定算法進行處理，以達到特定目標的一種手段[1]。圖像處理的具體過程為：圖像預(yù)處理、特征提取、分析決策，由此實現(xiàn)圖像信息的信號數(shù)字化，從而根據(jù)具體要求輸出結(jié)果。隨著圖像處理技術(shù)的不斷發(fā)展，紡織工業(yè)數(shù)字化水平的不斷提高，圖像處理技術(shù)在紡織工業(yè)中的應(yīng)用也越來越廣泛。

織物疵點檢測在紡織工業(yè)中占有重要地位。由于機械故障、紗線斷裂等導致的面料缺陷問題時有發(fā)生，給企業(yè)造成了巨大的經(jīng)濟損失，所以產(chǎn)品質(zhì)量控制是紡織品生產(chǎn)時必不可少的環(huán)節(jié)。如今，紡織業(yè)已定義的織物疵點種類有70多種。由于疵點種類繁多、形狀不一，傳統(tǒng)的人工檢測成功率僅為60%～75%[2-3],因此，將快速和可靠的圖像處理技術(shù)應(yīng)用在疵點檢測中，實現(xiàn)織物疵點自動化檢測，具有重要的意義。

本文綜述了織物疵點檢測中圖像處理技術(shù)的研究進展，分析了其最新研究成果和應(yīng)用前景，總結(jié)了各個方法的優(yōu)缺點，介紹了現(xiàn)有成品設(shè)備，并提出了對未來發(fā)展的構(gòu)想，為今后的深入研究和應(yīng)用提供了參考依據(jù)。

1 織物圖像的預(yù)處理技術(shù)

在進行織物疵點檢測時，數(shù)據(jù)集的質(zhì)量會直接影響疵點檢測算法的性能表現(xiàn)，因此，圖像的預(yù)處理在織物疵點檢測技術(shù)的發(fā)展中至關(guān)重要。在獲取織物圖像時，不同的光照等外界干擾因素，會導致圖像質(zhì)量降低，因此，在進行織物疵點檢測之前，通常會先對圖像進行預(yù)處理，以達到更好的疵點檢測效果?？椢飯D像的預(yù)處理一般包括：圖像復原，圖像增強，圖像分割和圖像融合。

1.1 織物圖像復原技術(shù)

織物圖像采集工作中存在的噪聲，會影響圖像處理時織物圖像的紋理結(jié)構(gòu)，所以一般會利用圖像復原技術(shù)對織物圖像進行處理，復原出圖像的結(jié)構(gòu)信息，以減少圖像信息的損失?？椢飯D像復原是將退化模型復原成理想圖像的一種消除模糊的技術(shù)。圖像復原技術(shù)通常采用逆濾波和維納濾波[4]2種方法。

逆濾波是復原方法中最簡單直接的，它的理想情況是沒有噪聲，但是在現(xiàn)實情況中往往會存在噪聲問題，所以一般情況下會采用維納濾波來綜合解決退化問題和噪聲問題。但如果在原始織物圖像和噪聲功率都未知的情況下，維納濾波的復原效果也會不太理想[4]。

1.2 織物圖像增強技術(shù)

由于受到成像系統(tǒng)和織物表面材料的電子干擾，織物紋理細節(jié)不能真實體現(xiàn)，因此，在提取特征之前增強織物圖像的紋理特性，突出缺陷紋理與背景紋理的區(qū)別尤為重要，可以使織物圖像中的疵點更易被識別?？椢飯D像的增強處理技術(shù)，可以改善所使用圖像中的有用信息，衰減掉無用的特征，使圖像的視覺效果更清晰?？椢飯D像增強方法一般分為空間域增強法和頻率域增強法[5-8]。

空間域增強法是直接增強圖像像素的一種方法，包括灰度增強、直方圖增強以及圖像平滑等方法[5-7]。Sun等[5]用灰度增強法消去背景圖像再進行中值濾波消除噪聲；梁金祥等[6]通過進行直方圖增強處理來反映圖像中各灰度值的分布情況；Cheng等[7]在對棉紗進行圖像處理時，使用了平滑化處理，降低了邊緣區(qū)域的灰度值。頻率域增強法是將圖像從空間域變換到頻率域，然后在頻率域空間通過濾波器進行處理[4]?？椢锎命c通常處于低頻率，采用低通濾波器過濾高頻背景部分，使得織物疵點更加明顯[8]。

1.3 織物圖像分割技術(shù)

在實際檢測過程中，直接處理像素大的織物圖像需要耗費大量的時間，所以需要進行切割來同步檢測，以節(jié)省檢測時間。同時精準的切割方法有利于降低計算的復雜度，并且能夠提高檢測精度。通常將織物圖像分割技術(shù)分為基于灰度圖像分割、基于彩色圖像分割以及基于顏色和像素空間分割三大類。

常用的邊緣檢測的分割算法如Sobel算子、Laplacian算子和Canny算子[9]等，都是面向灰度圖像的。通過將Mean-shift[10]算法、K-means算法[11]以及FCM算法[12]等聚類算法應(yīng)用到彩色圖像的自動分割中，實現(xiàn)了對彩色圖像的切割。除了對于顏色信息的考慮，還應(yīng)考慮空間的信息，所以研究者們提出了基于顏色和像素空間的分割方法，包括作為區(qū)域生長技術(shù)的JSEG算法[13]、Markov隨機場(MRF)模型[14]等方法。

1.4 織物圖像融合技術(shù)

織物圖像融合技術(shù)能夠充分考慮織物圖像的顏色和紋理，消除干擾區(qū)域的影響，為織物圖像后續(xù)的檢測做好鋪墊?？椢飯D像中紋理信息多種多樣，不同的傳感器因為其性能特點不同，所提供的圖像信息也不同。將多個傳感器的輸出，通過特定的算法，融合成一個具有更強魯棒性的新圖像，再進一步處理得到最終的圖像。圖像融合自下而上分為3級，即像素級、特征級和決策級[15]。

像素級融合因處理起來簡單方便，是圖像融合的研究熱點。特征級融合是將各個傳感器所提取到的特征進行綜合分析，對提取到的局部特征進行融合處理獲得復合特征。決策級融合針對具體的決策目標，對設(shè)備的要求非常高[16]。

2 織物圖像疵點檢測方法

過去20年以來，隨著學者們對圖像處理技術(shù)的研究，織物圖像疵點檢測技術(shù)也取得了巨大進展。按照對織物圖像處理的方法不同，織物疵點檢測方法可以分為以下5類[17]：基于結(jié)構(gòu)的方法、基于統(tǒng)計的方法、基于頻譜的方法、基于模型的方法以及基于學習的方法。其中基于結(jié)構(gòu)、統(tǒng)計、頻譜、模型的檢測方法其流程大致可分為圖像預(yù)處理、目標提取、特征選擇以及模式分類4個部分。這類方法中的每個環(huán)節(jié)都會對最后的檢測結(jié)果產(chǎn)生影響，并且針對不同的檢測需求需要設(shè)計相應(yīng)的不同算法，非常依賴于設(shè)計者已有的經(jīng)驗與知識，因此在復雜場景中進行有效檢測的難度較大。

隨著紡織業(yè)智能化的發(fā)展，基于學習的疵點檢測方法越來越受歡迎。基于學習的方法主要是通過模仿人腦機制，構(gòu)建神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行表征學習。這種方法可以直接對圖像進行學習，減少了人為因素的影響，降低了算法之間的耦合性，實現(xiàn)了端到端的算法框架，具有適用范圍廣等優(yōu)點，是近幾年來的研究熱點。

2.1 基于結(jié)構(gòu)的織物圖像疵點檢測方法

基于結(jié)構(gòu)的織物疵點檢測方法是將紋理視為紋理基元的組合，通過從圖像中提取織物的基礎(chǔ)紋理結(jié)構(gòu)得到結(jié)構(gòu)特征，由于疵點破壞了織物原有的結(jié)構(gòu)紋理[18]，因此通過比較與正常紋理之間的相似度可以檢測出疵點[19-20]?；诮Y(jié)構(gòu)的疵點檢測方法分為紋理分割和識別2個部分。

2005年，Abouelela等[19]提出了紡織品自動視覺檢測系統(tǒng)，將相機捕獲的圖像，利用簡單的紋理特征(平均值、方差、中值)來進行故障檢測，其計算簡單、快速，適用于實時場景。實驗結(jié)果表明，該系統(tǒng)在缺經(jīng)、打結(jié)疵和切割等疵點上的檢測準確率達91%。這種方法雖然計算簡單；但是由于工業(yè)生產(chǎn)過程中難以保持穩(wěn)定的基礎(chǔ)紋理結(jié)構(gòu)，會給疵點檢測帶來較大的誤差，因此，此方法檢測的可靠性不高，僅在紋理簡單、分布均勻的織物圖像中適用[20]。

2.2 基于統(tǒng)計的織物圖像疵點檢測方法

基于統(tǒng)計的方法主要利用像素及其領(lǐng)域的灰度屬性來提取織物圖像的標準差、方差、平均值等紋理特征[21-29]。常用的統(tǒng)計方法主要有直方圖統(tǒng)計法[21-23]、灰度共生矩陣[24-27]、數(shù)學形態(tài)學[28-29]等。

2.2.1 直方圖統(tǒng)計法

直方圖包含圖像的灰度像素的統(tǒng)計分布數(shù)據(jù)，常見的直方圖統(tǒng)計屬性有均值、標準差、方差和中值等[21-23]。

2011年，Ding等[21]提出了基于方向梯度直方圖(HOG)和支持向量機(SVM)的織物疵點檢測方法，用HOG將32像素×32像素的500個正樣本和500個負樣本進行特征編碼，利用AdaBoost算法降低計算復雜度，選用簡單的SVM對疵點進行分類。此方法對于規(guī)則圖像可以檢測到大多數(shù)缺陷，但存在一定的誤檢率。為彌補這一不足，可以將圖像分割得更小，但這會耗費更多的時間，影響效率。2016年，Gao等[22]提出了基于Gabor-HOG(GHOG)的方法來凸顯出缺陷區(qū)域，用HOG從Gabor的映射中提取特征，將Gabor濾波器和HOG結(jié)合起來用于目標檢測。在香港大學織物疵點圖像數(shù)據(jù)集上的結(jié)果顯示，該方法可以有效提高織物疵點檢測的精度。2019年，Li等[23]在有效的二階方向描述子GHOG的基礎(chǔ)上，在這個模型中加入基于人類視覺機制的空間融合策略。實驗結(jié)果顯示，該方法在缺經(jīng)、破洞、網(wǎng)紋、粗條紋、細條紋等疵點上，檢測準確率均大于95.52%。

直方圖統(tǒng)計法計算簡單且計算成本低，但是對噪聲敏感，誤檢率高，比較適用于經(jīng)向和緯向疵點的檢測。

2.2.2 灰度共生矩陣

灰度共生矩陣(GLCM)是通過計算圖像空間中某2個像素間的相關(guān)特性來計算圖像紋理特征的二階統(tǒng)計法[24-27]。

2015年，Arnia等[24]提出了基于GLCM能量和對比度特征的檢測方法，這是在沒有參考圖像的情況下，直接選取能量高且對比度低的圖像進行檢測，減少了計算量。在TILDA數(shù)據(jù)集上的實驗表明，該方法可以實時監(jiān)測織物疵點，但是存在漏檢的問題。同年，Zhu等[25]提出了基于自相關(guān)函數(shù)和歐氏距離的織物檢測方法，這種方法需要根據(jù)不同的織物類型來改變閾值。基于缺緯、孔洞、錯緯、油污等疵點圖像的實驗結(jié)果表明，該方法雖然對于組織周期小的色織布檢測效果較好，但是計算量大，實現(xiàn)起來比較復雜。在此基礎(chǔ)上，2016年，Hamdi等[26]對此方法進行了改進，通過計算圖像在水平方向和垂直方向上的平均向量來確定織物圖案周期，將參考無缺陷圖像和缺陷圖像分割為與織物圖案尺寸相同的塊，計算灰度共生矩陣。然后，計算無缺陷圖像和缺陷圖像的每個灰度共生矩陣與參考矩陣之間的歐氏距離。最后，將得到的歐氏距離與預(yù)先計算的閾值進行比較，在香港大學織物疵點圖像數(shù)據(jù)集上的結(jié)果顯示，該方法對缺經(jīng)、粗條紋、細條紋3種疵點檢測的平均準確率為98%。這種方法能夠在不同的織物類型下，自動確定閾值，使得織物疵點檢測更加全自動化。2019年，Gustian等[27]利用灰度共生矩陣和主成分分析方法進行特征提取，多類支持向量機采用的是一對所有(OAA)和一對一(OAO)的高斯核或徑向基函數(shù)作為分類方法。在3種類型的troso織物圖像上進行實驗，結(jié)果表明，troso織物使用SVM OAA和SVM OAO這2種分類方法分別可以達到90%和86.7%的準確率。在未來的研究方向上，可以使用更多的訓練數(shù)據(jù)或增加預(yù)處理來獲得更好的精度，但是由于灰度共生矩陣法的計算量大，所以一般不適用于高分辨率織物圖像。

2.2.3 數(shù)學形態(tài)學

數(shù)學形態(tài)學是基于幾何學的特征提取方法，它需要根據(jù)不同的圖像選擇特定的結(jié)構(gòu)元素對圖像進行運算，從而提取圖像中對應(yīng)形狀的特征，基本運算包括腐蝕、膨脹、開運算和閉運算[28-29]。

2009年，Mak等[28]使用了Gabor小波神經(jīng)網(wǎng)絡(luò)提取特征，并將提取的特征用來設(shè)計形態(tài)濾波器，以檢測織物的疵點，在油斑、毛刺、打結(jié)疵等疵點上，誤報率為3.3%。這與傳統(tǒng)的監(jiān)督檢測方法相比，很大程度上降低了檢測誤報率。2016年，Rebhi等[29]提出了基于局部均勻性和數(shù)學形態(tài)學的織物疵點檢測算法，對以每個像素的局部均勻性構(gòu)造表示的新均勻性圖像計算出一個經(jīng)典的直方圖。然后，選擇一個最優(yōu)的閾值來生成相應(yīng)的二值圖像。最后，對圖像進行一系列形態(tài)學操作，以檢測可能存在的織物疵點。此方法可以檢測不同織物的各種不同的疵點，在香港大學織物疵點圖像數(shù)據(jù)集上的檢測準確率為95.6%，具有很強的魯棒性，并且誤報率較低，但是此方法對計算的要求較高。

2.3 基于頻譜的織物圖像疵點檢測方法

織物的紋理具有周期性，這與頻譜特性相類似，因此可以把頻譜分析的方法應(yīng)用在圖像紋理上。基于頻譜的織物圖像疵點檢測方法就是根據(jù)這一原理，將織物圖像從空間域變換到頻域后來檢測織物疵點[30-32]。傅里葉變換[30-33]、小波變換[34-37]、Gabor變換[38-41]等是頻譜法中應(yīng)用較多的方法。

2.3.1 傅里葉變換

傅里葉變換具有較小計算量的特點，可以用傅里葉變換的總和表示任何頻率和幅度的正弦和余弦信號，將圖像空間域信號變換成頻域信號，可以減小噪聲對檢測的影響[30-32]。它具有平移不變性和表征周期性，但是不能對空間域的疵點進行區(qū)域定位，只能應(yīng)用在全局檢測上[33]。

2008年，Guan等[30]使用傅里葉變換方法去除正常紋理，分割出多個子窗口，將標準差作為特征提取與正常子窗口特征進行比較來判斷疵點。該方法能夠檢測到弱小的疵點以及與背景灰度相近的疵點，在平紋和斜紋織物圖像上的檢測準確率基本大于90%，但是此方法只能用來檢測疵點是否存在，無法給出疵點的類型和位置。2015年，Sakhare等[31]將光譜域方法與空間域方法相結(jié)合，首先使用相機捕獲缺經(jīng)、缺緯和破洞等疵點圖像，通過光譜域方法檢測疵點的存在與否，再通過空間域方法得到疵點的類型和位置，有效提高了疵點的定位精度，準確率大于87.94%。針對織物疵點在線實時檢測的問題，2017年，Pan等[32]提出了基于統(tǒng)一計算設(shè)備架構(gòu)(CUDA)的快速傅里葉變換(FFT)的方法。該方法面向跳花、勾線等疵點圖像，在GPU平臺上采用多線程并行實現(xiàn)FFT算法進行織物疵點檢測，在保證檢測的正確率的前提下，可以顯著縮短檢測的時長；但是傅里葉變換受織物結(jié)構(gòu)變化的影響較大，且為全局方法，考察的是全局的織物紋理特征，無法對圖像進行局部分析，因此這種方法不適合檢測細小的局部疵點。

2.3.2 小波變換

小波變換以傅里葉變換為基礎(chǔ)，對傅里葉變換不能應(yīng)用在局部分析的缺點做出了改進，可以進行空間和頻域的局部變換，具有多尺度多分辨率的特點[34-37]。

2001年，Yang等[34]研究了基于非下采樣小波變換，針對穿錯、斷頭、缺緯、稀密路、松經(jīng)5類織物疵點，設(shè)計了自適應(yīng)小波濾波器，提高了缺陷區(qū)域與背景的小波變換能量比，從而提高了對織物疵點的檢測準確性，但是其準確性還是不能滿足工業(yè)生產(chǎn)需求，還需進一步提升。2013年，Li等[35]提出了一種改進的基于高頻系數(shù)的直接閾值分割方法，利用小波變換對圖像進行分解，結(jié)合數(shù)學形態(tài)學進行濾波，這種方法在經(jīng)編機上獲得了令人滿意的檢測率，并已在工廠中實際運行。2015年，Karlekar等[36]將小波變換應(yīng)用于織物紋理建模和疵點檢測上，應(yīng)用直接閾值分割技術(shù)對經(jīng)編織物疵點進行檢測，取得了滿意的效果。實時性也是織物疵點檢測的重要指標之一，2020年，Li等[37]根據(jù)織物疵點的特點，提出了一種疵點方向投影算法(DDPA)，主要解決了多通道Gabor小波數(shù)據(jù)冗余和運算效率低的問題。在竹節(jié)、雙緯、錯緯、環(huán)緯和斷頭5種疵點數(shù)據(jù)集上的實驗顯示，DDPA算法在精度和運算速度上表現(xiàn)優(yōu)異，具有一定的性能和應(yīng)用優(yōu)勢。但是小波變換會由于顏色變化和邊緣平滑而無法檢測到疵點，檢測效果受小波基選擇的影響。雖然它具有較高的準確率，但是同時其計算成本較高。

2.3.3 Gabor變換

Gabor變換需要根據(jù)紋理結(jié)構(gòu)不同，設(shè)計不同比例和方向的濾波器，從而對織物紋理進行空間和頻域分析[38]。Gabor濾波器可以看作是高斯核函數(shù)在頻域由復正弦函數(shù)調(diào)制而成的高斯分布函數(shù)，它是一種邊緣提取的線性濾波器，很適合紋理的表達和分離[39-41]。

2002年，Kumar等[39]利用一類自相似Gabor函數(shù)，提出了一種用于無監(jiān)督織物疵點檢測的多通道濾波方案，它利用虛Gabor函數(shù)實現(xiàn)了低成本的web檢測，對于打結(jié)疵、穿錯、網(wǎng)紋和缺緯等疵點，均能達到很好的檢測效果。2014年，Agilandeswari等[40]利用預(yù)訓練的Gabor小波網(wǎng)絡(luò)提取織物中重要的紋理特征，通過在Gabor小波網(wǎng)絡(luò)的隱層中設(shè)置一個虛Gabor小波，減少了不良紗線、滲色和氣孔等疵點圖像訓練時所需的計算量，并且通過形態(tài)濾波器降低了虛警率。2019年，曹桂紅等[41]通過SIFT算法進行特征點的提取，剔除了無效匹配點后，采用二維Gabor濾波器實現(xiàn)了織物疵點的檢測。在TILDA織物疵點數(shù)據(jù)集上的實驗結(jié)果表明，該方法具有較好的檢測效果。Gabor濾波器比較適合對織物紋理結(jié)構(gòu)進行描述和分析，擁有較強的實用性，但是Gabor變換較難選取最佳濾波器的參數(shù)。

2.4 基于模型的織物圖像疵點檢測方法

基于模型的織物疵點檢測方法是根據(jù)正常織物紋理建立模型，然后根據(jù)假設(shè)驗證的方法，對被測織物圖像是否符合模型進行判斷，以此來實現(xiàn)疵點檢測，適用于織物表面特征變化沒有規(guī)律的情況[42-44]。但其計算量大、適用的疵點檢測類型較少，實用性并不高，因此近年關(guān)于此方法的研究較少。常用的基于模型的方法包括自回歸模型[42]和馬爾可夫隨機場模型[43-44]。

2.4.1 自回歸模型

自回歸模型是根據(jù)紋理圖像中不同像素之間的線性依賴關(guān)系來表示紋理特征，它只須通過對線性方程組進行求解即可實現(xiàn)預(yù)測，具有計算時間短，成本低的優(yōu)點，但是由于使用的樣本有限，所以準確率不高[42]。

2014年，Vaddin等[42]研究了基于直流抑制傅里葉功率譜特征總和(DCSFPSS)的平紋織物周期性建模方法，以一維DCSFSS數(shù)據(jù)為信號，進行了普通平紋組織樣本的非參數(shù)建模和參數(shù)化建模實驗，驗證了參數(shù)化方法在普通織物建模中的有效性。然后，在一幅正?？椢飯D像的DCSFPSS上測試了參數(shù)化方法，即自回歸(AR)和自回歸滑動平均(ARMA)模型，實驗驗證了在DCSFPSS上使用AR(32)模型更好，AR(32)模型在緯向/經(jīng)向方向顯示出約84%/95%的擬合值。它具有計算量小，復雜度低，同時準確率較高的優(yōu)點。但是自回歸模型可以檢測的疵點種類有限，且不能很好地提取細小疵點的特征。

2.4.2 馬爾可夫隨機場模型

馬爾可夫隨機場(MRF)模型是建立在馬爾可夫模型和貝葉斯理論基礎(chǔ)之上的，它利用無噪聲織物圖像中像素點之間的相關(guān)性，通過計算局部區(qū)域每個像素的密度值，從而得到像素與突變間的關(guān)系[43-44]。

1996年，Ozdemir等[43]研究了以MRF為紋理模型的織物疵點檢測方法和基于Karhunen-Loeve變換的織物疵點檢測方法。實驗證明了這2種方法都能成功地發(fā)現(xiàn)紡織品的疵點，并且該方法在雙TMS320C40的并行處理系統(tǒng)上可以實現(xiàn)實時檢測。然而，MRF方法比基于Karhunen-Loeve變換的方法具有較快的速率。2013年，楊曉波[44]提出了一種高斯-馬爾可夫隨機場(GMRF)紋理模型來自動識別不同種類的統(tǒng)計特征畸變織物疵點，并通過仿真實驗證明了GMRF模型對統(tǒng)計特征畸變疵點的有效性，能夠通過其模型參數(shù)簡潔地表示跳花疵、稀密路疵、粗紗、斷經(jīng)等多種疵點織物。但是研究表明，對于區(qū)域面積較小的疵點，或類似散彈噪聲的雜質(zhì)，此方法的檢測效果不佳。

2.5 基于學習的織物圖像疵點檢測方法

基于學習的織物圖像疵點檢測方法的研究重點主要包括卷積神經(jīng)網(wǎng)絡(luò)(CNN)[45-54]、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)[55]等深度學習模型[56]。卷積神經(jīng)網(wǎng)絡(luò)具有很強的非線性擬合能力，具有魯棒性好、泛化能力強等優(yōu)點[57]。2013年，Kumar[45]提出了利用線性神經(jīng)網(wǎng)絡(luò)進行織物疵點檢測的方案，在相機拍攝的640像素×480像素的低分辨率織物圖像上進行了實驗，證明了此方法的有效性。隨著模型結(jié)構(gòu)日趨復雜，模型層次也不斷加深，Jing等[46]提出了基于CNN的織物疵點自動檢測方法。首先將織物圖像分解為局部區(qū)域，并對每個局部區(qū)域進行標記。然后將貼片傳送到預(yù)先訓練好的深層CNN進行遷移學習。最后利用訓練好的模型在整個圖像上滑動來檢測疵點，得到每個疵點的類別和位置。實驗結(jié)果表明，與傳統(tǒng)的淺層學習方法相比，CNN的方法可以通過自適應(yīng)調(diào)整參數(shù)來有效地學習疵點特征，提高了檢測效率，縮短了檢測時間，可以獲得準確率較高的結(jié)果。為進一步提高織物疵點的檢測效果，Ouyang等[47]在CNN中引入了新的成對電位激活層，采用了統(tǒng)計疵點信息和CNN相結(jié)合的方法對織物疵點進行檢測，提高了對特征復雜、數(shù)據(jù)集不平衡的織物疵點的檢測精度。Faster R-CNN算法是基于候選區(qū)域的目標檢測算法中的代表算法，在目標檢測領(lǐng)域展現(xiàn)了其優(yōu)異的性能。2018年，AN等[48]提出了一種改進的Faster R-CNN方法，使用深度殘差網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的VGG-16進行特征提取，增加了特征金字塔模塊，并且增加了錨框的數(shù)量，使用了Softmax分類器用于訓練。該算法模型收斂速度快，性能優(yōu)良，在TILDA數(shù)據(jù)集上的平均精度達到了94.66%。隨后，針對織物圖像采集過程中存在疵點樣本分布不均，現(xiàn)有色織物疵點樣本多樣性貧乏的問題，李明等[49]提出了應(yīng)用生成對抗網(wǎng)絡(luò)(GAN)和Faster R-CNN相結(jié)合的疵點識別算法，先對疵點織物進行GAN訓練擴充樣本，然后再利用Faster R-CNN算法得到最后的識別結(jié)果。該方法在色織物圖像數(shù)據(jù)集中能準確獲取疵點位置和類別，并且提高了疵點圖像的檢測效率，但是檢測速度仍然有待提升。

相比于上述基于候選區(qū)域的檢測算法，基于回歸的YOLO系列、SSD系列算法在檢測速度方面取得了很大的進步。2018年，Zhang等[50]提出了一種基于YOLO V2的色織物疵點自動定位與分類方法。實驗結(jié)果表明，該方法能達到較高的精度，滿足色織物疵點實時檢測的需要。但是此方法在對特征復雜的織物進行檢測時，檢測性能會有所下降。基于SSD目標檢測網(wǎng)絡(luò)，張麗瑤等[51]在2020年提出了一種織物疵點檢測方法。該方法首先利用圖像處理技術(shù)減弱不同織物的背景紋理信息，然后用SSD網(wǎng)絡(luò)模型對樣本中的疵點進行學習，生成的網(wǎng)絡(luò)模型可以實現(xiàn)較高的準確率和較好的實時性。

針對計算資源受限的應(yīng)用場景，2020年，Zhu等[52]對DenseNet的結(jié)構(gòu)進行了改進，提出了更適應(yīng)資源受限的邊緣計算場景的輕量級卷積網(wǎng)絡(luò)。改進的DenseNet優(yōu)化了交叉熵損失函數(shù)，通過增加Dropout層，降低了網(wǎng)絡(luò)訓練過程中過度擬合的風險。在來自阿里天池競賽2 560像素×1 920像素的數(shù)據(jù)集上，能有效檢測11種疵點。

對于在實際生產(chǎn)中經(jīng)常存在的數(shù)據(jù)不平衡的問題，2020年，Wang等[53]提出了一種輕量級深度學習模型。該算法模型對DeeplabV3+模型進行了改進，借鑒其在多尺度目標檢測方面的優(yōu)勢，使得網(wǎng)絡(luò)結(jié)構(gòu)更輕，同時也提高了檢測速度。此外，Wang等設(shè)計了一個疵點樣本生成器來生成疵點樣本，通過生成的疵點樣本來訓練模型，使用真實樣本來進行驗證，一定程度上解決了數(shù)據(jù)不平衡的問題。2021年，Huang等[54]提出了用于疵點分割和檢測的高效卷積神經(jīng)網(wǎng)絡(luò)。該方法大大減少了對數(shù)據(jù)集進行人工標注的昂貴成本，結(jié)合非疵點樣本，只需少量的疵點樣本就可以學習疵點的潛在特征，并獲得高精度的疵點定位?；诠_PTF數(shù)據(jù)集和3個自制織物數(shù)據(jù)集的實驗結(jié)果表明，該方法只需要50個疵點樣本就能得到準確的分割結(jié)果，并能達到25幀/s的實時檢測要求。然而，這種擴大樣本的方法也存在不足之處:一是難以生成高分辨率圖像;二是生成過程仍然需要少量的真實疵點圖像。

長短期記憶人工神經(jīng)網(wǎng)絡(luò)(LSTM)是一種特殊的遞歸神經(jīng)網(wǎng)絡(luò)，它可以很好地解決遞歸神經(jīng)網(wǎng)絡(luò)的長期依賴問題。2019年，Zhao等[55]提出了基于視覺長短期記憶的綜合CNN模型，提取了3類特征，分別是由層疊卷積自動編碼器提取的視覺感知信息，以淺卷積神經(jīng)網(wǎng)絡(luò)為特征的視覺短時記憶信息以及以非局部神經(jīng)網(wǎng)絡(luò)為特征的視覺長時記憶信息。這3類特征是互補的，且不是完全冗余的，在DHU-FD-500、DHU-FD-1000和阿里云-FD-10500這3個數(shù)據(jù)集上的實驗結(jié)果證明了此方法的性能。

3 織物疵點檢測系統(tǒng)研究進展

3.1 國外織物疵點檢測系統(tǒng)

在國外，主流的自動驗布系統(tǒng)包括Fabriscan自動驗布系統(tǒng)、I-TEX系列自動驗布系統(tǒng)、Cyclops自動驗布系統(tǒng)以及USTER Q-BAR 2織物檢測儀等。

3.1.1 Fabriscan自動驗布系統(tǒng)

瑞士Uster公司開發(fā)的Fabriscan自動驗布系統(tǒng)，運用了高分辨率攝像機和神經(jīng)網(wǎng)絡(luò)技術(shù)。驗布工作時，先進行神經(jīng)網(wǎng)絡(luò)的訓練，然后再進入檢測階段，把檢測到的疵點信息發(fā)送到上位機，再通過質(zhì)量管理軟件對織物質(zhì)量進行最終判定[58]。該系統(tǒng)不僅適用于簡單的坯布，而且適用于各種復雜的織物。其檢出率達90%左右，檢驗速度達120 m/min[59]。

3.1.2 I-TEX系列自動驗布系統(tǒng)

以色列EVS公司的自動驗布系統(tǒng)技術(shù)來源于軍事用途的目標搜索偵測技術(shù)[60]，第一代產(chǎn)品I-TEX100主要用于坯布及工業(yè)用布的檢驗。第二代產(chǎn)品I-TEX200主要用于單色染色織物的檢驗。第三代產(chǎn)品I-TEX2000能檢測不同的紡紗、織造、整理和涂層工藝的任何織物上，檢測速度為300 m/min，檢測織物幅寬達600 cm，最小可檢測出0.5 mm的疵點[61]。近年推廣的IQ-TEX4自動視覺檢測系統(tǒng)，利用高分辨率的彩線掃描技術(shù)以及增強缺陷分類算法，實現(xiàn)了疵點的檢測和演示。該系統(tǒng)可在生產(chǎn)過程中提供實時視覺監(jiān)控，能在檢測速度達1 000 m/min的情況下，檢測出小于0.1 mm的疵點，包括破洞、斷經(jīng)、異物、污點、破邊等[62]。

3.1.3 Cyclops自動驗布系統(tǒng)

Barco公司的Cyclops系統(tǒng)與上述2種系統(tǒng)有所不同，其掃描頭安裝在正在織造的機器上，而上述2種系統(tǒng)的掃描頭則通常安裝在卷布機上。Cyclops系統(tǒng)采用相機拍照，再經(jīng)過圖像處理和計算分析圖像，發(fā)現(xiàn)疵點后Cyclops系統(tǒng)會發(fā)出警報或停機，并記錄疵點位置和特征[58]。但此系統(tǒng)需要使用專門的硬件以及需要中型計算機完成大量圖像處理運算[63]，成本偏高。

3.1.4 USTER Q-BAR 2織物檢測儀

EVS公司具有優(yōu)異的智能視覺檢測和故障識別算法技術(shù)，生產(chǎn)的USTER Q-BAR 2織物檢測儀可提供不同的算法來識別特定疵點及其原因。如若在織物織成階段檢測到疵點就會停止織造，避免疵點問題的擴散，以此保障所要求的織物質(zhì)量。該系統(tǒng)可以從織機設(shè)置到整卷，對機織織物進行連續(xù)的幅寬測量，處理整個織物幅寬。此外，因Uster公司在質(zhì)量管理體系上的多年經(jīng)驗累積，使得USTER Q-BAR 2織物檢測儀能夠提供友好的用戶交互環(huán)境，提示操作員疵點位置，并通過裝置側(cè)面的燈來顯示系統(tǒng)狀態(tài)，并且該裝置還會對織物疵點進行分類和保存，能夠在觸摸屏上呈現(xiàn)出“疵點地圖”供操作員調(diào)用和查看[64]。

3.2 國內(nèi)織物疵點檢測系統(tǒng)

近年來國內(nèi)也有許多企業(yè)致力于研發(fā)織物疵點自動檢測系統(tǒng)，包括陜西長嶺紡織機電科技有限公司的FS220型光電自動驗布機，數(shù)優(yōu)(蘇州)人工智能科技有限公司Textile A.I.Solution(TAS)驗布系統(tǒng)，常州范視電子科技有限公司和常州工圖視覺科技有限公司的紡織瑕疵檢測系統(tǒng)以及深圳靈圖慧視科技有限公司的靈圖慧視智能驗布機等。

3.2.1 FS220型光電自動驗布機

FS220型光電自動驗布機基于機器視覺和圖像處理技術(shù)，通過圖像空間域的變化，增強了疵點特征。圖像處理流程為：圖像采集，圖像分割，高斯濾波，直方圖初步識別，二值化，輪廓變換，疵點識別[65]。系統(tǒng)可以設(shè)定30和60 m/min 2檔驗布速度，正檢率高，誤判率低于15%，發(fā)展?jié)摿薮螅瑢μ嵘徔椘髽I(yè)的布匹質(zhì)量水平有著重要的意義。

3.2.2 Textile A.I.Solution驗布系統(tǒng)

基于深度學習開發(fā)的Textile A.I.Solution(TAS)驗布系統(tǒng)[66]主要檢測的是布匹印花、印染等染色工序中產(chǎn)生的疵點。該系統(tǒng)提高了深度學習算法的速度，有助于快速準確地檢測疵點，檢測幅寬達300 cm，檢測速度為80 m/min，檢測精度為0.2 mm。

3.2.3 紡織瑕疵檢測系統(tǒng)

紡織瑕疵檢測系統(tǒng)采用深度學習建模技術(shù)，檢測幅寬為0.5～2 m，最高檢測速度為100 m/min，檢測精度在0.1～0.5 mm之間可選，紡織瑕疵檢測系統(tǒng)適用于素色布料，可以檢測多種常規(guī)疵點，如斷經(jīng)斷緯、缺經(jīng)缺緯、粗節(jié)、稀經(jīng)稀緯、飛花織入、破洞、色點以及破邊、門幅異常等。對于明顯的疵點識別率為100%，對不明顯的疵點檢出率也能達80%～90%，誤報率基本為0。

3.2.4 靈圖慧視智能驗布機

基于深度學習和機器視覺技術(shù)開發(fā)的靈圖慧視智能驗布機通過自建ABC(AI、BigData、Cloud Computing)深度學習模型，實現(xiàn)在復雜的面料環(huán)境下的學習，提升了檢出率。與此同時，該系統(tǒng)的開發(fā)公司創(chuàng)建了關(guān)于織物疵點大數(shù)據(jù)庫，其中包含了針織疵點9大類，機織疵點8大類，共計100多種疵點類型。該大數(shù)據(jù)庫形成了紡織行業(yè)新的生態(tài)系統(tǒng)，仍在不斷完善中。在現(xiàn)有的疵點種類范圍中，該智能驗布機的檢出率可達95%，高速檢測驗布速度可達1 m/s，是人工檢測的3～5倍。該系統(tǒng)可以24 h不間斷地自動檢測，工作周期高達10 a。

4 結(jié)束語

本文介紹了主流的織物圖像的預(yù)處理技術(shù)，并簡要綜述了基于結(jié)構(gòu)、統(tǒng)計、頻譜、模型和學習的織物疵點檢測方法,并對這些方法的原理進行了介紹,分析了其優(yōu)缺點與適用范圍。最后梳理總結(jié)了國外織物疵點檢測系統(tǒng)的研究進展,并對織物疵點檢測方法的未來發(fā)展作出了展望。

1)由于織物圖像特征空間的類間模糊性和類內(nèi)差異性，目前特征提取方法的性能受到較大限制，影響預(yù)處理效果,因此，需要通過研究織物圖像的特征分布屬性，以此設(shè)計魯棒可靠的預(yù)處理方案，是未來研究的重點。

2)基于深度學習的織物疵點檢測方法依賴于大量的數(shù)據(jù)樣本，但是公開的數(shù)據(jù)資源非常稀缺，并且數(shù)據(jù)集的標注也需要非常昂貴的人工標注成本,因此，在沒有數(shù)據(jù)集標注的情況下訓練網(wǎng)絡(luò)，實現(xiàn)無監(jiān)督學習也是未來的研究重點之一。

3)當前算法優(yōu)化的3個方向主要是檢測精度、實時性以及通用性，大部分算法都只在部分指標上具有很好的效果,因此，未來需要發(fā)展各方面性能都更加魯棒的算法，才能更好地滿足紡織工業(yè)發(fā)展需求。

4)目前尚沒有免費向研究者提供的通用織物疵點紋理數(shù)據(jù)集，研究者在實驗中采用的數(shù)據(jù)集樣本來源多種多樣，且樣本的大小和質(zhì)量也存在差別，所以導致不同算法之間的性能對比不太直觀。

5)隨著疵點檢測技術(shù)的不斷發(fā)展，基于圖像處理技術(shù)的自動驗布系統(tǒng)必將逐步取代傳統(tǒng)人工檢測，具有很大的市場前景,因此，需要進一步增加自動驗布系統(tǒng)的智能化程度，構(gòu)建滿足生產(chǎn)需求的軟硬件系統(tǒng)。

FZXB