基于機(jī)器視覺的疵點(diǎn)檢測(cè)方法的研究進(jìn)展

王孟濤 李岳陽 杜帥

摘 要：機(jī)器視覺在織物疵點(diǎn)檢測(cè)方面具有廣泛的應(yīng)用，對(duì)紡織品質(zhì)量控制具有重要的現(xiàn)實(shí)意義。本文通過對(duì)近幾年相關(guān)文獻(xiàn)的分析，簡(jiǎn)要綜述關(guān)于疵點(diǎn)檢測(cè)各種方法，并按照對(duì)織物圖像處理的方法不同可分為：結(jié)構(gòu)方法、統(tǒng)計(jì)學(xué)方法、頻譜分析方法、基于模型的方法和基于學(xué)習(xí)的方法。著重闡述了各類方法的優(yōu)缺點(diǎn)，并總結(jié)該領(lǐng)域的發(fā)展趨勢(shì)。

關(guān)鍵詞：圖像處理;紡織品;疵點(diǎn)檢測(cè);機(jī)器視覺

中圖分類號(hào)：TS186.3

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-265X（2019）05-0057-05

Abstract：Machine vision is widely applied in the detection of fabric defects， and carries important practical significance for the quality control of textiles. Through the analysis of relevant literatures in recent years， the various methods of defect detection are summarized， and they can be divided into structural method， statistical method， spectrum analysis method， model-based method and learning-based method in accordance with the different methods of fabric image processing. This paper highlights the advantages and disadvantages of various methods and summarizes the development trends of this field.

Key words：image processing; textiles; defect detection; machine vision

織物疵點(diǎn)檢測(cè)是紡織品質(zhì)量控制中必不可少的環(huán)節(jié)，隨著工業(yè)技術(shù)的發(fā)展，基于機(jī)器視覺的織物疵點(diǎn)檢測(cè)逐漸成為紡織企業(yè)發(fā)展的必然趨勢(shì)。傳統(tǒng)的織物疵點(diǎn)檢測(cè)方法都是由檢驗(yàn)人員來完成，有數(shù)據(jù)表明：一個(gè)較為熟練的檢驗(yàn)人員的驗(yàn)布速度不超過20 m/min，驗(yàn)布的幅寬在1 m之內(nèi)，檢驗(yàn)效率約70%[1-2]。并且，織物疵點(diǎn)可出現(xiàn)在生產(chǎn)過程中的任何階段，疵點(diǎn)的形狀和種類千變?nèi)f化，給疵點(diǎn)識(shí)別帶來了諸多的困難。因此，以快速和可靠機(jī)器視覺來代替低效的人工視覺，實(shí)現(xiàn)織物疵點(diǎn)自動(dòng)化檢測(cè)，具有重要的經(jīng)濟(jì)效益和現(xiàn)實(shí)意義。

1 織物疵點(diǎn)檢測(cè)方法

一般根據(jù)對(duì)圖像處理的原理不同，織物庛點(diǎn)檢測(cè)可以分為如下幾類[3-4]：結(jié)構(gòu)方法、統(tǒng)計(jì)學(xué)方法、頻譜分析方法、基于模型的方法以及基于學(xué)習(xí)的方法。本文主要對(duì)近幾年檢測(cè)算法的最新研究進(jìn)展進(jìn)行了分類探究和分析，比較了各種算法的優(yōu)劣勢(shì)，著重分析基于支持向量機(jī)和深度學(xué)習(xí)方法的特性。

1.1 基于結(jié)構(gòu)方法的織物疵點(diǎn)檢測(cè)

結(jié)構(gòu)方法將紋理視為紋理基元的組合，紋理分析通過獲取紋理特征并推斷其替換規(guī)則來執(zhí)行。根據(jù)這種方法，織物圖案的紋理可以通過簡(jiǎn)單紋理結(jié)構(gòu)的組合來實(shí)現(xiàn)。結(jié)構(gòu)紋理分析包含兩個(gè)順序階段：基本織物紋理的檢測(cè);整體織物紋理圖案的建模。Abouelela等[5]進(jìn)行了結(jié)構(gòu)疵點(diǎn)的檢測(cè)，但是結(jié)構(gòu)方法的可靠性很低，結(jié)構(gòu)化方法只能將織物疵點(diǎn)從非常規(guī)整的紋理中分離出來。

1.2 基于統(tǒng)計(jì)方法的織物疵點(diǎn)檢測(cè)

統(tǒng)計(jì)方法使用一階統(tǒng)計(jì)量和二階統(tǒng)計(jì)量來提取織物紋理的特征，該特征來描述織物紋理之間相異性及織物紋理整體結(jié)構(gòu)的一致性。基于統(tǒng)計(jì)方法的疵點(diǎn)檢測(cè)主要有[6]：灰度共生矩陣（Gray-leve Cooccurr-ence Matrix）、數(shù)學(xué)形態(tài)學(xué)（Mathematical Morphology）、直方圖統(tǒng)計(jì)法（Histogram Statistical Appr-oach）等方法。

1.2.1 灰度共生矩陣

灰度共生矩陣（GLCM）統(tǒng)計(jì)方法是20世紀(jì)70年代初由Haralick首次提出，它是在假定圖像中各像素間的空間分布關(guān)系包含了圖像紋理信息的前提下，提出的具有廣泛性的紋理分析方法。由于灰度圖像是由接近的灰度值像素塊構(gòu)成，因此采用灰度共生矩陣的熵、慣性矩、同質(zhì)性、角二階距等14個(gè)統(tǒng)計(jì)特性的特征值，能很好的表征二維織物紋理特性。Zhu等[7]首先利用自相關(guān)函數(shù)來確定色織物的圖案周期，得到檢測(cè)窗口的大小，其次用GLCM計(jì)算可以表征原圖像的特征值，然后計(jì)算無疵點(diǎn)圖像與模板圖像之間的GLCM的歐氏距離，最后給出合適的閾值以實(shí)現(xiàn)織物疵點(diǎn)檢測(cè)。Latif等[8]首次提出將小波變換和灰度共生矩陣相結(jié)合的疵點(diǎn)檢測(cè)算法，算法流程是：首先采用小波變換將原織物圖像分成一定大小的子圖塊，然后選取灰度共生矩陣的（熵、慣性矩、同質(zhì)性、角二階距）4個(gè)統(tǒng)計(jì)特性對(duì)每一子圖像提取特征值，組成特征向量，最后采用測(cè)試樣本中的36幅圖像進(jìn)行檢測(cè)，實(shí)驗(yàn)結(jié)果：正確率達(dá)到90.78%。但是共生矩陣存在兩個(gè)主要劣勢(shì)：高分辨率圖像的性能較差;計(jì)算成本高。

1.2.2 數(shù)學(xué)形態(tài)學(xué)

數(shù)學(xué)形態(tài)學(xué)是基于對(duì)象幾何的初步信息的特征提取方法，其基本操作是膨脹，侵蝕，開放和關(guān)閉[9]。目前，形態(tài)學(xué)圖像處理已逐步演化成為圖像處理的一個(gè)核心研究領(lǐng)域。Mak等[10]利用最佳形態(tài)學(xué)濾波器對(duì)于一些特定種類疵點(diǎn)進(jìn)行檢測(cè)，并且應(yīng)用到一個(gè)實(shí)時(shí)的檢測(cè)系統(tǒng)中，檢測(cè)率可達(dá)97.4%。

1.2.3 直方圖統(tǒng)計(jì)法

直方圖包含圖像灰度像素分布的基本統(tǒng)計(jì)數(shù)據(jù)。常見的直方圖統(tǒng)計(jì)特性有平均值、標(biāo)準(zhǔn)差、方差和中值等。劉洲峰等[11]首先將織物原圖像按照要求分割成一定大小的子圖像，然后對(duì)每一子圖像利用局部二進(jìn)制模式（LBP）和灰度直方圖等方法提取子圖像的特征，任意選取一個(gè)子圖像塊的特征，與其他n個(gè)子圖像塊特征作對(duì)比，經(jīng)對(duì)比之后生成視覺顯著圖，最后選取合適的閾值對(duì)生成的顯著圖進(jìn)行閾值分割，達(dá)到檢測(cè)出疵點(diǎn)結(jié)果。但是由于灰度直方圖的計(jì)算過程過于簡(jiǎn)單和LBP生成的特征向量的維數(shù)過高，計(jì)算量大等因素，導(dǎo)致這種方法使用較少，可靠性低。

1.3 基于頻譜方法的織物疵點(diǎn)檢測(cè)

基于頻譜的織物疵點(diǎn)檢測(cè)是利用織物中基本紋理基元高度的周期性類似于頻譜特性的規(guī)律，將圖像從空間域（或時(shí)域）變換到頻域，來檢測(cè)織物疵點(diǎn)。有傅里葉變換法[12]、小波變換[13-14]、Gabor濾波器[15]等。

1.3.1 傅里葉變換

傅里葉變換是一種圖像紋理分析技術(shù)，能夠進(jìn)行從時(shí)域到頻域的詳細(xì)分析。在圖像處理中，這種技術(shù)和紋理圖像的特征是頻率分量，織物圖像的大小在旋轉(zhuǎn)期間不會(huì)改變。

Dorian等[16]提出一種基于傅里葉分析、模糊聚類和模板匹配的疵點(diǎn)檢測(cè)算法框架，主要對(duì)于機(jī)織物的平紋，斜紋和緞紋140種織物圖像進(jìn)行實(shí)驗(yàn)。結(jié)果表明：實(shí)驗(yàn)精度可達(dá)到97%。由于傅里葉變換受織物結(jié)構(gòu)變化的影響較大，因此該方法的實(shí)時(shí)性和通用性都較差。

1.3.2 小波變換

小波變換是一種信號(hào)分析技術(shù)，它作為傅里葉變換的一種替代方案而被開發(fā)，具有多分辨率分析的特點(diǎn)，而且小波變換最主要的優(yōu)點(diǎn)就是局部的分析。由于織物疵點(diǎn)產(chǎn)生的位置一般不會(huì)遍及整個(gè)織物表面，因此，小波變換在織物疵點(diǎn)應(yīng)用也越來越多。

李敏等[17]將小波變換和神經(jīng)網(wǎng)絡(luò)相結(jié)合對(duì)織物疵點(diǎn)進(jìn)行檢測(cè)和識(shí)別：首先采用小波變換對(duì)原圖像進(jìn)行預(yù)處理，分解成一定大小的子塊，然后利用Radon小波對(duì)每一小塊進(jìn)行小波變換生成特征曲線圖，最后用神經(jīng)網(wǎng)絡(luò)對(duì)特征曲線圖進(jìn)行分析以達(dá)到識(shí)別出疵點(diǎn)區(qū)域的目的。張國(guó)英等[18]首先使用小波變換將原始織物圖像分解成m×n大小的子圖，分別從（0°，45°，90°，135°）方向的子圖像上提取織物紋理的特征值，然后將不同方向的特征值組成特征向量，用于后續(xù)的檢測(cè)。結(jié)果表明：織物疵點(diǎn)檢測(cè)的正確率達(dá)到84%。但是楊曉波[19]提取小波分解后各通道的方差值作為分類的特征值，通過采用不同的優(yōu)化方案進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)流程：首先使用標(biāo)準(zhǔn)小波基對(duì)前5種方案進(jìn)行測(cè)試，然后再使用自適應(yīng)小波對(duì)余下實(shí)驗(yàn)進(jìn)行測(cè)試。結(jié)果表明：分類精確率達(dá)95.8%。

1.3.3 Gabor濾波器

Gabor變換是D.Gabor 1946年提出的，可以根據(jù)紋理結(jié)構(gòu)定制不同比例和方向的濾波器。在圖像處理中，Gabor濾波器的頻率和方向決定了濾波器的大小和處理圖像的位置，適合對(duì)織物紋理結(jié)構(gòu)的描述和分析。

尉苗苗等[20]研究提出通過優(yōu)化Gabor濾波器中的參數(shù)來達(dá)到識(shí)別經(jīng)編織物疵點(diǎn)的目的。該方法的優(yōu)點(diǎn)在于將Gabor濾波器和QPSO優(yōu)化算法相結(jié)合，最終使得檢測(cè)率達(dá)到96.67%，且具有良好的魯棒性。Jing等[21]設(shè)計(jì)了一種采用多個(gè)Gabor濾波器和核主成分分析方法以檢測(cè)織物疵點(diǎn)。此算法首先選取4個(gè)方向和6個(gè)尺度的Gabor濾波器組對(duì)織物圖像進(jìn)行濾波處理并計(jì)算特征向量，通過使用核主成分分析方法降低高維特征向量，相似矩陣由歐式方程計(jì)算，并用OTSU進(jìn)行圖像分割，實(shí)驗(yàn)結(jié)果表明：該方法獲得較高的檢測(cè)率。

1.4 基于模型方法的織物疵點(diǎn)檢測(cè)

常見基于模型的織物疵點(diǎn)檢測(cè)方法包括自回歸模型（AutoRegressive，AR）、高斯馬爾可夫模型（Gauss Markoff，GM）以及其他模型。朱俊嶺等[22]在高斯馬爾科夫模型的基礎(chǔ)上作了改進(jìn)，首先在水平和垂直方向?qū)ψ哟翱诘幕叶戎捣謩e進(jìn)行方差投影，然后通過GM模型對(duì)灰度值的方差投影進(jìn)行譜估計(jì)，通過譜估計(jì)后正常和待檢測(cè)織物都會(huì)有各自的相關(guān)系數(shù)，通過比較相關(guān)系數(shù)的不同，以實(shí)現(xiàn)檢測(cè)出疵點(diǎn)的目的。但是，基于模型的方法計(jì)算量大，檢測(cè)的織物疵點(diǎn)種類少，實(shí)時(shí)性和通用性不理想，因此近幾年沒有關(guān)于此方法的最新研究。

1.5 基于學(xué)習(xí)的織物疵點(diǎn)檢測(cè)

模式識(shí)別問題的一般模式：圖像預(yù)處理、提取特征、分析特征和分類器設(shè)計(jì)。隨著近幾年計(jì)算機(jī)技術(shù)的進(jìn)展，各個(gè)紡織企業(yè)都向著智能制造方向轉(zhuǎn)變，因而基于機(jī)器學(xué)習(xí)的方式也是越來越受歡迎?；趯W(xué)習(xí)的織物疵點(diǎn)檢測(cè)方法有人工神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)和支持向量機(jī)等。

1.5.1 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性擬合能力，可映射任意復(fù)雜的非線性關(guān)系，而且學(xué)習(xí)規(guī)則簡(jiǎn)單，便于計(jì)算機(jī)實(shí)現(xiàn)。而且它的魯棒性、記憶能力、非線性映射能力都很強(qiáng)。

Wong等[23]提出了一種新的疵點(diǎn)檢測(cè)技術(shù)，將小波變換和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，首先采用小波變換對(duì)原始圖像進(jìn)行平滑處理，再采用均值濾波對(duì)織物紋理背景進(jìn)行衰減，然后利用閾值處理獲得二值圖像，并用小波變換提取二值圖像的9個(gè)特征向量，送入到BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類。結(jié)果表明：此方法能夠有效識(shí)別出常見的5種疵點(diǎn)?；毕虮萚24]采用特征融合的方法來提取常見5類織物疵點(diǎn)的特征值，然后形成特征向量，進(jìn)而輸入到BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果：檢測(cè)準(zhǔn)確率達(dá)98.3%。

1.5.2 深度學(xué)習(xí)

隨著近幾年深度學(xué)習(xí)的興起，在織物疵點(diǎn)檢測(cè)方面的應(yīng)用也越來越多。Li等[25]提出一種基于Fisher準(zhǔn)則的疊加去噪自動(dòng)編碼器的算法（FCSDA），首先將原始圖像分成相同大小的塊，利用有疵點(diǎn)和無疵點(diǎn)的樣本訓(xùn)練FCSDA，然后對(duì)測(cè)試集的樣本利用已訓(xùn)練的FCSDA進(jìn)行疵點(diǎn)分類，最后通過重建圖像和疵點(diǎn)圖像的殘差來確定疵點(diǎn)位置的閾值。結(jié)果表明：在具有周期性圖案的提花經(jīng)編織物上，該方法的檢測(cè)效果較好。然而景軍鋒等[26]對(duì)深度學(xué)習(xí)又進(jìn)一步改進(jìn)，提出基于Fisher準(zhǔn)則的棧式去噪自編碼器算法，首先也是把原始圖像分解成一定大小的塊，采用稀疏自編碼器提取小塊的特征，然后利用該特征訓(xùn)練卷積自編碼器的參數(shù)，提取原圖像的低維特征，最后將該特征輸入到棧式去噪自編碼器網(wǎng)絡(luò)進(jìn)行疵點(diǎn)分類，結(jié)果表明：該算法能有效地提取織物圖像的分類特征，又有Fisher準(zhǔn)則的加入，疵點(diǎn)檢測(cè)準(zhǔn)確率又有所提高。

1.5.3 支持向量機(jī)

支持向量機(jī)是一種常見的分類器，通常在兩分類或者多分類的情況下使用較多。支持向量機(jī)SVM在小樣本檢測(cè)分類中優(yōu)勢(shì)較為明顯。Basu等[27]將基于子圖像的PCA方法應(yīng)用于從訓(xùn)練和測(cè)試結(jié)構(gòu)圖像中提取特征，并使用多類SVM分類器來執(zhí)行分類任務(wù)。該方法在織物疵點(diǎn)標(biāo)準(zhǔn)TILDA數(shù)據(jù)庫(kù)上進(jìn)行測(cè)試，成功率達(dá)到96.36%。Ding等[28]將原圖像分解成圖像塊，然后將不同的Gabor濾波器組應(yīng)用到每個(gè)圖像塊中，通過將每個(gè)圖像塊的不同方向和尺度的所有Gabor特征連接起來生成特征向量，采用PCA來減少Gabor特征向量的維數(shù)，最后利用SVM將每個(gè)圖像塊分為無疵點(diǎn)和有疵點(diǎn)的類。

[12] SAKHARE K， KULKARNI A， KUMBHAKARN M， et al. Spectral and spatial domain approach for fabric defect detection and classification[C]// Internat-ional Conference on Industrial Instrumentation and Control，2015：640-644.

[13] JASPER W， JOINES J， BRENZOVICH J. Fabric defect detection using a genetic algorithm tuned wavelet filter[J].The Journal of the Textile Institute，2005，96（1）：43-54.

[14] XIA D， JIANG G， LIY， et al. Warp-knitted fabric defect segmentation based on non-subsampled Contourlet transform[J]. The Journal of The Textile Institute， 2017，108（2）：239-245.

[15] JING J. Automatic defect detection of patterned fabric via combining the optimal gabor filter and golden image subtraction[J].Journal of Fiber Bioengineering & Informatics， 2015，8（2）：229-239.

[16] DORIANS， DORIT M. Blind weave detection for woven fabrics[J].Pattern Analysis and Applica-tions，2015，18（3）：725-737.

[17] 李敏，崔樹芹，陳佳.應(yīng)用視覺顯著性的小提花織物疵點(diǎn)檢測(cè)[J].紡織學(xué)報(bào)，2016（12）：38-42.

[18] 張國(guó)英，陳淑蘭，趙君.不同光照下織物瑕疵檢測(cè)方法研究[J].計(jì)算機(jī)科學(xué)與應(yīng)用，2014（9）：181-186.

[19] 楊曉波.基于自適應(yīng)離散小波變換的混合特征畸變織物疵點(diǎn)識(shí)別[J].紡織學(xué)報(bào)，2013（1）：133-137.

[20] 尉苗苗，李岳陽，蔣高明，等.應(yīng)用最優(yōu)Gabor濾波器的經(jīng)編織物疵點(diǎn)檢測(cè)[J].紡織學(xué)報(bào)，2016，37（11）：48-54.

[21] JING J， FAN X， LI P. Automated fabric defect detection based on multiple gabor filters and KPCA[J]. International Journal of Multimedia & Ubiquitous Engineering，2016，11（6）：93-106.

[22] 朱俊嶺，汪軍，張孝南，等.基于AR模型的機(jī)織物線狀疵點(diǎn)研究[J].紡織學(xué)報(bào)，2012（8）：50-54.

[23] WONG W K， YUEN C W M， FAN D D， et al.Stitching defect detection and classification using wavelet transform and BP neural network[J]. Expert Systems with Appli-cations.2009，36（2）：3845-3856.

[24] 槐向兵，厲征鑫，劉建立，等.基于輪廓波變換的織物疵點(diǎn)分割[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014（6）：2153-2158.

[25] LIY D，ZHAOW G，PANJ H.Deformable patterned fabric defect detection with fisher criterion-based deep learning[J]. IEEE，2017，14（2）：1256-1264.

[26] 景軍鋒，黨永強(qiáng)，蘇澤斌，等.基于改進(jìn)SAE網(wǎng)絡(luò)的織物疵點(diǎn)檢測(cè)算法[J].電子測(cè)量與儀器學(xué)報(bào)，2017（8）：1321-1329.

[27] BASU A， CHANDRA J K， BANERJEE P K， et al. Sub image based eigen fabrics method using multi-class SVM classifier for the detection and classification of defects in woven fabric[C]//Third International Conference on Computing Communication & NETWORKING Technologies， 2012：1-6.

[28] DINGS M，LIC L，LIUZ F.Fabric defect detection scheme based on gabor filter and PCA[J].Advanced Materials Research， 2012，482-484：159-163.