計算機視覺布料瑕疵檢測方法綜述

韓濟陽，曹江濤，王賀楠，姬曉飛

計算機視覺布料瑕疵檢測方法綜述

韓濟陽1，曹江濤1，王賀楠1，姬曉飛2

（1.遼寧石油化工大學(xué) 信息與控制工程學(xué)院，遼寧 撫順 113001； 2.沈陽航空航天大學(xué) 自動化學(xué)院，遼寧 沈陽 110136）

長久以來，布料的瑕疵檢測工作一直由質(zhì)檢員完成，瑕疵判別過程受主觀因素影響大,存在檢測效率低、成本高等問題。隨著計算機視覺技術(shù)的發(fā)展，基于視覺技術(shù)的布料瑕疵檢測系統(tǒng)逐漸成為取代人工質(zhì)檢的重要解決方案。針對基于視覺技術(shù)的布料瑕疵檢測，從行業(yè)發(fā)展情況、通用檢測標(biāo)準(zhǔn)、系統(tǒng)整體結(jié)構(gòu)、檢測算法的關(guān)鍵技術(shù)等方面進行了綜述，介紹了目前市面上已經(jīng)存在的基于視覺技術(shù)的布料瑕疵檢測產(chǎn)品，分析了目前常用的瑕疵檢測標(biāo)準(zhǔn)與檢測系統(tǒng)的基本結(jié)構(gòu)，梳理并對比了近年來圖像處理與深度學(xué)習(xí)技術(shù)在布料瑕疵檢測領(lǐng)域的研究現(xiàn)狀。最后，總結(jié)了各方面尚待解決的關(guān)鍵問題，并探討了未來可能的發(fā)展方向。

瑕疵檢測； 布料檢測； 目標(biāo)識別； 計算機視覺； 圖像處理

紡織業(yè)作為我國一項傳統(tǒng)產(chǎn)業(yè)，隨著科技的不斷進步，布料生產(chǎn)過程的大部分環(huán)節(jié)已基本實現(xiàn)了自動化，但在質(zhì)檢環(huán)節(jié)往往還需要人工檢查。這不僅極大地拖慢了生產(chǎn)效率，還會受到工人主觀因素方面的影響。機器視覺檢測技術(shù)的迅速發(fā)展，基于計算機視覺的布料瑕疵檢測技術(shù)逐漸成為一個新的研究方向。本文綜述了基于視覺的布料瑕疵檢測流程和國際上較為成熟的視覺檢測技術(shù)的布料檢測方案，并詳細(xì)梳理了基于視頻檢測技術(shù)的布料瑕疵檢測算法中所涉及到的圖像處理與深度學(xué)習(xí)方法，同時對其中存在的研究難點和未來的發(fā)展趨勢進行探討。

1 基于計算機視覺的布料瑕疵檢測系統(tǒng)

1.1 行業(yè)發(fā)展情況

隨著計算機視覺技術(shù)的逐漸成熟，其在布料檢測方面的應(yīng)用也發(fā)展的十分迅速，并形成了專門的行業(yè)分支。國際方面，德國的申克博士公司通過多影像缺陷分析技術(shù)，可以實現(xiàn)在單一掃描線上同時掃描多個通道，對不同應(yīng)用領(lǐng)域內(nèi)的無紡布與紡織物在其生產(chǎn)過程中可能出現(xiàn)的多種瑕疵均能做到有效檢測、分類，并可以聯(lián)動缺陷打碼機等配套設(shè)備。美國微覺視公司的在線表面質(zhì)量檢測系統(tǒng)“Web Ranger”將高速處理單元集成到相機中，配合補光技術(shù)，可實現(xiàn)高速、準(zhǔn)確地檢測產(chǎn)品存在的缺陷。其采用模塊化的設(shè)計思路，方便剔除瑕疵。日本基恩士公司XG?X系列視覺檢測系統(tǒng)配合高速線陣相機可實現(xiàn)對布料缺陷的檢測，并可以在一次拍攝中同時獲得標(biāo)準(zhǔn)圖像、漫反射圖像等多種圖像類型，進而實現(xiàn)對缺陷的全面分析與精準(zhǔn)分類。其采用的高速線陣相機每秒最多可拍攝142 800行畫面。國內(nèi)方面，無錫精質(zhì)視覺基于機器視覺技術(shù)，對待檢測無紡布采用正、反面投射結(jié)合的成像方式實現(xiàn)檢測，其檢測速度最高可以達到800 m/min，精度最高可達0.1 mm，并能通過多相機組合的方式適應(yīng)任何寬度的布料。通過結(jié)合現(xiàn)場工藝需求，系統(tǒng)可搭配在線報警、缺陷分類與統(tǒng)計，以及產(chǎn)品質(zhì)量分級等自動化處置策略，為企業(yè)的生產(chǎn)信息化和產(chǎn)品質(zhì)量化等提供了有效的解決方案。

縱觀國內(nèi)外布料檢測行業(yè)，其中多以提供定制化解決方案為主。其一方面由于不同布料生產(chǎn)廠家在檢測功能的需求上存在差異，另一方面也受到行業(yè)規(guī)范不統(tǒng)一、不同檢測方法局限性大等因素的影響。

1.2 布料瑕疵分類與檢測標(biāo)準(zhǔn)

布料的質(zhì)量問題具體反映到織物上，是大小不一、形態(tài)各異的缺陷，這些缺陷大多由機器故障、紗線質(zhì)量問題或編織裝置的油污所導(dǎo)致[1]。為了更好地解決上述問題，需要對生產(chǎn)過程中常見的布料進行分類。目前，紡織工業(yè)中常見的織物缺陷類別有70余種。本色布布面疵點檢測方法[2]與印染布布面疵點檢測方法[3]，將布料瑕疵分成5類，其中本色布瑕疵共計87種、印染布瑕疵共計98種。同時規(guī)定了布料的檢測標(biāo)準(zhǔn)。以本色布為例，瑕疵按照其經(jīng)向、緯向的大小及嚴(yán)重程度，分為四種評分標(biāo)準(zhǔn)。在瑕疵檢測算法的評價中，通常以TP（True Positive）、FP（False Positive）、TN（True Negative）和FN（False Nnegative）四種指標(biāo)作為算法效果的評判標(biāo)準(zhǔn)，其定義如表1所示。

在此基礎(chǔ)上，又引申出三種檢測指標(biāo)，分別是：

其中，檢測成功率反映檢測系統(tǒng)對全部樣本正確檢出的情況，但無法反映誤檢的主要來源，此時就需要引入敏感度指標(biāo)與互異性指標(biāo)。敏感度指標(biāo)反映被檢出的樣本中正確檢出的情況，而互異性指標(biāo)則反映未檢出的樣本中的正確檢測情況。

表1　TP、FP、TN和FN的定義

1.3 系統(tǒng)構(gòu)成及檢測流程

基于視覺的布料瑕疵檢測系統(tǒng)核心由圖像采集、圖像處理兩核心功能組成。圖像采集的主體是視覺傳感器。在實際生產(chǎn)過程中，由于現(xiàn)場光線環(huán)境復(fù)雜，實際拍攝的待檢圖像中色溫、亮度等容易受環(huán)境影響，難以做到均勻一致，且具有較強的隨機性。因此，系統(tǒng)通常需要照明設(shè)備對待測區(qū)域補光。

在基于計算機視覺的布料檢測過程中，通常選用CCD相機作為系統(tǒng)的視覺傳感器。CCD相機包括線陣相機與面陣相機兩類。其中，線陣相機視野狹長，需將拍攝的畫面拼接后再進行處理，線陣相機畫面拼接示意圖如圖1所示。相比于線陣相機，面陣相機一次性采集的畫面更大，但CCD相機逐行掃描的處理方式也導(dǎo)致面陣相機在拍攝時所需的時間更長，畫面容易出現(xiàn)拖影。目前行業(yè)內(nèi)的瑕疵檢測方案多采用線陣相機拍攝。

圖1　線陣相機畫面拼接示意圖

補光設(shè)備同樣在畫面采集的過程中起著重要的作用，常見的補光方式包括后照明、前照明、結(jié)構(gòu)照明等。后照明方式的光源在待檢測布料的后方，光線透過待檢測布料，可以更好地反映布料較深層次的缺陷問題。毛氈布在布料生產(chǎn)過程中進入的異物，或出現(xiàn)的褶皺、油漬等，隨著生產(chǎn)過程逐漸被掩蓋，此時后照明方式可以有效地凸顯這類瑕疵，但采集畫面往往也會混入更多的布料纖維和紋理信息，增加了處理的難度。對于本身較厚或透光性較差的布料，使用普通的LED照明設(shè)備會導(dǎo)致攝像頭采集時因無法獲得足夠的亮度而丟失細(xì)節(jié)。前照明方法可以有效地避免這一問題。前照明方式，即照明光源處于待檢測布料的前方，這種方法可以反映布料表面的瑕疵信息，如污漬、異物及一些淺表性的褶皺等，同時隱去深層的紋理信息，光線的色彩強度也對檢測采集效果有較大的影響。H.Y.Y.Ngan等[4]指出，相比于單獨使用白光源，選用與原始材料顏色相近的光束進行照明，有助于更好地采集缺陷信息。

2 基于圖像處理的布料瑕疵檢測方法

基于計算機視覺的布料瑕疵檢測方法主要包括三個步驟：圖像預(yù)處理、特征提取和分類識別。布料瑕疵檢測方法流程如圖2所示。

圖2　布料瑕疵檢測方法流程

其中，圖像的預(yù)處理是瑕疵檢測方法中的準(zhǔn)備階段，經(jīng)過預(yù)處理的圖像，瑕疵特征更加突出，有利于在后續(xù)的特征提取過程中獲得更有用的信息。圖像特征提取可以獲得圖像瑕疵的高度抽象信息，將這些信息送入分類器進行識別，進而實現(xiàn)對圖像中布料瑕疵的檢測與分類。

2.1 圖像預(yù)處理

預(yù)處理階段的主要目的是通過灰度化、二值化、各種濾波、形態(tài)學(xué)處理以及開、閉運算等圖像處理手段，淡化或剔除布面紋理，突出瑕疵部分與正常布面的差異，增強檢測效果。在疵點定位與判別方面，預(yù)處理階段通過分割感興趣區(qū)域（ROI）減少定位與識別的計算量。濾波可以降低圖像高頻噪聲；灰度化、二值化等定位并分割目標(biāo)區(qū)域；形態(tài)學(xué)處理對被分割的前景進行微調(diào)，并提取其中的形態(tài)學(xué)特征。

2.2 特征提取

特征提取可以弱化或剔除與檢測目標(biāo)無關(guān)的信息，留下有效特征，提高分類效果。在布料瑕疵檢測中，主要有基于結(jié)構(gòu)、統(tǒng)計學(xué)、頻域、模型以及字典學(xué)習(xí)五種特征分類方法。

2.2.1 基于結(jié)構(gòu)的分類特征基于結(jié)構(gòu)的特征將織物圖像理解為各種紋理的集合。這種方法可以針對基本紋理結(jié)構(gòu)的不同組合來還原布料的整體紋理[5]。其步驟為：首先獲取布料圖像中的基本紋理，其次根據(jù)獲取到的紋理對布料建模，最后根據(jù)建立的紋理模型識別是否存在缺陷[6]?；诮Y(jié)構(gòu)的特征受到紋理完整性的限制，檢測時局限較大，現(xiàn)在已經(jīng)較少使用。

2.2.2基于統(tǒng)計學(xué)的分類特征 統(tǒng)計學(xué)方法通過對布料圖片提取統(tǒng)計信息的方法獲得其紋理信息。規(guī)律性的紋理在圖像的空間域中灰度分布，表現(xiàn)為相距特定距離的兩像素之間存在相對確定的灰度關(guān)系?；叶裙采仃嚒⒅狈綀D統(tǒng)計、分形維數(shù)、形態(tài)學(xué)等統(tǒng)計學(xué)特征常應(yīng)用于瑕疵檢測過程。

灰度共生矩陣可以反映灰度圖像中像素點方向、距離及能量值等方面的變化情況，分析不同像素排列方式蘊含的潛在規(guī)律，其中常用的統(tǒng)計量包括二階矩、對比度、相關(guān)性、熵等。直接使用灰度?梯度共生矩陣時，提取的缺陷信息中也混有背景的梯度信息。對此，李小寧等[7]將自適應(yīng)中值濾波與灰度共生矩陣相結(jié)合，降低了背景對缺陷信息的干擾，將檢測準(zhǔn)確率提升到87.89%，但自適應(yīng)中值濾波通常處理速度較慢?；叶裙采仃嚪椒ㄗ陨沓Ｒ蛴嬎懔枯^大而實時性不佳，同時滑動窗口也會導(dǎo)致瑕疵信息的丟失。對此，文獻[8-11]分別將灰度共生矩陣法與圖像分塊、反向投影、LBP算子等相結(jié)合，優(yōu)化灰度參數(shù)，降低計算量。但綜合來看，灰度共生矩陣法的實時性仍有待提高。

直方圖統(tǒng)計法也是統(tǒng)計學(xué)方法中較為常見的缺陷檢測算法。劉海軍等[12?13]分別提出了基于HOG特征的本色布瑕疵檢測算法與紡織布料檢測算法，在最佳參數(shù)下，算法分類準(zhǔn)確率均可達到90%以上。李春雷等[14]提出了一種結(jié)合HOG和低秩分解的瑕疵檢測算法，對于紋理信息復(fù)雜的布匹也有很好的檢測效果。直方圖統(tǒng)計算法相對簡單，但誤檢率較高。

形態(tài)學(xué)方法作為一類基礎(chǔ)的圖像處理方法，可以對二值化后得到的異常區(qū)域提取形態(tài)特征，實現(xiàn)檢測與分類。韓曉軍等[15]通過對二值化預(yù)檢出的瑕疵區(qū)域提取面積、周長、長度三個形態(tài)特征完成分類，郝陽[16]在提取形態(tài)特征的基礎(chǔ)上結(jié)合了灰度特征。但是，該方法往往會由于生產(chǎn)速度快而導(dǎo)致檢測效果不佳，對此，何峰等[17]提出一種窗口跳步形態(tài)學(xué)的檢測方法。孫國棟等[18]使用了一種基于灰度直方圖反向投影的檢測方法，獲得了較好的檢測速度。形態(tài)學(xué)方法檢測速度快，但難以獲取深層信息，一般不單獨使用。

在統(tǒng)計學(xué)檢測方法中，灰度共生矩陣的使用更為普遍，適合紋理清晰、規(guī)律性強的本色布瑕疵檢測，但其處理速度相對較慢。當(dāng)采集的原始布料圖像較大而瑕疵較小時，如不進行圖像壓縮，則難以達到實時檢測的要求。相較于灰度共生矩陣法，直方圖統(tǒng)計法和形態(tài)學(xué)方法可以兼顧檢測精度與檢測效率。

2.2.3基于頻域的分類特征 布料的非瑕疵區(qū)域往往存在均勻一致的紋理，在頻域中的特定區(qū)域內(nèi)表現(xiàn)出具有一致性的穩(wěn)定特征。當(dāng)遇到瑕疵時，紋理的一致性被打破，其在頻域中表現(xiàn)為突然增加的低頻分量。此時，采用合適的濾波器處理圖像，可以在保留瑕疵信息的同時弱化紋理信息對檢測過程的干擾。

傅里葉變換可以將圖像從空間域的像素描述方式轉(zhuǎn)換到頻域平面波疊加的描述方式。文獻[19-20]先對圖像做傅里葉變換，再做頻域濾波，剔除正常紋理信息。G.H.Hu等[21]通過結(jié)合傅里葉分析和小波收縮，實現(xiàn)無參考情況下的瑕疵圖像分類。任歡歡等[22]通過匹配傅里葉位移定理曲線和瑕疵位置的相對偏移量，加強對瑕疵細(xì)節(jié)信息的提取。景軍鋒等[23]提出了一種基于Mean Shift濾波的織物瑕疵檢測方法。M.Guan等[24]使用Roberts算子提取待檢測布料圖像中的缺陷。傅里葉變換可以有效去除布料本身紋理對缺陷檢測的影響。

Gabor濾波變換在對圖像進行局部檢測的同時也能很好地描述織物紋理特征，因此在紡織品上有較大應(yīng)用潛力。尉苗苗等[25]采用量子行為粒子群優(yōu)化(QPSO)算法優(yōu)化濾波器參數(shù)；湯曉慶等[26]對圖像使用不同尺度Gabor濾波變換進行濾波，來降低非瑕疵區(qū)域?qū)z測效果的影響。Gabor濾波變換具備在頻域不同尺度、不同方向上提取特征的能力，但其窗口大小固定，對多尺度檢測的適應(yīng)性較差，需要針對不同紋理與缺陷設(shè)計合適參數(shù)。綜合來看，Gabor濾波變換在實際使用過程中的適應(yīng)性仍有待提高。

Gabor濾波變換是非正交的，因此在變換后的不同特征分量之間仍有冗余，相比之下，小波變換在分析紋理特征中效率更高。文獻[27-29]分別將小波變換與經(jīng)向緯向采樣、局部熵、高斯混合模型相結(jié)合，進一步提升了小波變換的檢測精度。S. Sadaghiyanfam等[30]綜合分析了基于灰度共生矩陣和小波變換方法的兩種實現(xiàn)方案，兩種方法受布料背景紋理和瑕疵邊緣紋理的影響較大，并且對格點、雙緯、經(jīng)紗三種瑕疵不能做到有效檢出?；谛〔ㄗ儞Q的疵點檢測算法可以較好地實現(xiàn)局部瑕疵的分類，但適應(yīng)性較差。

傅里葉變換實現(xiàn)了圖像空間域到時間域的轉(zhuǎn)換，為頻域分析的思想提供了基礎(chǔ)。小波變換克服了窗口大小固定等缺點，在關(guān)注信號細(xì)節(jié)方面更有優(yōu)勢。Roberts、Gabor等算子則將頻域思想與空間域卷積相結(jié)合，降低了計算的復(fù)雜度。

2.2.4基于模型的分類特征 一些傳統(tǒng)的模式識別方法的缺陷檢測缺乏適應(yīng)性，檢測性能較差，而基于模型的方法可以根據(jù)特定分布模型，在布料紋理規(guī)律較弱頻域和統(tǒng)計學(xué)等方法檢測效果不佳的情況下，實現(xiàn)瑕疵提取。G.H.Hu等[31]將多個通道的信息進行融合，根據(jù)Gumbel分布模型與特征圖中的像素分布進行建模；C.L.Li等[32]提出了一種基于紋理描述子和低秩分解模型的織物瑕疵檢測方法，具有較高檢測精度和自適應(yīng)能力；C.L.Li等[33]提出了一種基于生物視覺建模的方法，對平紋或斜紋織物以及紋理復(fù)雜的花型織物檢測效果較好。

2.2.5基于字典學(xué)習(xí)的分類特征 字典學(xué)習(xí)廣泛用于圖像去噪、聚類、分類等方面，通過從原圖像中找到一組特殊的稀疏信號作為視覺單詞，并將視覺單詞組合成字典，實現(xiàn)對原始信號的線性表示。閆磊[34]提出一種基于字典學(xué)習(xí)和HOG特征稀疏表示的布匹瑕疵檢測方法，并以稀疏表示的系數(shù)矩陣作為特征。范曉婷[35]設(shè)計了一種基于卷積匹配追蹤雙重字典的瑕疵檢測算法，將圖像在字典上的投影作為分類特征。占竹等[36]提取織物上的非瑕疵區(qū)域，再用字典對其重構(gòu)，實現(xiàn)分類。字典學(xué)習(xí)的算法相對復(fù)雜，分類準(zhǔn)確率高。

2.3 分類識別

瑕疵檢測通常是指將瑕疵從正常布料中檢測出來的過程，而瑕疵識別則是對檢測到的瑕疵進行分類。在布料瑕疵檢測過程中，常用的分類器有支持向量機、貝葉斯分類器、?means聚類等，針對不同的特征合理選擇分類器，可以有效提高分類精度。

2.3.1支持向量機 支持向量機是一種機器學(xué)習(xí)分類方法，能夠在統(tǒng)計樣本量較少的情況下獲得良好統(tǒng)計規(guī)律。王鶴翔[37]采用支持向量機對灰度特征進行分類，獲得了較快的檢測速度，但對彩色布匹檢測效果較差。M.Li等[38]對有缺陷和無缺陷區(qū)域進行顯著性特征的統(tǒng)計，再使用支持向量機進行分類，實現(xiàn)了較高的檢測精度。支持向量機作為小樣本二分類學(xué)習(xí)方法，具有優(yōu)秀的泛化能力，同時也對異常值不敏感，這有助于在學(xué)習(xí)過程中抓住關(guān)鍵樣本，增強算法的魯棒性。但是，支持向量機在處理大樣本時，訓(xùn)練時間較長。

2.3.2貝葉斯分類器 貝葉斯分類器是一種統(tǒng)計分類方法。通過貝葉斯公式，分類器根據(jù)某一待分類對象的先驗概率進行計算，得出后驗概率，并選擇具有最大后驗概率的類作為該對象所屬的類。Y.Daniel等[39]提出了一種基于非基元的缺陷檢測方法。該方法將布料圖像分解成基本重復(fù)單元，為局部紋理單元構(gòu)建了一種折中的表示方式，引入了冗余輪廓波?廣義高斯有限混合模型特征（RCT?MoGG），并用貝葉斯分類器進行分類，對平紋、斜紋、方格布、條紋織物等均有良好的檢測效果。

2.3.3?means聚類 作為一種無監(jiān)督聚類算法，?means采用數(shù)據(jù)之間的距離作為相似性指標(biāo)，來對給定數(shù)據(jù)集中的數(shù)據(jù)進行分類。A.A.Hamdi等[40]介紹了一種針對花型織物的無監(jiān)督織物瑕疵檢測算法，具有較高的檢測準(zhǔn)確率。該算法也可以推廣到平紋織物。

3 基于深度學(xué)習(xí)的布料瑕疵檢測方法

深度學(xué)習(xí)通過搭建多層網(wǎng)絡(luò)，來獲取深層次特征，并使用更深層次的特征來表征數(shù)據(jù)中隱含的語義信息，以獲得更好的特征魯棒性。通過深度學(xué)習(xí)的方式可以準(zhǔn)確、高效地檢測布料中是否存在瑕疵，并將瑕疵分類。目前布匹檢測的深度學(xué)習(xí)研究方向有自動編碼器和卷積神經(jīng)網(wǎng)絡(luò)等。

3.1 基于自動編碼器的布匹瑕疵檢測方法

自動編碼器是一種無監(jiān)督學(xué)習(xí)算法，經(jīng)常被用于特征降維。此外，通過結(jié)合自動編碼器與已有的監(jiān)督學(xué)習(xí)模型，可以實現(xiàn)特征的提取。作為一種學(xué)習(xí)數(shù)據(jù)表示的方法，自動編碼器也常被用于表面缺陷檢測。Y.D.Li等[41]在自動編碼器基礎(chǔ)上提出一種針對團狀紋理的織物瑕疵判別表示法，對周期圖案織物和經(jīng)編提花織物的檢測效果十分理想。在一些布料圖像中，無缺陷區(qū)域重建困難，檢測不準(zhǔn)確，對此，H.Tian等[42]提出了一種基于自編碼器的織物瑕疵檢測方法，并能夠有效重構(gòu)圖像局部的紋理區(qū)域。針對瑕疵樣本有限的問題，文獻[43-44]提出了棧式去噪自編碼器與Fisher準(zhǔn)則相結(jié)合的檢測算法。劉海軍等[45]用訓(xùn)練好的自動編碼器神經(jīng)網(wǎng)絡(luò)壓縮原始圖像作為輸入圖像所對應(yīng)的特征向量，并進行分類。

3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的布匹瑕疵檢測方法

卷積神經(jīng)網(wǎng)絡(luò)是一種有監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，由多層網(wǎng)絡(luò)結(jié)構(gòu)組成。在圖像檢測與識別領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)比傳統(tǒng)分類方法有更強的容錯、學(xué)習(xí)能力。對于瑕疵分類較多的布料，卷積神經(jīng)網(wǎng)絡(luò)的適應(yīng)性也更強。為防止過擬合，優(yōu)化網(wǎng)絡(luò)實時性，提升小樣本訓(xùn)練精度，吳志洋等[46]設(shè)計了一個雙網(wǎng)絡(luò)并行的淺層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；趙志勇等[47]提出一種基于Inception?Resnet?v2網(wǎng)絡(luò)的布匹缺陷判決算法。萬東[48]采用卷積神經(jīng)網(wǎng)絡(luò)提取特征，再使用支持向量機分類。劉閃亮[49]提出了基于ODFT Net的卷積神經(jīng)網(wǎng)絡(luò)的織物缺陷檢測方法。史甜甜[50]提出了基于Fisher準(zhǔn)則的深層卷積神經(jīng)網(wǎng)絡(luò)織物瑕疵檢測算法。B.Wei[51]提出了壓縮感知和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的檢測方法。楊偉嘉[52]提出基于全卷積自編碼器網(wǎng)絡(luò)的無監(jiān)督布料瑕疵檢測方法，采用深度可分離卷積模塊以及減少特征圖深度。劉洋洋[53]改進了Faster R?CNN網(wǎng)絡(luò)，利用聚類分析算法調(diào)整anchor參數(shù)，使用非單一閾值的多檢測器結(jié)構(gòu)分多次修正檢測框。許玉格等[54]結(jié)合通道疊加的ResNet50卷積神經(jīng)網(wǎng)絡(luò)與冗余特征過濾的特征金字塔網(wǎng)絡(luò)，降低特殊缺陷數(shù)據(jù)集較少的影響。J.Jing等[55]提出了Mobile?Unet網(wǎng)絡(luò)，引入深度可分離卷積，降低網(wǎng)絡(luò)的規(guī)模，并采用Mobile?Net V2特征提取器作為編碼器，在印染布與本色布中分別達到99%和92%的檢測精度。孫羽等[56]提出一種基于改進的多層感知機卷積神經(jīng)網(wǎng)絡(luò)預(yù)測算法，該算法增強特征表示能力、優(yōu)化收斂速度，檢測準(zhǔn)確率達到98.90%。

為了提高小模型網(wǎng)絡(luò)的檢測效果，Y.Li等[57]提出使用多個具有多層感知器的微型結(jié)構(gòu)來優(yōu)化網(wǎng)絡(luò)，在網(wǎng)絡(luò)模型較小的情況下取得了優(yōu)異性能，檢測準(zhǔn)確率達到97.82%。T.Wang等[58]設(shè)計了一個全局幀和子圖聯(lián)合檢測的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，全局幀通過紋理特征分類樣本，子圖負(fù)責(zé)判斷樣本是否含有缺陷區(qū)域。

為了一步實現(xiàn)瑕疵檢測、分類與定位，張麗瑤等[59]使用SSD算法進行瑕疵檢測，可以定位四種織物瑕疵并給出分類信息。H.W.Zhang等[60]使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的YOLOV2染色織物缺陷檢測方法，在負(fù)樣本有限的情況下提取缺陷特征，實現(xiàn)分類與目標(biāo)檢測。W.B.Ouyang等[61]在CNN網(wǎng)絡(luò)基礎(chǔ)上引入一種新型的電位激活層，獲得了較高的檢測準(zhǔn)確率與精度，但網(wǎng)絡(luò)計算量較大。

基于深度學(xué)習(xí)的布匹瑕疵檢測方法檢測準(zhǔn)確率高，定位精準(zhǔn)。雖然存在數(shù)據(jù)需求大、硬件配置要求較高等缺點，但隨著計算機算力的提升，對大體量圖像數(shù)據(jù)的采集與分析將不再是不可逾越的障礙。輕量級卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展也從另一個角度給出了解決方案。馬原東等[62]在卷積神經(jīng)網(wǎng)絡(luò)后采用非極大值抑制分類算法合并檢測框，提高模型檢測效果，利用特征圖分割降低算法對硬件要求，提高算法普適性，檢測速度達到3 幀/s，檢測準(zhǔn)確率達到99.60%，進一步證實了卷積神經(jīng)網(wǎng)絡(luò)在布料瑕疵檢測領(lǐng)域的應(yīng)用潛力。

4 算法對比

介紹了布料瑕疵檢測領(lǐng)域的發(fā)展情況，討論了布料瑕疵檢測系統(tǒng)的硬件構(gòu)成，梳理了目前常用的瑕疵檢測方法與基本的檢測流程。在圖像處理方面，分為預(yù)處理、特征提取、分類識別三個步驟，其中特征包括結(jié)構(gòu)、統(tǒng)計、頻域、模型和字典學(xué)習(xí)等。分類識別方法有支持向量機、貝葉斯分類、?means聚類等。在深度學(xué)習(xí)方面，分析了各種自動編碼器算法與卷積神經(jīng)網(wǎng)絡(luò)算法的優(yōu)劣。各種算法特點如表2-4所示。

表2　特征提取階段各檢測算法對比

表3　分類識別階段各檢測算法對比

表4　基于深度學(xué)習(xí)的布料瑕疵檢測算法對比

傳統(tǒng)圖像處理方法，多采用統(tǒng)計學(xué)方法與頻域法提取特征，分類識別過程則通常采用支持向量機與貝葉斯分類，檢測準(zhǔn)確率普遍在85%～96%；在基于深度學(xué)習(xí)的檢測算法中，卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用更為廣泛，檢測準(zhǔn)確率普遍在95%以上。

5 結(jié) 論

近年來，織物瑕疵檢驗領(lǐng)域發(fā)展迅速，在實際生產(chǎn)過程中的應(yīng)用也越來越廣泛，但其中仍存在很多問題：（1）隨著紡織技術(shù)的不斷發(fā)展，織物的紋理結(jié)構(gòu)呈現(xiàn)出復(fù)雜化、多樣化的趨勢，這使瑕疵的種類更多，其識別難度也在不斷提升，已經(jīng)在布料檢測系統(tǒng)的實際應(yīng)用方面成為未來幾年亟待解決的首要問題。（2）目前的布料瑕疵檢測領(lǐng)域仍然缺少一個全面、權(quán)威、規(guī)范的數(shù)據(jù)庫，因此，從長遠來看，建立完備的布料瑕疵數(shù)據(jù)庫不僅對該領(lǐng)域的研究起到重要推動作用，也對生產(chǎn)過程中提升布料品質(zhì)有著重要指導(dǎo)意義。（3）對不同處理工序下產(chǎn)生的瑕疵的檢出和分類尚有待于進行更深入的研究。（4）面對多樣的產(chǎn)品類型和瑕疵類型，單一的處理方法依然具有一定的局限性。這些都是布料瑕疵檢測方法未來的研究與發(fā)展方向。綜合前述分析，智能化質(zhì)檢設(shè)備代替人工檢測是未來的發(fā)展趨勢，而計算機視覺技術(shù)在瑕疵檢測領(lǐng)域具有不可替代的應(yīng)用價值，基于計算機視覺的布料瑕疵檢測方法具有良好的發(fā)展前景與市場應(yīng)用潛力。

［1］ Yapi D， Allili M S， Baaziz N. Automatic fabric defect detection using learning?based local textural distributions in the contourlet domain［J］. IEEE Transactions on Automation Science & Engineering， 2017，15（3）1014?1026.

［2］ 全國紡織品標(biāo)準(zhǔn)化技術(shù)委員會.印染布布面疵點檢驗方法：GB/T 17760-2019 ［S］. 國家市場監(jiān)督管理總局中國國家標(biāo)準(zhǔn)化管理委員會.

［3］ 全國紡織品標(biāo)準(zhǔn)化技術(shù)委員會.本色布布面疵點檢驗方法：GB/T 17759-2018 ［S］. 國家市場監(jiān)督管理總局中國國家標(biāo)準(zhǔn)化管理委員會.

［4］ Ngan H Y T， Pang G K H， Yung N H C. Automated fabric defect detection：A review［J］. Image and Vision Computing， 2011， 29（7）：442?458.

［5］ Hanbay K， Talu M F， ?zgüven ? F. Fabric defect detection systems and methods：A systematic literature review［J］. Optik?International Journal for Light and Electron Optics， 2016， 127（24）： 11960?11973.

［6］ 趙志勇.基于深度學(xué)習(xí)的布匹缺陷識別與檢測研究［D］. 武漢：華中科技大學(xué)，2019.

［7］ 李小寧，楊學(xué)志.結(jié)合自適應(yīng)中值濾波和GGCM的織物質(zhì)量檢測［J］.合肥工業(yè)大學(xué)學(xué)報（自然科學(xué)版），2016，39（7）：906?910.

［8］ 閔信軍.基于灰度共生矩陣和視覺信息的布匹瑕疵檢測方法研究［D］.鎮(zhèn)江：江蘇大學(xué)，2018.

［9］ 吳哲，劉孝星，鄭力新，等.基于灰度共生矩陣特征圖像的織物疵點檢測方法［J］.微型機與應(yīng)用，2015，34（21）：47?50.

［10］ 孫國棟，林松，艾成漢，等.基于灰度共生矩陣與反向投影的織物疵點檢測［J］.計算機測量與控制，2016，24（7）：65?67.

［11］ 陸聰.基于灰度LBP共生矩陣和空間加權(quán)k?means的織物圖像瑕疵點分割［D］.杭州：浙江大學(xué)，2019.

［12］ 劉海軍，單維鋒，袁靜，等.基于梯度方向直方圖的本色布疵點檢測算法［J］.毛紡科技，2018，46（1）：69?72.

［13］ 劉海軍，單維鋒，韓瑩，等.基于梯度方向直方圖詞袋的紡織品疵點檢測算法［J］.毛紡科技，2019，47（3）：71?76.

［14］ 李春雷，高廣帥，劉洲峰，等.應(yīng)用方向梯度直方圖和低秩分解的織物疵點檢測算法［J］.紡織學(xué)報，2017，38（3）：149?154.

［15］ 韓曉軍，黃雷. 織物疵點的圖像信息檢測方法［J］.天津工業(yè)大學(xué)學(xué)報，2015，34（5）：48?51.

［16］ 郝陽.基于機器視覺的紡織品瑕疵檢測與分類［D］. 上海：東華大學(xué)，2018.

［17］ 何峰，周亞同，趙翔宇，等.紋理織物疵點窗口跳步形態(tài)學(xué)法檢測［J］.紡織學(xué)報，2017，38（10）：124?131.

［18］ 孫國棟，林松，艾成漢，等.基于灰度直方圖反向投影的織物疵點圖像分割［J］.制造業(yè)自動化，2016，38（4）：20?21.

［19］ Sakhare K， Kulkarni A， Kumbhakarn M， et al. Spectral and spatial domain approach for fabric defect detection and classification［C］// 2015 International Conference on Industrial Instrumentation and Control. Pune： IEEE， 2015： 640?644.

［20］ 劉偉斌，鄭力新，周凱汀.采用頻域濾波的織物疵點檢測方法［J］.華僑大學(xué)學(xué)報（自然科學(xué)版），2017，38（4）：562?566.

［21］ Hu G H， Wang Q H， Zhang G H. Unsupervised defect detection in textiles based on fourier analysis and wavelet shrinkage［J］. Applied Optics， 2015， 54（10）： 2963?2980.

［22］ 任歡歡，景軍鋒，張緩緩，等.應(yīng)用GIS和FTDT的織物錯花缺陷檢測研究［J］.激光與光電子學(xué)進展，2019，56（13）：94?99.

［23］ 景軍鋒，趙娟.基于Mean Shift濾波的織物疵點檢測方法［J］.電子測量與儀器學(xué)報，2016，30（5）：739?747.

［24］ Guan M， Zhong Z， Rui Y. Automatic defect segmentation for plain woven fabric images［C］// 2019 International Conference on Communications， Information System and Computer Engineering. Haikou： IEEE， 2019： 465?468.

［25］ 尉苗苗，李岳陽，蔣高明，等.應(yīng)用最優(yōu)Gabor濾波變換的經(jīng)編織物瑕疵檢測［J］.紡織學(xué)報，2016，37（11）：48?54.

［26］ 湯曉慶，黃開興，秦元慶，等.基于Gabor濾波變換和HOG特征的織物瑕疵檢測［J］.計算機測量與控制，2018，26（9）：39?42.

［27］ 楊亞，薛云燦，沙偉，等.基于正交小波分解的織物瑕疵檢測［J］.微處理機，2015，36（3）：46?49.

［28］ 顧菁，薛云燦，張龍，等.基于小波變換與局部熵的織物疵點檢測方法［J］.微處理機，2015，36（5）：69?71.

［29］ Li P G， Zhang H H， Jing J F， et al. Fabric defect detection based on multi?scale wavelet transform and gaussian mixture model method［J］. Journal of the Textile Institute， 2015， 106（6）： 587?592.

［30］ Sadaghiyanfam S. Using gray?level?co?occurrence matrix and wavelet transform for textural fabric defect detection： A comparison study［C］//2018 Electric Electronics，Computer Science，Biomedical Engineerings' Meeting. Istanbul：IEEE，2018.

［31］ Hu G H， Wang Q H. Fabric defect detection via un?decimated wavelet decomposition and gumbel distribution model［J］. Journal of Engineered Fibers and Fabrics， 2018， 13（1）： 15?32.

［32］ Lib C， Gao G S， Liu Z F， et al. Defect detection for patterned fabric images based on GHOG and low?rank decomposition［J］. IEEE Access， 2019， 7（99）： 83962?83973.

［33］ Li C L， Gao G S， Liu Z F， et al. Fabric defect detection based on biological vision modeling［J］. IEEE Access， 2018， 6： 27659?27670.

［34］ 閆磊.基于稀疏表示的織物瑕疵檢測算法研究［D］.鄭州：中原工學(xué)院，2016.

［35］ 范曉婷.織物瑕疵檢測算法研究［D］.西安：西安工程大學(xué)，2017.

［36］ 占竹，汪軍.基于字典學(xué)習(xí)的機織物疵點圖像等級評定研究［J］.毛紡科技，2019，47（1）：80?85.

［37］ 王鶴翔.基于小波變換和SVM的織物瑕疵檢測與分類［D］.上海：東華大學(xué)，2015.

［38］ Li M， Wan S， Deng Z， et al. Fabric defect detection based on saliency histogram features［J］ Computational Intelligence， 2019， 35（3）： 517?534.

［39］ Daniel Y， Mohand S A， Nadia B，et al. Automatic fabric defect detection using learning?based local textural distributions in the contourlet domain［J］. IEEE Transactions on Automation Science & Engineering， 2017，15（3） 1014?1026.

［40］ Hamdi A A， Sayed M S， Fouad M M， et al. Unsupervised patterned fabric defect detection using texture filtering and?means clustering［C］// 2018 International Conference on Innovative Trends in Computer Engineering. Aswan： IEEE， 2018： 130?144.

［41］ Li Y D， Zhao W G， Pan J H. Deformable patterned fabric defect detection with fisher criterion?based deep learning［J］. IEEE Transactions on Automation Science and Engineering， 2017，14（2）：1256?1264.

［42］ Tian H， Li F. Autoencoder?Based fabric defect detection with cross?patch similarity［C］// 2019 16th International Conference on Machine Vision Applications. Tokyo： IEEE Xplore， 2019.

［43］ 景軍鋒，黨永強，蘇澤斌，等.基于改進SAE網(wǎng)絡(luò)的織物疵點檢測算法［J］.電子測量與儀器學(xué)報，2017，31（8）：1321?1329.

［44］ Li Y D， Zhang J Y， Lin Y B. Combining fisher criterion and deep learning for patterned fabric defect inspection［J］. The Institute of Electronics， Information and Communication Engineers， 2016， 99 （11）： 2840?2842.

［45］ 劉海軍，張莉麗，耿貴珍，等.基于自動編碼器的本色布疵點檢測算法［J］.毛紡科技，2019，47（9）：79?83.

［46］ 吳志洋，卓勇，李軍，等.基于卷積神經(jīng)網(wǎng)絡(luò)的單色布匹瑕疵快速檢測算法［J］.計算機輔助設(shè)計與圖形學(xué)學(xué)報，2018，30（12）：2262?2270.

［47］ 趙志勇，葉林，桑紅石，等.深度學(xué)習(xí)在布匹缺陷檢測中的應(yīng)用［J］.國外電子測量技術(shù)，2019，38（8）：110?116.

［48］ 萬東.基于深度學(xué)習(xí)的布匹疵點檢測算法及系統(tǒng)研究［D］.武漢：華中科技大學(xué)，2017.

［49］ 劉閃亮.基于卷積神經(jīng)網(wǎng)絡(luò)的織物圖像缺陷檢測定位算法研究［D］.鄭州：中原工學(xué)院，2019.

［50］ 史甜甜.基于深度學(xué)習(xí)的織物瑕疵檢測研究［D］.杭州：浙江理工大學(xué)，2019.

［51］ Wei B. A new method using the convolutional neural network with compressive sensing for fabric defect classification based on small sample sizes［J］. Textile Research Journal， 2019， 89（17）： 3539?3555.

［52］ 楊偉嘉. 基于自編碼器網(wǎng)絡(luò)的布料瑕疵檢測系統(tǒng)［D］.廣州：華南理工大學(xué)，2020.

［53］ 劉洋洋. 基于深度學(xué)習(xí)的布匹缺陷檢測方法研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2020.

［54］ 許玉格，鐘銘，吳宗澤，等.基于深度學(xué)習(xí)的紋理布匹瑕疵檢測方法［EB/OL］. （2020?06?19）［2021?01?04］.https：//doi.org/10.16383/j.aas.c200148.

［55］ Jing J， Wang Z， Rtsch M， et al. Mobile?Unet： An efficient convolutional neural network for fabric defect detection［EB/OL］. （2020?03?29）［2021?01?05］. https：//journals.sagepub.com/doi/10.1177/0040517520928604.

［56］ 孫羽，何志勇，張浩，等.基于DCNN的布匹疵點檢測方法［J］.中國科技信息，2021（2）：92?95.

［57］ Li Y， Zhang D， Lee D J. Automatic fabric defect detection with a wide?and?compact network［J］. Neurocomputing， 2019， 329：329?338.

［58］ Wang T， Chen Y， Qiao M N， et al. A fast and robust convolutional neural network?based defect detection model in product quality control［J］. International Journal of Advanced Manufacturing Technology， 2018， 94： 3465?3471.

［59］ 張麗瑤，王志鵬，徐功平.基于SSD的織物瑕疵檢測的研究［J］.電子設(shè)計工程，2020，28（6）：40?44.

［60］ Zhang H W， Zhang L J， Li P F， et al. Yarn?dyed fabric defect detection with yolov2 based on deep convolution neural networks［C］// 2018 IEEE 7th Data Driven Control and Learning Systems Conference. Enshi： IEEE， 2018： 170?174.

［61］ Ouyang W B， Xu B G， Hou J， et al. Fabric defect detection using activation layer embedded convolutional neural network［J］. IEEE Access， 2019， 7： 70130?70140.

［62］ 馬原東，倪照風(fēng)，徐斌，等.基于卷積神經(jīng)網(wǎng)絡(luò)的布料疵點檢測方法［J］.科學(xué)技術(shù)與工程，2020，20（25）：10327?10333.

A Review of Fabric Defect Detection Methods Based on Computer Vision

Han Jiyang1， Cao Jiangtao1， Wang Henan1， Ji Xiaofei2

（1.School of Information and Control Engineering，Liaoning Petrochemical University，F(xiàn)ushun Liaoning 113001，China；2.College of Automation，Shenyang Aerospace University，Shenyang Liaoning 110136，China）

For a long time, fabric defect detection has been completed by quality inspectors. Meanwhile, the process of defect discrimination is greatly affected by subjective factors and has the problems of low detection efficiency and high cost. With the close combination of computer vision technology and various fields, fabric defect detection system based on vision has gradually become an important solution to replace manual quality inspection. For the fabric defect detection based on vision, this paper reviews the aspects including industry development, general detection standards, overall structure of the system and key technologies in detection algorithms, introduces the existing fabric defect detection products based on vision in the market, analyzes the common defect detection standards and the basic structure of the detection system, and summarizes and compares the research status of image processing and deep learning technology in the field of fabric defect detection in recent years. Finally, the paper summarizes the key problems to be solved, and discusses the possible development direction in the future.

Defect detection； Fabric detection； Objection recognition； Computer vision； Image processing

TP391

A

10.3969/j.issn.1672?6952.2022.01.013

1672?6952（2022）01?0070?08

2021?01?13

2021?02?21

國家自然科學(xué)基金項目(61673199)；遼寧省科學(xué)事業(yè)公益研究基金項目(2016002006)。

韓濟陽(1996?)，男，碩士研究生，從事計算機視覺理論與應(yīng)用方面研究；E?mail：myoryx@163.com。

曹江濤(1978?)，男，博士，教授，博士生導(dǎo)師，從事智能信息處理方面研究；E?mail：cigroup@126.com。

http：//journal.lnpu.edu.cn

（編輯 陳 雷）