織物疵點自動檢測方法及應用進展

張 露,朱文俊,祝雙武

(西安工程大學 紡織科學與工程學院,陜西 西安710048)

紡織行業(yè)是我國國民經(jīng)濟支柱產(chǎn)業(yè)之一,規(guī)模龐大,人民的生活與紡織行業(yè)的發(fā)展息息相關,因此,如何提升紡織行業(yè)的經(jīng)濟效益、加強紡織企業(yè)的生命力,一直以來都是頗受關注的問題。在紡紗、織前準備、織造、染色、印花、后整理這一系列復雜有序的紡織制造過程中,會產(chǎn)生很多影響織物品質的因素,因而每一個環(huán)節(jié)的質量和穩(wěn)定性把控都相當重要[1]。在這些環(huán)節(jié)中,各個階段都有可能會在布面產(chǎn)生疵點,調查顯示,疵點的存在會使紡織品的價格下降45%～65%,織物疵點無疑是一個影響織物品質的重要因素,織物疵點的多少關系著紡織企業(yè)的收益,也是公司生產(chǎn)管理水平的象征[2-3]。為了盡量減少織物疵點帶來的損失,企業(yè)一方面著力提升織造質量,減少疵點的產(chǎn)生,另一方面重點進行織物疵點的檢測,盡可能早地發(fā)現(xiàn)疵點,進行處理和修復,降低疵點帶來的影響。在疵點檢測方面,由于織物復雜多樣、疵點種類繁雜,人工檢測又存在速度慢、工費高、主觀性強等問題[4-5],利用機器視覺對織物疵點進行自動檢測成為研究的熱點話題,以“織物疵點檢測”為主題進行中英文文獻的檢索,可查找到相關文獻約3 000篇,且論文發(fā)表數(shù)量仍呈逐年上升趨勢。對織物疵點自動檢測系統(tǒng)現(xiàn)狀進行了簡要介紹,對系統(tǒng)開發(fā)所使用到的方法進行總結和分類,對相關論文進行了比較和歸納。

1 織物疵點自動檢測系統(tǒng)

國外從20世紀80年代就已經(jīng)開始了對疵點檢測系統(tǒng)的研究,出現(xiàn)了許多知名的在線疵點檢測系統(tǒng),如比利時BARCO公司的Cyclops織機疵點檢測系統(tǒng)、以色列EVS公司的IQ-TEX 4智能檢測系統(tǒng)、瑞士Uster公司的Fabriscan自動驗布系統(tǒng)及Q-Bar 2織物檢測儀、Cognex公司的MV-tec NI和Smart View自動驗布系統(tǒng)等[6-7]。近年來,隨著織物疵點檢測算法的成熟,國內也陸續(xù)開發(fā)出了一些織物疵點的自動檢測服務,如陜西長嶺紡織機電科技有限公司的FS220型光電自動驗布機、深圳靈圖慧視的LTAI系列智能驗布機、深圳新視智科技術有限公司的紡織全棧式機器視覺質量檢測解決方案等[8-9]。

由于技術方面仍待完善,特別是系統(tǒng)檢測速度和檢測精度的限制,現(xiàn)有的織物疵點自動檢測系統(tǒng)通常選擇在機下進行驗布,一般具有布面牽引系統(tǒng)、圖像采集系統(tǒng)、圖像識別系統(tǒng)、疵點標記系統(tǒng)和人機界面等配置[10]。

近年來,也出現(xiàn)了一些可解決實時性問題的疵點檢測系統(tǒng),如瑞士Uster的Q-Bar 2織物檢測儀,可直接定位在經(jīng)紗和緯紗的交織區(qū)域,在緯紗穿過前對經(jīng)紗進行監(jiān)控,同時也能夠監(jiān)控引入緯紗的動作,實時進行織物疵點檢測,及時對布面瑕疵做出反應,但此系統(tǒng)主要針對機織物織造階段。江南大學開發(fā)了一款檢測裝置,可對經(jīng)編織物織造過程中產(chǎn)生的疵點進行實時預警[11],但檢測的仍是平面織物。2018年,Takeuchi等通過使用捕獲的織物圖像中縱向連續(xù)像素(ABW)移動平均線的差值,對針織圓機上的織物進行了簡單的定量檢測,但只對垂直線性疵點有較好的效果[12],目前,對于曲面織物的實時檢測仍待進一步研究。

2 織物疵點檢測常用方法

從20世紀80年代開始,眾多學者研究并提出了許多不同種類的織物疵點檢測算法。東華大學的李立輕等在2002年按照圖像處理的方法,將研究的途徑分為空間域處理和頻域轉換處理兩種[13]。步紅剛、黃秀寶在2006年發(fā)表在東華大學學報上的文章中將織物疵點檢測方法按使用階段分為特征提取與選擇模塊、檢測模塊兩個部分[14]。Ajay Ku mar在2008年對大約160篇參考文獻中關于織物疵點檢測技術進行了綜述,基于來自織物表面特征的性質,把織物疵點檢測方法將分為統(tǒng)計方法、譜分析方法和基于模型的方法三類。徐偉峰等分別從圖像預處理、圖像分割、織物疵點特征提取三個方面介紹了織物疵點檢測系統(tǒng)中用到的算法[15]。還有一種比較常見的分類方式主要聚焦在特征提取和分類階段,按照圖像處理的原理不同,分成結構方法、統(tǒng)計學方法、頻譜分析方法、基于模型的方法、基于學習的方法以及混合的方法。其中結構法、統(tǒng)計法、頻譜分析法、模型法是傳統(tǒng)的數(shù)字圖像處理方法,基于學習的方法則涉及到了機器學習的概念,按照這種分類方式進行織物疵點檢測的方法介紹。

2.1 結構方法

結構方法(SA)是將圖像紋理看作紋理基元的組合,每種紋理都可根據(jù)特定的替換規(guī)則,由一個個基元復制[16],主要包括紋理元素的提取和替換規(guī)則的推斷兩個步驟。祝雙武等分析織物的紋理結構,利用自相關函數(shù)提取織物紋理的基元模板,通過紋理基元與模板間的差對疵點進行增強,再利用Otsu方法對計算出的局部不平整度進行閾值分割,檢測織物中的疵點[17]。這種方法存在一定的局限性,只有在織物圖像紋理非常規(guī)則的情況下表現(xiàn)比較良好,無法應對不規(guī)則織物,在進行疵點檢測時往往需要借助其他手段。

2.2 統(tǒng)計學方法

對于正?？椢?其表面紋理比較規(guī)律,統(tǒng)計學特征較為穩(wěn)定,而如若織物表面存在疵點,則會帶來突變,破壞這種穩(wěn)定性,統(tǒng)計學方法通過研究圖像之間關系的統(tǒng)計特性,借助如一階、二階統(tǒng)計量,將這類紋理特征量化提取。常用的統(tǒng)計學方法主要包括直方圖特征、灰度共生矩陣、分形學[18]、自相關函數(shù)、數(shù)學形態(tài)學及一些特征濾波器。Che-Seung Cho等利用數(shù)學形態(tài)學的腐蝕操作進行噪聲的去除[19]。K.L.Mak等利用Gabor小波網(wǎng)絡提取出的紋理特征構建了幾個形態(tài)學濾波器,計算量不顯著,應用在自動檢測系統(tǒng)中,對機織物疵點檢測率可達97.4%[20]。

灰度共生矩陣法是統(tǒng)計學方法中使用較為頻繁的一種,原理是在多角度對一定距離下的兩個像素點構建灰度共生矩陣,通過計算矩陣的能量、熵、逆差矩、自相關和對比度等二階統(tǒng)計量來獲取織物的特征[21]。這種方法易于實現(xiàn),且適應性強、魯棒性高,對結構型疵點和色彩型疵點都有較為直觀的描述效果[22],但存在計算量大的問題。

直方圖特征以像素種類為橫坐標,像素個數(shù)為縱坐標,主要反映圖像的像素分布情況,特征可取平均值、標準差、方差和中值等,常見的方法有方向梯度直方圖(HOG),提取較為穩(wěn)定的邊緣特征,對局部形狀特征效果好,但生成描述子過程較為耗時,且對噪聲敏感。局部二值模式(LBP)也是一種常見的統(tǒng)計學方法,一般做法是對圖像進行LBP編碼,以編碼模式為像素種類進行直方圖統(tǒng)計,提取特征。這種方法計算量較低,對光照變化不敏感,普遍應用于人臉識別方向,Tajer pour等首次將LBP算子應用于織物疵點檢測研究中[23],之后,有許多研究人員對LBP算子進行了改進[24-28],試圖解決LBP算子特征模式多、像素相關性弱等問題。

2.3 頻譜分析方法

傳統(tǒng)的數(shù)字圖像處理方法主要分為空域分析和頻域分析兩種,前文提到的兩種方法都屬于空域分析,是對圖像矩陣進行分析處理。而頻譜分析法一般會通過傅里葉變換、Gabor變換、小波變換等方法將圖像信息從空域轉換到頻域,再進行分析處理,是織物疵點檢測中最常用到的方法,對結構型疵點表現(xiàn)良好,但是對于含有隨機紋理的織物效果不明顯。傅里葉變換是織物分析的經(jīng)典方法,對織物圖像進行全局分析,現(xiàn)在通常與其他方法一起使用;小波變換能夠同時實現(xiàn)時間和頻率的局部化,這種方法在邊緣突出的疵點中表現(xiàn)良好,但在灰度差異較平滑的疵點中表現(xiàn)不佳;Gabor濾波器很好地模擬了人眼的視覺效果,織物紋理表征效果好,然而,由于Gabor濾波器需在多尺度和多方向上進行濾波,導致計算復雜度高,難以滿足實時要求,為了降低計算復雜度,往往要進行優(yōu)化處理[29]。

2.4 基于模型的方法

圖像中的紋理也可以用預先設定的參數(shù)確定,然后形成一個確定的或隨機的模型,使用的模型參數(shù)在捕獲紋理細節(jié)方面非常重要。該方法的最大優(yōu)點是可以產(chǎn)生用于匹配被觀察織物的織物紋理,對于背景花紋復雜及重復性差的織物也能有較好的檢測效果,但計算量大,對于小區(qū)域疵點檢測效果不佳。最常用的模型是自回歸[30]和高斯馬爾科夫隨機場模型[31],還有Gibbs隨機場模型法、Wor d模型、分形(Fractal)模型等[32]。CHUNLEI LI等通過模擬生物視覺感知機制,提出了一種基于生物視覺建模的織物疵點檢測算法,對于簡單紋理的平紋和斜紋織物以及復雜紋理的圖案化織物比其他現(xiàn)有方法更有效,魯棒性和適應性更強[33]。

2.5 基于學習的方法

基于學習的方法對不同疵點的適應性較強,進一步可分為機器學習和深度學習,機器學習中常用的算法包括支持向量機(SV M)、字典學習、K最近鄰法(KNN)、隨機森林等,其中SV M、KNN和神經(jīng)網(wǎng)絡被廣泛應用于織物疵點檢測問題,消耗較短的訓練時間,能夠達到一定的分類精度。

深度學習作為一種重要的人工智能算法,近年來得到了飛速發(fā)展,并在某些實際應用領域取得了顯著的成果,目前循環(huán)神經(jīng)網(wǎng)絡、卷積神經(jīng)網(wǎng)絡、生成對抗網(wǎng)絡(GAN)等都是經(jīng)典的深度學習算法模型。深度學習進行疵點分類時的準確率高,但學習過程耗時長,需要數(shù)據(jù)量大,因此對深度學習算法的優(yōu)化是織物疵點自動檢測近期研究的方向,Xie H等提出了一種基于改進的RefineDet的織物疵點魯棒檢測方法,以Refine Det為基礎模型,設計基于全卷積通道注意(FCCA)塊和自下而上路徑增強傳遞連接塊(BA-TCB)的改進頭部結構來提高該方法的缺陷定位精度,應用了注意機制、DIo U非大極值抑制法、余弦退火調度等常用的優(yōu)化方法,對于無圖案背景、規(guī)則圖案和不規(guī)則圖案的織物都能快速進行疵點檢測[34]。

深度學習的方法一般需要大量的疵點數(shù)據(jù),但在實際生產(chǎn)過程中,疵點織物是占少數(shù)的,采集不便。Shuang Mei等提出了一種基于無監(jiān)督學習的自動方法來檢測和定位織物疵點,無需任何人工干預,且可以用少量的無缺陷樣本進行訓練,可以處理多種類型的紡織品,在所有數(shù)據(jù)集上,總體檢查準確率達到80.0%以上,綜合性能好[35]。生成對抗網(wǎng)絡也是近幾年的熱門話題,LIU J等提出了一種基于生成對抗網(wǎng)絡的織物疵點檢測框架,嘗試訓練多階段GAN來合成新的無疵點樣品中的合理疵點,對在原始疵點數(shù)據(jù)集上訓練的預處理語義分割網(wǎng)絡進行微調,能夠很好地檢測簡單紋理和復雜紋理織物中不同尺度的疵點[36]。

3 織物疵點檢測方法應用現(xiàn)狀

研究的五類織物疵點檢測方法,在計算成本、織物適應性等方面各有優(yōu)劣,在實際使用中,一般會采取混合的手段,對方法進行優(yōu)化,盡量減少劣勢,將其優(yōu)勢最大化。

Ngan等提出了一種小波預處理黃金圖像相減(WGIS)方法,結合了頻譜分析和結構法,用于檢測圖案織物或重復圖案紋理的疵點[37]。Soo Chang Ki m等利用頻譜分析法中的小波包分解提取特征,再利用高斯混合模型建模,在Br odatz紋理圖像分類中具有較高的識別精度[38]。Hong-gang Bu等根據(jù)計盒法的原理和存在的問題,結合機織物的固有特性,提取了多個分形特征,用支持向量數(shù)據(jù)描述(SVDD)來進行織物疵點檢測[39]。Guodong SUN等用灰度直方圖反投影算法去除紋理背景信息,結合自適應閾值分割方法快速提取織物圖像缺陷,再采用端到端的多層卷積神經(jīng)網(wǎng)絡框架實現(xiàn)疵點分類,在5種不同缺陷的數(shù)據(jù)庫中平均檢測準確率高達96.12%,且單幅圖像檢測速度僅需0.72 s[40]。Gnanaprakash V等從復雜圖案織物中提取離散小波變換(DWT)和局部二值化(LBP)處理后的灰度共生矩陣WL-GLCM特征,改善現(xiàn)有的二進制粒子群優(yōu)化算法(BPSO)在BP神經(jīng)網(wǎng)絡中過早收斂的問題,在TILDA織物數(shù)據(jù)庫中的織物數(shù)據(jù)集上進行驗證,系統(tǒng)分類準確率由原先的77%提升到了99.75%[41]。

在現(xiàn)有文獻中,結構法常用于圖像預處理階段對規(guī)則織物進行圖片分割,頻譜分析法可增強圖像上的織物疵點,也可和統(tǒng)計學方法一起用于特征提取階段,減少學習分類的計算量,部分被用于圖像預處理,進行去噪等操作?；谀Ｐ偷姆椒ê突趯W習的方法一般用于分類階段,可與其余3種方法搭配使用,或相互結合進行優(yōu)化,一些研究結合了機器學習和深度學習,Wang J等將卷積神經(jīng)網(wǎng)絡提取的全局深度特征與手工繪制的底層特征融合,并使用非凸總體變化正則化的非凸魯棒主成分分析(PCA)進行數(shù)據(jù)處理和降噪[42],HU G等提出了一種深度卷積生成對抗網(wǎng)絡[43],Wang J等在深度卷積生成對抗網(wǎng)絡中嵌入了一個名為局部差異分析(LDA)的子模塊,以消除誤報[44]。

在關于織物疵點檢測的文章中,出現(xiàn)頻次最高的檢測數(shù)據(jù)集是TILDA織物圖像數(shù)據(jù)集,包含8種不同的織物類型,每種類型又分7種疵點類別。此外,在研究中,一般通過對方案在數(shù)據(jù)集上驗證時的準確率、召回率、精度、真陽性率、假陽性率、真陰性率、假陰性率等指標進行評價,檢測所花費的時間也是重點考察因素?，F(xiàn)有的公開數(shù)據(jù)集往往缺少無疵點織物圖像,不符合實際生產(chǎn)情況,且數(shù)據(jù)集中每類疵點圖像的數(shù)量也不能很好地滿足深度學習需求,因此,根據(jù)研究的需要,還有很大一部分選擇了自行采集或通過學習合成疵點。

未來在算法方面,研究認為主要有兩個發(fā)展方向:一是提升算法的速度,提高實時性,能夠將疵點檢測系統(tǒng)配置在織造階段,甚至于能夠進行疵點的預測,最大化降低疵點損失;二是提升算法的適應性,能夠很好地應對多尺寸疵點的復雜織物,對非平面狀態(tài)的、存在一定變形的織物圖像也能保持檢測的準確率。

4 結語

織物疵點檢測系統(tǒng)是一個統(tǒng)一整體,各個組成部分都會對檢測效果造成一定影響,需要根據(jù)實際情況,考慮到各方面的適配性,其中,疵點檢測算法是最重要的部分。根據(jù)圖像處理的原理,可將常用的疵點檢測方法分為結構方法、統(tǒng)計學方法、頻譜分析方法、基于模型的方法、基于學習的方法五類,分析相關文獻可得,在應用時,這五類方法相互結合,能得到更好的檢測效果。

如今國內市場上已經(jīng)有了較為成熟的織物疵點自動檢測系統(tǒng),但主要方式仍為機下檢測,需要進一步提高速度和精度。