多紋理分級融合的織物缺陷檢測算法

朱 浩， 丁 輝,2,3， 尚媛園,2,3， 邵珠宏,2,4

(1. 首都師范大學 信息工程學院， 北京 100048； 2. 高可靠嵌入式系統(tǒng)技術(shù)北京市工程技術(shù)研究中心，北京 100048； 3. 北京成像理論與技術(shù)高精尖創(chuàng)新中心， 北京 100048；4. 北京數(shù)學與信息交叉科學協(xié)同創(chuàng)新中心， 北京 100048)

織物缺陷對紡織品質(zhì)量和價格產(chǎn)生直接影響，據(jù)統(tǒng)計，織物的缺陷致使織物產(chǎn)品價格降低45%～65%[1]。生產(chǎn)過程中，織物的缺陷檢測仍然大量采用傳統(tǒng)的人工檢測方法，存在效率低、結(jié)果一致性差、漏檢和誤檢等缺點，不利于大規(guī)模工業(yè)化生產(chǎn)。隨著計算機技術(shù)的發(fā)展，利用圖像處理技術(shù)進行智能化、自動化檢測成為織物缺陷檢測的研究熱點[2]。

在織物缺陷檢測過程中，常用的檢測方法有：利用傅里葉的功能譜特性、Gabor空域特性提取特征等頻譜法[3]檢測織物缺陷；利用區(qū)域的幾何形狀、紋理的自相關(guān)性等數(shù)理統(tǒng)計法[4-5]檢測織物缺陷；利用不同像素間的線性相關(guān)特性等模型法[6]檢測織物缺陷。近年來，國內(nèi)外學者對織物缺陷檢測進一步做了大量研究：直接利用閾值分割[7]的方法檢測織物缺陷，方法簡單，檢測效率較高，但僅對簡單的、灰度分布均勻的紋理圖案檢測有效；利用頻譜法檢測織物缺陷，例如：小波預處理的黃金圖進行模板匹配[8]、雙樹復小波變換(DTCWT)[9]等，為避免織物缺陷尺度方向不確定帶來的問題，通常提取多個尺度和方向上的檢測結(jié)果作為織物紋理的特征向量，但提取紋理特征耗時較多[10]；利用統(tǒng)計的方法檢測織物缺陷，例如：二進制模式(LBP)和灰度共生矩陣(GLCM)[11]、無缺陷圖像構(gòu)建的濾波器對圖像缺陷檢測[12]等，提取的織物圖像特征具有較好的魯棒性，提取特征的過程中，需要統(tǒng)計鄰域中多個像素值，計算量較大；利用織物紋理建模的方法檢測織物缺陷，在一定程度上會受到模型精度的限制，不易于識別小的缺陷[13]。目前的織物缺陷檢測算法很難實現(xiàn)檢測效率和檢測精度上的兼容，同時，針對某一類具體織物缺陷檢測時，現(xiàn)有的織物缺陷檢測方法具有較好的檢測效果，但是面對織物紋理差異性、缺陷形態(tài)復雜多樣性等情況，經(jīng)常出現(xiàn)漏檢或錯檢的情況，如何提高對不同織物缺陷檢測的通用性仍然是個難題。

本文主要討論具有周期性分布的紋理織物缺陷檢測，將采用TILDA織物紋理數(shù)據(jù)庫中4種不同的周期性紋理織物進行分析和測試，提出了一種多紋理特征分級融合的由粗到精的物缺陷檢測方法。首先設(shè)計固定大小窗口對圖像進行Tamura紋理檢測，初步確定缺陷區(qū)域；然后完成對缺陷區(qū)域Tamura紋理特征、LPQ紋理特征和經(jīng)緯向紋理特征的分級融合，使不同織物紋理特征得到有效表達，提高織物缺陷檢測的檢測效率和準確度。

1 相關(guān)紋理特征原理

織物圖像紋理是由經(jīng)、緯向紗線按照組織結(jié)構(gòu)規(guī)則和一定密度交織組成，反映了織物表面具有周期性變化的結(jié)構(gòu)組織排列屬性，因此，紋理成為織物缺陷檢測中一種重要的研究線索。

1.1 Tamura紋理特征

織物的紋理特征在織物的缺陷檢測過程中具有重要意義，基于人類對紋理的視覺感知的心理學研究，Tamura等[14]提出了紋理特征表達，對應(yīng)于心理學角度上紋理特征的6個屬性，即粗糙度、對比度、方向度、線性度、規(guī)整度和粗略度。粗糙度是一種紋理特征，是反映紋理中粒度的一個量。粗糙度的計算分為以下3個步驟。

1) 在織物樣本圖像中，計算活動窗口為2k×2k的像素平均灰度值為：

(1)

式中：x表示圖像的寬；y表示圖像的高；g(i,j)表示坐標是(i,j)的像素灰度值，k=0,1,2,…,7，經(jīng)實驗測試，選取k的最大取值為7。

2) 分別計算每個像素點在水平和垂直方向上不相重疊的窗口之間的平均灰度差:

Ek,h=|Ak(x+2k-1,y)-Ak(x-2k-1,y)|

(2)

Ek,v=|Ak(x,y+2k-1)-Ak(x,y-2k-1)|

(3)

式中：Ek,h表示水平平均灰度差；Ek,v表示垂直平均灰度差。

對于每個像素，設(shè)計最佳尺寸Sbest(i,j)=2k，能夠使E值達到最大值,如下式:

Ek=Emax=max(E1,E2,…,Eh)

(4)

式中：E1,E2,…,Eh表示同一坐標位置上不同窗口大小的灰度差。

3) 圖像的粗糙度Rcrs可通過計算整幅圖像中Sbest的平均值來獲取：

(5)

式中：m和n是圖像的長和寬；Sbest為計算的最佳尺寸。

本文主要是利用粗糙度屬性計算織物圖像的粗糙度圖,通過粗糙度圖對織物缺陷區(qū)域進行預測。圖1示出同一紋理織物，選取不同窗口大小的粗糙度圖。

圖1 不同窗口大小的粗糙度圖

Fig.1 Roughness image of different window sizes.(a) Original image; (b) A results;(c)B results; (d) C results

為提高織物紋理的分辨能力，將窗口的大小設(shè)置成為:(2k-1)×(2k-1)，k=1,2,…,Tmax。通過實驗驗證，當Tmax=5時，效果最好，如圖1中結(jié)果圖B所示，能夠?qū)⑷毕輩^(qū)域和非缺陷區(qū)域區(qū)分，降低了非缺陷區(qū)域暗點和亮點的干擾。

1.2 局部相位量化

局部相位量化(LPQ)是由Ville Ojansivu等提出的一個具有模糊不變性的紋理特征描述算子，稱為LPQ[15]算子。局部相位量化特征是基于離散的短時傅里葉變換[16]，給定圖像f(x)，在像素點x=(x1,x2),取其M×M鄰域Nx,對鄰域Nx中的局部圖像做二維離散傅里葉變換

F(u,x)=∑y∈Nxf(x-y)e-j2πuTy

(6)

F(x)=[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]

(7)

傅里葉系數(shù)相位可通過每個部分的實部和虛部的符號函數(shù)來表示，見下式：

(8)

式中：用gj表示向量G(x)=[Re{F(x)},Im{F(x)}]的第j個部分；Re{}和Im{}分別表示F(x)對應(yīng)的實部和虛部。

對G(x)進行量化之后，得到一個8位的二進制數(shù)的向量，在將權(quán)系數(shù)分配給每一個部分，計算出其對應(yīng)的LPQ值

(9)

式中：qj對G(x)的二進制編碼；2j-1表示的是權(quán)重系數(shù)；fLPQ(x)為計算出對應(yīng)的LPQ值。

1.3 經(jīng)緯向紋理特征

織物紋理信息主要是集中在經(jīng)紗和緯紗2個方向，其所產(chǎn)生的多數(shù)缺陷也呈現(xiàn)較強的經(jīng)緯取向性[17-18]。通過將局部織物圖像沿經(jīng)向(水平)和緯向(垂直)進行投影，對織物經(jīng)緯向紋理特征進行表達。設(shè)I(i,j)為w×h的圖像塊，其在經(jīng)向和緯向方向投影所得一維向量分別為Pu和Pv:

(10)

(11)

式中：I(i,j)表示圖像塊區(qū)域；w和h分別表示圖像塊的寬和高；Pu反映了緯向紋理特征；Pv反映了經(jīng)向紋理特征。

由于織物圖像的正常紋理圖像投影向量仍具有規(guī)則穩(wěn)定的性質(zhì)，而缺陷紋理圖像的經(jīng)、緯向投影向量則呈現(xiàn)出突變的或不規(guī)則的情況。計算經(jīng)向和緯向的投影向量的差分平方和，可以度量瑕疵異常程度[17]。因此，增加經(jīng)緯向織物紋理特征提取有益于整體瑕疵的檢測。

1.4 紋理特征向量融合

為實現(xiàn)對不同織物紋理特征有效融合，本文設(shè)計了一種特征融合方法：分別對織物圖像LPQ和Tamura紋理圖進行分塊，提取塊的直方圖特征，對2種不同紋理塊的直方圖特征進行歸一化處理，根據(jù)式(12)對歸一化后的特征進行加權(quán)融合，獲取特征相似度融合圖，特征融合公式為:

(12)

式中：Lk、Tt分別為LPQ和Tamura紋理圖分塊圖像的直方圖歸一化特征，w1和w2分別為LPQ和Tamura紋理圖分塊圖像的直方圖特征的方差。Dn為最終的融合結(jié)果，作為特征相似度度量向量。

由于不同特征對缺陷響應(yīng)程度不同，本文對特征相似度融合圖和經(jīng)緯向特征圖進行加權(quán)融合，以保證缺陷區(qū)域在融合后被削弱，提高檢測精度，利用文獻[17]提到的融合方法

Slast(i,j)=wwtHL(i,j)+(1-wwt)Mp(i,j)

(13)

式中：HL(i,j)為特征相似度融合圖；Mp(i,j)為經(jīng)緯向特征圖；wwt為融合權(quán)重值，取值范圍(0，1)；Slast為最后結(jié)果圖。

2 織物缺陷檢測

利用織物圖像紋理特征，提出一種多紋理特征分級融合的由粗到精的分級檢測算法，本文利用TILDA織物紋理數(shù)據(jù)庫，篩選數(shù)據(jù)的主要依據(jù)是織物紋理的周期性分布特征,本文研究了4種不同織物紋理圖像，編號記為試樣1#，試樣2#，試樣3#，試樣4#，如圖2所示。在瑕疵檢測過程中包括5個步驟：織物圖像預處理；針對某一類正常織物紋理樣本數(shù)據(jù)，學習織物紋理分布特征；針對某一類缺陷織物樣本數(shù)據(jù)，對缺陷區(qū)域進行初步定位；提取織物圖像初步定位區(qū)域的LPQ紋理、Tamura紋理、經(jīng)緯向紋理特征；對不同紋理特征進行分級融合，生成多特征融合圖,然后對缺陷進行檢測。

2.1 織物圖像紋理分析

織物圖像紋理最大的特點就是重復的紋理結(jié)構(gòu)成周期性排列，如圖2所示。由于織物在生產(chǎn)過程中織物表面所產(chǎn)生的結(jié)頭、毛絮及灰塵等易產(chǎn)生成像噪聲，在一定程度上模糊了織物紋理的特征。因此，單一的紋理特征不能很好地對織物紋理特征進行有效表達，也不適應(yīng)對不同織物紋理情況進行檢測。采用多特征分級融合的方法，能夠保留LPQ紋理、Tamura紋理和經(jīng)緯向紋理特征的檢測優(yōu)勢，具有更好的檢測能力。

圖2 不同紋理、周期分布織物圖像

Fig.2 Fabric images with different textures and cycles

2.2 織物缺陷區(qū)域初步定位

在織物缺陷檢測過程中，針對不同的織物紋理圖像，通常利用Tamura、LPQ等單一的紋理特征[17]。用多紋理特征融合的方法全局檢測織物圖像時耗時較高，不利于實際的生產(chǎn)應(yīng)用，因此，本文提出了缺陷區(qū)域初步定位方法，通過降低織物圖像處理的冗余度，提高多特征融合的檢測效率，如圖3所示。

圖3 織物缺陷區(qū)域初步定位和自適應(yīng)生長框圖

Fig.3 Fabric defect area coarse positioning and adaptive growth

首先，對輸入圖像進行預處理；其次，利用Tamura粗糙度屬性，計算圖像粗糙度圖；然后，設(shè)定閾值對粗糙度進行增強；最后，設(shè)計滑動窗對織物增強圖進行卷積操作，標記最大響應(yīng)區(qū)域所在位置。在缺陷區(qū)域擴充過程中,以缺陷區(qū)域占據(jù)最多的塊為擴充依據(jù)，對相鄰鄰域進行擴充。由于缺陷區(qū)域大小不一，本文設(shè)計了一個自適應(yīng)的缺陷區(qū)域擴充方法，當相鄰2次擴充完成時，缺陷主要分布區(qū)域無變化時，擴充結(jié)束。

2.3 織物缺陷區(qū)域檢測

織物缺陷的初步定位，能初步估計缺陷存在位置，不能精確地對缺陷進行精細化描述和定位，因此，需要結(jié)合不同紋理特征，對織物缺陷進行檢測?？椢锶毕輩^(qū)域檢測過程，如圖4所示。

圖4 缺陷識別結(jié)構(gòu)圖

Fig.4 Defect identification structure image

將織物缺陷初步定位的區(qū)域映射到原始的織物圖像中，根據(jù)織物紋理周期性分布特點分塊，提取圖像塊LPQ和Tamura紋理特征，并進行特征融合。利用相同的方法，提取正常圖像塊LPQ和Tamura紋理特征，并進行融合，計算二者融合特征的相似度，形成特征相似度圖。計算織物圖像的經(jīng)緯向特征圖，根據(jù)式(13)提到的融合方法，將其與特征相似度圖融合，形成特征融合圖。不同紋理分級融合結(jié)果反映了圖像塊的缺陷分布情況，選取最佳分割閾值，對缺陷區(qū)域進行精確識別。

3 實驗結(jié)果與分析

本文的實驗環(huán)境:Window10操作系統(tǒng)，內(nèi)存為 4 G，實驗平臺為MatLab2015b，所選用的織物缺陷樣本圖像來源于TILDA織物紋理庫，數(shù)量為1 400張。數(shù)據(jù)庫中含有4種不同織物紋理，每類樣本數(shù)據(jù)為350張。原始圖像尺寸為768像素×512像素。本文對圖像樣本進行了處理，將原圖像裁剪為4塊384像素×256像素，保留存有缺陷的圖像塊。實驗結(jié)果顯示，人眼能觀察到的瑕疵，本文有較好的檢測能力。

3.1 缺陷區(qū)域初步定位結(jié)果分析

利用缺陷區(qū)域初步定位方法，提高了檢測效率。在實驗過程中，濾波器的大小對實驗結(jié)果產(chǎn)生重要影響，當使用較小的濾波器時，由于噪聲等影響，可能會導致缺陷區(qū)域初步定位錯誤，最終不能對織物缺陷進行有效檢測；當使用較大的濾波器時，導致缺陷初步定位區(qū)域中，正常紋理所占區(qū)域遠遠大于缺陷區(qū)域，會產(chǎn)生較大耗時，不利于檢測效率的提高。

圖5示出缺陷區(qū)域初步定位結(jié)果。其中：圖5(a)為織物缺陷樣本原圖，圖5(b)為經(jīng)過Tamura紋理處理之后，缺陷初步定位效果圖，圖5(c) 為經(jīng)過缺陷區(qū)域自適應(yīng)生長后的圖像?？梢钥闯?，織物缺陷初步定位對缺陷存在的中心位置進行了良好的可視化展示，但是，它不能有效描述缺陷的整體分布和缺陷區(qū)域的實際大小。因此，需要將初步定位的缺陷區(qū)域映射到原始圖像中，利用多特征融合的方法進行有效檢測。

注：圖中2～7列分別對應(yīng)同一行中織物原圖的檢測結(jié)果。圖6 織物缺陷圖檢測結(jié)果

Fig.6 Testing results of fabric defect map. (a) Original image; (b) LBP segmentation results; (c) LPQ segmentation results; (d)Longitude and latitude segmentation results; (e) Tamura segmentation results; (f) Literature [17] segmentation results; (g) Paper segmentation results

圖5 缺陷初步定位和自適應(yīng)生長結(jié)果

Fig.5 Coarse positioning and adaptive growth of defect result. (a) Original image; (b) Defect location image; (c) Adaptive growth image

本文利用Tamura紋理增強圖，對缺陷區(qū)域進行初步定位，經(jīng)過實驗驗證，設(shè)計濾波器大小為16像素×16像素，缺陷初步定位區(qū)域中，正常區(qū)域所占比例較小，檢測效果較好。同時，為盡可能能將織物缺陷所存在的區(qū)域描繪出，本文對缺陷區(qū)域進行自適應(yīng)生長。首先，對16像素×16像素的區(qū)域均分為4塊，根據(jù)最近鄰原則進行擴充。最后，將擴充后的缺陷區(qū)域映射到原織物圖像中，對織物缺陷進行檢測。

3.2 缺陷檢測結(jié)果分析

針對不同紋理和缺陷類型的織物圖像，單一的紋理特征不能擬合缺陷區(qū)域的分布，對缺陷檢測效果較差，利用多特征將LPQ、經(jīng)緯向和Tamura紋理特征進行分級融合策略，能更好的對織物缺陷區(qū)域進行有效響應(yīng)，本文利用上述方法，分別利用LBP、LPQ、Tamura、經(jīng)緯向紋理特征做了實驗，結(jié)果如圖6所示。

根據(jù)4種不同紋理的織物圖像缺陷分布，LBP方法對織物細紋理的檢測效果較好；LPQ方法對織物不同紋理都有較好的檢測效果；經(jīng)緯向紋理特征有效緩解了單一特征在描述圖像時的局限性；Tamura的粗糙度屬性提高了檢測的精確度和通用性。從實驗結(jié)果可以看出：多種紋理特征融合提高了織物圖像缺陷檢測的精細度，對缺陷區(qū)域響應(yīng)較好。為進一步驗證在多特征融合過程中，LBP和LPQ對不同織物紋理缺陷檢測效果進一步做了對比實驗，結(jié)果如圖7所示。

圖7 實驗對比圖

Fig.7 Experimental comparison image. (a) Sample 1#original image; (b) LTJ segmentation of sample 1#; (c) Paper segmentation of sample 1#; (d) Sample 2#original image; (e) LTJ segmentation of sample 2#; (f) Paper segmentation of sample 2#; (g) Sample 3#original image; (h) LTJ segmentation of sample 3#; (i) Paper segmentation of sample 3#; (j) Sample 4#original image; (k) LTJ segmentation of sample 4#; (l) Paper segmentation of sample 4#

利用LBP、Tamura和經(jīng)緯向(LTJ)多特征分級融合方法對織物缺陷檢測和本文所用方法LPQ、Tamura和經(jīng)緯向多特征分級融合方法做了對比。如圖7所示?？梢?，2種方法對織物細紋理的缺陷有較好的檢測效果，LTJ對織物粗紋理的檢測效果較差，而本文利用的LPQ紋理特征融合對織物粗紋理有較好檢測效果。

3.3 缺陷檢測時間效率和瑕疵檢出率分析

利用圖2中的試樣1#、2#、3#和4#，4種不同織物紋理圖像，分析了不同紋理特征對織物缺陷的檢測效率。在單紋理檢測過程中，用到了LBP、LPQ、經(jīng)緯向和Tamura紋理特征，檢測方法保持一致；在多紋理融合過程中，用到了文獻[17]的方法：LBP和經(jīng)緯向2種不同紋理融合和本文的方法(LPQ、Tamura和經(jīng)緯向紋理特征3種不同紋理融合)，在多特征融合對織物缺陷檢測過程中，紋理特征的提取順序是串行的。

表1示出不同紋理缺陷檢測的平均耗時?？梢姡趩翁卣骱投嗵卣鲗Ρ葘嶒炛?，利用缺陷區(qū)域初步定位的方法，降低了織物缺陷檢測區(qū)域，提高了多特征融合對缺陷檢測的運行效率。

表1 不同紋理缺陷檢測平均耗時

Tab.1 Average time of different texturedefect detectionss

織物編號LBPLPQ經(jīng)緯向TamuraLBP+經(jīng)緯向本文試樣1#14.9630.976.697.9119.8113.65試樣2#14.7331.126.727.8919.9313.15試樣3#14.6031.046.717.9219.9412.95試樣4#15.1031.266.727.9019.7413.28

通過統(tǒng)計不同的瑕疵檢測算法的誤檢率和檢出率，進一步比較不同算法的優(yōu)缺點。針對4種不同織物紋理圖像，本文總的實驗數(shù)據(jù)為864張圖像。其中，每一類織物紋理篩選出216張圖像，包含200張瑕疵圖像，16張正常圖像。篩選的原則是同一類紋理圖像中，具有相似大小的瑕疵圖，在實驗過程中僅保留了1張。利用下式進行檢測準確性分析。

誤檢率Pfr為：

(14)

式中：Swd為瑕疵區(qū)域誤判樣本數(shù)；Sall為總的樣本數(shù)。

檢出率Pdr為

(15)

式中：Srd為瑕疵區(qū)域正確判別樣本數(shù)；Sall為總的樣本數(shù)。

由紋理分割的對比實驗圖6可知，Tamura粗糙度特征在瑕疵檢測過程，檢測結(jié)果包括較多織物的非瑕疵區(qū)域檢，這里沒有統(tǒng)計檢測率結(jié)果。經(jīng)過對比發(fā)現(xiàn)，本文提出的方法，有較高的檢出率和較低的誤檢率，結(jié)果如表2所示。

表2 不同紋理缺陷誤檢率和檢出率

Tab.2 Different texture defect detection probability%

織物編號LBP算法LPQ算法經(jīng)緯向算法LBP+經(jīng)緯向算法本文算法檢出率誤檢率檢出率誤檢率檢出率誤檢率檢出率誤檢率檢出率誤檢率試樣1#84.7215.2785.6414.3581.9418.0591.668.3393.056.94試樣2#83.3316.6683.7916.2080.5519.4494.445.5593.056.94試樣3#61.1138.8863.8836.1143.0556.9458.3341.6665.2734.72試樣4#54.1645.8356.0143.9841.6658.3369.4430.5572.7727.77

4 結(jié) 論

織物的缺陷檢測在工業(yè)生成過程中作為一個重要環(huán)節(jié)，有重要的研究價值。紋理成為了織物缺陷檢測的重要線索，因此，本文采用了多特征分級融合的織物缺陷檢測算法，融合了不同紋理對織物缺陷的表達優(yōu)勢，降低了缺陷檢測過程中漏檢和誤檢情況發(fā)生，提高了織物缺陷檢測的通用性和效率。實驗結(jié)果表明：缺陷區(qū)域初步定位和自適應(yīng)生長的方法，大大降低了計算的冗余度，提高了檢測效率和精確度；紋理特征的分級融合對織物紋理表達能力得到增強。本文檢測方法，在一定程度上提高了檢測效率，縮短了檢測時間，為達到實際生產(chǎn)應(yīng)用高速檢測的要求，需要討論如何在保證算法精度的情況下進一步地提高檢測速度。

FZXB