董 蓉,李 勃
(1.南通大學(xué) 電子信息學(xué)院,江蘇 南通226019;2.南京大學(xué) 電子科學(xué)與工程學(xué)院,江蘇 南京210093)
通過(guò)人工視覺(jué)來(lái)對(duì)完成對(duì)織物瑕疵檢測(cè)的方法存著工作量大、漏檢率高、誤檢率高、受主觀感覺(jué)影響等多種問(wèn)題,基于機(jī)器視覺(jué)的織物瑕疵自動(dòng)檢測(cè)能有效解決這一問(wèn)題。為區(qū)分瑕疵和非瑕疵區(qū)域,對(duì)織物圖像采用合適的特征描述是關(guān)鍵問(wèn)題[1]。從頻域提取織物圖像特征的方法如小波 變 換[2-4]、傅 里 葉 變 換[5]、Gabor濾 波[6-9]等,先 將 圖像分解到所定義的各個(gè)頻域子帶,通過(guò)子帶系數(shù)的差異區(qū)分瑕疵區(qū)域。從空域提取特征的方法如局部二值模式 (local binary pattern,LBP)[10,11]、鄰 域 統(tǒng) 計(jì) 特 征 (均 值、方差、熵)[12]、鄰 域 灰 度 排 列[13]、紋 理 圖 案 規(guī) 則 性 特 征[14]等,直接利用待檢像素鄰域的灰度統(tǒng)計(jì)特征構(gòu)成特征向量,利用相似性距離度量或者分類(lèi)器定位瑕疵區(qū)域。以上方法在檢測(cè)之后往往還需要通過(guò)形態(tài)學(xué)濾波輔助去除噪聲斑點(diǎn)來(lái)進(jìn)一步準(zhǔn)確定位瑕疵區(qū)域。不管哪種特征描述方法,最重要的是將瑕疵和非瑕疵圖像轉(zhuǎn)換到該特征空間后,能夠保證二者的特征分布區(qū)分度足夠明顯,才能達(dá)到準(zhǔn)確定位瑕疵區(qū)域的目的。
本文提出采用一種非線性GLCM 特征描述織物紋理的方法以充分利用特征空間,有效提取圖像特征。所提瑕疵檢測(cè)包括最優(yōu)尺度方向?qū)W習(xí)和瑕疵檢測(cè)兩個(gè)階段。在學(xué)習(xí)階段,計(jì)算無(wú)瑕疵圖像在不同方向尺度參數(shù)下的非線性GLCM 特征向量相似性距離分布圖,通過(guò)最小方差原則選擇最優(yōu)尺度和方向參數(shù)并獲得參考非線性GLCM 特征向量和自適應(yīng)的二值化閾值;在檢測(cè)階段,采用最優(yōu)尺度方向參數(shù)進(jìn)行非線性GLCM 特征提取,并與參考特征向量匹配來(lái)定位瑕疵。由于采用了非線性GLCM 算法并學(xué)習(xí)了最優(yōu)尺度和方向,算法能夠最大程度凸顯瑕疵區(qū)域和非瑕疵區(qū)域的特征差別,同時(shí)得益于GLCM 本身對(duì)噪聲的抗干擾能力以及自適應(yīng)的二值化閾值,在未進(jìn)行形態(tài)學(xué)濾波去噪的情況下,算法也能獲得十分準(zhǔn)確的瑕疵區(qū)域定位結(jié)果。
GLCM 通過(guò)統(tǒng)計(jì)圖像灰度的空間相關(guān)性來(lái)描述紋理。對(duì)輸入圖像A,將其灰度量化為N 級(jí) (N 小于圖像A 的灰度級(jí)數(shù)目),創(chuàng)建N*N 的GLCM 矩陣G,G 矩陣中 (i,j)處的數(shù)值為A 圖像中空間相對(duì)位置為P = [Dx,Dy]且量化灰度為 (i,j)的像素對(duì)的數(shù)目,即
由于對(duì)圖像A 的灰度先進(jìn)行了N 級(jí)量化,GLCM 可大大抵抗噪聲干擾。由于不同圖像大小不一,為保證所獲得的GLCM 矩陣具有統(tǒng)一可比性,需將其歸一化
Gn中每個(gè)元素實(shí)際上代表了圖像A 中量化灰度對(duì) (i,j)出現(xiàn)的概率。一般情況下,獲得GLCM 矩陣后,再通過(guò)求取GLCM 矩陣的能量、對(duì)比度、熵、自相關(guān)等特征值來(lái)組成特征向量以描述圖像A,然而,不管哪種特征值,都是對(duì)GLCM 矩陣再次統(tǒng)計(jì)的結(jié)果,僅能描述圖像A 紋理特征的某一片面方面,且求取過(guò)程都將耗時(shí)。為保持圖像特征描述的完整性,文章將GLCM 矩陣元素序列作為圖像A 的特征向量,當(dāng)量化級(jí)數(shù)為N=8時(shí),該特征向量維度為64。
一般GLCM 特征提取算法在進(jìn)行灰度量化時(shí)均采用線性量化,即將當(dāng)前圖像的灰度范圍 [gmin,gmax]等份劃分為N 個(gè)區(qū)間,將A 圖像轉(zhuǎn)變?yōu)橹挥蠳 級(jí)灰度的圖像。線性量化操作簡(jiǎn)單,但對(duì)于織物圖像,灰度往往集中分布于某一區(qū)間,而非均勻分布于整個(gè)灰度空間,圖1 (b)顯示了織物圖像圖1 (a)的灰度分布,由圖可見(jiàn),灰度集中于中低亮度區(qū)域,對(duì)此圖像如果采用線性量化,則大批量化值沒(méi)有或者很少被使用,導(dǎo)致生成的GLCM 矩陣十分稀疏,不能充分體現(xiàn)圖像紋理特征。為此,文章提出非線性GLCM 特征提取,基本思想是根據(jù)灰度出現(xiàn)概率進(jìn)行量化,高概率灰度區(qū)間細(xì)量化,低概率灰度區(qū)間粗量化,如此可以有效提取圖像特征。實(shí)際操作時(shí),這一思想可以轉(zhuǎn)變?yōu)橄葘?duì)圖像灰度值進(jìn)行非線性映射,再進(jìn)行均勻量化。考慮到直方圖均衡化可以有效實(shí)現(xiàn)集中分布灰度區(qū)間向平均分布灰度區(qū)間的轉(zhuǎn)化,因此可以利用直方圖均衡化獲得非線性映射函數(shù),如圖1 (c)所示為圖1 (a)的非線性映射函數(shù)。圖2分別顯示了線性和非線性GLCM 特征提取的結(jié)果,相比可見(jiàn)線性GLCM 矩陣十分稀疏,未能充分利用特征空間。
圖1 非線性GLCM 構(gòu)建
當(dāng)選擇不同的空間相對(duì)位置參數(shù)P 時(shí),GLCM 將獲得不同尺度和方向下的圖像紋理特征。如,P= [0,δ]、P= [-δ,δ]、P= [-δ,0]、P= [-δ,-δ]分別可獲得0°、45°、90°、135°方向的紋理特征,而P= [0,δ]、P= [0,2*δ]、P= [0,3*δ]又將獲得同一方向不同尺度下的紋理特征。一般算法將各個(gè)方向各個(gè)尺度的GLCM特征向量全部組合起來(lái)形成總的特征向量描述,如果選擇量化級(jí)數(shù)為8、方向數(shù)為4、尺度數(shù)為5,則最終的特征向量維度為64×4×5=1280。這種方式的缺陷在于所形成的特征向量維數(shù)高、計(jì)算耗時(shí),且對(duì)同一類(lèi)紋理,其特征往往在某一尺度和方向中凸顯,引入其它不必要的尺度方向紋理特征反而容易在特征向量相似性度量階段引起額外干擾。為此,文章提出學(xué)習(xí)最優(yōu)非線性GLCM 尺度和方向參數(shù)并以此參數(shù)進(jìn)行瑕疵檢測(cè)。具體學(xué)習(xí)過(guò)程如下。
圖2 線性與非線性GLCM 特征提取結(jié)果對(duì)比
(1)選取無(wú)瑕疵圖像A (大小為W*H),設(shè)定用于計(jì)算非線性GLCM 特征的圖像塊大小為dw*dh,dw、dh 最好與圖像紋理周期符合。設(shè)定尺度和方向數(shù)目分別為S、D;
(2)對(duì)圖像A 中每一像素 (x,y),以 (x,y)為中心,提取大小為dw*dh的圖像塊,計(jì)算其在參數(shù)(1≤s≤S,1≤d≤D)下的非線性GLCM 矩陣并形成特征向量(x,y);
(4)對(duì)無(wú)瑕疵織物圖像來(lái)說(shuō),各處紋理特征具有周期重復(fù)性,距離(x,y)應(yīng)當(dāng)不受 (x,y)位置變化的影響,因此采用(x,y)的均方差作為最優(yōu)尺度方向參數(shù)的評(píng)價(jià)標(biāo)準(zhǔn)
圖3顯示了4 種無(wú)瑕疵的紋理織物,圖4 顯示了圖3中紋理織物相應(yīng)的各自最優(yōu)尺度及方向?qū)W習(xí)的結(jié)果。由圖可見(jiàn),固定方向時(shí),隨尺度變化;固定尺度時(shí),不同的方向下亦不同。統(tǒng)計(jì)所有尺度方向,總存在一個(gè)最小,此時(shí)的尺度和方向參數(shù)即為所需尋找的最優(yōu)參數(shù)。
圖3 4種紋理織物圖像
圖4 最優(yōu)尺度及方向參數(shù)學(xué)習(xí)
如第2節(jié)所述,在學(xué)習(xí)最優(yōu)尺度方向參數(shù)時(shí),同時(shí)也可獲得最優(yōu)尺度方向參數(shù)下的參考特征向量。瑕疵檢測(cè)階段轉(zhuǎn)變?yōu)閷?duì)待檢測(cè)圖像提取非線性GLCM 特征并與參考特征向量匹配的過(guò)程,具體流程為:①對(duì)待檢測(cè)圖像的每個(gè)像素 (i,j)構(gòu)建非線性GLCM 特征向量,具體方式為:首先利用無(wú)瑕疵圖像的非線性映射函數(shù)對(duì)當(dāng)前圖像進(jìn)行灰度映射,然后選擇以該像素為中心的dw*dh 的窗口,計(jì)算其在最優(yōu)參數(shù)下的非線性GLCM 矩陣并形成特征向量V(x,y)。②計(jì)算V(x,y)與之間的特征向量距離,獲得相似性分布圖。③設(shè)定閾值THD對(duì)相似性分布圖二值化,定位瑕疵區(qū)域。
實(shí)驗(yàn)在Matlab7.0上進(jìn)行仿真實(shí)驗(yàn),按照所提方法進(jìn)行織物瑕疵檢測(cè)并與其它算法對(duì)比。
待檢測(cè)織物圖像如圖6所示。
圖5 所提算法流程
圖6 待檢測(cè)織物圖像
圖7 (a)、(b)、(c)、(d)分別是圖6 (a)、(b)、(c)、(d)的非線性GLCM 特征向量相似性距離分布圖。由圖可見(jiàn),采用所提算法,瑕疵區(qū)域的特征向量相似性距離明顯高于非瑕疵區(qū)域,說(shuō)明所采用的特征提取方法能夠有效識(shí)別瑕疵。按照第3節(jié)所述閾值THD對(duì)特征向量相似性距離分布圖進(jìn)行二值化即可定位瑕疵區(qū)域,結(jié)果如圖8所示。
圖8 所提算法檢測(cè)結(jié)果
為進(jìn)一步驗(yàn)證算法有效性,將文章所提算法檢測(cè)結(jié)果與基于小波變換特征的檢測(cè)結(jié)果以及基于LBP特征的檢測(cè)結(jié)果進(jìn)行對(duì)比。小波變換特征向量由小波分解的水平、垂直、對(duì)角分量的方差組成,LBP 特征向量采用8鄰域均勻LBP (uniform LBP)直方圖。小波變換特征距離和LBP特征距離的二值化閾值均調(diào)整到最優(yōu)狀態(tài)。圖8是對(duì)圖6所示瑕疵織物圖像利用所提算法檢測(cè)的結(jié)果,圖9是基于小波變換特征的檢測(cè)結(jié)果,圖10 是基于LBP 特征的檢測(cè)結(jié)果。所有檢測(cè)結(jié)果都是二值化之后的直接結(jié)果,未進(jìn)行任何形態(tài)學(xué)濾波去噪。由圖可見(jiàn),所提算法對(duì)瑕疵定位準(zhǔn)確,基本不受噪聲干擾,而基于小波特征和LBP特征的方法易受噪聲干擾且定位不夠準(zhǔn)確。
圖9 基于小波變換特征的檢測(cè)結(jié)果
圖10 基于LBP特征的檢測(cè)結(jié)果
文章提出一種基于最優(yōu)尺度方向參數(shù)非線性GLCM 的織物瑕疵檢測(cè)算法,包括最優(yōu)尺度方向參數(shù)學(xué)習(xí)和瑕疵檢測(cè)兩個(gè)階段。通過(guò)采用所提非線性GLCM 特征提取方法以及進(jìn)行最優(yōu)尺度方向參數(shù)的學(xué)習(xí),算法能夠最大程度凸顯瑕疵區(qū)域和非瑕疵區(qū)域,而算法中自適應(yīng)的二值化閾值,更是十分有利于實(shí)際生產(chǎn)過(guò)程中的自動(dòng)化檢測(cè)。實(shí)驗(yàn)結(jié)果表明,相比于基于小波變換特征或者LBP特征的瑕疵檢測(cè)算法,所提算法能夠更好定位織物瑕疵區(qū)域并且不易受到噪聲干擾。算法對(duì)圖像中每個(gè)像素均取其鄰域計(jì)算非線性GLCM 特征,實(shí)際生產(chǎn)應(yīng)用中可通過(guò)下采樣或并行計(jì)算等方式進(jìn)一步降低計(jì)算量以達(dá)到實(shí)時(shí)檢測(cè)的目的。
[1]Ngan H Y T,Pang G K H,Yung N H C.Automated fabric defect detection—A review [J].Image and Vision Computing,2011,29 (7):442-458.
[2]CUI Lingling,LU Chaoyang,LI Jing,et al.Defect detection based on wavelet multi-scale products and morphology [J].Opto-Electronic Engineering,2011,38 (8):90-95 (in Chinese). [崔玲玲,盧朝陽(yáng),李靜,等.基于小波多尺度積與形態(tài)學(xué)的瑕疵檢測(cè)算法[J].光電工程,2011,38 (8):90-95.]
[3]HAN Lei,LI Chong,JIN Yao,et al.Quick defect detection based on structure character of woven fabric image and wavelet transform [J].Computer Engineering and Design,2009,30(10):2510-2512 (in Chinese). [韓磊,李重,金耀,等.基于織物結(jié)構(gòu)特征和小波變換的快速疵點(diǎn)檢測(cè) [J].計(jì)算機(jī)工程與設(shè)計(jì),2009,30 (10):2510-2512.]
[4]JIANG Lei,YIN Ye’an.Research on the automatic detection method for fabric flaws based on wavelet analysis[J].Computer Engineering & Science,2009,31 (5):49-52 (in Chinese).[蔣蕾,尹業(yè)安.基于小波分析的織物疵點(diǎn)自動(dòng)檢測(cè)方法研究 [J].計(jì)算機(jī)工程與科學(xué),2009,31 (5):49-52.]
[5]GUAN Shengqi,SHI Xiuhua.Fabric defects detection based on frequency domain filtering [J].Computer Applications,2008,28(10):2673-2675(in Chinese).[管聲啟,石秀華.基于頻域?yàn)V波的織物疵點(diǎn)檢測(cè)[J].計(jì)算機(jī)應(yīng)用,2008,28(10):2673-2675.]
[6]YANG Xiaobo.Detection of fabric defects based on Gabor filter[J].Journal of Textile Research,2010,31 (4):55-59 (in Chinese).[楊曉波.基于Gabor濾波器的織物疵點(diǎn)檢測(cè) [J].紡織學(xué)報(bào),2010,31 (4):55-59.]
[7]CHEN Lin,WANG Jun,LI Liqing,et al.Nonwoven fabric defects detection based on 2DGabor filter[J].Journal of Donghua University (Natural Science),2012,38 (6):695-699(in Chinese).[陳琳,汪軍,李立輕,等.基于二維Gabor濾波器的非織造布疵點(diǎn)檢測(cè) [J].東華大學(xué)學(xué)報(bào) (自然科學(xué)版),2012,38 (6):695-699.]
[8]Mak K L,Peng P,Yiu K F C.Fabric defect detection using morphological filters[J].Image and Vision Computing,2009,27 (10):1585-1592.
[9]JING Junfeng,ZHANG Huanhuan,LI Pengfei.Fabric image defect detection based on method library [J].Journal of Donghua University(Natural Science),2013,39 (5):650-655 (in Chinese).[景軍鋒,張緩緩,李鵬飛.基于方法庫(kù)的織物圖像疵點(diǎn)檢測(cè) [J].東華大學(xué)學(xué)報(bào) (自然科學(xué)版),2013,39 (5):650-655.]
[10]FU Rong,SHI Meihong.Fabric defect detection based on adaptive LBP and SVM [J].Journal of Computer Applications,2010,30 (6):1597-1601 (in Chinese).[付蓉,石美紅.基于自適應(yīng)LBP 和SVM 的織物疵點(diǎn)檢測(cè)算法 [J].計(jì)算機(jī)應(yīng)用,2010,30 (6):1597-1601.]
[11]LIN Sishui,ZHENG Lixin.A multi-resolution fabric defects detection based on LBP and SOM [J].Microcomputer &Its Applications,2012,31 (23):45-54 (in Chinese). [林 似水,鄭力新.聯(lián)合LBP 與SOM 的多分辨率織物疵點(diǎn)檢測(cè)[J].微型機(jī)與應(yīng)用,2012,31 (23):45-54.]
[12]LI Pengfei,YANG Ning,JING Junfeng.Fabric defect classification based on radial basis function neural network [J].Computer Measurement & Control,2012,20 (10):2751-2759 (in Chinese).[李鵬飛,楊寧,景軍鋒.基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)分類(lèi) [J].計(jì)算機(jī)測(cè)量與控制,2012,20 (10):2751-2759.]
[13]Zhang Y,Lu Z,Li J.Fabric defect classification using radial basis function network [J].Pattern Recognition Letters,2010,31 (13):2033-2042.
[14]Ngan H Y T,Pang G K H.Regularity analysis for patterned texture inspection [J].IEEE Transactions on Automatic Science and Engineering,2009,6 (1):131-144.