基于機(jī)器視覺的布匹瑕疵在線檢測

李 新，王明景，白瑞林，李 杜

（1.無錫信捷電氣股份有限公司，江蘇 無錫214072；

2.江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫214122）

引言

圖案布匹的紡制已非常普遍，但生產(chǎn)的圖案布匹時(shí)常出現(xiàn)瑕疵，造成布匹品質(zhì)下降。人工檢測成本較高、速度慢且誤檢率高，機(jī)器視覺檢測可在織布過程中及時(shí)發(fā)現(xiàn)瑕疵，極大提高生產(chǎn)自動(dòng)化程度。近幾年國外高端視覺檢測系統(tǒng)大量涌入國內(nèi)，價(jià)格昂貴且算法封鎖，國內(nèi)正加大對機(jī)器視覺的研究以開發(fā)快速高效且擁有自主知識產(chǎn)權(quán)的視覺控制系統(tǒng)，現(xiàn)已有一些公司擁有智能視覺系統(tǒng)，如大恒圖像、凌云光子等，但多為仿制國外視覺系統(tǒng)，關(guān)鍵檢測算法涉及較少。圖案布匹瑕疵檢測算法由于紋理復(fù)雜檢測難度高，較多研究者致力于此領(lǐng)域的研究［1］。

規(guī)則圖案或是紋理較大例如點(diǎn)紋、條紋以及方格紋等布匹難以檢測，其原因一方面是圖案布匹紋理背景與瑕疵難以區(qū)分；另一方面圖案布匹紋理多樣且變換復(fù)雜，難以設(shè)計(jì)可適應(yīng)于多種圖案布匹的檢測方案。李鑫［2］等提出借助均值以及方差并通過Gabor重構(gòu)的方法可較好檢測出紋理較小的布匹瑕疵，帶有圖案布匹由于背景干擾檢測，檢測效果較差。針對背景與瑕疵難以區(qū)分問題，Millan等人［3］提出用近紅外相機(jī)獲取普通相機(jī)所不能捕獲的紋理信息，實(shí)測證明近紅外相機(jī)只可濾除部分顏色紋理，而無法濾除針織凸起等紋理。隨后Baykal［4］提出用哈希方差提取行列特征信息，雖可標(biāo)出瑕疵區(qū)域但哈希方程對噪聲太過敏感，略有噪聲就可能誤檢為瑕疵，而工業(yè)生產(chǎn)中噪聲信號無法避免；對此Chin等人［5］、Rahman等人［6］又提出對噪聲不敏感算法例如黃金差影、特征空間匹配的方法，可檢測出明顯瑕疵區(qū)域但對細(xì)小瑕疵檢測效果不佳；Ngan等人［7］提出基于框架偏移的檢測算法，檢測出瑕疵塊而不能定位出瑕疵區(qū)域；杜斌等人［8］針對布匹紋理圖像提出一種提取規(guī)則帶特征后分水嶺分割的檢測方法，可精確檢測出瑕疵區(qū)域，但是算法復(fù)雜、實(shí)時(shí)性較差。

基于上述分析，提出一種通過區(qū)域差影后提取梯度，然后標(biāo)記分水嶺分割的快速算法。該方法能夠快速精確地識別出有瑕疵圖像塊，滿足織機(jī)圖案布匹檢測對高精確率、高實(shí)時(shí)性的要求。

1 整體算法流程

系統(tǒng)總體方案如圖1所示，整體算法分為離線學(xué)習(xí)和在線檢測過程。離線學(xué)習(xí)時(shí)捕獲無瑕疵布匹圖像，首先求取無瑕疵圖像距離疊加函數(shù)的極值，分析極值權(quán)重以篩選極值精確求取出紋理基元周期；在線檢測時(shí)，根據(jù)離線過程所得紋理基元周期確定區(qū)域差影圖像塊大小，將待檢測圖像與標(biāo)準(zhǔn)無瑕疵圖像區(qū)域差影，然后對差影后圖像用自適應(yīng)的分水嶺分割，精確定位出瑕疵區(qū)域。

算法重點(diǎn)在于如何精確求取紋理基元周期，如何凸顯瑕疵區(qū)域并將瑕疵區(qū)域精確定位。

圖1 系統(tǒng)整體算法流程圖Fig.1 General arithmetic chart of system

2 紋理基元周期精確求取

圖案布匹的紋理周期求取有傅里葉變換、自相關(guān)系數(shù)和共生矩陣等方法［9］。對于一幅含有基元數(shù)目較少圖像的傅里葉頻譜并不能反映出周期特征，自相關(guān)系數(shù)法極值點(diǎn)求取易出現(xiàn)錯(cuò)誤，傳統(tǒng)灰度共生矩陣法求取復(fù)雜且不精確，而由共生矩陣衍生出的距離疊加函數(shù)雖然對噪聲敏感導(dǎo)致極值求取不精確，但經(jīng)過對極值權(quán)重分析可以有效解決這一問題，精確求取出紋理基元周期。

2.1 距離疊加函數(shù)

對一維水平序列其距離匹配函數(shù)（distance matching function，DMF）［9］定義為

式中：δ為像素移動(dòng)距離；N 為序列g(shù)長度。λ（δ）的值可以隨著δ從0到N－1遞增而順序計(jì)算。如果序列為周期性的且周期為p，那么對此序列g(shù)應(yīng)有：

式中，n＝1，2，3，…，1≤i±np≤N 因此如果像素移動(dòng)距離δ與紋理周期p相等，則有：

記大小為p×q的圖像中第i行元素的距離疊加函數(shù)為

式中：f（i，j）為圖像中第i行j列的元素，i（1≤i≤p），j（1≤j≤q）；δ為像素移動(dòng)距離；λ1i（δ）的值可以隨著δ從1到q－δ依次遞增而順序計(jì)算。同樣可得大小為p×q的圖像中第j列元素的距離疊加函數(shù)為

由圖2可看出距離疊加函數(shù)間隔約15個(gè)點(diǎn)出現(xiàn)一極小值點(diǎn)，分析多個(gè)極小值點(diǎn)間的距離便可得紋理基元周期，但由于噪聲的存在，并不恰好在間隔15個(gè)點(diǎn)處產(chǎn)生極小值，且存在細(xì)小毛刺，對此可將每一列的距離疊加函數(shù)累加，減小噪聲影響。

圖2 周期為15個(gè)像素的某一行距離疊加函數(shù)Fig.2 DMF of a row with period of 15

將每一行距離疊加函數(shù)累加，得整幅圖像的行距離疊加函數(shù)為

同樣方法得列距離累加函數(shù)為

疊加后的距離疊加函數(shù)DMF如圖3（c）所示，相比較于單行的DMF更加平滑，周期更加精確。

圖3 周期為15的某一行距離疊加函數(shù)疊加Fig.3 Added DMF of rows with period of 15

2.2 極值權(quán)重分析

盡管疊加后相比較于單行的DMF更加平滑，但有些布匹圖像的疊加距離函數(shù)疊加后出現(xiàn)干擾極值點(diǎn)，難以分辨，平滑濾波可以消除但對參數(shù)要求苛刻，步長太大或者太小均會(huì)影響平滑效果。在此提出一種設(shè)定極值權(quán)重的方法，通過對極值點(diǎn)信息分析對極值點(diǎn)做權(quán)重排序，刪除權(quán)重較小極值點(diǎn)，消除干擾極值點(diǎn)影響。

含有干擾極小值點(diǎn)的DMF如圖4中所示，圖中共A、B、…、H、I 9個(gè)極小值點(diǎn)，用極值間距離求取紋理周期，D、F、H顯然為干擾極值點(diǎn)。在此對每個(gè)極值點(diǎn)權(quán)值分析，考慮到干擾極小值點(diǎn)的周圍均存在值比其更小的極小值點(diǎn)，可通過距離法確定其權(quán)值。假定N個(gè)極小值點(diǎn)分別為P1、P2、…、PN，首先對其升序排列，記排列后序列為Q1、Q2、…、QN，對于Qj計(jì)算與每一個(gè)Qi的距離，其中Qi在Q序列中比Qj先出現(xiàn)即1≤i≤j，記所求距離的最小值為Di，最后對Di降序排列，此列表即為其權(quán)重降序排列表。

圖4 含有干擾極小值點(diǎn)的DMF圖Fig.4 DMF with disturbed point of minimum

圖4 中的A、B、…、H、I 9個(gè)極小值點(diǎn)，升序排列后為 A、B、C、E、G、H、I、F、D，依次求取與序列前點(diǎn)的距離最小值，可發(fā)現(xiàn)D、F、H、I均與序列前點(diǎn)距離的最小值較小，對距離最小值做降序排列后，此4點(diǎn)排在最后即權(quán)重最低，舍棄后用極小值間距離計(jì)算紋理周期。

條紋布匹計(jì)算周期時(shí)水平和豎直方向中其一為零或二者相差極大，需對為零的方向的周期修正，令較小周期與另一周期相等。具體周期精確計(jì)算流程如圖5所示。

通過上述方案可以精確求取紋理基元周期，且可以對水平與豎直方向紋理基元周期差別較大時(shí)對較小周期修正，典型幾種圖案布匹圖像周期求取如圖6所示，圖6（a）、6（b）和6（c）水平周期與豎直周期相差較小，圖6（d）中條紋周期豎直方向周期為零，修正為與水平周期相等。

圖5 周期精確求取流程圖Fig.5 Flow chart of period calculating accurately

圖6 典型圖案布匹紋理基元周期求取結(jié)果Fig.6 Periods of several typical textures

3 檢測算法以及實(shí)現(xiàn)

精確求取紋理基元周期后檢測算法可相對簡單，這對保證工業(yè)現(xiàn)場實(shí)時(shí)性要求異常重要，復(fù)雜算法例如規(guī)則帶、小波變換等方法雖可定位瑕疵區(qū)域，但是實(shí)時(shí)性較差。

系統(tǒng)采用區(qū)域差影法，并對差影后圖像快速分水嶺分割，可以快速且高效分割出瑕疵區(qū)域。

3.1 區(qū)域差影

最初用于PCB板檢測的差影分析是處理規(guī)則紋理布匹的有效手段，由于PCB板有定位標(biāo)識，容易將標(biāo)準(zhǔn)圖像與待檢測圖像點(diǎn)對點(diǎn)對齊，做差影處理進(jìn)而用閾值分離出瑕疵區(qū)域，但圖案布匹圖像沒有定位標(biāo)識無法點(diǎn)對點(diǎn)對齊；PCB板由于同一批次定制尺寸相同，且無變形、光照不均影響，用標(biāo)準(zhǔn)圖像與待檢測圖像差影可取得較好效果，但是布匹圖像由于織布過程中布匹的拉伸、機(jī)械裝置的振動(dòng)，極易變形且噪聲較多，不可全局差影而需分區(qū)域差影。分析可知差影用于凸顯圖案布匹瑕疵存在2個(gè)問題：如何對齊圖像以及如何選擇差影區(qū)域大小。

區(qū)域差影相對于傳統(tǒng)差影不需點(diǎn)對點(diǎn)對齊，而是將點(diǎn)與點(diǎn)的相減用區(qū)域與區(qū)域的相減代替，用區(qū)域間的能量差代替點(diǎn)間的灰度差。對于同樣大小的模板和待檢測模塊，假設(shè)大小均為m×n，定義二者的能量為

如圖7所示，從標(biāo)準(zhǔn)無瑕疵圖像中選取標(biāo)準(zhǔn)模板Gm×n，在檢測圖像中以每一點(diǎn)為中心依次選取同樣大小圖像塊，求取其與Gm×n間能量差，保存在能量圖E中，區(qū)域差影后圖像如圖8所示。

圖7 區(qū)域差影原理圖Fig.7 Schematic diagram of area subtraction

圖8 區(qū)域差影前后對比Fig.8 Comparison between pre and post subtraction

3.2 瑕疵區(qū)域分割

區(qū)域差影后圖像瑕疵區(qū)域已比較明顯，但由于局部凸起的存在以及光照的影響，難以用固定閾值分割，在此提出一種自適應(yīng)的分水嶺分割算法。

3.2.1 梯度求取

首先對區(qū)域差影圖像高斯平滑，即：

式中：＊表示卷積，二維高斯濾波器G（x，y）的定義為（10）式沿x與y方向的乘積；σ為常數(shù)（根據(jù)不同圖像，選取的σ值不同），高斯濾波器G（n）為

經(jīng)過局部高斯平滑預(yù)處理后，即可求取梯度。

為追求實(shí)時(shí)性，采用簡單梯度Prewitt算子直接卷積計(jì)算可得水平與豎直2個(gè)方向梯度，融合2個(gè)方向梯度可得區(qū)域差影后圖像梯度。

3.2.2 分水嶺分割

分水嶺分割由于噪聲以及其他諸如梯度的局部不規(guī)則性的影響造成過度分割，控制過度分割的方法是以標(biāo)記的概念為基礎(chǔ)的，為了解決此問題，在此利用H-minima變換對紋理梯度圖像進(jìn)行標(biāo)記，以去除偽局部極小值和抑制過分割［11］。

H-minima變換的表達(dá)式如下：

式中：T∈N 為閾值；記g為掩模圖像，εf（g）是g在f上的測地腐蝕，其定義為：

當(dāng)I為原圖像時(shí)，則H-minima變換就可應(yīng)用于I的梯度圖像，即 H-minima（Δ（I））。H-minima變換通過與給定的閾值T進(jìn)行比較來消除那些深度低于閾值T的局部極小值，以便提取出滿足條件的極小值來得到標(biāo)記圖像，即ΔImask＝Hminima（ΔI｜T）。

從本質(zhì)上來說，H-minima變換實(shí)際上也是進(jìn)行一次濾波，產(chǎn)生的效果是只留下突變最明顯的紋理區(qū)域的邊界以抑制過分割，閾值T一般選取55～60。

4 實(shí)驗(yàn)分析

系統(tǒng)構(gòu)建采用自主研發(fā)SV4型分辨率為30 M的CMOS智能相機(jī)、25mm定焦鏡頭以及大功率條形光源，調(diào)節(jié)白平衡后獲取織機(jī)出布口圖像，采集圖像系統(tǒng)如圖9所示，采集圖像后截取出布口下方條形ROI區(qū)域，并在Matlab R2012a平臺做算法仿真實(shí)驗(yàn)，系統(tǒng)配置CPU為Pentium（R）E6700 3.2GHz，內(nèi)存（RAM）2.00GB。

圖9 采集圖像系統(tǒng)圖Fig.9 System diagram of image capturing

獲取布匹圖像分為條紋與點(diǎn)紋的2種平紋織物，采集每類紋理布匹200幅，隨機(jī)包含缺陷。檢測效果如圖10所示，點(diǎn)紋和條紋圖案布匹通過分水嶺分割，均精確定位出瑕疵區(qū)域。

圖10 紋理圖像檢測結(jié)果Fig.10 Result of texture detection

將新算法同文獻(xiàn)［6-7］中算法進(jìn)行實(shí)時(shí)性及精確性比較。文獻(xiàn)［6］需通過充足的樣本離線訓(xùn)練，構(gòu)建偏移框架提取特征進(jìn)而確定閾值，且光照等外界條件變化時(shí)根據(jù)特征所提取閾值亦變化，魯棒性差，本文方法只需離線求取紋理基元周期，針對同一批圖案布匹學(xué)習(xí)一次即可；文獻(xiàn)［7］通過提取規(guī)則帶特征，雖可檢測輸出瑕疵但是規(guī)則帶求取復(fù)雜實(shí)時(shí)性差；實(shí)驗(yàn)證明通過精確求取基元周期后區(qū)域差影的方法速度明顯優(yōu)于文獻(xiàn)［6-7］算法，且檢測精度較高，完全滿足工業(yè)現(xiàn)場實(shí)時(shí)性的要求。新算法檢測結(jié)果見表1；算法檢測時(shí)間及精度對比見表2。

表1 算法檢測結(jié)果Table 1 Detecting results using our algorithm

表2 算法檢測時(shí)間及精度對比（圖像大小54pixels＊600pixels）Table 2 Time and accuracy comparison among three algorithms（size of image is 54pixels＊600pixels）

5 結(jié)論

本文針對圖案布匹編織過程，精確提出圖案紋理基元周期，并構(gòu)建基于區(qū)域差影后分水嶺分割自動(dòng)分割出瑕疵區(qū)域的檢測方法，有如下特點(diǎn)：

1）提出一種精確求取紋理基元周期的方法，此方法求取距離疊加函數(shù)極值，通過極值權(quán)重分析，精確求取紋理基元周期。

2）提出一種用區(qū)域差影凸顯瑕疵特征，對差影圖像求取紋理梯度，再進(jìn)行標(biāo)記分水嶺分割，能夠快速準(zhǔn)確分割出紋理瑕疵區(qū)域。

實(shí)驗(yàn)結(jié)果表明，本文算法能夠準(zhǔn)確地檢測出紋理布匹瑕疵的位置，準(zhǔn)確率均達(dá)98%以上，實(shí)時(shí)性強(qiáng)，完全滿足工業(yè)現(xiàn)場要求，基于機(jī)器視覺的布匹瑕疵在線檢測系統(tǒng)的應(yīng)用將極大提高紡織行業(yè)自動(dòng)化程度，減少勞動(dòng)力的同時(shí)提高檢測效率，應(yīng)用前景廣闊。

［1］ KUMAR A.Computer-vision-based fabric defect detection：a survey［J］.IEEE Transactions on Industrial Electronics，2008，55（1）：348-363.

［2］ 李鑫，王新莉，趙讓乾，等.基于機(jī)器視覺的智能化布匹瑕疵檢測方法［J］.河南工程學(xué)院學(xué)報(bào)：自然科學(xué)版，2010，22（4）：12-14 LI Xin，WANG Xin-li，ZHAO Rang－qian，et al.A intelligent fabric detection method based on machine vision［J］.Journal of Henan Institute of Engineering：Natural Science Edition，2010，22 （4）：12-14.（in Chinese with an English abstract）

［3］ MILLAN M S，ESCOFET J.Fabric inspection by near-infrared machine vision［J］.Optics Letters.2004，29（13）：1440-1442.

［4］ BAYKAL I C，MUSCEDERE R，JULLIEN G A.On the use of hash functions for defect detection in textures for in-camera web inspection systems［C］.Phoenix-Scottsdale：ISCAS，2002.

［5］ CHIN R T，HARLOW C A.Automated visual inspection：a survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1982， （6）：557-573.

［6］ RAHMAN A，MURSHED M.Detection of multiple dynamic textures using feature space mapping［J］.IEEE Transactions on Circuits and Systems for Video Technology，2009，19（5）：766-771.

［7］ NGAN H Y T，PANG G K H，YUNG N H C.Performance evaluation for motif-based patterned texture defect detection［J］.IEEE Transactions on Automation Science and Engineering，2010，7（1）：58-72.

［8］ 杜斌，白瑞林，陳文達(dá)，等.一種基于規(guī)則帶特征的圖案布匹檢測新方法［J］.光學(xué)技術(shù)，2011，37（06）：713-717.DU Bin，BAI Rui-lin，CHEN Wen-da，et al.A novel method for patterned texture inspection based on regular bands［J］.Optical Technique，2011，37（06）：713-717.（in Chinese with an English abstract）

［9］ LIU Y，COLLINS R T，TSIN Y.A computational model for periodic pattern perception based on frieze and wallpaper groups［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（3）：354-371.

［10］ ASHA V，NAGABHUSHAN P，BHAJANTRI N U.Automatic extraction of texture-periodicity using superposition of distance matching functions and their forward differences［J］.Pattern Recognition Letters，2012，33（5）：629-640.

［11］ RAFAEL C G，RICHARD E W，STEVEN L E.Digital image processing using MATLAB［M］.Beijing：Publishing House of Electronics Industry，2004.