基于全局和局部顯著性的織物疵點(diǎn)檢測(cè)

姚明海,潘海飛,王憲保

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

基于全局和局部顯著性的織物疵點(diǎn)檢測(cè)

姚明海,潘海飛,王憲保

(浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023)

針對(duì)織物疵點(diǎn)檢測(cè)過程中疵點(diǎn)種類繁多、大小差異和受織物本身紋理干擾等特點(diǎn)，提出了一種全局顯著性和局部顯著性相結(jié)合的織物疵點(diǎn)檢測(cè)方法.首先對(duì)圖像進(jìn)行稀疏表示，然后計(jì)算系數(shù)矩陣的增量編碼長度，根據(jù)增量編碼長度量得到局部顯著圖，再利用頻率調(diào)諧法計(jì)算全局顯著圖，接著將這兩類顯著圖相融合得到綜合顯著圖，最后，通過自適應(yīng)閾值分割法求得二值化圖像.實(shí)驗(yàn)證明：該算法的檢測(cè)效率高，并具有較強(qiáng)的抗干擾能力.

疵點(diǎn)檢測(cè)；頻率調(diào)諧；顯著性；稀疏編碼

隨著面料的生產(chǎn)速度變得更快，快速缺陷檢測(cè)成為織物質(zhì)量控制系統(tǒng)的一個(gè)重要步驟.傳統(tǒng)的織物檢測(cè)主要是通過人工來實(shí)現(xiàn)，效率低且受主觀因素影響大，嚴(yán)重限制了高質(zhì)量的織物生產(chǎn)速度.因此，基于機(jī)器視覺的織物疵點(diǎn)檢測(cè)方法逐漸成為現(xiàn)在的研究熱點(diǎn)，現(xiàn)有的織物檢測(cè)方法主要有頻域法、統(tǒng)計(jì)法和模型法等.統(tǒng)計(jì)法[1]利用一定空間內(nèi)灰度值的統(tǒng)計(jì)特征來描述該紋理.頻域法[2]將織物圖像變換到頻域，頻域形式充分體現(xiàn)了紋理的周期性，檢測(cè)目標(biāo)主要針對(duì)具有均勻紋理的織物圖像.模型法[3]假定紋理是某種模型下的一個(gè)樣本.這些方法雖然都可以檢測(cè)織物疵點(diǎn)，但是往往只針對(duì)于某幾種特定的缺陷，且背景比較簡單，紋理單一.由于不同紋理的織物在生產(chǎn)過程中出現(xiàn)的疵點(diǎn)特征復(fù)雜多變，這些方法使用時(shí)計(jì)算復(fù)雜，缺乏靈活性.

近年來，視覺注意機(jī)制引起了廣泛關(guān)注，在物體識(shí)別[4]、缺陷檢測(cè)[5]和目標(biāo)跟蹤[6]領(lǐng)域都有相應(yīng)的應(yīng)用.顯著性是一種常用的視覺注意機(jī)制方法，已經(jīng)有很多顯著性檢測(cè)方法被提出，可以大致將其分為局部性模型和全局性模型.全局性模型，例如頻率調(diào)諧法[7]，對(duì)圖像的邊緣或噪聲等高頻部分表現(xiàn)敏感，使得目標(biāo)邊界輪廓更好的凸顯，而目標(biāo)內(nèi)部結(jié)構(gòu)往往被忽略.但全局顯著性往往對(duì)局部特征不明感.局部性模型，例如Itti模型，通過特征的稀有性[8]尋找顯著性區(qū)域.但局部顯著性往往忽略了全局關(guān)系及結(jié)構(gòu).因此筆者將全局顯著性和局部顯著性相結(jié)合，提出了一種將全局顯著性和局部顯著性相結(jié)合的織物疵點(diǎn)檢測(cè)新方法，全局顯著性部分，分別計(jì)算圖像整體均值分量和高斯平滑后的的均值分量，從兩者的差值得到全局顯著圖，計(jì)算速度快且能得到良好的邊界；局部顯著性部分，在圖像稀疏分解的基礎(chǔ)上，利用增量編碼長度來對(duì)圖像塊能量再分配，改變系數(shù)矩陣的權(quán)值，得到最優(yōu)的系數(shù)矩陣，進(jìn)而求得局部顯著性.然后將二者融和成最終的顯著圖，通過自適應(yīng)閥值準(zhǔn)確分割出疵點(diǎn)區(qū)域.

1 局部顯著性

采用Hou[9]提出的基于增量編碼長度的算法來計(jì)算織物圖像的顯著性.首先對(duì)圖像稀疏表示，利用系數(shù)矩陣的熵來計(jì)算增量編碼長度，然后利用增量編碼長度來對(duì)圖像塊能量再分配，改變系數(shù)矩陣的權(quán)值，得到最優(yōu)的系數(shù)矩陣，最后通過計(jì)算圖像塊和該周圍圖像塊相似程度來確定局部顯著性.具體操作如下.

1.1 詞典學(xué)習(xí)和稀疏表示

通過字典學(xué)習(xí)，可以對(duì)原始訓(xùn)練樣本更好的表示.給定一組樣本Y=(y1,y2,…),詞典學(xué)習(xí)計(jì)算式為

(1)

式中：‖‖0，‖‖2分別為0范數(shù)和2范數(shù)；λ為正則化參數(shù)；αi表示訓(xùn)練樣本yi在詞典D下的稀疏表示.字典學(xué)習(xí)常用的方法有線字典學(xué)習(xí)算法和K-SVD算法.

已知圖像的過完備詞典D，x∈Rm為圖像的向量，則對(duì)于x的稀疏表示w的求解式為

(2)

這是一個(gè)NP-Hard問題，不易求解.然而，根據(jù)最近的研究，當(dāng)w足夠稀疏，上述問題就可以通過最小化l1范數(shù)來近似求解，即

(3)

式中λ為常系數(shù).這是一個(gè)線性退化Lasso問題，常用求解方法有正交匹配追蹤算法和匹配追蹤算法.

1.2 增量編碼長度

已經(jīng)有研究得到了視覺系統(tǒng)的編碼和表達(dá)來評(píng)估大腦皮層的能量變化情況.即用增量編碼長度來對(duì)編碼能量再分配，獲得更加有效的稀疏編碼，將增量編碼長度用于顯著性分類，可以更加有效的突出顯著性物體，得到更好的顯著圖.

活躍度反映采樣序列的響應(yīng)水平，記第i個(gè)特征的活躍度為pi，對(duì)于給定的圖像矩陣X=[x1,x2,…,xk,…]，xk代表向量化圖像塊，pi計(jì)算式為

(4)

(5)

活躍度的改變同時(shí)會(huì)引起熵的改變，即

(6)

則增量編碼長度為

(7)

1.3 能量再分配

(8)

令所有圖像塊的加權(quán)編碼稀疏T=[g1w1,g1w2,…,giwi,…]，ti=giwi.則局部像素塊的顯著度的計(jì)算式為

Slocal(i)=‖ti‖0‖xi-Dti‖1

(9)

式中Slocal(i)為像素塊i的顯著性.

2 全局顯著性

從頻率域的角度對(duì)圖像進(jìn)行分析建模.設(shè)wlc為低頻切斷值，whc為高頻切斷值.為了使得顯著物體高亮顯示，wlc應(yīng)該盡量低一些，為了得到更好的顯著物體邊界，whc應(yīng)該盡量高一些.此外，為了消除噪聲，圖像紋理的干擾，圖像的最高頻率應(yīng)當(dāng)舍棄掉.選取DoG濾波器為帶通濾波器，即

G(x,y,σ1)-G(x,y,σ2)

(10)

式中：σ1，σ2分別為高斯函數(shù)的標(biāo)準(zhǔn)偏差(σ1>σ2).

(11)

當(dāng)N≥0，F(xiàn)N可以用兩個(gè)高斯函數(shù)的差來表示，K=ρN決定FN帶寬.K=ρN越大，包含更多的頻率信息.當(dāng)N=∞時(shí)，G(x,y,ρNσ)相當(dāng)于對(duì)整個(gè)圖像的平均.因此每個(gè)像素的顯著度計(jì)算式為

Sglobal(x,y)=‖Iμ-Iwhc(x,y)‖2

(12)

式中：Iwhc(x,y)為原圖高斯平滑后像素點(diǎn)在的圖像中的顏色特征；Iμ為圖像的平均顏色特征.

3 顯著性特征融合

得到了全局顯著圖Sglobal和局部顯著圖Slocal后，為了得到更有效的顯著圖，將將它們?nèi)诤蠟橐粋€(gè)顯著圖.首先，分別對(duì)其做歸一化處理：

N(S)=[S-min(S)]/[max(S)-min(S)]

(13)

式中：max(S)，min(S)分別為顯著圖中的最大值和最小值.

其次，為有效保留全局和局部顯著性兩種特征的缺陷目標(biāo)，采用乘法融合顯著圖，得

S=N(Sglobal)×N(Slocal)

(14)

(15)

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)在IntelCorei7-3770M3.4GHz，內(nèi)存8GB的CPU平臺(tái)上，利用matlab軟件完成.織物樣本選自TILDA公共庫和生產(chǎn)線拍攝的圖片，隨機(jī)選擇200 張不同織物結(jié)構(gòu)的樣本圖像進(jìn)行實(shí)驗(yàn)，其中100 張無瑕疵，100 張有瑕疵，包含12 種瑕疵(抽絲、錯(cuò)維、斷疵、經(jīng)縮、破洞、毛邊、毛球、邊撐疵、黑斑、條干、拖邊和油經(jīng)).圖1為部分織物疵點(diǎn)圖，圖1(a～e)分別為抽絲、黑斑、錯(cuò)維、破洞和邊撐疵圖像.

圖1 織物疵點(diǎn)圖Fig.1 Fabric defect map

為了提高運(yùn)算速度，首先將原織物圖像壓縮到原圖像的十分之一.在局部顯著性計(jì)算時(shí)，輸入圖像塊重疊率為50%，大小為8×8.詞典的學(xué)習(xí)用K-SVD算法，迭代次數(shù)為1 000，調(diào)和系數(shù)為0.15，詞典大小為400，參數(shù)λ取0.18，高斯平滑模板大小為3×3.

圖2分別為圖1各疵點(diǎn)圖像對(duì)應(yīng)的顯著圖，圖3分別為圖2閾值分割后的二值化圖像.可以看出筆者算法有效地實(shí)現(xiàn)了疵點(diǎn)和背景的分離.

圖2 織物疵點(diǎn)顯著性圖Fig.2 Fabric defect saliency map

圖3 織物疵點(diǎn)二值化圖Fig.3 Fabric defect bnarization map

圖4為織物疵點(diǎn)檢測(cè)二值化對(duì)比圖.其中圖4(a)為待檢測(cè)織物圖像，圖4(b)為用全局顯著性方法得到的檢測(cè)結(jié)果，圖像顯示，許多紋理當(dāng)作缺陷被檢測(cè)出來；圖4(c)為用局部顯著性方法得到的檢測(cè)結(jié)果，有效的抑制了自身紋理的干擾，但是不能很好的檢測(cè)缺陷的外輪廓；圖4(d)為用全局和局部顯著性融合方法得到的檢測(cè)結(jié)果，可以看出綜合顯著圖有效的去除了自身紋理的干擾，更多的保留了缺陷的特征.

圖4 織物疵點(diǎn)檢測(cè)二值化對(duì)比圖Fig.4 Fabric defect Binarization contrast map

張洪濤和計(jì)時(shí)鳴提出了一種基于小波變換與局部熵相結(jié)合的織物疵點(diǎn)檢測(cè)方法.分別計(jì)算待測(cè)織物和正?？椢飯D像的熵，根據(jù)熵的差值的絕對(duì)值大小來判別該圖像是否存在疵點(diǎn)，該算法計(jì)算量小，但是在復(fù)雜的織物紋理背景下，檢測(cè)效果不佳.吳哲和劉孝星提出一種共生矩陣算法，共生矩陣屬于高階統(tǒng)計(jì)量，能刻畫不同紋理間的差別，從灰度共生矩陣中提出紋理特征，計(jì)算灰度共生矩陣中的熵、相關(guān)性、對(duì)比度、差異性和逆差矩，并據(jù)此判別是否存在缺陷.但共生矩陣維數(shù)大，計(jì)算時(shí)間長，且檢測(cè)率不高.對(duì)比實(shí)驗(yàn)結(jié)果如表1所示.

表1 不同織物疵點(diǎn)檢測(cè)方法實(shí)驗(yàn)結(jié)果對(duì)比

Table 1 Comparing the experimental results of different fabric defect detection method

檢測(cè)方法檢測(cè)時(shí)間/ms檢測(cè)率/%誤檢率/%筆者算法62．4945小波變換53．6888共生矩陣1442．7935

表1中，檢測(cè)時(shí)間是指疵點(diǎn)檢測(cè)算法的平均時(shí)間，檢測(cè)率是指準(zhǔn)確檢出疵點(diǎn)的圖片數(shù)量與所有瑕疵圖片數(shù)量比例，誤檢率是指誤報(bào)有瑕疵的圖片的數(shù)量與所有檢測(cè)圖片數(shù)量的比例.筆者算法在檢測(cè)時(shí)間和檢測(cè)率都比共生矩陣法有優(yōu)勢(shì)，小波變換法雖然計(jì)算時(shí)間較快，但檢測(cè)率較低，誤檢率較高.

5 結(jié) 論

提出了一種將全局顯著性和局部顯著性相結(jié)合的織物疵點(diǎn)檢測(cè)新方法.局部顯著性部分，在圖像稀疏分解的基礎(chǔ)上，利用增量編碼長度來對(duì)圖像塊能量再分配，改變系數(shù)矩陣的權(quán)值，得到最優(yōu)的系數(shù)矩陣，進(jìn)而求得局部顯著性.全局顯著性部分，分別計(jì)算圖像整體均值分量和高斯平滑后的的均值分量，從兩者的差值得到全局顯著圖，計(jì)算速度快且能得到良好的邊界.然后將二者融和成最終的顯著圖.與傳統(tǒng)算法相比，檢測(cè)效率和檢測(cè)精度均有一定改進(jìn)，并具有較強(qiáng)的魯棒性.此外，該方法具有一定的通用性，對(duì)算法稍微改進(jìn)，也可以用在其他缺陷檢測(cè)中.

[1] 吳哲，劉孝星，鄭力新，等.基于灰度共生矩陣特征圖像的織物疵點(diǎn)檢測(cè)方法[J].微型機(jī)與應(yīng)用，2015，34(21)：47-49.

[2] 顧菁，薛云燦，張龍，等.基于小波變換與局部熵的織物疵點(diǎn)檢測(cè)方法[J].微處理機(jī)，2015(5)：69-75.

[3] 朱俊嶺，汪軍，張孝南，等.基于AR模型的機(jī)織物線狀疵點(diǎn)研究[J].紡織學(xué)報(bào)，2012，33(8)：50-54.

[4] 鮑官軍，荀一，戚力勇，等.機(jī)器視覺在黃瓜采摘機(jī)器人中的應(yīng)用研究[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2010，38(1)：114-118.

[5] 張洪濤，計(jì)時(shí)鳴.基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)鋼板表面缺陷分類算法研究[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2010，38(4)：388-390.

[6] 滕游，董輝，俞立.基于DSP的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)設(shè)計(jì)[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2009，37(6)：607-609.

[7] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//Proceedings of 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshop.Miami：IEEE Computer Society，2009：1597-1604.

[8] 樊強(qiáng)，齊春.基于全局和局部短期稀疏表示的顯著性檢測(cè)[J].計(jì)算機(jī)科學(xué)，2014，41(10)：80-83.

[9] HOU X D, ZHANG L. Dynamic visual attention: searching for coding length increments[C]//Advances in Neural Information Processing Systems.Vancouver：MIT Press，2008：681-688.

Fabric defect detection based on local saliency and global saliency

YAO Minghai, PAN Haifei, WANG Xianbao

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Aiming at the problems, such as a wide range of defects, different defect sizes and fabric texture interferences in the process of fabric defect detection, this paper proposes a new fabric defect detection method combining the local saliency and global saliency. Firstly, the image is represented as sparse matrix and the incremental encoding length of the coefficient matrix is computed. The local saliency can be measured by the Incremental Coding Length(ICL). Then the frequency tuning method is used to calculate the global saliency map. These two kinds of saliency maps are combined to obtain the final saliency map. Finally, the adaptive threshold segmentation method is used to achieve binary image. Experiment shows that the proposed algorithm can efficiently detect defects with shorter time and has strong anti-jamming ability.

defect detection; frequency tuned; saliency detection; sparse coding

(責(zé)任編輯：陳石平)

2016-03-05

姚明海(1963—)，男，浙江嘉善人，教授，研究方向?yàn)槟Ｊ阶R(shí)別和智能控制，E-mail：ymh@zjut.edu.cn.

TP391.9

A

1006-4303(2017)01-0019-04