基于視覺注意計(jì)算模型的棉花異性纖維檢測(cè)

師紅宇,管聲啟

(西安工程大學(xué) a. 計(jì)算機(jī)科學(xué)學(xué)院; b. 機(jī)電工程學(xué)院，陜西 西安 710048 )

?

基于視覺注意計(jì)算模型的棉花異性纖維檢測(cè)

師紅宇a,管聲啟b

(西安工程大學(xué) a. 計(jì)算機(jī)科學(xué)學(xué)院; b. 機(jī)電工程學(xué)院，陜西 西安 710048 )

摘要：基于機(jī)器視覺的棉花異性纖維在線檢測(cè)，需要解決一個(gè)大背景下的小缺陷區(qū)域準(zhǔn)確檢測(cè)問題.為了解決這個(gè)問題，通過構(gòu)建視覺注意計(jì)算模型，使檢測(cè)目標(biāo)興趣區(qū)凸顯出來，從而解決視覺數(shù)據(jù)冗余瓶頸問題.根據(jù)所構(gòu)建模型結(jié)構(gòu)，首先從輸入圖像中提取全局特征圖；然后提取灰度和方向特征進(jìn)行高斯金字塔多層分解，并采用中央-周邊操作算子構(gòu)建特征差分圖； 最后利用融合操作構(gòu)建特征顯著圖和整體顯著圖，檢測(cè)興趣區(qū)在該顯著圖中被凸顯出來.試驗(yàn)結(jié)果表明，該模型能夠?qū)崿F(xiàn)棉花異性纖維的有效檢測(cè)，不僅檢測(cè)準(zhǔn)確率高，還具有較強(qiáng)的普適性，為棉花異性纖維在線檢測(cè)提供了一種新方法.

關(guān)鍵詞：棉花； 異性纖維； 視覺注意； 計(jì)算模型； 興趣區(qū)域； 顯著圖

棉花中的異性纖維是指在原棉生產(chǎn)、加工和流通過程中混入棉花之中，對(duì)棉花及其制品質(zhì)量有嚴(yán)重影響的非棉纖維和有色纖維，如化學(xué)纖維、毛發(fā)、絲、麻、塑料繩、染色線等，這些異性纖維將會(huì)嚴(yán)重影響成品的質(zhì)量，為此，在紡織企業(yè)中對(duì)棉花異性纖維檢測(cè)和剔除是必備的工序之一.基于機(jī)器視覺的異性纖維檢測(cè)，不但提高了工作效率，而且在很大程度上提高了異性纖維的檢出率[1-2].文獻(xiàn)[3-4]提出了一種基于改進(jìn)最大類間方差(Otsu)的異性纖維檢測(cè)算法，這種算法雖然能提高檢測(cè)速度，但并不能分割出對(duì)比度小的異性纖維信息.文獻(xiàn)[5]提出了一種小波變換的棉花異性纖維檢測(cè)算法，文獻(xiàn)[6]提出了基于多尺度小波和模糊方法的異性纖維檢測(cè)算法.利用小波多分辨率和高消失矩雖然能夠有效檢測(cè)具有突變特性的異性纖維，但往往難于檢測(cè)非奇異特性的異性纖維.文獻(xiàn)[7]采用均值平移(mean-shift)算法對(duì)棉花異性纖維圖像進(jìn)行分割，該方法具有較強(qiáng)的抗噪能力，對(duì)于頭發(fā)、麻繩等與背景對(duì)比度較大的異性纖維分割效果較好，但對(duì)于面積較小或與背景對(duì)比度較小的異性纖維分割效果較差.文獻(xiàn)[8]通過改進(jìn)蟻群算法用于棉花異性纖維目標(biāo)特征選擇，但蟻群算法參數(shù)較多，檢測(cè)的好壞很大程度依賴最優(yōu)參數(shù)的選擇.文獻(xiàn)[9]應(yīng)用聚類統(tǒng)計(jì)分析進(jìn)行棉花異性纖維檢測(cè)，當(dāng)棉纖維與異性纖維在RGB顏色模型空間的各分量值接近時(shí)，無法實(shí)現(xiàn)檢測(cè).通過上述分析可以看出，每種檢測(cè)算法往往僅適用于某類異性纖維的檢測(cè)，很難具有普適性，因此，如何提高檢測(cè)的普適性仍然是棉花異性纖維檢測(cè)的關(guān)鍵.

由棉花異性纖維特性分析可知，棉花異性纖維與正常棉花背景信息在灰度值上比較接近，且異性纖維總是在棉花大背景下局部分布.本文通過構(gòu)建視覺注意計(jì)算模型提高檢測(cè)目標(biāo)的顯著度，使檢測(cè)目標(biāo)興趣區(qū)凸顯出來，從而實(shí)現(xiàn)異性纖維的檢測(cè).

1視覺注意機(jī)制理論分析

棉花異性纖維檢測(cè)屬于大背景下的小缺陷檢測(cè)，目標(biāo)區(qū)域面積小于整體圖像面積的5%.為了確保所有的缺陷都能實(shí)時(shí)地從大的背景中分離出來，必須解決視覺信息冗余問題[10-11].

對(duì)于視覺信息冗余問題，人類視覺系統(tǒng)具有選擇性視覺注意機(jī)制來解決這一局限性問題.在前注意階段，通過并行方式粗略快速地掃描全局場(chǎng)景，人類視覺系統(tǒng)可以定位興趣區(qū)域，隨后在下一階段對(duì)高質(zhì)量的信息區(qū)域進(jìn)行處理，增強(qiáng)目標(biāo)的顯著性，去除大量冗余的背景數(shù)據(jù)，減少資源消耗.在注意階段，精心專注于該興趣區(qū)域，該視覺系統(tǒng)可以采集到高分辨率的局部圖像并以串行方式識(shí)別目標(biāo)[12].

在機(jī)器視覺系統(tǒng)中引入視覺注意機(jī)制這項(xiàng)功能，無疑是對(duì)大背景下的小目標(biāo)檢測(cè)的一個(gè)重要方法.目前基于對(duì)視覺皮層機(jī)制基本原理的認(rèn)識(shí)，提出了許多視覺注意機(jī)制計(jì)算模型.Itti的顯著圖模型(Itti模型)是一個(gè)經(jīng)典視覺注意機(jī)制模型[13]，為視覺注意機(jī)制理論應(yīng)用到圖像處理中奠定了基礎(chǔ).根據(jù)檢測(cè)任務(wù)的不同，很多學(xué)者提出了Itti改進(jìn)模型，并已廣泛應(yīng)用于各種自然場(chǎng)景和機(jī)器工業(yè)視覺目標(biāo)檢測(cè)[14-16].根據(jù)棉花異性纖維檢測(cè)特點(diǎn)，本文采用一種新的視覺注意計(jì)算模型，以解決棉花異性纖維檢測(cè)問題.

2視覺注意計(jì)算模型

為實(shí)現(xiàn)棉花異性纖維在線檢測(cè)目標(biāo)，根據(jù)Itti的顯著圖模型[13]，本文設(shè)計(jì)的視覺注意計(jì)算模型如圖1所示.

圖1　視覺注意計(jì)算模型Fig.1　A computational model of visual attention

2.1全局特征圖

檢測(cè)圖像的背景是一種規(guī)則和緩慢變化的信息，而檢測(cè)目標(biāo)表現(xiàn)為局部紋理的突變，通常是粗糙和突變的信息.本文采用局部偏差來度量全局紋理特征，設(shè)平均值和標(biāo)準(zhǔn)偏差的窗口大小為(2n+1)×(2n+1)，平均值和標(biāo)準(zhǔn)偏差分別用式(1)和(2)計(jì)算.

(1)

其中：X(p,q)為一個(gè)輸入的灰度圖像；M(i,j)為窗口的平均值，窗口的中心由輸入圖像的(i,j)坐標(biāo)來確定；G(i,j)為窗口的標(biāo)準(zhǔn)偏差.因此，由式(1)和(2)形成全局特征圖.當(dāng)n= 1,2,3時(shí)，窗口大小分別為3×3、5×5、7×7，采用標(biāo)準(zhǔn)差構(gòu)造的全局特征圖如圖2所示.

(a) 棉花圖像

(b) 3×3窗口全局特征圖

(c) 5×5窗口全局特征圖

(d) 7×7窗口全局特征圖

由圖2可知，窗口大小為7×7時(shí)，全局特征圖中噪聲被有效抑制，因此，選用7×7窗口構(gòu)造全局特征圖.

2.2顯著圖

通過中央周邊操作算子(center-surround difference)計(jì)算局部視覺對(duì)比度并產(chǎn)生特征差分圖(feature difference map)，對(duì)比度較大的區(qū)域可能吸引視覺注意.然后通過跨尺度組合算子(across-scale combination)，將不同尺度下的特征圖組合成不同的特征顯著圖(feature saliency map).最后，通過融合算子將不同特征顯著圖合成一個(gè)整體顯著圖(overall saliency map).

2.2.1特征差分圖

(1) 特征金字塔分解. 對(duì)全局特征圖的灰度特征I進(jìn)行多尺度的低通濾波和向下抽樣實(shí)現(xiàn)高斯金字塔3層分解，形成多尺度灰度特征圖I(1)，I(2)和I(3)；對(duì)全局特征圖的灰度特征I使用Gabor算子進(jìn)行濾波，形成方向特征，然后進(jìn)行金字塔3層分解，形成多尺度方向特征圖O(1)，O(2)和O(3).

二維Gabor濾波器可看成高斯包絡(luò)線被復(fù)正弦函數(shù)調(diào)制的結(jié)果，其可由式(3)表示.

exp[2πjf(x′+y′)]

(3)

其中：x′=xcosθk+ysinθk；y′=-xsinθk+ycosθk；f為中心頻率；σx和σy分別為高斯包絡(luò)沿x軸和y軸方向的標(biāo)準(zhǔn)偏差，本文取σx=σy=σ；θk為預(yù)先設(shè)定的方向參數(shù)，決定特征方向.

棉花異性纖維的灰度特征和方向特征金字塔分解如圖3所示.

(a) 灰度特征

(b) 方向特征(0°)

(c) 方向特征(45°)

(d) 方向特征(90°)

(e) 方向特征(135°)

(2) 中央周邊操作. 對(duì)多尺度灰度和方向特征圖進(jìn)行插值運(yùn)算，使其尺寸相同，然后按照式(4)和(5)計(jì)算灰度特征差分圖I(c,s)和方向特征差分圖O(c,s,θk).

I(c,s)=|I(c)ΘI(s)|

(4)

O(c,s,θk)=|O(c,θk)ΘO(s,θk)|

(5)

其中：Θ表示中央周邊操作，即不同尺度特征圖差分；θk分別取0°,45°,90°,135°；c∈{1,2},s=c+d,d∈{1}.

2.2.2特征顯著圖

(6)

(7)

其中：N(·)是一種歸一化算子；?為不同差分子圖相加算子；θk分別取0°, 45°, 90°, 135°.

所構(gòu)建的灰度特征和方向特征顯著圖如圖4所示.由圖4可以看出，各特征顯著圖中的檢測(cè)目標(biāo)特征對(duì)比度明顯增大.

(a) 灰度特征　　(b) 方向特征

2.2.3整體顯著圖

(8)

圖5　整體顯著圖Fig.5　Overall saliency map

3試驗(yàn)與分析

3.1分割效果分析

為了驗(yàn)證本文算法的分割效果，通過最大類間閾值對(duì)本文模型的整體顯著圖(TP)、改進(jìn)Itti顯著模型[18](ST)和譜殘差模型[19](SR)所產(chǎn)生的顯著圖進(jìn)行分割和目標(biāo)提取，分割效果如圖6所示.

由圖6(b)和6(c)可以看出，除第1幅圖外，本文模型所檢測(cè)目標(biāo)區(qū)域均符合原圖像中異性纖維的實(shí)際位置，且異性纖維數(shù)目與實(shí)際情況相同.采用本文模型檢測(cè)的第1幅圖的異性纖維數(shù)目為4，而實(shí)際異性纖維數(shù)目為3，可能的原因是將原棉背景對(duì)比大的區(qū)域檢測(cè)為異性纖維區(qū)域.由圖6(d)可以看出，ST模型雖然能檢測(cè)出比較顯著的部分目標(biāo)，但也引入了不少偽目標(biāo).由圖6(e)可以看出，SR模型所檢測(cè)的目標(biāo)數(shù)目與原棉中異性纖維數(shù)目相差較大.

(a) 棉花異性纖維圖像

(b) 人工標(biāo)記的棉花異性纖維圖像

(c) 本文模型分割效果

(d) ST模型分割效果

(e) SR模型分割效果

由圖6可知，本文模型基本能夠正確分割出異性纖維存在的區(qū)域以及異性纖維的數(shù)目.但本文模型存在一定誤檢，主要原因可能在于原棉分布不均勻，造成局部對(duì)比度增大.因此，只要在檢測(cè)中盡量使原棉均勻分布，就有可能避免誤檢情況發(fā)生.另外，本文模型所分割出的檢測(cè)目標(biāo)形態(tài)接近圓形，與真實(shí)的異性纖維形態(tài)差異較大，這可能是顯著圖構(gòu)建機(jī)理以及Gabor濾波器參數(shù)選取(例如σx=σy=σ)等原因造成的.因此，本文模型只能用于棉花異性纖維快速檢測(cè)，對(duì)于進(jìn)一步識(shí)別異性纖維種類，則需要進(jìn)一步結(jié)合其他算法.

3.2檢測(cè)準(zhǔn)確率分析

這里選取正常棉花纖維和含有毛發(fā)、紅色塑料、透明塑料、線頭的原棉圖像進(jìn)行測(cè)試，測(cè)試圖像尺寸均為256像素×256像素，在同一臺(tái)計(jì)算機(jī)上采用Matlab軟件運(yùn)行.為了準(zhǔn)確統(tǒng)計(jì)檢測(cè)準(zhǔn)確率，從采集圖像中選取僅包含一處異性纖維的圖像作為測(cè)試圖像.不同模型對(duì)棉花異性纖維的檢測(cè)準(zhǔn)確率如表1所示.由表1可以看出，本文模型的檢測(cè)準(zhǔn)確率為92%～99%，波動(dòng)范圍僅為7%，說明本文模型對(duì)常見的異性纖維檢測(cè)具有一定的普適性.ST模型檢測(cè)準(zhǔn)確率為72%～90%，波動(dòng)范圍達(dá)到18%，說明其對(duì)某些異性纖維檢測(cè)具有較高的檢測(cè)準(zhǔn)確率，但對(duì)于對(duì)比度小的透明塑料等檢測(cè)效果較差，檢測(cè)適應(yīng)性差.SR模型檢測(cè)準(zhǔn)確率為60%～75%，說明這種方法對(duì)不同異性纖維的檢測(cè)準(zhǔn)確率都比較低，且檢測(cè)普適性很差，很難適應(yīng)棉花異性纖維在線檢測(cè).

表1　檢測(cè)準(zhǔn)確率比較

由棉花異性纖維分割和檢測(cè)準(zhǔn)確率試驗(yàn)表明，本文模型能夠從原棉中有效分割出異性纖維信息，并且具有較高的檢測(cè)準(zhǔn)確率，對(duì)常見的異性纖維檢測(cè)具有普適性.可能的原因在于本文模型能夠有效地提高顯著圖中的異性纖維與棉花纖維的對(duì)比度.

4結(jié)語

本文采用人類視覺注意機(jī)制，建立合適的自底向上數(shù)據(jù)驅(qū)動(dòng)的計(jì)算模型，依據(jù)模型結(jié)構(gòu)，通過全局特征圖、特征差分圖、特征顯著圖和整體顯著圖的構(gòu)建，提高整體顯著圖中的棉花異性纖維興趣區(qū)的顯著度，通過最大類間方差方法有效實(shí)現(xiàn)異性纖維的分割.試驗(yàn)結(jié)果表明，本文方法不僅具有較高的檢測(cè)準(zhǔn)確率，而且對(duì)常見的異性纖維檢測(cè)具有較強(qiáng)的普適性，這將為棉花異性纖維在線檢測(cè)提供了可行性.

參考文獻(xiàn)

[1] 劉雙喜，張馨，王金星，等．棉花異性纖維圖像特征提取[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010,41(3): 158-162.

[2] 郭俊先，應(yīng)義斌．皮棉中雜質(zhì)檢測(cè)技術(shù)與檢出裝備的研究進(jìn)展[J]．農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2008,39(7): 107-113.

[3] 楊文柱，李道亮，魏新華，等. 棉花異性纖維圖像分割方法 [J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2009,40 (3)：156-160.

[4] 湯先福，黃靜，章涵博. 棉花異性纖維識(shí)別方法的研究 [J]. 儀表技術(shù)與傳感器，2010(11)：88-90.

[5] 張南賓，劉小平. 基于小波變換的棉花異纖檢測(cè)算法研究 [J]. 計(jì)算機(jī)仿真，2012,29(4): 301-304.

[6] 王波. 基于多尺度小波的棉花異纖檢測(cè)算法 [J]. 控制工程，2009,16(5): 173-175.

[7] 鄭文秀，劉雙喜，魏新華，等. 基于Mean-shift的棉花異性纖維圖像分割 [J]. 山東農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版)，2009,40(2)：224-228.

[8] 趙學(xué)華，李道亮，楊文柱，等. 基于改進(jìn)蟻群算法的棉花異性纖維目標(biāo)特征選擇方法 [J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011,42(4)：168-172.

[9] 杜玉紅，王加富，蔣秀明，等. 應(yīng)用聚類統(tǒng)計(jì)分析的棉花異纖圖形檢測(cè)算法 [J]. 紡織學(xué)報(bào)，2015,36(3):135-139.

[10] SU Z, WANG J, HUANG M, et al. A machine vision system with an irregular imaging function[C]//The 5th International Symposium on Image and Signal Processing and Analysis.Istanbul, Turkey, 2007:458-463.

[11] BORJI A, AHMADABADI M N, ARAABI B N. Cost-sensitive learning of top-down modulation for attentional control[J]. Mach Vis Appl, 2011, 22(1): 61-76.

[12] THORPE S, FIZE D, MARLOT C. Speed of processing in the human visual system[J]. Nature, 1996,381(6582): 520-522.

[13] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Trans Pattern Anal Mach Intell， 1998, 20(11): 1254-1259.

[14] FRINTROP S, ROME E. Simulating visual attention for object recognition[C]//The Workshop on Early Cognitive Vision Isle of Skye. Scotland, 2004.

[15] ZHANG Q, GU G, XIAO H. Computational model of visual selective attention [J]. Robot, 2009, 31(6):574-580.

[16] 叢家慧，顏云輝.視覺注意機(jī)制在帶鋼缺陷檢測(cè)中的應(yīng)用[J].中國機(jī)械工程, 2011,22(10): 1189-1192.

[17] BOVIK A C, CLARK M, GEISLER W S. Multichannel texture analysis using localized spatial filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 55-73.

[18] WALTHER D, KOCH C. Modeling attention to salient proto-objects [J]. Neural Networks, 2006, 19(19): 1395-1407.

[19] HOU X, ZHANG L. Saliency detection: A spectral residual approach [C]// IEEE Conference on Computer Vision and Pattern Recognition. 2007:1-8.

文章編號(hào)：1671-0444(2016)03-0400-06

收稿日期：2015-05-20

基金項(xiàng)目：陜西省教育廳科研計(jì)劃資助項(xiàng)目(16JK1334)；西安工程大學(xué)博士科研基金資助項(xiàng)目(BS1005)

作者簡介:師紅宇(1981—)，女，陜西潼關(guān)人，工程師，碩士，研究方向?yàn)閳D像處理技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)及應(yīng)用技術(shù). E-mail: shy510213@163.com

中圖分類號(hào)：TP 391.41

文獻(xiàn)標(biāo)志碼：A

Cotton Foreign Fibers Detection Based on Visual Attention Computational Model

SHIHong-yua,GUANSheng-qib

(a. College of Computer Science; b. College of Mechanical & Electronic Engineering,Xi’an Polytechnic University, Xi’an 710048, China)

Abstract:Regions of small defects need to be detected accurately in a large backgrourd, when cotton foreign fibers is detected on line based on machine vision. A computational model of visual attention is developed for solving the problem. The model can highlight the target regions of interest, so as to solve the bottle neck problem of visual data redundancy. Firstly, the global feature is extracted from input image; then gray and direction features are extracted for Gauss Pyramid multiplayer decomposition, and feature difference map is constructed by a center-surround operator. Finally, feature saliency map and overall saliency map are constructed by a fusion operation, regions of interest are highlighted in the saliency map. Experimental results show that the model can achieve the effective detection of cotton foreign fibers. It not only has high accuracy, but also has strong universality. It provides a new method for cotton foreign fibers detected on line.

Key words:cotton; foreign fibers; visual attention; computational model; regions of interest; saliency map