基于相對(duì)總變差模型與MSER的織物毛球等級(jí)評(píng)價(jià)

杜林濤,李鵬飛,顧 德

(1.西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048;2.江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室,江蘇 無錫 214122)

0 引 言

織物起毛起球是由于織物在日常穿著、洗滌等各種摩擦作用下表面產(chǎn)生絨毛和毛球顆粒的現(xiàn)象。毛球的存在會(huì)影響織物的手感和外觀,同時(shí)給紡織企業(yè)帶來極大困擾,對(duì)織物的實(shí)用性能造成較大影響,織物起毛起球等級(jí)是衡量紡織品質(zhì)量的一個(gè)重要指標(biāo)[1]。目前國內(nèi)外針對(duì)織物起毛起球的等級(jí)評(píng)定仍主要采用人工評(píng)級(jí)方法,該方法受主觀因素影響較大,測(cè)試結(jié)果重復(fù)一致性較差,且對(duì)檢測(cè)環(huán)境要求極為嚴(yán)格。

從20世紀(jì)80年代開始,國內(nèi)外已有學(xué)者利用圖像分析技術(shù)來嘗試替代傳統(tǒng)的人工方法對(duì)織物起毛起球質(zhì)量進(jìn)行客觀評(píng)價(jià)。Konda[2]等最早將毛球圖像轉(zhuǎn)換為二值圖像,提取毛球個(gè)數(shù)和毛球面積與標(biāo)準(zhǔn)樣本對(duì)照以確定織物起毛起球等級(jí)。文獻(xiàn)[3-4]等人通過快速傅里葉變換,在頻域?yàn)V除織物紋理信息,采用模板匹配提取毛球信息。Chen等[5]提出了基于多尺度匹配濾波的毛球檢測(cè)方法,能夠準(zhǔn)確定位分布不均且尺寸差異較大的毛球。但是上述方法對(duì)光照不均以及紋理復(fù)雜的織物分割效果較差。Deng等[6]利用小波分解重構(gòu)的方法濾除織物紋理信息,消除了紋理信息對(duì)毛球分割的干擾。汪亞明[7]等使用基于小波變換與Gabor[8]濾波的方法,能夠抑制織物紋理,消除光照不均現(xiàn)象。但是基于小波變換[9-10]、Gabor濾波等頻域的方法參數(shù)較多,處理速度比較慢,對(duì)于紋理復(fù)雜,或者周期性不強(qiáng)織物的紋理抑制效果一般,導(dǎo)致毛球分割不完整,影響起毛起球等級(jí)評(píng)價(jià)結(jié)果。趙喜林等[11]使用相對(duì)總變差模型對(duì)織物紋理信息進(jìn)行了有效抑制,但無法消除光照不均對(duì)毛球分割的影響,魯棒性較低。

針對(duì)上述問題,提出一種基于相對(duì)總變差模型與MSER相結(jié)合的起毛起球等級(jí)評(píng)價(jià)方法。首先利用直方圖均衡化提高圖像對(duì)比度,增強(qiáng)毛球信息，再設(shè)計(jì)了一種卷積核,用以消除光照不均現(xiàn)象;其次利用相對(duì)總變差模型在抑制圖像紋理信息的同時(shí)保留毛球邊緣信息，并使用MSER分割毛球區(qū)域,通過開運(yùn)算消除孤立像素點(diǎn);最后統(tǒng)計(jì)毛球總面積占圖像面積的比例(以下簡稱毛球占比),并建立織物起毛起球等級(jí)評(píng)價(jià)標(biāo)準(zhǔn),實(shí)現(xiàn)對(duì)織物起毛起球等級(jí)的客觀評(píng)價(jià)。

1 織物起毛起球等級(jí)評(píng)價(jià)算法

通過對(duì)采集的標(biāo)準(zhǔn)毛球圖像進(jìn)行分析,提取其等級(jí)特征參數(shù),建立起毛起球等級(jí)評(píng)價(jià)標(biāo)準(zhǔn),完成對(duì)起毛起球等級(jí)的客觀評(píng)價(jià)。提出的織物起毛起球等級(jí)評(píng)價(jià)算法由圖像預(yù)處理、紋理抑制、毛球分割、等級(jí)評(píng)定4部分構(gòu)成。

1.1 圖像預(yù)處理

圖像采集采用1 200 W像素相機(jī),打光方式為條形光源側(cè)面打光,樣照織物的直徑為9 cm,拍攝圖像的大小為1 024×1 024,本文截取圖像的最大內(nèi)接正方形(512×512)為最終等級(jí)評(píng)定的研究對(duì)象。截取的織物起毛起球圖像如圖1(a)所示。由于織物的毛球與背景紋理的灰度值比較接近,難以直接將毛球分割出來。因此首先采用直方圖均衡化增強(qiáng)毛球圖像對(duì)比度,凸顯毛球區(qū)域,結(jié)果如圖1(b)所示。光照變化對(duì)織物毛球的分割,以及等級(jí)評(píng)價(jià)結(jié)果影響較大,根據(jù)Retinex[12]理論,織物起毛起球圖像的光照分量整體變化較為平緩,主要存在于圖像低頻部分(光照分量如圖1(c)所示),而反射分量則主要存在于圖像高頻部分,其變化比較劇烈,如織物毛球信息與紋理信息[13]。因此要消除織物圖像中的光照不均現(xiàn)象,就需要濾除圖像中的低頻信息。

由于空間濾波相較于頻域?yàn)V波,計(jì)算量比較小,具有更快的計(jì)算速度,因此設(shè)計(jì)一種尺寸為5×5的卷積核,以消除光照不均。該卷積核結(jié)構(gòu)如式(1)所示,卷積核中心權(quán)值為-25,中心點(diǎn)周圍的權(quán)值均為1,通過該卷積核濾波[14]能夠降低光照過強(qiáng)區(qū)域圖像的灰度值,提高光照過暗區(qū)域圖像的灰度值,消除圖像光照不均勻現(xiàn)象的同時(shí)增強(qiáng)毛球邊緣信息,其效果類似于高通濾波,對(duì)直方圖均衡化后的織物毛球圖像進(jìn)行卷積核濾波后的效果如圖1(d)所示。

(a) 原始圖像 (b) 直方圖均衡化

(c) 光照分量 (d) 濾波結(jié)果圖 1 毛球圖像預(yù)處理Fig.1 Pilling images pretreatment

(1)

1.2 相對(duì)總變差模型

織物紋理是織造過程中緯線與經(jīng)線有規(guī)律地交織形成的周期結(jié)構(gòu),織物紋理具有多樣性?？椢镓S富的紋理結(jié)構(gòu)能夠滿足人們對(duì)織物服用性能日益增長的需求,但是紋理信息對(duì)毛球的分割造成了很大的困難。因此,要分割織物毛球,首先應(yīng)該抑制織物的紋理信息。

相對(duì)總變差模型是一種用于提取圖像主結(jié)構(gòu)的算法[15],該算法可以有效地分解圖像中的結(jié)構(gòu)信息(毛球信息)和紋理,適用于非統(tǒng)一的或各向異性的紋理,對(duì)于不規(guī)則紋理的紋理抑制有較強(qiáng)的魯棒性。因此選用相對(duì)總變差模型來抑制織物紋理信息,并保留圖像中的毛球信息,其模型如式(2)所示。

(2)

稱為相對(duì)總變差。其中D(p)與L(p)分別為窗口總變差與窗口固有變差；ε是一個(gè)大于零的微小量,其作用是保證分母不為零；λ作為該模型的調(diào)整參數(shù),控制保真項(xiàng)與相對(duì)總變差的比例,決定圖像的光滑程度與紋理抑制效果。

Dx(p)與Dy(p)的定義如式(3)所示。

(3)

Lx(p)與Ly(p)的定義如式(4)所示。

(4)

式中:q為以p點(diǎn)為中心的一個(gè)矩形區(qū)域R(p) 內(nèi)所有像素點(diǎn)的索引; ?x與 ?y分別為在水平和垂直方向的偏微分;g為高斯核函數(shù), 其表達(dá)式如式(5)所示。

(5)

式中:xp和yp代表中心點(diǎn)像素p的水平和垂直方向坐標(biāo);xq和yq代表任意像素點(diǎn)q的2個(gè)方向坐標(biāo);σ的作用是控制窗口的空間尺寸。

相對(duì)總變差模型是通過利用在圖像的一個(gè)小的窗口區(qū)域內(nèi),紋理窗口與主結(jié)構(gòu)(毛球)窗口之間的相對(duì)總變差值的差別實(shí)現(xiàn)對(duì)織物紋理的抑制[16]。對(duì)織物紋理結(jié)構(gòu)進(jìn)行有效濾除,對(duì)于后續(xù)的毛球分割至關(guān)重要。

1.3 最大穩(wěn)定極值區(qū)域

MSER(Maximally Stable Extremal Regions)[17]是一種區(qū)域檢測(cè)算法,MSER對(duì)于圖像灰度的仿射變化具有不變性,擁有良好的穩(wěn)定性,具備多尺度檢測(cè)且計(jì)算量小等優(yōu)點(diǎn),MSER已經(jīng)成為了區(qū)域檢測(cè)中影響最大的算法,因此采用MSER分割織物起毛起球缺陷區(qū)域。

MSER采用分水嶺的思想來求取局部穩(wěn)定區(qū)域[18],分水嶺關(guān)注的是區(qū)域合并時(shí)的圖像灰度,而MSER關(guān)注的是區(qū)域合并過程中,圖像灰度發(fā)生變化時(shí)區(qū)域面積的變化率。當(dāng)該區(qū)域面積變化率較小時(shí),則表明該區(qū)域具有穩(wěn)定性。

MSER算法的基本過程如下:對(duì)一幅灰度圖像進(jìn)行二值化處理,閾值從0～255之間依次增加取值,在閾值過程中,圖像會(huì)形成一些連通區(qū)域,觀察相鄰閾值圖像之間連通區(qū)域面積的變化情況,若在一個(gè)比較寬的閾值范圍內(nèi)連通區(qū)域面積變化較小或者幾乎沒有變化,則該區(qū)域?yàn)镸SER+。類似的用255～0之間依次減小的閾值對(duì)圖像進(jìn)行二值化處理,并對(duì)連通區(qū)域面積進(jìn)行分析,獲得穩(wěn)定區(qū)域MSER-。最后將MSER+,MSER-合并即可得到MSER。其表達(dá)式如公式(6)所示。

(6)

式中:Qi表示閾值為i時(shí)的連通區(qū)域;Δ為閾值的變化量;q(i)表示閾值為i時(shí)Qi面積的變化率。當(dāng)q(i)在i處取得局部極小值時(shí),說明Qi面積變化極小,則該時(shí)刻的連通區(qū)域Qi為MSER。

利用MSER分割毛球區(qū)域之后對(duì)其進(jìn)行開運(yùn)算,消除圖像中的孤立像素點(diǎn),修正毛球尺寸,以便于下一步對(duì)織物起毛起球等級(jí)的評(píng)價(jià)。

1.4 織物起毛起球等級(jí)評(píng)價(jià)

在對(duì)毛球準(zhǔn)確定位分割之后,要實(shí)現(xiàn)織物起毛起球等級(jí)的自動(dòng)評(píng)價(jià)還需要進(jìn)一步提取起毛起球等級(jí)評(píng)價(jià)參數(shù),建立起毛起球等級(jí)評(píng)價(jià)參數(shù)與起毛起球等級(jí)之間的函數(shù)關(guān)系作為起毛起球等級(jí)評(píng)價(jià)標(biāo)準(zhǔn),從而實(shí)現(xiàn)起毛起球等級(jí)的自動(dòng)評(píng)價(jià)。

織物在起毛起球過程中隨著摩擦次數(shù)的增加,連接毛球的纖維會(huì)因強(qiáng)力下降而斷裂,出現(xiàn)毛球脫落現(xiàn)象,從而導(dǎo)致毛球個(gè)數(shù),毛球最大面積隨起毛起球程度增加并不一定單調(diào)增加。而毛球占比隨起毛起球程度的增加呈單調(diào)遞增,被公認(rèn)為是穩(wěn)定的起毛起球等級(jí)客觀評(píng)價(jià)參數(shù)。因此,本文選用毛球占比作為起毛起球等級(jí)評(píng)價(jià)參數(shù)。在提取起毛起球等級(jí)評(píng)價(jià)參數(shù)之后,利用比例插值法計(jì)算不同等級(jí)之間評(píng)價(jià)參數(shù)的分界值,確定各個(gè)等級(jí)毛球占比的范圍,該范圍即為起毛起球等級(jí)評(píng)價(jià)的標(biāo)準(zhǔn)。分界值計(jì)算公式如式(7)所示,其中X為相鄰兩級(jí)之間毛球占比的分界值,A和B分別為從標(biāo)準(zhǔn)樣品中提取的相鄰兩級(jí)的毛球占比值。

(7)

在起毛起球等級(jí)評(píng)價(jià)標(biāo)準(zhǔn)建立之后,求取測(cè)試樣本的起毛起球等級(jí)評(píng)價(jià)參數(shù),判斷該樣本等級(jí)評(píng)價(jià)參數(shù)在哪一等級(jí)范圍內(nèi),即可確定測(cè)試樣本起毛起球等級(jí),從而實(shí)現(xiàn)起毛起球等級(jí)評(píng)價(jià)。

2 結(jié)果與分析

為驗(yàn)證該算法的有效性,將本文算法與Gabor濾波算法進(jìn)行對(duì)比,實(shí)驗(yàn)所用織物圖片大小為512×512像素。實(shí)驗(yàn)所用計(jì)算機(jī)處理器為Intel i5-4460,主頻為3.20 GHz,配備4G內(nèi)存,Windows 7操作系統(tǒng),軟件編譯環(huán)境為MatlabR2015b。

2.1 圖像預(yù)處理結(jié)果

對(duì)各等級(jí)織物毛球圖像進(jìn)行預(yù)處理之后的結(jié)果如表1所示。

表1圖像預(yù)處理結(jié)果

Table 1 Image pretreatment results

通過直方圖均衡化處理毛球圖像后,增強(qiáng)了毛球與織物紋理背景之間的對(duì)比度。與此同時(shí)可以明顯看出圖像四周相對(duì)于圖像中央比較暗,不利于后續(xù)的毛球分割,因此需要消除圖像光照不均現(xiàn)象。利用設(shè)計(jì)的濾波器對(duì)圖像進(jìn)行濾波處理之后,毛球圖像的光照分量被有效濾除,圖像的整體灰度分布較為均勻,這對(duì)于后續(xù)的毛球分割至關(guān)重要。

2.2 紋理抑制

在對(duì)毛球圖像進(jìn)行預(yù)處理之后,織物紋理對(duì)于織物毛球分割而言是目前存在的最大的干擾因素,利用相對(duì)總變差模型對(duì)織物毛球圖像進(jìn)行紋理抑制,不同參數(shù)對(duì)織物紋理抑制結(jié)果如表2所示。

表2紋理抑制結(jié)果

Table 2 Texture suppression results

經(jīng)過大量實(shí)驗(yàn)可得,當(dāng)λ取值小于0.02時(shí), 紋理抑制不夠充分, 許多紋理信息被保留, 與毛球信息混為一體,難以區(qū)分; 而當(dāng)λ值大于0.03時(shí), 雖然較好地抑制了圖像的紋理信息,但同時(shí)會(huì)導(dǎo)致圖像中的毛球信息大量丟失。 當(dāng)λ值在0.02～0.03之間時(shí),圖像紋理噪聲得到了很好的抑制， 同時(shí)毛球信息也得到了完整的保留,因此本文選用的λ在0.02～0.03之間。

2.3 毛球分割

經(jīng)相對(duì)總變差模型抑制毛球圖像紋理信息后,再通過MSER算法進(jìn)行毛球分割,結(jié)果如表3所示。從分割結(jié)果可以看出，有部分較小的噪聲點(diǎn)被誤判為毛球被分割,并且分割得到的部分毛球尺寸略大于真實(shí)毛球,因此對(duì)MSER算法的分割結(jié)果進(jìn)行開運(yùn)算處理。通過開運(yùn)算處理,誤判的毛球被清除并且毛球尺寸更接近于真實(shí)大小。將本文算法與目前效果較好的Gabor算法[7]進(jìn)行對(duì)比,可知Gabor算法可以很好地抑制織物紋理信息,并且能夠準(zhǔn)確地定位分割圖像中央部分的毛球信息,但是對(duì)于圖像四周的毛球定位不準(zhǔn),分割不夠精確。這是由于Gabor算法未能消除光照不均,毛球與紋理之間對(duì)比度較低造成的。而本文算法不僅能很好地抑制織物紋理信息,而且能有效地消除光照不均并準(zhǔn)確分割毛球。

表3毛球分割結(jié)果

Table 3 Pilling segmentation results

2.4 織物起毛起球等級(jí)評(píng)價(jià)

在分割毛球后,提取不同等級(jí)標(biāo)準(zhǔn)樣照的毛球占比值。1～5級(jí)標(biāo)準(zhǔn)毛球圖像的毛球占比分別為7.21%,6.51%,5.32%,2.59%,0.14%。

利用比例插值法,求得各等級(jí)毛球占比的分界值,并劃分范圍,將該范圍作為織物起毛起球的評(píng)級(jí)標(biāo)準(zhǔn),評(píng)級(jí)標(biāo)準(zhǔn)如表4所示。

表 4 織物起毛起球等級(jí)評(píng)級(jí)標(biāo)準(zhǔn)

通過評(píng)級(jí)準(zhǔn)確率客觀量化本文算法的評(píng)級(jí)準(zhǔn)確性,評(píng)級(jí)準(zhǔn)確率定義如式(8)所示。

A=P/T

(8)

式中：A為評(píng)級(jí)準(zhǔn)確率；P為評(píng)級(jí)正確的樣本數(shù)量；T表示總樣本數(shù)量。

從樣品庫中隨機(jī)挑選10組共50個(gè)織物起毛起球樣品,測(cè)試本文算法評(píng)級(jí)準(zhǔn)確率,結(jié)果如表5所示,對(duì)1級(jí),4級(jí)和5級(jí)的起毛起球等級(jí)評(píng)級(jí)準(zhǔn)確率為100%,對(duì)2級(jí)和3級(jí)的起毛起球等級(jí)評(píng)級(jí)準(zhǔn)確率分別為80%和90%,平均評(píng)級(jí)準(zhǔn)確率為94%。

起毛起球等級(jí)測(cè)試混淆矩陣(confusion matrix)如圖2所示,其橫軸表示預(yù)測(cè)的起毛起球等級(jí),縱軸表示樣品實(shí)際等級(jí)。在對(duì)挑選的50個(gè)樣本進(jìn)行測(cè)試時(shí),該方法將2個(gè)2級(jí)樣本誤判為1級(jí)樣本,1個(gè)3級(jí)樣本誤判為2級(jí)樣本,結(jié)果顯示該算法對(duì)起毛起球等級(jí)評(píng)價(jià)的平均準(zhǔn)確率高達(dá)94%,能夠滿足織物起毛起球等級(jí)客觀評(píng)價(jià)的需求。

表 5 織物起毛起球等級(jí)評(píng)級(jí)準(zhǔn)確率

圖 2 起毛起球等級(jí)測(cè)試混淆矩陣Fig.2 Confusion matrix for pilling grades test

3 結(jié) 語

為實(shí)現(xiàn)織物起毛起球等級(jí)的客觀評(píng)價(jià),本文首先利用特定的濾波器消除織物圖像光照不均的影響,再利用相對(duì)總變差模型抑制織物紋理信息并保留毛球信息；其次利用MSER算法分割織物毛球,之后對(duì)分割的毛球進(jìn)行開運(yùn)算修正毛球區(qū)域得到最終的毛球區(qū)域；最后計(jì)算毛球占比,將該參數(shù)作為起毛起球等級(jí)評(píng)價(jià)參數(shù)建立起毛起球等級(jí)評(píng)價(jià)標(biāo)準(zhǔn),并對(duì)該算法進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明,本文提出的織物起毛起球等級(jí)評(píng)價(jià)方法可以準(zhǔn)確、客觀地滿足織物起毛起球等級(jí)評(píng)價(jià)任務(wù),并對(duì)光照條件較為惡劣的測(cè)試環(huán)境有較強(qiáng)的魯棒性。