基于字典學(xué)習(xí)的機(jī)織物圖像重構(gòu)

毛兆華， 萬(wàn)賢福， 汪 軍, 1b， 周 建， 卜佳仙，

陳 霞1a, 1b， 李立輕1a, 1b

(1. 東華大學(xué) a. 紡織學(xué)院; b. 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 上海 201620;

2. 江南大學(xué) 紡織服裝學(xué)院, 江蘇 無(wú)錫 214122)

基于字典學(xué)習(xí)的機(jī)織物圖像重構(gòu)

毛兆華1a， 萬(wàn)賢福1a， 汪 軍1a, 1b， 周 建2， 卜佳仙1a，

陳 霞1a, 1b， 李立輕1a, 1b

(1. 東華大學(xué) a. 紡織學(xué)院; b. 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 上海 201620;

2. 江南大學(xué) 紡織服裝學(xué)院, 江蘇 無(wú)錫 214122)

首先對(duì)機(jī)織物圖像進(jìn)行窗口分割，將每個(gè)窗口展開(kāi)成列向量，所有列向量聯(lián)合組成一個(gè)矩陣；然后對(duì)該矩陣進(jìn)行字典學(xué)習(xí)，得到個(gè)數(shù)最佳的字典，即基向量；最后應(yīng)用該字典對(duì)待檢測(cè)樣本進(jìn)行近似，并設(shè)計(jì)了基于信息熵的指標(biāo)對(duì)原圖像與近似圖像之間的近似程度進(jìn)行量化.重點(diǎn)探討了字典模型類型和字典個(gè)數(shù)對(duì)圖像重構(gòu)效果的影響.結(jié)果表明，所提出的字典學(xué)習(xí)方法能夠?qū)C(jī)織物很好地近似，此外，有約束求解字典的模型對(duì)圖像重構(gòu)的效果優(yōu)于無(wú)約束模型.

機(jī)織物； 圖像重構(gòu)； 字典學(xué)習(xí)； 紋理表征； 字典個(gè)數(shù)； 信息熵

(a. College of Textiles; b.Key Laboratory of Textile Science & Technology, Ministry of Education, 1. Donghua University, Shanghai 201620, China; 2. College of Textiles and Clothing, Jiangnan University, Wuxi 214122,China)

自然界中事物的紋理多種多樣，紋理分析一直是計(jì)算機(jī)視覺(jué)的核心研究?jī)?nèi)容之一.對(duì)機(jī)織物圖像進(jìn)行重構(gòu)的實(shí)質(zhì)是尋找機(jī)織物的紋理信息.由于圖像紋理的多樣性與復(fù)雜性，目前對(duì)圖像紋理的定義還不是特別精確，因此，所用的紋理分析方法也是建立在對(duì)紋理的不同理解的基礎(chǔ)上，其大體分為4大類[1]:基于結(jié)構(gòu)[2-3]、基于統(tǒng)計(jì)[4-5]、基于模型[6-7]和基于信號(hào)處理[8-10]，前3類都是基于空間域，最后1類是基于頻率域.基于統(tǒng)計(jì)的方法通過(guò)定義一些統(tǒng)計(jì)量來(lái)對(duì)紋理結(jié)構(gòu)在空間分布上的統(tǒng)計(jì)特征進(jìn)行描述，該類方法包括灰度共生矩陣法、灰度直方圖統(tǒng)計(jì)法，以及直接從像素灰度值中計(jì)算圖像的一些直觀統(tǒng)計(jì)量，如均值、標(biāo)準(zhǔn)差、熵等.基于結(jié)構(gòu)的方法將紋理視為由許多結(jié)構(gòu)基元在空間上的重復(fù)排列所形成，以結(jié)構(gòu)基元為基礎(chǔ)進(jìn)行紋理描述.基于模型的方法以數(shù)學(xué)模型對(duì)產(chǎn)生紋理的隨機(jī)過(guò)程進(jìn)行建模描述，主要方法有隨機(jī)場(chǎng)模型法、分形模型法等.基于信號(hào)處理方法則直接將紋理圖像視為一維或二維的信號(hào)，以數(shù)學(xué)變換為主將紋理信息從空間域變換到頻率域?qū)y理進(jìn)行描述，主要有傅里葉變換方法、小波變換方法等.

傅里葉變換和小波變換等頻域分析方法的出現(xiàn)為機(jī)織物圖像的重構(gòu)提供了有效的工具.前者采用正弦或余弦函數(shù)作為基函數(shù)對(duì)信號(hào)進(jìn)行表達(dá)；后者采用滿足一定條件下的小波基對(duì)信號(hào)進(jìn)行表達(dá).然而，由于傅里葉變換和小波變換皆采用固定的字典(基向量)，在對(duì)特征各異的信號(hào)進(jìn)行表達(dá)時(shí)，對(duì)信號(hào)內(nèi)容的適應(yīng)性并不總是很理想，尤其是對(duì)高維信號(hào)的表達(dá).近年來(lái)，使用字典學(xué)習(xí)進(jìn)行信號(hào)的表達(dá)受到了廣泛的關(guān)注，特別是在計(jì)算機(jī)視覺(jué)領(lǐng)域，與傳統(tǒng)上使用固定的或預(yù)先定義的字典表達(dá)方法相比，通過(guò)學(xué)習(xí)所得的字典能夠更好地適應(yīng)信號(hào)特征，允許字典學(xué)習(xí)對(duì)輸入信號(hào)進(jìn)行更有效的表達(dá).此外，目前字典學(xué)習(xí)方法主要應(yīng)用于數(shù)字圖像去噪[11]和人臉識(shí)別[12]等方面，很少有研究者將其用于機(jī)織物圖像重構(gòu)方面，因此，本文提出一種基于字典學(xué)習(xí)的機(jī)織物圖像重構(gòu)的方法.

1 基于字典學(xué)習(xí)的圖像重構(gòu)原理

在信號(hào)處理領(lǐng)域中，信號(hào)通?？梢苑纸鉃橐恍┗驹鼗蚝瘮?shù)的線性組合來(lái)進(jìn)行表達(dá).對(duì)機(jī)織物紋理信號(hào)線性表達(dá)的基本思路是去尋找一些基元素(稱為字典)，這些基元素的線性組合可以在一定的約束下對(duì)原信號(hào)進(jìn)行最優(yōu)的近似(重構(gòu)).

1.1 字典學(xué)習(xí)

設(shè)m×n型的數(shù)據(jù)矩陣X= [x1, x2, …, xn]， xi∈Rm，i=1, 2, …,n，其中，n為樣本個(gè)數(shù)，m為向量維數(shù).在l2范數(shù)近似條件下，所要尋找的字典可以寫成如下優(yōu)化問(wèn)題：

(1)

式中：D=[d1, d2, …, dk], dj∈Rm為所要學(xué)習(xí)的字典；k為字典個(gè)數(shù)；αi∈Rk為X中元素xi的系數(shù)向量.對(duì)d1, d2， …, dk約束主要是為了限制D中元素值.

顯然，對(duì)式(1)進(jìn)行最小化，也就意味著去尋找這樣一個(gè)字典，該字典元素的線性組合能夠?qū)λ袠颖緓i進(jìn)行最小平方誤差下的近似.

由于式(1)中D和α皆未知，如何構(gòu)造D通常被稱為字典學(xué)習(xí)問(wèn)題，所得的字典稱為學(xué)習(xí)字典.

1.2 算法原理

將織物圖像分割為一定大小的子窗口，每個(gè)子窗口代表一個(gè)樣本.在l2范數(shù)近似條件下，通過(guò)樣本對(duì)式(1)進(jìn)行優(yōu)化求解，能對(duì)所有樣本在最小平方差條件下進(jìn)行最優(yōu)近似表達(dá).為了得到預(yù)期更好的學(xué)習(xí)字典，可以對(duì)式(1)施加額外的約束或構(gòu)造新的目標(biāo)函數(shù)，從而獲得很好的表征效果.

1.2.1 無(wú)約束模型

無(wú)約束即是對(duì)字典和系數(shù)矩陣沒(méi)有任何限制條件，在l2范數(shù)近似條件下，其構(gòu)造模型如式(1)所示.

對(duì)式(1)進(jìn)行最小化，所得的學(xué)習(xí)字典能夠在最小平方誤差下對(duì)所有樣本進(jìn)行最優(yōu)近似.求解時(shí)可以將其中一個(gè)變量D或α固定，這樣每一部分都可以看作一個(gè)最小二乘問(wèn)題，使用交替最小化方法進(jìn)行求解.

若令A(yù)= [α1, α2, …, αn]為系數(shù)矩陣，則迭代規(guī)則為

一直循環(huán)，直到‖Di+1Ai+1-DiAi‖F(xiàn)2<ε時(shí)停止運(yùn)算，此時(shí)也就得到了學(xué)習(xí)字典D.

1.2.2 非負(fù)約束模型

基于重構(gòu)誤差最小建立數(shù)學(xué)模型，即

本文采用有效集(activeset)改進(jìn)的非負(fù)矩陣分解算法[13]，即基于有效集方法的交替非負(fù)最小二乘算法.有效集方法是一個(gè)可行點(diǎn)方法，即每個(gè)迭代點(diǎn)都要求是可行點(diǎn)，每次迭代求解一個(gè)不等式約束的二次規(guī)劃.該算法具有優(yōu)異的收斂性能，故選取該算法來(lái)優(yōu)化學(xué)習(xí)字典.

在學(xué)習(xí)階段，本文先把機(jī)織物圖像切割成一定大小的子窗口，并視每個(gè)子窗口為一個(gè)樣本.接著將子窗口樣本按列展成為列向量，并將所有的樣本向量并列組合成為一個(gè)矩陣，并記為X.然后，對(duì)所得的矩陣實(shí)施字典學(xué)習(xí)并提取最佳個(gè)數(shù)為k的字典列作為最佳字典元素，D=[d1, d2, …, dk].

(3)

顯然，若要使近似效果最佳，則有必要對(duì)所用的學(xué)習(xí)字典個(gè)數(shù)進(jìn)行優(yōu)選.

2 學(xué)習(xí)字典個(gè)數(shù)的優(yōu)選

機(jī)織物由相互垂直的經(jīng)紗和緯紗系統(tǒng)按一定規(guī)律交織而成，所形成的織物圖像表面呈現(xiàn)出很強(qiáng)的周期性，即織物像素點(diǎn)間存在大量的相關(guān)性.當(dāng)采用上述優(yōu)化模型的算法所得的學(xué)習(xí)字典D進(jìn)行表達(dá)時(shí)，通常很小的字典(字典個(gè)數(shù)k<20)就可以對(duì)機(jī)織物紋理的主體結(jié)構(gòu)信息進(jìn)行有效的表征，從而可以很好地近似機(jī)織物圖像.

在得到機(jī)織物的學(xué)習(xí)字典之前，首先要確定字典的個(gè)數(shù).從式(1)可以直觀看出，學(xué)習(xí)字典的個(gè)數(shù)直接決定了重構(gòu)誤差的大小，即字典個(gè)數(shù)越多，重構(gòu)誤差會(huì)越小，但字典個(gè)數(shù)過(guò)多時(shí)，又會(huì)增加計(jì)算的復(fù)雜性，故本文需要選取一個(gè)適中的字典個(gè)數(shù).

為了將學(xué)習(xí)字典對(duì)樣本的近似程度進(jìn)行量化，本文設(shè)計(jì)了一個(gè)稱為近似指數(shù)(簡(jiǎn)記為E)的量化指標(biāo)，其定義為

(4)

E所在的區(qū)間為0%～100%，當(dāng)近似樣本與原樣本完全一致時(shí)，則E=100%.對(duì)于表征而言，E越大表示字典對(duì)該種織物的表征能力越強(qiáng).

為了能清楚說(shuō)明式(4)中所定義的量化指標(biāo)的有效性，以平紋織物的樣本為例，近似效果如圖1所示.當(dāng)k=3時(shí)，近似效果幾乎達(dá)到90%，此后隨著字典個(gè)數(shù)的增大，近似效果沒(méi)有顯著增加，故可以選定平紋織物最佳字典個(gè)數(shù)k=3.

圖1 平紋織物的近似指數(shù)隨字典個(gè)數(shù)變化的曲線Fig.1 Approximate index curve of plain fabric with different dictionary number

3 試驗(yàn)結(jié)果與討論

本文試驗(yàn)中所有測(cè)試圖像都來(lái)自生產(chǎn)一線，為了方便起見(jiàn)，子窗口大小取32像素×32像素.按織物紋理，將織物圖像分成平紋數(shù)據(jù)集和斜紋數(shù)據(jù)集，并采用式(4)提出的量化指標(biāo)評(píng)價(jià)近似效果.為了驗(yàn)證算法的重構(gòu)效果，本文選用27種不同背景紋理的織物樣本進(jìn)行統(tǒng)計(jì)，共包括平紋樣本數(shù)據(jù)集60個(gè)和斜紋樣本數(shù)據(jù)集48個(gè)，其中每種織物取4個(gè)樣本圖像進(jìn)行測(cè)試，共測(cè)試平紋樣本240次和斜紋樣本192次.平紋織物和斜紋織物圖像重構(gòu)的近似指數(shù)統(tǒng)計(jì)如表1所示.

表1 平紋織物和斜紋織物圖像重構(gòu)的近似指數(shù)統(tǒng)計(jì)

由表1可以看出，當(dāng)k=3時(shí)就能對(duì)平紋織物圖像進(jìn)行很好的近似重構(gòu)，其后隨字典個(gè)數(shù)的增大，近似指數(shù)并未有顯著提高.如圖2所示為平紋織物圖像所得的3個(gè)字典元素，這3個(gè)字典很明顯地包含了平紋結(jié)構(gòu)的信息，故利用這些字典就可以對(duì)相應(yīng)的平紋織物進(jìn)行圖像近似.

圖2 平紋織物的學(xué)習(xí)字典(k=3)Fig.2 Learned dictionary for plain fabric (k=3)

斜紋織物的最優(yōu)字典個(gè)數(shù)需要不斷地嘗試來(lái)選取.例如對(duì)于一些規(guī)則度很高的斜紋織物樣本而言，僅需要2個(gè)字典元素就可以對(duì)機(jī)織物圖像近似表達(dá)(如圖3所示)，所得斜紋織物的學(xué)習(xí)字典很清晰地展示了斜紋的紋理結(jié)構(gòu).

圖3 斜紋織物的學(xué)習(xí)字典(k=2)Fig.3 Learned dictionary for twill fabric (k=2)

由近似指數(shù)能明顯得出基于非負(fù)約束模型的學(xué)習(xí)字典的近似效果優(yōu)于無(wú)約束模型.這是因?yàn)榉秦?fù)約束使得字典元素都是非負(fù)，這就使得一些冗余的無(wú)用信息被剔除了，在相同的字典個(gè)數(shù)情況下，非負(fù)約束模型得到的學(xué)習(xí)字典的有用信息更多，近似效果也較好.

此外，從表1可以觀察到， 有時(shí)當(dāng)k較大時(shí)，相應(yīng)機(jī)織物的近似指數(shù)反而會(huì)較小，即近似效果會(huì)稍微變差.這種情況大都出現(xiàn)在無(wú)約束模型中，其主要原因是在無(wú)約束模型中，字典個(gè)數(shù)越多時(shí)，相應(yīng)得到的冗余信息也會(huì)越多，這樣會(huì)使得樣本與原圖像之間的信息熵值比變小.非負(fù)約束模型中也會(huì)出現(xiàn)這種情況，但是差異很小，這可能是試驗(yàn)誤差引起的.

為了更直觀地了解機(jī)織物圖像的重構(gòu)效果，在不同字典個(gè)數(shù)的情況下，平紋樣本和斜紋樣本圖像(圖4所示)的重構(gòu)效果，如圖5所示.

(a) 平紋織物

(b) 斜紋織物

由圖5可以看出，字典個(gè)數(shù)越大，織物圖像的近似效果越好，不過(guò)當(dāng)k=5， 7， 9， 11時(shí)近似圖像相差不大，這與表1的結(jié)果趨勢(shì)基本一樣，故沒(méi)有必要選取太大的字典個(gè)數(shù).因?yàn)檫x取的字典元素過(guò)多，不僅重構(gòu)效果改善不明顯，而且計(jì)算量會(huì)增加，使得計(jì)算時(shí)間相應(yīng)增加，從而影響織物圖像重構(gòu)的效率.此外，從圖5還可以看出，斜紋織物圖像的重構(gòu)效果優(yōu)于平紋織物，與表1中相應(yīng)的統(tǒng)計(jì)結(jié)果相吻合，這是因?yàn)樾奔y織物的紋理比平紋織物規(guī)整清晰.

4 結(jié) 語(yǔ)

本文在字典學(xué)習(xí)的基礎(chǔ)上，提出了一種機(jī)織物圖像重構(gòu)的研究方法，著重探討了字典個(gè)數(shù)對(duì)機(jī)織物圖像重構(gòu)效果的影響，并通過(guò)構(gòu)造量化指標(biāo)——近似指數(shù)來(lái)進(jìn)一步確定最佳的字典元素.

試驗(yàn)結(jié)果表明，當(dāng)k=3時(shí)，平紋織物就能得到近似效果比較好的重構(gòu)圖像，而斜紋織物則需各自探討最佳字典個(gè)數(shù).此外，在相同的學(xué)習(xí)字典個(gè)數(shù)下，非負(fù)約束模型的算法比無(wú)約束模型的近似效果好，因?yàn)榉秦?fù)約束只存在加法運(yùn)算，所得字典的有用信息比較多，故近似效果比較好.

當(dāng)然，本文利用字典學(xué)習(xí)方法對(duì)平紋樣本和斜紋樣本分別重構(gòu)了240次和192次，考慮到樣本容量和試驗(yàn)次數(shù)對(duì)重構(gòu)結(jié)果的影響，下一步可以采集更多的樣本織物來(lái)研究相應(yīng)的圖像重構(gòu)效果，此外可將本文的近似結(jié)果進(jìn)一步應(yīng)用于機(jī)織物瑕疵檢測(cè)的研究.

[1] TUCERYAN M, JAIN A K. The handbook of pattern recognition and computer vision [M].Singapore: World Scientific Publishing Co, 1998：207-248.

[2] 王鋒,焦國(guó)太,杜燁.基于數(shù)學(xué)形態(tài)學(xué)的織物疵點(diǎn)檢測(cè)方法 [J].測(cè)試技術(shù)學(xué)報(bào),2007,21(6):515-518.

[3] 祝雙武,郝重陽(yáng),李鵬陽(yáng),等.基于紋理結(jié)構(gòu)分析的織物瑕疵檢測(cè)方法 [J].計(jì)算機(jī)應(yīng)用,2008,28(3):647-649.

[4] 韓立偉,徐德,王麟琨.基于統(tǒng)計(jì)信息的織物瑕疵自適應(yīng)檢測(cè) [J].電子器件,2008，31(3)：979-983.

[5] 高曉丁,汪成龍,左賀,等.基于直方圖統(tǒng)計(jì)的織物疵點(diǎn)識(shí)別算法 [J].紡織學(xué)報(bào),2005,26(2):121-123.

[6] CAMPBELL J G,FRALEY C, MURTAGH F, et al. Linear flaw detection in woven textiles using model-based clustering [J]. Pattern Recognition Letters, 1997,18(14):1539-1548.

[7] 步紅剛,黃秀寶,汪軍.基于多分形特征參數(shù)的織物瑕疵檢測(cè) [J].計(jì)算機(jī)工程與應(yīng)用,2007,43(36):233-237.

[8] 阮秋琦.數(shù)字圖像處理學(xué) [M].北京:電子工業(yè)出版社,2013:75.

[9] KUMAR A, PANG G K H. Defect detection in textured materials using Gabor filters [J]. IEEE Transactions on Industry Applications, 2002,38(2):425-440.

[10] DUNN D, HIGGINS W E. Optimal Gabor filters for texture segmentation [J]. IEEE Transactions on Image Processing, 1995,4(7):947-964.

[11] 解凱,張峰.基于雙正交基字典學(xué)習(xí)的圖像去噪方法[J].計(jì)算機(jī)應(yīng)用,2012,32(4):1119-1121.

[12] 朱杰,楊萬(wàn)扣,唐振民.基于字典學(xué)習(xí)的核稀疏表示人臉識(shí)別方法[J].模式識(shí)別與人工智能,2012, 25(5):859-864.

Woven Fabric Image Reconstruction Based on Dictionary Learning

MAOZhao-hua1a,WANXian-fu1a,WANGJun1a, 1b,ZHOUJian2,BUJia-xian1a,

CHENXia1a, 1b,LILi-qing1a, 1b

Firstly, normal woven fabric image is partitioned into small sub-windows and vectorized into a column vector, then all the column vectors are combined into a matrix. Secondly, the matrix composed of column vectors is solved by dictionary learning, and the optimal dictionary(basis vectors)is extracted. Finally the dictionary is applied to reconstruct testing samples and the entropy-based index is calculated to qualify the proximity between original and reconstruction image. Effects of the model types and number of dictionary on image reconstruction are also investigated deeply. Experiments show that the proposed method of dictionary learning can achieve good approximation performance. In addition, learning dictionary with constraint performs better than unconstraint.

woven fabric; image reconstruction;dictionary learning; texture characterization; number of dictionary elements size; information entropy

1671-0444(2016)01-0035-05

2014 -12-05

國(guó)家自然科學(xué)基金資助項(xiàng)目(61379011)

毛兆華(1989—)，女，江蘇南通人，碩士研究生，研究方向?yàn)闄C(jī)織物瑕疵自動(dòng)檢測(cè).E-mail：h15006180077@163.com

汪 軍(聯(lián)系人)，男，教授，E-mail：junwang@dhu.edu.cn

TS 101.9

A