組織結(jié)構(gòu)對(duì)字典學(xué)習(xí)表征機(jī)織物紋理的影響

王 凱, 吳 瑩, 汪 軍, 1b, 李立輕, 周 建

(1. 東華大學(xué) a. 紡織學(xué)院; b. 紡織面料技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,上海 201620; 2. 江南大學(xué) 紡織服裝學(xué)院, 江蘇 無錫 214122)

目前，機(jī)織物紋理的分類識(shí)別檢測(cè)仍然由人工進(jìn)行，對(duì)機(jī)織物紋理進(jìn)行精確描述或運(yùn)用計(jì)算機(jī)技術(shù)對(duì)紋理進(jìn)行識(shí)別與分類還存在不少困難。提高計(jì)算機(jī)圖像處理技術(shù)在機(jī)織物紋理分類識(shí)別方面的效率和準(zhǔn)確性，進(jìn)而提高紡織品的質(zhì)量一直是研究熱點(diǎn)之一。

現(xiàn)有的紋理表征一般是在空間域和頻率域內(nèi)對(duì)紋理圖像進(jìn)行處理?？臻g域的方法有灰度共生矩陣等基于統(tǒng)計(jì)的方法和高斯-馬爾可夫隨機(jī)場(chǎng)模型等模型法。頻率域的方法有傅里葉分析法、Gabor變換和小波變換等。在空間域方法中，例如文獻(xiàn)[1]采用灰度共生矩陣，使用對(duì)比度、熵等共6個(gè)指標(biāo)作為參數(shù)，確定正?？椢锛y理像素方向、像素距離以及圖像灰度等級(jí)，但缺點(diǎn)是對(duì)隨機(jī)性較強(qiáng)的紋理圖像難以發(fā)揮較好的作用。頻率域方法中，Gabor變換效果優(yōu)異，如文獻(xiàn)[2-3]通過確定Gabor濾波器參數(shù)，將織物圖像沿不同的尺度和方向分解，得到含不同信息的子圖像，融合得到織物主要紋理，但是該方法濾波器參數(shù)選擇非常復(fù)雜。由于織物紋理的多樣性特點(diǎn)，雖然相關(guān)的研究很多，但至今仍沒有一項(xiàng)技術(shù)可得到大范圍的應(yīng)用，因此，在利用計(jì)算機(jī)技術(shù)進(jìn)行機(jī)織物紋理表征方面仍然需要進(jìn)一步深入研究。

字典學(xué)習(xí)更多地應(yīng)用于圖像壓縮去噪[4]和人臉識(shí)別[5]方面，將其應(yīng)用到織物紋理表征方面是一個(gè)新穎且創(chuàng)新的研究方向。機(jī)織物紋理具有一定的周期性和方向性，文獻(xiàn)[6-8]利用機(jī)織物的這一特性，使用字典學(xué)習(xí)的方法對(duì)機(jī)織物進(jìn)行紋理表征，對(duì)字典元素的個(gè)數(shù)進(jìn)行討論和對(duì)子窗口尺寸進(jìn)行優(yōu)選后，重構(gòu)織物紋理圖像，取得了不錯(cuò)的紋理表征效果，但是這些研究都沒有考慮織物的結(jié)構(gòu)參數(shù)的變化是否會(huì)對(duì)字典學(xué)習(xí)的紋理表征結(jié)果產(chǎn)生影響。機(jī)織物的紋理多樣，其紋理特征的首要影響因素就是其組織結(jié)構(gòu)。研究組織結(jié)構(gòu)對(duì)紋理表征的影響，可能實(shí)現(xiàn)對(duì)織物的分類，進(jìn)而可探討用通用字典表征某一類織物等問題。這樣能用最小的代價(jià)來表征織物紋理，進(jìn)而實(shí)現(xiàn)機(jī)織物組織結(jié)構(gòu)自動(dòng)識(shí)別、密度測(cè)量和在線紋理檢測(cè)等目的。

因此，本文將主要討論機(jī)織物結(jié)構(gòu)參數(shù)中的組織結(jié)構(gòu)變化對(duì)使用字典學(xué)習(xí)算法重構(gòu)織物紋理圖像的質(zhì)量的影響。

1 機(jī)織物紋理表征

1.1 字典學(xué)習(xí)

字典D是一個(gè)m×k的矩陣，字典學(xué)習(xí)可以表示為在最小平方誤差條件下求解m×n的數(shù)據(jù)矩陣Y的近似矩陣，其中,m為Y的維數(shù)，n為Y中樣本的個(gè)數(shù)，即選擇l2范數(shù)作為條件進(jìn)行字典學(xué)習(xí)，求解該字典可以寫成以下優(yōu)化問題：

式中：T為正整數(shù)，控制稀疏程度；‖·‖0為l0范數(shù)，表示表達(dá)式中非零項(xiàng)的個(gè)數(shù)，即在字典D中選擇T(T?k)個(gè)原子的線性組合來近似表征Y。本文選擇T=4，其他原子的系數(shù)都為0，選擇離散余弦字典[9-10](discrete cosine dictionary， DCT)作為字典學(xué)習(xí)的初始化字典，再通過字典學(xué)習(xí)算法得到最終的學(xué)習(xí)字典，初始化DCT字典矩陣的大小為256像素×256像素。

1.2 重構(gòu)圖像評(píng)價(jià)指標(biāo)

對(duì)于重構(gòu)圖像的客觀評(píng)價(jià)指標(biāo)，目前還沒有一種統(tǒng)一的方法，單一的評(píng)價(jià)指標(biāo)都有一定的不足，本文選擇均方誤差(mean square error, MSE)和結(jié)構(gòu)相似度兩個(gè)指標(biāo)來評(píng)價(jià)重構(gòu)圖像的質(zhì)量。

1.2.1 均方誤差

假設(shè)Y為M像素×N像素的織物樣本圖像，利用字典學(xué)習(xí)獲取的字典D對(duì)信號(hào)Y進(jìn)行重構(gòu)，X為重構(gòu)圖像，則樣本圖像與重構(gòu)圖像之間的MSE定義為

式中：M為Y的維數(shù)；N為Y的列數(shù)。原樣本信號(hào)和重構(gòu)信號(hào)之間的均方誤差越小，表示重構(gòu)的近似效果越好。均方誤差無法利用圖像的結(jié)構(gòu)信息，其評(píng)價(jià)結(jié)果與主觀判斷相比，可能會(huì)有較大出入。

1.2.2 結(jié)構(gòu)相似度

采用結(jié)構(gòu)相似模型(SSIM)法[11]來計(jì)算原圖像與重構(gòu)圖像之間的結(jié)構(gòu)相似度，從而評(píng)價(jià)重構(gòu)效果。設(shè)X和Y為重構(gòu)圖像和原圖像的列首尾相連連接成的長(zhǎng)度為M×N列向量，結(jié)構(gòu)相似度定義為

式中：SSIM中的3項(xiàng)分別代表圖像的結(jié)構(gòu)相似性、亮度相似性和對(duì)比度相似性；μX、μY、σX和σY分別為X和Y的均值和標(biāo)準(zhǔn)差；σXY為X和Y的協(xié)方差。SSIM的取值范圍為[-1, 1]，其值越大，說明融合圖像與原圖像的結(jié)構(gòu)、亮度和對(duì)比度越相似，重構(gòu)圖像的質(zhì)量越好。

2 織物制樣與圖像采集

在保證織物所用紗線的原料和織物的密度等條件不變的情況下，使用不同組織結(jié)構(gòu)的機(jī)織物為樣本。本試驗(yàn)所用的機(jī)織物樣本是在實(shí)驗(yàn)室TNY101B-20型櫻牌劍桿小樣織機(jī)上制織的，為了便于織造，選用實(shí)驗(yàn)室已有的20 tex×2的棉雙股股線為原料，織制7種組織，規(guī)格參數(shù)如表1所示，其中蜂巢組織和菱形斜紋是以一上四下斜紋為基礎(chǔ)組織的。經(jīng)過試驗(yàn)，當(dāng)經(jīng)、緯密度均為350根/10cm時(shí)，織物的紋理較清晰，因此選用此數(shù)據(jù)作為試驗(yàn)樣本密度。

表1 織物規(guī)格參數(shù)表Table 1 Weave fabric specification parameters

為保證獲取的機(jī)織物圖像不受圖像采集環(huán)境的影響，使用佳能9000F Mark II型掃描儀采集布樣的圖像，采用照片掃描模式，色彩模式為灰度，分辨率為300 dpi。為了增加圖像的對(duì)比度，掃描圖像時(shí)在織物的背面放置一塊黑色硬紙板作為背景，并將采集圖像的均值和方差進(jìn)行標(biāo)準(zhǔn)化處理，使所有圖像有相同的均值和方差。每種織物掃描5塊機(jī)織物圖像作為樣本，每張圖像的大小為256像素×256像素，所對(duì)應(yīng)的實(shí)際織物尺寸為2.17cm×2.17cm。將每張織物圖像劃分為一定大小的子窗口作為樣本代入字典學(xué)習(xí)算法，訓(xùn)練得到最終的學(xué)習(xí)字典，用于表征原織物圖像。

3 字典學(xué)習(xí)參數(shù)的確定

3.1 子窗口大小的確定

字典學(xué)習(xí)所選擇的子樣本一般有兩種選取方法：一種是直接將圖像的每一列作為一個(gè)子樣本進(jìn)行字典學(xué)習(xí)；另一種是將圖像劃分為一定尺寸的小窗口，然后將其像素值首尾相連作為一個(gè)子樣本。采用子窗口的樣本劃分方法可以避免光照不勻的影響，此外，該樣本獲取方法也更能滿足實(shí)時(shí)性的要求。因此，本文采用子窗口對(duì)樣本進(jìn)行劃分。

采用子窗口劃分樣本，需要確定子窗口的大小。以平紋和菱形斜紋為例，討論子窗口大小對(duì)字典學(xué)習(xí)紋理表征的影響。分別將樣本圖像劃分為8像素×8像素、16像素×16像素和32像素×32像素大小的子窗口，在相同字典元素個(gè)數(shù)下進(jìn)行試驗(yàn)。平紋和菱形斜紋重構(gòu)圖像如圖1所示。重構(gòu)圖像的近似指標(biāo)結(jié)果如圖2所示。

圖1 不同子窗口大小表征效果Fig.1 The representation results with different patch sizes

由圖2可知，隨著子窗口尺寸的增加，重構(gòu)的均方誤差值逐漸增大，SSIM值逐漸減小，說明使用更小的子窗口劃分進(jìn)行重構(gòu)的圖像的質(zhì)量更好。

一般認(rèn)為過大的子窗口會(huì)顯著增加算法所消耗的時(shí)間，同時(shí)也會(huì)增加圖像重構(gòu)的誤差。但過小的子窗口，會(huì)導(dǎo)致樣本之間紋理信息波動(dòng)過大，不利于重構(gòu)，這是因?yàn)樽哟翱谥邪募y理循環(huán)太小。本文中8像素×8像素的子窗口近似效果最好，但同時(shí)也近似出一些隨機(jī)性的紋理。16像素×16像素與32像素×32像素的子窗口相比，重構(gòu)誤差小，SSIM值更大，學(xué)習(xí)字典所需時(shí)間更短。因此，本文選擇16像素×16像素的子窗口。子窗口劃分時(shí)，將16像素×16像素的窗口在樣本圖像上按水平和垂直方向滑動(dòng)，每間隔一個(gè)像素距離取得一個(gè)子樣本，共計(jì)58 018個(gè)子樣本，將子樣本按列展開，可得到一個(gè)256×58 018樣本集。為減少學(xué)習(xí)時(shí)間，在這58 018個(gè)子樣本中每間隔10取一個(gè)子樣本，最終得到一個(gè)256×5 801的訓(xùn)練樣本集。

(a) MSE值

(b) SSIM值

3.2 字典原子個(gè)數(shù)的確定

在無約束字典學(xué)習(xí)中，當(dāng)子窗口的尺寸一定時(shí)，隨著字典個(gè)數(shù)的增加，通過字典學(xué)習(xí)法得到的重構(gòu)圖像和原圖像之間的重構(gòu)誤差是單調(diào)遞減的。對(duì)于本文使用的稀疏字典學(xué)習(xí)算法而言，稀疏度(T)的大小變化也會(huì)對(duì)試驗(yàn)的結(jié)果產(chǎn)生影響。本文以圖1(e)菱形斜紋樣本為例，使用16像素×16像素的子窗口對(duì)其劃分后進(jìn)行稀疏字典學(xué)習(xí)，并重構(gòu)其紋理圖像，分析稀疏度對(duì)重構(gòu)誤差的影響，試驗(yàn)結(jié)果如圖3所示。

圖3 稀疏度對(duì)重構(gòu)誤差的影響Fig.3 Mean squared error curve with different sparse degree

由圖3可知，在重構(gòu)圖像階段，當(dāng)T=2時(shí)，重構(gòu)圖像的誤差與原圖像的誤差已經(jīng)較小，再增加T值，重構(gòu)的均方誤差值減小不大，重構(gòu)紋理視覺上的變化也不明顯，然而隨著T的增大，算法運(yùn)行所需要的時(shí)間明顯增多。由于不論是將字典學(xué)習(xí)用于織物圖像的紋理表征，還是最終用于織物瑕疵的鑒別，目的都是為了提取織物圖像主要的周期性紋理特征，而對(duì)于一些隨機(jī)的無規(guī)則紋理甚至是瑕疵部分則可以忽略。因此，綜合考慮還是在T=4條件下分析學(xué)習(xí)字典紋理表征的效果。

4 字典學(xué)習(xí)與結(jié)果分析

將7種不同組織結(jié)構(gòu)的機(jī)織物代入字典學(xué)習(xí)算法，初始化DCT字典的原子個(gè)數(shù)為256，通過MOD[12](method of optimal directions)算法和OMP[13](orthogonal matching pursuit)算法迭代更新10次，得到學(xué)習(xí)字典。使用學(xué)習(xí)字典重構(gòu)圖像時(shí)，仍將16像素×16像素的窗口每間隔一個(gè)像素，在需要重構(gòu)的256像素×256像素的織物紋理圖像上沿縱向和橫向滑動(dòng)得到子窗口樣本，將每個(gè)子窗口內(nèi)的像素值按列首尾相連，得到256×58 018個(gè)子樣本，使用學(xué)習(xí)字典對(duì)這58 018個(gè)子樣本進(jìn)行重構(gòu)。再按原樣本劃分的逆過程將這256×58 018子樣本進(jìn)行對(duì)應(yīng)像素疊加融合，對(duì)于多次疊加的像素值通過求平均值的方法確定灰度值，最終還原為256像素×256像素的重構(gòu)圖像。每種織物5個(gè)樣本經(jīng)字典學(xué)習(xí)后所得的平均均方誤差值如圖4所示。重構(gòu)圖像與原圖像通過結(jié)構(gòu)相似模型法進(jìn)行評(píng)價(jià)的結(jié)果如圖5所示。

圖4 不同組織重構(gòu)均方誤差圖Fig.4 Mean squared error with different fabric structure

圖5 SSIM評(píng)價(jià)結(jié)果Fig.5 SSIM of metrics

由圖4和5可知，不同組織在相同的條件下經(jīng)過相同的字典學(xué)習(xí)算法學(xué)習(xí)得到的重構(gòu)圖像與原圖像之間的重構(gòu)MSE值和SSIM值不同。根據(jù)MSE指標(biāo)和SSIM指標(biāo)，經(jīng)本文的稀疏字典學(xué)習(xí)算法重構(gòu)得到的圖像質(zhì)量從好到差依次為方平>蜂巢組織>平紋>斜紋>菱形斜紋>緯面緞紋>經(jīng)面緞紋，兩種指標(biāo)的評(píng)價(jià)結(jié)果一致。但是從各種組織之間的差異來看，均方誤差所顯示的不同組織之間的差異更大，而使用SSIM指標(biāo)的不同組織之間的差異相對(duì)較小。這是由于MSE是對(duì)重構(gòu)圖像和原圖像的差求平方和的平均，因此會(huì)放大某些異常值在評(píng)價(jià)中的作用。相對(duì)來說，SSIM的評(píng)價(jià)效果與實(shí)際的視覺主觀評(píng)價(jià)更接近。

由圖5還可知，方平、平紋和斜紋相比，方平的交織與平紋類似，但是方平每次是兩根紗線參與交織，紋理的周期性優(yōu)于平紋，斜紋圖像紋理的均勻性稍差，重構(gòu)質(zhì)量也差一些。菱形斜紋、緯面緞紋和經(jīng)面緞紋重構(gòu)的效果之所以相對(duì)差一些，這是因?yàn)樗鼈兘M織循環(huán)大，同時(shí)又有較長(zhǎng)的浮長(zhǎng)線，紋理的變異更大，因此重構(gòu)起來更困難。經(jīng)面緞紋和緯面緞紋的差異只是紋理的斜向不同，因此評(píng)價(jià)指標(biāo)的結(jié)果非常接近。蜂巢組織雖然組織循環(huán)跟菱形斜紋、緯面緞紋和經(jīng)面緞紋一樣，但是蜂巢組織經(jīng)緯紗交織的次數(shù)多，浮長(zhǎng)線短，相應(yīng)的紋理的規(guī)則性更好，更易于重構(gòu)。

使用本文的稀疏字典學(xué)習(xí)算法學(xué)習(xí)所得的字典對(duì)織物紋理進(jìn)行重構(gòu)的結(jié)果如圖6所示，其中，左邊的為織物原圖，右邊的為其重構(gòu)圖像。

(a) 平紋

(b) 斜紋

(c) 方平

(d) 經(jīng)面緞紋

(e) 緯面緞紋

(f) 蜂巢組織

(g) 菱形斜紋

由圖6可知，使用稀疏字典學(xué)習(xí)算法可以實(shí)現(xiàn)對(duì)織物紋理圖像的良好重構(gòu)，同時(shí)還能夠去除原圖像上存在的隨機(jī)噪聲性紋理，使織物交織的紋理得到較好的保留。同時(shí)，以平紋和斜紋為例，平紋重構(gòu)圖像的客觀評(píng)價(jià)指標(biāo)優(yōu)于斜紋，但是從實(shí)際視覺上看，由于斜紋的紋理本身視覺上就更明顯，斜紋的紋理重構(gòu)效果要好于或者不差于平紋。雖然客觀的評(píng)價(jià)指標(biāo)能在一定程度上對(duì)重構(gòu)圖像的重構(gòu)質(zhì)量進(jìn)行量化，但與主觀上的視覺評(píng)價(jià)還存在一定差異，對(duì)此仍需進(jìn)一步的研究。

5 結(jié) 語

本文在字典學(xué)習(xí)算法的基礎(chǔ)上對(duì)機(jī)織物紋理圖像進(jìn)行表征，討論組織結(jié)構(gòu)的變化對(duì)重構(gòu)誤差的影響。使用經(jīng)、緯密度均為350根/10cm的平紋、斜紋、方平、經(jīng)面緞紋、緯面緞紋、蜂巢組織和菱形斜紋等7種組織作為樣本，采用字典學(xué)習(xí)算法提取出機(jī)織物紋理的主要紋理特征作為字典對(duì)圖像進(jìn)行重構(gòu)。本文所用機(jī)織物樣品的試驗(yàn)結(jié)果表明：不同組織經(jīng)相同的字典學(xué)習(xí)算法處理所得圖像與原圖像的重構(gòu)誤差存在差異；織物組織循環(huán)越小，浮長(zhǎng)線越短，表面的紋理特征越明顯，規(guī)則性越好，其重構(gòu)的誤差越小。7種織物組織重構(gòu)質(zhì)量按客觀評(píng)價(jià)指標(biāo)由好到差的次序?yàn)椋悍狡?蜂巢組織>平紋>斜紋> 菱形斜紋>緯面緞紋>經(jīng)面緞紋。本文的方法和結(jié)果為機(jī)織物紋理分類深入研究提供了依據(jù)，并可基于本文進(jìn)一步探討用通用字典表征多種織紋理物等問題。

參 考 文 獻(xiàn)

[1] 高士忠. 基于灰度共生矩陣的織物紋理分析[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2008, 29(16):4385-4388.

[2] 姚芳. 織物紋理的表征和自動(dòng)識(shí)別的研究[D]; 上海:東華大學(xué)紡織學(xué)院, 2010:20-40.

[3] 薛樂, 李立輕, 汪軍. 應(yīng)用頻譜圖的機(jī)織物紋理分析[J]. 紡織學(xué)報(bào), 2015, 36(7):55-60.

[4] 薛樂. 基于傅里葉變換和Gabor變換的機(jī)織物紋理分析方法研究[D]. 上海:東華大學(xué)紡織學(xué)院, 2015:16-32.

[5] 朱杰, 楊萬扣, 唐振民. 基于字典學(xué)習(xí)的核稀疏表示人臉識(shí)別方法[J]. 模式識(shí)別與人工智能, 2012, 25(5):859-864.

[6] ZHOU J, SEMENOVICH D, SOWMYA A, et al. Dictionary learning framework for fabric defect detection[J]. The Journal of the Textile Institute, 2014, 105(3):223-234.

[7] 毛兆華.基于非負(fù)字典學(xué)習(xí)的機(jī)織物瑕疵檢測(cè)算法研究[D]. 上海:東華大學(xué)紡織學(xué)院,2015:9-32.

[8] 毛兆華, 萬賢福, 汪軍, 等. 基于字典學(xué)習(xí)的機(jī)織物圖像重構(gòu)[J]. 東華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 42(1):35-39.

[9] 劉艷, 李宏東.DCT域圖象處理和特征提取技術(shù)[J].中國圖象圖形學(xué)報(bào), 2003, 8(2): 121-128.

[10] ELAD M. Sparse and redundant representations: From theory to applications in signal and image processing[M]. New York: Springer, 2010: 235-237.

[11] WANG Z, BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3):81-84.

[12] PATI Y C, REZAIIFAR R, KRISHNAPRASAD P S. Orthogonal matching pursuit: Recursive function approximation with applications to wavelet decomposition[C]// Conference on Signals. IEEE, 1993:40-44.

[13] ENGAN K, AASE S O, HUS?Y J H. Multi-frame compression: Theory and design[J]. Signal Processing, 2000, 80(10):2121-2140.