機(jī)織物局部組織復(fù)原與密度自動(dòng)測(cè)定

韋秋菊，孫曉婉，徐平華,b,c，徐明慧，賈 靜

(浙江理工大學(xué)，a.服裝學(xué)院; b.浙江省服裝工程技術(shù)研究中心; c.絲綢文化傳承與產(chǎn)品設(shè)計(jì)數(shù)字化技術(shù)文化與旅游部重點(diǎn)實(shí)驗(yàn)室，杭州 310018)

機(jī)織物由經(jīng)緯紗線(xiàn)按照特定規(guī)律交織而成，其密度影響了織物的機(jī)械性能和服用性能。ISO 7211-2:1984《紡織品 機(jī)織物結(jié)構(gòu)分析方法 第二部分：?jiǎn)挝婚L(zhǎng)度紗線(xiàn)根數(shù)的測(cè)定》、GB/T 4668—1995《機(jī)織物密度的測(cè)定》等現(xiàn)行標(biāo)準(zhǔn)所規(guī)定的人工計(jì)數(shù)法耗時(shí)費(fèi)力，且容易產(chǎn)生誤差。素色機(jī)織物經(jīng)緯交織性狀，在數(shù)字圖像上反映出紗線(xiàn)紋理周期性變化。相關(guān)研究從空域或頻域出發(fā)，采用灰度投影法[1-2]、光柵干涉法[3- 4]、傅里葉變換[5-6]、小波變換[7]等方式，解析織物紗線(xiàn)紋理周期特征，實(shí)現(xiàn)密度的自動(dòng)測(cè)定。

然而，色織、印花、提花、污漬以及局部缺損，不同程度地干擾了紗線(xiàn)紋理信號(hào)的準(zhǔn)確提取，檢測(cè)適用面受限。陸海亮等[8]對(duì)獲取的織物正反兩面圖像進(jìn)行融合，采用快速傅里葉變換測(cè)定色織物密度；Meng等[9]利用多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)定位經(jīng)紗和緯紗，具有較高的準(zhǔn)確性和魯棒性; 陳凱峰等[10]融合多角度光源圖像增強(qiáng)紋理特征，采用自適應(yīng)局部加權(quán)回歸平滑投影曲線(xiàn)，測(cè)定色織物密度。上述研究從不同角度提出了減弱紗線(xiàn)顏色干擾的解決路徑，有效解決了色織物密度的自動(dòng)測(cè)定。相較于色織物的弱紋理表現(xiàn)，印花或燙印類(lèi)圖案近似完全覆蓋了紗線(xiàn)紋理，造成了局部信息缺損。因此，如何從遮蓋區(qū)域復(fù)原出基布紗線(xiàn)紋理，進(jìn)一步擴(kuò)展織物密度檢測(cè)的適用面具有一定的應(yīng)用價(jià)值。近年來(lái)，圖像補(bǔ)全技術(shù)廣泛應(yīng)用于場(chǎng)景信息的盲區(qū)修復(fù)，利用參照信息對(duì)空缺部分進(jìn)行填充，構(gòu)建缺失信息，如偏微分方程補(bǔ)全法[11]、紋理合成法[12]、深度學(xué)習(xí)法[13]等。Criminisi等[14]依據(jù)樣本周邊塊信息，通過(guò)優(yōu)先權(quán)設(shè)定可以部分確定邊緣和內(nèi)容信息。其后Yao[15]對(duì)優(yōu)先權(quán)函數(shù)進(jìn)行優(yōu)化，提升了低紋理修復(fù)質(zhì)量和速度。基布紋理具有連續(xù)性和相似性，采用補(bǔ)全方式，在一定程度上可減弱非紗線(xiàn)紋理或顏色的干擾，提升預(yù)處理階段圖像修復(fù)質(zhì)量。

為此，本文嘗試改進(jìn)的Criminisi算法，探討常規(guī)組織結(jié)構(gòu)面料種類(lèi)，不同尺度、類(lèi)型印花圖案修復(fù)后的密度測(cè)定準(zhǔn)確性。重點(diǎn)對(duì)Criminisi算法優(yōu)先權(quán)項(xiàng)、修復(fù)模塊窗口的適應(yīng)性，補(bǔ)全缺損區(qū)域紗線(xiàn)紋理信息，利用小波變換對(duì)補(bǔ)全后的織物圖像進(jìn)行密度測(cè)定和分析。

1 實(shí)驗(yàn)方案

1.1 總體思路

圖案干擾了紗線(xiàn)紋理的正確提取，需對(duì)其對(duì)應(yīng)區(qū)域的基布紋理進(jìn)行復(fù)原。基本思路為：首先對(duì)圖案進(jìn)行定位，分割圖案形成缺損圖像；其次利用織物殘存組織信息迭代補(bǔ)全該區(qū)域紋理信息，從而獲得相對(duì)完整的素色織物圖像。所采取的實(shí)驗(yàn)方案流程如圖1所示，包括輸入樣本設(shè)計(jì)、紋理修復(fù)、小波變換、密度換算與主客觀一致性分析等模塊。

圖1 實(shí)驗(yàn)方案總體思路Fig.1 The general guideline for the experimental scheme

通過(guò)對(duì)印花圖案所在區(qū)域的定位，利用改進(jìn)的Criminisi算法，實(shí)現(xiàn)修復(fù)模塊窗口的自適應(yīng)調(diào)節(jié)、優(yōu)化優(yōu)先權(quán)項(xiàng)，最大限度實(shí)現(xiàn)該區(qū)域紗線(xiàn)紋理的復(fù)原，減弱圖案在頻域信號(hào)的混雜效應(yīng)；其后，利用Morlet小波變換，解析經(jīng)緯方向紗線(xiàn)紋理，實(shí)現(xiàn)密度的測(cè)定；最后，與素色織物進(jìn)行對(duì)比，評(píng)估算法對(duì)圖案所在區(qū)域的復(fù)原質(zhì)量，進(jìn)一步地，對(duì)實(shí)驗(yàn)樣本密度主客觀檢測(cè)的一致性進(jìn)行分析。

1.2 實(shí)驗(yàn)樣本

為便于比對(duì)印花區(qū)域修復(fù)前后差異，以常規(guī)組織素色織物作為參照，采用圖案與織物圖像融合的方式，變換圖案類(lèi)型和尺度大小，設(shè)計(jì)虛擬印花樣本。作為基布的素色織物，選取平紋、斜紋和緞紋3種常規(guī)組織，采集視野截取10 cm×10 cm的矩形區(qū)域作為參照樣本。在此基礎(chǔ)上，選用3種圖案與織物圖像進(jìn)行融合，圖案類(lèi)型分別為對(duì)稱(chēng)圖、鏤空花卉圖和非規(guī)則樹(shù)葉圖，圖案最大外接矩形邊長(zhǎng)設(shè)置為2、6 cm和10 cm 3種不同尺寸。

按照組織結(jié)構(gòu)、圖案類(lèi)型及圖案尺寸，共計(jì)設(shè)計(jì)出27份測(cè)試樣本。部分樣本融合圖如圖2所示，以編號(hào)“P-F1-D10”為例，首位“P”表示平紋(相應(yīng)地，“T”表示斜紋，“S”表示緞紋)、“F1”表示圖案1、“D10”表示圖案外接矩形最大邊長(zhǎng)為10 cm。實(shí)驗(yàn)中，參照用素色織物采集均在標(biāo)準(zhǔn)光源箱內(nèi)完成，利用良田BS1880P高拍儀拍攝，最大成像尺寸為 4 898 pixel×3 672 pixel。實(shí)驗(yàn)過(guò)程中，利用標(biāo)尺裁剪10 cm×10 cm 織物有效區(qū)域，形成 2 492 pixel×2 492 pixel的待測(cè)圖像，有效分辨率為633 dpi。

圖2 部分測(cè)試樣本圖像Fig.2 Partial specimen images

2 局部組織復(fù)原

Criminisi算法[15]基于樣本最相似目標(biāo)塊填充待修復(fù)區(qū)域的算法，能夠同步處理紋理和結(jié)構(gòu)。針對(duì)大破損織物圖像，Criminisi算法隨著修復(fù)的不斷進(jìn)行，置信項(xiàng)越來(lái)越小。整個(gè)過(guò)程中，優(yōu)先權(quán)的設(shè)置較為關(guān)鍵。

2.1 修復(fù)優(yōu)先權(quán)設(shè)置

在待修復(fù)區(qū)域輪廓處選定優(yōu)先權(quán)最高點(diǎn)，以其為中心構(gòu)造指定大小的模板塊，在完好區(qū)域?qū)ふ易顑?yōu)匹配，通過(guò)更新置信度及輪廓進(jìn)行迭代修復(fù)，直至破損區(qū)域完整修復(fù)。以下針對(duì)融合圖案后的織物圖像進(jìn)行優(yōu)先權(quán)設(shè)計(jì)。設(shè)O表示待修復(fù)區(qū)域，Φ為已知區(qū)域；k為修復(fù)模塊中心點(diǎn)，δS表示缺損區(qū)域邊緣；φk表示待選取的修復(fù)模塊，該模塊一部分包含了已知的區(qū)域，其余部分為破損區(qū)域，圖3為復(fù)原示意圖。

圖3 圖像復(fù)原示意Fig.3 Schematic diagram of the image repair algorithm

為了提升優(yōu)先權(quán)適應(yīng)性，重點(diǎn)對(duì)數(shù)據(jù)項(xiàng)進(jìn)行調(diào)節(jié)，增大權(quán)重，公式如下：

K(k)=εC(k)+ηD(k)

(1)

(2)

(3)

2.2 修復(fù)模塊尺寸選擇

Criminisi相關(guān)算法[14]中采用固定值窗口，一般設(shè)置為固定值，對(duì)于小尺寸破損圖像具有較好的修復(fù)效果。對(duì)于較大區(qū)域而言，需要更多的迭代次數(shù)，其置信度逐步收斂至0，導(dǎo)致出現(xiàn)數(shù)據(jù)項(xiàng)過(guò)大形成優(yōu)先權(quán)判定失誤。為此，正確設(shè)置修復(fù)模塊大小，才能有效適應(yīng)不同尺度圖案區(qū)域的復(fù)原。實(shí)驗(yàn)中，依據(jù)圖案大小，對(duì)修復(fù)模塊尺寸進(jìn)行自適應(yīng)修正。

SO為圖3破損區(qū)域O的初始面積，為了適應(yīng)圖案大小，采用自主判定方式調(diào)節(jié)修復(fù)模塊尺寸。為此，當(dāng)SO≤ξ·M·N(取0.5<ξ<1)，

(4)

式(4)中:l為修復(fù)窗口邊長(zhǎng)，λ為收縮因子。否則，

(5)

式(5)中:SO′為迭代后的破損區(qū)域面積，μ為迭代過(guò)程面積收縮因子，取值為0～1；τ為調(diào)節(jié)參數(shù)，范圍為1～10。

2.3 區(qū)域紋理復(fù)原

對(duì)設(shè)計(jì)樣本圖案所在區(qū)域進(jìn)行復(fù)原，基本步驟如下：

a)干擾區(qū)域定位與標(biāo)記。采用Otsu[16]分割算法將圖案單獨(dú)提取出來(lái)。以樣本“P-F1-D10”為例，圖4(b)是對(duì)圖4(a)中圖案分割后形成底紋保留圖，黑色區(qū)域?yàn)閳D案位置。其次，對(duì)圖像進(jìn)行掩膜處理，對(duì)圖案邊界坐標(biāo)進(jìn)行提取(圖4(c))，存入邊界矩陣。

圖4 圖案分割與定位Fig.4 Pattern segmentation and positioning

b)修復(fù)參數(shù)判定。按照式(1)—式(3)計(jì)算優(yōu)先權(quán)K(k)，確定優(yōu)先修復(fù)區(qū)域；確定l，若原破損區(qū)域的面積小于ξ倍圖像面積，則采用式(4)確定修復(fù)尺寸，否則采用式(5)計(jì)算修復(fù)尺寸。通過(guò)計(jì)算，優(yōu)選模塊選定在圖4(d)中紅色矩形區(qū)域。

c)最佳匹配塊優(yōu)選。在織物圖像有效區(qū)域?qū)ふ易罴哑ヅ鋲K，采用SSD[11]最優(yōu)匹配原則將最優(yōu)匹配塊的相應(yīng)像素值替換到待修復(fù)塊中，并更新置信度和待修復(fù)區(qū)域。最佳匹配塊確定方式為：

(6)

式(6)中:φK是尋找的最佳匹配塊，φK是當(dāng)前優(yōu)先權(quán)最大的修復(fù)模塊。k是修復(fù)模塊的中心點(diǎn)。

d)待修復(fù)區(qū)域復(fù)原。重復(fù)上述步驟，直到完整修復(fù)圖案區(qū)域，最終修復(fù)效果如圖5所示。

圖5 修復(fù)效果Fig.5 Repair effect

e)織物復(fù)原質(zhì)量評(píng)價(jià)。為了驗(yàn)證修復(fù)算法對(duì)組織結(jié)構(gòu)、圖案種類(lèi)、圖案大小等因素的適用性，此處采用PSNR[17]評(píng)價(jià)修復(fù)質(zhì)量。

(7)

式(7)中:x和y為圖像I的坐標(biāo)位置，I(x,y)為原圖像在當(dāng)前索引的像素值，Id(x,y)為重建圖像在當(dāng)前索引的像素值。

3 經(jīng)緯密自動(dòng)測(cè)量

3.1 預(yù)處理

織物圖像中的噪聲一定程度影響小波變換分解效果，在進(jìn)行頻域率處理之前進(jìn)行降噪處理。實(shí)驗(yàn)中采用中值濾波[18]，消除圖像中孤立的噪聲點(diǎn)；此外，采用直方圖均衡化[19]適度優(yōu)化對(duì)比度；利用Hough[7]算法，進(jìn)一步對(duì)齊織物方向，提高分解準(zhǔn)確性。以復(fù)原后的樣本“P-F1-D2”為例，預(yù)處理效果如圖6所示。

圖6 圖像預(yù)處理Fig.6 Image preprocessing

3.2 小波變換

實(shí)驗(yàn)選用Morlet[21]二維小波，對(duì)織物圖像進(jìn)行多級(jí)分解，捕捉不同角度和尺度下的圖像的信息，獲得每級(jí)小波系數(shù)，通過(guò)重構(gòu)獲得特征信息子圖像。Morlet小波函數(shù)表達(dá)式為:

(8)

式中：N為寬帶參數(shù)；ω0為中心頻率；t為采樣時(shí)間；j為復(fù)數(shù)單位；φ(t)為小波變換結(jié)果。

對(duì)修復(fù)后的圖像進(jìn)行Morlet小波變換，獲得各個(gè)方向上的信息子圖像。圖7分別以平紋、斜紋、緞紋織物為例，角度為0.5π和1π時(shí)的變換效果。

圖7 Morlet連續(xù)小波變換Fig.7 Morlet continuous wavelet transform

4 結(jié)果分析與討論

4.1 復(fù)原效果評(píng)價(jià)

實(shí)驗(yàn)中利用優(yōu)化算法對(duì)樣本進(jìn)行復(fù)原處理，并采用PSNR法對(duì)復(fù)原效果進(jìn)行分析。同一圖案，不同尺寸，以樣本“P-F1-D2”“P-F1-D6”“P-F1-D10”為例，圖8顯示改類(lèi)樣本的修復(fù)效果。

圖8 同一圖案不同尺寸修復(fù)效果比較Fig.8 Repair effects of the same patter of different sizes

對(duì)同一尺寸不同圖案修復(fù)效果進(jìn)行比較，分別以樣本“S-F1-D6”“S-F2-D6”“S-F3-D6”為例，修復(fù)效果如圖9所示。

圖9 同一尺寸不同圖案修復(fù)效果比較Fig.9 Repair effects of different patterns of the same size

由圖9可以直觀看出，Criminisi算法[15]修復(fù)時(shí)出現(xiàn)紋理錯(cuò)修現(xiàn)象，改進(jìn)后的算法在細(xì)節(jié)上更好地恢復(fù)了底紋原貌。

為客觀比對(duì)修復(fù)質(zhì)量，采用PSNR法，對(duì)采用Criminisi、優(yōu)先權(quán)優(yōu)化，以及優(yōu)先權(quán)+修復(fù)模塊優(yōu)化3種方式，復(fù)原質(zhì)量結(jié)果如圖10所示。

圖10 3種修復(fù)方案PSNR值Fig.10 PSNR values with three repair algorithms

由圖10可以看出，優(yōu)先權(quán)+修復(fù)模塊同時(shí)優(yōu)化，相較于前兩種方法，PSNR值更高，修復(fù)效果相對(duì)更好。組織結(jié)構(gòu)相同情況下，同一圖案，尺寸越大，即干擾區(qū)域越大，其PSNR值呈現(xiàn)衰弱趨勢(shì)，以平紋織物樣本“P-F1”為例，圖案尺寸為10 cm時(shí)，較6、2 cm有明顯下降趨勢(shì)。對(duì)于尺寸為2 cm時(shí)，3種方法修復(fù)效果差異不大。同一組織結(jié)構(gòu)，同一尺寸，不同圖案修復(fù)效果差異較小，因分割時(shí)對(duì)花型外輪廓進(jìn)行提取，鏤空區(qū)域也默認(rèn)為待修復(fù)區(qū)域，因此，僅有的PSNR差異值取決于花型的面積和形狀。因PSNR是對(duì)圖案自身的峰值信噪比進(jìn)行計(jì)算，同一圖案、同一尺寸，其差異來(lái)自于織物組織結(jié)構(gòu)信息自身，因此，不具有可比性。

總體來(lái)看，本文提出的優(yōu)先權(quán)+修復(fù)模塊優(yōu)化算法能夠較好地復(fù)原圖像。然而，PSNR值僅能夠反應(yīng)織物圖像總體的信息規(guī)律，為了能夠驗(yàn)證修復(fù)算法對(duì)機(jī)織物密度測(cè)量的可靠性，仍需采用密度統(tǒng)計(jì)值進(jìn)行分析。

4.2 主客觀一致性分析

對(duì)上述27份樣本分別采用人工檢測(cè)和本文優(yōu)化算法進(jìn)行密度測(cè)量，結(jié)果如表1所示。

由表1可以看出，當(dāng)圖案尺寸為2 cm和6 cm時(shí)，主客觀一致性為100%；對(duì)于測(cè)試樣本“S-F3-D10”，其經(jīng)密出現(xiàn)誤判，“T-F1-D10”“S-F2-D10”緯密出現(xiàn)誤判，10 cm內(nèi)根數(shù)主客觀值相差均為1根，此時(shí)圖案尺寸為 10 cm。由此可見(jiàn)當(dāng)組織結(jié)構(gòu)為斜紋和緞紋組織時(shí)，由于紋理修復(fù)過(guò)程中存產(chǎn)生扭曲。參考信息較少時(shí)，或縱橫向邊界不完整時(shí)，容易出現(xiàn)誤判，總體誤判率為11.11%，主客觀平均一致率為99.89%。由此可見(jiàn)，該方法對(duì)于中小尺度的干擾圖案復(fù)原具有良好的適用性，當(dāng)圖案尺度外接矩形邊長(zhǎng)趨向 10 cm 時(shí)，復(fù)原質(zhì)量減低，影響密度測(cè)定的準(zhǔn)確性。

表1 樣本密度測(cè)量測(cè)定結(jié)果Tab.1 Measurement results of specimen density

5 結(jié) 論

本文從圖像復(fù)原角度出發(fā)，對(duì)圖案全覆蓋情形，提出了利用改進(jìn)的Criminisi算法，復(fù)原基布紗線(xiàn)紋理信息，以解決印花圖案對(duì)機(jī)織物密度測(cè)量的干擾。實(shí)驗(yàn)結(jié)果表明，該算法能夠?qū)χ行〕叨鹊膱D案區(qū)域進(jìn)行復(fù)原，對(duì)于邊界長(zhǎng)度趨向10 cm時(shí)，檢測(cè)容易出現(xiàn)誤判。實(shí)驗(yàn)樣本誤判率為11.11%，主客觀檢測(cè)一致率均值為99.89%。

該方法的提出是對(duì)紋理極端干擾下織物密度自動(dòng)測(cè)量的一種探索。對(duì)于嚴(yán)重干擾或完全遮蓋織物紋理時(shí)具有一定的適用性。對(duì)于復(fù)雜組織類(lèi)型、高密織物等復(fù)原、檢測(cè)效果仍需進(jìn)一步研究。