基于Zernike矩和拼貼誤差的布料圖案檢索算法

張 琴,曹一青

(莆田學(xué)院 機(jī)電與信息工程學(xué)院,福建 莆田 351100)

紡織品行業(yè)中,布料圖案的檢索和分類依靠人工經(jīng)驗(yàn)完成,效率較低、成本較高且準(zhǔn)確率不高,無(wú)法滿足高效準(zhǔn)確地檢索出特定布料圖案的需求,因此,本文擬實(shí)現(xiàn)一種檢索效果和效率兼具的布料花案圖像檢索算法。布料圖案的花紋相對(duì)繁雜,且圖案拍攝過(guò)程不當(dāng)可能會(huì)引起圖像的角度隨意和非平面結(jié)構(gòu)等問(wèn)題,這些問(wèn)題給圖像檢索帶來(lái)了一定的困難。單一圖像特征用于檢索無(wú)法準(zhǔn)確地描述布料圖案的全部信息,導(dǎo)致檢索準(zhǔn)確率不高。DING等[1]利用尺度不變特征變換(scale-invariant feature transform,SIFT)和高斯函數(shù)獲取了畬族服裝圖像中的特征,并依據(jù)獲得的特征對(duì)圖像進(jìn)行了分類,該方法可有效識(shí)別不同類別的畬族服裝。WANG等[2]利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)跨域圖像進(jìn)行分類顯示,該方法可獲得較好的跨域圖像檢索效果。JING等[3]提出了一種將顏色矩和Gist特征描述的布料圖案相融合的檢索方法,該算法的平均查準(zhǔn)率為86.3%,平均查全率為53.3%。ZHANG等[4]提出了一種基于低層紋理特征的羊毛布料圖案檢索算法,平均檢索準(zhǔn)確率在85%以上,平均檢索時(shí)間為1.4 s。IHSAN等[5]提出了一種基于完全神經(jīng)網(wǎng)絡(luò)、超像素特征提取網(wǎng)絡(luò)結(jié)構(gòu)(superpixels features extractor network,SP-FEN)和簡(jiǎn)單線性迭代聚類算法(simple linear iterative clustering,SLIC)的時(shí)裝圖像的超像素特征,研究顯示該方法可對(duì)時(shí)裝圖像進(jìn)行較好的像素分割和服裝解析,但獲取數(shù)據(jù)集的成本較高。CHEN等[6]針對(duì)跨域服裝圖像檢索提出了一種深度學(xué)習(xí)的檢索方法,準(zhǔn)確率為78.1%。

由于Zernike矩具有旋轉(zhuǎn)、尺度和平移不變性,且能清晰地描述圖像輪廓細(xì)節(jié)的特征,目前被廣泛應(yīng)用于布料圖案的特征提取[7]。但是,Zernike矩在應(yīng)用中存在計(jì)算量大和階數(shù)越高對(duì)噪聲越敏感等問(wèn)題[8-9];因此,在實(shí)際應(yīng)用中往往應(yīng)用Zernike低階矩來(lái)作為檢索特征。分形域的拼貼誤差是一種分形編碼參數(shù),利用其解碼圖像可獲得高質(zhì)量的壓縮圖像,且計(jì)算復(fù)雜度低[10]。為進(jìn)一步提高布料圖案檢索的平均查全率、查準(zhǔn)率和檢索效率,本文提出了一種將低階Zernike矩和分形域拼貼誤差相結(jié)合的布料圖案檢索算法(zernike moment and collage error,ZMCE),并通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法的有效性。

1 算法設(shè)計(jì)

1.1 圖像f(x,y)的Zernike矩的計(jì)算

圖像f(x,y)的Zernike矩是一組極坐標(biāo)下的單位圓內(nèi)的正交多項(xiàng)式Vnm(x,y)[11],其可表示為

Vnm(x,y) =Vnm(ρ,θ) =Rnmejmθ

(1)

式(1)中,Rnm為實(shí)值多項(xiàng)式,其表達(dá)式為

(2)

n階m次Zernike矩的表達(dá)式[9]為

(3)

θ=arctan(y/x)(x>-1,y<1)

(4)

假設(shè)圖像旋轉(zhuǎn)α角度后,θ′=θ-α,則旋轉(zhuǎn)后的Zernike矩可表示為

(5)

(6)

布料圖案的Zernike矩的計(jì)算步驟為:

(1)對(duì)布料圖案中的目標(biāo)區(qū)域與背景進(jìn)行分割,然后利用零階幾何矩計(jì)算目標(biāo)的面積,零階幾何矩的計(jì)算公式為

m00= ?f(x,y)dxdy

(7)

(2)根據(jù)式(6)計(jì)算數(shù)字圖像f(x,y)在單位圓內(nèi)的Zernike矩。

(3)利用式|Znm|′=|Znm|/m00[11]對(duì)Zernike矩進(jìn)行歸一化處理,并將模值|Znm|′作為布料圖案檢索的特征量。

(4)分別計(jì)算圖像的前8階低階矩,即|Z00|′,|Z20|′,|Z33|′,|Z42|′,|Z53|′,|Z64|′,|Z71|′,|Z80|′和9、10、11階高階矩|Z91|′,|Z10.0|′,|Z11.1|′。將高階和低階Zernike矩分別作為布料圖案檢索的特征量。

1.2 分形域拼貼誤差的計(jì)算

實(shí)驗(yàn)圖像來(lái)源于某服裝設(shè)計(jì)企業(yè)的面料庫(kù),共選取800張(尺寸大小為512×512)。將每副圖像按順時(shí)針旋轉(zhuǎn)30°后共計(jì)獲得1 600張實(shí)驗(yàn)圖像。圖1為面料庫(kù)中部分布料圖案。

圖1 面料庫(kù)中的部分布料圖案Fig.1 Part of the fabric images

(8)

(9)

式中,U塊的灰度值均為1。由式(9)可知,此時(shí)雖然值域塊與定義域塊已經(jīng)達(dá)到最佳匹配,但仍存在如下偏差。

(10)

于是根據(jù)式(10)中的E(R,D)可將拼貼誤差[15]定義為

(11)

由文獻(xiàn)[13]可知,當(dāng)式(9)中的si和oi分別為

(12)

(13)

時(shí),式(9)有最小值。

本文以圖1中的Plaid(a)和(b),Stripes(a)和(c),Patterned(a)、(b)、(c)和Plant(a)為例對(duì)拼貼誤差表征圖像紋理和邊緣信息的能力進(jìn)行說(shuō)明。首先,對(duì)圖像進(jìn)行灰度化預(yù)處理;其次,將圖像分別分割成大小為4×4的Ri塊和8×8的Di塊;最后,利用式(9)—(13)計(jì)算出圖像的拼貼誤差,并將拼貼誤差由小到大分為Ⅰ、Ⅱ、Ⅲ3類。其中,Ⅰ類用白色表示,Ⅱ類用灰色表示,Ⅲ類用黑色表示。

圖2為布料圖案與拼貼誤差輸出圖像的對(duì)比圖。由圖2可知,拼貼誤差可消除圖像信息冗余和保留原圖像的紋理和邊緣信息,可應(yīng)用于布料圖案的檢索。

注:(a)和(c)為灰度圖;(b)和(d)為拼貼誤差輸出圖像。

2 布料圖案的相似度匹配算法

Zernike矩和分形域拼貼誤差相結(jié)合的布料圖案檢索算法的實(shí)現(xiàn)流程如圖3所示。該算法采用歐式距離(Euclidean距離)對(duì)比兩幅布料圖像的相似度。歐式距離的計(jì)算公式為

(14)

圖3 本文算法(ZMCE)的示意框圖Fig.3 The schematic block diagram of the proposed algorithm (ZMCE)

設(shè)待檢索布料圖像為Q,圖像庫(kù)中某一布料圖像為R,則基于Zernike矩的相似度計(jì)算公式為

(15)

式中:Zi(Q)和Zi(R)分別表示兩幅圖像的Zernike矩;dZ(Q,R)為兩幅圖像Zernike矩的差異?；诜中斡蚱促N誤差的相似度計(jì)算公式為

(16)

式中:E(Q)和E(R)分別表示兩幅圖像的拼貼誤差;dE(Q,R)為兩幅圖像拼貼誤差的差異。由此可得兩幅圖像之間的總相似度距離的計(jì)算公式為

d=λ1dZ(Q,R)+λ2dE(Q,R)

(17)

式中:λ1(0<λ1<1)和λ2(0<λ2<1)為兩種特征量測(cè)度的權(quán)重,其值是經(jīng)過(guò)多次不同實(shí)驗(yàn)對(duì)象進(jìn)行圖像檢索實(shí)驗(yàn)結(jié)果得出的,且λ1+λ2=1。

本文利用查全率(R)、查準(zhǔn)率(P)[16]和二者的加權(quán)調(diào)和平均(F值)[17]來(lái)獲取最佳特征量測(cè)度的權(quán)重。查全率、查準(zhǔn)率和F值的計(jì)算公式為:

(18)

(19)

(20)

式中:r和N分別表示檢索出的相似和不相似圖像的個(gè)數(shù);r+N表示檢索返回的圖像總數(shù);M表示未被檢索出的相似圖像個(gè)數(shù);r+M表示相似圖像的總數(shù)。

為了考察不同階Zernike矩檢索效果,本文分別采用前8階矩和9、10、11階高階矩作為布料圖案檢索的特征量,分別計(jì)算了低階和高階矩下的平均查全率和平均查準(zhǔn)率和F值,結(jié)果見表1和圖4。均采用9組不同的λ1值和λ2值,實(shí)驗(yàn)圖像為未旋轉(zhuǎn)前的800幅圖像。由表1可以看出,當(dāng)前8階矩和拼貼誤差兩種特征量測(cè)度的權(quán)重λ1和λ2均為0.5時(shí),其F值均最大,查全率和F值較高,且對(duì)噪聲不敏感。

表1 不同權(quán)重下平均查準(zhǔn)率和平均查全率的加權(quán)調(diào)和平均Tab.1 Weighted harmonic average of average precision and average recall under different weights

圖4 不同權(quán)重值下的圖像檢索效果Fig.4 Image retrieval effect under different weights

再采用9、10和11階高階Zernike矩進(jìn)行同樣實(shí)驗(yàn)。結(jié)果表明,權(quán)重取λ1=0.5,λ2=0.5時(shí),F值最大,如表2所示。

表2 高階Zernike矩下的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results under higher order Zernike moments

由表2可知,高階Zernike矩下的平均查準(zhǔn)率為0.883,高于低階矩下的0.878,但查全率略低,加權(quán)調(diào)和平均為0.654 5,略低于低階矩下的0.659 4。因?yàn)榈碗A矩能夠有效反映圖像的輪廓信息,高階矩則更多體現(xiàn)細(xì)節(jié)信息,分形域的拼貼誤差可表征圖像紋理,且高階矩對(duì)噪聲較敏感,因此,本文采用前8階低階矩作為圖像檢索特征。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性,將本文ZMCE算法與基本分形算法(basic fractal coding, BFC)[18]、單一拼貼誤差算法(single collage error algorithm, SCE)[19]、聯(lián)合正交化分形參數(shù)和改進(jìn)Hu不變矩算法(orthogonalization fractal parameters and improved Hu moment invariant algorithm, OFH)[20]以及文獻(xiàn)[4]中基于主色調(diào)(dominant colors,DCs)和顏色矩(color moments,CMs)特征的算法作了對(duì)比分析。實(shí)驗(yàn)采用MATLAB R2018a軟件,計(jì)算機(jī)配置為:Intel Core i5處理器,8 GB內(nèi)存,64位Windows 10操作系統(tǒng)。實(shí)驗(yàn)圖像為服裝設(shè)計(jì)企業(yè)面料庫(kù)中的800張布料圖案圖像和這些圖像旋轉(zhuǎn)后的800張圖像,共計(jì)1 600張,大小為512×512。

為了保證實(shí)驗(yàn)對(duì)比數(shù)據(jù)的有效性,以上算法均在相同的圖像上進(jìn)行,且均采用Euclidean距離作為相似度計(jì)算公式。實(shí)驗(yàn)時(shí),以布料圖案庫(kù)為檢索庫(kù),并將每一張布料圖案依次作為各算法待檢索圖像(共計(jì)860張)。根據(jù)公式(18)—(20),計(jì)算出圖1中所列出的4類圖案的查準(zhǔn)率和查全率,如圖5和圖6所示。

圖5 不同算法下8類圖案的平均查準(zhǔn)率Fig.5 The average precision of 8 kinds of images under different algorithms

圖6 不同算法下8類圖案的平均查全率Fig.6 The average recall of 8 kinds of images under different algorithms

由圖5圖6分析可知,本文算法(ZMCE)的平均查準(zhǔn)率(0.919)和查全率(0.603)顯著高于BFC算法、SCE算法和OFH算法。

為了進(jìn)一步驗(yàn)證本文算法的有效性,將本文算法與SCE、BFC、OFH算法和文獻(xiàn)[4]中的算法進(jìn)行了檢索對(duì)比(實(shí)驗(yàn)圖像為圖像庫(kù)中的1 600張布料圖像),結(jié)果如表3所示。由表3可知,本文算法的平均查準(zhǔn)率和查全率比BFC算法、SCE算法、OFH算法和文獻(xiàn)[4]的算法分別高出0.379、0.352、0.08、0.014,0.202、0.184、0.122、0.091;檢索速度也顯著快于SCE算法、BFC算法和OFH算法(與文獻(xiàn)[4]算法速度幾乎相同)。

表3 不同算法對(duì)圖像的檢索效率Tab.3 The retrieval efficiency of different algorithms

本文算法優(yōu)于其他4種算法的原因是:本文算法不僅采用了具有圖像旋轉(zhuǎn)不變性、尺度和平移不變性、低噪聲敏感度等優(yōu)勢(shì)的Zernike矩,而且還采用了分形域的拼貼誤差作為檢索特征量;BFC算法僅采用了分形參數(shù)作為圖像檢索特征量,且定義域塊與值域塊的匹配過(guò)程較為復(fù)雜;OFH算法的檢索效果雖相對(duì)較好,但檢索特征量的Hu不變矩的魯棒性較弱;SCE算法僅采用了拼貼誤差作為檢索特征量;文獻(xiàn)[4]中的算法采用的是基于主色(DC)和色矩(CM)的檢索方法,該方法的魯棒性有待提高。

4 結(jié)論

本文針對(duì)布料圖案檢索過(guò)程中存在的準(zhǔn)確率不高,效率低等問(wèn)題,提出將Zernike矩和分形域拼貼誤差聯(lián)合用于布料圖案檢索。該算法中,適用于具有一定自相似性圖像的拼貼誤差,能夠表征圖像細(xì)節(jié)信息、計(jì)算復(fù)雜度低且壓縮比較高。與此同時(shí),Zernike矩具有旋轉(zhuǎn)不變性、尺度和平移不變性、低噪聲敏感等特點(diǎn)。研究表明,本文提出的ZMCE算法對(duì)布料圖案檢索的綜合效率顯著優(yōu)于SCE算、BFC算法、OFH算法和文獻(xiàn)[4]中的算法,因此,該算法可為紡織品企業(yè)的布料圖案檢索提供良好參考。在今后的研究中,我們將繼續(xù)探討如何更有效地提取布料圖案的特征量,以進(jìn)一步提高本文方法的檢索效果。