基于最大穩(wěn)定極值區(qū)域的織物圖案檢索

康 鋒， 胡 潔， 張華熊， 周 慧

(浙江理工大學(xué) 信息學(xué)院， 浙江 杭州 310018)

?

基于最大穩(wěn)定極值區(qū)域的織物圖案檢索

康 鋒， 胡 潔， 張華熊， 周 慧

(浙江理工大學(xué) 信息學(xué)院， 浙江 杭州 310018)

針對(duì)織物掃描圖像的特點(diǎn)，提出了一種通過(guò)圖像最大穩(wěn)定極值區(qū)域的加速穩(wěn)健特征(SURF)檢索織物圖案的方法。首先用結(jié)構(gòu)提取算法去除織物掃描圖像的紋理，保留圖案信息；其次通過(guò)最大穩(wěn)定極值區(qū)域法檢測(cè)織物圖像，提取圖案各區(qū)域的SURF特征，建立織物圖像特征庫(kù)；再將織物檢索圖像與特征庫(kù)內(nèi)的圖像進(jìn)行相似性度量，得到相似圖案的織物圖像。實(shí)驗(yàn)結(jié)果表明，提出的算法能夠較準(zhǔn)確地檢索織物圖案。

織物圖案； 圖像檢索； 最大穩(wěn)定極值區(qū)域； 結(jié)構(gòu)提??； 加速穩(wěn)健特征(SURF)算法； 特征匹配

隨著紡織品CAD的廣泛應(yīng)用，新設(shè)計(jì)的織物圖案形式多樣，變化豐富。傳統(tǒng)的織物圖案檢索需要通過(guò)人工在樣品庫(kù)中進(jìn)行分類和編號(hào)，不能對(duì)檢索需求進(jìn)行精確描述，難以滿足不同檢索人員和客戶的檢索需求?？椢飯D案檢索可根據(jù)樣圖或?qū)嵨飹呙鑸D，快速地從樣品庫(kù)中找到已有的相同或相似圖案，克服傳統(tǒng)人工檢索的缺點(diǎn)，避免重復(fù)設(shè)計(jì)，從而提高新產(chǎn)品開(kāi)發(fā)效率，提升紡織品設(shè)計(jì)能力。

圖案是紡織品設(shè)計(jì)中的一個(gè)重要元素，但是從織物掃描圖像中提取圖案較為困難。經(jīng)掃描獲取的織物圖像中，紗線間隙顏色偏暗，會(huì)形成一定的紋理，不同的原料、織造方式、織物后整理也會(huì)產(chǎn)生不同的效果；由于布料放置不平整，使得織物圖像產(chǎn)生局部色差，甚至形成偽圖案；由于掃描圖像文件往往采用有失真的JPEG壓縮，使得圖案輪廓變得模糊。這些因素的存在為織物圖案檢索帶來(lái)了困難。

目前，圖像檢索主要有基于顏色[1]、紋理[2]、形狀[3]、角點(diǎn)[4]等特征的方法。顏色或紋理往往不能直接表征織物掃描圖像的圖案特征，因而基于顏色或紋理的圖像檢索方法不能直接檢索相似圖案；由于織物圖像中存在的紋理、局部色差以及采用失真壓縮的文件格式保存圖像，使得圖案輪廓不清晰，通過(guò)圖像分割提取的圖形往往不夠準(zhǔn)確，難以提取圖案的有效特征，因此基于形狀的圖案檢索結(jié)果往往不夠準(zhǔn)確；織物圖案中圖形很多是由平滑曲線構(gòu)成，同時(shí)由于織物掃描圖像中存在的紋理、色差、模糊，在織物圖案中很難提取有效的角點(diǎn)和角點(diǎn)特征，而且織物中往往存在大量相同或相似的圖案，角點(diǎn)之間的空間關(guān)系很難描述，因此基于角點(diǎn)的圖像檢索方法很難準(zhǔn)確檢索織物圖案。

針對(duì)織物掃描圖像的特點(diǎn)，本文首先通過(guò)結(jié)構(gòu)提取(structure extraction)算法消除織物圖像紋理；其次通過(guò)最大穩(wěn)定極值區(qū)域(maximally stable extremal region, MSER)算法檢測(cè)織物圖案區(qū)域，提取各區(qū)域加速穩(wěn)健特征(SURF)，形成圖案區(qū)域特征；然后對(duì)檢索圖像的特征與織物圖像特征庫(kù)進(jìn)行匹配，得到檢索圖像對(duì)圖像庫(kù)中的織物圖像的相似度；最后對(duì)相似度進(jìn)行排序，選取最相似的圖案為檢索結(jié)果。

1 算法設(shè)計(jì)

1.1 算法流程

本文提出的算法可分為紋理去除處理、MSER檢測(cè)、特征提取、相似性度量、檢索結(jié)果輸出5個(gè)過(guò)程，流程如圖1所示。

圖1 織物圖案檢索流程Fig.1 Flow chart of fabric pattern retrieval

1)通過(guò)結(jié)構(gòu)提取算法去除織物圖像的紋理，并對(duì)紋理去除后的圖像進(jìn)行灰度化；2)通過(guò)MSER算法檢測(cè)織物圖案的MSER；3)提取各MSER的SURF特征，形成特征矢量，對(duì)圖像庫(kù)中的每個(gè)圖像進(jìn)行上述處理，建立圖像特征庫(kù)；4)將檢索圖像的特征與織物圖像特征庫(kù)中每幅圖像特征進(jìn)行匹配，并進(jìn)行相似性度量，得到檢索圖像對(duì)圖像庫(kù)中每幅圖像的相似度得分；5)對(duì)相似度得分進(jìn)行排序，選取相似度得分高的圖案作為檢索結(jié)果。

1.2 紋理去除處理

掃描獲取的織物圖像中，由于紗線間隙和不同的織造方式等會(huì)產(chǎn)生一定的紋理，這些紋理的存在使得織物呈現(xiàn)一定的風(fēng)格，但是對(duì)織物圖案的提取帶來(lái)了困難；因此，要檢測(cè)織物圖案，首先應(yīng)盡量消除紋理帶來(lái)的影響，保留圖案的結(jié)構(gòu)信息。

Xu等[5]提出了一種基于相對(duì)總差(relative total variation)的結(jié)構(gòu)提取算法，可有效去除織物圖像中一定尺度的紋理信息，保留圖像中的圖案結(jié)構(gòu)。TV-L2模型[6]可表示源圖像與結(jié)構(gòu)圖像之間的關(guān)系：

(1)

為更加有效地消除結(jié)構(gòu)信息，文獻(xiàn)[5]對(duì)式(1)進(jìn)行了改進(jìn)，提出了新的模型：

(2)

式(2)的x方向相對(duì)總差可寫(xiě)成

式(2)的y方向的總差與x方向的類似，可寫(xiě)成

由此式(2)可寫(xiě)為：

(3)

式中：vS和vI分別表示S、I的矢量；Cx和Cy分別是向前差分梯度算子的特普利茲矩陣。Ux、Uy、Wx、Wy為對(duì)角陣，對(duì)角線上的值分別為Ux[i，i]=uxi，Uy[i，i]=uyi，Wx[i，i]=wxi，Wy[i，i]=wyi，那么式(2)可通過(guò)式(4)迭代求解：

(4)

1.3 最大穩(wěn)定極值區(qū)域檢測(cè)

MSER被認(rèn)為是性能最好的仿射不變區(qū)域，在視角變化、尺度變化、旋轉(zhuǎn)變化、模糊變化、JPEG壓縮和亮度變化等情況下均具有較好的評(píng)價(jià)[7]。

MSER檢測(cè)的基本過(guò)程[8]如下：對(duì)于一幅灰度圖像，用0～255依次增加的256個(gè)閾值對(duì)圖像進(jìn)行二值化處理，對(duì)于每個(gè)閾值得到的二值圖像，分析前后相鄰閾值圖像間的連通區(qū)域，在比較寬的灰度閾值范圍內(nèi)保持形狀穩(wěn)定的區(qū)域形成MSER+，該區(qū)域的內(nèi)部像素點(diǎn)灰度值小于(或大于)邊界像素點(diǎn)灰度值；通過(guò)同樣的方式，用255～0依次減小的256個(gè)閾值對(duì)圖像進(jìn)行處理，獲得MSER-；二者組合得到MSER。判定是否為極值區(qū)域的標(biāo)準(zhǔn)為：

(5)

式中，Q1,…,Qi-1,Qi,…是一系列嵌套的極值區(qū)域，Qi-1∈Qi，若式(5)在i處取得局部極小值，則對(duì)應(yīng)的極值區(qū)域Qi稱為MSER。

1.4 特征提取

本文通過(guò)SURF算法提取織物圖像的每個(gè)MSER特征，形成各區(qū)域的特征矢量。

SURF[9]是一種穩(wěn)定快速的特征提取算法，該算法在積分圖像的基礎(chǔ)上通過(guò)快速Hessian檢測(cè)子在不同尺度上來(lái)檢測(cè)局部極值點(diǎn)，通過(guò)計(jì)算Haar小波變換來(lái)確定每個(gè)特征點(diǎn)的主方向及特征點(diǎn)描述子。

積分圖像的定義如式(6)所示：

(6)

(7)

對(duì)式(7)兩端求導(dǎo)并令導(dǎo)數(shù)為零，可計(jì)算得到極值點(diǎn)：

(8)

用金字塔圖像建立尺度空間，通過(guò)Hessian矩陣來(lái)尋找極值點(diǎn)作為特征點(diǎn)，對(duì)以每一個(gè)特征點(diǎn)為圓心、半徑為6s(s為特征點(diǎn)所在的尺度)的鄰域中的點(diǎn)分別計(jì)算x、y方向上的邊長(zhǎng)為4s的Haar小波變換，并對(duì)響應(yīng)值賦予高斯權(quán)重系數(shù)(加權(quán)因子σ=2s)，得到一系列向量；然后將3/π范圍內(nèi)的Haar小波響應(yīng)累加形成新的矢量，遍歷整個(gè)區(qū)域，選擇最長(zhǎng)向量的方向?yàn)樘卣鼽c(diǎn)的主方向。

1.5 相似性度量

通過(guò)特征提取獲得的各MSER特征矢量，用歐氏距離d衡量區(qū)域的相似性，

式中：si表示檢索圖像第i個(gè)MSER；cj表示待匹配圖像第j個(gè)MSER；M表示特征矢量。

式中：Ncs表示檢索圖像中獲得匹配的不為同一中心的MSER數(shù)量；Nc表示檢索圖像中不為同一中心的MSER數(shù)量。

2 實(shí)驗(yàn)與分析

本文選擇了20種較為典型的織物圖案進(jìn)行了實(shí)驗(yàn)，每種圖案共有6種不同織物，通過(guò)掃描獲取了120幅織物圖像，圖像分辨率為96 dpi，圖像格式為JPEG。對(duì)每種圖案的織物選擇5幅圖像，通過(guò)去紋理、MSER檢測(cè)、特征提取，建立了圖像特征庫(kù)；剩下的圖像為待檢索圖像。

2.1 紋理去除處理結(jié)果

讀取織物掃描圖像，進(jìn)行去紋理處理(本文實(shí)驗(yàn)中λ=0.01、σ=3、迭代次數(shù)為2)，并進(jìn)行灰度化處理，將灰度范圍為1%～99%的像素點(diǎn)進(jìn)行灰度拉伸，示例圖像如圖2所示。從圖2(a)中可看到，源圖像中存在紗線紋理，掃描過(guò)程由于布料放置不平整，使得織物圖像產(chǎn)生局部色差，織物圖像中的圖案輪廓較為模糊。從圖2(b)中可看到，織物圖像中的紋理已基本消除，整個(gè)圖像較為平滑，保留了圖案的信息，但是由于在掃描過(guò)程中，織物放置不平整，因而在去紋理后的圖像中存在偽圖案。從圖2(c)中可看到，灰度化后的圖像保留了比較顯著的圖案信息。

圖2 紋理去除處理Fig.2 Texture removing. (a) Original image; (b) Images after texture removed; (c) Gray image

2.2 最大穩(wěn)定極值區(qū)域檢測(cè)和特征提取結(jié)果

對(duì)灰度化后的織物圖像進(jìn)行MSER檢測(cè)，并提取各區(qū)域的矩特征，示例圖像如圖3所示。圖3(b)中不同的MSER用不同顏色表示，可看到，MSER覆蓋了織物圖像的圖案區(qū)域，但在非圖案區(qū)域也存在MSER。

圖3 MSER檢測(cè)Fig.3 MSER detection. (a) Original image; (b) MSER

2.3 相似性度量結(jié)果

首先對(duì)檢索圖像MSER各區(qū)域與特征庫(kù)中每一幅圖像的SURF特征進(jìn)行特征匹配，然后計(jì)算檢索圖像對(duì)特征庫(kù)中的每個(gè)圖像的相似性得分。特征匹配的示例圖像如圖4所示。從圖中可看到，檢索圖像中的部分MSER與圖像庫(kù)中的匹配圖像中多個(gè)相似圖案的MSER得到了匹配，但是由于掃描圖像經(jīng)過(guò)去紋理、灰度化后的圖案的灰度值并不相同，因此并不是相似圖案中的每個(gè)MSER都得到了匹配。

圖4 特征匹配Fig.4 Feature matching

2.4 檢索結(jié)果

對(duì)20幅檢索圖像進(jìn)行圖案檢索，按照?qǐng)D案相似度得分進(jìn)行降序排列，并顯示檢索結(jié)果。如果檢索圖像與特征庫(kù)圖像的圖案相似，那么認(rèn)為檢索成功。示例實(shí)驗(yàn)結(jié)果如圖5所示。圖中最左邊的圖像為檢索圖像，示例實(shí)驗(yàn)中的圖像由2幅不同圖案粘貼組成；右邊兩行的圖像為圖像庫(kù)中的圖像，按相似性得分的高低，從左到右、從上到下排列。從圖中可以看到，相似度得分高的前10幅圖像均含有檢索圖像中的圖案。

圖5 檢索結(jié)果Fig.5 Retrieval result. (a) Image retrieval; (b) Similarity score of top 10 high images

計(jì)算20次圖像檢索的平均檢索精度和平均檢索召回率[10]。檢索精度定義為返回的相似圖像數(shù)r與返回的圖像總數(shù)n的比率，即P=r/n；檢索回召率定義為返回的相似圖像數(shù)r與圖像庫(kù)中具有相似圖案的圖像總數(shù)m的比率，即R=r/m。由平均檢索精度、平均檢索召回率為坐標(biāo)構(gòu)成的精度與召回率(PVR)曲線如圖6所示。從圖中可看到，本文的圖案檢索方法可有效檢索相似圖案。

圖6 PVR曲線Fig.6 PVR curve

3 結(jié) 語(yǔ)

本文通過(guò)結(jié)構(gòu)提取算法有效去除了織物圖像的紋理，保留了織物圖案信息；通過(guò)MSER算法提取了織物圖案MSER，并用SURF描述特征；對(duì)檢索圖像與圖像庫(kù)中的圖像進(jìn)行匹配，根據(jù)檢索圖案MSER匹配數(shù)量計(jì)算相似性得分，得到檢索結(jié)果。實(shí)驗(yàn)結(jié)果表明本文提出的圖案檢索方法較為準(zhǔn)確。

MSER檢測(cè)算法對(duì)圖像的灰度變化較為敏感，不同織物圖像或同一織物圖像的不同位置的相似的圖案，在去紋理和灰度化處理后灰度值可能變化較大，因此在檢索圖像與含有相似圖案的圖像特征匹配中，不能保證檢索圖像中的所有MSER都能匹配成功；由于織物掃描圖像中往往存在大量偽圖案，因此檢索圖像中的MSER可能存在誤匹配；而且由于織物圖像中往往存在重復(fù)的圖案，檢索圖案的MSER難以進(jìn)行空間關(guān)系約束。因此僅通過(guò)檢索圖案中匹配成功的MSER相對(duì)數(shù)量進(jìn)行相似性度量并不精確，對(duì)大量的圖像進(jìn)行檢索準(zhǔn)確率不是很高。因此，在實(shí)際應(yīng)用中，本文提出的圖案檢索方法可作為其他檢索方法的補(bǔ)充。

FZXB

[1] BUNTE K, BIEHL M, JONKMAN M F, et al. Learning effective color features for content based image retrieval in dermatology[J]. Pattern Recognition, 2011, 44(9): 1892-1902.

[2] KEKRE H B, THEPADE S D, SARODE T K, et al. Image retrieval using texture features extracted from GLCM, LBG and KPE[J]. International Journal of Computer Theory and Engineering, 2010, 2(5): 1793-8201.

[3] KEKRE H B, THEPADE S, MUKHERJEE P, et al. Image retrieval with shape features extracted using gradient operators and slope magnitude technique with BTC[J]. International Journal of Computer Applications, 2010, 6(8): 28-33.

[4] BELLAVIA F, TEGOLO D, VALENTI C. Keypoint descriptor matching with context-based orientation estimation[J]. Image and Vision Computing, 2014, 32(9): 559-567.

[5] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics (TOG), 2012, 31(6): 139.

[6] AUJOL J F, GILBOA G, CHAN T, et al. Structure-texture image decomposition - modeling, algorithms, and parameter selection[J]. International Journal of Computer Vision, 2006, 67(1): 111-136.

[7] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A comparison of affine region detectors[J]. International Journal of Computer Vision, 2005, 65(1/2): 43-72.

[8] MATAS J, CHUM O, URBAN M, et al. Robust wide-baseline stereo from maximally stable extremal regions[J]. Image and Vision Computing, 2004, 22(10): 761-767.

[9] BAY H, ESS A, TUYTELAARS T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[10] 方強(qiáng). 基于內(nèi)容的商品圖像檢索[D]. 南京：南京理工大學(xué), 2013: 17-19. FANG Qiang. Content-based commodity image retrieval [D]. Nanjing: Nanjing University of Science and Technology, 2013: 17-19.

Fabric pattern retrieval based on maximum stable extremal regions

KANG Feng， HU Jie, ZHANG Huaxiong， ZHOU Hui

(SchoolofInformationandTechnology,ZhejiangSci-TechUniversity,Hangzhou,Zhejiang310018,China)

According to the characteristics of fabric scanning images, a fabric pattern retrieval method based on the SURF features of maximum stable extremal regions was proposed to retrieve fabric images . Firstly, structure extraction algorithm was used to remove the texture in the fabric scanning image, and preserve the fabric pattern information; secondly, maximum stable extremal region method was used to extract the SURF features of all extremal regions in the fabric patterns, and the feature database of fabric images was established; and finally, similarity measure between the fabric images to retrieve and the images in database was computed to obtain the fabric images with similar patterns. The experimental results showed that the proposed algorithm can retrieve fabric patterns accurately.

fabric pattern; image retrieval; maximum stable extremal region; structure extraction; SURF; feature matching

10.13475/j.fzxb.20140806105

2014-08-29

2015-03-11

浙江省高校重中之重學(xué)科開(kāi)放基金項(xiàng)目(2013KF08，ZSTUMD2012B009)；浙江省信息服務(wù)業(yè)發(fā)展專項(xiàng)資金項(xiàng)目(2013085)；浙江理工大學(xué)科研啟動(dòng)基金項(xiàng)目(1203816-Y)

康鋒(1976—)，男，講師，博士。主要研究方向?yàn)橛?jì)算機(jī)圖像處理。胡潔，通信作者，E-mail: hujie.zju@163.com。

TN 919；TS 145.4

A