融合多層次特征的服裝圖像描述方法

桂 琳， 魏志強(qiáng)， 殷 波， 黃 磊(中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100)

融合多層次特征的服裝圖像描述方法

桂 琳， 魏志強(qiáng)， 殷 波， 黃 磊
(中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100)

本文針對現(xiàn)有服裝圖像特征描述方法不能較好的概括服裝特征，致使服裝圖像檢索方法檢索性能較低，或依賴文本描述的問題，提出一種融合高層次全局服裝特征和中層服裝區(qū)塊特征的特征描述方法。首先，將圖像分割成含有相對獨(dú)立語義信息的片段；再根據(jù)片段的紋理、幾何和色彩特征將其聚類為具有強(qiáng)語義信息的服裝區(qū)塊；之后提取服裝區(qū)塊的幾何分布和色彩特征，與服裝圖像的全局特征進(jìn)行融合，構(gòu)成多層次的服裝特征描述向量。采用上述特征對服裝進(jìn)行描述，并以文本描述為輸入進(jìn)行檢索實(shí)驗(yàn)，結(jié)果表明該方法能夠有效提高實(shí)現(xiàn)對服裝類別、穿著場合等信息進(jìn)行檢索。

服裝圖像檢索； 全局描述； 局部描述； 特征融合

隨著電子商務(wù)的迅猛發(fā)展，服裝的網(wǎng)絡(luò)銷售逐年提升，現(xiàn)已成為相關(guān)行業(yè)發(fā)展的重要方向。針對服裝的自動檢索也隨之成為新的研究熱點(diǎn)?，F(xiàn)有的服裝檢索方案大多依靠服裝的文本描述來實(shí)現(xiàn)，因文本標(biāo)簽主要來源于人工標(biāo)注，由于存在主觀認(rèn)識造成差異性，檢索結(jié)果往往并不理想。基于圖像內(nèi)容的檢索方式更符合人類的感知特點(diǎn)，現(xiàn)有的視覺內(nèi)容檢索方案能夠較好的針對服裝顏色進(jìn)行檢索，但對服裝的類別、材質(zhì)等信息的檢索尚不夠理想。因此大多方案仍需要部分依賴用戶提供的文本描述來縮小檢索范圍，一方面依然難以避免文本描述所帶來的問題，另一方面無法充分發(fā)揮基于視覺內(nèi)容檢索的優(yōu)勢。

服裝圖像檢索的主要難點(diǎn)在于如何合理的描述服裝的視覺特征，以符合人類的認(rèn)知。目前已有的研究成果中，服裝圖像的特征描述方法主要可以分為基于全局特征的描述方法[1-2]，基于局部特征的描述方法[3-4]和基于輔助信息的特征描述方法[5-8]。全局特征描述方法多采用顏色直方圖、邊緣輪廓特征等統(tǒng)計(jì)學(xué)特征，計(jì)算較為簡單，對服裝的外形、顏色等特征描述效果較好，但易忽略紋理等細(xì)節(jié)信息，且對服裝的擺放有一定的依賴性。局部特征描述方法關(guān)注服裝的細(xì)節(jié)特征，通過Gabor濾波、Radon變換等方法提取服裝的局部特征，能夠較好的描述服裝的花色、褶皺和紡織特性等細(xì)節(jié)特征，但不能概括服裝外形等整體特征?；谳o助信息的特征描述方法融合了全局和局部特征，并用人體結(jié)構(gòu)、深度信息等作為輔助，能夠融合更多的語義信息，達(dá)到較好的描述效果，但對輸入數(shù)據(jù)具有較為嚴(yán)格的要求：需要從多個角度拍攝的同一服裝的圖像；或僅限于某一類特定服裝，如正裝。對于服裝圖像檢索來說，此類描述方法缺乏普遍適用性。

針對上述問題，本文根據(jù)人類對服裝的認(rèn)知特點(diǎn)，提出一種綜合服裝局部區(qū)塊特征描述和全局特征描述的檢索方法。采用基于圖的分割方法，將服裝圖像劃分為視覺上能夠顯著區(qū)分的圖像片段；對每個片段提取紋理、形狀、位置等特征，有效的描述該片段在整幅圖像中的地位；再通過聚類方法將服裝圖像片段整合為具有豐富語義信息的區(qū)塊；對每個區(qū)塊提取整體概括能力強(qiáng)的主要顏色特征、幾何分布特征和紋理特征。同時對服裝整體提取主要顏色特征和輪廓特征作為全局特征。采用區(qū)塊特征和全局特征兩者融合組成服裝圖像描述，實(shí)現(xiàn)了采用主要視覺特點(diǎn)結(jié)合中等層次細(xì)節(jié)的服裝描述方式，從而獲得了較好的檢索效果。

1 方法概述

1.1 視覺認(rèn)識過程

根據(jù)格式塔心理學(xué)原理，人類認(rèn)識事物的過程是從整體到局部的。認(rèn)識過程中，人類視覺將對象整體分割成多種要素，從中提取有意義的信息，依此進(jìn)行審美和鑒別[9]。相應(yīng)的，人類對服裝的認(rèn)識中，同樣是先對整體產(chǎn)生本能反應(yīng)，再對各部分細(xì)節(jié)進(jìn)行審視。采用視覺特征來描述這一過程：層次最高的整體(全局)特征首先對人眼產(chǎn)生刺激，如輪廓外形和主要顏色特征；此后，人眼才會對含有設(shè)計(jì)元素的中等層次的特征進(jìn)行細(xì)致的觀察，如衣領(lǐng)、口袋、袖口、腰帶、花紋、文字、大褶皺等。

如圖1所示，人類視覺能夠根據(jù)經(jīng)驗(yàn)?zāi)軌蛲ㄟ^全局特征分辨服裝的大致分類；根據(jù)中等層次的特征對服裝進(jìn)行進(jìn)一步的鑒別：如判斷服裝的款式風(fēng)格，依此推斷服裝所適應(yīng)的場合、季節(jié)等。在圖像精度足夠高的情況下，人類視覺能夠進(jìn)一步通過服裝紡織紋理和細(xì)小褶皺等中等層次特征判斷服裝的材質(zhì)。在人的認(rèn)識過程當(dāng)中，每當(dāng)獲取更低層次的特征，便能夠提取相應(yīng)層次的語義信息，并對上一層級的信息進(jìn)行補(bǔ)充和修正。在圖像精度不足的情況下，人眼也能夠根據(jù)高層次特征和經(jīng)驗(yàn)對較低層次信息進(jìn)行推斷。

1.2 方法流程

以電子商務(wù)系統(tǒng)中的商品圖片為代表，常見的服裝圖像通常達(dá)不到高清分辨率，不足以包含服裝的低層次的細(xì)節(jié)特征，但能較好的體現(xiàn)服裝的整體和中等層次特征。因此本文主要針對電子商務(wù)中的服裝圖像檢索問題，以服裝的全局和中等層次特征為研究重點(diǎn)，根據(jù)人類的認(rèn)知規(guī)律，提出高層次的全局特征和中等層次的服裝區(qū)塊特征融合的描述方法，方法流程圖如圖2所示。其中區(qū)塊特征來源于對服裝分割片段聚類的特征提取，在此區(qū)塊特征的基礎(chǔ)上結(jié)合服裝圖像全局特征，能夠更好的涵蓋服裝圖像中的語義信息，作為服裝外形類別和場合等信息的檢索依據(jù)，取得較好的效果。

2 本文方法

2.1 服裝圖像分割和前景提取

基于圖像內(nèi)容分割的描述思路符合人類視覺從局部到整體的認(rèn)知特點(diǎn)。在圖像分割階段，本文采用了基于圖的分割方法，將圖像劃分為若干在視覺上能明顯區(qū)分的局部區(qū)域?；趫D的分割方法將圖像像素投射到(x,y,r,g,b)特征空間，將空間距離作為判斷相似性的依據(jù)，并采用KNN方法將相似像素劃分為同一分割區(qū)域[10]。其優(yōu)勢在于能夠在按照較大粒度紋理分割的同時，較好的保留同一區(qū)域當(dāng)中的細(xì)節(jié)，符合人類視覺對對象局部的認(rèn)知特點(diǎn)。同時與J-Seg等基于識別的方法和基于Gabor濾波的方法相比較，基于圖的分割方法更易實(shí)現(xiàn)，計(jì)算過程較為簡單，能較快的得到較好的分割效果。

為提高方法效率，在對服裝圖像進(jìn)行特征描述之前，本文先進(jìn)行了前景提取，以去除圖像中的非服裝部分。因電子商務(wù)中服裝圖像背景大多較單一，本文首先將分割后與圖像邊緣相接的片段作為背景去除。之后對所有分割所得的片段，依次判斷其與其他片段的鄰接性，并將所有鄰接片段合并，最終保留面積最大的合并片段作為前景，即服裝部分。

2.2 服裝片段特征提取

經(jīng)過圖像分割和背景去除，得到已經(jīng)被分成若干片段的服裝圖像。因?yàn)椴捎昧嘶趫D的分割方法，這些局部片段內(nèi)部屬性較為統(tǒng)一，但和服裝其他區(qū)域的差異較大，本文將其稱為服裝片段。服裝片段大多具有豐富的語義信息，如衣領(lǐng)、紐扣、袖口、腰帶、文字、大的褶皺等。由于分割參數(shù)設(shè)置并非適用圖像的所有局部，以及基于圖的分割方法的邊緣效應(yīng)，也存在部分過度細(xì)分的無意義圖像碎塊。為了排除無意義分塊的干擾，集中獲取片段的語義信息，本文根據(jù)片段的褶皺、色彩和幾何信息，提取了服裝片段特征，并采用聚類方法將同類服裝片段整合為大的服裝區(qū)塊，從中去除無意義塊，并用最具語義信息的區(qū)塊特征對服裝進(jìn)行描述。

2.2.1 服裝片段褶皺和紋理特征 根據(jù)基于圖的分割方法的特點(diǎn)，分割所得的服裝片段中包含了細(xì)節(jié)信息，其中既有褶皺也有紋理，二者的分布能夠直接反映服裝的花色材質(zhì)等屬性，對判斷服裝的分類等具有重要意義。對此本文引入Canny算子來檢測圖像中的邊緣線條。在灰度圖中，服裝圖像的紋理邊緣和褶皺處往往呈現(xiàn)亮度突變，而Canny算子通過求取局部梯度最大值來獲取圖像中的邊緣[11]，因此能夠?qū)y理邊緣和褶皺都保持敏感，且計(jì)算效率較高。本文先對Canny邊緣圖像進(jìn)行一次膨脹腐蝕操作，再對每一個Canny邊緣像素檢測其是否與片段邊緣近似重合，如果近似重合，則該邊緣像素記為邊緣；反之則根據(jù)該Canny邊緣兩側(cè)的色度差判斷其顏色相似程度，若顏色不相似則將該邊緣記為紋理邊緣，否則記為褶皺。最終獲得的所有褶皺邊緣像素?cái)?shù)與片段總像素?cái)?shù)的比值Vwrinkle，和紋理邊緣像素?cái)?shù)與片段像素?cái)?shù)的比值Vtexture分別作為該片段的褶皺和紋理特征。

2.2.2 服裝片段幾何特征 服裝片段的幾何特征包括其位置、面積和形狀特征。片段位置能夠反映服裝片段對服裝圖像整體的重要程度。本文采用服裝片段中心對服裝圖像整體的相對位置(xr，yr)來定義片段的位置特征。

xr=(xs-xcmin)/xcmax-xcmin，

(1)

yr=(ys-ycmin)/ycmax-ycmin，

(2)

其中：服裝片段位置特征值(xr，yr)定義為片段中心的相對位置；(xs，ys)，(xcmin，ycmin)和(xcmax，ycmax)分別代表服裝包圍盒的中心點(diǎn)、左上角和右下角坐標(biāo)；服裝片段的面積特征ar反映片段對服裝整體的重要程度，定義為片段面積和服裝整體面積的比值。

服裝片段的形狀特征對片段分類具有重要作用，但服裝圖像中的同類片段大多呈現(xiàn)類似的形狀，向不同方向或?qū)ΨQ排列，其形狀特征難以精確匹配，且需排除方向因素造成的影響，本文提取圖像片段最為顯著的形狀特征作為描述子。服裝片段的形狀特征定義為dn的均值μd和δd方差。如公式(3)所示。其中，(xn,yn)為片段邊緣第n點(diǎn)的像素坐標(biāo)，ws和hs分別為片段包圍盒的寬和高。

(3)

2.2.3 服裝片段色彩特征 因服裝顏色設(shè)計(jì)特點(diǎn)，幾何上不相鄰，但類別相近的片段在顏色特征上也存在一致性，因此片段的色彩特征是其分類的主要依據(jù)。因服裝片段數(shù)量較多，單個片段像素?cái)?shù)較少，色彩較為單一，本文分別統(tǒng)計(jì)H、S、V三通道的均值和方差，進(jìn)行歸一化后作為服裝片段的色彩特征，以提高之后的聚類步驟的計(jì)算效率。

2.3 服裝局部區(qū)塊特征提取

服裝區(qū)塊從服裝片段聚類得到。將2.2節(jié)中片段的紋理褶皺、幾何和色彩三類特征組合，得到13維的特征向量。采用k-means方法對所有服裝片段進(jìn)行聚類。結(jié)果中的每一類由紋理褶皺分布相似、大小形狀類似、位置相近或?qū)ΨQ以及顏色相近的服裝片段組成。將同類服裝片段合并成同一區(qū)域后，這些具有統(tǒng)一屬性的圖像區(qū)域稱為服裝區(qū)塊。每個服裝區(qū)塊都聚集了服裝上某一類別的視覺要素，形成了含有較強(qiáng)局部語義信息的服裝組成部分，如同色的花紋、衣領(lǐng)、紐扣、裝飾色塊等，如圖3所示。此外，一些無意義的分割片段也會組成區(qū)塊，這些區(qū)塊的產(chǎn)生一方面是由于基于圖的分割方法特性，在服裝圖像邊緣所產(chǎn)生的偽像，如所示；另一方面是由于統(tǒng)一分割參數(shù)難以對圖像的每個局部區(qū)域都產(chǎn)生最佳結(jié)果，因此易在陰影和邊緣等處出現(xiàn)部分過度細(xì)分的分割。前者將對服裝圖像的特征提取產(chǎn)生干擾，因此本文首先將面積小于閾值，且位于服裝圖像邊緣的分割區(qū)域排除，不提取其區(qū)塊特征。在后續(xù)算法中將后者與其他服裝區(qū)塊進(jìn)行合并。

考慮到服裝各部分的結(jié)構(gòu)特點(diǎn)，各個服裝區(qū)塊所包含的服裝語義信息重要性不同，本文提取服裝中幾個主要區(qū)塊的特征，作為服裝的整體特征描述：

1.面積最大的區(qū)塊；

2.剩余區(qū)塊中含有最小縱坐標(biāo)的區(qū)塊；

3.剩余區(qū)塊中主要分布在服裝中部的區(qū)塊；

4.所有剩余區(qū)塊。

以上服裝區(qū)塊涵蓋了服裝的主體和含有主要語義信息的區(qū)域。對這些服裝區(qū)塊，本文選取人眼最為關(guān)注的幾何分布特征和色彩特征作為區(qū)塊的特征描述。幾何分布特征概括服裝區(qū)塊在服裝整體中所覆蓋的區(qū)域，采用X、Y軸上的像素分布直方圖作為描述子。色彩特征方面，只要選取幾種主要的顏色就足以表達(dá)服裝區(qū)塊的主要顏色，因此本文采用了主顏色描述算子[12]來表示其色彩特征。主顏色描述算子的提取步驟如下：

(1)將服裝圖像從RGB彩色空間轉(zhuǎn)換到HSV色彩空間，以符合人類的視覺感知；

(2)按照H通道32維，S通道和V通道16維統(tǒng)計(jì)區(qū)塊的HSV色彩直方圖；

(3)選取其中占百分比最大的N種顏色為主顏色。

(從左至右依此為原圖像數(shù)據(jù)；采用基于圖的分割后的圖像；Canny邊緣；聚類后的區(qū)塊劃分。Left to right: Original images; Segmentation; Canny edges; Clustered areas.)

圖4 區(qū)域特征提取過程示例
Fig.4 Abstruction of features for local areas

區(qū)塊的顏色特征向量由顏色向量和對應(yīng)的百分比組成：Vc={{ci,pi},i=1,…,N,pi∈[0,1]}，其中ci，表示顏色，pi為對應(yīng)的百分比。

2.4 服裝全局特征描述

對于高層次的服裝整體特征，最為直觀的是色彩特征和服裝的外形輪廓特征，因此本文采用主顏色描述算子和主方向梯度描述算子作為全局特征描述子。主顏色描述算子的定義與2.3節(jié)相同。對于輪廓特征，本文采用主方向梯度描述算子，提取步驟如下：(1)將去除背景的服裝圖像轉(zhuǎn)換為灰度圖，并進(jìn)行歸一化；

(2)對歸一化的圖像計(jì)算方向梯度直方圖；

(3)對方向梯度直方圖的每一個block，選取其中占百分比最大的M個方向作為其主方向。

服裝圖像的外形輪廓特征由每個區(qū)塊的主方向和對應(yīng)的百分比組成：Vg={Vgj，j=1，…，K}，Vgj={{gi，pi}，i=1，…，M，gi∈[0,1]}，其中K表示方向梯度直方圖中的block個數(shù)，gi表示顏色，pi為對應(yīng)的百分比。

通過融合上述服裝的高層次全局特征和中等層次區(qū)塊特征，構(gòu)成了服裝的多層次的描述方案。最終得到704維的服裝特征描述向量，其中共有4組區(qū)塊特征和一組全局特征，每組區(qū)塊特征包含64維的X、Y方向像素分布直方圖，64維的主要色彩特征；全局特征包含64維的主要色彩特征，和128維的輪廓特征。

3 實(shí)驗(yàn)和分析

3.1 數(shù)據(jù)集

為了驗(yàn)證本文服裝描述方案的檢索效果，本實(shí)驗(yàn)構(gòu)建了一個服裝圖片數(shù)據(jù)集。數(shù)據(jù)集中共有530張服裝圖像，其中312張來自搜索引擎和電子商務(wù)網(wǎng)站；218張來源于研究人員拍攝的日常服裝照片。數(shù)據(jù)集圖像按照服裝樣式可以分為九類，按照穿著場合可以分為五類，按照服裝材質(zhì)可以分為五類。各個類別所包含的圖像數(shù)見表1和表2。考慮到真實(shí)生活場景中，各類服裝的常見程度不同，其中節(jié)慶、嚴(yán)肅場合分類的服裝，和皮革材質(zhì)分類的服裝占數(shù)量較少。

3.2 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)在64位Windows 7操作系統(tǒng)，Core i7-4510U，8G內(nèi)存環(huán)境下進(jìn)行，算法采用C++和Matlab混合編程實(shí)現(xiàn)。實(shí)驗(yàn)采用分類、場合和材質(zhì)文本描述詞作為輸入，并以相應(yīng)的召回率作為比較依據(jù)。因?yàn)閰^(qū)塊特征對服裝信息檢索至關(guān)重要，本文對僅用全局特征描述和全局特征與區(qū)塊特征融合兩種描述方法進(jìn)行了對比，對服裝樣式、穿著場合和材質(zhì)的召回率分別見表3、表4、表5。圖5展示了部分檢索結(jié)果。

從表3中的結(jié)果來看，本文的檢索方法對于服裝的樣式類別檢索正確率較高，局部區(qū)塊信息對提高檢索正確率有較為明顯的作用，在襯衣、T恤、短外套等具有較為明顯的局部語義特征的服裝類別上，提升效果更為明顯，正確率分別提高3.62%、5.44%和4.28。在樣式變化較為復(fù)雜的大衣等類別上檢索正確率還有待提升。但局部區(qū)塊特征對于服裝場合分類的檢索正確率提升顯著，可見局部區(qū)塊特征較好的概括了服裝的中等層次特征。通過實(shí)驗(yàn)結(jié)果還可以看出，對服裝的材質(zhì)檢索效果不太理想，通過分析發(fā)現(xiàn)，該問題主要是服裝圖像分辨率較低，圖像細(xì)節(jié)不足以體現(xiàn)服裝的材質(zhì)信息所導(dǎo)致的。

此外，實(shí)驗(yàn)中基于圖的分割方法與Canny邊緣檢測算法的參數(shù)選擇對檢索結(jié)果有較大影響。圖像分割過程中，若分割片段數(shù)量過多尺寸過小，則片段不能包含足夠的語義信息；反之如果片段過大，則不利于提取含有相對完整信息的部分。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，每幅服裝圖像的最佳片段數(shù)量在80到300之間。類似的，對于邊緣檢測方法，邊緣線條太多將混入過多的錯誤像素點(diǎn)，邊緣線條太少則不足以提取片段褶皺和紋理信息的特征。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，圖像邊緣像素?cái)?shù)在服裝區(qū)域像素?cái)?shù)的3%到5%時取得最佳結(jié)果。

4 結(jié)論和展望

本文基于人類視覺認(rèn)識事物由整體到局部的特點(diǎn)，依此提出了一種融合高層次的全局特征和中等層次的局部區(qū)塊特征的服裝特征描述方法，以此對服裝信息進(jìn)行檢索。實(shí)驗(yàn)證明，本文的方法能夠有效的提取服裝的高層次和中等層次的語義特征，對服裝樣式類別的檢索正確率較高，區(qū)塊特征對服裝適用場合的信息檢索有明顯效果。算法以常見服裝商品圖像作為輸入，對圖像分辨率和拍攝背景要求低，能夠較好的滿足實(shí)際電子商務(wù)中自動檢索的應(yīng)用要求，具有較好的實(shí)用價值。

雖然方法整體效果較好，但對于部分較為極端的服裝圖像依然存在缺陷，在今后的研究中，將著重改進(jìn)紋理等特征的提取方法、提高對光照和陰影的魯棒性，進(jìn)一步提高算法準(zhǔn)確度。同時，由于電子商務(wù)場景中服裝圖像多呈現(xiàn)為正面，因此本文工作主要針對服裝正面圖像開展了研究，在非正面服裝圖像的情況下，如何實(shí)現(xiàn)高性能的服裝圖像檢索，進(jìn)一步提高方法的普適性，也將是未來研究的重點(diǎn)。

[1] Tsay I I, Lin C H, Lai T Y. Visual Clothing Search by Shape and Style[J]. Information Technology Journal， 2014, 13(6)： 1001-1013.

[2] Tseng C H, Hung S S, Tsay J J, et al. An efficient garment visual search based on shape context[J]. WSEAS transactions on Computers， 2009, 8(7)： 1195-1204.

[3] Yang X, Yuan S, Tian Y L. Assistive Clothing Pattern Recognition for Visually Impaired People[J]. IEEE Transactions on Human-Machine Systems， 2014, 44(2)： 234-243.

[4] Yamazaki K, Inaba M. Clothing classification using image features derived from clothing fabrics, wrinkles and cloth overlaps[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo： IEEE， 2013: 2710-2717.

[5] Willimon B, Walker I, Birchfield S. A new approach to clothing classification using mid-level layers[C]. IEEE International Conference onRobotics and Automation. Karisruhe： IEEE， 2013: 4271-4278.

[6] Willimon B, Birchfield S, Walker I. Classification of clothing using interactive perception[C]. IEEE International Conference on Robotics and Automation.Shanghai： IEEE， 2011: 1862-1868.

[7] Yan C C, Huang L, Wei Z, Nie J, Chen B, Zhang Y. Finding suits in images of people in unconstrained environments[J]. Journal of Visual Communication and Image Representation， 2014, 25(7)： 1588-1594.

[8] El Khoury E, Senac C, Joly P. Face-and-clothing based people clustering in video content[C]. International Conference on Multimedia Information Retrieval. Philadelphia： ACM， 2010: 295-304.

[9] 龍冠芳. 試論服裝視覺中心[D]. 上海： 東華大學(xué)， 2012. Long G, The research of garment visual center[D]. Shanghai： Donghua University， 2012.

[10] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision， 2004, 59(2)： 167-181.

[11] Canny J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986 (6)： 679-698.

[12] Lantagne M, Parizeau M, Bergevin R. VIP: Vision Tool for Comparing Images of People[C]. IEEE International Conference on Vision Interface. Halifax： IEEE， 2003: 1-8.

責(zé)任編輯 陳呈超

A Retrieval Method for Clothing Images Combining Features of Multiple Layers

GUI Lin, WEI Zhi-Qiang, YIN Bo, HUANG Lei

(College of Information Science and Engineering, Ocean University of Chia, Qingdao 266100, China)

Clothes retrieval methods based on text description (tags) are not satisfying in effectivenessandaccuracymainly because the tags are derived from subjective human description and the cognitive differences are unavoidable. Thus vision features based descriptions are introduced for better retrieval results. Current description methods, mostly using clothes images with single-layer (high or low) features, either fail to describe clothes effectively in retrieval application, or require text tags to narrow down the retrieval range.For the latter situation, tags still bring in the inaccuracy caused by text description. To omit the affect by text and improve the retrieval, a novel method combining high-layer global features and mid-layer blocks’ features is promoted to realize retrieval only by images. The method is based on the global-to-local process human cognition. To obtain the global description of the clothes image in high-layer, the improved histograms of primary color and primary oriented gradients are used to describe the color and geometry of the clothes. To obtain the mid-layer semantic description, local features in low-level are abstracted and combined. Firstly, a clothing image is segmented into visually distinguished pieces with graph-based segmentation, hence each piece holding simplex semantic information different from its background. To describe the piece semantically, improved methods are used to generate the feature vector from the texture, geometry and color features.Secondly,a cluster method is adopted to combine the semantic pieces into blocks based on their visual characteristics. As the converging of the homogeneous semantic pieces, the combined blocks hold enriched semantic information of part of the clothes, containing shape, style, material and so on. The geometric distribution and color features of the blocks are abstracted to describe the block and these features are finally combined with the above-mentioned global features into the feature vector of the image, which is introduced into the retrieval for clothes. In experiment, text descriptions are used as input for the retrieval process, and the results show efficiency in retrieval of three different aspects, and especially high accuracy on search with classification and occasion, which prove the effectiveness and universality of our method.

clothing image retrieval; global descriptor; local descriptor; combined features

國家自然科學(xué)基金項(xiàng)目(61402428)資助 Supported by the National Nature Science Foundation of China(61402428)

2014-11-12；

2015-12-11

桂 琳(1986-)，女，博士生。E-mail:gui_azure@163.com

TP37

A

1672-5174(2017)06-146-07

10.16441/j.cnki.hdxb.20140409

桂琳， 魏志強(qiáng)， 殷波， 等. 融合多層次特征的服裝圖像描述方法[J]. 中國海洋大學(xué)學(xué)報(自然科學(xué)版), 2017, 47(6)： 146-152.

GUI Lin, WEI Zhi-Qiang, YIN Bo, et al. A retrieval method for clothing images combining features of multiple layers[J]. Periodical of Ocean University of China, 2017, 47(6)： 146-152.