基于度量學(xué)習(xí)的服裝圖像分類和檢索

包青平 孫志鋒

(浙江大學(xué)電氣工程學(xué)院 浙江 杭州 310058)

基于度量學(xué)習(xí)的服裝圖像分類和檢索

包青平 孫志鋒

(浙江大學(xué)電氣工程學(xué)院 浙江 杭州 310058)

在服裝圖像分類和檢索問(wèn)題上，由于服裝花紋樣式的多樣性和圖像中不同環(huán)境背景的影響，普通卷積神經(jīng)網(wǎng)絡(luò)的辨識(shí)能力有限。針對(duì)這種情況，提出一種基于度量學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)方法，其中度量學(xué)習(xí)基于triplet loss實(shí)現(xiàn)，由此該網(wǎng)絡(luò)有參考樣本、正樣本和負(fù)樣本共三個(gè)輸入。通過(guò)度量學(xué)習(xí)可以減小同類別特征間距，增大不同類別特征間距，從而達(dá)到細(xì)分類的目的。此外把不同背景環(huán)境下的圖像作為正樣本輸入訓(xùn)練網(wǎng)絡(luò)以提高抗干擾能力。在服裝檢索問(wèn)題上，提出融合卷積層特征和全連接層特征的精細(xì)檢索方法。實(shí)驗(yàn)結(jié)果表明，度量學(xué)習(xí)的引入可以增強(qiáng)網(wǎng)絡(luò)的特征提取能力，提高分類準(zhǔn)確性，而基于融合特征的檢索可以保證結(jié)果的精確性。

服裝 分類 檢索 多標(biāo)簽 度量學(xué)習(xí)

0 引 言

近年來(lái)，網(wǎng)上購(gòu)物越來(lái)越流行，網(wǎng)購(gòu)交易量也逐年增加，而服裝網(wǎng)絡(luò)零售是其中第一大類目，占比約25%。服裝電子商務(wù)的快速發(fā)展，促進(jìn)了服裝圖像分類、檢索技術(shù)的進(jìn)步。目前在國(guó)內(nèi)各大電商購(gòu)物平臺(tái)，比如淘寶、京東等，主要是通過(guò)關(guān)鍵字或文本來(lái)檢索圖像。該技術(shù)要求事先對(duì)服裝圖像進(jìn)行細(xì)分類并打上相應(yīng)的標(biāo)簽。但是隨著服裝圖像數(shù)量的爆發(fā)式增長(zhǎng)，其缺點(diǎn)越來(lái)越顯著。首先，關(guān)鍵字只能描述易于提取的語(yǔ)義特征，并不能全面地反映服裝的特征；其次，人工標(biāo)注工作量大且主觀性誤差[1]。隨著圖像處理技術(shù)的發(fā)展，出現(xiàn)了以圖搜圖技術(shù)，即通過(guò)對(duì)圖像特征的提取，獲得特征表示，然后進(jìn)行相似性度量或聚類，從而獲得檢索和分類結(jié)果。而基于圖像處理技術(shù)的服裝圖像檢索和商品推薦也獲得了越來(lái)越多的關(guān)注[2-4]。

傳統(tǒng)圖像特征描述方法包括GIST特征[5]、SIFT特征[6]、HOG特征[7]等。在背景、光照等的影響下，應(yīng)用這些方法在服裝圖像分類和檢索中往往準(zhǔn)確率不高或者方法過(guò)于復(fù)雜。Bossard等[8]融合HOG、SURF、LBP特征，采用遷移森林進(jìn)行服裝圖像多類別分類，只取得41.36%的準(zhǔn)確率。Liu等[3]使用人體部位檢測(cè)器檢測(cè)圖像中人物主體的關(guān)鍵區(qū)域，如肩、膝蓋等部位，然后提取和融合這些區(qū)域的HOG、LBP、顏色矩、顏色直方圖等特征，以此進(jìn)行圖像檢索。

近年來(lái)，深度學(xué)習(xí)取得了突破性的進(jìn)展，其中卷積神經(jīng)網(wǎng)絡(luò)CNN(convolutional neural network)已成為圖像領(lǐng)域的研究熱點(diǎn)。Krizhevsky等[9]提出的深層CNN模型在ILSVRC2012中取得了巨大的突破，并引發(fā)了CNN研究的熱潮。本文深入分析了使用CNN進(jìn)行服裝圖像的多標(biāo)簽細(xì)分類和檢索，并引入基于triplet loss[10-11]的度量學(xué)習(xí)以提高網(wǎng)絡(luò)特征提取能力，從而提高分類準(zhǔn)確度，之后融合該網(wǎng)絡(luò)卷積層和全連接層的特征輸出進(jìn)行圖像檢索。

1 卷積神經(jīng)網(wǎng)絡(luò)

CNN是為識(shí)別二維形狀而設(shè)計(jì)的一種多層感知器，是深度神經(jīng)網(wǎng)絡(luò)的一種。CNN通常由多個(gè)卷積層、池化層和全連接層組成。

卷積層通常用于提取圖像的局部特征，如邊緣信息等。卷積層中采用了權(quán)值共享，從而大大減少了權(quán)值的數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度。卷積層的輸入為：

z(l+1)=w(l)x(l)+b(l)

(1)

輸出為：

x(l+1)=f(z(l))

(2)

式(1)中w(l)為第1層的卷積核，b(l)為偏置，式(2)中f(·)為激活函數(shù)，目前普遍使用的激活函數(shù)是ReLU函數(shù)[12]，使用該激活函數(shù)主要是能避免梯度消失問(wèn)題。

池化層仿照人的視覺(jué)系統(tǒng)進(jìn)行降維(下采樣)，抽象圖像特征表示，使得CNN具有一定的平移和旋轉(zhuǎn)不變性。根據(jù)下采樣方式的不同，可以分為均值池化、最大值池化、隨機(jī)池化三種[13]，在分類任務(wù)中采用較多的是最大值池化。

全連接層通常用于輸出，根據(jù)不同的目標(biāo)函數(shù)連接相應(yīng)的損失層，比如分類任務(wù)中，通常會(huì)連接Softmax分類器。

2 服裝圖像分類

在使用CNN進(jìn)行圖像分類時(shí)，一般包括圖片預(yù)處理、網(wǎng)絡(luò)訓(xùn)練和訓(xùn)練參數(shù)調(diào)優(yōu)等步驟，其總體流程如圖1所示。其中預(yù)處理主要是把圖像變化為符合CNN輸入需求的標(biāo)準(zhǔn)圖像。在誤差反向傳播過(guò)程中，通常使用隨機(jī)梯度下降法SGD(stochasticgradientdescent)進(jìn)行參數(shù)更新。通過(guò)多次的前向和反向傳播，不斷地更新卷積層、全連接層等的參數(shù)，使得網(wǎng)絡(luò)逐步逼近最優(yōu)解。

圖1 CNN網(wǎng)絡(luò)訓(xùn)練流程

2.1 多標(biāo)簽分類

常見(jiàn)的CNN網(wǎng)絡(luò)通常用于單標(biāo)簽分類，而我們所要處理的服裝圖像通常有多個(gè)語(yǔ)義屬性，比如花紋、領(lǐng)型等，單標(biāo)簽學(xué)習(xí)并不適用，因此需要采用多標(biāo)簽[14]或多任務(wù)學(xué)習(xí)[15]。本文采用了多標(biāo)簽學(xué)習(xí)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。輸入圖像大小為256×256，提取該圖像227×227的子塊或其鏡像作為CNN的輸入。網(wǎng)絡(luò)淺層為3個(gè)卷積模塊(包括卷積層和池化層)，結(jié)構(gòu)和AlexNet[9]中的定義一致。由于各個(gè)屬性標(biāo)簽之間沒(méi)有明顯的相關(guān)關(guān)系，因此全連接層FC2層由多個(gè)獨(dú)立的、平行的子層組成，各子層連接相關(guān)屬性的Softmax分類器，所有的FC2子層共享FC1的輸出。

圖2 多標(biāo)簽學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 度量學(xué)習(xí)

(3)

其中T是所有三元組的集合，α為閾值參數(shù)。從而損失函數(shù)tripletloss可表達(dá)為：

(4)

進(jìn)一步可以得到損失函數(shù)的偏導(dǎo)數(shù)如下：

(5)

(6)

(7)

從tripletloss的定義可以發(fā)現(xiàn)，該損失函數(shù)除了可以增大不同類別間的距離之外，還減小了同類間的距離，因此可以提取更精細(xì)的特征。

在本文的服裝圖像分類和檢索問(wèn)題中，環(huán)境背景、光照等因素往往會(huì)影響卷積神經(jīng)網(wǎng)絡(luò)的效果，因此可以選擇不同場(chǎng)景下同類別的圖像作為正樣本輸入進(jìn)行訓(xùn)練，這樣可以增強(qiáng)網(wǎng)絡(luò)的特征提取能力。本文最終使用的CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，由于有3個(gè)輸入圖像，因此有3個(gè)平行的共享參數(shù)的CNN網(wǎng)絡(luò)。這3個(gè)CNN網(wǎng)絡(luò)的FC1的輸出，經(jīng)過(guò)L2規(guī)范化后輸入tripletloss層。因此網(wǎng)絡(luò)總的損失函數(shù)為：

L=ωLtriple+(1-ω)Lsoftmax

(8)

參數(shù)ω表示tripletloss所占比重。

圖3 加入triplet loss的CNN網(wǎng)絡(luò)

3 服裝圖像檢索

通常訓(xùn)練好的CNN網(wǎng)絡(luò)具備良好的特征提取能力，因此可以使用CNN的分類預(yù)測(cè)結(jié)果和隱含層的特征向量進(jìn)行圖像檢索，檢索流程如圖4所示。在神經(jīng)網(wǎng)絡(luò)中，深層特征往往代表圖像總體的、抽象的特征，而淺層特征則更多地代表具體的局部特征。因此選擇不同的隱含層輸出作為特征向量進(jìn)行檢索可能會(huì)得到不同的結(jié)果。

圖4 使用CNN進(jìn)行圖像檢索的流程

在服裝圖像檢索時(shí)，以往通常根據(jù)服裝語(yǔ)義屬性進(jìn)行快速檢索[18]，但是語(yǔ)義屬性往往是抽象屬性，并不能描述一些細(xì)致的特征，因此若能同時(shí)考慮圖像細(xì)致特征，則可以提高檢索的精確度。本文采取融合卷積層Conv3和全連接層FC1的輸出作為特征向量進(jìn)行檢索，其中Conv3的輸出是13×13×384=64 896維，F(xiàn)C1的輸出是4 096維，融合后是68 992維，之后進(jìn)行降維處理用于檢索。

4 實(shí)驗(yàn)和分析

4.1 數(shù)據(jù)集

實(shí)驗(yàn)所用的服裝圖像均采集自互聯(lián)網(wǎng)，總共28 057張，其中22 057張用于訓(xùn)練，剩下6 000張用于檢測(cè)。數(shù)據(jù)集中，大約80%采集自淘寶、亞馬遜等購(gòu)物網(wǎng)站，這些圖像沒(méi)有復(fù)雜的背景，人物主體突出；其余20%圖像來(lái)自社交網(wǎng)絡(luò)，會(huì)有不同的背景和光照條件。本文主要對(duì)服裝的5類語(yǔ)義屬性進(jìn)行分析，如表1所示，其中上身服裝的主要屬性有圖案、袖子長(zhǎng)短、領(lǐng)口形狀，下身服裝屬性有形狀和長(zhǎng)短。

表1 服裝的語(yǔ)義屬性

4.2 服裝圖像分類

在使用tripletloss的網(wǎng)絡(luò)中，如何選擇三元組樣本關(guān)系到網(wǎng)絡(luò)的整體性能。若訓(xùn)練集大小為n，則所有可能的三元組選擇為n3種。如果隨機(jī)選取的話，則可能大部分選中的三元樣本的損失函數(shù)值為0，從而在后向傳播中對(duì)參數(shù)的更新起的作用很小[19]，因此要盡可能選取對(duì)tripletloss有貢獻(xiàn)的樣本。本文中采取了如下方法：每迭代5 000次，重新采樣生成三元組的方法。采樣時(shí)，首先使用當(dāng)前的網(wǎng)絡(luò)獲取每張圖像的特征表達(dá)；對(duì)于某張參考圖像，根據(jù)式(9)計(jì)算概率來(lái)選取3張同類別的正樣本圖像，從式子的定義可以發(fā)現(xiàn)特征間距越大的同類圖像越容易被選中。采取隨機(jī)選擇而不是直接選擇特征間距最大的，是因?yàn)檫@樣可以減少可能存在的噪聲樣本所帶來(lái)的影響。此外還需保證正樣本中有來(lái)自于不用的環(huán)境場(chǎng)景的圖像。對(duì)于負(fù)樣本的選取，簡(jiǎn)單地選擇不屬于本類的特征距離最近的3張圖像。

(9)

其中Pi,j表示對(duì)于第i張圖像，選中同類別的第j張圖像作為正樣本的概率，αi,j表示第i、j兩張圖像特征向量的歐氏距離。

在訓(xùn)練過(guò)程中，學(xué)習(xí)速率的初始值設(shè)為0.01，每經(jīng)過(guò)10 000次迭代將學(xué)習(xí)速率減小為原來(lái)的1/10，動(dòng)量設(shè)置為0.9，權(quán)重衰減系數(shù)設(shè)置為0.000 2。在引入tripletloss進(jìn)行訓(xùn)練時(shí)，設(shè)置式(3)中的閾值參數(shù)α設(shè)置為0.8，式(8)中的參數(shù)ω設(shè)置為0.3，訓(xùn)練總共迭代20 000次。圖5對(duì)比了兩種網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練過(guò)程，其中ML-CNN表示多標(biāo)簽網(wǎng)絡(luò)，tML-CNN表示加入了tripletloss的多標(biāo)簽網(wǎng)絡(luò)。從圖中可以發(fā)現(xiàn)ML-CNN收斂速度比tML-CNN的快，迭代6 000次后已經(jīng)收斂。另外，由于在tML-CNN訓(xùn)練過(guò)程中要重新采樣生成三元組，因此tripletloss在其后期迭代中起主要作用。從測(cè)試準(zhǔn)確率中也可看出，前5次測(cè)試時(shí)ML-CNN和tML-CNN的準(zhǔn)確率相當(dāng)，之后ML-CNN的測(cè)試準(zhǔn)確率基本保持穩(wěn)定，而tML-CNN的測(cè)試準(zhǔn)確率緩慢上升直至穩(wěn)定。

圖5 網(wǎng)絡(luò)訓(xùn)練過(guò)程

表2為各語(yǔ)義屬性的最終分類結(jié)果，從表中可以發(fā)現(xiàn)多標(biāo)簽網(wǎng)絡(luò)由于要同時(shí)識(shí)別多個(gè)屬性，準(zhǔn)確性往往比單標(biāo)簽的要低，而加入tripletloss之后可以提高多標(biāo)簽網(wǎng)絡(luò)的分類準(zhǔn)確性，對(duì)各個(gè)屬性的分類準(zhǔn)確性均有4%左右的提升。

表2 服裝屬性分類結(jié)果

4.3 服裝圖像檢索

我們構(gòu)建了一個(gè)含15 000張圖像的服裝圖像數(shù)據(jù)庫(kù)，每張圖像都標(biāo)注了語(yǔ)義屬性，然后把每張圖像輸入到訓(xùn)練好的網(wǎng)絡(luò)中，提取Conv3和FC1的特征輸出，之后進(jìn)行PCA訓(xùn)練，降維到1 024維。檢索圖像時(shí)，為了加快檢索速度，首先選取有相同語(yǔ)義屬性的服裝，然后比較待查圖像和數(shù)據(jù)庫(kù)中圖像的特征向量的距離來(lái)獲得檢索結(jié)果。實(shí)驗(yàn)平臺(tái)下檢索一張圖像花費(fèi)約1.5s，其中大部分時(shí)間用于特征向量的比較上。

表3說(shuō)明了以不同的隱含層輸出特征進(jìn)行檢索的結(jié)果，其中Conv3&FC1表示融合Conv3和FC1層的特征，Top-k(表中k分別取5和10)準(zhǔn)確率表示前k個(gè)檢索結(jié)果中包含有待檢索圖像的準(zhǔn)確率。從表中可以看出融合Conv3和FC1特征比單獨(dú)采用它們進(jìn)行檢索的準(zhǔn)確率要高，有近3%的提升。

表3 服裝屬性分類結(jié)果

此外由于檢索時(shí)采用了使用語(yǔ)義屬性來(lái)縮小檢索范圍以加快檢索的方法，因此若待檢索圖像的語(yǔ)義屬性預(yù)測(cè)錯(cuò)誤，那么檢索結(jié)果就會(huì)出錯(cuò)。因此對(duì)于分類準(zhǔn)確率不高的語(yǔ)義屬性在檢索時(shí)可以不予考慮，比如表2中，領(lǐng)型的分類準(zhǔn)確性相對(duì)較低，那么在檢索時(shí)可以選擇忽略這個(gè)語(yǔ)義屬性。

服裝圖像檢索結(jié)果示例如圖6所示，從圖中可以看到檢索結(jié)果不僅體現(xiàn)了全局的語(yǔ)義屬性信息，而且包含了局部了紋理信息。

圖6 服裝圖像檢索示例(每行第一張圖片為輸入，后五張為檢索結(jié)果)

5 結(jié) 語(yǔ)

本文提出了一種基于度量學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)方法用于服裝圖像的分類和檢索。該網(wǎng)絡(luò)使用了多標(biāo)簽分類，可以同時(shí)識(shí)別圖像中服裝的多個(gè)屬性。基于tripletloss的度量學(xué)習(xí)的引進(jìn)可以增強(qiáng)網(wǎng)絡(luò)的特征提取能力，提高分類準(zhǔn)確性。對(duì)于服裝圖像檢索問(wèn)題，使用了融合了卷積層輸出和全連接層輸出的特征向量，同時(shí)保留了服裝的整體和局部信息。在檢索過(guò)程中，首先定位有相同屬性的圖像，然后比較各圖像特征向量間的相似性，從而得到檢索結(jié)果。

[1] 盧興敬.基于內(nèi)容的服裝圖像檢索技術(shù)研究及實(shí)現(xiàn)[D].哈爾濱:哈爾濱工業(yè)大學(xué),2008.

[2]ManfrediM,GranaC,CalderaraS,etal.Acompletesystemforgarmentsegmentationandcolorclassification[J].MachineVisionandApplications,2014,25(4):955-969.

[3]LiuS,SongZ,LiuG,etal.Street-to-shop:Cross-scenarioclothingretrievalviapartsalignmentandauxiliaryset[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012:3330-3337.

[4]JagadeeshV,PiramuthuR,BhardwajA,etal.Largescalevisualrecommendationsfromstreetfashionimages[C]//Proceedingsofthe20thACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining.ACM,2014:1925-1934.

[5]OlivaA,TorralbaA.Modelingtheshapeofthescene:aholisticrepresentationofthespatialenvelope[J].InternationalJournalofComputerVision,2001,42(3):145-175.

[6]LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110.

[7]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C]//ComputerVisionandPatternRecognition,2005IEEEComputerSocietyConferenceon.IEEE,2005:886-893.

[8]BossardL,DantoneM,LeistnerC,etal.Apparelclassificationwithstyle[C]//11thAsianConferenceonComputerVision.Springer,2012:321-335.

[9]KrizhevskyA,SutskeverI,HintonGE.ImageNetClassificationwithDeepConvolutionalNeuralNetworks[C]//AdvancesinNeuralInformationProcessingSystems25,2012:1106-1114.

[10]HofferE,AilonN.Deepmetriclearningusingtripletnetwork[C]//3rdInternationalWorkshoponSimilarity-BasedPatternAnalysisandRecognition.SpringerInternationalPublishing,2015:84-92.

[11]SchroffF,KalenichenkoD,PhilbinJ.FaceNet:Aunifiedembeddingforfacerecognitionandclustering[C]//Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition,2015:815-823.

[12]MaasAL,HannunAY,NgAY.Rectifiernonlinearitiesimproveneuralnetworkacousticmodels[C]//Proceedingsofthe30thInternationalConferenceonMachineLearning(ICML),2013:1-6.

[13]ZeilerMD,FergusR.Stochasticpoolingforregularizationofdeepconvolutionalneuralnetworks[DB].arXivpreprintarXiv:1301.3557,2013.

[14]WeiY,XiaW,HuangJ,etal.CNN:Single-labeltomulti-label[DB].arXivpreprintarXiv:1406.5726,2014.

[15]AbdulnabiAH,WangG,LuJ,etal.Multi-taskCNNmodelforattributeprediction[J].IEEETransactionsonMultimedia,2015,17(11):1949-1959.

[16]ChopraS,HadsellR,LeCunY.Learningasimilaritymetricdiscriminatively,withapplicationtofaceverification[C]//ComputerVisionandPatternRecognition,2005IEEEComputerSocietyConferenceon,2005:539-546.

[17]HadsellR,ChopraS,LeCunY.Dimensionalityreductionbylearninganinvariantmapping[C]//ComputerVisionandPatternRecognition,2006IEEEComputerSocietyConferenceon.IEEE,2006:1735-1742.

[18]LinK,YangHF,LiuKH,etal.Rapidclothingretrievalviadeeplearningofbinarycodesandhierarchicalsearch[C]//Proceedingsofthe5thACMInternationalConferenceonMultimediaRetrieval.ACM,2015:499-502.

[19]WangJ,SongY,LeungT,etal.Learningfine-grainedimagesimilaritywithdeepranking[C]//ComputerVisionandPatternRecognition(CVPR),2014IEEEConferenceon.IEEE,2014:1386-1393.

CLOTHING IMAGE CLASSIFICATION AND RETRIEVAL BASED ON METRIC LEARNING

Bao Qingping Sun Zhifeng

(CollegeofElectricalEngineering,ZhejiangUniversity,Hangzhou310058,Zhejiang,China)

On the problem of clothing image classification and retrieval, the general convolutional neural network has limited ability to identify because of diverse patterns and different backgrounds in image. To solve this problem, a convolution neural network method based on metric learning is proposed, in which the metric learning is based on the triplet loss, and the network has three inputs: the reference sample, the positive sample and the negative sample. By means of metric learning, it is possible to reduce the intra-class feature distance and increase the inter-class feature distance, so as to achieve the fine-grained classification. In addition, the images in different backgrounds are input into the training network as positive samples to improve the anti-interference ability. On the problem of clothing retrieval, a fine-grained retrieval method is proposed, which combines features of convolutional layers and fully-connected layers. The experimental results show that the introduction of metric learning can enhance the feature extraction ability of the network and improve the accuracy of classification, and the retrieval based on combined features can ensure the accuracy of the results.

Clothing Classification Retrieval Multi-label Metric learning

2016-03-17。包青平，碩士生，主研領(lǐng)域：深度學(xué)習(xí)。孫志鋒，副教授。

TP391.4

A

10.3969/j.issn.1000-386x.2017.04.043