少樣本學(xué)習(xí)下的服裝風(fēng)格分析與評價

胡夢瑩，鐘躍崎,2

(1.東華大學(xué) 紡織學(xué)院， 上海 201620； 2.東華大學(xué) 紡織面料技術(shù)教育部重點實驗室， 上海 201620)

服裝圖像包含豐富的特征信息，以服裝作為研究對象進行分類識別，并設(shè)計相關(guān)應(yīng)用層出不窮，不斷吸引著服裝行業(yè)與計算機視覺方向研究者的注意并為此創(chuàng)新技術(shù)。一方面是由于電子商務(wù)行業(yè)的興起，大量服裝數(shù)據(jù)需要被合理分類和檢索，另一方面是由于深度學(xué)習(xí)技術(shù)在計算機視覺方面不斷實現(xiàn)突破。相關(guān)的研究包括服裝解析與分類[1]，服裝檢索[2]，服裝搭配推薦[3]，服裝流行度預(yù)測[4]等。結(jié)合深度學(xué)習(xí)的服裝風(fēng)格的分類與評價工作相關(guān)記錄甚少。

不同于識別一件服裝的類別(毛衣，短袖，連衣裙)或其屬性(顏色，圖案)，服裝風(fēng)格是表征服裝整體視覺效果的高層次概念，需要分析對比大量的特征來判斷其屬性。以往研究中，評定服裝風(fēng)格一般采用主觀評價的方法，缺少主觀感受與評判指標(biāo)間關(guān)系的研究，因此，通過提取各類服裝特征并對其進行總結(jié)類比對服裝風(fēng)格的量化具有重要意義[5]。

服裝風(fēng)格識別的關(guān)鍵在于服裝圖像的特征提取，傳統(tǒng)的基于目標(biāo)圖像的顏色特征、紋理特征、形狀特征、SIFT特征[6]、HOG特征[7]提取方法在這一領(lǐng)域并不適用。卷積神經(jīng)網(wǎng)絡(luò)具有復(fù)雜的層級結(jié)構(gòu)，具有局部連接特性和權(quán)值共享特性，適用于服裝圖像的特征提取。利用卷積神經(jīng)網(wǎng)絡(luò)對服裝圖像提取對應(yīng)風(fēng)格的特征，有助于實現(xiàn)基于服裝風(fēng)格的分類。

本文以不同品牌的服裝圖像為研究對象，采用卷積神經(jīng)網(wǎng)絡(luò)提取服裝圖像的視覺特征的方法，將其映射到風(fēng)格特征空間，實現(xiàn)品牌服裝風(fēng)格的分類識別。由于實驗數(shù)據(jù)集樣本數(shù)量少，采用少樣本學(xué)習(xí)[8-9]的方法進行實驗。

少樣本學(xué)習(xí)方法更接近人類的學(xué)習(xí)模式，是元學(xué)習(xí)(meta Learning)[10]在監(jiān)督學(xué)習(xí)中的應(yīng)用。元學(xué)習(xí)旨在讓模型學(xué)會如何學(xué)習(xí)(learning to learn)，能夠處理類型相似的任務(wù)，而不是只會單一的分類任務(wù)。

少樣本學(xué)習(xí)任務(wù)包含3 個數(shù)據(jù)集: 訓(xùn)練集、支持集和查詢集。如果支持集包含N類相互獨立的類別，每個類別包含K個樣本，此時的少樣本學(xué)習(xí)問題則被稱為N類別K樣本(N-way,K-shot) 問題。本文選用3種目前比較流行的網(wǎng)絡(luò)架構(gòu)來對自建的數(shù)據(jù)集進行測試，分別是Siamese 網(wǎng)絡(luò)[11]，Prototype 網(wǎng)絡(luò)[12]和Meta baseline 網(wǎng)絡(luò)[13]。

1 實驗部分

1.1 數(shù)據(jù)的采集

本文建立了一個品牌服裝風(fēng)格圖像數(shù)據(jù)集，該數(shù)據(jù)集中所有圖像均來自時尚網(wǎng)站VOGUE[14]，包含了VOGUE網(wǎng)站時裝秀場的50個服裝品牌，分別是亞歷山大麥昆(Alexander McQueen)、亞歷山大王(Alexander Wang)、鄞昌濤(Andrew Gn)、安娜蘇(Anna Sui)、阿瑪尼高定(Armani Prive)、巴黎世家(Balenciaga)、巴爾曼(Balmain)、藍色情人(Blumarine)、葆蝶家(Bottega Veneta)、博柏利(Burberry)、卡爾文·克雷恩(Calvin Klein)、卡羅琳娜·埃萊拉(Carolina Herrera)、沙杜·拉爾夫·魯奇(Chado Ralph Rucci)、香奈兒(Chanel)、克洛伊(Chloe)、克里斯汀·迪奧(Christian Dior)、德里克·林(Derek Lam)、杜嘉班納(Dolce & Gabbana)、德賴斯·范諾頓(Dries Van Noten)、安普里奧·阿瑪尼 (Emporio Armani)、艾特羅(Etro)、芬迪 (Fendi)、詹巴迪斯塔·瓦利 (Giambattista Valli)、喬治·阿瑪尼(Giorgio Armani)、紀(jì)梵希(Givenchy)、古馳(Gucci)、愛馬仕(Hermes)、杰斯· 舞(Jason Wu)、高緹耶 (Jean Paul Gaultier)、吉爾·桑達 (Jil Sander)、浪凡 (Lanvin)、路易威登(Louis Vuitton)、馬克·雅可布之馬克(Marc by Marc Jacobs)、馬克·雅可布(Marc Jacobs)、瑪尼(Marni)、麥?zhǔn)窟~娜(Max mara)、邁克高仕(Michael Kors)、米索尼(Missoni)、繆繆(Miu Miu)、蓮娜麗姿(Nina Ricci)、奧斯卡·德拉倫塔(Oscar de la renta)、普拉達(Prada)、拉爾夫·勞倫(Ralph Lauren)、斯特拉·妮娜·麥卡特尼(Stella Nina McCartney)、湯米·希爾費格(Tommy Hilfiger)、湯麗柏琦(Tory Burch)、瓦倫蒂諾(Valentino)、王微微(Vera Wang)、范思哲(Versace)、圣羅蘭(Yves Saint Laurent)。每個品牌的服裝圖像為30張，共計1 500張圖像。隨機抽取36個服裝品牌用作訓(xùn)練集，剩余14個服裝品牌用作支持集。

1.2 預(yù)處理

為了提高服裝圖像分類準(zhǔn)確率，對參與訓(xùn)練的服裝圖像數(shù)據(jù)進行歸一化、去均值預(yù)處理，用于后續(xù)的實驗。

1.2.1 歸一化

歸一化也是一種簡化計算的方式，將有量綱的表達式，經(jīng)過變換，簡化為無量綱的表達式，成為標(biāo)量，便于不同單位或量級的指標(biāo)能夠進行比較和加權(quán)。歸一化將數(shù)據(jù)映射到指定的范圍，減少了各維度的數(shù)據(jù)取值差異，減少了因數(shù)據(jù)取值范圍差異大造成對分類實驗結(jié)果的影響。常見的歸一化方式有特征標(biāo)準(zhǔn)化、圖像像素的簡單縮放等。本文采用min-max歸一化：

式中：xnew為經(jīng)過歸一化處理后得到的新數(shù)據(jù)值，xmax為樣本數(shù)據(jù)的最大值，xmin為樣本數(shù)據(jù)的最小值。

1.2.2 去均值

1.2 服裝風(fēng)格分類模型

1.2.1 Siamese網(wǎng)絡(luò)

在解決N-way、K-shot分類問題方面，孿生神經(jīng)網(wǎng)絡(luò)(Siamese neural networks)是最早得到應(yīng)用的模型[12]。孿生神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示，該類模型包含2個分支(如圖1的分支1和分支2)。每個分支分別對應(yīng)1個輸入，該類輸入可以是一維的信號、二維的圖像、三維的點云或三角形網(wǎng)格。每個輸入均經(jīng)過降維或映射后變成1個長度固定的特征向量，如圖1的特征向量1和特征向量2。計算特征向量1和特征向量2的相似程度。

圖1 孿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

1.2.2 Prototype網(wǎng)絡(luò)

除了孿生網(wǎng)絡(luò)以外，本文還使用了Prototype 網(wǎng)絡(luò)，該模型的原理如圖2所示。

c1—類別1的特征向量；c2—類別2的特征向量；c3—類別3 的特征向量；x—查詢樣本。圖2 Prototype 網(wǎng)絡(luò)原理

如圖2所示，若訓(xùn)練樣本包含3個類別(不同顏色)，每個類別包含5個樣本，求每類的特征向量均值ck，其計算方法為：

式中：k=1,2,3，指代類別，每個類別的特征向量均值記為c1、c2、c3。Sk是訓(xùn)練樣本中屬于第k類樣本的集合，xi是集合Sk中的第i個樣本，yi是xi的標(biāo)簽，fw(xi)是樣本xi的特征映射(特征向量)，其中w為待學(xué)習(xí)的參數(shù)。當(dāng)k為1時，Sk包含5個樣本，即i的取值為{1，2，3，4，5}。以每個類別的特征向量均值c1、c2、c3分別作為該類的原型，若1個新的樣本x屬于圖2所示的c2類，則x的特征向量與c2之間的距離要小于其與c1或c3的距離。在訓(xùn)練的過程中以樣本x與各個類別均值的距離來計算樣本x屬于各個類別的概率，同類距離近，異類距離遠(yuǎn)。使用交叉熵?fù)p失函數(shù)實現(xiàn)模型的優(yōu)化。在測試集(支持集)上也采用求特征向量均值的方法，然后計算查詢樣本與支持集的每個類別中心的距離，以該距離作為度量依據(jù)判斷查詢樣本的類別。

1.2.3 Meta baseline網(wǎng)絡(luò)

該網(wǎng)絡(luò)包含2個部分，第1部分是Classifier-baseline，是通過預(yù)訓(xùn)練得到1個具有分類功能的分類器。具體實現(xiàn)時，首先以交叉熵為損失函數(shù)在訓(xùn)練集上訓(xùn)練1個標(biāo)準(zhǔn)的分類網(wǎng)絡(luò)fθ，然后將該網(wǎng)絡(luò)最后一層的全連接層(FC)去掉，利用該訓(xùn)練好的卷積模塊作為特征提取器，提取支持集(support set)和查詢集(query set)中樣本的特征向量(representation)。第2部分是meta baseline，元學(xué)習(xí)框架。元學(xué)習(xí)框架是以提取的特征向量實現(xiàn)小樣本任務(wù)的分類，若支持集中每個類別含有多個樣本(shot大于1)，則將多個樣本的特征向量均值(mean)作為該類別的中心，然后計算查詢集(query-set)中查詢樣本的特征向量與支撐集中每個類別特征向量均值的余弦距離(cosine similarity)，計算出查詢樣本對每個類別的得分(概率)。模型結(jié)構(gòu)如圖3所示。

圖3 meta baseline網(wǎng)絡(luò)結(jié)構(gòu)圖

2 實驗結(jié)果

為了實現(xiàn)較高分類準(zhǔn)確率，同時控制訓(xùn)練的時間成本，設(shè)置了80次迭代訓(xùn)練。以線性衰減作為學(xué)習(xí)率的衰減方式，由于在網(wǎng)絡(luò)訓(xùn)練中設(shè)置適當(dāng)?shù)膶W(xué)習(xí)率、設(shè)置適當(dāng)?shù)臋?quán)重衰減系數(shù)、設(shè)置適當(dāng)?shù)膱D像大小可以提高網(wǎng)絡(luò)的學(xué)習(xí)效率，下面依次對上述影響因素進行驗證。

2.1 Siamese網(wǎng)絡(luò)實驗結(jié)果

Siamese網(wǎng)絡(luò)實驗結(jié)果如表1所示。

表1 Siamese網(wǎng)絡(luò)實驗結(jié)果

可以看到，模型的學(xué)習(xí)率、權(quán)重衰減系數(shù)的選擇、設(shè)置圖像的大小對實驗結(jié)果有影響，其中設(shè)置圖像的大小對實驗結(jié)果影響較大。從實驗結(jié)果來看，圖像大小設(shè)置為224×224 dpi最合適。本文實驗還嘗試了將圖像大小設(shè)置為300×300 dpi，但是對結(jié)果影響不大，而且訓(xùn)練時間成本比224×224 dpi的大。所以，輸入模型的圖像大小最終設(shè)置為224×224 dpi。

2.2 Prototype網(wǎng)絡(luò)實驗結(jié)果

Prototype網(wǎng)絡(luò)的實驗結(jié)果如表2所示。

表2 Prototype網(wǎng)絡(luò)實驗結(jié)果

實驗結(jié)果表明，Prototype網(wǎng)絡(luò)模型對于品牌服裝數(shù)據(jù)集的分類準(zhǔn)確率相比于Siamese網(wǎng)絡(luò)有了一定的提高。在5-way，1-shot任務(wù)中，在最優(yōu)參數(shù)下，品牌服裝數(shù)據(jù)集分類準(zhǔn)確率高達0.841 0。

2.3 Meta baseline網(wǎng)絡(luò)實驗結(jié)果

Meta baseline網(wǎng)絡(luò)的實驗結(jié)果如表3所示。

表3 Meta baseline 網(wǎng)絡(luò)實驗結(jié)果

實驗結(jié)果表明，Meta baseline網(wǎng)絡(luò)對于自建的品牌服裝數(shù)據(jù)集的分類任務(wù)的效果比前2種方法的效果都好，分類效果有了很大的提升。在5-way，1-shot任務(wù)中，在最優(yōu)參數(shù)下，品牌服裝數(shù)據(jù)集分類準(zhǔn)確率高達0.947 5。由于實驗環(huán)境的限制，本實驗選擇了ResNet-12作為基線網(wǎng)絡(luò)，batchsize均為1。雖然理論上這意味著隨機梯度下降，但是從實驗效果來看，優(yōu)化的過程中，震蕩現(xiàn)象并非過于激烈，可為工程實踐中，當(dāng)硬件條件有限時的網(wǎng)絡(luò)訓(xùn)練實踐提供一定的參考。

3 結(jié)束語

本文利用深度神經(jīng)網(wǎng)絡(luò)將服裝的風(fēng)格特征提取為特征向量，從數(shù)學(xué)的角度來描述服裝風(fēng)格特征并判斷服裝風(fēng)格特征的相異性。對比分析了適合本文數(shù)據(jù)集網(wǎng)絡(luò)模型的分類結(jié)果，并驗證了可能影響分類結(jié)果的參數(shù)。本研究對于穩(wěn)定服裝品牌風(fēng)格，提升傳統(tǒng)服裝產(chǎn)業(yè)，迎合在線服裝市場，滿足消費者的消費需求，對服裝在線交易的風(fēng)格推薦、風(fēng)格評估具有一定的參考價值。