服裝智能搭配研究綜述

金保華 李艷 吳懷廣

摘 ?要： 服裝具有很強(qiáng)的組合搭配模式，用戶很難判斷其選擇的衣服是否是一種較好的搭配組合，利用智能服裝搭配技術(shù)對(duì)人類的搭配性概念建模，可以解決這個(gè)問題。由于服裝搭配不僅涉及兩件或兩件以上的衣服，而且與個(gè)人偏好緊密相關(guān)，在深度學(xué)習(xí)背景下，服裝智能搭配技術(shù)也不斷地得到改善。通過對(duì)近幾年文獻(xiàn)的梳理，文章介紹了現(xiàn)在的服裝搭配方法，并指出個(gè)性化服裝搭配方法將成為未來(lái)的研究熱點(diǎn)。

關(guān)鍵詞： 服裝搭配技術(shù); 個(gè)人偏好; 服裝搭配; 深度學(xué)習(xí); 個(gè)性化

中圖分類號(hào)：TP391.4 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ?文章編號(hào)：1006-8228（2021）08-27-05

Overview on the outfit compatibility

Jin Baohua， Li Yan， Wu Huaiguang

（School of Computer and Communication Engineering， Zhengzhou University of Light Industry， Zhengzhou， Henan 450000， China）

Abstract： Clothing has a very strong combination and collocation mode， and it is difficult for users to judge whether the outfit they chosen is a good combination. Modeling the humans concept of compatibility with intelligent clothing matching technology can solve this problem. Because a compatible outfit not only involves two or more pieces of clothing， but also closely related to personal preferences， and in the background of deep learning， intelligent clothing matching technology has been constantly improving. By sorting out the literature in recent years， this paper introduces the current methods of clothing matching， and points out that the personalized outfit compatibility will become a research hotspot in the future.

Key words： clothing matching technology; personal preferences; outfit compatibility; deep learning; personalized

0 引言

服裝在人們的生活中扮演著重要的角色，然而并不是每個(gè)人都有很強(qiáng)的時(shí)尚敏感度。隨著深度學(xué)習(xí)的發(fā)展，用戶可以借助服裝智能搭配技術(shù)找到一套搭配的服裝。根據(jù)中國(guó)服裝協(xié)會(huì)發(fā)布的《中國(guó)服裝行業(yè)發(fā)展報(bào)告》[1]中的網(wǎng)絡(luò)服裝銷售數(shù)據(jù)增長(zhǎng)22%，由于網(wǎng)絡(luò)服裝市場(chǎng)的快速發(fā)展，越來(lái)越多與服裝相關(guān)的研究也隨之展開，特別是服裝搭配。如今用戶的需求越來(lái)越個(gè)性化，如何根據(jù)用戶的需求搭配一套搭配的服裝，這是服裝搭配技術(shù)面臨的一項(xiàng)挑戰(zhàn)。

本文主要對(duì)近幾年的研究文獻(xiàn)進(jìn)行分析比較，在此基礎(chǔ)上，對(duì)服裝個(gè)性化搭配的研究前景進(jìn)行了展望，旨在為從事服裝搭配的研究者提供參考，以期望服裝搭配方法能在學(xué)術(shù)界進(jìn)一步的發(fā)展，為用戶提供更好的搭配策略。

1 基于深度學(xué)習(xí)的服裝搭配

服裝具有很強(qiáng)的組合搭配模式，通過研究服裝信息之間的交互行為等大量數(shù)據(jù)，從中深入挖掘服裝之間的搭配規(guī)則。在服裝搭配預(yù)測(cè)任務(wù)中，目標(biāo)是產(chǎn)生一個(gè)服裝搭配分?jǐn)?shù)，它表示一該套服裝的整體搭配程度。

1.1 成對(duì)的服裝搭配

之前主要研究成對(duì)服裝[2-4]。如圖1所示，這些研究將服裝映射到一個(gè)風(fēng)格空間，并估計(jì)服裝的風(fēng)格向量之間的距離，以此預(yù)測(cè)服裝之間的搭配度。例如，2015年McAuley等人[4]利用CNN提取服裝的視覺特征并將其嵌入潛在空間，接著將成對(duì)服裝在潛在空間的距離作為服裝間的搭配性度量。Veit等人[2]對(duì)他們的方法進(jìn)行改進(jìn)，沒有使用預(yù)先提取的視覺特征，而是使用端到端的siamese network來(lái)預(yù)測(cè)服裝對(duì)之間的搭配度。類似的端到端方法[5]表明，聯(lián)合學(xué)習(xí)特征提取器和推薦系統(tǒng)可以取得更好的效果。時(shí)尚風(fēng)格的演變?cè)诜b搭配性中起著重要的作用，He等人[6]研究如何在推薦系統(tǒng)中采用以往的方法來(lái)構(gòu)建時(shí)尚趨勢(shì)的視覺演變模型。

服裝匹配領(lǐng)域積累了各種有價(jià)值的匹配規(guī)則，某些匹配規(guī)則被公眾廣泛接受為常識(shí)，但在現(xiàn)有的研究中忽略了這些搭配規(guī)則。為此，山東大學(xué)Song等人[7]提出AKD-DBPR模型將先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)與豐富的時(shí)尚領(lǐng)域搭配規(guī)則相結(jié)合，為服裝搭配研究提供啟發(fā)?？紤]到規(guī)則的模糊性以及不同規(guī)則對(duì)不同服裝樣本的置信度不同，本文在teacher-student網(wǎng)絡(luò)[8]的基礎(chǔ)上提出了一種注意力的知識(shí)蒸餾的神經(jīng)相容性建模方案。

1.2 序列對(duì)的服裝搭配

一些研究中沒有考慮一整套服裝的組成，2017年Han等人[9]把一套服裝看作一個(gè)序列（如圖2所示，通常從上到下，然后是配飾）和每一件衣服作為一個(gè)時(shí)間步驟。他們訓(xùn)練一個(gè)雙向LSTM （Bi-LSTM）模型，在前一件服裝的基礎(chǔ)上順序地預(yù)測(cè)下一件服裝，以了解它們的搭配關(guān)系。他們主要通過將圖像特征回歸到其語(yǔ)義表示中來(lái)學(xué)習(xí)視覺-語(yǔ)義空間，以注入屬性和類別信息作為訓(xùn)練LSTM的正則化方法。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)不僅能有效地在前一件服裝的基礎(chǔ)上順序地預(yù)測(cè)下一件服裝，該訓(xùn)練的網(wǎng)絡(luò)還能預(yù)測(cè)給定服裝的相容性，Han等人在收集的數(shù)據(jù)集進(jìn)行了廣泛的實(shí)驗(yàn)，結(jié)果證明他們的方法優(yōu)于其他方法。

1.3 圖模型服裝搭配

服裝單獨(dú)表示成一對(duì)或者一個(gè)序列并不能反映多件物品之間的復(fù)雜關(guān)系。并且序列表示中的順序是不固定的。更重要的是，服裝中物品之間的關(guān)系并不是有序的，因?yàn)榉b在序列中不僅與其前面或后面的服裝有關(guān)系。為了解決這個(gè)問題，Guillem[10]等人將服裝表示為一個(gè)圖，如圖3所示，頂點(diǎn)代表服裝信息，邊連接搭配的服裝對(duì);然后用基于graph auto-encoder框架[11]來(lái)學(xué)習(xí)預(yù)測(cè)邊，整個(gè)過程可以看作是將服裝特征編碼到一個(gè)新的空間，在這個(gè)空間中兩點(diǎn)之間的距離可以映射為兩點(diǎn)之間是否存在邊的概率，從而預(yù)測(cè)服裝搭配度。

2019年崔澤宇等人[12]提出用有向圖表示服裝，更好地反映服裝中多件衣服之間的復(fù)雜關(guān)系。首先將一套服裝用一個(gè)子圖表示;然后使用提出的新模型NGNN來(lái)建模節(jié)點(diǎn)的交互，并學(xué)習(xí)節(jié)點(diǎn)的信息交互;最后，與Li[13]相似，通過使用self-attention[14]計(jì)算graph-level輸出來(lái)預(yù)測(cè)搭配度得分。該方法可以從視覺/文本任何單一模態(tài)特征對(duì)服裝的搭配性進(jìn)行建模。

2 基于用戶個(gè)性化的服裝搭配

之前的研究[7，15-18]側(cè)重于預(yù)測(cè)圖像中衣服之間的搭配度，然而忽略了借助圖像中可能提供的關(guān)鍵背景（例如用戶的身體類型或季節(jié)）進(jìn)行更準(zhǔn)確的推薦?；谟脩魝€(gè)性化的服裝搭配方法是由研究者從場(chǎng)合、用戶體型和用戶喜愛三個(gè)方面進(jìn)行研究。

2.1 基于場(chǎng)景的服裝搭配

日常生活中存在各種各樣的場(chǎng)景，例如：會(huì)議、婚禮、旅游等，場(chǎng)景不同，組成元素和氛圍不同。Magic closet[19]系統(tǒng)中提出基于潛在支持向量機(jī)（SVM）[20]的推薦模型，將服裝屬性視為潛在變量。模型通過視覺特征-場(chǎng)合和服裝屬性-場(chǎng)合來(lái)描述穿著準(zhǔn)則，而審美穿搭準(zhǔn)則通過服裝屬性-服裝屬性來(lái)表示。它主要解決兩種服裝搭配場(chǎng)景：①根據(jù)用戶指定一個(gè)場(chǎng)合，基于用戶的相冊(cè)給出合適的穿搭。②用戶輸入一個(gè)場(chǎng)合和單件服裝，在線購(gòu)物網(wǎng)站中出現(xiàn)服裝與所給定服裝搭配，同時(shí)也適合特定的場(chǎng)合。但是，人體檢測(cè)精度極大影響該模型性能。

Yunshan Ma等人[21]提出了借助情境化的服裝概念學(xué)習(xí)模塊，獲取場(chǎng)合、服裝類別和屬性之間的依賴關(guān)系。為了減輕人工標(biāo)注的沉重負(fù)擔(dān)，作者引入了一個(gè)弱標(biāo)簽建模模塊，有效地利用機(jī)器標(biāo)注數(shù)據(jù)。在實(shí)驗(yàn)中，作者貢獻(xiàn)了一個(gè)基準(zhǔn)數(shù)據(jù)集，并從定量和定性的角度進(jìn)行了廣泛的實(shí)驗(yàn)，證明本文的模型在時(shí)裝概念預(yù)測(cè)方面的有效性，以及提取知識(shí)的有用性。

2.2 基于體型的服裝搭配

一個(gè)重要的穿衣技巧就是根據(jù)自己的體型穿搭[22-23]，Shintami等人[24]通過研究那些被認(rèn)為很有時(shí)尚感的名人的風(fēng)格和身體尺寸，從而研究體型和服裝風(fēng)格之間的關(guān)系，并針對(duì)用戶的基本身體屬性，向用戶推薦適合的著裝。但是，他們?cè)谘芯恐泻雎粤舜嬖谌魏闻c時(shí)尚基本規(guī)則不搭配的常見樣式，那么推薦結(jié)果的可靠性可能會(huì)降低。為了改善之前工作的不足，2020年Chusnul[25]等人提出根據(jù)人體尺寸和時(shí)尚專家的知識(shí)兩個(gè)主要前提建立風(fēng)格推薦模型。利用網(wǎng)上的相關(guān)時(shí)尚知識(shí)規(guī)則，包括頂級(jí)時(shí)尚名人的著裝風(fēng)格和他們對(duì)應(yīng)的體型尺寸，以及時(shí)尚專家針對(duì)每個(gè)體型推薦的服裝款式。與之前的研究不同的是首先對(duì)名人的服裝形象進(jìn)行分類，以符合時(shí)尚專家設(shè)計(jì)的時(shí)尚風(fēng)格規(guī)則，然后，作者研究基于深度多模態(tài)表示，學(xué)習(xí)服裝款式和體型測(cè)量的聯(lián)合嵌入。

之前主要研究受試者的體重與服裝類別之間的關(guān)系[26]。以及Hidayati提出[24]的推薦系統(tǒng)，該系統(tǒng)根據(jù)名人已知的體型測(cè)量數(shù)據(jù)，發(fā)現(xiàn)哪些體型對(duì)哪些身材類型最重要。與上述兩種方法相反，Wei-Lin Hsiao等人引入了ViBE[27]，一種視覺感知人體嵌入，捕捉不同體型的服裝親和力，該方法建議根據(jù)個(gè)人的體型選擇特定的服裝。此外，與Hidayati[24]不同的是，Wei-Lin Hsiao等人的方法處理的數(shù)據(jù)不僅限于時(shí)尚名人，還用于將推斷出的體型作為輸入。

2.3 基于個(gè)人偏愛服裝搭配

現(xiàn)有的方法主要是從審美的角度對(duì)一般的服裝-服裝的搭配度進(jìn)行建模，而沒有考慮到用戶因素。由于不同的人有不同的服裝偏好，如何將用戶對(duì)服裝匹配的偏好無(wú)縫編碼到服裝之間的搭配模型中，使結(jié)果既滿足常見的匹配模式，又能滿足用戶的個(gè)人品味是我們面臨的一個(gè)挑戰(zhàn)。

時(shí)尚領(lǐng)域的個(gè)性化推薦得到了極大的研究關(guān)注[28-29]。特別是在時(shí)尚領(lǐng)域已有的個(gè)性化推薦工作[30-32]主要利用矩陣因子分解（MF）框架，根據(jù)用戶對(duì)真實(shí)數(shù)據(jù)集的反饋來(lái)建模用戶偏好。例如，胡洋等人[31]提出了一個(gè)函數(shù)張量因子分解模型，旨在解決基于150個(gè)用戶數(shù)據(jù)集的個(gè)性化服裝推薦問題。雖然該方法在整體推薦中是有效的，但冷啟動(dòng)問題[33]仍然是一個(gè)值得進(jìn)一步探討的問題。He等人[30]引入了一種可伸縮的矩陣分解模型，該模型將服裝的視覺信息納入用戶偏好預(yù)測(cè)器，以完成推薦任務(wù)。

2019年山東大學(xué)宋雪萌等人提出個(gè)性化的搭配性建模方案GP-BPR[34]，從總體美學(xué)和個(gè)人偏好的角度來(lái)解決個(gè)性化搭配建模的問題。該模型分別描述了服裝-服裝和用戶-服裝的交互。特別是，考慮到時(shí)尚物品的兩種模式（例如，圖像和文本描述）都可以傳遞用戶偏好的重要信息，作者提出了一種綜合的個(gè)人偏好建模方法。

3 結(jié)束語(yǔ)

服裝搭配在電商平臺(tái)以及用戶日常服裝搭配等方面都具用重要的意義.利用大數(shù)據(jù)對(duì)服裝的搭配進(jìn)行預(yù)測(cè)，既提高了預(yù)測(cè)結(jié)果的準(zhǔn)確率，又縮減人工成本和設(shè)計(jì)周期。為服裝銷售市場(chǎng)和消費(fèi)者提供服搭配建議，為加速服裝產(chǎn)業(yè)現(xiàn)代化、信息化提供重要支撐。

本文通過對(duì)一些文獻(xiàn)的梳理，目前簡(jiǎn)單預(yù)測(cè)服裝與服裝搭配性已經(jīng)滿足不了用戶，未來(lái)的服裝搭配中需要考慮更多的因素，以達(dá)到更好的個(gè)人化服裝搭配。

參考文獻(xiàn)（References）：

[1] 中國(guó)服裝行業(yè)發(fā)展報(bào)告[J].中國(guó)服飾，2020.5：72

[2] Veit， A.， et al. Learning visual clothing style with

heterogeneous dyadic co-occurrences[C]. in Proceedings of the IEEE International Conference on Computer Vision，2015：4642-4650

[3] He， R.， C. Packer， and J. McAuley. Learning compatibility

across categories for heterogeneous item recommendation[C].in 2016 IEEE 16th International Conference on Data Mining （ICDM）. ?IEEE，2016：937-942

[4] McAuley， J.， et al. Image-based recommendations on

styles and substitutes[C]. in Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM，2015：43-52

[5] Kang， W.-C.， et al. Visually-aware fashion recommenda-

tion and design with generative image models[C]. in 2017 IEEE International Conference on Data Mining （ICDM）. IEEE，2017：207-216

[6] He， R. and J. McAuley. Ups and downs： Modeling the

visual evolution of fashion trends with one-class collaborative filtering[C]. in proceedings of the 25th international conference on world wide web，2016：507-517

[7] Song， X.， et al. Neurostylist： Neural compatibility modeling

for clothing matching[C]. in Proceedings of the 25th ACM international conference on Multimedia. ACM，2017：753-761

[8] Hu， Z.， et al.， Harnessing deep neural networks with logic?rules[J]. arXiv preprint arXiv：1603.06318，2016.

[9] Han， X.， et al. Learning fashion compatibility with

bidirectional lstms[C]. in Proceedings of the 25th ACM international conference on Multimedia. ?ACM，2017：1078-1086

[10] Cucurull， G.， P. Taslakian， and D. Vazquez. Context-

aware visual compatibility prediction[C]. in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019：12617-12626

[11] Kipf， T.N. and M. Welling， Variational graph auto-

encoders[J]. arXiv preprint arXiv：1611.07308，2016.

[12] Cui， Z.， et al. Dressing as a Whole： Outfit Compatibility

Learning Based on Node-wise Graph Neural Networks[C]. in The World Wide Web Conference. ACM，2019：307-317

[13] Li， Y.， et al.， Gated graph sequence neural networks[J].arXiv preprint arXiv：1511.05493，2015.

[14] Tan， Z.， et al.， Deep semantic role labeling with self-

attention[J]. arXiv preprint arXiv：1712.01586，2017.

[15] 周楠，et al.，計(jì)算機(jī)輔助服裝搭配系統(tǒng)的研制[J].現(xiàn)代絲綢科學(xué)與技術(shù)，2016.31（6）：208-211

[16] Li， Y.， et al.， Mining fashion outfit composition using an

end-to-end deep learning approach on set data[J]. IEEE Transactions on Multimedia，2017.19（8）：1946-1955

[17] Vasileva， M.I.， et al. Learning type-aware embeddings for

fashion compatibility[C].in Proceedings of the European Conference on Computer Vision （ECCV），2018：390-405

[18] Wang， X. and T. Zhang. Clothes search in consumer

photos via color matching and attribute learning[C]. in Proceedings of the 19th ACM international conference on Multimedia.ACM，2011：1353-1356

[19] Liu， S.， et al. Hi， magic closet， tell me what to wear！[C]. in

Proceedings of the 20th ACM international conference on Multimedia. ACM，2012：619-628

[20] Felzenszwalb， P.， D. McAllester， and D. Ramanan. A

discriminatively trained， multiscale， deformable part model[C]. in 2008 IEEE conference on computer vision and pattern recognition. IEEE，2008：1-8

[21] Ma， Y.， et al. Who， Where， and What to Wear？ Extracting

Fashion Knowledge from Social Media[C]. in Proceedings of the 27th ACM International Conference on Multimedia，2019：257-265

[22] 謝莉萍.基于不同體型的成年女性服裝搭配技巧分析[J].

國(guó)際紡織導(dǎo)報(bào)，2019.47（12）：42-45

[23] 石敏，et al.，面向不同體型特征的服裝款式遷移方法[J].圖學(xué)學(xué)報(bào)，2019.40（5）：866-871

[24] Hidayati， S.C.， et al. What Dress Fits Me Best？： Fashion

Recommendation on the Clothing Style for Personal Body Shape[C].in 2018 ACM Multimedia Conference，2018.

[25] Hidayati， S.C.， et al.， Dress with Style： Learning Style

from Joint Deep Embedding of Clothing Styles and Body Shapes[J]. IEEE Transactions on Multimedia，2020.

[26] Sattar， H.， G. Pons-Moll， and M. Fritz， Fashion Is Taking

Shape： Understanding Clothing Preference Based on Body Shape From Online Sources[J]. 2019 IEEE Winter Conference on Applications of Computer Vision （WACV），2019：968-977

[27] Hsiao， W.-L. and K. Grauman. ViBE： Dressing for

Diverse Body Shapes[C]. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2020：11059-11069

[28] He， X.， et al. Fast matrix factorization for online

recommendation with implicit feedback[C]. in Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval，2016：549-558

[29] Tran， T.， et al. Regularizing matrix factorization with user

and item embeddings for recommendation[C]. in Proceedings of the 27th ACM International Conference on Information and Knowledge Management2018：687-696

[30] He， R. and J. McAuley， VBPR： visual bayesian?personalized ranking from implicit feedback[J]. arXiv preprint arXiv：1510.01784，2015.

[31] Hu， Y.， X. Yi， and L.S. Davis. Collaborative fashion

recommendation： A functional tensor factorization approach[C].in Proceedings of the 23rd ACM international conference on Multimedia，2015：129-138

[32] Sun， G.-L.， et al.， Personalized clothing recommendation

combining user social circle and fashion style consistency[J]. Multimedia Tools and Applications，2018.77（14）：17731-17754

[33] Brusilovsky， P.， A. Kobsa， and W. Nejdl， The adaptive

web： methods and strategies of web personalization[J]. Lecture Notes in Computer ence，2007.5：377-408

[34] Song， X.， et al.， GP-BPR： Personalized Compatibility

Modeling for Clothing Matching， in Proceedings of the 27th ACM International Conference on Multimedia. Association for Computing Machinery： Nice，F(xiàn)rance，2019：320-328

收稿日期：2021-05-26

基金項(xiàng)目：廣東省教育廳青年創(chuàng)新人才類項(xiàng)目（2018KQNCX175）; 教育部科技發(fā)展中心高校產(chǎn)學(xué)研創(chuàng)新基金項(xiàng)目（2018A01002）

作者簡(jiǎn)介：張萍（1986-），女，山東青島人，講師，博士，主要研究方向：信息安全、電子取證、網(wǎng)絡(luò)犯罪偵查。

通訊作者：何毅?。?981-），女，湖南省常德人，講師，博士，主要研究方向：信息安全、電子取證。