基于深度學(xué)習(xí)的時裝搭配的設(shè)計(jì)

朱開心，季波，劉海濤，楊艷婷

摘要：為解決每日服裝搭配難以選擇這一痛點(diǎn)問題，本文以公開的模特時裝圖片數(shù)據(jù)集為研究對象，首先通過對圖片中的局部服飾（如領(lǐng)口等）位置進(jìn)行檢測，其次根據(jù)深度學(xué)習(xí)的分類算法對局部服飾進(jìn)行識別，最后基于推薦算法進(jìn)行時裝搭配。系統(tǒng)采用TensorFlow主流的深度學(xué)習(xí)開發(fā)平臺，界面簡潔友好，性能良好。

關(guān)鍵詞：時裝搭配;深度學(xué)習(xí);TensorFlow

中圖分類號：G642? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）19-0086-02

近年來，學(xué)者們嘗試將前沿技術(shù)應(yīng)用到服裝搭配中。國外早期研究，衣服搭配是個比較新的課題，Iwata等人提出利用時尚雜志的人體照片來進(jìn)行服裝搭配的推薦系統(tǒng)[1]。作者使用概率主題模型來學(xué)習(xí)時尚物品之間的搭配模型，從而進(jìn)行衣服搭配推薦。Andreas Veit， Balazs Kovacs 等人提出從不同類別中學(xué)習(xí)到物品間的風(fēng)格相似性，進(jìn)而產(chǎn)生搭配更好的組合[2]。Liu S， Feng J和Song Z提出了能自適應(yīng)地根據(jù)不同情境推薦衣服搭配。給定用戶的情境，給用戶指定的參考服裝配對最適合的電商平臺衣服[3]。Liu， Xin等人開源MMLab，一款專注于時尚服飾領(lǐng)域的計(jì)算機(jī)視覺分析工具，基于 PyTorch 框架，構(gòu)建于MMLab開源的計(jì)算機(jī)視覺庫MMCV之上，時尚服飾搭配與推薦模塊[4]。這些研究深刻表明時裝搭配是未來服裝市場的主導(dǎo)模式。

市面上存在的服裝搭配普遍存在以下不足：第一，服裝搭配中對時裝局部特征的表達(dá)能力較弱;第二，服裝推薦算法較單一。本文設(shè)計(jì)的基于深度學(xué)習(xí)的時裝搭配算法，綜合了目前市場上已存在的相似服裝搭配平臺的功能，TensorFlow主流的深度學(xué)習(xí)開發(fā)平臺進(jìn)行算法實(shí)現(xiàn)，并解決了上訴的不足之處，為每天的時裝搭配提供高效的解決方案。

1 系統(tǒng)分析

通過基于微信小程序的時裝搭配算法，意在打造一個可以實(shí)現(xiàn)每天的時裝搭配多樣性，本文在需求分析的相關(guān)基礎(chǔ)之上著重研究以下幾個方面：

如何檢測服飾（如領(lǐng)口等）所在位置;

如何對模特時裝進(jìn)行多任務(wù)屬性分類;

如何時裝搭配推薦，構(gòu)建時裝搭配關(guān)系，最終為用戶推薦個性化時裝搭配方案。

為實(shí)現(xiàn)上述研究目標(biāo)，系統(tǒng)需具備如下功能：

（1）檢測服飾（如領(lǐng)口等）所在位置：對輸入的時裝圖片進(jìn)行處理，經(jīng)過檢測環(huán)節(jié)、放大環(huán)節(jié)、填充環(huán)節(jié)、數(shù)據(jù)增強(qiáng)環(huán)節(jié)，識別服飾（如領(lǐng)口等）所屬位置;

（2）對模特時裝進(jìn)行多任務(wù)屬性分類：輸入已檢測服飾，對其進(jìn)行多分類識別，輸出局部服飾標(biāo)簽，實(shí)現(xiàn)時裝屬性分類;

（3）時裝搭配推薦：輸入經(jīng)過時裝屬性分類處理的服飾圖片，構(gòu)建時裝搭配關(guān)系，最終為用戶推薦個性化時裝搭配方案。

2 系統(tǒng)主要功能實(shí)現(xiàn)

2.1 技術(shù)架構(gòu)

系統(tǒng)采用前端框架微信小程序，后端Servlet技術(shù)，數(shù)據(jù)庫采用MYSQL數(shù)據(jù)庫，深度學(xué)習(xí)TensorFlow等。如表1所示。

2.2 主要功能實(shí)現(xiàn)

根據(jù)系統(tǒng)分析，本系統(tǒng)主要包含如下功能模塊， 微信小程序界面如圖1所示。

（1）服飾檢測模塊

本模塊通過輸入時裝圖片，基于Fast R-CNN算法，首先檢測出服飾（如領(lǐng)口等）所在區(qū)域，其次對服飾圖片經(jīng)過放大操作，然后根據(jù)上下文信息對放大圖像進(jìn)行填充、最后對時裝屬性數(shù)據(jù)增強(qiáng)，輸出局部服飾圖片，如圖2所示。

（2）多任務(wù)屬性分類模塊

本模塊經(jīng)過局部服飾圖片輸入，基于NasNet算法模型，引入多任務(wù)訓(xùn)練，提出增量標(biāo)簽的表達(dá)方式，對檢測出的服飾屬性進(jìn)行多分類識別，將服飾屬性標(biāo)注相匹配的標(biāo)簽，并將其標(biāo)注在時裝圖片中，如圖3所示。

（3）搭配推薦算法模塊

輸入分類后的服飾圖片，首先基于內(nèi)容的推薦算法，構(gòu)建搭配關(guān)系，利用TF-IDF算法和余弦相似度算法計(jì)算每件時裝的相似度，并計(jì)算每件服飾的搭配度;其次基于協(xié)同過濾算法，如圖4所示。對用戶行為，購買記錄及穿搭組合分析，最后推薦個性化搭配方案，如圖5所示。

3 結(jié)束語

本文設(shè)計(jì)與實(shí)現(xiàn)的基于深度學(xué)習(xí)的時裝搭配是對服裝搭配的探索，通過對圖片中的局部服飾（如領(lǐng)口等）位置進(jìn)行檢測，根據(jù)深度學(xué)習(xí)的分類算法對局部服飾進(jìn)行識別，基于推薦算法進(jìn)行時裝搭配。本系統(tǒng)的創(chuàng)新點(diǎn)包括：

（1）利用多任務(wù)屬性分類增強(qiáng)時裝局部特征的表達(dá)能力，在具有層級結(jié)構(gòu)標(biāo)簽的分類任務(wù)中能夠達(dá)到更好的分類效果。

（2）利用基于內(nèi)容的推薦算法與協(xié)同過濾算法，構(gòu)建時裝搭配組合。

參考文獻(xiàn)：

[1] Iwata T， Wanatabe S， Sawada H. Fashion Coordinates Recommender System Using Photographs from Fashion Magazines[C] Proceedings of the International Joint Conference on Artificial Intelligence. 2011， 22（3）： 2262.

[2] Veit A，Kovacs B，Bell S，et al.Learning visual clothing style with heterogeneous dyadic co-occurrences[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：4642-4650.

[3] Liu S， Feng J， Song Z， et al. Hi， Magic Closet， Tell Me What to Wear！[C] Proceedings of the 20th ACM International Conference on Multimedia. ACM， 2012： 619-628.

[4] Liu X，Li J C，Wang J Q，et al.MMFashion：an open-source toolbox for visual fashion analysis[EB/OL].2020

【通聯(lián)編輯：光文玲】