基于深度學(xué)習(xí)的2D虛擬試衣系統(tǒng)研究

朱國(guó)迎 陳天昂 李嘉暉 劉純平

關(guān)鍵詞：虛擬試衣；深度學(xué)習(xí)；圖像合成

1引言

虛擬試衣系統(tǒng)可以幫助人們?cè)诰W(wǎng)絡(luò)上試穿衣物，以判斷該衣物是否合身。除了電子商務(wù)領(lǐng)域，虛擬試衣在時(shí)尚圖片編輯、服裝檢索等領(lǐng)域仍有著廣泛的應(yīng)用。目前的虛擬試衣系統(tǒng)分為兩類：3D試衣和2D試衣。3D試衣需要把服裝渲染到三維模型上，效果穩(wěn)定。但是，獲取3D數(shù)據(jù)的過(guò)程在硬件的部署和計(jì)算效率上成本高昂，不利于推廣使用。2D試衣只需要一張用戶照片，一張服裝圖片，就可以生成一張穿著指定服裝的用戶照片?？梢?jiàn)，2D試衣使用便利，具有較大應(yīng)用前景和研究?jī)r(jià)值。人工修圖可以給圖片中的人物做簡(jiǎn)易的換裝。但這種方式不僅手工勞動(dòng)較多且效果十分局限。為了讓換衣后圖片質(zhì)量更高，可以采用深度學(xué)習(xí)方法制作2D虛擬換衣系統(tǒng)。本文對(duì)基于深度學(xué)習(xí)的2D虛擬試衣系統(tǒng)進(jìn)行了解讀和探討。

2效果要求

2D虛擬試衣系統(tǒng)的本質(zhì)是圖像合成，即使用一張人物圖像和一張目標(biāo)服裝圖像來(lái)合成穿著指定服裝的人物圖像。合成后的圖像一般需要達(dá)到以下要求才能基本符合實(shí)際需求[1]：（1）圖片中人物的身體部位和姿勢(shì)需要與輸入的用戶照片相同；（2）生成圖片中的服裝需要根據(jù)人的姿勢(shì)和輪廓變形，試衣系統(tǒng)需要讓這件衣服看上去是“穿”在用戶身上；（3）生成圖片中的服裝不僅包括顏色和紋理這些簡(jiǎn)單的特征，還包含一些原有的相對(duì)復(fù)雜的圖案。

3模型方法

現(xiàn)有深度學(xué)習(xí)模型的圖像數(shù)據(jù)來(lái)源于網(wǎng)絡(luò)上的人物圖像和店內(nèi)服裝圖像。這些圖像數(shù)據(jù)往往不是成對(duì)的。我們通常只能獲得穿著目標(biāo)服裝的人物圖像和服裝圖像，難以獲得目標(biāo)人物以相同的姿勢(shì)穿其他衣服的圖像。因此，現(xiàn)有的2D虛擬試衣的深度學(xué)習(xí)模型通常采用自監(jiān)督學(xué)習(xí)方式，主要分為以下兩種：?jiǎn)蜗蛑貥?gòu)的圖像修復(fù)方法和循環(huán)一致性生成法。單向重構(gòu)的圖像修復(fù)方法通過(guò)遮蓋人物圖像的服裝區(qū)域，然后使用服裝圖像重建已遮蓋的區(qū)域。循環(huán)一致性生成法源于CycleGANE2]，該方法用來(lái)解決在GAN模型下圖像數(shù)據(jù)不配對(duì)的問(wèn)題。下文會(huì)具體解釋循環(huán)一致性。

3.1單向重構(gòu)的圖像修復(fù)方法

（1）VITON是第一個(gè)專注于2D虛擬試衣的深度學(xué)習(xí)模型。它采用一種“由粗到細(xì)”的策略，將目標(biāo)服裝無(wú)縫傳輸?shù)接脩舯灰挛锔采w的部分。VITON包含三個(gè)部分：用戶表示模塊、U-net結(jié)構(gòu)的生成器和細(xì)化網(wǎng)絡(luò)。為了滿足上述虛擬換衣的效果要求，VITON首先得到一個(gè)無(wú)關(guān)服裝信息的人物表示。該表示包含三部分：姿勢(shì)熱圖、用戶的身體表示、臉和頭發(fā)的分割。有了人物表示，就可以在輸出圖像里保持原照片人物輪廓?；谠摕o(wú)關(guān)服裝信息的用戶表示和目標(biāo)服裝，生成器生成一個(gè)粗略的合成圖像和掩碼。根據(jù)該掩碼計(jì)算出TPS參數(shù)，再根據(jù)TPS參數(shù)將目標(biāo)服裝形變成“合身”的形狀。VITON通過(guò)細(xì)化網(wǎng)絡(luò)將形變好的服裝與生成的粗糙的合成圖像進(jìn)行匹配，并與其中的衣物區(qū)域進(jìn)行無(wú)縫連接。

（2）CP_VTON[3]模型緊隨VITON被提出。VITON中服裝圖像在根據(jù)掩碼形變時(shí)會(huì)導(dǎo)致細(xì)節(jié)特征缺失。因?yàn)檠诖a只能表示出形狀信息，生成的TPS參數(shù)并不能有效指導(dǎo)衣物上的具體花紋一起形變。而CP-VTON提出了一種新的可學(xué)習(xí)的薄板樣條變換以替代VITON中的形變過(guò)程。該變換通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，輸人人物表示信息和目標(biāo)服裝，跳過(guò)掩碼，直接生成TPS參數(shù)。該TPS參數(shù)可以更好地形變衣物，使它與人物對(duì)齊。實(shí)驗(yàn)證明，CP-VTON生成圖片的紋理圖案特征比Viton清晰得多。

（3） Viton_HDE4]模型為消除偽影影響、提高生成圖片的分辨率而生。該模型提出了ALIAS歸一化和ALIAS生成器，解決了形變后的衣物與人物輪廓不對(duì)齊問(wèn)題，有效地維護(hù)了衣服的細(xì)節(jié)。ALIAS歸一化操作在形變后衣物的錯(cuò)位區(qū)域上執(zhí)行標(biāo)準(zhǔn)化，刪除了圖像中的衣物的背景信息。ALIAS生成器由一系列ALIAS殘差塊和上采樣層組成。而每個(gè)ALIAS殘差塊由ALIAS歸一化操作和卷積、激活函數(shù)組成。實(shí)驗(yàn)證明．ALIAS生成器比U-net網(wǎng)絡(luò)生成的衣服紋理更加細(xì)化。

上述模型都基于以下兩個(gè)過(guò)程：形變服裝圖像以適應(yīng)人物輪廓：將形變后的服裝圖像與遮罩后的人物圖像融合。這類方法的缺點(diǎn)在于，當(dāng)目標(biāo)服裝與輸入圖像中的服裝有明顯差異時(shí)，形變難度太大，效果不佳。如果輸入圖像中人物穿著短袖，但是目標(biāo)服裝是長(zhǎng)袖時(shí)，單向重構(gòu)的圖像修復(fù)方法會(huì)把這件長(zhǎng)袖重構(gòu)成短袖。因?yàn)槠淙狈Χ说蕉擞?xùn)練，從而限制了這類方法的泛化潛力。

3.2循環(huán)一致性生成法

（1） CAGAN[s]把虛擬試衣問(wèn)題建模成圖像類比問(wèn)題：找出數(shù)據(jù)集中目標(biāo)服裝圖像和穿著該服裝的人物的聯(lián)系。這種聯(lián)系包括但不限于遮擋、照明、3D旋轉(zhuǎn)和變形。通過(guò)深度學(xué)習(xí)模型獲取這種聯(lián)系后，我們就可以給任意人物圖像換上目標(biāo)服裝照片。這樣的建模思路很符合深度學(xué)習(xí)的一貫做法，可以端到端的訓(xùn)練模型。

CAGAN基于條件生成對(duì)抗網(wǎng)絡(luò)的框架來(lái)實(shí)現(xiàn)，它包括兩個(gè)部分：用來(lái)生成換裝后人物圖像的學(xué)習(xí)生成器G和鑒別器D。鑒別器D要做出兩個(gè)判斷：G生成的圖像是否逼真：G生成的人物圖像是否和目標(biāo)服裝的聯(lián)系在數(shù)據(jù)集中觀察到的一致。在訓(xùn)練的過(guò)程中，G和D相互受益：D的梯度引導(dǎo)G生成更高質(zhì)量的圖像，而新生成的圖像構(gòu)成D的負(fù)樣本。當(dāng)找到一個(gè)平衡點(diǎn)時(shí)，該過(guò)程終止。最終G生成的圖像足夠逼真，且D無(wú)法分辨G生成的人物圖像是否和目標(biāo)服裝有無(wú)聯(lián)系。另外，CAGAN引入了循環(huán)一致性的概念。當(dāng)G生成的人物圖像中服裝被換回，該圖像應(yīng)該與原圖像達(dá)成的效果一致。CAGAN解決2D虛擬試衣問(wèn)題的思路是典型的深度學(xué)習(xí)方法。它對(duì)虛擬試衣問(wèn)題的上下文做出盡可能少的假設(shè)，且強(qiáng)制執(zhí)行循環(huán)一致性約束，但把信息提取全部交給模型的做法很有可能忽略了虛擬換衣場(chǎng)景下信息的特殊性。

（2）DCTONE6]模型充分考慮了2D虛擬試衣場(chǎng)景的特殊性，將模型分為三個(gè)部分：服裝形變模塊，保存了服裝設(shè)計(jì)；皮膚合成模塊，包括人體部分的生成：圖像合成模塊，用于生成輸出圖像。服裝形變模塊包含兩個(gè)順序連接的編碼器一解碼器網(wǎng)絡(luò)（MPN：掩碼預(yù)測(cè)網(wǎng)絡(luò)，STN：空間轉(zhuǎn)換網(wǎng)絡(luò)）和一個(gè)編碼器網(wǎng)絡(luò)。與以前VITON類模型不同的是，DCTON模型采用了Densepose描述符來(lái)表示人物特征，因?yàn)樗粌H提供了關(guān)鍵點(diǎn)位置，還提供了語(yǔ)義解析結(jié)果（如身體和手臂形狀），而普通的2D姿態(tài)估計(jì)器只能提供關(guān)鍵點(diǎn)位置。語(yǔ)義解析的結(jié)果使模型在服裝合身和特征生成方面變得更加細(xì)節(jié)化。然后DCTON將Densepose描述的人物特征和用戶人物照片發(fā)送到MPN中，它將生成輸入圖像的服裝區(qū)域和皮膚區(qū)域的掩模，并分別作為進(jìn)一步形變服裝和合成人物圖像的先驗(yàn)指導(dǎo)。在得到服裝區(qū)域的掩模后，將它與目標(biāo)服裝一起送進(jìn)STN。STN會(huì)根據(jù)服裝區(qū)域掩模的指導(dǎo)來(lái)形變目標(biāo)服裝。

DCTON模型也使用了循環(huán)一致性法約束圖像生成。首先給定一個(gè)皮膚區(qū)域圖像、目標(biāo)服裝、Densepose描述符，原人物圖像，然后生成試穿結(jié)果圖像。反過(guò)來(lái)，使用生成的試穿結(jié)果圖像、結(jié)果圖像的皮膚區(qū)域，原服裝和Densepose對(duì)結(jié)果圖像的描述符進(jìn)行輸入，生成逆預(yù)測(cè)的輸入圖像。

DCTON模型根據(jù)2D虛擬試衣的特殊需求，設(shè)計(jì)整體的網(wǎng)絡(luò)架構(gòu)，如專門設(shè)計(jì)了皮膚合成模塊和STN模塊，其明顯比CAGAN更加適合虛擬試衣任務(wù)，并在圖像中表現(xiàn)更突出。

4創(chuàng)新方向

4.1優(yōu)化網(wǎng)絡(luò)整體架構(gòu)

網(wǎng)絡(luò)整體架構(gòu)應(yīng)依據(jù)2D虛擬試衣的任務(wù)目標(biāo)而定，讓深度學(xué)習(xí)方法更加適用于虛擬試衣任務(wù)場(chǎng)景。正如VITON類框架的設(shè)計(jì)完全與人們換裝的過(guò)程相關(guān)：遮蓋服裝區(qū)域是“脫衣”的過(guò)程，而形變服裝照片則是“穿衣”的過(guò)程。因此，充分考慮深度模型的應(yīng)用場(chǎng)景是優(yōu)化網(wǎng)絡(luò)整體架構(gòu)的關(guān)鍵。在DCTON模型里，皮膚合成模塊給了我們同樣的啟示，該模塊旨在恢復(fù)試穿時(shí)被遮蓋的人體皮膚區(qū)域，針對(duì)性地改善其他模型生成的圖像中皮膚部分殘缺的問(wèn)題。在之后的工作中，我們也可以針對(duì)人臉細(xì)節(jié)缺失的問(wèn)題，設(shè)計(jì)人臉生成模塊。在大多數(shù)情況下，要保留人臉的細(xì)節(jié)將人臉部分cut-paste即可。但仍有一些特殊情況，如原照片人物佩戴頭飾，我們需要在更換一件新衣服的同時(shí)更換新的頭飾。更特殊的情況，原來(lái)的頭飾遮擋住了人臉，我們需要恢復(fù)被遮擋的區(qū)域。模型在投入到實(shí)踐之前，是否需要根據(jù)應(yīng)用場(chǎng)景設(shè)計(jì)新的模塊值得深思。

4.2優(yōu)化特征提取

優(yōu)化特征提取是優(yōu)化深度模型常見(jiàn)的思路，選擇更加細(xì)致的特征和使用更豐富的特征在多數(shù)情況下能提高模型的效果。在VITON類中，CP-VITON用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，直接生成TPS參數(shù)，選擇跳過(guò)掩碼，就是為了能夠收集更多的特征信息。ClothFlow模型引入了外觀流的概念以替代TPS參數(shù)，從而更加準(zhǔn)確地形變目標(biāo)服裝，這也是在保留更多的特征細(xì)節(jié)。DCTON模型使用Densepose描述符去獲取人物信息，也是為了得到更細(xì)致的特征——語(yǔ)義解析結(jié)果。在之后的工作中，我們可以嘗試更加高級(jí)的特征提取方式去獲取特征，以及嘗試一些新的卷積方式去代替一般的卷積核。值得一提的是，GAN在自監(jiān)督圖像生成領(lǐng)域早有大的作為，因此，CAGAN如果采取更加細(xì)致和豐富的特征或許會(huì)有令人驚喜的效果。

5結(jié)束語(yǔ)

本文探討了基于深度學(xué)習(xí)的2D虛擬試衣模型，詳細(xì)對(duì)比和闡述了單向重構(gòu)法與循環(huán)一致性生成法下模型各自的特點(diǎn)，總結(jié)并歸納了基于深度學(xué)習(xí)的2D虛擬試衣模型的創(chuàng)新思路。在實(shí)際應(yīng)用場(chǎng)景下，我們需要根據(jù)具體場(chǎng)景構(gòu)建恰當(dāng)?shù)纳疃葘W(xué)習(xí)模型結(jié)構(gòu)，并盡量使用更優(yōu)的特征提取方法。