基于深度學(xué)習(xí)的2D虛擬試衣系統(tǒng)研究

朱國迎 陳天昂 李嘉暉 劉純平

關(guān)鍵詞：虛擬試衣；深度學(xué)習(xí)；圖像合成

1引言

虛擬試衣系統(tǒng)可以幫助人們在網(wǎng)絡(luò)上試穿衣物，以判斷該衣物是否合身。除了電子商務(wù)領(lǐng)域，虛擬試衣在時尚圖片編輯、服裝檢索等領(lǐng)域仍有著廣泛的應(yīng)用。目前的虛擬試衣系統(tǒng)分為兩類：3D試衣和2D試衣。3D試衣需要把服裝渲染到三維模型上，效果穩(wěn)定。但是，獲取3D數(shù)據(jù)的過程在硬件的部署和計算效率上成本高昂，不利于推廣使用。2D試衣只需要一張用戶照片，一張服裝圖片，就可以生成一張穿著指定服裝的用戶照片。可見，2D試衣使用便利，具有較大應(yīng)用前景和研究價值。人工修圖可以給圖片中的人物做簡易的換裝。但這種方式不僅手工勞動較多且效果十分局限。為了讓換衣后圖片質(zhì)量更高，可以采用深度學(xué)習(xí)方法制作2D虛擬換衣系統(tǒng)。本文對基于深度學(xué)習(xí)的2D虛擬試衣系統(tǒng)進行了解讀和探討。

2效果要求

2D虛擬試衣系統(tǒng)的本質(zhì)是圖像合成，即使用一張人物圖像和一張目標(biāo)服裝圖像來合成穿著指定服裝的人物圖像。合成后的圖像一般需要達到以下要求才能基本符合實際需求[1]：（1）圖片中人物的身體部位和姿勢需要與輸入的用戶照片相同；（2）生成圖片中的服裝需要根據(jù)人的姿勢和輪廓變形，試衣系統(tǒng)需要讓這件衣服看上去是“穿”在用戶身上；（3）生成圖片中的服裝不僅包括顏色和紋理這些簡單的特征，還包含一些原有的相對復(fù)雜的圖案。

3模型方法

現(xiàn)有深度學(xué)習(xí)模型的圖像數(shù)據(jù)來源于網(wǎng)絡(luò)上的人物圖像和店內(nèi)服裝圖像。這些圖像數(shù)據(jù)往往不是成對的。我們通常只能獲得穿著目標(biāo)服裝的人物圖像和服裝圖像，難以獲得目標(biāo)人物以相同的姿勢穿其他衣服的圖像。因此，現(xiàn)有的2D虛擬試衣的深度學(xué)習(xí)模型通常采用自監(jiān)督學(xué)習(xí)方式，主要分為以下兩種：單向重構(gòu)的圖像修復(fù)方法和循環(huán)一致性生成法。單向重構(gòu)的圖像修復(fù)方法通過遮蓋人物圖像的服裝區(qū)域，然后使用服裝圖像重建已遮蓋的區(qū)域。循環(huán)一致性生成法源于CycleGANE2]，該方法用來解決在GAN模型下圖像數(shù)據(jù)不配對的問題。下文會具體解釋循環(huán)一致性。

3.1單向重構(gòu)的圖像修復(fù)方法

（1）VITON是第一個專注于2D虛擬試衣的深度學(xué)習(xí)模型。它采用一種“由粗到細”的策略，將目標(biāo)服裝無縫傳輸?shù)接脩舯灰挛锔采w的部分。VITON包含三個部分：用戶表示模塊、U-net結(jié)構(gòu)的生成器和細化網(wǎng)絡(luò)。為了滿足上述虛擬換衣的效果要求，VITON首先得到一個無關(guān)服裝信息的人物表示。該表示包含三部分：姿勢熱圖、用戶的身體表示、臉和頭發(fā)的分割。有了人物表示，就可以在輸出圖像里保持原照片人物輪廓?；谠摕o關(guān)服裝信息的用戶表示和目標(biāo)服裝，生成器生成一個粗略的合成圖像和掩碼。根據(jù)該掩碼計算出TPS參數(shù)，再根據(jù)TPS參數(shù)將目標(biāo)服裝形變成“合身”的形狀。VITON通過細化網(wǎng)絡(luò)將形變好的服裝與生成的粗糙的合成圖像進行匹配，并與其中的衣物區(qū)域進行無縫連接。

（2）CP_VTON[3]模型緊隨VITON被提出。VITON中服裝圖像在根據(jù)掩碼形變時會導(dǎo)致細節(jié)特征缺失。因為掩碼只能表示出形狀信息，生成的TPS參數(shù)并不能有效指導(dǎo)衣物上的具體花紋一起形變。而CP-VTON提出了一種新的可學(xué)習(xí)的薄板樣條變換以替代VITON中的形變過程。該變換通過卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，輸人人物表示信息和目標(biāo)服裝，跳過掩碼，直接生成TPS參數(shù)。該TPS參數(shù)可以更好地形變衣物，使它與人物對齊。實驗證明，CP-VTON生成圖片的紋理圖案特征比Viton清晰得多。

（3） Viton_HDE4]模型為消除偽影影響、提高生成圖片的分辨率而生。該模型提出了ALIAS歸一化和ALIAS生成器，解決了形變后的衣物與人物輪廓不對齊問題，有效地維護了衣服的細節(jié)。ALIAS歸一化操作在形變后衣物的錯位區(qū)域上執(zhí)行標(biāo)準(zhǔn)化，刪除了圖像中的衣物的背景信息。ALIAS生成器由一系列ALIAS殘差塊和上采樣層組成。而每個ALIAS殘差塊由ALIAS歸一化操作和卷積、激活函數(shù)組成。實驗證明．ALIAS生成器比U-net網(wǎng)絡(luò)生成的衣服紋理更加細化。

上述模型都基于以下兩個過程：形變服裝圖像以適應(yīng)人物輪廓：將形變后的服裝圖像與遮罩后的人物圖像融合。這類方法的缺點在于，當(dāng)目標(biāo)服裝與輸入圖像中的服裝有明顯差異時，形變難度太大，效果不佳。如果輸入圖像中人物穿著短袖，但是目標(biāo)服裝是長袖時，單向重構(gòu)的圖像修復(fù)方法會把這件長袖重構(gòu)成短袖。因為其缺乏端到端訓(xùn)練，從而限制了這類方法的泛化潛力。

3.2循環(huán)一致性生成法

（1） CAGAN[s]把虛擬試衣問題建模成圖像類比問題：找出數(shù)據(jù)集中目標(biāo)服裝圖像和穿著該服裝的人物的聯(lián)系。這種聯(lián)系包括但不限于遮擋、照明、3D旋轉(zhuǎn)和變形。通過深度學(xué)習(xí)模型獲取這種聯(lián)系后，我們就可以給任意人物圖像換上目標(biāo)服裝照片。這樣的建模思路很符合深度學(xué)習(xí)的一貫做法，可以端到端的訓(xùn)練模型。

CAGAN基于條件生成對抗網(wǎng)絡(luò)的框架來實現(xiàn)，它包括兩個部分：用來生成換裝后人物圖像的學(xué)習(xí)生成器G和鑒別器D。鑒別器D要做出兩個判斷：G生成的圖像是否逼真：G生成的人物圖像是否和目標(biāo)服裝的聯(lián)系在數(shù)據(jù)集中觀察到的一致。在訓(xùn)練的過程中，G和D相互受益：D的梯度引導(dǎo)G生成更高質(zhì)量的圖像，而新生成的圖像構(gòu)成D的負樣本。當(dāng)找到一個平衡點時，該過程終止。最終G生成的圖像足夠逼真，且D無法分辨G生成的人物圖像是否和目標(biāo)服裝有無聯(lián)系。另外，CAGAN引入了循環(huán)一致性的概念。當(dāng)G生成的人物圖像中服裝被換回，該圖像應(yīng)該與原圖像達成的效果一致。CAGAN解決2D虛擬試衣問題的思路是典型的深度學(xué)習(xí)方法。它對虛擬試衣問題的上下文做出盡可能少的假設(shè)，且強制執(zhí)行循環(huán)一致性約束，但把信息提取全部交給模型的做法很有可能忽略了虛擬換衣場景下信息的特殊性。

（2）DCTONE6]模型充分考慮了2D虛擬試衣場景的特殊性，將模型分為三個部分：服裝形變模塊，保存了服裝設(shè)計；皮膚合成模塊，包括人體部分的生成：圖像合成模塊，用于生成輸出圖像。服裝形變模塊包含兩個順序連接的編碼器一解碼器網(wǎng)絡(luò)（MPN：掩碼預(yù)測網(wǎng)絡(luò)，STN：空間轉(zhuǎn)換網(wǎng)絡(luò)）和一個編碼器網(wǎng)絡(luò)。與以前VITON類模型不同的是，DCTON模型采用了Densepose描述符來表示人物特征，因為它不僅提供了關(guān)鍵點位置，還提供了語義解析結(jié)果（如身體和手臂形狀），而普通的2D姿態(tài)估計器只能提供關(guān)鍵點位置。語義解析的結(jié)果使模型在服裝合身和特征生成方面變得更加細節(jié)化。然后DCTON將Densepose描述的人物特征和用戶人物照片發(fā)送到MPN中，它將生成輸入圖像的服裝區(qū)域和皮膚區(qū)域的掩模，并分別作為進一步形變服裝和合成人物圖像的先驗指導(dǎo)。在得到服裝區(qū)域的掩模后，將它與目標(biāo)服裝一起送進STN。STN會根據(jù)服裝區(qū)域掩模的指導(dǎo)來形變目標(biāo)服裝。

DCTON模型也使用了循環(huán)一致性法約束圖像生成。首先給定一個皮膚區(qū)域圖像、目標(biāo)服裝、Densepose描述符，原人物圖像，然后生成試穿結(jié)果圖像。反過來，使用生成的試穿結(jié)果圖像、結(jié)果圖像的皮膚區(qū)域，原服裝和Densepose對結(jié)果圖像的描述符進行輸入，生成逆預(yù)測的輸入圖像。

DCTON模型根據(jù)2D虛擬試衣的特殊需求，設(shè)計整體的網(wǎng)絡(luò)架構(gòu)，如專門設(shè)計了皮膚合成模塊和STN模塊，其明顯比CAGAN更加適合虛擬試衣任務(wù)，并在圖像中表現(xiàn)更突出。

4創(chuàng)新方向

4.1優(yōu)化網(wǎng)絡(luò)整體架構(gòu)

網(wǎng)絡(luò)整體架構(gòu)應(yīng)依據(jù)2D虛擬試衣的任務(wù)目標(biāo)而定，讓深度學(xué)習(xí)方法更加適用于虛擬試衣任務(wù)場景。正如VITON類框架的設(shè)計完全與人們換裝的過程相關(guān)：遮蓋服裝區(qū)域是“脫衣”的過程，而形變服裝照片則是“穿衣”的過程。因此，充分考慮深度模型的應(yīng)用場景是優(yōu)化網(wǎng)絡(luò)整體架構(gòu)的關(guān)鍵。在DCTON模型里，皮膚合成模塊給了我們同樣的啟示，該模塊旨在恢復(fù)試穿時被遮蓋的人體皮膚區(qū)域，針對性地改善其他模型生成的圖像中皮膚部分殘缺的問題。在之后的工作中，我們也可以針對人臉細節(jié)缺失的問題，設(shè)計人臉生成模塊。在大多數(shù)情況下，要保留人臉的細節(jié)將人臉部分cut-paste即可。但仍有一些特殊情況，如原照片人物佩戴頭飾，我們需要在更換一件新衣服的同時更換新的頭飾。更特殊的情況，原來的頭飾遮擋住了人臉，我們需要恢復(fù)被遮擋的區(qū)域。模型在投入到實踐之前，是否需要根據(jù)應(yīng)用場景設(shè)計新的模塊值得深思。

4.2優(yōu)化特征提取

優(yōu)化特征提取是優(yōu)化深度模型常見的思路，選擇更加細致的特征和使用更豐富的特征在多數(shù)情況下能提高模型的效果。在VITON類中，CP-VITON用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，直接生成TPS參數(shù)，選擇跳過掩碼，就是為了能夠收集更多的特征信息。ClothFlow模型引入了外觀流的概念以替代TPS參數(shù)，從而更加準(zhǔn)確地形變目標(biāo)服裝，這也是在保留更多的特征細節(jié)。DCTON模型使用Densepose描述符去獲取人物信息，也是為了得到更細致的特征——語義解析結(jié)果。在之后的工作中，我們可以嘗試更加高級的特征提取方式去獲取特征，以及嘗試一些新的卷積方式去代替一般的卷積核。值得一提的是，GAN在自監(jiān)督圖像生成領(lǐng)域早有大的作為，因此，CAGAN如果采取更加細致和豐富的特征或許會有令人驚喜的效果。

5結(jié)束語

本文探討了基于深度學(xué)習(xí)的2D虛擬試衣模型，詳細對比和闡述了單向重構(gòu)法與循環(huán)一致性生成法下模型各自的特點，總結(jié)并歸納了基于深度學(xué)習(xí)的2D虛擬試衣模型的創(chuàng)新思路。在實際應(yīng)用場景下，我們需要根據(jù)具體場景構(gòu)建恰當(dāng)?shù)纳疃葘W(xué)習(xí)模型結(jié)構(gòu)，并盡量使用更優(yōu)的特征提取方法。