基于生成對(duì)抗網(wǎng)絡(luò)的時(shí)尚內(nèi)容和風(fēng)格遷移

丁文華，杜軍威，侯 磊，劉金環(huán)

青島科技大學(xué)信息科學(xué)技術(shù)學(xué)院 山東 青島 266061

近年來(lái)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展取得了重大的突破，尤其是深度學(xué)習(xí)的發(fā)展使計(jì)算機(jī)具備了感知物體、識(shí)別內(nèi)容的強(qiáng)大感知能力。生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）作為深度學(xué)習(xí)的分支之一，自Goodfellow[1]在2014 年提出后，由于其新穎的對(duì)抗思想及優(yōu)秀的生成效果，被學(xué)術(shù)界和工業(yè)界所重視。目前GAN在圖像處理領(lǐng)域和計(jì)算機(jī)視覺(jué)領(lǐng)域得到了廣泛的研究和應(yīng)用[2]，尤其是圖像轉(zhuǎn)換任務(wù)，例如圖像著色[3-5]、語(yǔ)義分割[6-7]、風(fēng)格轉(zhuǎn)換[8-12]、圖像超分辨率[13-14]等。GAN進(jìn)行圖像轉(zhuǎn)換任務(wù)可以從輸入數(shù)據(jù)類(lèi)型來(lái)分類(lèi)，一類(lèi)是基于配對(duì)數(shù)據(jù)集建立的模型，一類(lèi)則是針對(duì)無(wú)配對(duì)數(shù)據(jù)集建立的模型。

在配對(duì)數(shù)據(jù)集下，條件生成對(duì)抗網(wǎng)絡(luò)[15]（conditional GAN，cGAN）使用類(lèi)標(biāo)簽作為生成器和判別器的條件信息，最終來(lái)生成特定類(lèi)的圖像?；赾GAN，Isola 等人[16]提出一個(gè)改進(jìn)的模型Pix2pix，解決許多在過(guò)去使用不同損失函數(shù)才能解決的問(wèn)題，但該模型只能對(duì)特定形狀的簡(jiǎn)單圖像做線稿上色任務(wù)，如圖1（a）所示。在有配對(duì)數(shù)據(jù)集提供監(jiān)督的情況下，這些方法可以生成優(yōu)秀的圖像，但是在許多任務(wù)中，獲得配對(duì)的數(shù)據(jù)集通常比較困難和昂貴，這極大地限制了圖像轉(zhuǎn)換的性能。為了解決這個(gè)問(wèn)題，CycleGAN[17]提供了一種新的見(jiàn)解——循環(huán)一致性損失，直接使用兩組生成器和判別器來(lái)學(xué)習(xí)源域和目標(biāo)域之間的映射和逆映射，完成圖像的雙向轉(zhuǎn)換任務(wù)，如圖1（b）所示。該方法雖然有效，但是循環(huán)一致?lián)p失都是基于源域和目標(biāo)域之間存在嚴(yán)格的雙射關(guān)系，該條件很難滿(mǎn)足。這時(shí)TravelGAN[18]、DistanceGAN[19]和GcGAN[20]通過(guò)預(yù)定義的距離函數(shù)來(lái)保證輸出圖像與目標(biāo)域之間的相似性，實(shí)現(xiàn)單向的圖像轉(zhuǎn)換，但是這些方法需要依賴(lài)于整個(gè)圖像之間的關(guān)系完成。此外，基于神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移[21]（neural style transfer，NST）的發(fā)展與一些新的歸一化方法密切相關(guān)。在NST 中最早出現(xiàn)的歸一化方法為實(shí)例歸一化[22]（instance normalization，IN），在IN 的基礎(chǔ)上，Dumoulin 等人[23]提出了條件歸一化（conditional instance normalization，CIN），它是通過(guò)改變風(fēng)格圖像的仿射參數(shù)實(shí)現(xiàn)多風(fēng)格遷移。受到CIN方法的啟發(fā)，Huang 等人[24]提出了一種自適應(yīng)實(shí)例歸一化層（adaptive instance normalization，Adain），通過(guò)使用自適應(yīng)仿射參數(shù)進(jìn)行任意風(fēng)格的遷移，如圖1（c）所示。然而，“自適應(yīng)”仿射參數(shù)是通過(guò)手動(dòng)定義的方式計(jì)算得來(lái)，具有一定的局限性。

圖1 經(jīng)典的圖像轉(zhuǎn)換任務(wù)對(duì)比Fig.1 Comparison of classic image conversion task

目前，生成對(duì)抗網(wǎng)絡(luò)也被廣泛應(yīng)用于各種與時(shí)尚相關(guān)的任務(wù)，如虛擬試穿[25-27]、時(shí)尚設(shè)計(jì)[28-29]和時(shí)尚生成[30-34]等。其中，在虛擬試穿方面，Lassner 等人[25]提出了ClothNet模型，應(yīng)用GAN來(lái)生成人體服裝圖像，實(shí)現(xiàn)了虛擬試衣任務(wù)。但該方法存在服裝外觀準(zhǔn)確性無(wú)法控制的問(wèn)題。針對(duì)該問(wèn)題，Jetchev等人[26]提出了條件類(lèi)比對(duì)抗生成網(wǎng)絡(luò)CA-GAN，使服裝模特可以自由換裝。但是該模型只能粗略變換服裝，生成的服裝圖像無(wú)法適應(yīng)姿勢(shì)變化。隨后，Han 等人[27]提出了虛擬試裝系統(tǒng)VITON。它是虛擬試衣研究領(lǐng)域的里程碑，以后的許多方法都是以其為基準(zhǔn)。在時(shí)尚設(shè)計(jì)方面，Sbai等人[28]通過(guò)對(duì)紋理和形狀的特定調(diào)節(jié)，對(duì)時(shí)尚單品進(jìn)行設(shè)計(jì)與生成。這是第一個(gè)將設(shè)計(jì)與時(shí)尚單品聯(lián)系起來(lái)的任務(wù)。接著，Mo 等人[29]提出的InstaGAN 實(shí)現(xiàn)了牛仔褲和短裙、短褲和長(zhǎng)褲的互換。在時(shí)尚生成方面，TextureGAN[30]是一種以時(shí)尚單品的草圖、顏色和紋理為指導(dǎo)的深度圖像生成方法。該方法允許用戶(hù)在草圖的任意位置和以任意比例放置紋理圖像，以控制所需的輸出紋理。后來(lái)，AMGAN[31]是能夠根據(jù)目標(biāo)屬性的變化，使用注意力機(jī)制對(duì)服裝的相關(guān)屬性區(qū)域進(jìn)行轉(zhuǎn)換，同時(shí)保持其他屬性不變。更進(jìn)一步地，Zhu等人[32]提出了FashionGAN模型，它是通過(guò)訓(xùn)練兩個(gè)單獨(dú)的網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)多個(gè)服裝屬性的轉(zhuǎn)換任務(wù)。然而，該方法在服裝生成過(guò)程中，無(wú)法保留背景且在細(xì)粒度紋理合成方面效果也不明顯。除此之外，F(xiàn)ACT[33]是一種基于語(yǔ)義的服裝轉(zhuǎn)移融合注意力模型，主要根據(jù)給定的文本描述對(duì)人體上衣服的紋理和顏色進(jìn)行轉(zhuǎn)換，同時(shí)保持住他的姿勢(shì)、體型等。Yoo 等人[34]提出了一種在像素級(jí)別上的圖像生成模型，該方法可以根據(jù)穿著者的輸入圖像生成一件對(duì)應(yīng)的衣服。本文主要傾向于時(shí)尚單品的生成任務(wù)，但是現(xiàn)在的相關(guān)方法都是在兩個(gè)域之間進(jìn)行圖像轉(zhuǎn)換，而著重于對(duì)時(shí)尚單品進(jìn)行多域特征的融合。如圖1（d）所示，給定一件時(shí)尚單品、一張風(fēng)景圖像（即內(nèi)容圖像）和一張風(fēng)格圖像，主要任務(wù)是生成融合內(nèi)容圖像和風(fēng)格圖像特征的時(shí)尚單品。除生成對(duì)應(yīng)風(fēng)格的時(shí)尚單品，對(duì)其進(jìn)行風(fēng)格遷移外，還需生成與給定內(nèi)容圖像相關(guān)的圖案，即對(duì)其進(jìn)行內(nèi)容遷移。對(duì)于這種多個(gè)圖像域（即時(shí)尚單品、風(fēng)格圖像和內(nèi)容圖像）的特征融合任務(wù)，上述方法均無(wú)法實(shí)現(xiàn)。

針對(duì)以上問(wèn)題，提出了基于生成對(duì)抗網(wǎng)絡(luò)的時(shí)尚內(nèi)容和風(fēng)格遷移模型（content and style transfer based on generative adversarial network，CS-GAN），該模型不僅能夠保留時(shí)尚單品的全局結(jié)構(gòu)信息，而且能夠在未配對(duì)的數(shù)據(jù)集上實(shí)現(xiàn)多個(gè)圖像域（如時(shí)尚單品、內(nèi)容圖像和風(fēng)格圖像等）的特征融合，從而有效地完成時(shí)尚單品的內(nèi)容特征（如顏色、紋理）遷移和風(fēng)格特征（如莫奈風(fēng)、立體派）遷移。它允許在單個(gè)網(wǎng)絡(luò)中同時(shí)訓(xùn)練具有不同域的多個(gè)數(shù)據(jù)集，學(xué)習(xí)所有目標(biāo)域之間的融合映射。具體而言，本文在內(nèi)容遷移模塊提出了基于對(duì)比學(xué)習(xí)策略，采用對(duì)比學(xué)習(xí)框架來(lái)最大化輸入的時(shí)尚單品與生成圖像塊之間的互信息。該方法能夠?qū)⑺鼈冎g對(duì)應(yīng)的圖像塊相互關(guān)聯(lián)，同時(shí)與其他的圖像塊相互遠(yuǎn)離，避免了依賴(lài)于整幅圖像之間的關(guān)系，可實(shí)現(xiàn)時(shí)尚單品的內(nèi)容遷移且對(duì)比學(xué)習(xí)可以在小數(shù)據(jù)集上使用。在風(fēng)格遷移模塊提出了層一致性動(dòng)態(tài)卷積（layer consistence dynamic convolution，LCDC）方法，它能夠?qū)⒉煌L(fēng)格圖像的特征編碼為可學(xué)習(xí)的卷積參數(shù)，并與時(shí)尚單品對(duì)應(yīng)層的編碼特征進(jìn)行動(dòng)態(tài)卷積操作，然后傳遞到生成器的解碼部分，實(shí)現(xiàn)時(shí)尚單品的風(fēng)格遷移。這種方法更加靈活、強(qiáng)大，而且也沒(méi)有增加模型的參數(shù)量。

綜上所述，本文的主要貢獻(xiàn)可以概括為以下三個(gè)方面：

（1）本文提出了基于生成對(duì)抗網(wǎng)絡(luò)的時(shí)尚內(nèi)容和風(fēng)格遷移模型，不僅可以保留時(shí)尚單品的全局結(jié)構(gòu)信息，而且能夠同時(shí)實(shí)現(xiàn)對(duì)時(shí)尚單品的內(nèi)容遷移（如顏色、紋理）和風(fēng)格遷移（如莫奈風(fēng)、立體派），進(jìn)而有效地完成多個(gè)圖像域的特征融合。

（2）本文提出了層一致性動(dòng)態(tài)卷積的時(shí)尚風(fēng)格遷移方法，它可以將風(fēng)格特征編碼為可學(xué)習(xí)的卷積參數(shù)，而這些參數(shù)是根據(jù)不同的風(fēng)格圖像自適應(yīng)改變的，這樣能夠?qū)r(shí)尚單品實(shí)現(xiàn)更高效、更靈活的風(fēng)格遷移。

（3）在公開(kāi)的數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，驗(yàn)證了本文提出的CS-GAN模型的有效性，在圖像合成質(zhì)量以及定量評(píng)估指標(biāo)上有了明顯的提升。

1 基于生成對(duì)抗網(wǎng)絡(luò)的時(shí)尚內(nèi)容和風(fēng)格遷移

本章詳細(xì)介紹了CS-GAN模型，其具體的結(jié)構(gòu)框架如圖2 所示。該模型在多域特征融合的生成對(duì)抗網(wǎng)絡(luò)基礎(chǔ)上，采用基于層一致性動(dòng)態(tài)卷積的時(shí)尚風(fēng)格遷移和基于對(duì)比學(xué)習(xí)的時(shí)尚單品內(nèi)容遷移。

圖2 CS-GAN模型整體結(jié)構(gòu)圖Fig.2 Overall structure diagram of CS-GAN model

1.1 問(wèn)題描述

首先對(duì)文中的一些符號(hào)進(jìn)行聲明。通過(guò)X={x1,來(lái)表示時(shí)尚單品集合，并通過(guò)和來(lái)分別表示風(fēng)格和內(nèi)容的圖像集合。其中，Nx、Ns和Nc分別為時(shí)尚單品、風(fēng)格圖像和內(nèi)容圖像的總數(shù)量。在這項(xiàng)工作中，設(shè)計(jì)了一個(gè)時(shí)尚單品生成的建模方案ψ。它對(duì)輸入的時(shí)尚單品xi、風(fēng)格圖像sj和內(nèi)容圖像cu的特征進(jìn)行融合，最終生成圖像z。該圖像在保留時(shí)尚單品全局結(jié)構(gòu)信息（如外部輪廓）的同時(shí)還融合了風(fēng)格圖像的特征（如莫奈風(fēng)、立體派）和內(nèi)容圖像的特征（如顏色、紋理），其中風(fēng)格特征突出的表現(xiàn)是色調(diào)的變化。該方案不僅能夠在未配對(duì)的數(shù)據(jù)集上實(shí)現(xiàn)多個(gè)圖像域特征的融合，且只需要學(xué)習(xí)它們之間單向的映射。其表達(dá)式如下：

其中，Θ為模型待學(xué)習(xí)的參數(shù)。

1.2 多域特征融合的生成對(duì)抗網(wǎng)絡(luò)

當(dāng)前CycleGAN[17]在兩個(gè)域的未配對(duì)圖像生成任務(wù)上實(shí)現(xiàn)了復(fù)雜的局部紋理轉(zhuǎn)換[35]，如圖像的語(yǔ)義合成[36-37]（馬到斑馬的轉(zhuǎn)換）、風(fēng)格遷移[38-41]（季節(jié)互換）和圖像著色[30-31]（百年舊照上色）。本節(jié)采用CycleGAN[17]的生成器和判別器作為基本的生成對(duì)抗網(wǎng)絡(luò)。與之不同的是，設(shè)計(jì)了一個(gè)雙分支的判別器，從而實(shí)現(xiàn)了多域的特征融合。假設(shè)給定一件時(shí)尚單品xi，主要任務(wù)是通過(guò)生成器G將它轉(zhuǎn)換成融合了風(fēng)格和內(nèi)容特征的時(shí)尚單品z，其轉(zhuǎn)化過(guò)程如下：

其中，ΘG表示生成器G中所涉及的相關(guān)參數(shù)。該生成器G由編碼器、轉(zhuǎn)換器和解碼器三部分構(gòu)成。其詳細(xì)的網(wǎng)絡(luò)架構(gòu)如圖3所示。

圖3 生成器網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Generator network structure

當(dāng)給定一件時(shí)尚單品xi時(shí)，編碼器主要通過(guò)一個(gè)三層卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)它的視覺(jué)特征編碼HN：

其中，Θenc={Wn,bn|n=1,2,…,N}為編碼器網(wǎng)絡(luò)的相關(guān)參數(shù)。Wn和bn分別表示權(quán)重和偏差。Hk為第k層的隱含表示。設(shè)置N=3，f(·)表示Relu激活函數(shù)。將編碼器最后一層的輸出HN∈?w×h×c作為時(shí)尚單品xi的視覺(jué)特征編碼。其中，w×h×c表示視覺(jué)特征編碼的維度。

轉(zhuǎn)換器主要將時(shí)尚單品的視覺(jué)特征編碼HN轉(zhuǎn)換成融合了風(fēng)格和內(nèi)容的特征編碼CSm。它采用了易優(yōu)化的深度殘差網(wǎng)絡(luò)結(jié)構(gòu)[42]，不僅保留了時(shí)尚單品xi的全局結(jié)構(gòu)信（如外部輪廓），還緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來(lái)的梯度消失問(wèn)題[43]。該網(wǎng)絡(luò)結(jié)構(gòu)可用如下公式表示：

其中，η(·)為殘差函數(shù)。Θtrans表示轉(zhuǎn)換器網(wǎng)絡(luò)的相關(guān)參數(shù)。M是殘差塊的個(gè)數(shù)，這里M=3。同樣，轉(zhuǎn)換器最后一層的輸出CSM是時(shí)尚單品xi融合風(fēng)格圖像sj和內(nèi)容圖像cu的高級(jí)特征信息。

接下來(lái)是解碼器，它與編碼器相反，由兩個(gè)反卷積層和一個(gè)卷積層組成?？梢詫⒏呒?jí)特征信息CSM解碼成融合內(nèi)容和風(fēng)格的時(shí)尚單品z,其相應(yīng)參數(shù)為Θdec。生成器的參數(shù)使用來(lái)表示。

雙分支判別器的結(jié)構(gòu)與其他主流方法類(lèi)似，均采用PatchGAN[44]，根據(jù)生成對(duì)抗網(wǎng)絡(luò)的原理，判別器和生成器相互博弈，對(duì)生成的圖像進(jìn)行真假判別。一方面，為了讓時(shí)尚單品的風(fēng)格特征更加逼真，設(shè)計(jì)了如下的風(fēng)格對(duì)抗損失函數(shù)：

其中，Ds為風(fēng)格判別器，它讓生成圖像的風(fēng)格與輸入的風(fēng)格圖像更接近。另一方面，為了讓時(shí)尚單品的內(nèi)容圖像特征遷移更充分，設(shè)計(jì)了如下的內(nèi)容對(duì)抗損失函數(shù)：

其中，Dc為內(nèi)容判別器。

圖4展示了多域特融合流程圖，通過(guò)訓(xùn)練一個(gè)生成器、兩個(gè)判別器、內(nèi)容遷移和風(fēng)格遷移模塊來(lái)實(shí)現(xiàn)多域特征融合。該任務(wù)的輸入為時(shí)尚單品、內(nèi)容和風(fēng)格三個(gè)圖像域。首先時(shí)尚單品經(jīng)過(guò)編碼器得到時(shí)尚單品的全局結(jié)構(gòu)特征，與此同時(shí)，風(fēng)格圖像輸入到基于層一致性動(dòng)態(tài)卷積的風(fēng)格遷移網(wǎng)絡(luò)中得到風(fēng)格特征（如莫奈風(fēng)、立體派），內(nèi)容圖像經(jīng)過(guò)基于對(duì)比學(xué)習(xí)的時(shí)尚內(nèi)容遷移模塊后得到內(nèi)容特征（如紋理、顏色）。然后時(shí)尚單品、風(fēng)格和內(nèi)容特征經(jīng)過(guò)轉(zhuǎn)換器后進(jìn)行特征融合，最后通過(guò)解碼器生成融合內(nèi)容和風(fēng)格的時(shí)尚單品。

圖4 多域特征融合流程圖Fig.4 Multi-domain feature fusion flow chart

1.3 基于層一致性動(dòng)態(tài)卷積的時(shí)尚風(fēng)格遷移

為了更好地實(shí)現(xiàn)時(shí)尚單品的風(fēng)格遷移，基于GAN設(shè)計(jì)了一種通用的層一致性動(dòng)態(tài)卷積變換（LCDC）方法。該方法將風(fēng)格圖像和時(shí)尚單品編碼器網(wǎng)絡(luò)的對(duì)應(yīng)層進(jìn)行動(dòng)態(tài)卷積變換操作，進(jìn)而自適應(yīng)地將任意的風(fēng)格特征（如莫奈風(fēng)、油畫(huà)風(fēng)）融合到給定的時(shí)尚單品中，從而有效地實(shí)現(xiàn)時(shí)尚單品的風(fēng)格遷移。這里以風(fēng)格圖像sj和時(shí)尚單品xi編碼器的第一層為例，其詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 層一致性動(dòng)態(tài)卷積變換方法Fig.5 Layer to layer matching dynamic convolution structure

首先，風(fēng)格圖像sj經(jīng)過(guò)編碼器得到風(fēng)格編碼特征Fs，如公式（7）所示。此編碼器與時(shí)尚單品編碼器結(jié)構(gòu)一致且共享網(wǎng)絡(luò)參數(shù)。

將風(fēng)格圖像sj第一層卷積后得到的風(fēng)格編碼特征F1在分別經(jīng)過(guò)權(quán)重網(wǎng)絡(luò)和偏置網(wǎng)絡(luò)后分離得到風(fēng)格圖像的權(quán)重和偏置。這兩個(gè)網(wǎng)絡(luò)分別由兩層卷積層和自適應(yīng)池化層構(gòu)成。此時(shí)將得到的和與時(shí)尚單品xi在第一層卷積后得到的時(shí)尚單品特征做動(dòng)態(tài)卷積操作，如下所示：

其中，IN(·)為實(shí)例歸一化操作，可展開(kāi)如下：

與卷積操作相比，層一致性的動(dòng)態(tài)卷積操作接收兩個(gè)輸入。第一個(gè)輸入是來(lái)自時(shí)尚單品的特征映射，第二個(gè)是風(fēng)格圖像分離出來(lái)的權(quán)重W和偏置b。特征映射是對(duì)輸入的時(shí)尚單品編碼后獲得；在傳統(tǒng)卷積中，權(quán)重和偏置為模型的參數(shù)，而在層一致性的動(dòng)態(tài)卷積變換中，W和b是對(duì)輸入的不同風(fēng)格圖像編碼后再分別經(jīng)過(guò)權(quán)重網(wǎng)絡(luò)和偏置網(wǎng)絡(luò)后的動(dòng)態(tài)輸出。然后對(duì)這兩個(gè)輸入采用與卷積層一樣的方法進(jìn)行卷積計(jì)算。這就是時(shí)尚單品xi與風(fēng)格圖像sj特征進(jìn)行融合的過(guò)程。

最后將得到的時(shí)尚單品與風(fēng)格圖像的融合特征傳遞到解碼器，然后能夠更充分地實(shí)現(xiàn)時(shí)尚單品的風(fēng)格遷移。其余兩層可以通過(guò)類(lèi)似的方法得到。

1.4 基于對(duì)比學(xué)習(xí)的時(shí)尚內(nèi)容遷移

為了更好地保留時(shí)尚單品的全局信息（如輪廓、形狀）和更充分地實(shí)現(xiàn)內(nèi)容圖像語(yǔ)義信息（如紋理、顏色）的遷移，采用了對(duì)比學(xué)習(xí)的方法。其主要思想是學(xué)習(xí)生成圖像與輸入的時(shí)尚單品之間的對(duì)應(yīng)關(guān)系，讓它們之間相似的圖像塊相互關(guān)聯(lián)，不相似的圖像塊相互遠(yuǎn)離，即最大化時(shí)尚單品與生成圖像之間的互信息。例如給定一張上衣衣領(lǐng)的圖像塊，在其轉(zhuǎn)換后的圖像也應(yīng)當(dāng)包含衣領(lǐng)的圖像塊，而不是對(duì)應(yīng)到其他區(qū)域。采用噪聲對(duì)比估計(jì)[45]（noise contrastive estimation，NCE）框架最大化輸入的時(shí)尚單品與生成圖像塊之間的互信息，該方法旨在學(xué)習(xí)時(shí)尚單品與生成圖像塊之間的跨域相似性函數(shù)。對(duì)比學(xué)習(xí)由三個(gè)信號(hào)組成：生成圖像中的目標(biāo)樣本（如圖2青色圖像塊），時(shí)尚單品中的正樣本（如圖2綠色圖像塊）和負(fù)樣本（如圖2黃色圖像塊）。首先將生成圖像中的目標(biāo)樣本v和時(shí)尚單品中的正樣本v+以及N個(gè)負(fù)樣本v-,分別映射為K維向量c,,其中表示第n個(gè)負(fù)樣本。為了防止模式崩塌，這些樣本經(jīng)過(guò)歸一化后變成單位向量，由此建立了一個(gè)N+1 類(lèi)的分類(lèi)問(wèn)題。通過(guò)交叉熵?fù)p失函計(jì)算出正樣本被選擇的可能性，對(duì)比損失函數(shù)可表示如下：

其中，τ是比例超參，常被稱(chēng)為溫度系數(shù)，c·c+和c·c-分別表示生成圖像的圖像塊分別與時(shí)尚單品中的正樣本和負(fù)樣本這兩個(gè)單位向量的內(nèi)積。

本文采用基于多層次圖像塊的對(duì)比學(xué)習(xí)實(shí)現(xiàn)時(shí)尚單品的內(nèi)容遷移，如圖6所示。使用編碼器Genc和兩層MLP[46]來(lái)提取生成圖像和時(shí)尚單品的特征。假設(shè)選擇時(shí)尚單品xi的共L層特征圖，然后將特征圖傳遞給兩層MLP 網(wǎng)絡(luò)Vl，生成一堆特征，其中表示第l層特征的輸出，rl表示圖像塊第l層特征，l表示層數(shù)(l∈{1,2,…,L})。這其中的每一個(gè)特征代表輸入時(shí)尚單品xi的一個(gè)圖像塊。然后用k∈{1,2,…,Kl}表示每層的圖像塊數(shù)，其中Kl表示第l層有Kl個(gè)圖像塊。將時(shí)尚單品中正樣本的特征表示為，負(fù)樣本特征表示為，其中表示第l層中第k個(gè)圖像塊對(duì)應(yīng)的特征向量，Tl表示第l層的通道數(shù)，K/k表示所有的圖像塊K中除去k的特征圖像塊。生成的圖像z也以相似的方式進(jìn)行，表示為。目標(biāo)是將時(shí)尚單品xi與生成圖像z對(duì)應(yīng)位置的圖像塊進(jìn)行匹配，同一張時(shí)尚單品的其他圖像塊作為負(fù)樣本相互遠(yuǎn)離，最終通過(guò)對(duì)的每一層輸出，以及輸出的每個(gè)圖像塊的特征向量求互信息，來(lái)保證時(shí)尚單品xi與生成圖像z之間語(yǔ)義和結(jié)構(gòu)的一致性。上述的損失函數(shù)表示如下（?為公式（10））：

圖6 多層次圖像塊對(duì)比學(xué)習(xí)Fig.6 Patch-based multiplayer contrastive learning

同時(shí)，像素級(jí)的L1 損失可用于保證生成圖像的清晰度，通過(guò)最小化生成圖像z與內(nèi)容圖像cu之間的像素級(jí)損失來(lái)完成，公式如下：

最后，通過(guò)GAN 與對(duì)比學(xué)習(xí)相結(jié)合的方式實(shí)現(xiàn)時(shí)尚單品單向的內(nèi)容遷移并保留時(shí)尚單品的全局結(jié)構(gòu)信息，最終的內(nèi)容損失可表示如下：

1.5 總目標(biāo)損失

基于層一致性動(dòng)態(tài)卷積方法實(shí)現(xiàn)時(shí)尚單品的風(fēng)格遷移和采用對(duì)比學(xué)習(xí)策略完成時(shí)尚單品內(nèi)容遷移，并通過(guò)多域特征融合的生成對(duì)抗網(wǎng)絡(luò)將以上兩個(gè)模塊融合起來(lái)，實(shí)現(xiàn)時(shí)尚單品的內(nèi)容和風(fēng)格遷移?？偰繕?biāo)函數(shù)可表示如下：

其中，α和β分別表示平衡目標(biāo)損失的超參數(shù)。

2 實(shí)驗(yàn)結(jié)果與討論

2.1 實(shí)驗(yàn)設(shè)置和數(shù)據(jù)集

為了驗(yàn)證本文方法的有效性，在Ubuntu 20.04系統(tǒng)下，使用基于Python的Pytorch框架，實(shí)現(xiàn)本文提出的基于生成對(duì)抗網(wǎng)絡(luò)的時(shí)尚內(nèi)容和風(fēng)格遷移。機(jī)器配置i9-7700 CPU，128 GB 內(nèi)存和GeForce GTX 3090 顯卡圖形工作站。在訓(xùn)練前，所有的圖片送入網(wǎng)絡(luò)前都需要進(jìn)行預(yù)處理，保持圖像之間的比例關(guān)系，將大小重新調(diào)整300×300，然后從里面裁剪出256×256 大小區(qū)域作為訓(xùn)練樣本輸入，因此網(wǎng)絡(luò)可以處理任意大小的輸入，同時(shí)使用了隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)操作作為數(shù)據(jù)增強(qiáng)。在訓(xùn)練模型時(shí)，內(nèi)容損失權(quán)重α=1，風(fēng)格損失權(quán)重β=1，這是為了重建出的時(shí)尚單品圖像能夠保留同樣多的內(nèi)容信息和風(fēng)格信息。訓(xùn)練時(shí)采用Adam 優(yōu)化器并且設(shè)置優(yōu)化器的學(xué)習(xí)率為0.000 2，訓(xùn)練的批次大小為32，epoch 為200。最終的損失如圖7所示。

圖7 總損失圖Fig.7 Total loss

本文訓(xùn)練所使用的數(shù)據(jù)集有Fashion VC[47]數(shù)據(jù)集，其中包含20 765 張時(shí)尚單品圖像，風(fēng)格圖像數(shù)據(jù)集，其在Wiki Art[48]的artworks 中選取26 472 張風(fēng)格圖像，大約有15 種風(fēng)格和三種內(nèi)容圖像的數(shù)據(jù)集，分別為3 896張藍(lán)天白云圖像，3 489 張楓林圖像和4 012 張草坪圖像，均在百度圖片爬取。對(duì)于每一個(gè)數(shù)據(jù)集，隨機(jī)選取80%的樣本做訓(xùn)練集，20%的樣本做測(cè)試集。

2.2 評(píng)估指標(biāo)

基于生成對(duì)抗網(wǎng)絡(luò)的時(shí)尚內(nèi)容和風(fēng)格遷移的目標(biāo)是使得生成的圖像在保留原來(lái)時(shí)尚單品全局結(jié)構(gòu)信息的基礎(chǔ)上，生成具有融合內(nèi)容和風(fēng)格特征的時(shí)尚單品。使用圖像轉(zhuǎn)換任務(wù)中常用的評(píng)價(jià)指標(biāo)平均分?jǐn)?shù)（IS）、FID[49]、峰值信噪比（PSNR）[50]和結(jié)構(gòu)相似度指數(shù)（SSIM）[50]來(lái)評(píng)估本文所提出的CS-GAN方法。

（1）IS是一種用來(lái)評(píng)價(jià)模型生成圖像質(zhì)量的評(píng)價(jià)指標(biāo)，通過(guò)使用Inception Net圖像分類(lèi)網(wǎng)絡(luò)來(lái)對(duì)生成圖像進(jìn)行分類(lèi)得到。IS的計(jì)算公式如下所示：

其中，p(y|x)表示生成圖像x分類(lèi)為y的概率，p(y)表示對(duì)于每個(gè)生成圖像的類(lèi)別概率期望。

（2）FID是計(jì)算時(shí)尚單品與生成圖像特征向量間距離的指標(biāo)，其計(jì)算公式如下：

其中，ux和uz分別表示真實(shí)圖像和生成圖像的均值。

（3）PSNR 測(cè)量生成圖像與其原始圖像之間的峰值信噪比，是目前最為流行的圖像重建質(zhì)量評(píng)估指標(biāo)。其具體的計(jì)算公式如下：

其中，maxx′表示最大像素強(qiáng)度值，x[i]和x′[i]分別為原始圖像和生成圖像的第i個(gè)像素值。

（4）SSIM根據(jù)圖像的亮度、對(duì)比度和結(jié)構(gòu)來(lái)測(cè)量生成圖像x′和真實(shí)圖像x之間的結(jié)構(gòu)相似度。其具體的計(jì)算過(guò)程如下：

其中，μx和μx′分別為x和x′的像素均值，σxx′是x與x′之間的協(xié)方差。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 對(duì)比實(shí)驗(yàn)

為了科學(xué)地評(píng)估本文提出的CS-GAN 模型對(duì)輸入的時(shí)尚單品同時(shí)進(jìn)行在內(nèi)容和風(fēng)格特征融合的有效性，本文選取不同的數(shù)據(jù)集進(jìn)行了多組實(shí)驗(yàn)，結(jié)果如圖8所示。

圖8 生成結(jié)果Fig.8 Generate results

但由于目前圖像生成方面尚未有內(nèi)容和風(fēng)格的同時(shí)遷移，因此這里將本文方法的效果分別與以下基準(zhǔn)方法中單一的內(nèi)容遷移或風(fēng)格遷移任務(wù)進(jìn)行了比較：

（1）CycleGAN：將模型中生成器的網(wǎng)絡(luò)結(jié)構(gòu)替換為CycleGAN[17]。它是為了解決無(wú)監(jiān)督的圖像到圖像的翻譯問(wèn)題而設(shè)計(jì)的，主要通過(guò)前向和后向循環(huán)一致性網(wǎng)絡(luò)來(lái)訓(xùn)練不成對(duì)的數(shù)據(jù)。

（2）CUT：CUT[51]利用源域中的正負(fù)樣本實(shí)現(xiàn)內(nèi)容遷移。但其負(fù)樣本的選擇還利用數(shù)據(jù)集中其余圖像的圖像塊，這在本文的任務(wù)中是不必要的。

（3）FastCUT：將FastCUT[51]擴(kuò)展到對(duì)時(shí)尚單品的內(nèi)容遷移任務(wù)中。具體來(lái)說(shuō)，F(xiàn)astCUT中也是用的對(duì)比學(xué)習(xí)框架對(duì)內(nèi)容特征進(jìn)行編碼。

（4）Adain：Adain[24]采用手動(dòng)定義仿射參數(shù)變換的方法，訓(xùn)練過(guò)程比較漫長(zhǎng)且對(duì)時(shí)尚單品只進(jìn)行風(fēng)格遷移。

（5）DIN：該方法[52]采用動(dòng)態(tài)實(shí)例歸一化進(jìn)行風(fēng)格遷移，直接對(duì)生成圖像分別與目標(biāo)圖像和源域圖像進(jìn)行損失計(jì)算。

圖9詳細(xì)地展示了不同基準(zhǔn)方法的性能比較，可以觀察到以下結(jié)果：（1）傳統(tǒng)的CycleGAN 模型對(duì)時(shí)尚單品進(jìn)行內(nèi)容遷移時(shí)效果時(shí)而細(xì)膩，時(shí)而粗糙，內(nèi)容特征遷移不穩(wěn)定，有時(shí)還未能體現(xiàn)出內(nèi)容圖像原本的色彩，也未能精細(xì)地保留時(shí)尚單品的細(xì)節(jié)；（2）CUT 的內(nèi)容遷移效果略顯粗糙且清晰度不高，因?yàn)榧?xì)節(jié)特征的不足造成視覺(jué)效果模糊，顏色變化不真實(shí)；（3）FastCUT結(jié)果在CUT基礎(chǔ)上有所改善，未能對(duì)時(shí)尚單品實(shí)現(xiàn)風(fēng)格，僅實(shí)現(xiàn)兩個(gè)圖像域間的轉(zhuǎn)換；（4）在風(fēng)格遷移方面，Adain 輸出結(jié)果相較于時(shí)尚單品存在明顯的失真和偽影，存在著不自然的色塊，破壞了整體的觀感，且時(shí)尚單品原本特征的保留和風(fēng)格特征的表現(xiàn)上有所欠缺；（5）DIN 結(jié)果在風(fēng)格遷移過(guò)程中生成圖像的背景會(huì)發(fā)生顏色變化且時(shí)尚單品輪廓模糊，存在部分細(xì)節(jié)特征的丟失。而本文提出的CS-GAN模型生成的圖像相較于其他的方法，在時(shí)尚單品結(jié)構(gòu)的基礎(chǔ)上更好地保留了內(nèi)容圖像色彩層次、細(xì)節(jié)信息和風(fēng)格圖像紋理特征，更加接近內(nèi)容和風(fēng)格圖像的融合，在實(shí)現(xiàn)整體內(nèi)容和風(fēng)格遷移時(shí)沒(méi)有發(fā)生明顯的形變，可以實(shí)現(xiàn)很好的藝術(shù)感與真實(shí)并存的濾鏡效果，從而獲得良好的整體觀感。無(wú)論是細(xì)節(jié)的保留還是整體色彩的觀感都有著更為優(yōu)秀的表現(xiàn)。

圖9 不同方法生成結(jié)果的對(duì)比Fig.9 Comparison of results generated by different methods

此外，表1還顯示了不同基準(zhǔn)方法的生成的結(jié)果在IS、FID、PSNR 和SSIM 指標(biāo)上定量評(píng)估結(jié)果。分別在三種內(nèi)容數(shù)據(jù)集（藍(lán)天白云、楓林和草坪）上進(jìn)行了測(cè)試，通過(guò)表中的數(shù)據(jù)可以看出：（1）CS-GAN模型相較于其他模型均取得了更好的實(shí)驗(yàn)結(jié)果，說(shuō)明同時(shí)考慮風(fēng)格遷移和內(nèi)容遷移進(jìn)行多個(gè)圖像域的特征融合具有更好的優(yōu)越性；（2）CycleGAN 的性能略低于本文所提出的CS-GAN，主要由于其嚴(yán)格的雙射條件難以滿(mǎn)足，所以合成的時(shí)尚單品效果略差；（3）CS-GAN 的性能優(yōu)于CUT 和FastCUT。這歸因于CUT 中的負(fù)樣本還來(lái)源于數(shù)據(jù)集中其他圖像的圖像塊，導(dǎo)致編碼器會(huì)沖淡對(duì)于輸入的時(shí)尚單品的關(guān)注度；而FastCUT與CS-GAN的生成器結(jié)構(gòu)相比，缺少將時(shí)尚單品特征轉(zhuǎn)換為內(nèi)容特征的轉(zhuǎn)換器。所以CS-GAN 模型在對(duì)時(shí)尚單品進(jìn)行內(nèi)容和風(fēng)格遷移效果上有一定的優(yōu)勢(shì)。

表1 不同方法間的定量指標(biāo)對(duì)比Table 1 Comparison of quantitative indicators among

2.3.2 消融實(shí)驗(yàn)

為了進(jìn)一步說(shuō)明本文所提出的CS-GAN 模型的有效性，對(duì)該模型的幾個(gè)重要組成部分進(jìn)行了消融研究。首先，分別禁用CS-GAN 中的風(fēng)格遷移和內(nèi)容遷移模塊，從而得到CS-GAN 的衍生模型C-GAN 和S-GAN。其中，C-GAN 僅通過(guò)對(duì)比學(xué)習(xí)策略來(lái)實(shí)現(xiàn)時(shí)尚單品的內(nèi)容遷移，而S-GAN 則基于層一致性動(dòng)態(tài)卷積來(lái)衡量時(shí)尚單品的風(fēng)格遷移性能。然后，通過(guò)同時(shí)禁用CS-GAN中的風(fēng)格遷移和內(nèi)容遷移模塊得到其基礎(chǔ)生成對(duì)抗網(wǎng)絡(luò)模型GAN。最后，基于上述衍生模型，在不同的數(shù)據(jù)集上分別進(jìn)行了風(fēng)格遷移和內(nèi)容遷移的消融實(shí)驗(yàn)。

圖10 為不同衍生模型的實(shí)驗(yàn)結(jié)果，通過(guò)該圖可以看出，網(wǎng)絡(luò)去除風(fēng)格遷移模塊后生成圖像如圖10 第四列，在視覺(jué)上它多數(shù)保留了內(nèi)容圖像的特征，幾乎無(wú)風(fēng)格圖像的特征；禁用對(duì)比學(xué)習(xí)框架后生成的圖像如圖10第五列，僅可實(shí)現(xiàn)時(shí)尚單品的風(fēng)格遷移無(wú)內(nèi)容特征。完整網(wǎng)絡(luò)的生成結(jié)果如圖10 第六列，它可以在原有時(shí)尚單品結(jié)構(gòu)的基礎(chǔ)上同時(shí)保留內(nèi)容和風(fēng)格信息，獲得最佳的整體觀感，從而證明了網(wǎng)絡(luò)各部分的有效性。

表2 給出了C-GAN 在三個(gè)不同數(shù)據(jù)集（即藍(lán)天白云、楓林和草坪）上的PSNR和SSIM性能比較。通過(guò)表2可以看出：（1）C-GAN在PSNR和SSIM兩個(gè)評(píng)價(jià)指標(biāo)上顯著優(yōu)于基礎(chǔ)網(wǎng)絡(luò)GAN，這很好地說(shuō)明了內(nèi)容遷移模塊對(duì)提高圖像質(zhì)量有一定的優(yōu)勢(shì)，具有更高的性能增益；（2）本文的CS-GAN模型結(jié)果優(yōu)于衍生模型C-GAN，在PSNR和SSIM方面大約提高了18%和3%，這很好地證明了綜合考慮風(fēng)格和內(nèi)容模塊進(jìn)行多域特征融合建模的優(yōu)勢(shì)。

表2 內(nèi)容遷移模塊對(duì)CS-GAN模型的性能影響Table 2 Influence of content transfer module on performance of CS-GAN model

表3給出了S-GAN在抽象派、印象派和立體派三個(gè)風(fēng)格數(shù)據(jù)集上的PSNR和SSIM性能比較。從數(shù)據(jù)中可以得知：（1）S-GAN提高了基礎(chǔ)網(wǎng)絡(luò)的性能，在PSNR和SSIM 方面大約提高了8%和1%，這說(shuō)明風(fēng)格遷移模塊可以提高圖像生成的性能；（2）本文模型CS-GAN 結(jié)果也優(yōu)于衍生模型S-GAN，這證實(shí)了通過(guò)添加內(nèi)容遷移模塊可有效地實(shí)現(xiàn)多個(gè)圖像域的特征融合任務(wù)，也證明了內(nèi)容遷移模塊的優(yōu)勢(shì)。

表3 風(fēng)格遷移模塊對(duì)CS-GAN模型的性能影響Table 3 Influence of style transfermodule on performance of CS-GAN model

更進(jìn)一步地，為了證明風(fēng)格遷移模塊中IN 層可以帶來(lái)更好的優(yōu)化，將風(fēng)格遷移模塊中的IN層替換為BN層進(jìn)行時(shí)尚單品的風(fēng)格遷移任務(wù)，其他的訓(xùn)練設(shè)置保持不變。比較了損失函數(shù)的收斂速度，并將訓(xùn)練曲線的定量比較結(jié)果顯示在圖11?？梢杂^察到，IN層與BN層相比實(shí)現(xiàn)了更快更好的收斂。

圖11 風(fēng)格損失對(duì)比圖Fig.11 Style loss comparison

3 結(jié)束語(yǔ)

目前主流的未配對(duì)的圖像到圖像的轉(zhuǎn)換通常都是建立在雙射的基礎(chǔ)上完成且只能實(shí)現(xiàn)兩個(gè)域之間的轉(zhuǎn)換。本文提出的基于生成對(duì)抗網(wǎng)絡(luò)的時(shí)尚單品內(nèi)容和風(fēng)格遷移（CS-GAN）方法，在未配對(duì)數(shù)據(jù)集的情況下，可對(duì)時(shí)尚單品同時(shí)實(shí)現(xiàn)內(nèi)容和風(fēng)格圖像的遷移，實(shí)現(xiàn)多個(gè)圖像域特征的融合。在內(nèi)容遷移模塊，采用基于對(duì)比學(xué)習(xí)框架實(shí)現(xiàn)時(shí)尚單品的內(nèi)容遷移，生成圖像中的圖像塊都應(yīng)該反應(yīng)時(shí)尚單品中相對(duì)應(yīng)的圖像塊，通過(guò)最大化生成圖像與時(shí)尚單品之間的互信息，實(shí)現(xiàn)時(shí)尚單品的內(nèi)容遷移。在風(fēng)格遷移模塊，提出了基于層一致性動(dòng)態(tài)卷積方法，該方法可以將不同的風(fēng)格特征編碼為可學(xué)習(xí)的卷積的參數(shù)，然后將學(xué)習(xí)到的風(fēng)格特征與時(shí)尚單品特征進(jìn)行動(dòng)態(tài)卷積操作，然后傳遞到解碼器，最終實(shí)現(xiàn)時(shí)尚單品的風(fēng)格遷移。通過(guò)以上的方法，可以充分利用內(nèi)容和風(fēng)格圖像的信息，對(duì)時(shí)尚單品實(shí)現(xiàn)更好的遷移效果。

定性實(shí)驗(yàn)和定量實(shí)驗(yàn)的結(jié)果表明，本文所提的方法能夠在保持時(shí)尚單品結(jié)構(gòu)的基礎(chǔ)上，實(shí)現(xiàn)內(nèi)容圖像的色彩、紋理和風(fēng)格圖像風(fēng)格特征的巧妙融合，得到優(yōu)于其他主流方法的整體效果。