基于注意力機(jī)制的CycleGAN 服裝局部風(fēng)格遷移研究

陳 佳，董學(xué)良，梁金星，何儒漢

（1.武漢紡織大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，武漢 430000；2.湖北省服裝信息化工程技術(shù)研究中心，武漢 430000）

0 概述

近年來(lái)，隨著計(jì)算機(jī)視覺(jué)在時(shí)尚行業(yè)的發(fā)展，服裝圖像呈現(xiàn)多樣化的風(fēng)格。個(gè)性化是時(shí)尚服裝設(shè)計(jì)中的一個(gè)重要因素，對(duì)服裝圖像進(jìn)行特定相關(guān)區(qū)域風(fēng)格遷移有利于服裝設(shè)計(jì)的個(gè)性化與多樣化。服裝圖像風(fēng)格遷移也是圖像風(fēng)格遷移［1］的一個(gè)重要分支。傳統(tǒng)的非參數(shù)圖像風(fēng)格遷移是一種分析圖像風(fēng)格的方法，該方法根據(jù)風(fēng)格繪制物理模型或者數(shù)學(xué)統(tǒng)計(jì)模型，對(duì)遷移的圖像進(jìn)行紋理合成，使其更好地貼合所構(gòu)建的模型［2］。此方法需要繁瑣的推理公式和復(fù)雜的數(shù)學(xué)模型，耗時(shí)耗力，導(dǎo)致傳統(tǒng)的非參數(shù)圖像風(fēng)格遷移研究的應(yīng)用發(fā)展緩慢［3］。HERTZMANN等［4］提出一種通過(guò)推導(dǎo)圖像特征映射之間的關(guān)系，并將此關(guān)系看作風(fēng)格的紋理特征，以實(shí)現(xiàn)圖像風(fēng)格遷移的方法。EFROS 等［2］提出使用物理模型繪制和新紋理合成算法相結(jié)合以實(shí)現(xiàn)圖像風(fēng)格遷移的方法。QIN等［5］通過(guò)改進(jìn)Ashikhmin 算法，把統(tǒng)計(jì)特性引入相似性度量中，建立了新領(lǐng)域一致性度量方法，實(shí)現(xiàn)了圖像間風(fēng)格傳輸。這類傳統(tǒng)的非參數(shù)圖像風(fēng)格遷移方法能提取圖像的淺層特征而不能提取高層特征，在復(fù)雜的服裝圖像背景和光照條件下處理服裝圖像的顏色和紋理時(shí)，風(fēng)格遷移后的服裝圖像效果較為粗糙。

隨著深度學(xué)習(xí)［6］的興起，GATYS 等［7］提出基于神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移算法，通過(guò)神經(jīng)網(wǎng)絡(luò)不同層次提取不同特征以分離圖像的內(nèi)容與風(fēng)格。然而該方法生成的圖像存在噪聲、不清晰、需大量成對(duì)的訓(xùn)練圖像、需反復(fù)迭代、訓(xùn)練速度慢、占用極大的內(nèi)存等問(wèn)題［8］，甚至可能導(dǎo)致程序崩潰。2017 年，ZHU等［9］融合GAN 和對(duì)偶學(xué)習(xí)的思想提出了循環(huán)生成對(duì)抗網(wǎng)絡(luò)（Cycle Generative Adversarial Network，CycleGAN），該思想使用2 個(gè)生成器和2 個(gè)判別器以完成2 種風(fēng)格域之間的環(huán)形轉(zhuǎn)換，通過(guò)添加循環(huán)一致性損失以保留圖像的內(nèi)容信息。LUAN 等［10］在CycleGAN 中加入正則化以防止過(guò)擬合來(lái)提高圖像的生成質(zhì)量。雖然CycleGAN 在圖像全局風(fēng)格遷移工作中取得了很好的效果，但在復(fù)雜背景服裝圖像局部風(fēng)格遷移中存在局部區(qū)域難以控制、局部風(fēng)格遷移后產(chǎn)生邊界偽影的問(wèn)題。隨著深度學(xué)習(xí)應(yīng)用技術(shù)［11］的不斷深入，深度學(xué)習(xí)被越來(lái)越多地應(yīng)用到不同領(lǐng)域。生成對(duì)抗網(wǎng)絡(luò)［12］作為深度學(xué)習(xí)的一個(gè)分支，被廣泛應(yīng)用于圖像風(fēng)格遷移［13］、圖像超分辨率［14］和圖像分類［15］等多個(gè)圖像處理的領(lǐng)域。其中，MIU 等［16］提出將圖像語(yǔ)義分割生成的掩碼確定為風(fēng)格遷移區(qū)域，融合圖像未遷移區(qū)域以實(shí)現(xiàn)圖像的局部風(fēng)格遷移。LIU等［17］提出一種結(jié)合全卷積網(wǎng)絡(luò)（FCN）與CycleGAN的圖像風(fēng)格遷移方法，該方法首先結(jié)合全卷積網(wǎng)絡(luò)對(duì)圖像進(jìn)行語(yǔ)義分割以確定風(fēng)格遷移的目標(biāo)，然后將風(fēng)格遷移后的圖像與目標(biāo)進(jìn)行匹配以確定遷移對(duì)象，從而實(shí)現(xiàn)局部風(fēng)格遷移。LI 等［18］提出利用馬爾科夫隨機(jī)場(chǎng)將圖像分為許多塊，建立塊之間的聯(lián)系而非像素間對(duì)應(yīng)的理念。CHAMPANDARD 等［19］在此基礎(chǔ)上嘗試提出補(bǔ)丁算法以實(shí)現(xiàn)圖像不同部分的風(fēng)格遷移。

LI 等［20］利用生成對(duì)抗網(wǎng)絡(luò)對(duì)人臉圖像中的眼、鼻子、唇等局部區(qū)域按指定風(fēng)格進(jìn)行上妝，通過(guò)引入像素級(jí)直方圖損失約束化妝風(fēng)格的相似性，并將全局損失和局部損失合并到雙重輸入與輸出的BeautyGAN 中，以提取、遷移局部微妙的化妝信息。GU 等［21］使用CGAN 進(jìn)行掩膜引導(dǎo)肖像編輯，利用掩膜提供的卷積核約束合成人臉的輪廓，再對(duì)人臉圖像的某一部分進(jìn)行風(fēng)格遷移，雖然CGAN 能夠生成人臉，但細(xì)節(jié)處不夠真實(shí)。基于生成對(duì)抗網(wǎng)絡(luò)及其擴(kuò)展的許多成功案例表明：基于生成對(duì)抗網(wǎng)絡(luò)的圖像生成不同于傳統(tǒng)的非參數(shù)物理模型的繪制，前者能夠通過(guò)生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)對(duì)抗訓(xùn)練以提高生成器生成圖像的質(zhì)量。在文獻(xiàn)［16-17，20-21］中提出與GAN 結(jié)合以訓(xùn)練生成模型的方法，風(fēng)格遷移后的生成圖像取得了較好的效果，但基于深度學(xué)習(xí)的圖像風(fēng)格遷移過(guò)程依然存在只注重圖像局部區(qū)域依賴關(guān)系而忽略全局區(qū)域的相關(guān)性的問(wèn)題。

本文提出一種基于注意力機(jī)制的CycleGAN 服裝局部風(fēng)格遷移方法。將注意力機(jī)制融入CycleGAN的生成器中，利用注意力機(jī)制對(duì)服裝各個(gè)區(qū)域分配權(quán)重分布，以建立服裝全局區(qū)域的聯(lián)系，從而有效地控制風(fēng)格遷移的局部區(qū)域。同時(shí)，在損失函數(shù)中加入一個(gè)基于區(qū)域輪廓之間距離定義的損失項(xiàng)d以校正邊界偽影，在變換處理的裁剪風(fēng)格遷移區(qū)域和原始圖像之間實(shí)現(xiàn)平滑過(guò)渡效果。

1 CycleGAN 服裝特定相關(guān)區(qū)域風(fēng)格遷移

1.1 CycleGAN 服裝風(fēng)格遷移模型架構(gòu)

本文所提出的基于循環(huán)生成對(duì)抗網(wǎng)絡(luò)的服裝風(fēng)格遷移模型如圖1 所示。首先，采用VGG16 網(wǎng)絡(luò)分別提取所給定內(nèi)容圖像C1和風(fēng)格圖像S1的內(nèi)容特征和風(fēng)格特征；然后，將上述內(nèi)容特征和風(fēng)格特征輸入到基于注意力機(jī)制的生成器Gattention中，得到所需的風(fēng)格遷移服裝圖像Generated_CS；最后，通過(guò)判別器DS和Dc分別判別所生成的服裝遷移圖像的風(fēng)格和內(nèi)容是否與要求一致。在訓(xùn)練時(shí)，使用改進(jìn)的循環(huán)一致性損失函數(shù)指導(dǎo)生成器Gattention進(jìn)一步改進(jìn)生成所需的風(fēng)格遷移服裝圖像。如此循環(huán)，形成一個(gè)環(huán)形的網(wǎng)絡(luò)。

圖1 服裝風(fēng)格遷移的CycleGAN 結(jié)構(gòu)Fig.1 CycleGAN structure of clothing style transfer

本文的判別器網(wǎng)絡(luò)DS和Dc采用了文獻(xiàn)［22］的PatchGAN 結(jié)構(gòu)，以對(duì)生成器生成的圖像進(jìn)行真?zhèn)舞b別。

1.2 基于注意力機(jī)制的生成器模型

注意力機(jī)制與人類視覺(jué)中選擇性視覺(jué)注意力機(jī)制類似。通過(guò)快速掃描全局圖像而獲取需要重點(diǎn)關(guān)注的注意力焦點(diǎn)區(qū)域，而后對(duì)這一區(qū)域投入更多計(jì)算資源，以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息，同時(shí)抑制其他無(wú)用信息。對(duì)于2019 年Imat Fashion 挑戰(zhàn)賽數(shù)據(jù)集中的27個(gè)主要服裝對(duì)象和19個(gè)服裝部件，本文把19個(gè)服裝部件作為劃分服裝的N個(gè)區(qū)域，設(shè)x=(x1,x2,…,xn)T，對(duì)每一個(gè)服裝區(qū)域塊xi,i∈(1,2,…,n)通過(guò)注意力機(jī)制分布權(quán)重，權(quán)重大的區(qū)域獲得更多的關(guān)注，并對(duì)該權(quán)重大的區(qū)域進(jìn)風(fēng)格遷移。自注意力機(jī)制［23］還可根據(jù)服裝各個(gè)區(qū)域的權(quán)重分布找到與該權(quán)重大的區(qū)域相關(guān)度高的區(qū)域，并對(duì)其進(jìn)行風(fēng)格遷移。

本文所提出的加入注意力機(jī)制的生成器網(wǎng)絡(luò)模型如圖2 所示。主要組成部分有：1）下采樣區(qū)（Subsampled Area）4 個(gè)卷積層提取輸入內(nèi)容特征 和風(fēng)格特征的其它特征；2）中間區(qū)（Middle Area）8 個(gè)殘差模塊層進(jìn)行圖像轉(zhuǎn)換；3）上采樣區(qū)（Upsampling Area）2 個(gè)轉(zhuǎn)置卷積層還原圖像低級(jí)特征，1 個(gè)自注意力層關(guān)注服裝特定的相關(guān)區(qū)域，最后由1 個(gè)卷積層生成圖像。

圖2 基于注意力機(jī)制的生成器網(wǎng)絡(luò)模型Fig.2 Generator network model based on attention mechanism

1.2.1 下采樣區(qū)模塊

在生成器Gattention網(wǎng)絡(luò)的淺層設(shè)置下采樣以避免深層卷積核產(chǎn)生過(guò)多的浮點(diǎn)運(yùn)算，通過(guò)減小特征圖的尺寸以加速計(jì)算及保留輸入特征圖的多種特性，如內(nèi)容特征和風(fēng)格特征之外的其他特征，以方便下一個(gè)殘差網(wǎng)絡(luò)模塊進(jìn)行特征提取。該下采樣區(qū)由4 個(gè)卷積層組成，經(jīng)過(guò)4 個(gè)卷積層（包含1 個(gè)步長(zhǎng)為1的卷積層和3 個(gè)步長(zhǎng)為2 的卷積層）后，輸入的特征圖長(zhǎng)和寬的尺寸都縮小為原來(lái)的1/8，從而減少特征映射的范圍。

1.2.2 中間區(qū)模塊

為更好地保留服裝原圖中沒(méi)有進(jìn)行風(fēng)格遷移區(qū)域的完整信息，本文在基于注意力機(jī)制的生成器Gattention中增加了殘差網(wǎng)絡(luò)［24］模塊。如圖3 所示，每個(gè)殘差網(wǎng)絡(luò)模塊層由3 個(gè)卷積層組成，第1 個(gè)卷積層的輸出乘以δ的權(quán)重值與第2 個(gè)卷積層的輸出一起作為第3 個(gè)卷積層的輸入，如式（1）所示：

圖3 殘差網(wǎng)絡(luò)模塊層結(jié)構(gòu)Fig.3 Residual network module layer structure

其中：L1表示殘差網(wǎng)絡(luò)模塊層的第1 層輸出；L2表示第2 層輸出；δ為權(quán)重參數(shù)。

在生成器Gattention中增加殘差網(wǎng)絡(luò)模塊以避免因網(wǎng)絡(luò)層數(shù)的增加而導(dǎo)致梯度消失的問(wèn)題，加快了模型的訓(xùn)練速度，殘差網(wǎng)絡(luò)內(nèi)部各層之間的跳躍傳參可以保留原圖一部分沒(méi)有進(jìn)行風(fēng)格遷移的完整信息，從而提高了服裝風(fēng)格遷移后的視覺(jué)效果。

1.2.3 上采樣區(qū)模塊

如圖4 所示，在生成器Gattention的上采樣區(qū)第2 層引入注意力機(jī)制。首先將通道數(shù)為C、尺寸大小為S的服裝圖像向量h∈RC×S的各個(gè)局部區(qū)域塊x1,x2,…,xn作為Encoder 編碼器網(wǎng)絡(luò)輸入，通過(guò)非線性變換f轉(zhuǎn)化為向量編碼hj，在這里每個(gè)區(qū)域都會(huì)被賦予一個(gè)權(quán)重αij，它的值代表生成第i個(gè)區(qū)域時(shí)，模型對(duì)第j個(gè)區(qū)域的注意力程度。通過(guò)Decoder 解碼器網(wǎng)絡(luò)的變換函數(shù)g合成整個(gè)服裝區(qū)域中間語(yǔ)義表示g(C1,C2,…,Cn)∈Rc×n，也就是 將圖像 構(gòu)成元素求和，如式（2）所示：

圖4 自注意力層Fig.4 Self-attention layer

其中，h1=f(x1),h2=f(x2),…,hn=f(xn)；xn表示輸入服裝區(qū)域的個(gè)數(shù)；Ci對(duì)應(yīng)著不同服裝區(qū)域投入的注意力分配概率分布。

下面通過(guò)以下步驟獲取各個(gè)區(qū)域塊的權(quán)重系數(shù)αij的值：

1）設(shè)定一個(gè)服裝風(fēng)格遷移的局部區(qū)域向量qt。

2）輸入服裝的其它區(qū)域向量hi與qt并比較相似性，用score 函數(shù)計(jì)算出分值eij。

3）對(duì)score 的eij結(jié)果進(jìn)行歸一化得到αij。其中：eij=score(qt,hi)。score 表示匹配度的打分函數(shù)，用向量夾角大小來(lái)評(píng)判2 個(gè)向量的相似性。采用Cosine 相似度計(jì)算2 個(gè)向量所形成夾角的余弦值，余弦值計(jì)算范圍為［?1，1］，其值越小表示2 個(gè)向量的夾角越小，該向量的相似性越大。αij是對(duì)eij采用Softmax 歸一化后概率形式的權(quán)重表示。

1.3 損失函數(shù)的設(shè)計(jì)

循環(huán)生成對(duì)抗網(wǎng)絡(luò)的總損失函數(shù)L的設(shè)計(jì)包括前向映射損失L1和后向映射損失L2以及循壞一致性損失L3這3 個(gè)部分。為處理局部風(fēng)格遷移圖像中輪廓線條有時(shí)與原圖不精確對(duì)應(yīng)、有時(shí)有微小錯(cuò)位的問(wèn)題，本文在循壞生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)中加入了一個(gè)基于區(qū)域輪廓之間距離定義的損失項(xiàng)d以校正邊界偽影。損失項(xiàng)d是計(jì)算源服裝圖像IDT與風(fēng)格遷移后的服裝圖像I′DT中相同區(qū)域輪廓距離差值之和，是基于相同區(qū)域輪廓的像素距離定義的損失項(xiàng)，可以容忍微小的錯(cuò)位，而懲罰過(guò)大的錯(cuò)位。由注意力機(jī)制得到集中關(guān)注的區(qū)域掩模B，整個(gè)服裝區(qū)域?yàn)锳，1 張圖像中的每1 個(gè)像素點(diǎn)的值為(j,k)，損失項(xiàng)d如式（3）所示：

其中：IDT、I′DT分別表示源服裝圖像中每個(gè)區(qū)域輪廓上的像素到輸出風(fēng)格遷移前后服裝圖像中相同類型區(qū)域輪廓上像素的距離。前向映射損失L1如式（4）所示：

源域圖像通過(guò)生成器Gattention生成風(fēng)格域的圖像，其中Ds為開(kāi)始學(xué)習(xí)了部分風(fēng)格域圖像風(fēng)格的判別器。

后向映射損失L2如式（5）所示：

風(fēng)格域圖像通過(guò)生成器G2重構(gòu)源域的圖像，其中Dc是開(kāi)始學(xué)習(xí)了部分源域圖像風(fēng)格的判別器。

從給定數(shù)據(jù)集中選取1個(gè)樣本(x,y)，(x∈X,y∈Y)，其中，X是源域的圖像，Y是風(fēng)格域的圖像。生成器被使用了2次，即由x→Gattention→y及y→G2→x，判別器Ds和Dc起到鑒別的作用，確保圖像的風(fēng)格遷移。循壞一致性損失L3如式（6）所示：

循環(huán)一致性損失的目的是為了保持風(fēng)格遷移后的服裝圖像仍可通過(guò)原始風(fēng)格生成原始服裝圖像。

由以上3 個(gè)損失可以得到CycleGAN 的總損失L，如式（7）所示：

其中：w表示前向映射和后向映射相對(duì)重要性的權(quán)衡參數(shù)。CycleGAN 模型的優(yōu)化目標(biāo)如式（8）所示：

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

根據(jù)服裝相關(guān)區(qū)域風(fēng)格遷移對(duì)服裝區(qū)域分割的要求，本文選用了2019 年iMat Fashion 挑戰(zhàn)賽數(shù)據(jù)集中的27 個(gè)主要服裝對(duì)象（裙子、夾克、連衣裙等）和19 個(gè)服裝部件（袖子、前片、后片、口袋、衣領(lǐng)等）作為數(shù)據(jù)集。該數(shù)據(jù)集中的每一張服裝圖像由服裝對(duì)象中已標(biāo)注好的各個(gè)服裝部件組成。每個(gè)服裝部件作為1 個(gè)實(shí)例已通過(guò)實(shí)例分割實(shí)現(xiàn)了對(duì)服裝區(qū)域的劃分。不同服裝對(duì)象的服裝部件劃分?jǐn)?shù)據(jù)集如圖5 所示。

圖5 服裝對(duì)象分割圖Fig.5 The clothing object segmentation image

2.2 實(shí)驗(yàn)參數(shù)與測(cè)評(píng)指標(biāo)

2.2.1 實(shí)驗(yàn)參數(shù)

生成器Gattention結(jié)構(gòu)的參數(shù)設(shè)置如表1 所示，上采樣區(qū)的最后輸出層使用Sigmoid 激活函數(shù)，下采樣區(qū)的卷積神經(jīng)網(wǎng)絡(luò)和中間區(qū)的殘差網(wǎng)絡(luò)均使用SN 歸一化方法和ReLU 激活函數(shù)。實(shí)驗(yàn)中輸入和輸出服裝圖像大小均為256 像素×256 像素。批處理參數(shù)batch_size 為20，訓(xùn)練次數(shù)為200 輪，前100 輪的網(wǎng)絡(luò)學(xué)習(xí)率為0.000 2，后100 輪網(wǎng)絡(luò)的學(xué)習(xí)率為0.000 1。訓(xùn)練中的梯度下降采用Adam 算法優(yōu)化。設(shè)置生成器Gattention網(wǎng)絡(luò)的第1 層輸出后的權(quán)重參數(shù)δ為0.3，在迭代訓(xùn)練中調(diào)整得到權(quán)重參數(shù)δ。用戶感知評(píng)價(jià)的標(biāo)準(zhǔn)：0.3a+0.3b+0.4c。用戶感知評(píng)價(jià)X為15，Y為40，共進(jìn)行了600 組對(duì)比實(shí)驗(yàn)。均方誤差MSE 的權(quán)重值W的初始值是0.5，樣本總數(shù)n為1 000。

表1 生成器Gattention結(jié)構(gòu)參數(shù)設(shè)置Table 1 Parameters setting of the generator Gattention structure

2.2.2 測(cè)評(píng)指標(biāo)

由于服裝風(fēng)格遷移的效果具有主觀性，很難單獨(dú)使用客觀的量化指標(biāo)以評(píng)估本文的方法。實(shí)驗(yàn)中結(jié)合主觀評(píng)價(jià)指標(biāo)和客觀的量化指標(biāo)，采用用戶感知評(píng)價(jià)、距離相似、均方誤差、風(fēng)格遷移速度這4 種測(cè)評(píng)指標(biāo)對(duì)本文方法得到的服裝圖像特定的相關(guān)區(qū)域風(fēng)格遷移的效果與其他方法比較。

1）用戶感知評(píng)價(jià)UE（User Evaluation）是對(duì)風(fēng)格遷移效果的主觀評(píng)價(jià)指標(biāo)，對(duì)此也設(shè)定評(píng)價(jià)的標(biāo)準(zhǔn)：（1）基于注意力機(jī)制的服裝圖像局部區(qū)域風(fēng)格遷移的邊緣是否平滑地嵌入以及邊緣的清晰度；（2）服裝圖像特定的相關(guān)區(qū)域風(fēng)格遷移的邊界是否出現(xiàn)風(fēng)格遷移“溢出”或者“不足”的現(xiàn)象；（3）服裝風(fēng)格遷移后的兩種風(fēng)格并存的濾鏡效果。評(píng)價(jià)步驟如下：首先選擇X個(gè)學(xué)生，從數(shù)據(jù)集中隨機(jī)挑選Y張測(cè)試圖像；然后將Y張測(cè)試圖像在不同模型輸出的服裝局部風(fēng)格遷移圖像提供給用戶進(jìn)行比較；最后統(tǒng)計(jì)學(xué)生對(duì)各個(gè)模型輸出圖像為最佳效果圖的數(shù)量A，得到學(xué)生對(duì)不同模型進(jìn)行服裝局部風(fēng)格遷移效果的感知評(píng)價(jià)，如式（8）所示：

其中：共進(jìn)行了X×Y組風(fēng)格遷移效果對(duì)比評(píng)價(jià)實(shí)驗(yàn)。

2）距離相似（Distance Similarity，DS）是評(píng)估源服裝圖像X與進(jìn)行局部風(fēng)格遷移后的服裝圖像Y數(shù)據(jù)分布相似度的指標(biāo)，如式（9）所示：

其中：ηX是X圖像的平均值；ηY是Y圖像的平均值；δX是X圖像的協(xié)方差；δY是Y圖像的協(xié)方差；是X圖像的方差；是Y圖像的方差；SD 越大表示兩幅圖像的分布結(jié)構(gòu)越相似，圖像質(zhì)量越高。

3）均方誤差MSE（Mean Square Error）是參數(shù)估計(jì)值與參數(shù)真實(shí)值之間差異程度的一種度量，如式（10）所示：

其中：θ是圖像的期望值；θ是圖像的估計(jì)值；W是權(quán)重值；n是樣本總數(shù)。MSE 越小表示與原圖的差距越小。

4）風(fēng)格遷移速度（Style Transfer Speed，STS）是比較本文方法與其他方法效率的衡量指標(biāo)。從數(shù)據(jù)集中隨機(jī)挑出600 張服裝測(cè)試圖片，對(duì)每張服裝圖像局部特定的相關(guān)區(qū)域進(jìn)行風(fēng)格遷移。比較本文方法與其他方法對(duì)600 張服裝圖像進(jìn)行風(fēng)格遷移的平均耗時(shí)。

2.3 與其他方法的比較

為了驗(yàn)證本文提出的方法在服裝局部風(fēng)格遷移效果上的有效性和優(yōu)越性，進(jìn)行了一系列對(duì)比實(shí)驗(yàn)。將本文提出的圖像風(fēng)格遷移方法與MIU 等［16］提出的基于CNN 的圖像局部風(fēng)格遷移方法、LIU 等［17］運(yùn)用的FCN 和CycleGAN 結(jié)合的圖像局部風(fēng)格遷移方法、LI 等［20］采用的BeautyGAN 生成圖像局部風(fēng)格遷移方法進(jìn)行比較。比較在相同的數(shù)據(jù)集上不同方法輸出圖像效果的用戶感知評(píng)價(jià)UE、距離相似DS、均方誤差MSE、風(fēng)格遷移速度STS。實(shí)驗(yàn)數(shù)據(jù)如圖6～圖8 和表2 所示，效果圖如圖9 所示。

表2 風(fēng)格遷移時(shí)間Table 2 Style transfer time s

圖6 不同方法輸出圖像為最佳效果圖的數(shù)量Fig.6 The number of the output images of different methods are the best renderings

圖7 不同方法的距離相似度Fig.7 The distance similarity obtained by different methods

圖8 不同方法得到的均方誤差Fig.8 The mean square error obtained by different methods

圖6 為通過(guò)用戶調(diào)研得到用戶對(duì)4 種方法進(jìn)行圖像風(fēng)格遷移效果的感知評(píng)價(jià)，結(jié)果表明本文方法輸出的效果圖評(píng)為最佳圖像的數(shù)量最多，證明本文方法與其他3 種方法比較，有效地提高了服裝圖像風(fēng)格遷移的視覺(jué)效果。由圖7 可知，本文方法在生成器網(wǎng)絡(luò)中融入注意力機(jī)制后，學(xué)習(xí)和融合了樣本的有效信息，生成的特定相關(guān)區(qū)域的服裝風(fēng)格遷移圖像與原圖像的分布結(jié)構(gòu)最相似。由圖8 可知，本文方法與其他3 種方法相比較，產(chǎn)生的均方誤差是最小的，說(shuō)明本文方法生成的風(fēng)格遷移圖像質(zhì)量最好。從圖9 可知，MIU 等［16］、LIU 等［17］、LI 等［20］的方法雖然實(shí)現(xiàn)了圖像的局部風(fēng)格遷移，但圖像風(fēng)格遷移區(qū)域不完整且出現(xiàn)了風(fēng)格遷移區(qū)域偽影邊界和圖像模糊問(wèn)題。而本文方法在進(jìn)行風(fēng)格遷移的相關(guān)區(qū)域定位準(zhǔn)確，原圖和風(fēng)格遷移區(qū)域邊緣的平滑效果好，風(fēng)格遷移后的整體圖像清晰。綜合來(lái)看，本文方法在UE、DS、MSE、STS 這4 項(xiàng)測(cè)評(píng)指標(biāo)的數(shù)據(jù)上優(yōu)于其他3 種方法，生成風(fēng)格遷移圖像的質(zhì)量高于其他3 種方法，驗(yàn)證了本文方法的可行性。

圖9 不同方法服裝風(fēng)格遷移效果對(duì)比Fig.9 Comparison of clothing style transfer effects in different methods

3 結(jié)束語(yǔ)

本文提出一種基于注意力機(jī)制的CycleGAN 服裝特定相關(guān)區(qū)域風(fēng)格遷移方法。利用注意力機(jī)制在各個(gè)服裝區(qū)域分配概率分布信息，得到注意力分布更多以及相關(guān)度更高的區(qū)域。在此基礎(chǔ)上，通過(guò)循環(huán)生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)服裝特定相關(guān)區(qū)域的風(fēng)格遷移。實(shí)驗(yàn)結(jié)果表明，本文方法能有效控制服裝風(fēng)格遷移的局部區(qū)域，在經(jīng)過(guò)變換處理的裁剪風(fēng)格遷移區(qū)域和原始圖像之間實(shí)現(xiàn)平滑過(guò)渡，相較于CNN、FCN、BeautyGAN 等傳統(tǒng)圖像風(fēng)格遷移方法，其在圖片視覺(jué)效果與質(zhì)量上有一定提升。下一步將設(shè)計(jì)一種高效的目標(biāo)檢測(cè)與實(shí)例分割算法，以實(shí)現(xiàn)服裝對(duì)象各個(gè)服裝部件的準(zhǔn)確識(shí)別與區(qū)域分割，加快風(fēng)格遷移的速度。