有閉解的可控人臉編輯算法

陶玲玲，劉 波*，李文博，何希平

（1.重慶工商大學(xué) 人工智能學(xué)院，重慶 400067；2.智能感知與區(qū)塊鏈技術(shù)重慶市重點(diǎn)實(shí)驗(yàn)室（重慶工商大學(xué)），重慶 400067）

0 引言

人臉編輯是人臉?lè)治龅闹匾芯績(jī)?nèi)容，它通過(guò)操縱人臉圖像的單個(gè)或多個(gè)屬性來(lái)生成新的人臉圖像［1］。人臉編輯被廣泛應(yīng)用于娛樂(lè)、社交以及公共安全等領(lǐng)域。例如：在娛樂(lè)領(lǐng)域，人臉編輯軟件通過(guò)編輯人臉圖像的面部屬性來(lái)實(shí)現(xiàn)人像美顏、妝造編輯等效果［2］；在公共安全領(lǐng)域，可根據(jù)受害者和目擊者的描述來(lái)創(chuàng)建與編輯嫌疑人圖像，從而提高辦案效率［3-4］。

人臉編輯模型和可控性是人臉編輯的主要研究?jī)?nèi)容。主流的人臉編輯模型以生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）為基礎(chǔ)，并取得了豐碩的成果。比如：用于屬性交換與重組的生成對(duì)抗網(wǎng)絡(luò)GeneGAN（Learning Object Transfiguration and Attribute Subspace from Unpaired Data）［5］、通過(guò)改變目標(biāo)內(nèi)容進(jìn)行屬性編輯的生成對(duì)抗網(wǎng)絡(luò)AttGAN（Facial Attribute Editing by Only Changing What You Want）［6］、基于條件的生成對(duì)抗網(wǎng)絡(luò)（Conditional Generative Adversarial Network，CGAN）［7］等。盡管這些模型能較好地生成人臉圖像，但編輯過(guò)程中的可控性仍然面臨很多問(wèn)題。例如：人臉不同屬性之間高度耦合導(dǎo)致編輯的可控性差；編輯結(jié)果不自然，生成圖像的變化過(guò)小或過(guò)大導(dǎo)致可控性難度較大等。

針對(duì)這些問(wèn)題，本文基于潛在空間（latent space）的可解釋方向提出一種高效的可控人臉編輯算法。該算法首先在現(xiàn)有的人臉編輯模型（例如：一種基于風(fēng)格的生成對(duì)抗網(wǎng)絡(luò)生成器架構(gòu)（Style-based generator architecture for Generative Adversarial Networks，StyleGAN）［8］、為提高質(zhì)量、穩(wěn)定性和變化性的漸進(jìn)式生成對(duì)抗網(wǎng)絡(luò)（Progressive Growing of GANs for improved quality，stability，and variation，ProGAN）［9］、StyleGAN 圖像質(zhì)量的分析與改善（Analyzing and Improving the Image Quality of StyleGAN，StyleGAN2）［10］）的潛在空間中采樣構(gòu)造一個(gè)樣本矩陣，并計(jì)算出樣本矩陣的主成分［11］，再結(jié)合人臉屬性的語(yǔ)義邊界（semantic boundary）來(lái)計(jì)算人臉編輯的可解釋方向向量，該向量要盡可能地靠近對(duì)可控性編輯有利的主成分向量，同時(shí)還要盡量遠(yuǎn)離人臉屬性的語(yǔ)義邊界向量，以便減少編輯過(guò)程中屬性之間的相互影響，本文所提出的算法具有閉解（closed-form solution）。實(shí)驗(yàn)結(jié)果表明，該算法能很好地實(shí)現(xiàn)可控人臉編輯。

1 相關(guān)工作

早期的人臉編輯主要利用自編碼器（AutoEncoder，AE）來(lái)實(shí)現(xiàn)［12］。基于自編碼器結(jié)構(gòu)，人臉屬性編輯任務(wù)通過(guò)將給定人臉圖像的屬性進(jìn)行編碼以獲得各個(gè)屬性的特征向量，然后對(duì)這些特征向量進(jìn)行編輯，最后將其進(jìn)行解碼以實(shí)現(xiàn)人臉編輯［13-14］，但這類(lèi)模型生成的圖像容易模糊。當(dāng)前，人臉編輯模型的研究逐漸轉(zhuǎn)向生成對(duì)抗網(wǎng)絡(luò)，并取得了大批顯著性成果。例如：StyleGAN 可以將潛在空間經(jīng)過(guò)仿射變換得到解糾纏的中間潛在空間（intermediate latent space），實(shí)現(xiàn)了人臉編輯時(shí)的無(wú)監(jiān)督屬性分離［8］；ProGAN 可以生成1 024×1 024 分辨率的高質(zhì)量圖像［9］；BigGAN（Large scale GAN training for high fidelity natural image synthesis）［15］可以生成高質(zhì)量、多樣性的結(jié)果。在人臉編輯的研究中，可控性作為關(guān)鍵技術(shù)得到了廣泛、深入的研究。下面從5 個(gè)方面介紹人臉編輯可控性的研究工作。

1）基于對(duì)比學(xué)習(xí)的可控人臉編輯。這方面的研究工作主要采用對(duì)比學(xué)習(xí)來(lái)研究人臉編輯的可控性。比如：文獻(xiàn)［16］中將人臉圖像的屬性逐一進(jìn)行對(duì)比，通過(guò)將相似屬性盡量靠近，不同屬性盡量分離來(lái)實(shí)現(xiàn)人臉屬性編輯的可控性；文獻(xiàn)［17］中結(jié)合三維人臉模型參數(shù)（3D Morphable Model，3DMM）和對(duì)比學(xué)習(xí)來(lái)進(jìn)行可控性人臉編輯的研究。

2）基于條件向量的可控人臉編輯。這類(lèi)方法在生成對(duì)抗網(wǎng)絡(luò)的基礎(chǔ)上加入了條件向量來(lái)控制人臉編輯過(guò)程。比如：CGAN 在生成器與判別器的輸入中均引入了條件向量來(lái)指導(dǎo)模型的生成過(guò)程，從而控制人臉編輯的結(jié)果；條件Wassertein 生成對(duì)抗網(wǎng)絡(luò)（Conditional-Wassertein Generative Adversarial Network，C-WGAN）［18］模型融合了CGAN 和WGAN（Wassertein Generative Adversarial Network）［19］，將條件向量加入網(wǎng)絡(luò)中的生成模型用來(lái)生成滿足約束條件的樣本進(jìn)而控制圖像生成；InfoGAN（interpretable representation learning by Information maximizing Generative Adversarial Nets）［20］不僅引入條件向量來(lái)指導(dǎo)模型的生成結(jié)果，還進(jìn)一步引入互信息來(lái)約束條件向量和生成數(shù)據(jù)之間的關(guān)聯(lián)程度來(lái)提高人臉編輯的可控性。

3）基于輔助分類(lèi)器的可控人臉編輯。這類(lèi)方法通常會(huì)在生成模型的基礎(chǔ)上加入一個(gè)分類(lèi)器，比如：ACGAN（Auxiliary Classifier GAN）［21］，通過(guò)讓判別網(wǎng)絡(luò)在判別圖像真假時(shí)，同時(shí)對(duì)圖像進(jìn)行分類(lèi)，從而實(shí)現(xiàn)人臉編輯的可控性。文獻(xiàn)［22］中獲取圖像不同屬性的語(yǔ)義特征向量，然后通過(guò)分類(lèi)器確定可解釋方向來(lái)實(shí)現(xiàn)人臉編輯的可控性。

4）基于潛在空間解耦的可控人臉編輯。這類(lèi)方法在生成對(duì)抗網(wǎng)絡(luò)的潛在空間中得到豐富的人臉屬性的特征向量，通過(guò)識(shí)別并利用各屬性相對(duì)應(yīng)的特征向量來(lái)實(shí)現(xiàn)可控的人臉編輯。比如，文獻(xiàn)［23］中將潛在空間劃分為多個(gè)線性子空間，使每個(gè)子空間控制一個(gè)屬性變化來(lái)控制的人臉編輯操作。StyleGAN 在潛在空間的基礎(chǔ)上，經(jīng)過(guò)仿射變化提出了一個(gè)中間潛在空間，該空間與潛在空間相比耦合性更低，在人臉編輯過(guò)程中引起的變化更少，從而提高了可控性［8］。文獻(xiàn)［24］中發(fā)現(xiàn)可以對(duì)潛在空間的特征向量進(jìn)行線性插值，使得插值后的特征向量耦合性更低，所以在一定程度上可以更好地實(shí)現(xiàn)人臉編輯任務(wù)中的可控性。

5）基于語(yǔ)義內(nèi)容的可控人臉編輯。這類(lèi)方法對(duì)人臉屬性語(yǔ)義內(nèi)容進(jìn)行人臉編輯，從而獲得更好的控制性。比如，文獻(xiàn)［25］通過(guò)分解模型權(quán)重來(lái)識(shí)別出潛在空間中語(yǔ)義層面上有意義的可解釋性編輯方向，這些方向可以提高人臉編輯的可控性；文獻(xiàn)［26］將語(yǔ)義候選矩陣與分類(lèi)器結(jié)合來(lái)實(shí)現(xiàn)基于語(yǔ)義的可控人臉編輯。

2 本文算法

2.1 算法原理

在人臉編輯模型的可控性研究中，人們發(fā)現(xiàn)隨機(jī)采樣n個(gè)潛在向量（latent vector）z∈Rd構(gòu)成矩陣Z=[z1，z2，…，zn]∈Rd×n，并計(jì)算Z的前k(k

圖1 改變主成分向量導(dǎo)致的人臉圖像變化Fig.1 Changes of face image caused by changing principal component vectors

文獻(xiàn)［23］中通過(guò)訓(xùn)練支持向量機(jī)（Support Vector Machine，SVM）來(lái)得到人臉各屬性的語(yǔ)義邊界。首先通過(guò)ResNet-50 網(wǎng)絡(luò)［27］和CelebA 數(shù)據(jù)集［28］來(lái)訓(xùn)練出一個(gè)屬性預(yù)測(cè)模型（ResNet-50 predictor），然后通過(guò)預(yù)訓(xùn)練生成模型（例如StyleGAN）合成50 000 張圖像，使用ResNet-50 predictor 來(lái)對(duì)每幅人臉圖像的屬性進(jìn)行預(yù)測(cè)并得出每個(gè)屬性（本文實(shí)驗(yàn)選取姿態(tài)、微笑、年齡、性別以及發(fā)型5 種屬性進(jìn)行預(yù)測(cè)）在圖像上出現(xiàn)的概率值作為預(yù)測(cè)結(jié)果。每個(gè)屬性根據(jù)預(yù)測(cè)值對(duì)50 000 張圖像進(jìn)行排序，從排好序的圖像中選出前1 000張圖像和后1 000 張圖像作為候選樣本集（前1 000 張圖像為正樣本，標(biāo)簽為1；后1 000 張圖像為負(fù)樣本，標(biāo)簽為0）。從候選集中選取70%的樣本作為訓(xùn)練集，30%作為測(cè)試集。使用訓(xùn)練集來(lái)訓(xùn)練支持向量機(jī)，從而得到語(yǔ)義邊界。

由于ProGAN、StyleGAN、StyleGAN2 會(huì)合成不同的圖像，所以對(duì)于不同的預(yù)訓(xùn)練模型而言，都需要使用ResNet-50 predictor 對(duì)樣本進(jìn)行預(yù)測(cè)，從而獲得相應(yīng)的語(yǔ)義邊界。

設(shè)人臉第i個(gè)屬性的語(yǔ)義邊界表示為bi∈Rd，若有k個(gè)屬性，它們的語(yǔ)義邊界就構(gòu)成了邊界矩陣B=[b1，b2，…，bk]∈R(d×k)，這些邊界可以很好地區(qū)分人臉的各個(gè)屬性，對(duì)降低人臉編輯過(guò)程中屬性之間的相互糾纏起著重要作用。具體而言，在語(yǔ)義邊界同一側(cè)的屬性具有相同的語(yǔ)義內(nèi)容，并且在語(yǔ)義邊界附近的屬性所對(duì)應(yīng)的語(yǔ)義內(nèi)容不夠明確，因此人臉屬性特征向量離語(yǔ)義邊界越遠(yuǎn)，針對(duì)該屬性的編輯結(jié)果就越明顯。如圖2 所示，語(yǔ)義邊界向量b3將潛在空間分為包含屬性的不同語(yǔ)義的兩部分，當(dāng)u3向兩端移動(dòng)而遠(yuǎn)離語(yǔ)義邊界b3時(shí)，人臉屬性的耦合度變低。例如：在年齡這一屬性上，當(dāng)沿著正方向（+u3）移動(dòng)時(shí)，年齡逐漸增大，人臉圖像逐漸衰老；朝著負(fù)方向（-u3）移動(dòng)時(shí)，年齡逐漸減少，人臉圖像逐漸年輕。

圖2 人臉屬性語(yǔ)義邊界向量的編輯Fig.2 Editing of semantic boundary vector of face attribute

本文結(jié)合潛在空間的主成分和語(yǔ)義邊界在人臉編輯中的優(yōu)點(diǎn)，提出一種具有閉解的可控人臉編輯算法。具體而言，為了編輯l個(gè)人臉屬性，所提出的算法要學(xué)習(xí)l個(gè)可解釋方向向量[u1，u2，…，ul]∈Rd×l，使這些向量能夠?qū)θ四樉庉嬈鸬胶芎每刂谱饔谩榱藢?shí)現(xiàn)這一目標(biāo)，讓第i個(gè)可解釋方向向量ui盡量靠近第i個(gè)潛在空間主成分向量vi，同時(shí)又能盡量遠(yuǎn)離人臉第i個(gè)屬性的語(yǔ)義邊界bi，以此來(lái)減少編輯人臉時(shí)各屬性之間的糾纏，同時(shí)保證人臉編輯的質(zhì)量。

這種思想可用式（1）來(lái)表示：

其中：‖·‖2表示向量的2 范數(shù)，ui表示在潛在空間中對(duì)人臉編輯有精確控制作用的第i個(gè)可解釋方向向量；vi表示潛在空間中n個(gè)隨機(jī)向量構(gòu)成的樣本矩陣Z的第i個(gè)主成分向量；bi表示人臉第i個(gè)屬性的語(yǔ)義邊界；λ、β為正則化參數(shù)。

根據(jù)向量2 范數(shù)的定義，式（1）可計(jì)算為如下形式：

式（2）是一個(gè)無(wú)約束優(yōu)化問(wèn)題，通過(guò)對(duì)ui求導(dǎo)并令它等于0 來(lái)得到最優(yōu)解：

進(jìn)一步化簡(jiǎn)得到：

所以u(píng)i的最優(yōu)解為：

本文所提算法的具體實(shí)現(xiàn)步驟如下：

算法1 本文算法。

輸入 隨機(jī)數(shù)種子s，主成分向量的數(shù)量k；

輸出 生成圖像Image。

1）根據(jù)s隨機(jī)采樣n個(gè)潛在向量z1，z2，…，zn，由此得到樣本矩陣Z。

2）計(jì)算Z的主成分v1，v2，…，vk。

3）對(duì)屬性進(jìn)行分類(lèi)并利用支持向量機(jī)得到其語(yǔ)義邊界b1，b2，…，bk。

4）對(duì)第i個(gè)屬性利用式（4）計(jì)算出可解釋方向向量ui。

5）通過(guò)ui編輯樣本圖像zi：Image= G(zi+ui)

6）返回編輯后的人臉圖像Image。

其中，一個(gè)隨機(jī)數(shù)種子s，為標(biāo)量且是正整數(shù)類(lèi)型，通過(guò)numpy 中的隨機(jī)數(shù)函數(shù)random.randint（）生成，范圍通過(guò)numpy 中的iinfo（numpy.int32）.max 限定，具體數(shù)值為［0，231-1）。隨機(jī)采樣n個(gè)潛在向量時(shí)，則需要生成n個(gè)不重復(fù)的隨機(jī)數(shù)種子。

2.2 實(shí)驗(yàn)

2.2.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

1）硬件環(huán)境：CPU 為Intel Xeon Gold 5118 CPU@2.30 GHz，GPU 為NVIDIA Corporation P40。

2）軟件環(huán)境：操作系統(tǒng)為Ubuntu 20.04.1 LTS；開(kāi)發(fā)環(huán)境：PyTorch 1.3.1，Python 3.7.10，CUDA 10.1.243。

3）參數(shù)設(shè)置。算法1 中的λ、β為正則化參數(shù)，其主要目的是防止模型過(guò)擬合，通過(guò)大量實(shí)驗(yàn)發(fā)現(xiàn)參數(shù)β對(duì)實(shí)驗(yàn)結(jié)果的影響較小，本文將其設(shè)置為1；而參數(shù)λ對(duì)實(shí)驗(yàn)結(jié)果起著關(guān)鍵作用，通過(guò)交叉驗(yàn)證的方式，本文計(jì)算出不同屬性在不同模型上的λ值，具體取值如表1 所示。

表1 參數(shù)λ的取值Tab.1 Values of parameter λ

2.2.2 實(shí)驗(yàn)?zāi)Ｐ?、?shù)據(jù)集以及比較算法

本文采用的數(shù)據(jù)集為CelebA 與FFHQ［8］。CelebA 數(shù)據(jù)集包含202 599 張人臉圖片，由10 177 位不同身份的人組成，每張圖片總有40 個(gè)二分屬性標(biāo)簽；FFHQ 數(shù)據(jù)集由70 000 張分辨率為1 024×1 024 的高質(zhì)量人物圖像組成，在年齡、種族和背景方面有著較大的差異，并且在眼鏡、帽子等配件上有良好的覆蓋范圍。

本文采用的模型為 StyleGAN［8］、ProGAN［9］和StyleGAN2［10］，其中ProGAN 在CelebA 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，StyleGAN 與StyleGAN2 在FFHQ 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

為了驗(yàn)證本文算法對(duì)可控人臉編輯的有效性，在相同的實(shí)驗(yàn)環(huán)境下，與SeFa（closed-form Factorization of latent Semantics in GANs）算法［25］和 GANSpace（Discovering Interpretable GAN Controls）算法［11］進(jìn)行了比較。其中，SeFa算法是通過(guò)對(duì)不同生成模型的權(quán)重求特征向量來(lái)得到人臉編輯時(shí)的可解釋方向，GANSpace 算法是通過(guò)在生成模型的潛在空間中對(duì)樣本矩陣進(jìn)行主成分分析得到人臉編輯時(shí)的可解釋方向。

2.2.3 評(píng)價(jià)指標(biāo)

本文采用初始分?jǐn)?shù)（Inception Score，IS）［29］、弗雷歇距離（Fréchet Inception Distance，F(xiàn)ID）［30］、最大平均差異（Maximum Mean Discrepancy，MMD）［31］這三個(gè)指標(biāo)來(lái)評(píng)價(jià)本文算法與SeFa 算法和GANSpace 算法所生成的圖像質(zhì)量。

3 實(shí)驗(yàn)結(jié)果與分析

將本文所提算法與SeFa 算法和GANSpace 算法從生成圖像的質(zhì)量和編輯效果兩方面進(jìn)行了對(duì)比分析。大量的實(shí)驗(yàn)證明，本文算法優(yōu)于SeFa 算法和GANSpace 算法。

3.1 分析比較生成圖像的質(zhì)量

比較本文所提算法與SeFa 算法和GANSpace 算法在不同模型上的IS、FID 以及MMD 值，實(shí)驗(yàn)選擇人臉圖像中較為重要的姿態(tài)（pose）、微笑（smile）、年齡（age）、性別（gender）以及發(fā)型（hairstyle）這5 種屬性分析比較，這5 種屬性所對(duì)應(yīng)的語(yǔ)義邊界向量依次為b1，b2，b3，b4，b5，所對(duì)應(yīng)的可解釋方向向量依次為u1，u2，u3，u4，u5。本文將三種生成模型（ProGAN、StyleGAN、StyleGAN2）的實(shí)驗(yàn)結(jié)果詳細(xì)展示在表2 中。

表2 預(yù)訓(xùn)練生成模型所生成圖像的定量比較Tab.2 Quantitative comparison of images generated by pre-trained generation models

從表2 中可看出，本文算法通常可以生成質(zhì)量更好的編輯結(jié)果，具體表現(xiàn)為本文算法所生成的圖像質(zhì)量與SeFa 算法和GANSpace 算法相比，本文算法的IS 值均高于SeFa 算法和 GANSpace 算法，F(xiàn)ID 值與MMD 值均低于SeFa 算法和GANSpace 算法。

對(duì)于ProGAN 模型而言，本文算法所生成的圖像質(zhì)量在IS 值上與SeFa 算法相比平均升高了0.18，與GANSpace 算法相比平均升高了0.21；在FID 值上，與SeFa 算法相比平均降低了0.08，與GANSpace 算法相比平均降低了0.35；在MMD值上，與SeFa 算法相比平均降低了0.05，與GANSpace 算法相比平均降低了0.25。

對(duì)于StyleGAN 模型而言，本文算法所生成的圖像質(zhì)量在IS 值上與SeFa 算法相比平均升高了0.43，與GANSpace 算法相比平均升高了0.65；在FID 值上，與SeFa 算法相比平均降低了0.01，與GANSpace 算法相比平均降低了0.88；在MMD 值上，與SeFa 算法相比平均降低了0.01，與GANSpace算法相比平均降低了0.23。

對(duì)于StyleGAN2 模型而言，本文算法所生成的圖像質(zhì)量在IS 值上，與SeFa 算法相比平均升高了0.58，與GANSpace算法相比平均升高了0.69；在FID 值上，與SeFa 算法相比平均降低了0.02，與GANSpace 算法相比平均降低了0.01；在MMD 值上，與SeFa 算法相比平均降低了0.07，與GANSpace算法相比平均降低了0.16。

綜上所述，本文所生成的圖像質(zhì)量更好、更接近于真實(shí)圖像。

3.2 分析比較生成圖像的編輯效果

3.2.1 比較在ProGAN上編輯效果

圖3 為SeFa 算法、GANSpace 算法和本文算法在ProGAN模型上生成的人臉圖像。

圖3 ProGAN模型的實(shí)驗(yàn)結(jié)果Fig.3 Experimental results of ProGAN model

從圖3 可以觀察到，本文算法生成的結(jié)果明顯優(yōu)于SeFa算法和GANSpace 算法所生成的結(jié)果，具體如下：

1）編輯性別（樣本圖像從女性轉(zhuǎn)變?yōu)槟行裕r(shí)，觀察圖3中第2 列可以看出，本文算法很精確地實(shí)現(xiàn)了這一目標(biāo)，且未引起除性別之外的其他變化；而SeFa 算法雖然也改變了原圖的性別屬性，但原圖的黑框眼鏡被改變?yōu)榱藷o(wú)框眼鏡，原圖的微笑程度從高至低被改變了；GANSpace算法在將樣本圖像從女性編輯為男性時(shí)，原圖的表情也從微笑被改變?yōu)椴恍?，原圖的黑框眼鏡被改變?yōu)闊o(wú)框眼鏡。

2）編輯發(fā)型時(shí)，從圖3 中的第3 列發(fā)現(xiàn)，本文算法很好地改變了原圖的發(fā)型，并且與SeFa 算法和GANSpace 算法相比與原圖更加貼近。SeFa 算法不僅改變了原圖的發(fā)型，還讓頭部產(chǎn)生了向右偏轉(zhuǎn)，同時(shí)還讓眼鏡框架變得模糊；GANSpace算法在改變發(fā)型的同時(shí)也改變了面部表情，并讓原圖的眼鏡消失。

3）編輯姿態(tài)（頭部姿態(tài)從左向右偏轉(zhuǎn)）時(shí)，觀察圖3 中的第4 列發(fā)現(xiàn)本文算法只是簡(jiǎn)單地將原圖的頭部姿態(tài)從左向右進(jìn)行了偏轉(zhuǎn)，并未改變其他屬性。而SeFa 算法不僅對(duì)原圖的頭部姿態(tài)產(chǎn)生了影響，使其向右偏轉(zhuǎn)，還去掉了原圖的眼鏡；GANSpace 算法同樣如此，在編輯頭部姿態(tài)的同時(shí)消除了原圖的眼鏡，改變了原圖的發(fā)型等。

4）編輯微笑時(shí)（從微笑變?yōu)椴恍Γ?，觀察圖3 中第5 列發(fā)現(xiàn)本文算法相較于SeFa 算法和GANSpace 算法而言能夠?qū)崿F(xiàn)更加精準(zhǔn)的控制。本文算法僅編輯了微笑這一個(gè)重要屬性并未改變其他屬性；而SeFa 算法在改變微笑的同時(shí)還改變了原圖的姿態(tài)，使其由右偏轉(zhuǎn)變?yōu)檎嫫D(zhuǎn)，原圖發(fā)型的發(fā)色變深；通過(guò)定性比較可以發(fā)現(xiàn)GANSpace 算法在編輯微笑屬性時(shí)直接改變了人臉的身份特征，從發(fā)型、眉毛、人臉輪廓等重要屬性處直接體現(xiàn)了這一點(diǎn)。

5）編輯年齡時(shí)，觀察圖3 中第6 列發(fā)現(xiàn)，本文算法在編輯年齡屬性時(shí)的解耦性明顯優(yōu)于其他兩種算法。例如：本文算法在改變年齡時(shí)并未改變發(fā)型、姿態(tài)等其他較為重要的屬性。而SeFa 算法在編輯年齡這一屬性的同時(shí)還改變了姿態(tài)、發(fā)型和眼鏡等，使編輯后的圖像頭部向左偏轉(zhuǎn)的程度加大，頭發(fā)的卷度變大，長(zhǎng)度變短，眼鏡的清晰度變低；GANSpace算法也非常明顯地產(chǎn)生了耦合，在改變?cè)瓐D年齡的同時(shí)還改變了原圖的發(fā)型與眼鏡，使得編輯后的圖像頭發(fā)變短，眼鏡變得不太明顯，導(dǎo)致生成圖像和原圖相差較遠(yuǎn)。

3.2.2 比較在StyleGAN上所生成的圖像

圖4 為SeFa 算法、GANSpace 和本文算法在StyleGAN 模型上生成的人臉圖像。從圖4 中可以觀察到本文算法所生成的結(jié)果優(yōu)于其他兩種算法生成的結(jié)果，具體如下：

1）編輯性別時(shí)，觀察圖4中的第2列發(fā)現(xiàn)本文算法非常精確地實(shí)現(xiàn)了性別的轉(zhuǎn)換，且將原圖從女性編輯為男性時(shí)并未引起其他屬性的變化。SeFa算法在改變?cè)瓐D的性別時(shí)還改變了嘴巴的動(dòng)作單元，由原來(lái)的閉合狀態(tài)轉(zhuǎn)變?yōu)槲⑽堥_(kāi)的狀態(tài)，GANSpace算法在改變?cè)瓐D性別的同時(shí)還改變了原圖的面部表情，且瞳孔顏色的深淺程度發(fā)生了變化。另外，通過(guò)定性分析發(fā)現(xiàn)，GANSpace算法編輯后的圖像和原圖的身份特征相差較遠(yuǎn)。

2）編輯發(fā)型時(shí)，觀察圖4中的第3列發(fā)現(xiàn)本文算法和SeFa算法都非常精確地改變了原圖的發(fā)型，但是仔細(xì)觀察可以發(fā)現(xiàn)，本文算法生成圖像的頭部姿態(tài)更符合原圖，而SeFa 算法編輯后圖像的頭部姿態(tài)微微向下偏轉(zhuǎn)，且本文算法所生成的圖片在發(fā)型上的改變大于SeFa 算法。GANSpace 算法在改變?cè)瓐D發(fā)型的同時(shí)還引起了其他面部屬性的改變。例如：和原圖相比，編輯后圖像的面部表情更加嚴(yán)肅，嘴角的上揚(yáng)程度小于原圖。另外通過(guò)定性分析發(fā)現(xiàn)GANSpace 算法編輯后的人臉與原圖的身份特征有明顯區(qū)別。

3）編輯姿態(tài)時(shí)，觀察圖4中的第4列發(fā)現(xiàn)三種算法均很好地將原圖的頭部姿態(tài)向左偏轉(zhuǎn)了一定角度，但是仔細(xì)比較可發(fā)現(xiàn)，SeFa 算法在編輯原圖姿態(tài)的同時(shí)還將原圖的直發(fā)變?yōu)槲⒕恚籊ANSpace 算法較為明顯了改變了發(fā)型，將原圖的劉海由右分改變?yōu)樽蠓郑l(fā)型顏色由深變淺。本文算法也對(duì)發(fā)型造成了一定程度的影響，使原圖的發(fā)色變深，但所生成的圖像和原圖的相似度明顯優(yōu)于SeFa算法和GANSpace算法。

4）編輯微笑時(shí)，觀察圖4中第5列發(fā)現(xiàn)三種算法均很好地改變了人臉的面部表情，但是SeFa 算法和GANSpace 算法均引起了除微笑以外的其他屬性的變化。SeFa 算法對(duì)于發(fā)型，眼睛的影響明顯大于本文算法，編輯的發(fā)色由原圖的深色變?yōu)闇\色，編輯后的眼睛大于原圖的眼睛；GANSpace 算法引起了微弱的頭部姿態(tài)的偏轉(zhuǎn)，使得編輯后的圖像向左偏轉(zhuǎn)了一定角度，編輯后的發(fā)型也發(fā)生了微弱變化。

5）編輯年齡時(shí)，觀察圖4中第6列發(fā)現(xiàn)本文算法在編輯年齡時(shí)優(yōu)于SeFa 算法和GANSpace 算法。SeFa 算法在編輯年齡的同時(shí)還改變了原圖的發(fā)型，將原圖的發(fā)型由長(zhǎng)發(fā)變?yōu)槎贪l(fā)，直發(fā)變?yōu)榫戆l(fā)。GANSpace 在編輯年齡的同時(shí)引起了面部動(dòng)作單元的變化，例如：眉毛的上挑程度大于原圖，眼睛的大小大于原圖，原圖的長(zhǎng)發(fā)變?yōu)槎贪l(fā)，原圖的發(fā)色由深色變?yōu)闇\色。本文算法和SeFa 在編輯年齡屬性時(shí)均引起了微弱的頭部姿態(tài)的偏轉(zhuǎn)，但仍然可以看出本文算法在編輯原圖的年齡后，身份特征和原圖更加相近，面部動(dòng)作和原圖更加符合。

圖4 StyleGAN模型的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results of StyleGAN model

3.2.3 比較在StyleGAN2上所生成的圖像

圖5 為SeFa 算法、GANSpace 算法和本文算法在StyleGAN2 模型上生成的人臉圖像。

圖5 StyleGAN2模型的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of StyleGAN2 model

從圖5 中可以明顯地觀察到，本文算法的編輯結(jié)果優(yōu)于其他兩種算法。具體如下：

1）編輯性別時(shí)，觀察圖5 中第2 列發(fā)現(xiàn)本文算法并不會(huì)造成其他屬性的變化，編輯后的人臉圖像和原圖相比具有相同的面部表情和頭部姿態(tài)。而SeFa 在編輯性別時(shí)還改變了人臉的頭部姿態(tài)，將原圖的頭部姿態(tài)由左轉(zhuǎn)改變?yōu)檎妗?/p>

2）編輯姿態(tài)時(shí)，觀察圖5 中第4 列發(fā)現(xiàn)本文算法很好地將原圖的頭部姿態(tài)由向左偏轉(zhuǎn)編輯為向右偏轉(zhuǎn)。而SeFa 算法盡管也實(shí)現(xiàn)了頭部姿態(tài)由左向右的偏轉(zhuǎn)，但是編輯后的人臉面部特征明顯和原圖相差較遠(yuǎn)；GANSpace 算法雖然很好地實(shí)現(xiàn)了頭部姿態(tài)由左向右的偏轉(zhuǎn)，但偏轉(zhuǎn)后人臉圖像的面部出現(xiàn)了由發(fā)型引起的裂痕。

3）編輯微笑時(shí)，觀察圖5 中第5 列發(fā)現(xiàn)本文算法將原圖的面部表情由微笑變?yōu)椴恍?，且保持其他屬性不變。而SeFa算法在實(shí)現(xiàn)微笑編輯時(shí)還造成了皮膚紋理的細(xì)粒度的改變，并且通過(guò)定性分析發(fā)現(xiàn)，SeFa 算法編輯后圖像的年齡和原圖不符，身份特征和原圖相差較遠(yuǎn)；GANSpace 算法除改變面部表情外還改變了原圖的發(fā)型，從有劉海變?yōu)闊o(wú)劉海。

4）編輯年齡時(shí)，觀察圖5 中第6 列發(fā)現(xiàn)本文算法非常精確地將原圖的年齡增大了。SeFa 算法雖然明顯地增加了原圖的年齡，但也非常明顯地改變了原圖的頭部姿態(tài)，由原圖的向左偏轉(zhuǎn)變?yōu)檎?；GANSpace 算法在編輯原圖的年齡屬性的同時(shí)還改變了原圖的發(fā)型，由原圖的有劉海變?yōu)闊o(wú)劉海。本文算法和SeFa 算法與GANSpace 算法在改變了原圖的年齡時(shí)均產(chǎn)生了不同程度的耦合，造成其他屬性不同程度的變化，但從定性分析的角度來(lái)看，本文算法所生成圖片的身份特征與原圖更加貼近。

4 結(jié)語(yǔ)

針對(duì)人臉編輯過(guò)程中的可控性問(wèn)題，本文提出了一種新的人臉編輯模型。該模型結(jié)合了潛在空間的主成分和人臉屬性語(yǔ)義邊界的優(yōu)點(diǎn)來(lái)降低人臉圖像編輯過(guò)程中屬性之間的耦合性，本文建立了模型對(duì)應(yīng)的目標(biāo)函數(shù)和相應(yīng)的求解方法。由于目標(biāo)函數(shù)存在閉式解，因此整個(gè)求解過(guò)程簡(jiǎn)單、高效。實(shí)驗(yàn)結(jié)果表明，本文提出的算法能提升人臉編輯的質(zhì)量和可控性，然而人臉圖像的編輯是一項(xiàng)非常精細(xì)的工作，涉及到表情、身份等多種信息的改變，所以在未來(lái)的工作中，將進(jìn)一步在保持身份不變的情況下研究細(xì)粒度的人臉編輯內(nèi)容，并且為了提高語(yǔ)義邊界向量的求解效率，考慮將多個(gè)二分類(lèi)支持向量機(jī)整合為一個(gè)多分類(lèi)支持向量機(jī)，實(shí)現(xiàn)同時(shí)訓(xùn)練多個(gè)語(yǔ)義邊界向量的目標(biāo)。