基于生成對(duì)抗網(wǎng)絡(luò)的人臉屬性合成技術(shù)綜述

摘 要：人臉屬性合成技術(shù)旨在保留人臉面部圖像身份信息的情況下，根據(jù)指定目標(biāo)重建人臉屬性，從而在源圖像上合成具有全新屬性的人臉。計(jì)算機(jī)視覺技術(shù)的發(fā)展為人臉屬性合成技術(shù)提供了全新的解決方案，為此，從人臉屬性合成數(shù)據(jù)集、傳統(tǒng)和生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）的合成網(wǎng)絡(luò)以及人臉語義方面綜述了人臉屬性合成技術(shù)的發(fā)展。首先分析了人臉屬性合成領(lǐng)域中傳統(tǒng)方法和主流的深度學(xué)習(xí)方法，探討基于GAN方法的發(fā)展現(xiàn)狀，將基于GAN的人臉屬性合成模型劃分為有監(jiān)督，無監(jiān)督以及半監(jiān)督三種，將人臉屬性劃分年齡、表情、妝容三大類語義并對(duì)多種合成模型進(jìn)行深入研究。其次，對(duì)典型的損失函數(shù)進(jìn)行分析和總結(jié)，同時(shí)介紹了常用人臉屬性數(shù)據(jù)集以及評(píng)價(jià)指標(biāo)。最后介紹現(xiàn)有人臉屬性合成方法面臨的問題，并對(duì)該領(lǐng)域未來的發(fā)展提出展望。

關(guān)鍵詞：深度學(xué)習(xí)； 生成對(duì)抗網(wǎng)絡(luò)； 人臉屬性生成； 人臉圖像數(shù)據(jù)集； 年齡； 表情； 妝容

中圖分類號(hào)：TP183"" 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2025）03-002-0650-13

doi：10.19734/j.issn.1001-3695.2024.05.0240

Review of face attribute synthesis techniques based ongenerative adversarial network

Wang Jianqianga， Zhang Kea，b， Li Peijiea

（a.Dept.of Electronic amp; Communication Engineering， b.Hebei Key Laboratory of Power Internet of Things Technology， North China Electric Power University， Baoding Hebei 071003， China）

Abstract：Face attribute synthesis technology aims to reconstruct face attributes according to the specified target while retaining the identity information of face images. The development of computer vision technology has provided a new solution for face attribute synthesis technology. To this end， this paper focused on the face attribute synthesis dataset， traditional and generative adversarial network（GAN） synthesis networks， and face semantics. It reviewed the development of facial attribute synthesis technology. First， this paper analyzed the traditional methods and mainstream deep learning methods in the field of facial attribute synthesis， explored the development status of GAN-based methods， divided GAN-based facial attribute synthesis models into supervised， unsupervised and semi-supervised， and divided facial attributes into three semantic categories of age， expression， and makeup， and conducted in-depth research on multiple synthesis models. Secondly， this paper analyzed and summarized typical loss functions. At the same time， this paper introduced the commonly used facial attribute datasets and evaluation indicators. Finally， this paper introduced the problems with existing face attribute synthesis methods and proposed prospects for the future development of this field.

Key words：deep learning; generative adversarial networks; face attribute synthesis; face image dataset; age; expression; makeup

0 引言

人臉屬性合成是對(duì)原始人臉上的某些屬性進(jìn)行編輯，進(jìn)而合成目標(biāo)屬性的人臉圖像，其本質(zhì)上是將一類圖像域轉(zhuǎn)移到另一類圖像域上的任務(wù)。隨著計(jì)算機(jī)視覺的飛速發(fā)展，人臉屬性合成（face attributes systhesis，F(xiàn)AS）任務(wù)成為了深度學(xué)習(xí)領(lǐng)域最熱門的研究之一，其主要被應(yīng)用在身份識(shí)別、娛樂應(yīng)用和公安領(lǐng)域等。眾多人臉屬性相關(guān)的工作定義人臉屬性的概念，其中應(yīng)用較多的是年齡、表情與妝容［1］。人臉屬性即人臉面部特定特征，其包括可編輯屬性與身份信息屬性，可編輯屬性包含年齡、表情、妝容等，身份信息屬性包括膚色、五官、瞳孔顏色、嘴部形狀等，合成屬性的過程要求人臉屬性合成任務(wù)具有極高的準(zhǔn)確性。人臉屬性合成技術(shù)具有如下特點(diǎn)：a）合成指定目標(biāo)屬性，即僅改變?cè)磮D像的面部屬性完成轉(zhuǎn)換任務(wù)；b）保留原始圖像人臉身份信息，即不改變?cè)磮D像的身份特征；c）經(jīng)過屬性合成后的人臉圖像保留面部細(xì)節(jié)信息、合成圖像背景不存在偽影或背景模糊。

目前國內(nèi)外研究顯示，人臉屬性合成研究處于發(fā)展階段，傳統(tǒng)方法基于計(jì)算機(jī)圖形學(xué)已經(jīng)逐漸被基于深度學(xué)習(xí)的方法替代。近年來深度學(xué)習(xí)的方法在眾多領(lǐng)域取得了突破性的進(jìn)展，同時(shí)為人臉屬性合成研究拓寬了思路。目前人臉屬性合成模型主要是基于生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）［2］對(duì)特定屬性進(jìn)行修改，GAN的出現(xiàn)大幅度地提升了合成圖像的質(zhì)量。考慮到人臉屬性合成大多聚焦于人臉可編輯屬性，本文按照年齡、表情、妝容三類可編輯屬性為主體對(duì)人臉屬性合成任務(wù)進(jìn)行論述，對(duì)人臉屬性合成任務(wù)相關(guān)數(shù)據(jù)集、傳統(tǒng)與深度學(xué)習(xí)合成方法進(jìn)行簡要概述，對(duì)基于GAN的合成模型研究進(jìn)展進(jìn)行綜述，對(duì)比和總結(jié)相關(guān)方法的性能，指出該領(lǐng)域目前存在的挑戰(zhàn)，并對(duì)未來可能的研究方向進(jìn)行展望。

1 合成模型的方法

隨著研究進(jìn)展，人臉屬性合成可分為基于傳統(tǒng)方法和基于深度學(xué)習(xí)的方法?；趥鹘y(tǒng)方法的人臉屬性合成分為原型人臉演化的方法和基于物理建模的方法?；谏疃葘W(xué)習(xí)的方法包括基于變分自編碼器和基于生成對(duì)抗網(wǎng)絡(luò)的方法。本章將對(duì)這兩類方法進(jìn)行總結(jié)分析。

1.1 基于傳統(tǒng)方法的人臉屬性合成研究

傳統(tǒng)的人臉屬性合成方法主要分為基于原型人臉演化的方法和基于物理建模的方法?；谠腿四樠莼姆椒ㄊ紫葘?duì)數(shù)據(jù)集的分布進(jìn)行評(píng)估，建立作為基準(zhǔn)的平均人臉，再將平均人臉的屬性合成規(guī)律遷移到目標(biāo)圖像上。這種方法存在一些問題，經(jīng)過平均化處理后的人臉圖像過于平滑，丟棄了專屬于原型人臉的特征，導(dǎo)致生成的人臉圖像身份信息模糊。Shu等人［3］針對(duì)身份模糊問題提出基于耦合字典學(xué)習(xí)的方法，將人臉圖像根據(jù)年齡組進(jìn)行劃分，通過編碼不同年齡組并設(shè)置年齡組字典，對(duì)年齡信息進(jìn)行通用表達(dá)。

基于物理建模的方法是指，通過建模人臉圖像的解剖學(xué)結(jié)構(gòu)與面部肌肉或紋理的運(yùn)動(dòng)機(jī)制模擬人臉屬性的改變。在人臉年齡合成任務(wù)中，Ramanathan等人［4］通過對(duì)大規(guī)模數(shù)據(jù)集的分析，建模了人臉面部變化機(jī)制的生長模型實(shí)現(xiàn)人臉年齡合成。Suo等人［5］通過使用圖結(jié)構(gòu)劃分人臉關(guān)鍵屬性編輯區(qū)域與無關(guān)區(qū)域，構(gòu)建了一個(gè)人臉屬性合成的層級(jí)復(fù)合模型，模型使用圖結(jié)構(gòu)動(dòng)態(tài)推理屬性合成的進(jìn)程。但是基于物理模型的方法需要同一個(gè)體長時(shí)間變化的人臉圖像，這樣的數(shù)據(jù)集收集難度較大，且成本過高。

1.2 基于深度學(xué)習(xí)的人臉屬性合成研究

在深度學(xué)習(xí)模型興起后，越來越多基于深度學(xué)習(xí)的人臉合成網(wǎng)絡(luò)成為主流模型。其中有兩種著名的模型［6，7］，基于GAN和基于變分自編碼器（variational auto-encoder，VAE）［8］。VAE作為一種生成模型，它將潛在的屬性存儲(chǔ)為概率分布，以此來觀察結(jié)果的概率描述。但這種方式造成了VAE模型產(chǎn)生樣本不現(xiàn)實(shí)、人臉圖像模糊等問題。而GAN旨在通過生成器和鑒別器之間的博弈實(shí)現(xiàn)兩者的動(dòng)態(tài)平衡。受益于對(duì)抗學(xué)習(xí)的博弈策略，GAN可以獨(dú)立生成質(zhì)量更優(yōu)的多樣性圖像，同時(shí)保留更多圖像真實(shí)度，能夠有效避免圖像模糊的現(xiàn)象，因此被廣大研究人員所青睞。目前，基于GAN的人臉屬性合成方法也取得了十分出色的成果，目前主流的人臉屬性合成工作［9，10］也多基于生成對(duì)抗網(wǎng)絡(luò)的結(jié)構(gòu)來實(shí)現(xiàn)。

早期人臉屬性合成模型可以對(duì)一種屬性進(jìn)行修改。Li等人［11］設(shè)計(jì)了一種能夠保留身份信息的面部屬性合成GAN模型，論文將人臉圖像中具有相同屬性但數(shù)值不同的圖像劃分為兩個(gè)不同的類。其中，生成器網(wǎng)絡(luò)實(shí)現(xiàn)兩種功能：預(yù)測(cè)待合成區(qū)域的掩膜和圖像轉(zhuǎn)換的合成網(wǎng)絡(luò)。另外為了進(jìn)一步精準(zhǔn)合成人臉的身份，模型引入了一個(gè)人臉識(shí)別網(wǎng)絡(luò)對(duì)訓(xùn)練過程進(jìn)行約束。Shen等人［12］設(shè)計(jì)的生成器只修改部分人臉面部區(qū)域，生成器輸出特定屬性區(qū)域的殘差圖像，與源圖像疊加后合成最終的目標(biāo)圖像。鑒別器要實(shí)現(xiàn)兩類任務(wù)：即判斷圖像是否為合成圖像和劃分輸入圖像的屬性類別。

隨著人臉屬性數(shù)據(jù)集規(guī)模和種類的增加，僅能合成單一屬性的模型效率較低，不能滿足應(yīng)用場景需求。Larsen等人［13］將生成對(duì)抗網(wǎng)絡(luò)和變分自動(dòng)編碼器融合。在GAN中引入VAE的編解碼器，以GAN的對(duì)抗學(xué)習(xí)策略來訓(xùn)練模型。引入特征潛空間和編解碼結(jié)構(gòu)的概念實(shí)現(xiàn)人臉圖像多種屬性合成。然而VAE/GAN模型合成人臉圖像仍存在圖像細(xì)節(jié)模糊、合成圖像質(zhì)量低的問題。

近年來，基于GAN的人臉屬性生成已不再局限于生成不可控制的人臉，而是通過對(duì)各種有限數(shù)據(jù)的學(xué)習(xí)，生成各種高質(zhì)量的人臉來進(jìn)行各種應(yīng)用。在表1中列舉了近幾年來國際頂級(jí)會(huì)議上人臉合成的相關(guān)工作，并簡單描述了其模型特點(diǎn)以及數(shù)據(jù)集設(shè)置情況。

1.3 小結(jié)

綜上所述，基于傳統(tǒng)方法的人臉屬性合成通常會(huì)忽略人臉身份信息，導(dǎo)致生成的人臉圖像特征并不明顯。雖然基于物理建模的方式能夠生成較為逼真的人臉，但其數(shù)據(jù)采集困難，成本過高。而基于深度學(xué)習(xí)的方法能夠在數(shù)據(jù)數(shù)量一定的情況下，生成真實(shí)可靠的人臉圖像，其中基于生成對(duì)抗網(wǎng)絡(luò)的人臉屬性合成算法以其高質(zhì)量人臉圖像生成能力成為人臉屬性合成領(lǐng)域的主流算法。在之后的研究中，基于GAN的人臉屬性合成模型有著更多的變種來適應(yīng)不同的生成場景。

2 基于GAN的人臉合成模型

在人臉合成領(lǐng)域，GAN能夠精確生成高質(zhì)量的人臉，GAN的人臉合成模型大概可以分為三種，分別是有監(jiān)督、半監(jiān)督以及無監(jiān)督的方式。有監(jiān)督GAN能夠通過標(biāo)記完成的數(shù)據(jù)進(jìn)行訓(xùn)練，半監(jiān)督GAN通過有限的標(biāo)記數(shù)據(jù)集進(jìn)行訓(xùn)練，而無監(jiān)督GAN則直接從數(shù)據(jù)集中提取人臉圖像的通用特征。

人臉圖像由于其包括的語義信息豐富，通常通用的人臉合成模型存在著語義丟失、圖像失真等問題。為了進(jìn)一步細(xì)化人臉屬性，人臉GAN模型通過對(duì)特定領(lǐng)域的生成將人臉語義分為三個(gè)種類，分別是年齡、表情和妝容。本章將從人臉GAN模型以及三種人臉語義進(jìn)行分析，闡述典型的模型方法并進(jìn)行對(duì)比分析。

2.1 人臉GAN模型

2.1.1 基于有監(jiān)督GAN的人臉屬性合成

基于有監(jiān)督的GAN是利用已標(biāo)記的數(shù)據(jù)或者已經(jīng)配對(duì)的數(shù)據(jù)進(jìn)行指定類別的人臉圖像合成，典型的有監(jiān)督GAN為條件GAN與圖像轉(zhuǎn)譯中的配對(duì)圖像GAN，圖1表示了典型的有監(jiān)督GAN的結(jié)構(gòu)，其中z表示輸入噪聲向量，x表示帶標(biāo)簽的圖像數(shù)據(jù)，y表示指定類別假圖像，整個(gè)網(wǎng)絡(luò)架構(gòu)是在x的監(jiān)督下對(duì)生成器和鑒別器進(jìn)行訓(xùn)練，生成器負(fù)責(zé)生成指定類別的假圖像，鑒別器負(fù)責(zé)判斷生成圖像是真是假以及其所屬的類別。

a）條件GAN。

條件GAN（conditional generative adversarial network，CGAN）是一種特殊的GAN，它在原有GAN的基礎(chǔ)上增加了額外的條件約束，以指導(dǎo)生成具有給定屬性的特定圖像，不僅能夠?qū)崿F(xiàn)指定域圖像的生成，還能夠?qū)崿F(xiàn)圖像的風(fēng)格遷移。Luo等人［32］提出利用眼部信息生成臉部屬性的生成對(duì)抗網(wǎng)絡(luò)模型EA2F-GAN，將眼部信息作為條件，能夠動(dòng)態(tài)修改屬性詞匯進(jìn)行屬性的修改并創(chuàng)新性地在臉部合成中增加屬性信息，使得生成的圖像更加真實(shí)。陳莉明等人［33］利用VGG-Face對(duì)人臉圖像進(jìn)行驗(yàn)證，再利用GAN生成人臉年齡圖像以保持身份信息。

b）配對(duì)圖像的轉(zhuǎn)譯GAN。

圖像轉(zhuǎn)譯GAN目的是將圖像從一個(gè)域轉(zhuǎn)譯到另一個(gè)域。訓(xùn)練數(shù)據(jù)一般是成對(duì)的輸入輸出面部圖像，即源樣式的輸入圖像和目標(biāo)樣式的輸出圖像。模型能夠?qū)W習(xí)圖像到圖像的轉(zhuǎn)換，使得人臉面部圖像從輸入風(fēng)格轉(zhuǎn)譯到輸出風(fēng)格。

Pix2Pix［34］模型是首個(gè)基于條件GAN的圖像到圖像翻譯模型。該模型使用源數(shù)據(jù)與目標(biāo)數(shù)據(jù)的配對(duì)圖像，將圖像作為標(biāo)簽信息輸入到生成器當(dāng)中。Pix2PixHD［35］在Pix2Puix的基礎(chǔ)上，提出了新的目標(biāo)函數(shù)、一種新的多尺度生成器以及鑒別器來穩(wěn)定高分辨率圖像上的訓(xùn)練。但是Chen等人［36］表示，基于監(jiān)督的生成模型在訓(xùn)練方面仍然存在著訓(xùn)練不穩(wěn)定的問題，無法生成逼真的圖像。Wang等人［37］拋棄了傳統(tǒng)的圖像配對(duì)的方式，利用音頻信號(hào)與圖像進(jìn)行配對(duì)，提出CP-EB（controllable pose and rye nlinking）模型，該模型分別從音頻以及參考圖像中獲取特征進(jìn)行訓(xùn)練，生成能夠說話的人臉?？紤]到配對(duì)數(shù)據(jù)較難獲取的問題，Xie等人［38］提出了一個(gè)瑕疵感知和漸進(jìn)的面部修飾模型（blemish-aware and progressive face retouching，BPFRe）。BPFRe通過兩階段的框架，在第一階段粗略的去除面部瑕疵并將產(chǎn)生的中間特征輸入到第二階段中，該方法有效地提升了在有限配對(duì)數(shù)據(jù)下的訓(xùn)練效果。

2.1.2 基于半監(jiān)督GAN的人臉屬性合成

對(duì)于人臉屬性合成，生成某個(gè)高質(zhì)量的特定屬性，需要大量特定屬性標(biāo)記數(shù)據(jù)集。在有限的標(biāo)記數(shù)據(jù)集下對(duì)人臉進(jìn)行生成，可能會(huì)導(dǎo)致人臉的輸出不現(xiàn)實(shí)?；诎氡O(jiān)督的GAN通過從大量未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)與面部結(jié)構(gòu)相關(guān)的特征來解決這個(gè)問題，利用有限的標(biāo)記數(shù)據(jù)對(duì)細(xì)節(jié)進(jìn)行微調(diào)，獲得等同于有監(jiān)督GAN效果的指定類別面部生成，其網(wǎng)絡(luò)架構(gòu)如圖2所示。

基于半監(jiān)督GAN的框架，Bodla等人［39］通過融合兩個(gè)生成器，提出對(duì)多種圖像進(jìn)行可控的融合條件GAN圖像合成，其中一個(gè)生成器對(duì)無條件圖像進(jìn)行生成，另一個(gè)生成器對(duì)條件圖像進(jìn)行生成，兩個(gè)生成器通過共享同一個(gè)潛在空間進(jìn)行融合，消除了生成過程中的糾纏。雙生成器允許對(duì)面部生成的風(fēng)格和結(jié)構(gòu)進(jìn)行解糾纏表示，具有高保真度、多樣性和更大的采樣可控性。Liang等人［40］提出了一種多模態(tài)網(wǎng)絡(luò)結(jié)構(gòu)CT-GAN（consistency term GAN），是擁有更好聽覺以及視覺模態(tài)的半監(jiān)督GAN。Match-GAN［41］應(yīng)用自監(jiān)督學(xué)習(xí)在半監(jiān)督設(shè)置下訓(xùn)練條件GAN。SS-GAN（semi-supervised GAN）［42］表明，在半監(jiān)督設(shè)置下學(xué)習(xí)條件生成模型顯著提高了性能，并且?guī)缀跖c有監(jiān)督的條件GAN性能一樣好。但是在訓(xùn)練樣本有限時(shí)，GAN對(duì)標(biāo)記數(shù)據(jù)過于依賴等問題仍然存在，半監(jiān)督GAN無法徹底解決GAN對(duì)數(shù)據(jù)標(biāo)簽依賴的問題?？紤]到這一問題，Chen等人［43］提出了一種半監(jiān)督的超球面生成框架SphericGAN，該框架能夠建模更加復(fù)雜的分布，進(jìn)而獲得空間組織的潛在空間，使其克服了對(duì)有限樣本的依賴，同時(shí)生成了高保真的人臉圖像。

2.1.3 基于無監(jiān)督GAN的人臉屬性合成

大部分情況下，特定的人臉屬性標(biāo)記數(shù)據(jù)集的數(shù)量是有限的。在這種條件下，往往有監(jiān)督以及半監(jiān)督的方式訓(xùn)練的模型效果及質(zhì)量就會(huì)顯著下降。與特定屬性標(biāo)簽訓(xùn)練生成期待的人臉圖像不同，無監(jiān)督GAN通常是從數(shù)據(jù)集中學(xué)習(xí)人臉的共同內(nèi)容以及個(gè)人臉之間的差異。無監(jiān)督GAN分為控制潛在空間GAN以及非配對(duì)數(shù)據(jù)集的圖像轉(zhuǎn)譯GAN，與有監(jiān)督和半監(jiān)督GAN不同的是，鑒別器僅對(duì)圖像的真假進(jìn)行判斷，不參與類別的預(yù)測(cè)。無監(jiān)督GAN結(jié)構(gòu)如圖3所示。

a）控制潛在空間GAN。

潛在空間一般稱之為latent space，是一個(gè)低維的空間，在這個(gè)空間進(jìn)行屬性編輯，會(huì)更加簡單地實(shí)現(xiàn)。比如線性地更改某一個(gè)向量的值，來對(duì)對(duì)應(yīng)的屬性進(jìn)行編輯與生成。潛在空間的特點(diǎn)就是其不僅是低維的特征空間，更是便于屬性解耦的空間。

Liu等人［44］提出了一種潛在空間約束的STGAN（selective transfer GAN），模型將差值屬性向量作為輸入，對(duì)圖像應(yīng)用屬性進(jìn)行分類，有效地增強(qiáng)屬性的靈活轉(zhuǎn)換。并設(shè)計(jì)選擇性傳輸單元（selective transmission unit，STU）提高屬性的合成能力和圖像質(zhì)量。Noynov等人［45］提出GAN的無監(jiān)督方法，該方法在GAN的潛在空間中發(fā)現(xiàn)語義上有意義的方向，用模型不可知的方法定義了不同語義的方向。Info-GAN（information GAN）［46］能夠通過最大化條件變量以及生成數(shù)據(jù)之間的信息學(xué)習(xí)可解釋的表示，同時(shí)從無監(jiān)督的人臉圖像中分離出可解釋的表示并從無監(jiān)督的面部中分離出情感等視覺信息。SD-GAN（semantically decomposing GAN）［47］將潛在空間進(jìn)行分解并且與鑒別器一同區(qū)分變異因素和同一性。

GAN模型的潛在空間并沒有被很好地理解，即沒有解耦開?？紤]到這一問題，StyleGAN［48，49］通過無監(jiān)督的方式將人臉屬性進(jìn)行解耦，其在訓(xùn)練中引入了PPL（perceptual path length）作為度量，但其PPL值較高。在StyleGAN2［50］中對(duì)其進(jìn)行了優(yōu)化，其修改了網(wǎng)絡(luò)中的風(fēng)格偏移系數(shù)，利用PPL作為評(píng)價(jià)指標(biāo)改進(jìn)了無條件建模。Patashnik等人［51］提出了一種利用文本的方式來進(jìn)行圖像的屬性合成StyleCLIP（style contrastive language-image pretraining），該方法基于現(xiàn)成的StyleGAN模型以及CLIP（contrastive language-image pretraining）［52］模型進(jìn)行訓(xùn)練，讓模型能夠從原始的文本中進(jìn)行學(xué)習(xí)，并基于文本的方式進(jìn)行人臉屬性的合成。Xu等人［53］利用CLIP豐富的語義信息提出了一種擴(kuò)展模型TGDM（texture-geometry-aware diffusion model），該模型克服了GAN的不穩(wěn)定訓(xùn)練，并能夠產(chǎn)生簡單、穩(wěn)定以及有效的訓(xùn)練方案。為了解決CLIP等大模型在人臉屬性生成之間的遷移，Yang等人［54］提出基于CLIP的自適應(yīng)對(duì)比度損失，將其嵌入到GAN的訓(xùn)練當(dāng)中，能夠?qū)LIP中包含的語義知識(shí)轉(zhuǎn)移到GAN的生成器中，同時(shí)保留其生成圖像的優(yōu)勢(shì)能力。盡管StyleGAN擁有強(qiáng)大的生成能力，但其對(duì)潛在空間的控制是全局的，考慮到這一問題，Shi等人［55］提出SemanticStyleGAN，通過訓(xùn)練生成器單獨(dú)對(duì)局部語義進(jìn)行生成，并通過組合的方式進(jìn)行圖像生成，通過不同的潛在編碼控制不同的語義信息，實(shí)現(xiàn)了編輯合成指定屬性的人臉圖像。

以StyleGAN為主的潛在空間控制GAN能夠有效地利用潛在空間直接對(duì)屬性進(jìn)行控制，但由于潛在空間中屬性復(fù)雜多樣，無法避免地存在屬性糾纏的問題。考慮到這一點(diǎn)，Xu等人［56］提出了一種高分辨人臉屬性遷移方法FSLSD_HiRes，從較淺的層中解開語義糾纏，同時(shí)對(duì)潛在空間與圖像空間分別進(jìn)行約束進(jìn)一步分離不同屬性之間的糾纏問題。Huang等人［57］利用類似的思路將解除屬性糾纏和人臉屬性編輯分為更為細(xì)致的步驟，每一步都取決于當(dāng)前的面部屬性以及潛在編碼。該方法能夠有效地改善屬性變換所帶來的糾纏問題。Ozkan等人［58］將Transformer架構(gòu)加入生成器當(dāng)中，提出基于Transformer的潛在空間分解模塊，將潛在空間分解為概念與層次，分層次的潛在空間能夠有效地優(yōu)化GAN的性能，緩解了屬性糾纏問題。

b）非配對(duì)的圖像到圖像的轉(zhuǎn)譯。

人臉數(shù)據(jù)集中，并不是所有的人臉圖像都有不同的風(fēng)格（表情，年齡等），這時(shí)使用配對(duì)的方式進(jìn)行訓(xùn)練較為困難。非配對(duì)圖像的轉(zhuǎn)譯使用兩種風(fēng)格的圖像，每組圖像由不同的人臉圖像組成。非配對(duì)的圖像通過將兩種不同風(fēng)格圖像的共同部分保留在兩種風(fēng)格中，對(duì)其中的不同部分進(jìn)行轉(zhuǎn)換來學(xué)習(xí)兩種風(fēng)格之間的映射。

Nimisha等人［59］將生成器與兩個(gè)關(guān)鍵模塊結(jié)合到無監(jiān)督GAN中：一個(gè)是自監(jiān)督去模糊模塊，負(fù)責(zé)生成與輸入圖像對(duì)應(yīng)的清晰圖像；另一個(gè)是約束生成圖像解空間梯度的模塊。通過這一創(chuàng)新，他們成功構(gòu)建了一種無監(jiān)督GAN架構(gòu)，能夠用于去除特定類別數(shù)據(jù)中的模糊。

Recycle-GAN［60］將時(shí)間與空間信息相結(jié)合，構(gòu)建了內(nèi)容轉(zhuǎn)譯與風(fēng)格保存的對(duì)抗性損失。通過面向式的轉(zhuǎn)譯來學(xué)習(xí)無監(jiān)督的視頻重定向，通過保留一張臉的內(nèi)容去捕捉另一張臉的風(fēng)格表達(dá)。CycleGAN［61］將圖像從一種風(fēng)格轉(zhuǎn)換成另一種風(fēng)格，通過循環(huán)一致性損失，將生成的圖像變換會(huì)原始的樣式，來保圖像不丟失其原有內(nèi)容。循環(huán)一致性損失作為兩個(gè)域之間重建圖像的差異，即從原風(fēng)格到目標(biāo)風(fēng)格，再從目標(biāo)風(fēng)格到原風(fēng)格的映射循環(huán)，以從原始域的圖像風(fēng)格到目標(biāo)域的圖像風(fēng)格的差異中學(xué)習(xí)。

2.2 人臉GAN的語義分析

近年來，特定的面部生成GAN的研究已經(jīng)成為人臉屬性合成的熱點(diǎn)圖4展示了與不同的人臉語義類型相結(jié)合的GAN模型，即年齡、表情和妝容，以及其對(duì)應(yīng)的各類方法，其中不同的形狀代表不同的模型類型，三角形代表有監(jiān)督模型，圓形代表半監(jiān)督模型，正方形代表無監(jiān)督模型。

2.2.1 年齡屬性合成方法

人臉年齡屬性合成是在不改變?cè)磮D像身份信息的同時(shí)合成目標(biāo)年齡人臉圖像［62］。人臉年齡屬性合成任務(wù)利用計(jì)算機(jī)視覺技術(shù)建模不同年齡之間的年齡轉(zhuǎn)換模式，使模型能夠精準(zhǔn)合成目標(biāo)年齡的高質(zhì)量人臉圖像。

a）基于經(jīng)典GAN的人臉年齡合成。

基于經(jīng)典GAN的人臉年齡合成是利用GAN的整體架構(gòu)直接進(jìn)行合成。由于GAN訓(xùn)練的不穩(wěn)定性，通常會(huì)在經(jīng)典的GAN模型中增加不同的方法來進(jìn)行合成。

Liu等人［63］將小波包變換（wavelet packet transform，WPT）模塊引入鑒別器中，構(gòu)建基于小波生成對(duì)抗網(wǎng)絡(luò)（attribute enhanced wavelet-based GAN，AEWGAN）實(shí)現(xiàn)人臉年齡屬性合成，AEWGAN的原理圖如圖5所示。模型將人臉屬性向量p插入到生成器以及鑒別器模型中，并通過WPT在頻域?qū)θ四槇D像年齡相關(guān)紋理特征進(jìn)行提取，有效保留了更多細(xì)節(jié)信息，提升年齡合成準(zhǔn)確率。基于AEWGAN，Chandaliya等人［64］引入了改進(jìn)的卷積注意力模塊，提出了改進(jìn)后的AW-GAN（attention with wavelet GAN），該模塊同時(shí)捕捉了兒童和成人的年齡信息，擴(kuò)充了年齡屬性合成的跨度，保留了生成圖像的細(xì)節(jié)。

Alaluf等人［65］在PSP（Pixel2Style2Pixel）模型的基礎(chǔ)上進(jìn)行改進(jìn)，提出SAM（style-based age manipulation）模型。SAM引入年齡編碼，將源圖像與目標(biāo)年齡作為輸入送入生成器中，訓(xùn)練模型學(xué)習(xí)年齡與其他面部屬性解耦的非線性路徑。鑒于人臉從幼年到老年的變化也包含頭部變換，Or-El等人［66］設(shè)計(jì)了一種多域圖之間的生成對(duì)抗網(wǎng)絡(luò)架構(gòu)Lifespan。Lifespan在潛空間學(xué)習(xí)頭部形狀改變和外觀，實(shí)現(xiàn)0～70歲的連續(xù)年齡變換過程。

b）基于漸進(jìn)GAN的人臉年齡合成。

漸進(jìn)GAN是一種訓(xùn)練GAN的新策略，其關(guān)鍵思想就是逐步地訓(xùn)練生成器以及鑒別器，讓生成的圖像從低分辨率開始慢慢增加，最終達(dá)到很好的圖像質(zhì)量，其漸進(jìn)式的架構(gòu)如圖6所示［67］。

為了增加年齡細(xì)節(jié)信息，Yang等人［68］基于漸進(jìn)GAN設(shè)計(jì)引入金字塔結(jié)構(gòu)鑒別器的人臉年齡合成方法，采用預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)獲取人臉多維度特征，模型實(shí)現(xiàn)了細(xì)致真實(shí)的人臉年齡圖像合成。漸進(jìn)式學(xué)習(xí)以更精細(xì)的方式模擬老化效應(yīng)，同時(shí)保持個(gè)性化屬性的穩(wěn)定。為了解決生成面部年齡屬性時(shí)背景細(xì)節(jié)恢復(fù)方面的有限性，Yoon等人［69］基于StyleGAN對(duì)年齡進(jìn)行操作和微調(diào)，利用迭代技術(shù)發(fā)現(xiàn)生成圖像與輸入圖像最相似的潛在向量并通過動(dòng)態(tài)微調(diào)過程保留生成圖像中丟失的背景細(xì)節(jié)。

c）基于年齡估計(jì)的人臉年齡合成。

SR-GAN［70］引入了一種半監(jiān)督的方式來進(jìn)行年齡估計(jì)，提高了年齡估計(jì)等回歸問題的預(yù)測(cè)精度。受啟發(fā)于年齡估計(jì)任務(wù)，Huang等人［71］提出的多任務(wù)框架（multi-task learning framework，MTLFace），在人臉年齡合成（face age synthesis，F(xiàn)AS）部分引入身份條件模塊（identity conditional module，ICM）可實(shí)現(xiàn)身份級(jí)人臉合成。

d）引用注意力機(jī)制的人臉年齡合成。

He等人［72］提出了基于潛在表示分解的人臉年齡合成模型來增強(qiáng)非線性的形狀和紋理變換（lifespan face synthesis，LFS）。該網(wǎng)絡(luò)設(shè)計(jì)了兩種變換模塊：條件卷積和通道注意模塊，訓(xùn)練模型提升年齡敏感性并保留身份信息。為了生成高質(zhì)量的人臉老化圖像，Maeng等人［73］基于掩碼注意力模塊（guidance via masking-based attention，GMBA）設(shè)計(jì)了一種年齡感知指引模塊，通過該模塊能夠調(diào)整圖像中與年齡相關(guān)的信息以及身份信息，使得模型能夠在生成逼真的年齡信息同時(shí)保留身份信息。

e）基于條件GAN的人臉年齡合成。

Wang等人［74］提出了IPCGAN（identity-preserved conditional GAN），該方法首次在人臉年齡合成任務(wù)中構(gòu)建身份保留模塊來提取人臉面部特征，其身份保留模塊架構(gòu)如圖7所示，通過預(yù)訓(xùn)練的特征提取網(wǎng)絡(luò)對(duì)圖像進(jìn)行預(yù)處理并將其作為條件信息進(jìn)行訓(xùn)練，保證合成的人臉與輸入的人臉有著共同的身份特征，同時(shí)，該方法是一個(gè)通用的框架，也可以用來解決其他的多屬性合成問題。

Age-CGAN（Age-CGAN）［75］在保留人臉身份的情況下合成衰老的人臉。首先，輸入重構(gòu)人臉通過尋找最優(yōu)的潛在逼近來保持身份，然后通過在生成器輸入處改變條件來進(jìn)行人臉老化。為了進(jìn)一步提高生成人臉的真實(shí)性、年齡特異性以及身份保留度，Li等人［76］提出了一種引導(dǎo)式條件GAN，即FG-CGAN（feature-guide CGAN），通過特征引導(dǎo)模塊與年齡分類模塊有效地保留了人臉的身份信息并生成了目標(biāo)年齡的人臉圖像。

2.2.2 表情屬性合成方法

人臉表情是一種微妙的形體語言，通過表情可以傳遞情感。傳統(tǒng)GAN合成具有不同強(qiáng)度的面部表情時(shí)，會(huì)存在細(xì)節(jié)丟失、圖像分辨率不佳、表情單一化等問題?；贕AN變體進(jìn)行的人臉表情合成通過添加各種模塊來實(shí)現(xiàn)高保真的屬性合成。

a）單個(gè)域的表情合成。

Pumarola等人［77］提出一種基于人臉肌群活動(dòng)單元（action unit，AU）的條件生成網(wǎng)絡(luò)，通過控制面部AU的激活程度，以連續(xù)流形的形式呈現(xiàn)了人臉表情的變化。Yang等人［78］提出一種端到端的人臉表情編輯網(wǎng)絡(luò)L2M-GAN（learning to manipulate GAN）。通過施加潛在空間特征正交性約束，利用特征轉(zhuǎn)換器將GAN潛在空間表情屬性顯式地分為表情相關(guān)/無關(guān)的編碼。轉(zhuǎn)換可以用于局部也可以用于全局，可以有效地對(duì)具體的表情區(qū)域進(jìn)行編輯，并且對(duì)不同的數(shù)據(jù)集具有較強(qiáng)的泛化能力。

b）引入多模塊的表情合成。

區(qū)別于原生的GAN，Shen等人［79］提出了一種三元網(wǎng)絡(luò)的GAN結(jié)構(gòu)，即FaceID-GAN。FaceID-GAN引入了一個(gè)獨(dú)立的人臉身份信息判別網(wǎng)絡(luò)C，并將其作為第三個(gè)參與者，人臉身份信息判別網(wǎng)絡(luò)C與真?zhèn)舞b別器D協(xié)作，與人臉圖像生成器G構(gòu)成博弈。C網(wǎng)絡(luò)的引入，能夠讓G在生成高質(zhì)量人臉表情圖像的同時(shí)，保留原圖像的身份信息。FaceID-GAN的結(jié)構(gòu)如圖8所示，該方法首次在GAN的訓(xùn)練中加入第三模塊，為之后的多模塊訓(xùn)練起到了很大的參考價(jià)值。Ding等人［80］提出了一種連續(xù)的人臉表情生成器，能夠同時(shí)編輯表情的強(qiáng)度和種類。其生成器G部分，除常規(guī)的encoder-decoder外，還設(shè)有一個(gè)表情控制器模塊，用于學(xué)習(xí)表情強(qiáng)度的編碼，并將表情的種類和強(qiáng)度作為編碼輸入，用于控制生成圖像。為了克服GAN在訓(xùn)練中易受到域外區(qū)域（背景或遮擋）的干擾，Yang等人［81］設(shè)計(jì)了一種能夠檢測(cè)域外區(qū)域的框架，引入空間對(duì)齊模塊與GAN進(jìn)行同時(shí)學(xué)習(xí)，將生成的特征與輸入圖像的幾何特征進(jìn)行對(duì)齊，提高生成圖像的真實(shí)性。Olson等人［31］提出了一種正則化模塊，能夠?qū)撛诳臻g的信息對(duì)應(yīng)到生成圖像的一組像素中，能夠?qū)AN生成的人臉圖像局部屬性進(jìn)行控制，而不需要對(duì)圖像全局進(jìn)行更改。

c）表情去除。

面部表情通常被分為表達(dá)式表情和中性化表情。表達(dá)式表情一般是人臉作出的可以理解的具有意義的表情，中性表情則是一種面無表情的狀態(tài)。表情去除旨在將表達(dá)式表情中和，保留中性的部分，從而生成具有中性表情的人臉。Hu等人［82］提出了一種去除面部表情以及表情識(shí)別的模型De-expression，該模型以表情為域，將不同的表情作為不同的圖像域。利用域到域的轉(zhuǎn)移來生成中性表情的人臉。這種方法不僅可以處理配對(duì)的數(shù)據(jù)集，還可以處理無配對(duì)的數(shù)據(jù)集。Yang等人［83］通過條件GAN訓(xùn)練生成模型，提出了一種DeRL（de-expression residue learning procedure）框架，提取表達(dá)成分的信息來對(duì)面部表情進(jìn)行識(shí)別，過濾出表情信息，生成相應(yīng)的中性表情人臉，同時(shí)在內(nèi)層執(zhí)行學(xué)習(xí)過程并捕捉已經(jīng)記錄在生成模型中的表達(dá)式面部表情成分。

d）多域的表情合成。

混合屬性合成即不拘泥于一種類型的屬性合成，而是學(xué)習(xí)兩個(gè)或多個(gè)類型共同生成人臉，即使用GAN生成混合風(fēng)格的人臉。為解決GAN無法同時(shí)編輯多個(gè)表情屬性的問題，Choi等人［84］提出了星型架構(gòu)的生成對(duì)抗網(wǎng)絡(luò)StarGAN。該模型在訓(xùn)練中引入了向量掩碼，用于控制多個(gè)表情域之間的轉(zhuǎn)換，并采用CycleGAN的循環(huán)訓(xùn)練思想，讓域之間能夠進(jìn)行雙向轉(zhuǎn)換。在此之前，若欲實(shí)現(xiàn)在x個(gè)域上的圖像遷移，則需要訓(xùn)練x×（x+1）個(gè)生成對(duì)抗網(wǎng)絡(luò)。而在StarGAN中，多個(gè)域之間的轉(zhuǎn)換經(jīng)由一個(gè)共享參數(shù)的生成網(wǎng)絡(luò)來實(shí)現(xiàn)，大大降低了訓(xùn)練所需的模型個(gè)數(shù)，StarGAN的結(jié)構(gòu)如圖9所示，該方法的出現(xiàn)使得人臉屬性合成從單屬性合成過渡到了多屬性合成。

為了在同一張人臉中修改兩個(gè)或多個(gè)面部屬性，Shen等人［85］通過對(duì)GAN潛在空間學(xué)習(xí)進(jìn)行解釋，提出Interface-GAN框架，作用于人臉屬性的編輯。He等人［86］考慮到了屬性與潛在空間的關(guān)系，提出了一種融合屬性的編輯方法AttGAN（attribute GAN），該方法引入了面部屬性編輯的分類約束以及運(yùn)用到了雙重學(xué)習(xí)的思想。同樣是針對(duì)人臉屬性與潛在空間的關(guān)系，Hou等人［87］將合成的圖像反向輸入到GAN的訓(xùn)練中來對(duì)模型進(jìn)行預(yù)訓(xùn)練，該方法能夠?qū)Σ煌四槍傩赃M(jìn)行更準(zhǔn)確的合成。

e）加入注意力機(jī)制的表情合成。

加入注意力機(jī)制的GAN能夠通過對(duì)某些特定特征的優(yōu)先學(xué)習(xí)來優(yōu)化訓(xùn)練過程，Zhang等人［88］提出了一種基于U-Net編解碼結(jié)構(gòu)的生成器，并在encoder-decoder之間橋接了注意力支路，有助于人臉特征在編解碼器兩端的選擇性傳遞，避免了因圖像壓縮-復(fù)原所產(chǎn)生的信息丟失。混合attention機(jī)制，增強(qiáng)了原圖像細(xì)節(jié)，且強(qiáng)化了人臉表情屬性的特征，使圖像表情表現(xiàn)更精準(zhǔn)、圖像真實(shí)度更高?？紤]到自注意力機(jī)制對(duì)圖像全局信息特征提取的有效性，Yadav等人［89］將初始GAN與自注意力機(jī)制相結(jié)合，提出ISA-GAN（inception-based self-attentive GAN），將自注意力機(jī)制進(jìn)行并行嵌入，生成了高質(zhì)量的人臉圖像，同時(shí)加快了收斂速度。

2.2.3 妝容屬性合成方法

人臉妝容屬性合成是一項(xiàng)具有挑戰(zhàn)的任務(wù)。它從參考圖像中提取妝容信息特征并對(duì)人臉面部結(jié)構(gòu)進(jìn)行分析，再將提取的妝容遷移到素顏圖像上。是一種保持面部特征不變的同時(shí)盡可能生成參考妝容風(fēng)格的任務(wù)［90］。隨著GAN的出現(xiàn)，基于GAN變體的模型在人臉妝容屬性合成任務(wù)中取得了顯著的成果。

a）基于上妝和卸妝功能的妝容合成。

Li等人［91］提出一種雙輸入雙輸出的BeautyGAN，這是最早使用GAN進(jìn)行人臉妝容合成的模型。為了精準(zhǔn)提取局部妝容特征，BeautyGAN采用基于不同面部區(qū)域計(jì)算的像素級(jí)直方圖損失訓(xùn)練網(wǎng)絡(luò)，并在網(wǎng)絡(luò)加入全局和局部損失，制約模型進(jìn)行更精準(zhǔn)的人臉妝容合成任務(wù)，BeautyGAN合成的人臉妝容如圖10所示。但BeautyGAN合成圖像效果不佳，導(dǎo)致模型泛化性不足。

Chang等人［92］提出了既能上妝又能卸妝的PairedCycleGAN。PairedCycleGAN采用無監(jiān)督學(xué)習(xí)方法訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)人臉妝容合成過程。為了在合成妝容的過程中保留源圖像身份信息，PairedCycleGAN引入身份損失和風(fēng)格損失限制模型的合成過程。PairedCycleGAN合成圖像身份特征信息能夠更符合源圖像，但合成圖像不可編輯制約了模型的魯棒性。Horita等人［93］設(shè)計(jì)了風(fēng)格編碼（style code）和潛在編碼（latent code）聯(lián)合引導(dǎo)SLGAN（style-and latent-guided GAN），模型可應(yīng)用于上妝和卸妝任務(wù)中。SLGAN通過計(jì)算風(fēng)格不變的解碼器輸出和風(fēng)格引導(dǎo)編碼器之間的歐式距離來保留源圖像身份信息，并引入感知化妝損失用于合成妝容風(fēng)格。但SLGAN具有一定局限性，如不適用于極端妝容風(fēng)格合成。

b）基于高質(zhì)量圖像的妝容合成。

受到解糾纏表示的啟發(fā)，Zhang等人［94］提出不同場景下的妝容遷移模型GANDMT（GAN disentangled makeup transfer）。該模型包括身份編碼器和妝容編碼器，解碼器根據(jù)兩個(gè)編碼器的輸出重建人臉，同時(shí)還添加了區(qū)分器對(duì)人臉進(jìn)行識(shí)別，來獲得高質(zhì)量的人臉輸出。Chen等人［95］將Swin Transformer架構(gòu)作為GAN的主要模塊，提高了模型的全局特征感知，同時(shí)結(jié)合通道注意機(jī)制，提出了非配對(duì)妝容遷移模塊PSC-GAN（progressive semantic perception and channel attention GAN），改進(jìn)了模型對(duì)數(shù)據(jù)集質(zhì)量的高度依賴。為了進(jìn)一步提升妝容生成的細(xì)節(jié)，Yan等人［96］提出了一種妝容對(duì)齊模塊，通過Transformer將面部特征進(jìn)行劃分并引入了圖像分割的方法，該方式能夠準(zhǔn)確地進(jìn)行妝容合成，但是對(duì)數(shù)據(jù)集的標(biāo)記質(zhì)量要求較高。Yuan等人［97］提出一種基于GAN的無監(jiān)督方法RAMT-GAN，該方法在實(shí)現(xiàn)妝容合成的同時(shí)保留了人臉的背景信息和身份，實(shí)驗(yàn)表明，該方法在圖像質(zhì)量方面優(yōu)于現(xiàn)有的幾種方法?？紤]到現(xiàn)有的高質(zhì)量妝容合成極易產(chǎn)生過度美化的問題，Chen等人［98］提出增強(qiáng)審美感知的AEP-GAN（aesthetic enhanced perception GAN），該框架由審美感知模塊（aesthetic deformation perception，ADP）、上妝與卸妝模塊（aesthetic synthesis and removal，ASR）以及主體審美識(shí)別模塊（dual-agent aesthetic identification，DAI）組成，成功地防止了在合成高質(zhì)量妝容屬性時(shí)造成的過度美化問題。

高質(zhì)量的妝容合成可以輸出高質(zhì)量的圖像，然而，這些方法的魯棒性較差，當(dāng)面部姿態(tài)的變化較大時(shí)，妝容合成的效果較差。

c）基于魯棒性的妝容合成。

針對(duì)在源圖像和參考圖像存在表情和姿態(tài)差異的情況下，遷移效果較差和不能實(shí)現(xiàn)可控的妝容色彩遷移以及特定部位遷移的問題，Jiang等人［99］提出了姿態(tài)和表情魯棒的空間感知生成對(duì)抗網(wǎng)絡(luò)（pose and expression robust spatial-aware GAN，PSGAN）。該網(wǎng)絡(luò)由三部分組成，分別是：妝容蒸餾網(wǎng)絡(luò)（makeup distill network，MDNet）、妝容應(yīng)用網(wǎng)絡(luò)（makeup apply network，MANet）和注意力妝容形變模塊（attentive Makeup Morphing， AMM）。PSGAN引入注意力妝容形變模塊，限制模型改變面部妝容特征信息以實(shí)現(xiàn)魯棒性的妝容合成，然而該模型的局限性在于無法實(shí)現(xiàn)卸妝，PSGAN的框架組成如圖11所示。為了解決PSGAN無法同時(shí)上妝卸妝的問題，Liu等人［100］提出了多功能的PSGAN++。PSGAN++增加了風(fēng)格遷移網(wǎng)絡(luò)（style transfer network，STNet）和身份蒸餾網(wǎng)絡(luò)（identity distill network，IDNet），對(duì)妝容細(xì)節(jié)和妝容程度等進(jìn)行控制。Gu等人［101］提出了一種用于上妝和卸妝的對(duì)抗解糾纏網(wǎng)絡(luò)LADN（local adversarial disentangling network），LADN引入了不對(duì)稱損失，該損失可以對(duì)質(zhì)量差的妝容風(fēng)格進(jìn)行轉(zhuǎn)移和刪除，通過增加局部鑒別器的數(shù)量和重疊，在保留原始面部和身份信息的同時(shí)獲得具有高細(xì)節(jié)的復(fù)雜妝容。

d）基于有監(jiān)督的妝容合成。

妝容合成應(yīng)該包括色彩轉(zhuǎn)移以及圖案添加，基于該觀點(diǎn)，Nguyen等人［102］提出一種將參考圖像的顏色以及圖案轉(zhuǎn)換為原圖像的方法。該方法由一個(gè)改進(jìn)的顏色轉(zhuǎn)移分支組成，用于學(xué)習(xí)妝容屬性，包括顏色、圖案、紋理和位置。為了實(shí)現(xiàn)顏色控制，Kips［103］等人提出了一種可控的GAN模型CA-GAN（color aware GAN）。該模型基于顏色回歸損失和背景一致性損失保留了非目標(biāo)物體屬性的顏色。CA-GAN通過弱監(jiān)督的形式進(jìn)行訓(xùn)練，不需要帶色彩標(biāo)簽的圖像進(jìn)行訓(xùn)練。

2.3 小結(jié)

根據(jù)本章的分析，人臉GAN在總體上可以分為有監(jiān)督、半監(jiān)督以及無監(jiān)督三類。有監(jiān)督的人臉合成方法體現(xiàn)在人臉年齡屬性合成方面，其對(duì)數(shù)據(jù)集的標(biāo)注質(zhì)量有著很高的要求，常常需要年齡文本與圖像進(jìn)行配對(duì)，大多年齡合成方法聚焦在減輕GAN對(duì)人臉年齡配對(duì)數(shù)據(jù)集的強(qiáng)依賴上。同時(shí)，人臉年齡屬性相比人臉通用屬性需要表達(dá)更多的特征細(xì)節(jié)。通過對(duì)年齡屬性合成GAN的方法分析，如何減輕年齡屬性合成GAN對(duì)數(shù)據(jù)集的依賴，同時(shí)能夠生成高質(zhì)量年齡屬性細(xì)節(jié)是現(xiàn)階段主要的研究內(nèi)容。相比較于有監(jiān)督的方法，半監(jiān)督的方法大多體現(xiàn)在妝容合成和年齡合成當(dāng)中，在半監(jiān)督的條件下，模型對(duì)有標(biāo)記數(shù)據(jù)的依賴性有所降低，但是其仍然需要大量的未標(biāo)記數(shù)據(jù)進(jìn)行輔助學(xué)習(xí)，在小樣本數(shù)據(jù)當(dāng)中，半監(jiān)督方法的生成效果有限，其本質(zhì)上學(xué)習(xí)到的特征是從大量未標(biāo)記數(shù)據(jù)中得到的。無監(jiān)督的人臉屬性合成方法更加聚焦于合成人臉圖像的質(zhì)量中，這在對(duì)數(shù)據(jù)標(biāo)簽依賴不高的妝容以及表情合成中得到了廣泛的應(yīng)用。對(duì)于表情合成方面，無監(jiān)督的表情合成方法大多聚焦于對(duì)潛在空間進(jìn)行控制，并進(jìn)一步解決潛在空間中的屬性糾纏問題，同時(shí)也更加看重身份保持問題。在妝容合成方面，主要關(guān)注的是人臉的外部特征，而較少涉及人臉身份的還原問題。大多數(shù)方法旨在提高妝容的魯棒性，目的是提升妝容合成的質(zhì)量，確保其在不同條件下都能保持較好的效果。

總的來說，人臉屬性合成技術(shù)在保證屬性合成真實(shí)性的同時(shí)，對(duì)生成細(xì)節(jié)、身份保留度以及圖像質(zhì)量方面均有要求，而不同的人臉屬性適用于不同的監(jiān)督訓(xùn)練方式，如何在有監(jiān)督、半監(jiān)督以及無監(jiān)督中尋找合適的方式去進(jìn)行人臉屬性高質(zhì)量合成是當(dāng)下研究的重點(diǎn)。

3 人臉屬性合成常用損失函數(shù)

在人臉屬性合成領(lǐng)域，合適損失函數(shù)的構(gòu)建對(duì)生成模型有著關(guān)鍵的作用。本章將對(duì)前文分析方法中通用的損失函數(shù)進(jìn)行總結(jié)，并按照年齡、表情、妝容對(duì)常用的損失函數(shù)進(jìn)行分析。

3.1 通用損失

通用損失是生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練時(shí)需要的基本損失函數(shù)，其目的是在于穩(wěn)定GAN的訓(xùn)練。通用損失大致包含：

a）對(duì)抗損失。

基于GAN的人臉屬性合成技術(shù)最基本的損失就是對(duì)抗損失，其公式如下：

minG maxDV（D，G）=Ex～Pdata（x）［log D（x）］+Ex～pz（z）［log（1-D（G（z）））］

（1）

其中：D（x）表示x是來自數(shù)據(jù)而不是pg（生成器生成的圖像數(shù)據(jù)）的概率。GAN的目標(biāo)就是訓(xùn)練D以最大化將正確標(biāo)簽分配給訓(xùn)練示例和來自G樣本的概率。同時(shí)也將訓(xùn)練G以最小化log（1-D（G（z）））。

b）L1損失。

一般通用的損失函數(shù)為L1損失，在GAN的生成器訓(xùn)練中加入通用的損失有助于減少生成圖像的模糊。L1損失函數(shù)公式如下：

LL1（G）=Ex，t，z［‖t-G（x，z）‖1］

（2）

其中：t表示配對(duì)的真實(shí)圖像數(shù)據(jù)；z為輸入的隨機(jī)噪聲向量；x為輸入生成器中的圖像。

3.2 年齡合成常用損失

人臉年齡合成常用損失函數(shù)更加關(guān)注身份信息的保留，目的是在合成對(duì)應(yīng)年齡的同時(shí)保留人臉身份信息。其常見損失包括：

a）像素?fù)p失。

像素?fù)p失目的是圖像在像素級(jí)別的層面上保證人臉身份信息的一致性，其公式如下：

Lpix=E（xi，αi）～pdata（x）‖G（xi，αi）-xi‖2F

（3）

其中：α表示屬性向量；（xi，αi）～pdata（x）表示人臉圖像與其對(duì)應(yīng)屬性向量的配對(duì)。

b）身份損失。

身份損失的目的與像素?fù)p失類似，均是采用損失約束的形式保證人臉身份信息的一致性，但其更著重于人臉的相關(guān)特征信息，其公式如下：

3.3 表情合成常用損失

人臉表情合成利用損失函數(shù)對(duì)多種表情屬性進(jìn)行約束，旨在生成不同種類的表情屬性，常見的損失包括：

a）域分類損失。

域分類損失的目標(biāo)就是將輸入的真實(shí)圖像x和目標(biāo)域標(biāo)簽c成功地轉(zhuǎn)換為輸出圖像y，并確保該圖像被正確分類到目標(biāo)域c，即一項(xiàng)用來優(yōu)化D的真實(shí)圖像域分類損失，一項(xiàng)用來優(yōu)化G的偽圖像域分類損失，前一項(xiàng)如下：

Lrcls=Ex，c′［-logDcls（c′|x）］

（5）

其中：Dcls（c′|x）表示真實(shí)圖像x與原始域標(biāo)簽c′的概率分布。通過最小化此目標(biāo)，使D學(xué)習(xí)將真實(shí)圖像分類到對(duì)應(yīng)的原始域c′。同理，對(duì)于生成器生成的假圖像的區(qū)域分類損失函數(shù)定義如下所示。

Lfcls=Ex，c［-logDcls（c|G（x，c））］

（6）

其中：Dcls（c|G（x，c））表示生成器生成圖像y與目標(biāo)域標(biāo)簽c的概率分布，G（x，c）為生成圖像y。

b）雙重學(xué)習(xí)損失。

雙重學(xué)習(xí)［86］的策略旨在通過讓生成器執(zhí)行相反的操作，即屬性的合成和去除的行為，來進(jìn)行一個(gè)雙重任務(wù)，雙重學(xué)習(xí)損失的公式如下：

ldual（xi）=-log（1-D（G（G1-i（xi）））） i=0-log（D（G1-i（xi）））i=1

（7）

其中：當(dāng)i=0時(shí)，對(duì)于給定的圖像x0，其給定屬性值為負(fù)值，接著通過G0得到圖像y0。然后將y0送往G1，其中y0通過G1產(chǎn)生了y′0=G（y0）=G1（G0（x0）），而G0和G1兩個(gè)生成器對(duì)應(yīng)的任務(wù)分別為雙重學(xué)習(xí)策略中的原始任務(wù)以及雙重任務(wù)，原始任務(wù)即直接生成目標(biāo)圖像，雙重任務(wù)即將生成的圖像轉(zhuǎn)換為原始圖像，以增強(qiáng)最終生成圖像的質(zhì)量或多樣性。y′0通過該策略期望跟x0能擁有相同的屬性。同理，當(dāng)i=1時(shí)，也用相同的方法期望y′1具有跟x1相同的屬性。

3.4 妝容合成常用損失

人臉妝容合成常見損失主要約束生成圖像和參考圖像在相同的妝容域中有相似的風(fēng)格，其常見的損失包括：

a）妝容損失。

妝容損失的作用是將人臉妝容屬性分為眼睛、嘴唇和面部三個(gè)部分進(jìn)行約束，每一部分負(fù)責(zé)約束生成圖像y和參考圖像t的化妝風(fēng)格分布并使之趨于相同。每一個(gè)部分利用直方圖匹配得到映射圖像HM（yMitem，xMitem）。其直方圖損失計(jì)算公式如下：

Litem=‖HM（yMitem，xMitem）-yMitem‖2

（8）

其中：Mitem是利用人臉解析模型得到的眼睛、嘴唇和面部區(qū)域，item∈{eye，lips，face}。

總的妝容損失計(jì)算公式如下：

Lmakeup=λ1Leye+λ2Llips+λ3Lface

（9）

其中：λ為權(quán)重參數(shù)，一般設(shè)置為1。

b）循環(huán)一致性損失。

循環(huán)一致性損失是一種重構(gòu)損失，目的是使生成的人臉圖像能夠在更改屬性的同時(shí)保證不更改其他無關(guān)的屬性，循環(huán)一致性損失公式如下：

Lcyc（G，F(xiàn)）=Ex～pdata（x）［‖F(xiàn)（G（x））-x‖1］+Ey～pdata（y）［‖G（F（y））-y‖1］

（10）

其中：G和F分別代表不同域的兩個(gè)生成器；x表示真實(shí)圖像輸入；y表示G生成的假圖像，y作為F的輸入，即使用生成器兩次。G注重將原域中的圖像轉(zhuǎn)換成目標(biāo)域中的圖像，而F更加注重將目標(biāo)域中的圖像轉(zhuǎn)換成原域中的圖像，整個(gè)循環(huán)一致性損失的計(jì)算方式類似L1損失，目的在于使得兩個(gè)生成器互相學(xué)習(xí)，使得生成的圖像更具真實(shí)性。

3.5 小結(jié)

在人臉屬性合成GAN中，損失函數(shù)的選擇漸漸成為了最具挑戰(zhàn)性的問題。綜上所述，GAN的損失函數(shù)已不單單拘泥于通用損失，其常會(huì)引入不同的損失函數(shù)對(duì)GAN的訓(xùn)練進(jìn)行輔助。實(shí)際上，基于GAN的人臉屬性合成尋找的是如何在生成器以及鑒別器中找到平衡。無論是通用損失還是基于年齡、表情、妝容的特定損失，其目的都在于穩(wěn)定GAN的訓(xùn)練并生成真實(shí)可靠的人臉屬性。同時(shí)，在近些年的研究中，GAN已從單人臉屬性合成逐漸變?yōu)榭煽囟嘤虻娜四槍傩院铣桑铣扇蝿?wù)的復(fù)雜性對(duì)損失函數(shù)的要求進(jìn)一步提高，選擇合適的損失函數(shù)以及設(shè)計(jì)特定任務(wù)下的損失函數(shù)能夠?qū)W(wǎng)絡(luò)性能帶來極大的提升。因此，對(duì)損失函數(shù)的研究以及設(shè)計(jì)在人臉屬性合成領(lǐng)域仍有很大的發(fā)展前景。

4 常見人臉屬性合成數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

4.1 常見人臉屬性合成數(shù)據(jù)集

4.1.1 年齡屬性數(shù)據(jù)集

在研究人臉年齡合成任務(wù)時(shí)，使用高質(zhì)量人臉數(shù)據(jù)集可以大幅提升訓(xùn)練模型的泛化性及穩(wěn)定性。人臉年齡數(shù)據(jù)集標(biāo)簽可劃分為年齡組和年齡值兩類。本節(jié)列舉常見的人臉年齡數(shù)據(jù)集。

a）MORP［104］數(shù)據(jù)集是于2006年公開的真實(shí)年齡數(shù)據(jù)集，包含Album1和Album2兩部分，且年齡標(biāo)簽均為年齡值。

b）FG-NET（face and gesture recognition NETwork）［105］數(shù)據(jù)集于2002年公開，收錄了82人不同年齡跨度下1 002幅彩色或黑白的人臉圖像。每張圖像的年齡標(biāo)簽為年齡組。

c）CACD（cross-age celebrity dataset）［106］數(shù)據(jù)集于2013年發(fā)布，圖像收集自網(wǎng)站上2 000位名人的163 446張圖像，年齡跨度為0～100歲，圖像的年齡標(biāo)簽為年齡值。

d）Adience［107］數(shù)據(jù)集于2014年收集自Flickr網(wǎng)站，其中包含2 284個(gè)人共26 580張人臉圖像，每張圖像的年齡標(biāo)簽為年齡組。

4.1.2 妝容屬性數(shù)據(jù)集

鑒于人臉妝容合成算法的飛速發(fā)展，人臉妝容相關(guān)數(shù)據(jù)集越來越豐富，無論妝容風(fēng)格種類還是人臉圖像的質(zhì)量和數(shù)量均有一定的提升。下面列舉了人臉圖像妝容合成任務(wù)中具有與代表性的數(shù)據(jù)集。

a）YMU（YouTube makeup）［108］數(shù)據(jù)集發(fā)布于2012年，圖像均取自YouTube化妝教程。這些面部圖像中的妝容風(fēng)格包含淡妝和濃妝等。

b）MT（makeup transfer）［91］數(shù)據(jù)集發(fā)布于2018年，收錄了3 834張女性圖像，其中素顏人臉圖像1 115張，妝后人臉圖像2 719張。

c）FCC（facial cosmetic content）數(shù)據(jù)集［109］發(fā)布于2019年，拍攝不同對(duì)象化妝前后的人臉圖像，共有18 425張人臉圖像。

d）CPM（color-amp;-pattern makeup）［102］發(fā)布于2021年，數(shù)據(jù)集分為四部分：CPM-Synt-1、CPM-Synt-2、CPM-Real和Stickers。

4.1.3 表情屬性數(shù)據(jù)集

深度合成模型的訓(xùn)練十分依賴圖像數(shù)據(jù)和標(biāo)簽，人臉表情數(shù)據(jù)集提供了表情標(biāo)簽作為表情特征信息，如微笑、中立、生氣等，這些標(biāo)簽有效輔助人臉表情的精確合成。本節(jié)總結(jié)了常用人臉表情合成數(shù)據(jù)集及其特征：

a）PIE（pose illumination expression）數(shù)據(jù)集［110］發(fā)布于2002年，是最早發(fā)布的大規(guī)模人臉表情數(shù)據(jù)集之一。共有來自68位志愿者的41 368張人臉圖像，每個(gè)個(gè)體采集13種身體姿態(tài)，43種不同的照度和4種常見表情。

b）Multi PIE數(shù)據(jù)集：為了解決PIE存在的問題，Gross等人［111］在2010年提出的數(shù)據(jù)集。此數(shù)據(jù)集采集自337位志愿者，提取了15個(gè)視角、19個(gè)光照角度下的表情信息，數(shù)據(jù)集總共包含約75萬張人臉圖像。

c）RaFD（radboud faces）數(shù)據(jù)集［112］發(fā)表于2010年，數(shù)據(jù)集從不同角度收集了67個(gè)志愿者的8 040張表情圖像，RaFD數(shù)據(jù)集共包含8種表情，即驚訝、憤怒、快樂、悲傷、中立、蔑視、厭惡和恐懼。

d）CK（CohnKanade）數(shù)據(jù)集包含了97個(gè)人的486個(gè)表情視頻序列，每名模特從中立表情開始，作出連貫的面部表情變化，視頻中平均每人展示23個(gè)表情。CK+［113］在CK數(shù)據(jù)集基礎(chǔ)上進(jìn)行擴(kuò)展，CK+數(shù)據(jù)集包含了123位模特的表情視頻序列593個(gè)。

4.1.4 人臉屬性通用數(shù)據(jù)集

隨著深度模型的發(fā)展，合成任務(wù)不僅僅局限于單一的屬性轉(zhuǎn)換，人臉屬性變換往往是多種屬性同時(shí)呈現(xiàn)。因此衍生出多種人臉屬性、高質(zhì)量人臉面部屬性數(shù)據(jù)集。本節(jié)總結(jié)目前在人臉屬性合成任務(wù)中應(yīng)用最廣泛的數(shù)據(jù)集。并將所有數(shù)據(jù)集整理對(duì)比如表2所示。

a）CelebA（celebfaces attributes）［114］數(shù)據(jù)集發(fā)表于2015年，是一個(gè)大規(guī)模人臉屬性通用數(shù)據(jù)集。CelebA收錄了10 177位名人的202 599幅人臉圖像，每幅圖像帶有40個(gè)人臉屬性的標(biāo)簽信息。

b）FFHQ（flickr faces high quality）［48］數(shù)據(jù)集取自Flickr并公布于2019年，是英偉達(dá)公司創(chuàng)建的高清人臉數(shù)據(jù)集。FFHQ數(shù)據(jù)集包含70 000張1 024×1 024像素的高分辨率人臉圖像。

4.2 人臉屬性合成常用評(píng)價(jià)指標(biāo)

對(duì)基于GAN的人臉屬性生成來說，常常需要使用評(píng)價(jià)指標(biāo)來評(píng)估GAN的生成效果。對(duì)于人臉屬性合成領(lǐng)域，根本問題在于是否和人的感知一致。評(píng)價(jià)指標(biāo)的要求一般有如下幾點(diǎn)：

a）可以做到對(duì)生成質(zhì)量的評(píng)價(jià)，也就是對(duì)生成樣本多、多樣性復(fù)雜的人臉屬性合成模型具有較好的分?jǐn)?shù)。

b）對(duì)于基于條件的人臉屬性合成來說，可控制的人臉屬性合成算法應(yīng)該具有更好的評(píng)價(jià)。

c）一些圖像的位置變換等操作并不會(huì)改變生成的質(zhì)量，這樣的算法評(píng)價(jià)較高。

d）定量評(píng)價(jià)不應(yīng)該有較大的計(jì)算量。

4.2.1 定性評(píng)價(jià)

定性評(píng)價(jià)通常是根據(jù)人眼來對(duì)人臉屬性合成的效果進(jìn)行評(píng)價(jià)，其主觀性比較多，同時(shí)根據(jù)參與者的不同，每個(gè)人的評(píng)價(jià)標(biāo)準(zhǔn)也有所不同。如圖12所示是IcGAN［115］、FaderNet［116］、AttGAN［86］、StarGAN［84］以及STGAN［44］五種具有代表性的主流生成對(duì)抗網(wǎng)絡(luò)在人臉屬性合成方面的定性評(píng)價(jià)示例。

定性評(píng)價(jià)由于其主觀性較大，和定量評(píng)價(jià)相比，其評(píng)價(jià)的結(jié)果只能作為一個(gè)參考，而定量評(píng)價(jià)能夠根據(jù)潛在空間的信息進(jìn)行對(duì)比，以統(tǒng)一的標(biāo)準(zhǔn)評(píng)估模型的性能。

4.2.2 定量評(píng)價(jià)

定量評(píng)價(jià)一般是一個(gè)可以通過計(jì)算得到的量化指標(biāo)，通過量化指標(biāo)對(duì)人臉屬性的生成質(zhì)量進(jìn)行評(píng)價(jià)，清晰度不夠以及足夠清晰但是不符合真實(shí)人臉的圖像算作低質(zhì)量圖像。

a）IS（inception score）。

Inception Score［117］將輸入的圖像x輸出一個(gè)1 000維的標(biāo)簽向量y，向量的每一維表示輸入的樣本屬于某一類別的概率。其計(jì)算公式如下：

IS=exp（ExDKL（p（y|x）‖p（y）））

（11）

其中：DKL表示KL（Kullback-Leibler）散度，用來衡量兩個(gè)分布的差異大小，IS值越大代表模型的質(zhì)量越好。

b）FID（Fréchet inception distance）。

FID［118］分別把生成器以及鑒別器生成的圖像輸入到分類模型當(dāng)中，圖像的抽象特征從分類模型中抽取。同時(shí)，在假設(shè)抽象特征符合多元高斯分布的前提下估計(jì)生成圖像高斯分布均值矩陣μg和協(xié)方差矩陣a。g，以及訓(xùn)練圖像的均值矩陣μdata和協(xié)方差矩陣a。data，最后計(jì)算兩個(gè)高斯分布的弗雷歇距離，該值的大小即為FID，其計(jì)算公式如下：

FID=‖μdata-μg‖+

tr（a。data+a。g-2（a。dataa。g）12）

（12）

FID的數(shù)值越小，代表訓(xùn)練圖像和生成圖像兩個(gè)分布越接近，代表模型的算法越好。

c）Wasserstein distance。

Wasserstein距離作為評(píng)價(jià)指標(biāo)首次由Arjovsky等人［119］在WGAN（Wasserstein GAN）中被提出。Wasserstein距離越小，代表真實(shí)圖像與生成圖像的樣本分布越接近，即模型的性能越好。以Wasserstein距離作為評(píng)價(jià)指標(biāo)時(shí)，需要一個(gè)預(yù)訓(xùn)練的鑒別器D（x），Wasserstein距離的估算值如下：

WD≈1N∑Ni=1D（xi）-1N∑Nj=1D（yj）

（13）

其中：xi為訓(xùn)練樣本集的樣本；yi為生成器生成的樣本。分別將其輸入到鑒別器中進(jìn)行判斷，輸出的值進(jìn)行WD（Wasserstein distance）計(jì)算，得出真實(shí)圖像與生成圖像的分布差異。

d）SSIM（structural similarity）。

SSIM［120］通過三個(gè)方面對(duì)模型的生成質(zhì)量進(jìn)行評(píng)價(jià)，分別是兩張圖像x、y之間的亮度l（x，y）、對(duì)比度c（x，y）、結(jié)構(gòu)s（x，y）。三個(gè)方面的公式如下：

l（x，y）=2μxμy+C1μ2x+μ2y+C1

（14）

c（x，y）=2σxσy+C2σ2x+σ2y+C2

（15）

s（x，y）=σxy+C3σxσy+C3

（16）

其中：μx、μy、σx、σy、σxy分別為x，y的局部均值、方差以及協(xié)方差；C為常數(shù)。通常SSIM評(píng)價(jià)指標(biāo)通過計(jì)算三方面的標(biāo)準(zhǔn)來取值如下：

SSIM（x，y）=l（x，y）c（x，y）s（x，y）

（17）

作為評(píng)價(jià)兩幅圖像相似性的指標(biāo)，SSIM值越大越好。

e）PPL（perceptual path length）。

PPL［48］評(píng)價(jià)的是生成器能否很好地把不同圖像的特征進(jìn)行分離。公式如下：

PPL=E［1∈2d（G（slerp（x，y;t）），G（slerp（x，y;t+∈）））］

（18）

其中：∈為插值路徑中細(xì)分的小段，通常由1E-4代替；d（…，…）為perceptual distance，一般使用VGG［98］進(jìn)行衡量；G為生成器；slerp為球面線性插值；t～U（0，1）為服從均勻分布的插值參數(shù)。PPL評(píng)價(jià)指標(biāo)越小越好。

f）PSNR（peak signal to noise ratio）。

PSNR［121］即峰值信噪比，這個(gè)比值衡量的是原始圖像與重構(gòu)圖像之間的質(zhì)量，PSNR值越大，則重構(gòu)圖像的質(zhì)量越高，其公式如下：

PSNR=10×log10（（2n-1）2MSE）

（19）

其中：（2n-1）2為圖像可能的最大像素值；MSE是原圖像與重構(gòu)圖像之間的均方誤差。

4.2.3 小結(jié)

綜上所述，無論是定性評(píng)價(jià)還是定量評(píng)價(jià)，其最終目的是能夠生成逼真且高質(zhì)量的人臉。從這一點(diǎn)來看，定性評(píng)價(jià)高是評(píng)估高質(zhì)量算法的重要因素，但利用人眼直接觀察的方法成本過高，定量評(píng)價(jià)采用直接計(jì)算的方式避免了這一成本消耗，但定量評(píng)價(jià)沒有一個(gè)統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)。因此，在GAN的人臉屬性合成算法的評(píng)估中，采用定性評(píng)價(jià)與多種定量評(píng)價(jià)相結(jié)合的方式是當(dāng)前主流的評(píng)估標(biāo)準(zhǔn)。

5 結(jié)束語

人臉屬性合成領(lǐng)域具有重大的理論研究價(jià)值和廣闊的市場應(yīng)用前景，因此該領(lǐng)域有著許多研究者參與其中進(jìn)行研究和探索，也催生出一些杰出的理論和模型，并能擴(kuò)展到人臉之外的領(lǐng)域中，對(duì)計(jì)算機(jī)視覺和深度學(xué)習(xí)的發(fā)展有一定推動(dòng)作用。

本文回顧了人臉屬性合成領(lǐng)域的前世今生，簡要介紹了傳統(tǒng)方法和目前主流的深度學(xué)習(xí)方法，并著重介紹了GAN網(wǎng)絡(luò)及其變體在人臉表情、年齡、妝容合成方面的應(yīng)用和最新發(fā)展；此外還介紹了人臉屬性方面的數(shù)據(jù)集，并梳理其特征。

目前，人臉屬性合成已經(jīng)取得了一定的進(jìn)展，能夠初步滿足實(shí)際應(yīng)用的需求。但仍存在幾個(gè)問題需要考慮：

a）數(shù)據(jù)集對(duì)人臉屬性合成的制約。數(shù)據(jù)是推動(dòng)深度學(xué)習(xí)發(fā)展的原料，數(shù)據(jù)集的規(guī)模和質(zhì)量制約了模型在人臉合成任務(wù)上的表現(xiàn)。目前的數(shù)據(jù)集存在采集質(zhì)量不一致，標(biāo)注規(guī)則有較大差異，各種屬性之間樣本數(shù)量存在不均衡的現(xiàn)象。期待未來能夠有標(biāo)準(zhǔn)化組織，對(duì)數(shù)據(jù)集提供一個(gè)基本的統(tǒng)一框架，便于后續(xù)的數(shù)據(jù)更新和整合。

b）目標(biāo)屬性合成能力與身份特征保留能力的矛盾。人臉屬性合成任務(wù)的核心是在合成目標(biāo)屬性的同時(shí)保留個(gè)人身份信息。GAN能輕易地合成逼真的人臉屬性，但是不加限制時(shí)難以合成具有個(gè)性化身份信息的圖像。如何恰如其分地增加限制條件，讓其自適應(yīng)地達(dá)到一個(gè)完美的平衡是亟需解決的問題。

c）人臉屬性合成缺少統(tǒng)一的評(píng)價(jià)指標(biāo)?，F(xiàn)有的開源深度學(xué)習(xí)API（application programming interface），如Face++通過分類、識(shí)別、檢測(cè)、分割等成熟的深度學(xué)習(xí)任務(wù)來輔助評(píng)價(jià)生成任務(wù)，然而各家的訓(xùn)練條件和模型偏好的不同也讓模型的評(píng)價(jià)難以達(dá)成統(tǒng)一。傳統(tǒng)的光學(xué)和物理模型的評(píng)價(jià)標(biāo)準(zhǔn)也難以用簡潔的公式描述合成圖像的質(zhì)量。如何將“像”這個(gè)抽象的概念轉(zhuǎn)換為科學(xué)語言，落實(shí)到客觀、可量化的指標(biāo)一直是個(gè)亟待解決的難題。

d）圖像的細(xì)節(jié)真實(shí)度容易被忽視。放眼目前的屬性合成模型，人臉屬性合成圖像的真實(shí)度還有提升的空間。人臉細(xì)節(jié)對(duì)于合成圖像真實(shí)性的表達(dá)有重要的關(guān)系。人臉五官的比例，左右的鏡像性和細(xì)節(jié)的非對(duì)稱等構(gòu)成了真實(shí)度，不應(yīng)伴隨不符合解剖學(xué)結(jié)構(gòu)的面部肌群、牙齒數(shù)量、瞳孔顏色等。引導(dǎo)模型學(xué)習(xí)人臉中蘊(yùn)涵的細(xì)節(jié)信息，提升人臉合成圖像真實(shí)度將是未來的研究方向。

總之，人臉屬性合成是一項(xiàng)意義深遠(yuǎn)具有挑戰(zhàn)性的課題，既是機(jī)遇也有挑戰(zhàn)，具有巨大的研究價(jià)值。此綜述的目的也是為人臉屬性合成研究的進(jìn)一步發(fā)展提供參考。

參考文獻(xiàn)：

［1］Kammoun A， Slama R， Tabia H， et al. Generative adversarial networks for face generation： a survey［J］. ACM Computing Surveys， 2022， 55（5）： 1-37.

［2］Goodfellow I J， Pouget-abadie J， Mirza M， et al. Generative adversarial nets［C］//Proc of the 27th International Conference on Neural Information Processing System. New York： ACM Press， 2014： 2672-2680.

［3］Shu Xiangbo， Tang Jinhui， Lai Hangjiang， et al. Personalized age progression with aging dictionary［C］//Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2015： 3970-3978.

［4］Ramanathan N， Chellappa R. Modeling age progression in young faces［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2006， 1： 387-394.

［5］Suo Jinli， Zhu Songchun， Shan Shiguang， et al. A compositional and dynamic model for face aging［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2009， 32（3）： 385-401.

［6］王體， 趙夢(mèng)媛， 黃艷燕. 基于生成對(duì)抗網(wǎng)絡(luò)的人臉年齡合成研究概述［J］. 軟件， 2020， 41（10）： 171-174. （Wang Ti， Zhao Mengyuan， Huang Yanyan. Overview of research on face age synthesis bassed on generative adversarial networks［J］. Conputer engineering amp; Software， 2020， 41（10）： 171-174.）

［7］曹玉紅， 尚志華， 胡梓珩等. 智能人臉偽造與檢測(cè)綜述［J］. 工程研究-跨學(xué)科視野中的工程， 2020， 12（6）： 538-555. （Cao Yuhong， Shang Zhihua， Hu Ziheng， Zhu Jiaqi， et al. Survey of intelligent face forgery and detection［J］. Journal of Engineering Studies， 2020， 12（6）： 538-555.）

［8］Kingma D P， Welling M. Auto-encoding variational Bayes［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1312. 6114.pdf.

［9］謝志峰， 閆淑萁， 張文領(lǐng). 基于視覺注意力機(jī)制的人臉屬性遷移［J］. 計(jì)算機(jī)應(yīng)用與軟件， 2021， 38（4）： 209-214. （Xie Zhifeng， Yan Shuqi， Zhang Wenling. Facial attributes transfer based on visual attention［J］. Computer Applications and Software， 2021， 38（4）： 209-214.）

［10］馬志萍. 基于GANs和遷移學(xué)習(xí)的人臉表情生成方法研究［J］. 儀器儀表用戶， 2021，28（2）： 15-18. （Ma Zhiping. Facial expression generation based on GANs and transfer learning［J］. Instrumentation， 2021， 28（2）： 15-18.）

［11］Li Mu， Zuo Wangmeng， Zhang D. Deep identity-aware transfer of facial attributes［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1610.05586.pdf.

［12］Shen Wei， Liu Rujie. Learning residual images for face attribute manipulation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ， NJ： IEEE Press， 2017： 4030-4038.

［13］Larsen A B L， S？nderby S K， Larochelle H， et al. Autoencoding beyond pixels using a learned similarity metric［C］//Proc of International conference on machine learning. NewYork： PMLR， 2016： 1558-1566.

［14］Yao Xu， Puy G， Newson A， et al. High resolution face age editing［C］//Proc of the 25th International conference on pattern recognition. Piscataway， NJ： IEEE Press， 2021： 8624-8631.

［15］Choi Y， Uh Y， Yoo J， et al. StarGAN v2： Diverse image synthesis for multiple domains［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 8188-8197.

［16］Wu Rongliang， Zhang Gongjie， Lu Shijian， et al. Cascade EF-GAN： progressive facial expression editing with local focuses［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 5021-5030.

［17］Yao Xu， Newson A， Gousseau Y， et al. A latent transformer for disentangled face editing in images and videos［C］//Proc of IEEE/CVF international conference on computer vision. Piscataway， NJ： IEEE Press， 2021： 13789-13798.

［18］Jeon S， Lee P， Hong K， et al. Continuous face aging generative adversarial networks［C］//Proc of IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， NJ： IEEE Press， 2021： 1995-1999.

［19］Li Zeqi， Jiang R， Aarabi P. Continuous face aging via self-estimated residual age embedding［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 15008-15017.

［20］Deng Han， Han Chu， Cai Hongmin， et al. Spatially-invariant style-codes controlled makeup transfer［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 6549-6557.

［21］Wang Huipo， Yu Ning， Fritz M. Hijack-GAN： unintended-use of pretrained， black-box GANs［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 7872-7881.

［22］Xiang Jianfeng， Chen Junliang， Liu Wenshuang， et al. RamGAN： region attentive morphing GAN for region-level makeup transfer［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2022： 719-735.

［23］Xu Yanbo， Yin Yueqin， Jiang Liming， et al. Transeditor： transformer-based dual-space GAN for highly controllable facial editing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press， 2022： 7683-7692.

［24］Wang Tengfei， Zhang Yong， Fan Yanbo， et al. High-fidelity GAN inversion for image attribute editing［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 11379-11388.

［25］He Jingwen， Shi Wu， Chen Kai， et al. Gcfsr： a generative and controllable face super resolution method without facial and GAN priors［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 1889-1898.

［26］Xu Yangyang， He Shengfeng， Wong K Y K， et al. RIGID： recurrent GAN inversion and editing of real face videos［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2023： 13691-13701.

［27］Jin Shiwei， Wang Zhen， Wang Lei， et al. ReDirTrans： latent-to-latent translation for gaze and head redirection［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 5547-5556.

［28］Plesh R， Peer P， Struc V. GlassesGAN： eyewear personalization using synthetic appearance discovery and targeted subspace modeling［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 16847-16857.

［29］Zhao Yunqing， Du Chao， Abdollahzadeh M， et al. Exploring incompatible knowledge transfer in few-shot image generation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 7380-7391.

［30］Liu Haozhe， Zhang Wwentian， Li Bing， et al. Adaptivemix： improving GAN training via feature space shrinkage［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2023： 16219-16229.

［31］Olson M L， Liu Shusen， Anirudh R， et al. Cross-GAN auditing： unsupervised identification of attribute level similarities and differences between pretrained generative models［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 7981-7990.

［32］Luo Xiaodong， He Xiaohai， Chen Xiang， et al. Dynamically optimized human eyes-to-face generation via attribute vocabulary［J］. IEEE Signal Processing Letters， 2023， 30： 453-457.

［33］陳莉明， 田茂， 顏佳. 解糾纏表示學(xué)習(xí)在跨年齡人臉識(shí)別中的應(yīng)用［J］. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（11）： 3500-3505. （Chen Liming， Tian Mao， Yan Jia. Application of disentangled representation learning in cross-age face recognition［J］. Application Research of Computers， 2021， 38（11）： 3500-3505.）

［34］Isola P， Zhu Junyan， Zhou Tinghui， et al. Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2017： 1125-1134.

［35］Wang Tingchun， Liu Mingyu， Zhu Junyan， et al. High-resolution image synthesis and semantic manipulation with conditional GANs［C］//Proc of IEEE conference on computer vision and pattern recognition. Piscataway， NJ： IEEE Press， 2018： 8798-8807.

［36］Chen Qifeng， Koltun V. Photographic image synthesis with cascaded refinement networks［C］//Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2017： 1511-1520.

［37］Wang Jiangzong， Deng Yimin， Liang Ziqi， et al. CP-EB： Talking face generation with controllable pose and eye blinking embedding［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/2311.08673.pdf.

［38］Xie Lianxin， Xue Wen， Xu Zhen， et al. Blemish-aware and progressive face retouching with limited paired data［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2023： 5599-5608.

［39］Bodla N， Hua Gang， Chellappa R. Semi-supervised FusedGAN for conditional image generation［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1801.05551.pdf.

［40］Liang Jingjun， Chen Shizhe， Jin Qin. Semi-supervised multimodal emotion recognition with improved wasserstein GANs［C］//Proc of Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Piscataway， NJ： IEEE Press， 2019： 695-703.

［41］Sun Jiaze， Bhattarai B， Kim T K. MatchGAN： a self-supervised semi-supervised conditional generative adversarial network［EB/OL］.［2024-05-09］. https：//arxiv.org/abs/2006.06614.pdf.

［42］Sricharan K， Bala R， Shreve M， et al. Semi-supervised conditional GANs［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1708.05789.pdf.

［43］Chen Tianyi， Zhang Yunfei， Huo Xiaoyang， et al. SphericGAN： semi-supervised hyper-spherical generative adversarial networks for fine-grained image synthesis［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 10001-10010.

［44］Liu Ming， Ding Yukang， Xia Min， et al. STGAN： a unified selective transfer network for arbitrary image attribute editing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 3673-3682.

［45］Voynov A， Babenko A. Unsupervised discovery of interpretable directions in the GAN latent space［C］//Proc of International Conference on Machine Learning. NewYork： PMLR， 2020： 9786-9796.

［46］Chen Xi， Duan Yan， Houthooft R， et al. InfoGAN： interpretable representation learning by information maximizing generative adversa-rial nets［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1606.03657.pdf.

［47］Donahue C， Lipton Z C， Balsubramani A， et al. Semantically decomposing the latent spaces of generative adversarial networks［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1705.07904v3.pdf.

［48］Karras T， Laine S， Aila T. A style-based generator architecture for generative adversarial networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 4401-4410.

［49］Jadhav R， Gokhale V， Deshpande M， et al. High fidelity face generation with style generative adversarial networks［C］//Proc of the 2nd International Conference on Smart Technologies and Systems for Next Generation Computing. Piscataway， NJ： IEEE Press， 2023： 1-6.

［50］Karras T， Laine S， Aittala M， et al. Analyzing and improving the image quality of styleGAN［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 8110-8119.

［51］Patashnik O， Wu Zongze， Shechtman E， et al. StyleCLIP： text-driven manipulation of StyleGAN imagery［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021： 2085-2094.

［52］Radford A， Kim J W， Hallacy C， et al. Learning transferable visual models from natural language supervision［C］//Proc of International Conference on Machine Learning. NewYork： PMLR， 2021： 8748-8763.

［53］Xu Chao， Zhu Shaoting， Zhu Junwei， et al. Multimodal-driven tal-king face generation via a unified diffusion-based generator［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/2305.02594.pdf.

［54］Yang Guo， Fu Feifei， Fei Nanyi， et al. DiST-GAN： distillation-based semantic transfer for text-guided face generation［C］//Proc of IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE Press， 2023： 840-845.

［55］Shi Yichun， Yang Xiao， Wan Yang， et al. SemanticstyleGAN： learning compositional generative priors for controllable image synthesis and editing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 11254-11264.

［56］Xu Yangyang， Deng Bailin， Wang Junle， et al. High-resolution face swapping via latent semantics disentanglement［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2022： 7642-7651.

［57］Huang Zhizhong， Ma Siteng， Zhang Junping， et al. Adaptive nonli-near latent transformation for conditional face editing［C］//Proc of IEEE/CVF International Conference on Computer Vision. Pisca-taway， NJ： IEEE Press， 2023： 21022-21031.

［58］Ozkan S， Ozay M， Robinson T. Conceptual and hierarchical latent space decomposition for face editing［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2023： 7248-7257.

［59］Nimisha T M， Sunil K， Rajagopalan A N. Unsupervised class-specific deblurring［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2018： 353-369.

［60］Bansal A， Ma S， Ramanan D， et al. Recycle-GAN： unsupervised video retargeting［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2018： 119-135.

［61］Zhu Junyan， Park T， Isola P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks［C］//Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2017： 2223-2232.

［62］張珂， 王新勝， 郭玉榮， 等. 2019. 人臉年齡估計(jì)的深度學(xué)習(xí)方法綜述［J］. 中國圖象圖形學(xué)報(bào)， 24（8）： 1215-1230. （Zhang Ke， Wang Xinsheng， Guo Yurong， et al. 2019. Survey of deep learning methods for face age estimation［J］. Journal of Image and Grap-hics， 24（8）： 1215-1230.）

［63］Liu Yunfan， Li Qi， Sun Zhenan. Attribute-aware face aging with wavelet-based generative adversarial networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Pisca-taway， NJ： IEEE Press， 2019： 11877-11886.

［64］Chandaliya P K， Nain N. AW-GAN： face aging and rejuvenation using attention with wavelet GAN［J］. Neural Computing and Applications， 2023， 35（3）： 2811-2825.

［65］Alaluf Y， Patashnik O， Cohen-or D. Only a matter of style： age transformation using a style-based regression model［J］. ACM Trans on Graphics， 2021， 40（4）： 1-12.

［66］Or-El R， Sengupta S， Fried O， et al. Lifespan age transformation synthesis［C］//Proc of the 16th European Conference on Computer Vision， Cham： Springer， 2020： 739-755.

［67］Karras T， Aila T， Laine S， et al. Progressive growing of GANs for improved quality， stability， and variation［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1710.10196.pdf.

［68］Yang Hongyu， Huang Di， Wang Yunhong， et al. Learning face age progression： a pyramid architecture of GANs［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 31-39.

［69］Yoon D， Kim J， Lorant V， et al. Manipulation of age variation using StyleGAN inversion and fine-Tuning［J］. IEEE Access， 2023， 11： 131475-131486.

［70］Olmschenk G， Zhu Zhigang， Tang Hao. Generalizing semi-supervised generative adversarial networks to regression using feature contrasting［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1811.11269.pdf.

［71］Huang Zhizhong， Zhang Junping， Shan Hongming. When age-invariant face recognition meets face age synthesis： a multi-task learning framework［C］//Proc of IEEE/CVF conference on computer vision and pattern recognition. Piscataway， NJ： IEEE Press， 2021： 7282-7291.

［72］He Sen， Liao Wentong， Yang M Y， et al. Disentangled lifespan face synthesis［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021： 3877-3886.

［73］Maeng J， Oh K， Suk H I. Age-aware guidance via masking-based attention in face aging［C］//Proc of the 32nd ACM International Conference on Information and Knowledge Management. New York： ACM Press， 2023： 4165-4169.

［74］Wang Zongwei， Tang Xu， Luo Weixin， et al. Face aging with identity-preserved conditional generative adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 7939-7947.

［75］Antipov G， Baccouche M， Dugelay J L. Face aging with conditional generative adversarial networks［C］//Proc of IEEE International Conference on Image Processing. Piscataway， NJ： IEEE Press， 2017： 2089-2093.

［76］Li Chen， Li Yuanbo， Weng Zhiqiang， et al. Face aging with feature-guide conditional generative adversarial network［J］. Electronics， 2023， 12（9）： 2095.

［77］Pumarola A， Agudo A， Martinez A M， et al. Ganimation： anatomically-aware facial animation from a single image［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2018： 818-833.

［78］Yang Guoxing， Fei Nanyi， Ding Mingyu， et al. L2m-GAN： learning to manipulate latent space semantics for facial attribute editing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press， 2021： 2951-2960.

［79］Shen Yujun， Luo Ping， Yan Junjie， et al. FaceID-GAN： learning a symmetry three-player GAN for identity-preserving face synthesis［C］//Proc of IEEE Conference on Computer Vision and Pattern Re-cognition. Piscataway， NJ： IEEE Press， 2018： 821-830.

［80］Ding Hui， Sricharan K， Chellappa R. ExprGAN： facial expression editing with controllable expression intensity［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1709.03842.pdf.

［81］Yang Xin， Xu Xiaogang， Chen Yingcong. Out-of-domain GAN inversion via invertibility decomposition for photo-realistic human face manipulation［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2023： 7492-7501.

［82］Hu Jiahui， Yu Bing， Yang Yun， et al. Towards facial de-expression and expression recognition in the wild［C］//Proc of International Conference on Affective Computing and Intelligent Interaction. Pisca-taway， NJ： IEEE Press， 2019： 157-163.

［83］Yang Huiyuan， Ciftci U， Yin Lijun. Facial expression recognition by de-expression residue learning［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 2168-2177.

［84］Choi Y， Choi M， Kim M， et al. StarGAN： unified generative adversarial networks for multi-domain image-to-image translation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 8789-8797.

［85］Shen Yujun， Yang Ceyuan， Tang Xiaoou， et al. InterfaceGAN： Interpreting the disentangled face representation learned by GANs［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2020， 44（4）： 2004-2018.

［86］He Zhenliang， Zuo Wangmeng， Kan Meina， et al. Arbitrary facial attribute editing： only change what you want［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1711.10678.pdf.

［87］Hou Xianxu， Shen Linlin， Ming Zhong， et al. Deep generative image priors for semantic face manipulation［J］. Pattern Recognition， 2023， 139（C）： 109477.

［88］Zhang Ke， Su Yunkun， Guo Xiwang， et al. MU-GAN： facial attri-bute editing based on multi-attention mechanism［J］. IEEE/CAA Journal of Automatica Sinica， 2020， 8（9）： 1614-1626.

［89］Yadav N K， Singh S K， Dubey S R. ISA-GAN： inception-based self-attentive encoder-decoder network for face synthesis using delineated facial images［J］. The Visual Computer， 2024， 40（1）： 1-21.

［90］王偉光， 錢祥利. 基于深度學(xué)習(xí)的人臉妝容遷移算法［J］. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（5）： 1559-1562. （Wang Weiguang， Qian Xiangli. Face makeup transfer algorithm based on deep learning［J］. Application Research of Computers， 2021， 38（5）： 1559-1562.）

［91］Li Tingting， Qian Ruihe， Dong Chao， et al. BeautyGAN： instance-level facial makeup transfer with deep generative adversarial network［C］//Proc of the 26th ACM International Conference on Multimedia. New York： ACM Press， 2018： 645-653.

［92］Chang Huiwen， Lu Jingwan， Yu F， et al. PairedcycleGAN： asymmetric style transfer for applying and removing makeup［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2018： 40-48.

［93］Horita D， Aizawa K. SLGAN： style-and latent-guided generative adversarial network for desirable makeup transfer and removal［C］//Proc of the 4th ACM International Conference on Multimedia in Asia. New York： ACM Press. 2022： 1-5.

［94］Zhang Honglun， Chen Wenqing， He Hao， et al. Disentangled makeup transfer with generative adversarial network［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1907.01144.pdf.

［95］Chen Yan， Xie Jiajian， Xue Jiajun， et al. A robust transformer GAN for unpaired data makeup transfer［J］. Concurrency and Computation： Practice and Experience， 2024， 36（9）： e7994.

［96］Yan Li， Shibin Wang. EmAGAN： embedded blocks search and mask attention GAN for makeup transfer［C］//Proc of the 5th ACM International Conference on Multimedia in Asia. New York： ACM Press， 2023： 1-5.

［97］Yuan Qianglin， Zhang Hanliang. RAMT-GAN： realistic and accurate makeup transfer with generative adversarial network［J］. Image and Vision Computing， 2022， 120： 104400.

［98］Chen Huanyu， Li Weisheng， Gao Xinbo， et al. AEP-GAN： aesthetic enhanced perception generative adversarial network for Asian facial beauty synthesis［J］. Applied Intelligence， 2023， 53（17）： 20441-20468.

［99］Jiang Wentao， Liu Si， Gao Chen， et al. PsGAN： pose and expression robust spatial-aware GAN for customizable makeup transfer［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2020： 5194-5202.

［100］Liu Si， Jiang Wentao， Gao Chen， et al. PsGAN+： robust detail-preserving makeup transfer and removal［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2021， 44（11）： 8538-8551.

［101］Gu Qiao， Wang Guanzhi， Chiu M T， et al. Ladn： local adversarial disentangling network for facial makeup and de-makeup［C］//Proc of IEEE/CVF International conference on computer vision. Piscataway， NJ： IEEE Press， 2019： 10481-10490.

［102］Nguyen T， Tran A T， Hoai M. Lipstick ain′t enough： beyond color matching for in-the-wild makeup transfer［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2021： 13305-13314.

［103］Kips R， Gori P， Perrot M， et al. Ca-GAN： weakly supervised color aware GAN for controllable makeup transfer［C］//Proc of European conference on computer vision. Cham： Springer， 2020： 280-296.

［104］Ricanek K， Tesafaye T. Morph： a longitudinal image database of normal adult age-progression［C］//Proc of the 7th International Conference on Automatic Face and Gesture Recognition. Piscataway， NJ： IEEE Press， 2006： 341-345.

［105］Panis G， Lanitis A， Tsapatsoulis N， et al. Overview of research on facial ageing using the FG-NET ageing database［J］. IET Biometrics， 2016， 5（2）： 37-46.

［106］Chen B C， Chen C S， Hsu W H. Face recognition and retrieval using cross-age reference coding with cross-age celebrity dataset［J］. IEEE Trans on Multimedia， 2015， 17（6）： 804-815.

［107］Eidinger E， Enbar R， Hassner T. Age and gender estimation of unfiltered faces［J］. IEEE Trans on Information Forensics and Security， 2014， 9（12）： 2170-2179.

［108］Dantcheva A， Chen Cunjian， Ross A. Can facial cosmetics affect the matching accuracy of face recognition systems？［C］//Proc of the 5th IEEE International Conference on Biometrics： Theory， Applications and Systems. Piscataway， NJ： IEEE Press， 2012： 391-398.

［109］Sarfraz M S， Seibold C， Khalid H， et al. Content and colour distillation for learning image translations with the spatial profile loss［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1908.00274.pdf.

［110］Sim T， BakeR S， Bsat M. The CMU pose， illumination， and expression（PIE） database［C］//Proc ofIEEE International Conference on Automatic Face Gesture Recognition. Piscataway， NJ： IEEE Press， 2002： 53-58.

［111］Gross R， Matthews I， Cohn J， et al. Multi-pie［J］. Image and vision computing， 2010， 28（5）： 807-813.

［112］Langner O， Dotsch R， Bijlstra G， et al. Presentation and validation of the radboud faces database［J］. Cognition and Emotion， 2010， 24（8）： 1377-1388.

［113］Lucey P， Cohn J F， Kanade T， et al. The extended Cohn-Kanade dataset（CK+）： a complete dataset for action unit and emotion-specified expression［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops. Piscataway， NJ： IEEE Press， 2010： 94-101.

［114］Liu Ziwei， Luo Ping， Wang Xiaogang， et al. Deep learning face attributes in the wild［C］//Proc of IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2015： 3730-3738.

［115］Perarnau G， Van De Weijer J， Raducanu B， et al. Invertible conditional GANs for image editing［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1611.06355.pdf.

［116］Lample G， Zeghidour N， Usunier N， et al. Fader networks： manipulating images by sliding attributes［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1706.00409.pdf.

［117］Barratt S， Sharma R. A note on the inception score［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/1801.01973.pdf.

［118］Heusel M， Ramsauer H， Unterthiner T， et al. Gans trained by a two time-scale update rule converge to a local nash equilibrium［C］//Proc of the 31st International Conference on Neural Information Processing Systems. ， New York： ACM Press， 2017： . 6629–6640.

［119］Arjovsky M， Chintala S， Bottou L. Wasserstein generative adversarial networks［C］//Proc of International Conference on Machine Lear-ning. NewYork： PMLR， 2017： 214-223.

［120］Wang Zhou， Bovik A C， Sheikh H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Trans on Image Processing， 2004， 13（4）： 600-612.

［121］Guan Shanyan， Tai Ying， Ni Bingbing， et al. Collaborative learning for faster styleGAN embedding［EB/OL］.［2024-05-09］. https：//arxiv.org/pdf/2007.01758.pdf.