基于三網(wǎng)絡(luò)對抗學(xué)習(xí)的素描人臉合成方法

杜康寧，李凱旋，曹 林+

(1.北京信息科技大學(xué) 光電測試技術(shù)及儀器教育部重點(diǎn)實(shí)驗(yàn)室，北京 100101； 2.北京信息科技大學(xué) 信息與通信工程學(xué)院，北京 100101)

0 引 言

目前的素描人臉合成技術(shù)[1-3]主要分為兩類：數(shù)據(jù)驅(qū)動(dòng)方法[4-6]和模型驅(qū)動(dòng)方法[7-11]。數(shù)據(jù)驅(qū)動(dòng)方法通常由圖像分塊、最近鄰選擇、權(quán)重計(jì)算和圖像塊拼接4個(gè)部分組成，數(shù)據(jù)驅(qū)動(dòng)方法的主要優(yōu)點(diǎn)是可以很好地合成面部細(xì)節(jié)。但是這些方法在相似的圖像塊搜索中通常很耗時(shí)，從而限制了這類方法的適用性。模型驅(qū)動(dòng)方法主要是以離線方式學(xué)習(xí)面部照片-素描圖像間的映射關(guān)系，主要優(yōu)點(diǎn)是測試階段非?？欤铣山Y(jié)果清晰度較低，缺少一些關(guān)鍵細(xì)節(jié)特征。

顯然，目前大多數(shù)素描人臉合成技術(shù)都能合成完整且令人印象深刻的結(jié)果，但在合成結(jié)果中會(huì)丟失一些關(guān)鍵信息，導(dǎo)致圖像細(xì)節(jié)缺失或模糊，而且當(dāng)處理的圖像與訓(xùn)練圖像相差較大時(shí)很難取得良好的效果。本文的目標(biāo)是合成高質(zhì)量素描人臉圖像，并解決訓(xùn)練數(shù)據(jù)集不足而導(dǎo)致模型適用性差的問題。

本文提出了一種素描人臉合成方法，該方法是將面部特征提取網(wǎng)絡(luò)、生成網(wǎng)絡(luò)及判別網(wǎng)絡(luò)相結(jié)合的三網(wǎng)絡(luò)對抗學(xué)習(xí)模型。首先，我們設(shè)計(jì)了一個(gè)通過面部照片來生成素描人臉圖像的生成網(wǎng)絡(luò)；然后，采用對抗學(xué)習(xí)的策略，設(shè)計(jì)了一個(gè)用于提升生成網(wǎng)絡(luò)性能的判別網(wǎng)絡(luò)，并對對抗損失增加控制因子，控制訓(xùn)練過程，保證生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)得到充分訓(xùn)練。為進(jìn)一步提高生成網(wǎng)絡(luò)合成素描人臉圖像的質(zhì)量，我們又構(gòu)建一個(gè)面部特征提取網(wǎng)絡(luò)計(jì)算合成素描人臉圖像的細(xì)節(jié)誤差。在標(biāo)準(zhǔn)素描人臉數(shù)據(jù)庫中的大量實(shí)驗(yàn)驗(yàn)證了本文方法的良好性能，其能夠合成高質(zhì)量的素描人臉圖像。

本文的主要貢獻(xiàn)概括如下：

(1)提出了三網(wǎng)絡(luò)對抗學(xué)習(xí)的素描人臉合成方法，該方法能夠合成多種樣式、不同種族的高質(zhì)量素描人臉圖像。

(2)引入一種復(fù)合損失函數(shù)，將面部細(xì)節(jié)損失與對抗損失相結(jié)合，使模型更適合處理素描人臉圖像合成任務(wù)。

(3)通過對原有的對抗損失函數(shù)增加控制因子，控制對抗損失對全局損失的貢獻(xiàn)程度，使生成網(wǎng)絡(luò)能夠得到充分訓(xùn)練，提高生成網(wǎng)絡(luò)的性能。

1 本文算法

1.1 生成對抗網(wǎng)絡(luò)

Goodfellow等提出生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)模型[12]，引出對抗訓(xùn)練學(xué)習(xí)的思想。該模型由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩個(gè)相互競爭的網(wǎng)絡(luò)組成，如圖1所示。生成網(wǎng)絡(luò)通過一組隨機(jī)噪聲來生成樣本，判別網(wǎng)絡(luò)用于區(qū)分生產(chǎn)樣本是否為真實(shí)樣本。生成網(wǎng)絡(luò)G與判別網(wǎng)絡(luò)D之間的博弈是一種最小極大博弈過程，其目標(biāo)函數(shù)如下

圖1 GAN模型結(jié)構(gòu)

(1)

式中：x代表真實(shí)數(shù)據(jù)，z代表輸入的噪聲分布樣本，P(x)代表數(shù)據(jù)分布，P(z)代表模型分布。

GAN對圖像特征有出色的感知能力，但在訓(xùn)練過程中會(huì)存在模式崩潰和梯度消失等問題。GAN模型在優(yōu)化過程中，最小化目標(biāo)函數(shù)等價(jià)于最小化真實(shí)分布與生成分布之間的JS(Jensen-Shannon)散度。Arjovsky等[13]討論了GAN模型在訓(xùn)練過程中由JS散度所引起的問題，并提出使用Earth-Mover(又稱為Wasserstein-1)距離W(Pr,Pf)替代標(biāo)準(zhǔn)GAN模型中的JS散度，損失函數(shù)如下所示

(2)

式中：Pr表示真實(shí)數(shù)據(jù)的分布，Pf表示生成數(shù)據(jù)的分布。

W(Pr,Pf)近似為真實(shí)數(shù)據(jù)分布和生成數(shù)據(jù)分布的Wasserstein距離，m=1-Lipschitz。為了保證判別網(wǎng)絡(luò)滿足1-Lipschitz的限制，Gulrajani等[14]在目標(biāo)函數(shù)中增加一個(gè)梯度懲罰項(xiàng)。梯度懲罰項(xiàng)如下所示

(3)

這種方法可以提高GAN在訓(xùn)練過程中的穩(wěn)定性，使生成網(wǎng)絡(luò)的選擇更加靈活，允許使用更加輕量級的卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)。

1.2 素描人臉合成模型

圖2 素描人臉合成框架

在訓(xùn)練過程中，生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)同時(shí)訓(xùn)練。訓(xùn)練生成網(wǎng)絡(luò)生成盡可能真實(shí)的素描人臉圖像去“欺騙”判別網(wǎng)絡(luò)，判別網(wǎng)絡(luò)盡可能地區(qū)分偽素描圖像和真實(shí)素描圖像。生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)相互競爭，共同提高自身的能力。

1.3 網(wǎng)絡(luò)結(jié)構(gòu)

1.3.1 生成網(wǎng)絡(luò)結(jié)構(gòu)

生成過程需保持圖像信息在網(wǎng)絡(luò)層逐漸增多的情況下，不損失位置信息與細(xì)節(jié)特征信息。傳統(tǒng)的深層卷積神經(jīng)網(wǎng)絡(luò)無法有效擴(kuò)充圖像高度與寬度，并且池化層取平均池化或最大池化均會(huì)造成一定區(qū)域內(nèi)的位置信息損失。因此，本文方法采用帶有步長的卷積層來實(shí)現(xiàn)上采樣過程中圖像高度與寬度的有效擴(kuò)充，且確保下采樣過程中圖像位置信息不丟失。

生成網(wǎng)絡(luò)由兩個(gè)帶步長的卷積模塊、9個(gè)殘差單元以及兩個(gè)反卷積模塊組成，如圖3所示。殘差單元的結(jié)構(gòu)主要通過前向神經(jīng)網(wǎng)絡(luò)和shortcut連接實(shí)現(xiàn)，由1個(gè)卷積層、1個(gè)Batch Norm層和1個(gè)ReLU激活函數(shù)組成。殘差單元的shortcut跨層連接結(jié)構(gòu)，使生成網(wǎng)絡(luò)對合成的結(jié)果更加敏感，有利于捕捉人臉圖像的細(xì)節(jié)特征信息，生成逼真、清晰度高的素描人臉圖像。

圖3 生成網(wǎng)絡(luò)結(jié)構(gòu)

1.3.2 判別網(wǎng)絡(luò)結(jié)構(gòu)

判別網(wǎng)絡(luò)采用了與Patch-GAN[15]相同的結(jié)構(gòu)，如圖4(X3表示3組同類型的網(wǎng)絡(luò)層)所示，此判別網(wǎng)絡(luò)結(jié)構(gòu)是在局部圖像塊級別上進(jìn)行驗(yàn)證，避免了直接對兩張完整圖像進(jìn)行驗(yàn)證所造成的信息損失。相比判別網(wǎng)絡(luò)每次對整張圖像進(jìn)行真?zhèn)闻袛?，本文判別網(wǎng)絡(luò)一次只判斷一個(gè)N×N的圖像塊是否為真，關(guān)注圖像的局部結(jié)構(gòu)，而不需要對整張圖像的像素信息進(jìn)行判斷。判別網(wǎng)絡(luò)只需要學(xué)習(xí)圖像的高頻信息，從而在一定程度上減少了訓(xùn)練過程中的參數(shù)量，加快運(yùn)行速度，且生成的圖像細(xì)節(jié)更加完整。

圖4 判別網(wǎng)絡(luò)結(jié)構(gòu)

1.3.3 面部特征提取網(wǎng)絡(luò)

本文中面部特征提取網(wǎng)絡(luò)用于對合成的素描人臉圖像與真實(shí)素描人臉圖像進(jìn)行面部特征提取。面部特征提取網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)遵循VGGNet-16的架構(gòu)，該架構(gòu)相對簡潔，僅通過反復(fù)堆疊3×3的卷積核和2×2的最大池化層來構(gòu)建深層卷積神經(jīng)網(wǎng)絡(luò)。此外，該架構(gòu)通過卷積核的串聯(lián)極大地減少了網(wǎng)絡(luò)參數(shù)量，并且相比使用單一卷積核構(gòu)建的網(wǎng)絡(luò)層擁有更多的非線性變換，更適合圖像面部特征提取。

由于現(xiàn)有標(biāo)準(zhǔn)的素描人臉圖像數(shù)據(jù)集相對較小，使用小數(shù)據(jù)集單獨(dú)訓(xùn)練面部特征提取網(wǎng)絡(luò)很難產(chǎn)生良好的性能，容易出現(xiàn)過擬合、梯度彌散等問題。因此，本文采用遷移學(xué)習(xí)的思想，使用在ImageNet數(shù)據(jù)庫中預(yù)訓(xùn)練的模型參數(shù)作為本文方法中面部特征提取網(wǎng)絡(luò)的模型參數(shù)。

1.4 損失函數(shù)

假設(shè)fr(s)和fg(p)分別表示真實(shí)圖像與生成圖像的分布，判別網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)如下

(4)

式中：D(s)表示判別網(wǎng)絡(luò)對輸入真實(shí)素描人臉圖像Si得到的概率值，G(p)表示生成網(wǎng)絡(luò)生成的光學(xué)面部圖像Pi對應(yīng)的素描人臉圖像，D(G(p))表示判別網(wǎng)絡(luò)對輸入生成圖像G(p)得到的概率值。

式(4)判別網(wǎng)絡(luò)優(yōu)化目標(biāo)函數(shù)可轉(zhuǎn)化為求下式最優(yōu)解

(5)

將式(5)中積分項(xiàng)的函數(shù)fr(s)logD(s)+fg(s)log(1-D(s))對D(s)求導(dǎo)并令其值等于0，則最優(yōu)判別網(wǎng)絡(luò)表達(dá)式如下

(6)

對于含有N幅光學(xué)面部照片與素描人臉圖像的訓(xùn)練集M={(Pi,Si),i=1,2,3,…,N}，θG可通過優(yōu)化損失函數(shù)L得到，即

(7)

訓(xùn)練時(shí)，先在固定θD的條件下利用式(7)求解θG，然后在θG固定的條件下，用式(6)優(yōu)化θD，依次類推，直至θD和θG都已收斂。

損失函數(shù)L的確定對于生成網(wǎng)絡(luò)G的效果非常重要，為了確保最后有一個(gè)高質(zhì)量的素描人臉圖像效果，包括量化效果(在量化指標(biāo)方面)和視覺效果(在人眼感官方面)，本文所提出的復(fù)合損失函數(shù)定義如下

Ltotal=αLD+βLdetail

(8)

式中：LD為對抗損失、Ldetail為面部細(xì)節(jié)損失，α、β分別為對應(yīng)損失的預(yù)定義權(quán)重。

1.4.1 面部細(xì)節(jié)損失

傳統(tǒng)L1損失函數(shù)是在簡單的像素空間上進(jìn)行誤差計(jì)算，若直接通過L1損失函數(shù)對真實(shí)素描人臉圖像與偽素描人臉圖像進(jìn)行誤差計(jì)算，則很難獲取素描人臉圖像的面部細(xì)節(jié)與紋理特征。傳統(tǒng)L1損失函數(shù)如式(9)所示

(9)

在本文中面部細(xì)節(jié)損失函數(shù)是計(jì)算圖像特征空間上的差異，從合成的素描人臉圖像中提取特征，并與真實(shí)素描人臉圖像中的特征進(jìn)行對比。但圖像的特征并不是通過尺度不變特征變換(scale invariant feature transform，SIFT)、ORB(oriented fast and rotated brief)等傳統(tǒng)特征計(jì)算方式得到，而是將圖像輸入到本文設(shè)置的面部特征提取網(wǎng)絡(luò)中得到。面部特征提取網(wǎng)絡(luò)提取的圖像特征是高層特征，忽略了圖像像素級別的低層特征，符合人類視覺感知。面部細(xì)節(jié)損失函數(shù)定義如下

(10)

式中：w和h表示特征圖的維度，s為真實(shí)素描人臉圖像，G(p)為生成的偽素描人臉圖像，φ(s)與φ(G(p))表示圖像經(jīng)過特征提取網(wǎng)絡(luò)輸出的特征矩陣。

式(10)中φ(s)-φ(G(p))F可由下式得出

(11)

令[φ(s)-φ(G(p))]T·[φ(s)-φ(G(p))]為M

(12)

1.4.2 對抗損失

對抗損失來自判別網(wǎng)絡(luò)，是判別輸入為真實(shí)素描人臉圖像還是偽素描人臉圖像的損失函數(shù)，其目的是為了保證生成網(wǎng)絡(luò)盡可能生成更真實(shí)的素描人臉圖像以“欺騙”判別網(wǎng)絡(luò)。傳統(tǒng)的對抗損失存在一個(gè)問題，當(dāng)判別網(wǎng)絡(luò)訓(xùn)練越好，生成網(wǎng)絡(luò)的梯度消失越嚴(yán)重。因此，為了在訓(xùn)練時(shí)生成網(wǎng)絡(luò)具有更好的梯度表現(xiàn)，按照Arjovsky等[13]的建議，通過Wasserstein 距離來度量真實(shí)素描人臉圖像與偽素描人臉圖像間的距離，則對抗損失如下式所示

(13)

為解決模型在訓(xùn)練中過早地達(dá)到平衡狀態(tài)，使生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)不再優(yōu)化的問題，我們在對抗損失函數(shù)中添加一個(gè)控制因子?？刂埔蜃涌梢源_保在訓(xùn)練初期，對抗損失的權(quán)重相對較小，隨著訓(xùn)練過程的進(jìn)行，對整個(gè)模型的損失貢獻(xiàn)值逐步增加。這樣可以保證判別網(wǎng)絡(luò)在訓(xùn)練階段充分學(xué)習(xí)偽素描圖像與真實(shí)素描圖像之間的差異，提高判別能力，改善生成網(wǎng)絡(luò)合成結(jié)果的質(zhì)量。

對抗損失具體定義如下

(14)

式中：ω為衰減系數(shù)，其值固定為0.99，n為當(dāng)前迭代次數(shù)，N為總的迭代次數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

本文采用香港中文大學(xué)CUFS素描人臉基準(zhǔn)數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，驗(yàn)證本文方法合成素描人臉圖像的有效性。CUFS素描人臉數(shù)據(jù)庫中包含CUHK學(xué)生人臉數(shù)據(jù)庫[5](188對光學(xué)面部照片-素描人臉圖像)、AR數(shù)據(jù)庫(123對光學(xué)面部照片-素描人臉圖像)及XM2VTS數(shù)據(jù)庫(295對光學(xué)面部照片-素描人臉圖像)，圖5展示了部分素描人臉數(shù)據(jù)庫中的數(shù)據(jù)(圖5(a)、圖5(b)為CUHK學(xué)生人臉數(shù)集圖像，圖5(c)、圖5(d)為AR數(shù)據(jù)集圖像，圖5(e)、圖5(f)為XM2VTS數(shù)據(jù)集圖像)，表1展示了不同數(shù)據(jù)庫的數(shù)據(jù)劃分。

表1 數(shù)據(jù)集劃分

圖5 各數(shù)據(jù)庫部分?jǐn)?shù)據(jù)

2.1 模型參數(shù)設(shè)置

訓(xùn)練過程中，輸入圖像尺寸為256×256像素，輸出圖像尺寸為256×256像素，批處理(batch-size)大小設(shè)置為1，模型迭代訓(xùn)練500輪。本文模型選取批標(biāo)準(zhǔn)化(batch normalization)對數(shù)據(jù)進(jìn)行處理，采用Adam算法對網(wǎng)絡(luò)進(jìn)行優(yōu)化。網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.0002，Adam第一動(dòng)量的值設(shè)為0.9，第二動(dòng)量的值設(shè)為0.999，模糊因子為1*10-8?？倱p失函數(shù)中α的值設(shè)置為1，β的值設(shè)置為100。

模型的優(yōu)化目標(biāo)：使生成的偽素描人臉圖像與真實(shí)素描人臉圖像之間的差異盡可能小。模型的優(yōu)化步驟如下：首先，分批次加載光學(xué)面部照片與素描人臉圖像數(shù)據(jù)，并隨機(jī)排序。然后，在每一個(gè)epoch的過程中先選取batch-size個(gè)訓(xùn)練數(shù)據(jù)對判別網(wǎng)絡(luò)進(jìn)行5次梯度下降優(yōu)化。最后，停止判別網(wǎng)絡(luò)的參數(shù)更新，開始訓(xùn)練生成網(wǎng)絡(luò)。依次交替，直至訓(xùn)練結(jié)束。

2.2 消融實(shí)驗(yàn)

為驗(yàn)證本文方法改進(jìn)之處的有效性，在該節(jié)中進(jìn)行消融實(shí)驗(yàn)研究，分別消除網(wǎng)絡(luò)架構(gòu)中的不同成分進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)對比結(jié)果如圖6所示。其中，圖6(a)為光學(xué)面部照片，圖6(b)為真實(shí)素描人臉圖像，圖6(c)為刪除面部特征提取網(wǎng)絡(luò)合成結(jié)果，圖6(d)為僅使用面部細(xì)節(jié)損失函數(shù)合成結(jié)果，圖6(e)為本文方法合成結(jié)果。

圖6 消融實(shí)驗(yàn)對比結(jié)果

圖6顯示了消除本文方法中的不同成分，以及變更一些損失函數(shù)后的實(shí)驗(yàn)結(jié)果。從圖中可以看出當(dāng)對本文方法中部分結(jié)構(gòu)進(jìn)行消除或者替換時(shí)，合成素描人臉圖像的質(zhì)量大大降低，合成結(jié)果出現(xiàn)模糊、面部扭曲等問題。因此，本文方法所增加的特征提取網(wǎng)絡(luò)以及損失函數(shù)在合成素描人臉圖像的過程中起到至關(guān)重要的作用，該部分能夠極大改善合成素描人臉圖像的質(zhì)量，并具備良好的性能。

2.3 主觀視覺感知

本文方法在香港中文大學(xué)CUFS素描人臉基準(zhǔn)數(shù)據(jù)庫中的合成結(jié)果如圖7～圖9所示，并與傳統(tǒng)素描人臉方法中局部線性嵌入(locally linear embedding，LLE)方法[4]、馬爾可夫隨機(jī)場(Markov random field，MRF)方法[5]、馬爾可夫加權(quán)場(Markov weight field，MWF)方法[6]和深度學(xué)習(xí)領(lǐng)域中的全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)[8]、生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)[12]模型進(jìn)行了對比。

圖7 在CUHK人臉數(shù)據(jù)集上不同方法的素描人臉合成結(jié)果

圖8 在AR人臉數(shù)據(jù)集上不同方法的素描人臉合成結(jié)果

圖9 在XM2VTS人臉數(shù)據(jù)集上不同方法的素描人臉合成結(jié)果

從圖7～圖9合成結(jié)果中可以看出，LLE方法合成的素描人臉圖像能夠基本呈現(xiàn)面部五官特征，但圖像整體過于平滑，頭發(fā)等區(qū)域有偽影出現(xiàn)。MRF方法合成的素描人臉圖像丟失一些細(xì)節(jié)特征，且面部輪廓不完整。MWF方法的合成結(jié)果擁有完整的面部輪廓，但整體清晰度較低，部分面部區(qū)域出現(xiàn)扭曲。以上傳統(tǒng)方法僅考慮像素級別的圖像相似度，因而無法很好地描述面部特征，導(dǎo)致合成結(jié)果出現(xiàn)模糊、面部缺失等問題。FCN方法雖然能夠合成一些面部關(guān)鍵特征(如：眼鏡等)，但分辨率較低，圖像出現(xiàn)斑駁現(xiàn)象。GAN模型合成的結(jié)果相較其它方法擁有豐富的素描紋理，面部細(xì)節(jié)更完整，但缺乏一些圖像關(guān)鍵特征(如：發(fā)卡等)，且圖像面部出現(xiàn)變形和噪音。本文方法合成的圖像質(zhì)量最好，不僅保持了原有圖像的面部五官特征，而且對圖像面部配飾(眼鏡等)也有很好的預(yù)測，圖像清晰度更高、更符合素描圖像的風(fēng)格特征。

相比CUHK與AR數(shù)據(jù)集的合成結(jié)果，在XM2VTS數(shù)據(jù)集上的合成結(jié)果更能說明本文方法合成素描人臉圖像的優(yōu)越性。其它方法應(yīng)用在XM2VTS數(shù)據(jù)集中的性能較差，合成素描人臉圖像出現(xiàn)面部缺失、模糊、變形等問題。這是因?yàn)镃UHK與AR數(shù)據(jù)集中的人群具有基本相同的年齡和種族，風(fēng)格變化較小，而XM2VTS數(shù)據(jù)集中的人群跨越各個(gè)年齡段，擁有不同的種族，存在明顯的外觀變化。本文方法擁有良好的魯棒性，在3個(gè)數(shù)據(jù)集中都產(chǎn)生了出色的合成結(jié)果。

2.4 圖像客觀質(zhì)量評價(jià)

在本節(jié)中，我們對實(shí)驗(yàn)結(jié)果進(jìn)行定量分析。由于缺少素描人臉圖像的專業(yè)客觀評價(jià)指標(biāo)，故本文采用傳統(tǒng)的圖像質(zhì)量評估方法對合成的素描人臉圖像進(jìn)行質(zhì)量評估。通過計(jì)算合成素描人臉圖像的峰值信噪比PSNR(peak signal-to-noise ratio)值、結(jié)構(gòu)相似度SSIM(structural similarity index)值和特征相似度FSIM(feature simi-larity index)值來綜合評判本文方法合成的素描人臉圖像的質(zhì)量。在本節(jié)實(shí)驗(yàn)中，參考圖像為原始素描人臉圖像，畸變圖像為合成的素描人臉圖像。表2總結(jié)了在不同數(shù)據(jù)庫中不同方法合成素描人臉圖像的質(zhì)量評估指標(biāo)，為了進(jìn)行比較，將每個(gè)評價(jià)指標(biāo)的最大值標(biāo)記加粗。實(shí)驗(yàn)結(jié)果表明，本文方法具有很好的競爭力。本文方法在3個(gè)數(shù)據(jù)集中的各項(xiàng)評估指標(biāo)基本高于其它方法，僅有少數(shù)指標(biāo)不是最高值，可以在一定程度上說明本文方法合成的素描人臉圖像更加接近于真實(shí)素描人臉圖像，合成素描人臉圖像的能力更強(qiáng)。

表2 不同方法素描人臉圖像的質(zhì)量評估指標(biāo)

3 結(jié)束語

本文提出了一種三網(wǎng)對抗學(xué)習(xí)框架來合成高質(zhì)量素描人臉圖像。在生成對抗網(wǎng)絡(luò)的基礎(chǔ)上，我們添加一個(gè)面部特征提取網(wǎng)絡(luò)來提取合成素描人臉圖像與真實(shí)素描人臉圖像的特征，并引入面部細(xì)節(jié)損失來計(jì)算深層圖像特征之間的差異。為了控制訓(xùn)練過程并確保生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)得到充分訓(xùn)練，我們在對抗損失中添加一個(gè)控制因子。通過與其它素描人臉合成方法進(jìn)行實(shí)驗(yàn)比較，不論從視覺上的主觀評價(jià)，還是定量的客觀評價(jià)，都說明了本文方法的優(yōu)越性。在未來的工作中，我們將探索更加復(fù)雜環(huán)境下的素描人臉合成模型，提高素描人臉合成方法的魯棒性。