基于CycleGAN 改進(jìn)的異質(zhì)人臉圖像合成算法

王通平

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

異質(zhì)人臉圖像是指來源不同、質(zhì)量不同、風(fēng)格不同的人臉圖像，如圖1 所示，第一列中的真實(shí)照片與素描人臉[1]、第二列的可見光人臉圖像（Visible Light Spectrum，VLS）與近紅外光譜人臉圖像（NIR，Near-Infrared Spectrum）[2]、第三[3]和第四列的三維投影人臉圖像與監(jiān)控采集人臉圖像等均屬于異質(zhì)人臉圖像。

圖1 異質(zhì)人臉圖像示例

異質(zhì)人臉圖像合成有豐富的應(yīng)用場(chǎng)景，在數(shù)字娛樂中，將真實(shí)照片轉(zhuǎn)化為素描或漫畫等應(yīng)用已經(jīng)出現(xiàn)在圖像處理軟件中。此外，高質(zhì)量的合成圖像可以用于異質(zhì)人臉識(shí)別中。在某些應(yīng)用場(chǎng)景，例如公安部門抓捕嫌疑人，往往只有嫌疑人的肖像畫，但要在真實(shí)照片的人臉庫中篩選嫌疑人；例如安防場(chǎng)景下，夜間光照條件差，安防攝像頭一般用近紅外光譜成像，捕捉到的人臉是近紅外光譜圖像，但需要與可見光圖像進(jìn)行比對(duì)識(shí)別；例如在三維模型-二維監(jiān)控人臉識(shí)別中，注冊(cè)庫為三維投影圖像，需要對(duì)監(jiān)控采集的人臉圖像識(shí)別。這些異質(zhì)圖像由于圖像質(zhì)量、風(fēng)格等差異，往往不在同一表達(dá)空間。異質(zhì)人臉合成可以將異質(zhì)圖像轉(zhuǎn)化為同質(zhì)圖像，合成的同質(zhì)圖像可以用于人臉識(shí)別中的訓(xùn)練與識(shí)別。

異質(zhì)人臉合成本質(zhì)上是圖像翻譯的一種。得益于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）[4]的提出，圖像翻譯取得了極大的進(jìn)步。Isola 等人[5]提出基于條件GAN 模型Pix2Pix，取得了較高的合成質(zhì)量。但該模型要求成對(duì)的訓(xùn)練數(shù)據(jù)，每對(duì)圖像必須嚴(yán)格對(duì)齊，為在非成對(duì)數(shù)據(jù)上訓(xùn)練圖像風(fēng)格遷移模型，Zhu 等人[6]提出循環(huán)一致性損失解決該問題，率先在非成對(duì)數(shù)據(jù)上完成了較高質(zhì)量的圖像翻譯，該工作中提出的CycleGAN 模型也成為圖像翻譯中的經(jīng)典模型，并相繼出現(xiàn)了一些改進(jìn)和衍生模型，這些方法對(duì)異質(zhì)人臉合成具有極高的啟發(fā)意義。

當(dāng)前關(guān)于異質(zhì)圖像的研究多集中在素描-照片、NIR-VIS 這兩類異質(zhì)圖像上。近年來，在監(jiān)控場(chǎng)景下的人臉識(shí)別中，由于收集監(jiān)控人臉數(shù)據(jù)較為困難，一些研究方法引入了三維人臉模型進(jìn)行多角度投影，以得到豐富的多姿態(tài)人臉數(shù)據(jù)。但三維投影的人臉圖像與監(jiān)控采集的人臉圖像在來源、風(fēng)格、質(zhì)量等方面存在明顯差異，屬于異質(zhì)圖像，針對(duì)這類數(shù)據(jù)的研究還較少。本文基于CycleGAN 模型，引入了身份損失和導(dǎo)向?yàn)V波，針對(duì)這類人臉數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，得到一種高質(zhì)量的異質(zhì)人臉合成算法。

1 算法實(shí)現(xiàn)

1.1 CycleGAN回顧

假定異質(zhì)圖像數(shù)據(jù)集中包含的兩類圖像分別為A和B，CycleGAN 的目標(biāo)是學(xué)習(xí)一個(gè)映射函數(shù)，將A 中的一個(gè)樣本轉(zhuǎn)換為服從B 分布的樣本，反之亦然。在CycleGAN 中，包含生成器G、F 和判別器DA、DB，正向的生成器G 將A 轉(zhuǎn)換為B、反向的生成器F 將B 轉(zhuǎn)換為A，兩個(gè)判別器分別判別圖像是來自于生成器的生成還是A 或B 中的真實(shí)樣本。根據(jù)GAN 的零和博弈思想，G 盡可能生成符合數(shù)據(jù)集B 分布的樣本以騙過判別器DB，DB盡可能判別某個(gè)樣本是來自于生成器的生成還是B 中的真實(shí)樣本，反向生成也類似。生成器和判別器基于對(duì)抗損失交替更新，最終達(dá)到納什均衡，此時(shí)，生成器生成的樣本足夠真實(shí)，判別器難以做出正確的判別。

原始CycleGAN 的損失函數(shù)定義如下：

CycleGAN 的目標(biāo)是找到一個(gè)G*和F*：G*,F*=

在損失函數(shù)中，LGAN(G,DB,A,B)和LGAN(F,DA,B,A)分別表示正向和反向的對(duì)抗損失。以正向?yàn)槔?，最小化?duì)抗損失的目的是使G 生成的樣本盡可能像來自于B的真實(shí)樣本，對(duì)判別器DB來講，最大化對(duì)抗損失的目的是使DB能盡可能地區(qū)分樣本是來自于G 的生成還是B 中的真實(shí)樣本。這可以表達(dá)為下式：

Lcyc(G,F)表示循環(huán)一致性損失，CycleGAN 認(rèn)為，盡管對(duì)抗損失能夠讓生成器生成真實(shí)度較高的樣本，但在訓(xùn)練中容易發(fā)生模式退化，即對(duì)任意一個(gè)來自A 中的樣本，生成器G 將其映射轉(zhuǎn)化為服從B 分布的同一個(gè)樣本，或任意一個(gè)來自B 中的樣本，反向生成器F 將其映射轉(zhuǎn)化為服從A 分布的同一個(gè)樣本。故在Cycle-GAN 引入了循環(huán)一致性損失，使F(G(x))≈x ，G(F(y))≈y，其中x、y 分別是來自A 和B 的樣本。循環(huán)一致性損失可表達(dá)為下式：

上式中的λ 為循環(huán)一致性損失的權(quán)重。

1.2 算法改進(jìn)

CycleGAN 作為一種典型的一般圖像翻譯模型，并沒有針對(duì)人臉圖像做特殊處理，直接將其應(yīng)用于異質(zhì)人臉合成存在身份屬性保持不佳、無法處理人臉背景等問題。本小節(jié)基于CycleGAN 改進(jìn)得到異質(zhì)人臉模型HFS-CycleGAN（Heterogeneous Face Synthesis-CycleGAN），如圖2 所示，該模型以三維投影人臉圖像和無標(biāo)簽真實(shí)監(jiān)控圖像為輸入，訓(xùn)練HFS-CycleGAN，訓(xùn)練完成后，輸入三維投影人臉圖像，可以合成對(duì)應(yīng)的監(jiān)控人臉圖像。合成的監(jiān)控人臉往往存在結(jié)構(gòu)細(xì)節(jié)丟失等問題，影響到身份屬性保持，在HFS-CycleGAN 中，引入了導(dǎo)向?yàn)V波層，可以利用輸入三維投影圖像對(duì)合成圖像恢復(fù)人臉結(jié)構(gòu)細(xì)節(jié)。特別地，監(jiān)控圖像與合成監(jiān)控圖像包含背景，但三維投影圖像除人臉區(qū)域外無背景，為在濾波時(shí)保留背景，HFS-CycleGAN 利用蒙版（xmask），結(jié)合三維投影圖像（x）和合成圖像（x?B）得到導(dǎo)向?yàn)V波參考圖x?，x?=x⊙xmask+x?B⊙(1-xmask)。通過導(dǎo)向?yàn)V波層，合成圖像的合成細(xì)節(jié)得到了進(jìn)一步提升。

圖2 算法流程

HFS-CycleGAN 合成部分的網(wǎng)絡(luò)結(jié)構(gòu)延續(xù)了CycleGAN 的對(duì)偶結(jié)構(gòu)，包含兩個(gè)生成器G、F 和兩個(gè)判別器DA、DB。如圖3 所示，在正向過程中，三維投影人臉圖像A 作為正向生成器G 的輸入，合成監(jiān)控圖像B，再通過反向生成器F 得到重建的三維投影圖像A'。輸入的三維投影圖像A 和重建的三維投影圖像A'計(jì)算循環(huán)一致性損失；合成監(jiān)控圖像B 和真實(shí)監(jiān)控圖像B 用于訓(xùn)練判別器DB，計(jì)算對(duì)抗損失；輸入的三維投影圖像A 和合成的監(jiān)控圖像B 計(jì)算身份損失。反向過程類似。

圖3 HFS-CycleGAN生成部分網(wǎng)絡(luò)結(jié)構(gòu)

生成器G 和F 采用完全一樣的網(wǎng)絡(luò)結(jié)構(gòu)，輸入為224×224 圖像，兩個(gè)步長為2 的卷積層對(duì)圖像進(jìn)行下采樣，9 個(gè)殘差模塊進(jìn)一步提取特征，兩個(gè)反卷積層進(jìn)行上采樣，合成224×224 圖像。判別器DA、DB使用70x70 的PatchGANs。

引導(dǎo)濾波層采用了文獻(xiàn)[7]提出的方法，引導(dǎo)濾波可通過下式求得輸出：

其中，Ah、bh是引導(dǎo)濾波的關(guān)鍵參數(shù)，文獻(xiàn)[7]避免了直接求解，而是設(shè)計(jì)了一個(gè)包含卷積層、均值濾波、局部線性模型、雙向性上采樣和線性層的神經(jīng)網(wǎng)絡(luò)來求解該參數(shù)的近似值，使得該引導(dǎo)濾波模塊可以和HFS-CycleGAN 生成部分一起訓(xùn)練。

在損失函數(shù)方面，HFS-CycleGAN 保留了原始CycleGAN 的對(duì)抗損失LGAN(G,DB,A,B)和LGAN(F,DA,B,A)、循環(huán)一致性損失Lcyc(G,F)，并引入了新的身份損失Lid，Lid通過預(yù)訓(xùn)練的VGGFace-16 網(wǎng)絡(luò)[8]對(duì)輸入三維投影圖像和合成監(jiān)控圖像進(jìn)行提取身份特征表示，具體地，以VGGFace-16 網(wǎng)絡(luò)的fc6 層輸出為身份特征計(jì)算Lid，表達(dá)為下式：

HFS-CycleGAN 的最終損失函數(shù)為：

2 實(shí)驗(yàn)評(píng)估

本節(jié)提出的異質(zhì)人臉合成方法在和自建數(shù)據(jù)集3DProj-Sur 和公開數(shù)據(jù)集EK-LFH 上[3]進(jìn)行了實(shí)驗(yàn)。這兩個(gè)數(shù)據(jù)集均為三維投影-監(jiān)控人臉數(shù)據(jù)集，3DProj-Sur 是自建數(shù)據(jù)集，每人有83 張三維投影，和平均每人41.4 張監(jiān)控圖像；EK-LFH 共30 人，每人有63 張三維投影，和平均每人530 張監(jiān)控圖像。本文提出的異質(zhì)人臉合成算法的效果如圖4 所示，前三行為3DProj-Sur 數(shù)據(jù)集，后三行為EK-LFH 數(shù)據(jù)集，前三列為輸入的三維投影圖像，中間三列為基于三維投影圖像合成的監(jiān)控圖像，后兩列為真實(shí)的監(jiān)控圖像。

圖4 異質(zhì)人臉合成可視化效果

本文認(rèn)為高質(zhì)量的異質(zhì)人臉合成表現(xiàn)在兩個(gè)方面，一是人臉身份在合成前后要盡可能保持，二是合成的監(jiān)控人臉圖像要和真實(shí)的監(jiān)控人臉圖像同質(zhì)化程度要盡可能高。

本文采用人臉相似度來比較合成前后圖像的人臉身份的變化。人臉特征提取網(wǎng)絡(luò)采用在VGGFace2 數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet50[9]，余弦相似度為相似度度量方法，對(duì)合成前后的人臉圖像進(jìn)行1:1 相似度比較，得到實(shí)驗(yàn)結(jié)果如表1，結(jié)果表明，在3DProj-Sur 和EKLFH 數(shù)據(jù)集上，本節(jié)提出的異質(zhì)人臉合成方法合成的圖像與原三維投影圖像的相似度平均值均大于0.8，能夠很好保證合成前后的身份屬性一致性，且高于Cycle-GAN 方法。

表1 合成前后人臉相似度比較

為直觀地觀察合成監(jiān)控圖像與真實(shí)監(jiān)控圖像的同質(zhì)化程度，本節(jié)在3DProj-Sur 數(shù)據(jù)集的三維投影圖像、真實(shí)監(jiān)控圖像、合成監(jiān)控圖像中各隨機(jī)選取每人一張圖像，在EK-LFH 的三維投影圖像、真實(shí)監(jiān)控圖像、合成監(jiān)控圖像中各隨機(jī)選取每人兩張圖像，采用t-SNE方法[10]進(jìn)行降維可視化，在嵌入空間觀察各圖像的分布情況。

圖5 同質(zhì)化程度可視化

如圖5 所示，在兩個(gè)數(shù)據(jù)集上，三維投影圖像和真實(shí)監(jiān)控圖像分布明顯在兩個(gè)區(qū)域，合成監(jiān)控圖像和真實(shí)監(jiān)控圖像在嵌入空間中分布較為接近，這表明合成監(jiān)控圖像和真實(shí)監(jiān)控圖像同質(zhì)化程度高。

3 結(jié)語

本文對(duì)CycleGAN 進(jìn)行改進(jìn)，引入身份損失和引導(dǎo)濾波，提出一種異質(zhì)人臉合成方法，能夠較好地合成異質(zhì)人臉，并進(jìn)一步在人臉數(shù)據(jù)集上進(jìn)行了評(píng)估實(shí)驗(yàn)，結(jié)果表明，合成結(jié)果對(duì)人臉的身份屬性保持較好，同時(shí)合成之后的圖像與真實(shí)監(jiān)控圖像同質(zhì)化程度高。合成結(jié)果可用于數(shù)字娛樂或異質(zhì)人臉識(shí)別等場(chǎng)景，具有較好的應(yīng)用價(jià)值。