基于高頻小波損失的生成對(duì)抗人臉補(bǔ)全方法研究

黃俊健 朱 煜 林家駿 鄭兵兵 韓 飛

(華東理工大學(xué)信息科學(xué)與工程學(xué)院 上海 200237)

0 引 言

圖像補(bǔ)全一直以來(lái)是計(jì)算機(jī)視覺(jué)領(lǐng)域研究和應(yīng)用的熱點(diǎn)。研究人員針對(duì)人臉有遮擋的部分提出了各種圖像補(bǔ)全算法。

傳統(tǒng)的基于擴(kuò)散的方法[1-2]使用偏微分方程確定擴(kuò)散系數(shù)，并利用被遮擋區(qū)域周?chē)泥徲蛐畔⑦M(jìn)行加權(quán)平均。Bertalmio等[3]使用局部直方圖的統(tǒng)計(jì)數(shù)據(jù)來(lái)補(bǔ)全被遮擋區(qū)域，但這種方法主要用于缺少小面積區(qū)域的情況，不能很好地生成較大面積缺損區(qū)域。傳統(tǒng)的基于稀疏性的方法[4]將被遮擋的圖像轉(zhuǎn)換為變換域，并利用其在變換域中的稀疏性來(lái)重建圖像，但該方法也適用于修復(fù)較小區(qū)域中的被遮擋圖像，對(duì)于被遮擋面積較大或紋理缺失區(qū)域較多的圖像容易產(chǎn)生平滑效果。

在深度學(xué)習(xí)算法中，生成式對(duì)抗網(wǎng)絡(luò)[5-6](Generative Adversarial Networks,GAN)可以通過(guò)兩個(gè)網(wǎng)絡(luò)之間的不斷博弈從而生成接近真實(shí)圖像的結(jié)果，在圖像生成與數(shù)據(jù)增強(qiáng)等方面有著其他深度學(xué)習(xí)模型無(wú)法達(dá)到的效果。因此，研究者們主要以GAN網(wǎng)絡(luò)及其變形作為基于深度學(xué)習(xí)模型的人臉補(bǔ)全問(wèn)題的主要算法?；贕AN網(wǎng)絡(luò)的人臉補(bǔ)全算法主要過(guò)程是：(1) 將被遮擋的人臉圖像作為生成器的輸入得到一幅偽人臉圖像;(2) 將未被遮擋的真實(shí)人臉圖像與生成的偽人臉圖像作為判別器的輸入，判別輸入是真實(shí)人臉還是偽人臉；(3) 生成器與判別器相互博弈，使生成的偽人臉圖像與真實(shí)人臉圖像更為接近。

使用先驗(yàn)信息來(lái)進(jìn)行圖像補(bǔ)全也取得了很多進(jìn)展。例如，Yeh等[7]采用GAN網(wǎng)絡(luò)訓(xùn)練完好的圖片進(jìn)行圖像補(bǔ)全，然而該方法在圖像補(bǔ)全時(shí)需要對(duì)每幅圖片都進(jìn)行反向傳播，導(dǎo)致其速度較慢。Dolhansky等[8]說(shuō)明了在圖像補(bǔ)全中模板信息的重要性，所提出的方法可以達(dá)到與繪畫(huà)相當(dāng)?shù)男Ч窃摲椒▋H僅適用于正面人臉的眼睛部分補(bǔ)全。CE算法[9]設(shè)計(jì)了一種編碼器到解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，用于生成圖像中缺失部分,并結(jié)合了生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練方式，提高了生成圖像的質(zhì)量。GLCIC算法[10]使用空洞卷積[11]增加網(wǎng)絡(luò)的感受野，并通過(guò)全局和局部?jī)蓚€(gè)判別器，提高生成的圖像在局部的一致性。

針對(duì)于有遮擋的人臉補(bǔ)全問(wèn)題，本文結(jié)合生成對(duì)抗架構(gòu)設(shè)計(jì)了一個(gè)人臉補(bǔ)全框架，用于修復(fù)人臉遮擋區(qū)域的圖像，在網(wǎng)絡(luò)層引入了空洞卷積來(lái)提升感受野的基礎(chǔ)上，本文提出基于小波分解的高頻損失函數(shù)，用于提高生成人臉的清晰度。首先將圖像從圖像空間轉(zhuǎn)換為小波空間，圖像分解為高頻分量和低頻分量，修復(fù)后圖像的模糊與缺乏高頻信息有關(guān)，本文在所設(shè)計(jì)的損失函數(shù)中使用小波分解圖的l1損失進(jìn)行網(wǎng)絡(luò)訓(xùn)練，有效提升了生成人臉的質(zhì)量。通過(guò)生成網(wǎng)絡(luò)將有遮擋的人臉補(bǔ)全成全臉。再采用ArcFace[23]模型作為人臉識(shí)別框架對(duì)修復(fù)后的人臉進(jìn)行人臉識(shí)別驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該方法恢復(fù)的人臉是有效的。

1 基于GAN的人臉補(bǔ)全網(wǎng)絡(luò)

1.1 人臉補(bǔ)全生成器網(wǎng)絡(luò)結(jié)構(gòu)

在人臉識(shí)別任務(wù)中，遮擋物覆蓋了真實(shí)人臉區(qū)域，導(dǎo)致識(shí)別的信息有缺損，網(wǎng)絡(luò)無(wú)法作出準(zhǔn)確判斷。而人臉補(bǔ)全可以在一定程度上彌補(bǔ)這種信息缺損，讓網(wǎng)絡(luò)對(duì)完整的人臉信息進(jìn)行識(shí)別。本文考慮的遮擋區(qū)域相對(duì)固定，比如戴口罩、圍巾等遮擋下半臉的情況。所以在訓(xùn)練網(wǎng)絡(luò)時(shí)，預(yù)先定義了遮擋物的位置，而不考慮對(duì)遮擋物的識(shí)別與定位。

基于GAN的人臉補(bǔ)全網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)構(gòu)成。本文所設(shè)計(jì)的生成網(wǎng)絡(luò)的目標(biāo)是將有遮擋的人臉補(bǔ)全成完整的人臉，結(jié)構(gòu)如圖1所示。

圖1 生成網(wǎng)絡(luò)框架

圖1的每個(gè)模塊中，K表示網(wǎng)絡(luò)卷積核大小，N表示通道數(shù)目，S表示卷積核的步長(zhǎng)，D表示空洞率。網(wǎng)絡(luò)的輸入是一幅被掩碼遮擋的半臉圖像，分別經(jīng)過(guò)編碼層、中間層和解碼層，最后輸出一幅補(bǔ)全后的全臉圖像。編碼層的設(shè)計(jì)是為了縮小網(wǎng)絡(luò)輸入圖像的空間尺寸，保證后續(xù)的網(wǎng)絡(luò)運(yùn)算能夠在較小的空間尺寸下進(jìn)行，提升網(wǎng)絡(luò)的運(yùn)行效率。因?yàn)榭臻g尺寸的縮小伴隨著一定的量化誤差，誤差越小生成的圖像質(zhì)量越好，所以編碼層先采用K7N64S1的結(jié)構(gòu)設(shè)計(jì)，即卷積核大小為7×7×64，步長(zhǎng)為1的卷積層在不縮小網(wǎng)絡(luò)空間尺寸大小的情況下提取圖像全局特征。之后再使用兩個(gè)卷積核空間大小為4×4，步長(zhǎng)為2的卷積層將網(wǎng)絡(luò)尺寸縮小4倍。中間層由M個(gè)類(lèi)ResNet模塊[11]組成，更深的網(wǎng)絡(luò)是為了得到更好的泛化能力以及特征的表達(dá)能力。同時(shí)模塊采用空洞率為2的空洞卷積代替普通卷積，增加了網(wǎng)絡(luò)的感受野，增強(qiáng)網(wǎng)絡(luò)感受全局特征的能力，類(lèi)ResNet模塊如圖2所示。

圖2 類(lèi)ResNet模塊

解碼層則將前面提取的特征解碼成完整的人臉圖像，主要通過(guò)兩個(gè)反卷積層將圖像尺寸大小擴(kuò)大4倍，恢復(fù)成原圖尺寸大小。最后再經(jīng)過(guò)一個(gè)7×7×3的卷積層將通道恢復(fù)成三通道。

1.2 判決器設(shè)計(jì)

判別器是一個(gè)二分類(lèi)網(wǎng)絡(luò)，結(jié)構(gòu)如圖3所示。輸入是原始完整的圖像或者生成器生成的圖像，輸出是一個(gè)二分類(lèi)結(jié)果，判斷是原始圖像還是生成圖像。

圖3 判別網(wǎng)絡(luò)框架

2 損失函數(shù)

2.1 總損失設(shè)計(jì)

(1)

式中：⊙表示矩陣元素逐點(diǎn)對(duì)應(yīng)相乘。將I作為生成網(wǎng)絡(luò)輸入，得到一個(gè)填充缺失區(qū)域后的彩色圖像Ip，其分辨率與輸入圖像相同：

(2)

定義網(wǎng)絡(luò)訓(xùn)練的總損失函數(shù)L：

L=αLl1+βLadv+γLperc+μLstyle+δLwavelet

(3)

式中：各損失系數(shù)α、β、γ、μ、δ分別取值為1、0.1、0.1、200、0.1；Ll1表示重構(gòu)的l1損失[13]。除重構(gòu)的l1損失外，在網(wǎng)絡(luò)訓(xùn)練的過(guò)程中對(duì)抗損失定義保證了生成對(duì)抗的過(guò)程，使補(bǔ)全后的圖片更加接近原圖：

(4)

式中：EIgt表示真實(shí)樣本的分布；D(·)表示判決器的輸出；EIcomp表示生成補(bǔ)全圖像后的生成樣本分布。

(5)

式中：φi為預(yù)訓(xùn)練網(wǎng)絡(luò)中第i層網(wǎng)絡(luò)輸出的特征圖，本文使用了在ImageNet上預(yù)訓(xùn)練的VGG19網(wǎng)絡(luò)的relu43層輸出的特征圖。同時(shí)這些特征圖還用于計(jì)算風(fēng)格損失，對(duì)于給定的特征圖尺寸Ci×Hi×Wi，風(fēng)格損失使用Gram矩陣計(jì)算：

(6)

為了補(bǔ)充生成圖像中所缺乏的高頻信息，本文基于小波分解設(shè)計(jì)了一種高頻損失函數(shù)Lwavelet。

2.2 小波損失

像素方式的損失有l(wèi)1損失和均方誤差(MSE)損失[16]，有許多先進(jìn)的方法依賴(lài)于此，然而在實(shí)現(xiàn)較高的峰值信噪比(PSNR)[17]的同時(shí)，往往缺乏圖像的高頻信息，從而導(dǎo)致生成圖像的紋理過(guò)度平滑，生成出的圖像在視覺(jué)上不滿(mǎn)意。針對(duì)這一問(wèn)題，本文基于小波分解提出一個(gè)高頻小波損失,如圖4所示。

圖4 小波損失

定義一個(gè)二維圖像f(u,v)，其中u和v分別是二維圖像的寬和高的像素，本文利用小波[18]對(duì)二維圖像進(jìn)行f(u,v)一層分解：

(7)

(8)

我們提取其中水平和垂直方向上的高頻信息，對(duì)一個(gè)二維圖像I，重定義ζ(I)j為原圖像I的一層小波分解的高頻信息部分。

(9)

2.3 網(wǎng)絡(luò)訓(xùn)練

兩個(gè)網(wǎng)絡(luò)的訓(xùn)練過(guò)程如下：

輸入：初始化判別器和生成器網(wǎng)絡(luò)參數(shù)θd、θg，全臉數(shù)據(jù)data。

輸出：判別器D和生成器G。

3 實(shí) 驗(yàn)

實(shí)驗(yàn)的硬件環(huán)境是CPU：E5-2683 v3@2.00 GHz x56，GPU：GTX1080Ti。模型使用PyTorch實(shí)現(xiàn)網(wǎng)絡(luò)所有功能模塊。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用VGGFace2[19]作為人臉補(bǔ)全和人臉識(shí)別的訓(xùn)練數(shù)據(jù)集，為體現(xiàn)網(wǎng)絡(luò)的泛化能力，以LFW[20]作為人臉識(shí)別的測(cè)試數(shù)據(jù)集。VGGFace2數(shù)據(jù)集有9 131個(gè)不同人物的331萬(wàn)幅圖片，每個(gè)人的姿態(tài)、年齡、種族各不相同，場(chǎng)景也非常豐富，每幅圖像都經(jīng)過(guò)人為篩選，確保數(shù)據(jù)集標(biāo)簽的準(zhǔn)確性，所以是質(zhì)量非常高的數(shù)據(jù)集。LFW數(shù)據(jù)集有5 749個(gè)不同人物的13 233幅圖像，主要用于評(píng)測(cè)非限制性環(huán)境下的人臉識(shí)別算法的性能。數(shù)據(jù)集提供6 000組圖片對(duì)作為測(cè)試集，3 000組相同的人，3 000組不同的人，需要測(cè)試網(wǎng)絡(luò)能給出對(duì)應(yīng)的分類(lèi)結(jié)果。所有圖片都由MTCNN算法[21]進(jìn)行人臉檢測(cè)和對(duì)齊，縮放到112×112尺寸大小。由于并沒(méi)有針對(duì)遮擋問(wèn)題的人臉識(shí)別數(shù)據(jù)集，VGGFace2和LFW都是完整臉的數(shù)據(jù)集，所以本文對(duì)圖片進(jìn)行了遮擋處理，模擬有遮擋的情況。

3.2 評(píng)價(jià)指標(biāo)

本文使用了三個(gè)圖像補(bǔ)全的通用指標(biāo)來(lái)衡量模型生成圖像的質(zhì)量，包括結(jié)構(gòu)相似性指數(shù)(SSIM)[22]、峰值信噪比(PSNR)和平均絕對(duì)誤差(MAE)。這些指標(biāo)假設(shè)像素間具有獨(dú)立性。結(jié)構(gòu)相似性指數(shù)定義如下：

(10)

c1=(k1×L)2c2=(k2×L)2

k1=0.01,k2=0.03,L=255

(11)

定義C、W、H分別為圖像的通道數(shù)、寬和高，峰值信噪比通過(guò)均方誤差(MSE)進(jìn)行定義:

(12)

(13)

同時(shí)真實(shí)圖像和補(bǔ)全圖像的平均絕對(duì)誤差定義如下：

(14)

3.3 人臉補(bǔ)全模型的生成結(jié)果

將VGGFace2數(shù)據(jù)集作為人臉補(bǔ)全模型的訓(xùn)練集，LFW數(shù)據(jù)集作為其測(cè)試集。所有訓(xùn)練和測(cè)試圖遮擋下半臉，最后輸入人臉補(bǔ)全模型。

人臉補(bǔ)全網(wǎng)絡(luò)訓(xùn)練完成后，只保留生成網(wǎng)絡(luò)作為人臉生成器，用于將遮擋的人臉補(bǔ)全為完整的全臉。

表1為CE算法[9]、GLCIC算法[10]和本文人臉補(bǔ)全模型在LFW遮擋數(shù)據(jù)集上的客觀評(píng)價(jià)指標(biāo)PSNR、SSIM和MAE。

表1 人臉補(bǔ)全模型的實(shí)驗(yàn)結(jié)果

從表1的實(shí)驗(yàn)結(jié)果分析，與其他人臉生成網(wǎng)絡(luò)相比，本文提出的網(wǎng)絡(luò)模型所生成的人臉圖像質(zhì)量更高，結(jié)構(gòu)相似性(SSIM)達(dá)到0.803 4，峰值信噪比(PSNR)達(dá)到20.946 7。相比于其他網(wǎng)絡(luò)，本文方法獲得的補(bǔ)全圖像與原圖結(jié)構(gòu)更為相似并且失真度小。由于接近真實(shí)世界的大型數(shù)據(jù)集，如VGGFace2數(shù)據(jù)集背景復(fù)雜，包含不同種族和不同年齡的面孔，圖像中的細(xì)節(jié)非常豐富，這增加了圖像補(bǔ)全的難度。針對(duì)現(xiàn)有圖像補(bǔ)全網(wǎng)絡(luò)生成圖像模糊的問(wèn)題，本文提出的模型在訓(xùn)練過(guò)程中加入了小波損失，圖像的高頻分量中包含更多的圖像細(xì)節(jié)，使得網(wǎng)絡(luò)在整個(gè)生成過(guò)程中學(xué)習(xí)到真實(shí)的高頻細(xì)節(jié)，因而生成補(bǔ)全出的人臉圖像更加清晰。

同時(shí)對(duì)總損失中不同的損失函數(shù)進(jìn)行了消融實(shí)驗(yàn)，對(duì)于訓(xùn)練時(shí)不同損失函數(shù)的影響如表2所示。

表2 不同損失函數(shù)的實(shí)驗(yàn)結(jié)果

可以看出，移除風(fēng)格損失后，指標(biāo)降低很少，而移除本文設(shè)計(jì)的小波損失后指標(biāo)下降最多，說(shuō)明小波損失對(duì)性能的整體提升影響較大。風(fēng)格損失主要為了消除在反卷積過(guò)程中造成的棋盤(pán)偽影現(xiàn)象。感知損失使得補(bǔ)全圖像在語(yǔ)義上與原圖更加相近。本文提出的小波損失使補(bǔ)全后的圖像高頻信息更加豐富，因而有效改善了圖像補(bǔ)全的質(zhì)量，生成圖像與原圖更為近似。

圖5為生成網(wǎng)絡(luò)所生成的全臉圖像，其中最左側(cè)人臉為真實(shí)人臉，往右依次是生成網(wǎng)絡(luò)的輸入和訓(xùn)練2 000、5 000、20 000、100 000次迭代后所生成的人臉。可以看到最終生成的人臉和真實(shí)人臉較為接近，有利于人臉識(shí)別驗(yàn)證。

圖5 生成人臉過(guò)程迭代結(jié)果

3.4 人臉補(bǔ)全后的識(shí)別結(jié)果

本節(jié)以被黑幕遮擋處理后的LFW人臉為半臉，補(bǔ)全后的人臉輸出為補(bǔ)全臉，送入ArcFace[23]分類(lèi)器訓(xùn)練的人臉識(shí)別模型中進(jìn)行測(cè)試，結(jié)果如表3所示。

表3 補(bǔ)全臉的識(shí)別結(jié)果

其中評(píng)價(jià)指標(biāo)為準(zhǔn)確率和召回率如下：

(15)

(16)

式中：TP表示正確判斷為真;FP表示錯(cuò)誤的判斷為真;TN表示正確判斷為假;FN表示錯(cuò)誤的判斷為假；AllSamples表示樣本數(shù)量。

由表3可知，將有遮擋的人臉補(bǔ)全成無(wú)遮擋的人臉能有效提高其人臉識(shí)別的準(zhǔn)確率，說(shuō)明補(bǔ)全的信息對(duì)于識(shí)別任務(wù)有顯著幫助，并且驗(yàn)證了本文提出的生成模型的有效性。

4 結(jié) 語(yǔ)

本文主要研究有遮擋人臉補(bǔ)全問(wèn)題，設(shè)計(jì)一種基于空洞卷積和小波損失的生成對(duì)抗網(wǎng)絡(luò)的人臉補(bǔ)全模型；提出使用小波分解將圖像從圖像空間轉(zhuǎn)換到小波空間，提取圖像高頻分量信息來(lái)完善網(wǎng)絡(luò)的訓(xùn)練；將被遮擋的半臉補(bǔ)全成完整的全臉后再使用人臉識(shí)別進(jìn)行驗(yàn)證。本文采用黑幕遮擋的方式模擬人臉被遮擋的情況，使用了ArcFace人臉識(shí)別算法作為基礎(chǔ)人臉識(shí)別網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，本文提出的人臉補(bǔ)全網(wǎng)絡(luò)具有良好的人臉生成效果。