基于對(duì)抗學(xué)習(xí)與協(xié)同優(yōu)化的身份匿名方法

劉玉彤

(黑龍江工商學(xué)院,哈爾濱 150025)

0 引言

近年來(lái),基于深度學(xué)習(xí)的方法已取得了具有前景的性能,但這些方法通常依賴于大規(guī)模的圖像數(shù)據(jù),這些圖像不可避免的會(huì)暴露個(gè)人隱私,因此數(shù)據(jù)隱私越來(lái)越受到人們的關(guān)注。基于以上問(wèn)題,人臉匿名技術(shù)[1]應(yīng)運(yùn)而生,該方法可在保證圖像真實(shí)感的前提下對(duì)圖像中的人臉進(jìn)行匿名。

目前,生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks, GAN)[2]被廣泛應(yīng)用于圖像生成領(lǐng)域?，F(xiàn)有基于GAN的人臉匿名化方法依據(jù)生成過(guò)程中使用的真實(shí)人臉數(shù)量可分為一對(duì)一方法[1]和多對(duì)一方法[3]。前者通過(guò)對(duì)一張真實(shí)人臉進(jìn)行重構(gòu)來(lái)達(dá)到人臉匿名目的,例如DeepPrivacy[1]只需要對(duì)一張人臉進(jìn)行處理便可得到匿名化的人臉圖像;后者每生成一張偽人臉,通常需融合至少兩張真實(shí)人臉,例如CIAGAN[3]在原始人臉的特征中融入其他身份信息實(shí)現(xiàn)身份匿名。在現(xiàn)有的一對(duì)一方法中,DeepPrivacy[1]取得了具有競(jìng)爭(zhēng)力的性能,該方法利用人臉檢測(cè)模型對(duì)原始圖像(即真實(shí)圖像)中的人臉部分進(jìn)行隱去,之后對(duì)隱去的人臉部分重新進(jìn)行生成,雖然能夠在保持背景不變的前提下對(duì)人臉進(jìn)行匿名,但額外的人臉檢測(cè)模型會(huì)降低匿名速度并增加預(yù)測(cè)模型的體積。

針對(duì)上述問(wèn)題,本研究提出了一種基于對(duì)抗學(xué)習(xí)與協(xié)同優(yōu)化的身份匿名方法,通過(guò)平衡識(shí)別損失及重建損失以輕量級(jí)的方式實(shí)現(xiàn)身份匿名。識(shí)別損失可對(duì)原始圖像進(jìn)行匿名,而重建損失促使生成的圖像保持原有背景,當(dāng)兩者達(dá)到平衡時(shí),生成圖像具有與原圖像相同的背景和不同的身份。此外,重建損失能有效保持原始人臉的表情。本方法的研究貢獻(xiàn)主要包括以下幾方面：提出了一種輕量級(jí)的基于對(duì)抗學(xué)習(xí)與協(xié)同優(yōu)化的身份匿名方法,不需要額外的人臉檢測(cè)模型預(yù)處理。為了實(shí)現(xiàn)匿名化目的,在GAN的對(duì)抗損失基礎(chǔ)上引入了識(shí)別損失和重建損失,前者對(duì)原始圖像進(jìn)行匿名,后者保持原始背景及表情,在大規(guī)模的人臉數(shù)據(jù)集上對(duì)此方法進(jìn)行定性及定量評(píng)估。實(shí)驗(yàn)結(jié)果表明,該方法在生成質(zhì)量、匿名效果及推理速度等方面超越了現(xiàn)有的身份匿名方法。

1 基于對(duì)抗學(xué)習(xí)與協(xié)同優(yōu)化的身份匿名方法

身份匿名化方法是對(duì)含有真實(shí)人臉的圖像進(jìn)行匿名化,即對(duì)于一張真實(shí)圖像xr,匿名化方法可獲得與xr具有不同身份和相同背景的生成圖像xf。由于其對(duì)身份隱私的保護(hù)作用,在現(xiàn)實(shí)中具有較高的應(yīng)用價(jià)值。

提出一種基于對(duì)抗學(xué)習(xí)與協(xié)同優(yōu)化的身份匿名方法,相比傳統(tǒng)的匿名化方法,此方法更加輕量化。如圖1所示,本方法以GAN為基礎(chǔ),生成器G在判別器D的指導(dǎo)下基于對(duì)抗學(xué)習(xí)的思想生成具有真實(shí)感的人臉圖像。此外,人臉識(shí)別模型F與生成器G協(xié)同優(yōu)化,輔助G實(shí)現(xiàn)身份匿名。為了幫助生成器G重建生成圖像的背景,引入了LR損失函數(shù)。

圖1 基于LGAN、LF和LR對(duì)生成器G進(jìn)行聯(lián)合優(yōu)化的模型

1.1 對(duì)抗學(xué)習(xí)

現(xiàn)有的身份匿名方法,如DeepPrivacy[1]、CIAGAN[3]通常以GAN[2]為基礎(chǔ)。GAN是由一個(gè)生成器G和一個(gè)判別器D組成的系統(tǒng)。生成器G的作用是生成具有真實(shí)感的圖像,并將生成圖像輸入判別器D,判別器D則判斷輸入的圖像數(shù)據(jù)是真實(shí)圖像還是生成器生成的圖像,兩者相互對(duì)抗,最終G在D的指導(dǎo)下學(xué)習(xí)真實(shí)圖像的分布。

引入LSGAN[4]的最小二乘損失函數(shù)來(lái)穩(wěn)定優(yōu)化過(guò)程。最小二乘損失函數(shù)相比交叉熵?fù)p失函數(shù)能夠懲罰被正確分類但仍遠(yuǎn)離真實(shí)分布的生成樣本,從而將生成樣本推到?jīng)Q策邊界。本階段中,判別器D與生成器G對(duì)抗學(xué)習(xí),可促使G生成具有真實(shí)感的人臉圖像。生成器G和判別器D的優(yōu)化過(guò)程如公式(1)、式(2)所示：

(1)

(2)

其中,p(xr)是真實(shí)人臉圖像的分布。

對(duì)抗性損失函數(shù)LGAN如公式(3)所示：

LGAN=L(G)+L(D)

(3)

1.2 協(xié)同優(yōu)化

身份匿名化的目的是在保持圖像背景不變的前提下對(duì)身份進(jìn)行修改。為了保證背景不變,現(xiàn)有的方法如DeepPrivacy[1]、CIAGAN[3]通常需引入一個(gè)額外的人臉檢測(cè)模型獲得人臉區(qū)域,再對(duì)人臉區(qū)域進(jìn)行重新生成。以上方法存在兩個(gè)缺陷：額外的人臉檢測(cè)模型會(huì)增加模型的整體體積并降低推理速度。由于原始人臉被掩蓋,生成的人臉通常會(huì)喪失原始的表情信息?；谝陨蠁?wèn)題引入了重建損失LR,來(lái)保持圖像中的背景及表情,如公式(4)所示：

(4)

LR在像素級(jí)別促使生成圖像xf接近于真實(shí)圖像xr,從而使xf保持xr中的背景及表情。為了保證xf和xr具有不同的身份,引入了人臉識(shí)別模型F與識(shí)別損失LF,并以一種協(xié)同優(yōu)化的方式訓(xùn)練人臉識(shí)別模型F和生成器G。具體來(lái)說(shuō),LF促使人臉識(shí)別模型F將真實(shí)圖像xr歸為其對(duì)應(yīng)的真實(shí)類別yr,同時(shí)將生成器G生成的圖像xf不歸為類別yr。此外,LF促使生成器G生成不屬于類別yr的圖像xf,從而降低F的預(yù)測(cè)模糊性。在對(duì)F和G的優(yōu)化過(guò)程中,識(shí)別損失LF被定義為公式(5)：

LF=-Exr～p(xr)yrlogF(xr)+Exr～p(xr)yrlogF[G(xr)]

(5)

其中,yr為xr所對(duì)應(yīng)的真實(shí)身份。

1.3 整體損失

整體損失總結(jié)如公式(6)所示：

Ltotal=LGAN+λRLR+λFLF

(6)

其中,λR和λF分別為L(zhǎng)R和LF的權(quán)重。在優(yōu)化過(guò)程中,模型在以下兩個(gè)階段之間迭代來(lái)解決最大最小問(wèn)題。在第一階段,固定G的參數(shù),更新D和F的參數(shù)。在第二階段,固定D和F的參數(shù),更新G的參數(shù)。在預(yù)測(cè)階段,只有G被用于對(duì)人臉進(jìn)行匿名化。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

CelebA[5]數(shù)據(jù)集包含202 599張人臉圖像,每張圖像有40個(gè)二進(jìn)制格式的屬性注釋,包括性別、年齡(老年或年輕)、模糊及其他屬性。訓(xùn)練集包含162 770幅圖像,驗(yàn)證集包含19 867幅圖像,測(cè)試集包含19 962幅圖像。

使用Fréchet Inception Distance(簡(jiǎn)稱FID)[6]和Kernel Inception Distance(簡(jiǎn)稱KID)[7]對(duì)生成圖像的質(zhì)量進(jìn)行定量評(píng)估。FID和KID分別從不同方面計(jì)算生成樣本與真實(shí)樣本之間的相似性。FID和KID值越低,表明生成樣本的特征分布與真實(shí)樣本的特征分布越相似。

匿名化方法應(yīng)在保持人臉基本屬性的前提下對(duì)原始身份進(jìn)行匿名,即生成的人臉能夠被其他方法檢測(cè)到,但原始身份不能被識(shí)別。使用人臉識(shí)別庫(kù)(Dlib)[8]檢測(cè)圖像中的人臉,對(duì)于身份識(shí)別,使用預(yù)訓(xùn)練的FaceNet模型[9]判斷生成的人臉及其對(duì)應(yīng)的原始人臉是否屬于同一身份。

2.1.2 實(shí)現(xiàn)細(xì)節(jié)

將所有圖像的大小調(diào)整為128×128。遵循CIAGAN[3]的測(cè)試方法,選取CelebA數(shù)據(jù)集中來(lái)自1200個(gè)身份的圖像用于訓(xùn)練,選取來(lái)自其他363個(gè)身份的圖像用于測(cè)試。

生成器G基于CycleGAN[10]設(shè)計(jì)。判別器D基于PatchGAN[11]設(shè)計(jì),使用兩個(gè)不同尺度的判別模塊來(lái)提升生成圖像的真實(shí)感。人臉識(shí)別模型F使用預(yù)先訓(xùn)練的SphereFace[12]。生成器G和判別器D的學(xué)習(xí)率設(shè)置為0.0001。人臉識(shí)別模型F的學(xué)習(xí)率設(shè)置為0.00001。訓(xùn)練批量大小設(shè)置為48。在測(cè)試階段,只有生成器G用于推理。

2.2 對(duì)比實(shí)驗(yàn)

2.2.1 定量評(píng)估

一個(gè)令人滿意的匿名化模型不僅要生成高質(zhì)量的圖像,還要生成具有高檢測(cè)率及低識(shí)別率的圖像。檢測(cè)率表現(xiàn)為當(dāng)原始人臉圖像被匿名后,仍然保留圖像中某些基本特性,并能夠被其他模型所檢測(cè)。識(shí)別率表現(xiàn)為當(dāng)原始人臉被匿名后,舍棄與身份相關(guān)的所有特征,使其他模型難以識(shí)別原始身份。總之,匿名后的人臉不應(yīng)該被識(shí)別,但能被檢測(cè)。

本方法與像素化、模糊化、Fawkes[13]、DeepPrivacy[1]及CIAGAN[3]的對(duì)比結(jié)果如表1所示。傳統(tǒng)的匿名化方法(像素化和模糊化)雖然可以顯著降低識(shí)別率,但會(huì)損害人臉的基本屬性,導(dǎo)致檢測(cè)率極低。學(xué)者們提出的Fawkes[13]、DeepPrivacy[1]及CIAGAN[3]在保留基本屬性的前提下對(duì)原始身份進(jìn)行匿名。由于Fawkes方法是在不改變?nèi)四樢曈X(jué)感受的前提下降低被識(shí)別的概率,所以具有較高的檢測(cè)率,但識(shí)別率也較高,不同于Fawkes、DeepPrivacy及CIAGAN基于人臉檢測(cè)模型掩蓋原始人臉,再對(duì)人臉部分進(jìn)行重新生成,以獲得更低的識(shí)別率。如表1所示,相比于DeepPrivacy[1]與CIAGAN[3],本方法取得了更高的檢測(cè)率及更低的識(shí)別率。

表1 檢測(cè)率(Dlib和SSH)與識(shí)別率(FaceNet)結(jié)果

分別從生成質(zhì)量及推理時(shí)間等方面對(duì)比了Fawkes、DeepPrivacy、CIAGAN及本方法,實(shí)驗(yàn)結(jié)果如表2所示。在生成質(zhì)量方面,本方法取得了更低的FID和KID,表明生成的圖像整體分布更接近于真實(shí)分布,相比其他方法更具優(yōu)越性。在模型推理時(shí)間方面,本方法沒(méi)有使用額外的人臉檢測(cè)模型,顯著降低了推理時(shí)間。如表2所示,DeepPrivacy的推理時(shí)間為5730.73 s,而本方法的推理時(shí)間僅為95.36 s,為DeepPrivacy推理時(shí)間的1/60。

表2 生成質(zhì)量和推理時(shí)間(秒)結(jié)果

相比現(xiàn)有的傳統(tǒng)匿名方法和基于深度學(xué)習(xí)的匿名方法,本方法具有更高的生成質(zhì)量、更強(qiáng)的匿名效果及更快的推理速度。

2.2.2 定性評(píng)估

從視覺(jué)角度對(duì)Fawkes[13]、DeepPrivacy[1]、CIAGAN[3]及本方法所生成的圖像質(zhì)量進(jìn)行定性評(píng)估。邀請(qǐng)5位觀察者對(duì)以上方法所生成圖像的真實(shí)感及匿名效果進(jìn)行評(píng)估。將真實(shí)感及匿名效果的分?jǐn)?shù)范圍都設(shè)置為[0,10],越接近10表示真實(shí)感或匿名效果越好。5位觀察者的評(píng)分均值如表3所示,可以發(fā)現(xiàn),Fawkes生成的圖像雖然具有較強(qiáng)的視覺(jué)真實(shí)感,但難以在視覺(jué)角度對(duì)身份進(jìn)行匿名。DeepPrivacy和CIAGAN雖然能夠?qū)ι矸葸M(jìn)行匿名,但生成圖像的真實(shí)感略低于本方法。相比以上方法,本方法綜合考慮了身份匿名和圖像質(zhì)量,在保證圖像真實(shí)性的前提下完成了身份匿名,獲得了較高的真實(shí)感及匿名效果。綜合來(lái)看,本方法生成圖像的視覺(jué)質(zhì)量?jī)?yōu)于現(xiàn)有方法。

表3 真實(shí)感和匿名效果的定性評(píng)估結(jié)果

3 結(jié)論

提出了一種基于對(duì)抗學(xué)習(xí)與協(xié)同優(yōu)化的身份匿名方法,其不同于現(xiàn)有的依賴于人臉檢測(cè)模型的匿名方法,可降低計(jì)算量并提升推理速度,引入的重建損失與識(shí)別損失可在不改變背景的情況下有效地對(duì)身份進(jìn)行匿名化。在CelebA數(shù)據(jù)集上的定量及定性評(píng)估實(shí)驗(yàn)結(jié)果表明,該方法在生成質(zhì)量、匿名效果及推理速度等方面顯著優(yōu)于現(xiàn)有的匿名化方法。