面向身份相互關(guān)系一致性的人臉去識別化方法

步一凡,王曉玲,賀珂珂,盧興見,王文萱

（1.華東師范大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,上海 200062;2.復(fù)旦大學(xué) 計算機(jī)科學(xué)技術(shù)學(xué)院,上海 200438）

0 引 言

隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展,人臉識別模型已經(jīng)取得了超越人類識別水平的高性能.由于人臉信息的獨(dú)特性,其已在人們的日常生活中得到了極高的重視,為人們的生活帶來了方便,如支付賬單、登錄帳戶、刷臉門禁等等.然而,人臉信息很容易被廣泛安裝的攝像頭捕捉到,而無需個人同意,更甚者,人臉信息的使用方式也不得而知,這引起了人們對隱私信息泄露的極大擔(dān)憂.

在此背景下,人臉去識別化技術(shù)應(yīng)運(yùn)而生,該技術(shù)通過去除人的身份特征信息來保護(hù)個人的面部隱私.Newton 等[1]首次提出人臉去識別化任務(wù),其定義是,去識別化后人臉圖像與原始人臉圖像不同屬于一個人.人臉去識別化技術(shù)在隱私保護(hù)方面具有重大意義,尤其是在公共場景下,例如,被攝像頭意外捕捉到或分享到社交媒體中的照片或視頻,保護(hù)被有意或無意拍攝到的人臉圖像中的敏感身份信息.目前的研究工作可以分為3 類: 傳統(tǒng)方法、人臉交換方法和基于生成對抗網(wǎng)絡(luò)的去識別化方法.像素化、模糊化和遮擋化[2]是人臉去識別化中具有代表性的傳統(tǒng)方法,這些傳統(tǒng)方法雖然可以簡單地去除給定圖像的身份信息,但也使這些圖像幾乎無法繼續(xù)使用,破壞了人臉圖像的結(jié)構(gòu)特性.人臉交換方法[3-5]似乎是一種有效的方法來實現(xiàn)去識別身份的目標(biāo),但填充的身份可能會造成他人個人隱私信息的泄露.而使用生成對抗網(wǎng)絡(luò)[6]的方法[7-12]通過采用多樣化的損失函數(shù),使得去識別化后的圖像在盡可能保持了原始圖像的屬性的同時,也達(dá)到了維持去識別化人臉圖像可用性的目標(biāo),因此該類去識別化人臉圖像依舊可以被應(yīng)用于多種計算機(jī)視覺任務(wù)上.

現(xiàn)有的人臉去識別化方法的目標(biāo)主要集中在實現(xiàn)隱私保護(hù)上,只支持去識別化后的人臉圖像應(yīng)用于一些與身份無關(guān)的任務(wù),如將人臉去識別化方法部署于攝像頭端,去識別化后的人臉圖像可用于檢測、跟蹤和動作分類的應(yīng)用中.而在實際場景中,去識別化后的人臉圖像更需要應(yīng)用于一些與身份相關(guān)的人臉驗證與檢索任務(wù)上,例如,公安系統(tǒng)不僅能繼續(xù)使用去識別化攝像頭拍攝下的圖像尋找嫌疑人,而被無意拍攝到的公民的人臉隱私也不會遭到侵犯;研究者不僅能繼續(xù)使用人臉數(shù)據(jù)集進(jìn)行檢索模型的訓(xùn)練評測,而被采集者也不必?fù)?dān)心自己人臉隱私信息的泄露.考慮到去識別化后的人臉圖像在身份相關(guān)任務(wù)上的重要應(yīng)用,本文首次提出了面向身份相互關(guān)系一致性(identity inter-relationship consistency,IIRC)的人臉去識別化任務(wù).簡單來說,如圖1 所示,該任務(wù)可表述為生成的去識別化人臉圖像的身份與原始圖像的身份信息保持身份相互關(guān)系的一致性,即去識別化后人臉圖像的身份的相互關(guān)系與去識別化前相同.該任務(wù)中有兩個主要的挑戰(zhàn): ①去識別化后的身份特征滿足身份相互關(guān)系一致性,即對于來自相同身份的人臉圖像,它們的身份應(yīng)該在去識別轉(zhuǎn)換后也同屬于一個人,對于來自不同身份的人臉圖像,在去識別化后,它們也應(yīng)該被視為不同的人;② 生成人臉身份的可控性,由于該任務(wù)對去識別化圖像的身份要求很高,因此生成的圖像的身份信息不能通過擾動的方式而不可知,需要進(jìn)行準(zhǔn)確的控制.

圖1 面向身份相互關(guān)系一致的去識別化任務(wù)Fig.1 Identity inter-relationship-consistent de-identification task

針對現(xiàn)有算法在該任務(wù)上的不足,本文提出了一種任務(wù)驅(qū)動的身份相互關(guān)系一致(IIRC)的生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN)算法,即IIRC-GAN 算法.該算法由去識別化生成器、基于特征向量旋轉(zhuǎn)的去識別化器和身份控制損失函數(shù)組成.去識別化生成器以原始遮擋人臉為輸入,以目標(biāo)身份特征為條件,生成去識別化后的人臉圖像.為了解決任務(wù)中的第一個挑戰(zhàn),本文引入了一種全新的基于特征向量旋轉(zhuǎn)的去識別化器,通過旋轉(zhuǎn)矩陣將一組原始身份特征修改為一組具有相互關(guān)系一致性的去識別化表示.為了解決生成可控身份的人臉圖像問題,本文設(shè)計了一種身份控制損失函數(shù),通過循環(huán)生成的方式保證合成人臉的精確身份.同時,為了保護(hù)隱私和拓寬方法的適用性,本文不使用任何標(biāo)記的人臉數(shù)據(jù),整個框架以無監(jiān)督的方式進(jìn)行訓(xùn)練.與典型的人臉去識別化方法從真實性、隱私性和可用性這3 個層面進(jìn)行了詳細(xì)的對比,定性和定量化的實驗結(jié)果均表明本文方法有著更為優(yōu)異的表現(xiàn).

1 相關(guān)工作

1.1 傳統(tǒng)去識別化方法

遮擋、模糊化和像素化是人臉去識別化的最早方法,它們幾乎可以完全去除圖像中的身份,但圖像中的所有屬性通常也都被刪除或模糊.Newton 等[1]首次正式定義了人臉去識別化任務(wù)的工作,并通過聚合k個最近的人臉來生成去識別化圖像;他們將任務(wù)定義為生成逼真的人臉圖像,并隱藏原始人臉圖像的身份.文獻(xiàn)[13]的工作改進(jìn)了聚合策略,使得生成的人臉圖像更為逼真,然而,圖像未對齊或表情有差異,導(dǎo)致去識別化圖像中含有“鬼影”.為了提高去識別化人臉圖像的可用性,本文提出了身份相互關(guān)系一致的人臉去識別化任務(wù),該任務(wù)考慮到了去識別化圖像的隱私性和真實性,以及去識別化圖像在人臉驗證和檢索任務(wù)中的應(yīng)用.

1.2 基于人臉交換的方法

人臉交換任務(wù)是指將圖像中的人臉替換成目標(biāo)人臉.Deepfake[14]方法是該方法的成功應(yīng)用,它對電影制作和視頻合成產(chǎn)生了積極的影響,但其濫用也對隱私安全構(gòu)成了威脅.SimSwap[3]方法利用AdaIN,將身份信息注入到目標(biāo)特征圖中.FaceController[4]方法是一種基于3DMM(3D morphable model)系數(shù)的人臉表示,以及樣式和身份嵌入,它可以實現(xiàn)比人臉交換更多的屬性編輯.HifiFace[5]方法利用3DMM 系數(shù)來保留源圖像的人臉形狀.基于人臉交換的方法雖然可以消除圖像中的原始身份,但也將隱私泄露的風(fēng)險轉(zhuǎn)移到了其他人身上.相比于將人臉交換方法作為去識別化方法,這些方法更適合用于娛樂目的.

1.3 基于生成對抗網(wǎng)絡(luò)的去識別化方法

得益于生成對抗網(wǎng)絡(luò)(GAN)[6]具有較強(qiáng)的生成能力,該技術(shù)已成功應(yīng)用于許多圖像生成任務(wù).PPGAN(privacy-protective-GAN)[7]是第一個在人臉去識別化任務(wù)中引入GAN 的算法,該算法在保持生成人臉圖像與原始圖像相似性的同時,增大了給定的人臉圖像的身份與生成圖像身份的差距.Gafni 等[8]提出了一種感知損失的變體,即多圖像感知損失,以改變身份高維特征,同時保持姿勢、表情和膚色等低維特征的近似.以上這些方法都不能保證合成人臉的精確身份,因此很難確保身份被抹除.CIAGAN(conditional identity anonymization GAN)[9]方法利用條件生成對抗網(wǎng)絡(luò),生成以他人身份為條件的各種去識別化結(jié)果.Gong 等[10]使用循環(huán)一致性損失解耦身份特征,并使用圖像修補(bǔ)網(wǎng)絡(luò)將去識別化人臉圖像填充回原始圖像.Gu 等[11]首次提出了還原性問題,即希望在去識別化人臉圖像中加入密鑰的信息,并能通過該密鑰反向生成原始的圖像;該方法在訓(xùn)練的時候,定義了密鑰集合,將密鑰參數(shù)作為生成器輸入的一部分,在做反向生成的時候,只有與輸入相同的密鑰作為監(jiān)督信息時才能正確的還原.UU-Net(two sequential U-shaped models)[12]方法考慮到還原性問題,通過2 個生成器分別作為去識別化人臉圖像的生成器和還原器,達(dá)到還原的目的.上述方法雖然提高了去識別化人臉圖像在各種身份無關(guān)任務(wù)上的可用性,但由于缺乏對生成去識別化人臉身份的控制或依賴于標(biāo)注信息而無法應(yīng)用于與身份相關(guān)的任務(wù)中,如人臉驗證、人臉檢索.

2 身份相互關(guān)系一致性人臉去識別化任務(wù)形式化定義

身份相互關(guān)系一致性人臉去識別化任務(wù)可以定義為學(xué)習(xí)一個具有去識別化、身份相互關(guān)系一致性、真實性等性質(zhì)的轉(zhuǎn)換函數(shù).該轉(zhuǎn)換函數(shù)以原始人臉圖像XOri作為輸入,其輸出為去識別化人臉圖像XdeID.

2.1 去識別化

生成的去識別化人臉圖像XdeID與原始的XOri應(yīng)該有不同的身份,可以表示為

式(1)中:fR(·)表示人臉識別器 R 的身份特征提取操作;t表示判斷2 幅人臉圖像是否屬于同一個人的閾值.

2.2 身份相互關(guān)系一致性

其中,?i,1,···,n},a,1,···,m}.

2.3 真實性

真實性的含義是生成的人臉要保持逼真,能夠被常見的人臉檢測器(如MTCNN(multitask cascaded convolutional networks)[15])自動檢測到.

3 模型方法

本文提出了一種統(tǒng)一框架下的、任務(wù)驅(qū)動的身份一致性人臉去識別化(IIRC-GAN)方法,以解決面向身份相互關(guān)系一致性的人臉去識別化任務(wù).IIRC-GAN 框架如圖2 所示,該框架包含3 個部分:①去識別化生成器,以原始遮擋人臉為輸入,以目標(biāo)身份特征為條件,生成去識別化后的人臉圖像;② 基于特征向量旋轉(zhuǎn)的去識別化器來修改身份表示,以解決任務(wù)中生成人臉的身份需滿足相互關(guān)系一致的特性;③身份控制損失函數(shù)來保證更精確的去生成人臉圖像的身份.

圖2 身份相互關(guān)系一致性生成對抗網(wǎng)絡(luò)(IIRC-GAN)模型的總體框架圖Fig.2 Overview of proposed identity inter-relationship-consistent GAN(IIRC-GAN)

3.1 去識別化生成器

去識別化生成器的目標(biāo)是,給定去識別化身份特征信息和包含原始人臉屬性特性的遮擋圖像Xmask,生成準(zhǔn)確身份信息的去識別化人臉.

去識別生成器基于Cycle-GAN[16]、UNet-128[17]結(jié)構(gòu),編碼器和解碼器的相應(yīng)層之間有跳躍連接.考慮到使用原始人臉圖像可能會泄露隱私信息,本文采用遮擋人臉圖像代替原始人臉圖像作為輸入,以鼓勵編碼器關(guān)注與身份無關(guān)的特征.跳躍連接可以幫助解碼器獲得更多與身份無關(guān)的特征,從而生成更真實的圖像,并根據(jù)嵌入的身份特征生成目標(biāo)人臉.如圖2 所示,本文的去識別化生成器由2 個分支組成,即人臉去識別化分支和人臉重構(gòu)分支.人臉去識別化分支通過將遮擋圖像Xmask編碼后的隱變量與通過基于特征向量旋轉(zhuǎn)的去識別化器生成的去識別化身份特征相結(jié)合,生成去識別化人臉圖像XdeID.在無監(jiān)督條件下,受Cycle-GAN 的啟發(fā),人臉重構(gòu)分支將遮擋圖像Xmask中的隱變量與原始身份特征相結(jié)合,重新生成偽原始人臉Xfake.這2 個生成分支共享去識別化生成器的編碼器參數(shù)和解碼器參數(shù).

為了生成自然逼真的人臉,本文還使用了判別器D 來監(jiān)督合成圖像的質(zhì)量.定義對抗損失為

式(3)中:λdeID是關(guān)于去識別化圖像的加權(quán)參數(shù);fD(·)表示判別器D 對圖像的評分.

設(shè)置偽圖像Xfake和原始圖像XOri像素級的L2距離作為重建損失LRec,即

為了使生成的圖像保留姿態(tài)、光照、皮膚顏色等與身份無關(guān)的信息,在偽圖像Xfake和去識別化圖像XdeID上使用SSIM(structure similarity)損失[18],分別記為fSSIM(XOri,Xfake)和fSSIM(XOri,XdeID).SSIM 損失,本文用LSSIM表示,可描述為

IIRC-GAN 的整體優(yōu)化函數(shù)Loverall可以表示為

式(6)中:LID是為了更好地約束生成的圖像的身份信息而提出的身份控制損失;λID、λAdv和λSSIM是平衡權(quán)重的參數(shù).通過應(yīng)用這種損失函數(shù)Loverall,可以用基于特征向量旋轉(zhuǎn)的去識別化器生成的相互關(guān)系一致性身份訓(xùn)練一個用于生成去識別化人臉的去識別化生成器.

3.2 基于特征向量旋轉(zhuǎn)的去識別化器

基于特征向量旋轉(zhuǎn)的去識別化器的目標(biāo)是將原有的身份特征修改為具有身份相互關(guān)系一致性的去識別化身份特征,即去識別化前后,身份特征是否同屬于一人,該相互關(guān)系保持不變.為了更好地實現(xiàn)隱私保護(hù)的目的,在訓(xùn)練時,該模塊也無需敏感的身份特征信息作為標(biāo)簽,可以以無監(jiān)督的方式進(jìn)行訓(xùn)練.

利用預(yù)先訓(xùn)練好的人臉識別器 R,可以從原始人臉圖像中得到原始身份特征.本文使用InsightFace[19]作為人臉識別器 R 來提取身份特征.為了實現(xiàn)將身份信息映射到超球空間中,利用余弦相似度度量來度量相似度.與縮放和平移相比,旋轉(zhuǎn)是一種更適合的操作身份特征向量的方法.利用正交矩陣的性質(zhì),即兩個向量v1和v2之間的相對距離在用正交矩陣旋轉(zhuǎn)后不會改變.給定2 個向量v1,v2和一個正交矩陣A,旋轉(zhuǎn)后的向量Av1,Av2有向量間的距離相等的特征,即

在該模塊中,通過采用上式,可以利用正交矩陣對原有的身份特征進(jìn)行旋轉(zhuǎn),得到身份相互關(guān)系一致的去識別化身份特征,實現(xiàn)創(chuàng)建具有身份相互關(guān)系一致的虛擬身份.該模塊的原理圖如圖3 所示.通過相同RD(rotation-based de-identifier)模塊的操作,無論原始圖片是否同屬于一個人,任意2 張去識別化圖片的身份向量距離和原始圖片之間的身份特征向量距離相等.在實踐中,為了保證旋轉(zhuǎn)矩陣盡可能滿秩,且去識別化特征與原特征保持足夠的距離,選擇哈達(dá)瑪矩陣H作為基旋轉(zhuǎn)矩陣.由于哈達(dá)瑪矩陣的特點是使用H進(jìn)行偶數(shù)次旋轉(zhuǎn)會產(chǎn)生與原始相同的特征,因此,在H中加入噪聲矩陣N,組成旋轉(zhuǎn)矩陣M,以構(gòu)造各種身份特征.在RD 模塊中,最終的旋轉(zhuǎn)矩陣由M經(jīng)過史密斯正交化得到.因此,通過用正交矩陣M旋轉(zhuǎn)身份特征不同次數(shù),可以得到不同版本的相互關(guān)系一致的去識別化身份特征.通過訓(xùn)練以目標(biāo)身份特征為條件的去識別生成器,可以生成具有身份相互關(guān)系一致目標(biāo)的去識別化人臉.

圖3 基于特征旋轉(zhuǎn)的去識別化器(RD)原理圖Fig.3 Schematic of rotation-based de-identifier(RD)

3.3 身份控制損失函數(shù)

身份控制損失函數(shù)LID的目標(biāo)是保證由去識別化生成器生成的合成圖像的身份的準(zhǔn)確性,以便更好地使去識別化生成器根據(jù)給定的身份特征進(jìn)行可控的生成.該損失函數(shù)不僅僅關(guān)注單張人臉圖像身份信息的準(zhǔn)確性,為更好地支持所提出的任務(wù),同時對人臉圖像對之間的身份關(guān)系也進(jìn)行了限制.

對于去識別化生成器的人臉重構(gòu)分支,生成的偽圖像Xfake應(yīng)該與原始輸入人臉XOri的身份接近.因此,可將LID_fake定義為

對于人臉去識別化分支,生成的去識別化圖像XdeID的身份應(yīng)該與通過RD 模塊得到的去識別化身份相似.LID_deID損失的定義是

為了促進(jìn)達(dá)到身份相互關(guān)系一致的目標(biāo),關(guān)鍵是要限制不同人之間的身份特征差距,使其在去識別化前后保持一致.利用Xfake和XdeID之間的身份差異來模擬去識別化后不同人的身份特征差距,利用fR(XOri)和fRD(XOri)來模擬去識別化前不同人的身份特征差距.因此,身份相互關(guān)系一致性損失被設(shè)置為

則總的身份控制損失為

4 實 驗

本文從真實性、去識別化、和身份相互關(guān)系一致性這3 個方面對本文所提出的任務(wù)及方法進(jìn)行了廣泛的實驗與評估.具體而言,真實性任務(wù)旨在評估生成的人臉是否足夠逼真,使得其能被人臉檢測器檢測到;去識別化任務(wù)試圖證明所提出方法是否能去除原始圖像的身份;身份相互關(guān)系一致性任務(wù)旨在衡量生成的去識別化人臉是否能應(yīng)用于身份相關(guān)任務(wù),如人臉驗證、人臉檢索.

4.1 數(shù)據(jù)集、對比方法和實驗設(shè)置

4.1.1 數(shù)據(jù)集

本文在3 個公共數(shù)據(jù)集上進(jìn)行了實驗: ①數(shù)據(jù)集CelebA[20]包含10 177 個個體的202 599 張人臉圖像;② 數(shù)據(jù)集MORPH[21]包含超過13 000 個人的55 000 張唯一的圖像;③數(shù)據(jù)集LFW(labeled faces in the wild)[22]包含5 749 個人的13 233 張圖片,由6 000 張人臉圖像對組成,并拆分成10 份,在每份中,一半的人臉圖像對共享相同的身份,其余的由具有不同身份的人臉圖像對組成.在所有的數(shù)據(jù)集中,每張圖像已經(jīng)對齊和裁剪到(128 × 128)像素,將原始圖像的中心遮擋約78 像素.對于所有數(shù)據(jù)集,隨機(jī)選取90%的數(shù)據(jù)進(jìn)行訓(xùn)練,剩下的數(shù)據(jù)用于測試.

4.1.2 對比方法

對比的方法包括傳統(tǒng)的去識別化方法和基于生成對抗網(wǎng)絡(luò)的去識別化方法.

1)傳統(tǒng)的去識別化方法,如像素化和模糊化.

2)基于生成對抗網(wǎng)絡(luò)的人臉去識別化方法有以下3 種.

(1)PPGAN[7]: 使用SSIM 損失和驗證損失同時保證人臉屬性的相似和身份的區(qū)別.

(2)Gafni[8]: 提出多圖像感知損失,以達(dá)到高階特征的區(qū)別,即身份,同時低維特征的近似,即屬性.

(3)CIAGAN[9]: 利用條件生成對抗網(wǎng)絡(luò),生成與給定身份相近的去識別化人臉圖像.

4.1.3 實驗設(shè)置

本文使用InsightFace[19]的LResNet100E-IR 模型作為提取身份特征的人臉識別器,在數(shù)據(jù)集MS1M-Arcface[23]上預(yù)訓(xùn)練,所提取的身份特征向量大小為512 維.采用來自Cycle-GAN 的生成器和判別器架構(gòu),使用RMSprop 優(yōu)化器訓(xùn)練它們,學(xué)習(xí)率設(shè)置為2 × 10–4,α0.99 . R D 模塊中的噪聲矩陣N被設(shè)為512 維對角矩陣,為了生成不同的身份相互關(guān)系一致的去識別化圖像,通過旋轉(zhuǎn)不同的次數(shù)t來構(gòu)建不同的去識別化特征,t3k+4,其中k[1,10].根據(jù)現(xiàn)有工作[8,19]的經(jīng)驗,設(shè)置超參λID1,λAdv1,λSSIM1,λdeID1,λRec5和λCons0.2 .

4.2 真實性效果對比分析

為了證明該方法的去識別化圖像的真實性,使用Dlib 和MTCNN 進(jìn)行人臉檢測,并使用檢測到的人臉的百分比(檢測率)來評估人臉的表現(xiàn),結(jié)果如表1 所示,其中最好的結(jié)果使用黑體標(biāo)出,下同.在數(shù)據(jù)集CelebA 上,Dlib 和MTCNN 對IIRC-GAN 生成去識別化圖像的檢測率分別為98.7%和97.9%,優(yōu)于傳統(tǒng)方法和基于GAN 的方法.這證明了本文方法在與身份無關(guān)的人臉相關(guān)的研究和應(yīng)用中保持了它的可用性.

表1 使用預(yù)訓(xùn)練人臉檢測器在去識別化圖像上的檢測率Tab.1 Detection rates of de-identified images using pretrained face detectors

4.3 去識別化效果對比分析

為了測量隱私保護(hù)的效果,遵循之前的工作,本文在數(shù)據(jù)集LFW 上去識別化正例對的第二張人臉圖像.主要的評估指標(biāo)是tpr@0.001: 假陽性最大為0.001 下的真陽性的比例.tpr@0.001 結(jié)果越低,說明隱私保護(hù)效果越好.本文采用2 個FaceNet[24]識別模型作為人臉識別器,分別在數(shù)據(jù)集VGGFace2 和數(shù)據(jù)集CASIA 上進(jìn)行預(yù)訓(xùn)練,以評估去識別化的效果,結(jié)果如表2 所示.最新的去識別化方法Gafni 和CIAGAN 顯示出了極大的能力來去除身份.對于在VGGFace2 上預(yù)訓(xùn)練的識別模型,本文方法改善了結(jié)果,與Gafni 和CIAGAN 相比,識別率下降了1.1%和0.7%.當(dāng)在數(shù)據(jù)集CASIA 上采用預(yù)訓(xùn)練模型進(jìn)行識別時,本文方法較好于Gafni 的識別結(jié)果,將評估指標(biāo)降低到了0.027;由于CIAGAN 額外使用了圖像的身份標(biāo)簽,其去識別化率比本文方法高0.008%.總體而言,本文方法可以實現(xiàn)人臉隱私保護(hù)的SOTA(state of the art)去識別化性能.此外,在本文方法中訓(xùn)練和使用不需要額外的身份信息,進(jìn)一步保護(hù)了訓(xùn)練人臉數(shù)據(jù)的隱私安全.

表2 在數(shù)據(jù)集LFW 上的去識別化率Tab.2 De-identification rates on LFW datasets

4.4 身份相互關(guān)系一致性效果對比分析

該實驗主要評估去識別化圖像對原始圖像身份相互關(guān)系一致性的影響,即去識別化人臉圖像在身份相關(guān)任務(wù)上的可用性.本文使用人臉驗證和人臉檢索任務(wù)來進(jìn)行驗證.

4.4.1 人臉驗證

本實驗遵循LFW 協(xié)議,從數(shù)據(jù)集CelebA 和MORPH 中隨機(jī)抽取3 000 對正例對和3 000 對負(fù)例對,使用去識別化方法去識別化所有正/負(fù)例對;構(gòu)建驗證數(shù)據(jù)集,用驗證精度(accuracy)作為評估指標(biāo).表3 所示定量地顯示了本文方法在人臉驗證任務(wù)上的結(jié)果.人臉識別器對原始人臉具有較高的識別精度.在數(shù)據(jù)集CelebA 上: ①傳統(tǒng)的去識別化方法大大降低了驗證的準(zhǔn)確度,接近于隨機(jī)猜測;② PPGAN 在2 個識別器上分別下降了19.49%和16.76%的驗證精度,這可能由于該方法缺乏對精確身份生成的考慮;③與原始圖像相比,采用2 種人臉識別器計算得到的CIAGAN 圖像的驗證精度分別下降了17.10%和14.24%,然而,CIAGAN 通過為帶有標(biāo)簽的數(shù)據(jù)的相同身份選擇相同的去識別化身份來保持正例對的身份相互關(guān)系的一致性,對于負(fù)例對,它可能會選擇一個相似的身份,使人臉識別器難以判斷;④ 本文方法(IIRC-GAN)的優(yōu)勢在于不需要身份標(biāo)簽,并且獲得了優(yōu)異的身份相互關(guān)系一致性結(jié)果,對人臉識別器的性能影響最小,以InsightFace 和FaceNet 人臉識別器的驗證準(zhǔn)確率分別為94.28%和 84.85%,驗證精度性能平均下降了5.73%,這對于用于人臉驗證的識別器來說是一個可以接受的范圍,同樣的趨勢也可以在數(shù)據(jù)集Morph 中看到.

表3 去識別化后人臉圖像驗證精度Tab.3 Verification accuracy with de-identified images

4.4.2 人臉檢索

人臉檢索結(jié)果如表4 所示.在測試集CelebA 中隨機(jī)選取50 人進(jìn)行檢索,從每個人中選擇一張圖片來構(gòu)建圖庫集,其余的圖片用于構(gòu)建查詢集.通過對查詢圖像和圖庫中的圖像之間的身份相似性進(jìn)行排序,以top-1、top-5、top-10 指標(biāo)進(jìn)行評估.原始圖像上的top-k(k=1,5,10)指標(biāo)展示了識別器較強(qiáng)的檢索能力.與基線相比,本文方法的top-k指標(biāo)顯著高于基線,并接近原始圖像,進(jìn)一步證明了本文所提方法對去識別化圖像具有顯著的身份相互關(guān)系一致性.

表4 在CelebA 上,去識別化后人臉檢索top-k 的準(zhǔn)確率Tab.4 Top-k value with de-identified images on CelebA

4.4.3 可視化結(jié)果

本文還通過可視化實驗證明了本文方法在身份相互關(guān)系一致性方面的有效性.

(1)圖4 比較了生成的去識別化人臉的質(zhì)量,原始圖像擁有同一個身份.很明顯,本文生成的各種去識別化圖像更真實,而來自同一身份的去識別化圖像仍然擁有相同的去識別化身份.

圖4 去識別化圖像的定性比較Fig.4 Qualitative comparison results of our method and competitors

(2)在圖5 中,利用t-SNE(t-distributed stochastic neighourhood embedding)[25]降維可視化方法,展示了去識別化后的圖像身份特征分布與基線的對比,其中不同顏色的結(jié)點代表不同的原始身份.可以看出,使用本文方法生成的人臉,來自同一個人的去識別化身份特征更加集中,而不同的人則相隔很遠(yuǎn).因此,證明了本文方法的優(yōu)越性,可以進(jìn)一步應(yīng)用于身份相關(guān)的任務(wù).

圖5 t-SNE 降維可視化身份特征Fig.5 T-SNE results of identity feature distribution of de-identified images

4.5 消融實驗

本文從LID_fake、LID_deID和LID_Cons這3 個方面進(jìn)行消融實驗,以證明本文方法中身份控制損失函數(shù)的有效性;采用驗證任務(wù)中的驗證準(zhǔn)確度來評估各部分的有效性,定量結(jié)果顯示在表5 中.本文的基準(zhǔn)模型只包含用于優(yōu)化的LAdv、LRec和LSSIM.由表5 可以有以下觀察: ①與基準(zhǔn)模型相比,采用LID_fake或LID_deID,對生成的圖像的身份有控制能力,可提高去識別化圖像的驗證精度;② 使用LID_fake和LID_deID同時進(jìn)行優(yōu)化顯著提高了結(jié)果,因此,可以認(rèn)為這兩種損失在身份控制方面中互為補(bǔ)充;③通過身份相互關(guān)系一致性損失LID_Cons來模擬不同人的身份特征差距,具有更精確的身份生成,可提高去識別化圖像的身份相互關(guān)系一致性的結(jié)果,這證明了本文所提出的身份控制損失的有效性.

表5 關(guān)于身份控制損失的消融實驗Tab.5 Ablation study of identity control loss in our model

5 結(jié) 語

本文提出了身份相互關(guān)系一致的人臉去識別化任務(wù),該任務(wù)要求去識別化后的人臉圖像可以用于人臉驗證和檢索.為了保護(hù)人臉隱私信息,本文方法只關(guān)注人臉驗證和檢索任務(wù),而不關(guān)注去識別化人臉圖像的原始身份.因此,本文的任務(wù)和所提出的方法對人臉隱私無害,并進(jìn)一步提高了去識別化圖像的實用性.

為了解決這一任務(wù),本文提出了一種任務(wù)驅(qū)動的身份相互關(guān)系一致性生成對抗網(wǎng)絡(luò)(IIRC-GAN)算法,實現(xiàn)了去識別化人臉圖像的生成的同時,滿足了生成圖像的身份相互關(guān)系一致性;此外,本文方法在訓(xùn)練和測試階段不需要人臉圖像的身份信息.因此,本文方法使用的人臉圖像的身份信息是安全的.在實驗中,定量地表明,本文方法在去識別化方面和身份相互關(guān)系一致性方面顯著優(yōu)于其他方法.在未來的工作中,將探索去識別化方法在人體中的應(yīng)用.此外,去識別化人臉圖像的恢復(fù)也是一個值得研究的問題.