基于域對抗學習的可泛化虛假人臉檢測方法研究

翁澤佳 陳靜靜 姜育剛

(復旦大學計算機科學技術學院 上海 201203)

(上海市智能信息處理重點實驗室(復旦大學計算機科學技術學院) 上海 200433)

近年來，隨著以深度學習為代表的人工智能技術的發(fā)展，人工智能自動生成內容領域取得了顯著的進步.基于生成式對抗網絡(generative adver-sarial networks, GAN)[1]的圖像、視頻的生成技術已經開始被應用到社會生活的各個領域，如網絡直播、影視創(chuàng)作、電商等.然而，科技是把“雙刃劍”，技術的善用可以形成良性的影響，但是技術的濫用將對人類社會和現有的智能系統(tǒng)造成巨大威脅.伴隨著互聯網的飛速發(fā)展和廣泛普及，使用深度學習技術生成虛假音頻、圖片、視頻被廣泛傳播的情況層出不窮，如色情電影換臉、利用偽造生成技術實施詐騙、偽造虛假個人資料的照片用于國際間諜活動等.因此如何判斷多媒體內容的真實性成為了一個亟待解決的問題.

相比于其他圖像和視頻內容生成，虛假人臉生成帶來的潛在危害最大，也最容易造成社會的信任危機.因此針對虛假人臉鑒別的研究吸引了國內外學者的廣泛關注，成為一個重要的研究方向.目前針對虛假人臉鑒別的研究主要圍繞在如何設計一個較好二分類網絡，盡可能提高虛假人臉鑒別的精度.現有工作在虛假人臉檢測上能夠取得一定效果，在訓練集和測試集具有非常相近的數據分布的情況下可以達到高達90%以上的檢測準確率[2-3].然而，基于傳統(tǒng)二分類網絡的檢測方法的泛化性通常較弱，即當訓練集和測試集由于人臉生成方法不同導致分布不一致時，該方法的性能將顯著性下降.如圖1所示，不同方法生成的虛假人臉圖像的分布往往存在較大差異(即域差異)，由于已有的方法不能有效學習到對域差異魯棒的虛假人臉鑒別特征，因此在不同域之間的泛化性往往較差.考慮到在真實應用場景下，虛假圖像的生成方法通常未知從而難以保證與訓練樣本分布一致，因此，為了提高虛假人臉鑒別效果，需要研究具有強泛化性的虛假人臉檢測方法.

本文針對基于GAN生成的虛假人臉圖像鑒別展開研究，旨在提高鑒別器在應對不同虛假人臉生成器上的泛化性.目前，已有少量工作針對虛假人臉鑒別器的泛化性進行研究.已有工作主要利用數據增強[4](如高斯模糊、JPEG壓縮等方式)以及更優(yōu)的深度鑒別網絡設計等方式幫助鑒別器學習到更加魯棒的特征[5]，提高虛假人臉鑒別器性能.盡管這些工作一定程度上提高了鑒別模型的泛化性，然而并沒有直接拉近不同GAN生成的虛假圖像特征分布.

Fig. 1 Illustration of the generalization problem of fake face detection圖1 虛假人臉檢測泛化性問題

與上一段方法不同，本文直接從減小不同GAN生成的虛假圖像特征分布差異的角度提高鑒別模型的泛化性.為了有效減小不同GAN生成的圖像提取到的特征分布之間的差異，本文引入了遷移學習的思想，將不同GAN生成的圖像看成不同的域，盡可能降低源域(訓練集)特征與目標域(測試集)特征分布之間的差異，使得模型能盡可能學習到與域無關的通用鑒別特征，以此提升鑒別模型在不同生成方法上的遷移性.受無監(jiān)督遷移學習算法——域對抗神經網絡(domain adversarial neural networks, DANN)[6]啟發(fā)，本文在鑒別模型特征學習的過程中，引入了域對抗模塊，以防止鑒別模型過擬合到特定的GAN生成的圖像上，從而導致模型泛化性能差.具體來說，本文方法在常規(guī)的假臉分類網絡的基礎上增加一個域分類器，域分類器與虛假圖像鑒別器共享同一個特征提取網絡.在訓練的過程中，通過對虛假圖像生成器分類層梯度進行反轉，使得特征提取網絡學習到與GAN生成方法無關的特征.通過對抗訓練的方式弱化特征抽取模型對于特定生成模型非魯棒性特征的提取，強化不同生成模型之間共同特征模式的抽取，而這樣學習得到的分類網絡將具有更強的泛化能力，面對新的生成方法產生的圖像將會有更好的表現.

本文的主要貢獻有3個方面:

1) 創(chuàng)新性地將域對抗思想引入鑒別生成對抗網絡偽造圖片的任務上，巧妙地利用額外監(jiān)督信息來約束特征編碼模塊的訓練，以此提升虛假人臉鑒別模型的泛化能力.

2) 鑒于目前沒有合適的直接研究遷移性的虛假人臉數據集，本文在Yu等人[7]的研究工作基礎上，構建了適合于遷移性探究的數據集.

3) 通過大量的實驗，證明了所提出方法的有效性，即通過引入領域對抗訓練，能夠有效提升虛假人臉檢測模型在訓練不可見類別上的測試表現，且不會對可見類別的測試表現產生大的影響.

1 相關工作

鑒于虛假人臉生成的潛在危害性，目前已有部分學者對此展開了研究.目前針對虛假人臉鑒別方法主要分為2類：1)針對以深度偽造(DeepFake)為代表的換臉視頻進行檢測.該類換臉視頻通常替換目標視頻中人臉的局部區(qū)域，達到虛假人臉生成的目的.2)針對以生成對抗網絡(GAN)為代表的虛假人臉進行鑒別.不同于換臉視頻，生成對抗網絡直接通過學習大量的人臉圖像分布，直接對整張人臉圖像進行生成.下面將針對這2類虛假人臉鑒別方法以及域自適應學習方法進行介紹.

1.1 換臉圖像、視頻鑒別

目前針對換臉圖像、視頻鑒別問題，現有工作主要集中于學習具有強鑒別能力的特征，然后以訓練二分類器模型的方式實現換臉圖像、視頻鑒別.由于換臉圖像、視頻僅對人臉圖像局部區(qū)域進行操作，因此現有方法通常注重挖掘局部的具有強鑒別能力的特征.例如Yang等人[8]提出提取頭部姿勢特征,并訓練SVM分類器進行換臉鑒別；更近一步地，Agarwal等人[9]提出融合頭部姿勢面部特征提高換臉鑒別的效果；此外，臉部形變特征(face warping feature)[10]、介觀特征(Mesoscopic feature)[11]、隱寫分析特征(steganalysis feature)[12-13]等局部特征被提出用來進行換臉鑒別；除了上述特征外，眨眼頻率[14]同樣被用來挖掘換臉視頻的視覺瑕疵，實現有效的換臉視頻鑒別；此外，近期微軟提出的Face X-Ray[15]通過尋找是否存在換臉邊界來判斷圖像的真假，在多種新的換臉算法產物的鑒定上都取得很好的表現，具有極強的泛化性.然而，由于該方法依賴于換臉邊界檢測，因此并不適用于對GAN生成的整張人臉圖像進行鑒別.

1.2 基于生成式對抗網絡的虛假人臉的鑒別

相比于換臉鑒別，基于生成式對抗網絡的虛假人臉鑒別工作相對較少.與換臉鑒別類似，已有工作同樣是訓練一個二分類器進行GAN生成的虛假人臉鑒別[2-5,16-18].例如Guo等人[2]提出了自適應殘差提取網絡對偽造人臉圖像進行預處理，以便于特征學習網絡更加注重于捕獲視覺瑕疵，實現更加精準的虛假人臉鑒別效果；Afchar等人[11]提出了一個緊致的虛假人臉檢測網絡(MesoNet)，僅需少量網絡層數，就能夠快速的有效的檢測出偽造人臉視頻；Bonettini等人[19]提出對多個檢測網絡進行集成，以提高虛假人臉生成視頻檢測的效果；此外，Hsu等人[3]提出利用成對學習的方式提高虛假人臉檢測的精度.

由于GAN生成的是整張人臉，因此與換臉鑒別方法不同，針對GAN生成的虛假人臉檢測并沒有專注于局部特征設計.相反地，已有的針對GAN生成的虛假人臉檢測模型通常直接采用深度學習網絡學習的全局特征進行檢測.例如Hsu等人[20]提出的DeepFD網絡利用對比損失函數去挖掘人臉的全局特征進行虛假人臉檢測；Bonettini等人[19]提出多網絡集成假臉檢測模型中，也是利用全局人臉特征進行檢測.

GAN生成的假臉檢測中一個挑戰(zhàn)性問題是不同GAN生成的人臉圖片分布通常不一致，導致假臉檢測模型通用性差.因此，最近的工作開始關注于假臉檢測模型在不同人臉生成模型生成的圖像上的泛化性.現有的針對提高假臉檢測模型泛化性的工作主要包括數據增強[4,21]、鑒別模型優(yōu)化[5,20]、增量學習[17]等.基于數據增強的方法通過給訓練集中數據添加擾動，例如高斯擾動等，幫助模型學習到更加魯棒的特征，從而提高模型在沒有見過的GAN生成的人臉圖像上的鑒別性能.例如Wang等人[21]通過對訓練數據進行高斯模糊與JPEG壓縮等方式，有效地提高了模型在不同GAN生成的人臉圖像上的泛化性.鑒別模型優(yōu)化通常對網絡結構或者損失函數進行優(yōu)化，以提高鑒別模型的泛化能力. Liu等人[5]發(fā)現全局圖像紋理信息對于虛假人臉圖像鑒別至關重要，因此提出集成Gram block的Gram-Net以提取更加魯棒的全局圖像紋理特征，提高模型在不同生成方法上的鑒別性能.基于增量學習的虛假人臉鑒別模型[17]主要通過采用多任務學習的方式同時對虛假人臉進行鑒別與分類，以避免模型在學習新GAN生成的圖像特征分布時忘記已有的GAN生成的圖像特征分布.

不同于上述方法，本文所提出的方法引入遷移學習的思想，通過域對抗訓練策略減小不同GAN生成的人臉圖像的特征分布差異，使得特征學習模型能盡可能學習到與GAN生成方法無關的通用鑒別特征，以此提升鑒別模型在不同生成方法上的泛化性.

1.3 域自適應方法

實際應用中，訓練集和測試集“分布不一致”導致模型性能變差的情況很多，而域自適應是一類能夠很好地改善這種問題的方法.簡單來說，域自適應方法的目的是利用帶有標注的源域數據和無標注或少標注的目標域數據來訓練模型，使得原始分布不同的數據在特征空間中盡量接近，從而提升模型在目標域測試數據上的遷移能力.目前，域自適應方法在物體分類、目標檢測、行人重識別等任務上，都得到了很好的效果.

常見的域自適應方法可以分為2類：1)通過人工設計統(tǒng)計量距離函數來衡量并減小不同分布之間的距離;2)常見的域自適應策略則是基于領域對抗的思想構造域分類器，用以約束特征提取器的優(yōu)化.

在基于人工設計統(tǒng)計量的域自適應學習方法中，最大平均差異(maxium mean discrepancy, MMD)距離是最常用的度量分布距離的函數，Tzeng等人[22]將MMD距離和深度神經網絡技術進行結合，奠定MMD方法在域自適應任務中的重要地位；之后Long等人[23]引入多核多層的MMD方法，希望通過對齊更多的尾部特征層和多種核函數加權，達到更好的域自適應效果；Kang等人[24]則從類別細粒度的層面進行分布對齊，也達到了很好的效果.

方法1)需要人為精細地構造和驗證統(tǒng)計量方法，因此最終的效果嚴重依賴于人工定義的統(tǒng)計量方法的好壞，而方法2)—基于域對抗思想構造的學習算法則很好地避免了這個問題，這類方法會引入域分類器對數據來源進行分類，然后讓特征抽取模塊和域分類器二者進行對抗學習，提升特征編碼器提取域不變特征的能力，例如Tzeng等人[25]在特征層后增加域分類器，并通過任務分類器損失、域分類器訓練損失和特征混淆損失對網絡的不同部分進行迭代優(yōu)化，從而實現不同域數據的特征既適合于目標任務又足夠混淆；Ganin等人[6]則是創(chuàng)造了梯度反轉層的概念，使得特征編碼模塊和域分類模塊能夠同時對抗優(yōu)化.

本文所提出的方法借鑒了文獻[6]中的思路.首先，本文將不同生成方法產生的數據分布視作不同的域，通過域對抗學習的方式讓特征編碼模型提取到的不同域數據的特征分布足夠混淆，從而學習到生成方法無關的通用鑒別特征，提升模型泛化性.

2 基于域對抗學習的可泛化虛假人臉檢測方法

本節(jié)主要對本文中涉及到的問題和核心方法進行詳細描述，首先對所解決的問題進行形式化定義，然后對基于域對抗的訓練過程進行詳細闡述.

2.1 問題定義

本文研究的重點是如何提升虛假人臉檢測器的泛化能力，讓模型能夠檢測不同生成對抗網絡生成的虛假人臉.對所解決的問題進行形式化定義.

{p=f(x)|x∈X},

(1)

其中，總的人臉圖片集合可以看作是真實人臉構成的集合XReal以及虛假人臉構成的集合XFake的并集，因此式(1)可以改寫為

{p=f(x)|x∈XReal+XFake}.

(2)

進一步，假臉集合XFake可以根據訓練過程中生成網絡類型的可見與否劃分為XSeenFake和XWildFake，其中XSeenFake表示多種已知的生成對抗網絡生成的虛假人臉集合，而XWildFake包含未知方法生成的虛假人臉，故XFake能夠表示為

(3)

真實場景中訓練集不可能覆蓋全部類型的假臉數據，而訓練集之外的虛假圖像的生成方法通常未知且與訓練樣本分布存在差異，本文設定的任務目標是通過部分已知類型的假臉數據學好一個強泛化性的虛假人臉檢測方法，使之能夠在判斷XWildFake人臉集合真?zhèn)螘r達到高準確率.檢測精度越高代表模型能夠更好地檢測不同來源的假臉，從而表明模型具有更強的泛化性能.

Fig. 2 The framework of the proposed approach圖2 方法框架圖

2.2 基于域對抗學習的假臉鑒別器訓練方法

相關工作中提及了域自適應問題及其方法，不論是基于人工設計統(tǒng)計量的方法，還是基于域分類器構造輔助訓練分支，本質都是在對齊來自不同域的特征分布，使得模型能夠抽取不同域之間相同的模式，削弱模型對于過擬合到特定域特征的提取，從而減小跨域數據特征差異.

本文借鑒DANN方法，在訓練時增加額外的訓練分支，讓模型能夠學習屬于不同“假臉域”的共同特征.在這里，“假臉域”的概念對應于不同的假臉生成方法所產生的數據的分布，本文定義一個類型的GAN產生的所有數據的分布將構成一種“域”，因此我們根據GAN類型的不同，將假臉數據劃分為不同的數據域，劃分為：設假臉圖片集為X，對于一張輸入圖片x∈X，當它由第i種生成式對抗網絡(GANi)生成時，我們定義這張圖片屬于第i個域(Domaini)中的數據.

本文利用“假臉圖片屬于何種假臉域”的信息構建假臉域分類器，并使用對抗訓練的方式實現對特征抽取模塊參數進行調整.這樣做的目的是防止模型過擬合到特定假臉域的數據模式上，提升特征提取器提取通用魯棒特征的能力，從而改善模型泛化能力差的問題.

具體的方法如圖2所示，圖2展示了一次輸入的前向計算和后向梯度回傳優(yōu)化的具體細節(jié).可以看到，圖2的訓練架構包含了上下2個分類器，處于上方的分類網絡記為GY，參數為θY，處于下方的域分類網絡記為GD，參數為θD，這2個分類器共享相同的特征提取模塊GF，參數為θF，并分別完成真假臉分類任務和域分類任務.第1個分類器GY的任務是判斷輸入人臉是否屬于假臉，而第2個分類器GD的任務是判斷輸入的偽造人臉由哪種類型的生成對抗網絡產生，在優(yōu)化過程中GD與GF將進行迭代式的對抗優(yōu)化訓練，其中GD的優(yōu)化目標是讓域分類器能夠區(qū)分開虛假圖片的來源類型，而GF的優(yōu)化目標則是讓特征提取器抽取到的特征盡量不包含虛假圖像的生成來源信息.另外考慮上GY的優(yōu)化目標：讓整個模型能夠區(qū)分開真臉和假臉圖片，使得模型提取到的特征既能夠區(qū)分真假臉、又不能區(qū)分假臉的來源生成網絡.如果將不同的生成對抗模型視作不同的域，則這樣優(yōu)化的結果能夠實現“類間差異大、域間差異小”的特點，使得特征提取網絡學習到與GAN生成方法無關的特征，強化不同生成模型之間共同特征模式的提取，因而這樣的模型能夠具備更好的表現.

1) 訓練階段.在訓練階段，我們分別定義了2個損失函數：人臉真假的二分類損失函數LY以及域分類損失函數LD.下面將詳細講解這2個任務的損失函數及對抗優(yōu)化過程.

針對人臉真?zhèn)蔚亩诸惼鱃Y，本文使用二元交叉熵(binary cross entropy, BCE)損失函數衡量其分類損失，LY的形式化定義為

LY(x,y)=BCE(sigmoid[GY(GF(x))],y),

(4)

其中，BCE(p,y)=-(y×log(p)+(1-y)×log(1-p))，x表示輸入圖像，y∈{0,1}為真假標簽，在二分類任務中采用sigmoid激活函數對GY的輸出進行處理.

針對域分類器GD(即判斷虛假人臉由何種GAN生成)，本文使用交叉熵(cross entropy, CE)損失函數衡量分類損失，LD的形式化定義為

LD(x,d)=CE(softmax[GD(GF(x))],d),

(5)

其中,CE(p,d)=-log(pd)，x表示輸入虛假人臉圖，d是域類別標簽，它表示x由第d個生成模型產生.pd是預測x為類別d的概率，我們使用softmax激活函數將分類器輸出轉化為類別概率分布.

在優(yōu)化過程中需要注意的是，由于存在GD域對抗分類過程，在優(yōu)化過程中涉及到特征提取模塊與域分類模塊之間的對抗，因而在特征提取模塊與域分類模塊之間需要完成梯度反轉操作，對應圖2中展示的梯度反轉層.對各部分模塊的優(yōu)化的梯度方向進行形式化描述：

對于人臉真?zhèn)畏诸惼鞫裕瑑?yōu)化的梯度方向為

(6)

對于域分類器而言，優(yōu)化的梯度方向為

(7)

而對于特征提取器而言，域分類器與其銜接處完成一次梯度反轉的過程，所以其優(yōu)化的梯度方向為

(8)

其中，λ為手動可調的超參數.

式(6)～(8)分別描述了3個網絡模塊的梯度優(yōu)化方向，而優(yōu)化步長則由各自學習率進行調整.

本文認為防止特征表示過擬合到特定的某些生成對抗網絡上對于增強虛假人臉檢測網絡的泛化能力至關重要，我們希望利用LY(x,y)監(jiān)督項指導特征提取器通過訓練數據學習到真實人臉和虛假人臉之間的特征差異，并利用LD(x,d)監(jiān)督項指導特征提取器混淆不同生成方法之間的特征分布.通過這種學習策略抑制特征學習過擬合到特定的生成對抗網絡上，使虛假人臉檢測模型具備更強的泛化性和通用性.

2) 測試階段.在測試階段，給定測試圖像x，我們僅使用GY分類器作為虛假人臉檢測網絡，對應的置信度輸出：

p=f(x)=sigmoid[GY(GF(x))].

(9)

3 實驗與結果

本節(jié)通過對比實驗從多方面驗證本文提出的方法的有效性.實驗部分將按照數據集、衡量指標、實驗結果與分析進行展開.

3.1 數據集

本文參考了Yu等人[7]的研究工作進行數據集構建.其中，真臉數據集來自CelebA人臉數據集[26]，具體處理方式：首先對CelebA中的人臉圖片做關鍵點對齊處理，然后利用剪裁方式得到分辨率為128×128的規(guī)范人臉圖片得到最終使用的CelebA數據集. 而假臉數據集則由ProGAN[27],SNGAN[28],CramerGAN[29]和MMDGAN[30]這4種模型進行生成.這4種GAN模型都在經過對齊裁剪處理過后的CelebA真臉數據集上進行訓練，保證模型訓練數據源的一致性.另外所有圖片數據存儲格式為PNG格式，保證圖片數據存儲無損性.最終本文構建的數據集統(tǒng)計信息如表1所示,數據成分的部分展示如圖3所示.

Table 1 Dataset Statistics表1 數據集構成成分與劃分情況

Fig. 3 Image samples of the constructed dataset圖3 數據集樣本展示

實驗過程中，我們會在ProGAN,SNGAN和CramerGAN這3種生成對抗模型中任意挑選2種模型生成的圖像數據作為訓練樣本，剩余一種生成對抗網絡產生的圖像數據則作為未知類型的測試數據，用以驗證模型的泛化性.為了保證訓練過程中正負樣本均衡，真臉數據集的訓練樣本數量設定為單種假臉訓練數據量的2倍.在這種任務設定下3種生成對抗模型樣本都可能被挑選成為未知的模型類別，因此后續(xù)將會進行3組對比實驗來驗證本文提出的方法的有效性.而MMDGAN數據集主要用于后續(xù)的測試集擴充與訓練集擴充的實驗中.

3.2 衡量指標

因為在測定全局性能時(1種真臉與3種假臉數據共同進行測試)會有正負樣本不均衡的情況出現，所以本文采用了不容易受到正負樣本不均衡影響的受試者工作特征曲線(receiver operating char-acteristic curve, ROC)下的面積(area under roc curve, AUC)作為評價指標.ROC描述的是隨著分類閾值的變化真陽率(true positive rate,TPR)和假陽率(false positive rate,FPR)的變化情況，以反映模型的性能.真陽率TPR和假陽率FPR的計算為

(10)

(11)

其中,TP表示真陽性，FP表示假陽性；TN表示真陰性，而FN則表示假陰性.本文采用AUC數值來衡量模型的優(yōu)劣.

3.3 實驗結果與分析

本節(jié)將重點對實驗結果進行展示和分析，主要包含3個部分：1)基線方法、他人方法以及本文提出的基于域對抗方法進行對比實驗，并在其之上對偽造數據集進一步擴充，探究增加偽造方法種類對各類方法的影響；2)由于進行JPEG壓縮后往往會對虛假人臉檢測器造成負面影響，本文在前一個實驗的基礎上進一步對模型魯棒性進行測試，并提出將域對抗方法同高斯模糊數據增強相結合，通過使用不同的JPEG壓縮率處理測試圖片來測試不同方法訓練得到的模型針對圖像擾動情況的泛化性；3)用TSNE[31]對特征進行可視化，展示改進前和改進后模型學到的特征性質的差異，從中分析本文方法取得提升的原因.

3.3.1 對比實驗

我們將本文方法與基準模型以及Xuan等人[4]提出的2種增強模型泛化性的方法GN與GB進行比較.其中基準模型采用ResNet18[32]的骨干網絡作為特征提取模塊，在其之上使用單個全連接映射作為真假臉分類器.GN和GB分別使用高斯噪聲與高斯模糊作為數據增強方法訓練基準模型.我們根據原文的設定，隨機在0～5之間選取高斯噪聲的標準差，隨機在1,3,5和7中選取高斯模糊的核大小.本文方法則是在基準模型之上增加輔助的域分類分支，其中域分類器由2層全連接層和ReLU激活函數組成.由于本文方法的核心是增加域對抗訓練分支，因此以Adv(Adversarial)縮寫代指本文方法.本節(jié)共包含5組實驗，表2是數據集的質量分析結果，表3是方法對比的實驗結果，表4是對Adv方法有效性的分析實驗，表5和表6是Adv方法進一步的擴展實驗.

Table 2 Calculate the FID Values of the GAN Dataset and the Real Face Dataset表2 計算GAN數據集和真實人臉數據集的FID值

表3記錄了3組對比實驗的實驗結果，表中的數字是AUC測試分數.表3的第1列描述了訓練集的組成成分，包括真臉圖片來源和假臉圖片來源情況；第2列記錄方法名稱；后面3列記錄的是不同方法在不同的假臉數據類型上的測試分數(利用5 000張假臉圖片與5 000張真臉圖片計算得分)；而在這3列中帶有深色背景的單元格對應在訓練時期未知的生成對抗網絡類別；最后一列是將所有假臉和真臉進行匯總計算，即匯總5 000張真臉測試圖片和3種生成模型共15 000張偽造測試圖片計算AUC值.表3中展示的3組對比試驗分別對應3種不同的生成對抗網絡作為未知類型時的測試結果.

Table 3 Performance Comparison表3 不同方法的性能比較

通過表3中的第1組實驗結果可以發(fā)現，使用CelebA+ProGAN+SNGAN訓練集得到的虛假人臉檢測模型在檢測CramerGAN數據時，基準方法就具備非常好的遷移性，而另外2組基準實驗中模型在檢測未知類型假臉時則表現較差，本文嘗試從偽造圖像質量的角度對該實驗現象進行分析解釋.

一般來說，如果模型生成的圖片的分布與真實樣本分布越接近，我們會認為該模型產生的圖像質量越高，鑒別難度越大.因此我們通過FID[33]指標衡量不同GAN產生的圖片樣本與真實人臉數據集之間的分布差異，從而對不同GAN產生的圖片質量進行量化分析，以解釋為何模型在CramerGAN上泛化性較強.實驗值如表2所示.在計算FID指標計算時需要先用預訓練網絡抽取特征，然后再計算特征分布之間的差異，本文在計算FID時分別選擇了預訓練模型的2層特征進行FID計算，其特征維度大小分別是192和2 048.通過表2可以看出ProGAN和SNGAN對應的FID值接近且較低，而CramerGAN的FID值則高于其余2種GAN的FID值，證明CramerGAN產生的圖像分布與真實人臉集之間差異更大，其生成的人臉質量最低.本文認為這是在測試過程中，CramerGAN數據作為未知人臉時檢測模型泛化表現高的重要原因，即該方法產生的假臉質量較差，存在更多虛假偽造痕跡，因此更容易被模型捕獲并識別.

即使第1組實驗中基線模型已經具有較好的泛化性，但是本文方法仍然能夠更進一步取得提升，相比于其他3種對比方法，本文提出的方案在各種GAN數據的鑒別得分都是最高.而在后2組實驗中，基準方案在未知類型假臉的測試實驗中表現較差，如第2組實驗，基準方案在未知的SNGAN上初始方法僅取得0.829 2的分數，但是本文提出的基于域對抗的訓練方法在SNGAN數據上的評測得分上升到0.866 4，提升接近4個百分點，在所有對比方法中得分最高；第3組對比實驗也有類似的現象，在未知的ProGAN數據上基準模型僅取得0.794 2的分數，而使用了基于域對抗的新方法進行訓練之后，同樣的分類網絡模型在ProGAN生成的人臉數據上檢測指標上升到0.843 4，在所有對比方法中得分也是最高.通過與基準方案和2種增強泛化性的方法進行比較，證明了基于域對抗方法能夠有效提升虛假人臉檢測模型的泛化性能，提升模型檢測未知生成方法的虛假人臉圖像的準確率.另外通過表格還能發(fā)現，我們提出的算法對于訓練中已知的生成網絡類型也能夠起到一定的提升作用，整體準確率的得分也最高，從另一個角度證明了域對抗方式能夠防止模型發(fā)生過擬合，讓模型學習到更魯棒的特征.

另外，為了驗證我們設計的方法使得模型提取到的特征不能區(qū)分假臉的來源，我們對域分類器也進行了測試，表4展示了我們設計的域分類器的分類表現，理想情況下域分類器應無法準確判斷樣本屬于何種類別，即域分類器準確率應為0.5，域分類損失應為0.693 1.通過表4可以看出3組實驗中的域分類器都無法準確分類假臉來源，其分類損失和分類準確率都很接近隨機預測的分數.結合表3中的實驗結果可以得出結論：我們的方法確實能夠讓模型提取到的特征既能區(qū)分真假臉，又不能區(qū)分假臉來源于何種生成網絡.

Table 4 The Classification Loss and Accuracy of the Domain Classifier表4 域分類器的分類損失和分類精度

最后本文通過引入MMDGAN數據進行2組驗證實驗，分別驗證在訓練集不變的情況下我們的方法能夠在更多虛假人臉類型上具有更強的泛化性表現，以及驗證偽造訓練集中GAN類型增加的情況下，我們的方法仍然表現最優(yōu).首先引入MMDGAN作為額外測試數據來做第1點驗證，實驗的過程為：選取表3中各實驗組的模型及參數，在MMDGAN上進行性能測試.實驗結果如表5所示.表5的第2～4列分別對應3組不同訓練集的實驗組，對應的分數為不同方法在MMDGAN偽造類型數據上的測試分數，可以看到，本文方法在多種測試組合下表現最好，進一步驗證基于域對抗方法得到的模型能夠在多種虛假人臉類型數據上有更強的泛化表現.其次，本文通過引入MMDGAN作為額外訓練數據增加訓練集中偽造類型的多樣性以進行第2點驗證.因為模型在SNGAN和ProGAN作為未知偽造類型的實驗組中仍有較高提升空間，所以本文分別選定這2種偽造方法作為訓練時未知的偽造類型，通過往訓練集中額外增加MMDGAN產生的人臉數據，達到擴展訓練集中偽造數據集種類的目的，實驗結果如表6所示.在訓練集中增加了MMDGAN類型數據后，所有對比方法的AUC分數都得到提升，說明包含更多GAN類型的訓練數據有利于模型學習更為通用的檢測特征；而本文提出的方法在擴展了偽造方法種類的情況下多項分數最高，尤其在未知偽造類型的泛化性測試和整體性能測試上都取得了最好的結果，證明了本文方法的可擴展性，能夠在多種GAN方法的偽造訓練數據集上提升檢測模型的泛化性.

Table 5 Use the Models in Table 3 to Test Their Performance on MMDGAN Data表5 表3中的模型在MMDGAN數據上的檢測表現

3.3.2 加入JPEG壓縮后模型性能對比測試

JPEG圖像壓縮算法被廣泛應用于互聯網世界中.然而JPEG壓縮會降低圖像質量，很有可能對虛假人臉鑒別模型造成負面影響，因此本節(jié)在測試過程中引入JPEG壓縮，更全面地測試和探究虛假人臉檢測模型在實際場景中的表現.

具體來說，本文使用不同JPEG壓縮率處理測試圖片，在不同壓縮質量下對比各種方法的表現，并分析方法之間得分的相對大小以及不同鑒別方法在不同JPEG壓縮質量下的變化趨勢.表7展示了完整的實驗結果，而圖4則是抽取了表7中第3組實驗的全局分數，以折線圖的形式直觀表示，橫軸表示JPEG壓縮質量，從左到右壓縮質量逐漸增大，當壓縮質量增大至100時表示無損壓縮，而縱軸表示AUC指標.圖4中Base方法為最基礎的對比算法，GN[4]和GB[4]對比算法，Adv為本文基于域對抗提出的方法，而Adv+GB則是將本文方法同高斯模糊數據增強進行結合.

通過表7可以明顯看出，JPEG壓縮對于虛假人臉檢測模型的準確率有很大的負面影響，隨著壓縮質量不斷降低，模型對于所有假臉類型的檢測準確率也在持續(xù)降低，這是因為有損壓縮讓圖片像素數值發(fā)生了一定的改變，破壞了虛假圖片上原有的一些模式信息，而由于訓練過程沒有見過這樣的壓縮損失，所以模型在增加了擾動的測試集上的表現會隨著壓縮質量的降低不斷下降.

本文首先著眼于3.3.1節(jié)中提到的4種方法的實驗結果，也就是Base,GN,GB和Adv(本文提出的基于域對抗方法).通過表7可以分析得到3個重要信息：

1) 本文提出的方法在不同的干擾情況下取得的分數總是高于Base方法的分數，表明使用域對抗方法得到的虛假人臉檢測模型在表現上穩(wěn)定強于普通訓練方法得到的虛假人臉檢測模型.

2) 通過表7的測試分數可以發(fā)現GN方法與Base方法在分數上沒有明顯差異，因此本文認為高斯噪聲并不能有效加強模型增強模型抵御JPEG壓縮干擾的能力.

3) 相比于其他方法，GB方法(高斯模糊數據增強)受到JPEG壓縮的干擾最小，圖4非常直觀地顯示了這一點，圖4使用折線圖可視化了ProGAN作為未知假臉生成器實驗組時不同壓縮質量損失下各個方法的指標變化.圖4中圓形圖例折線表示GB方法，三角形折線表示本文提出的Adv方法，菱形圖例和打叉圖例分別代表GN方法和Base方法，可以看到從右往左隨著壓縮損失的增加，GB方法的AUC分數變化趨勢最為平緩，并且在壓縮質量降低到一定水平后，GB曲線與Adv方法的指標曲線出現交點，即在高壓縮損失下GB方法的表現超過了Adv方法，證明使用高斯模糊數據增強能減小模型對JPEG壓縮的敏感度.

因此本文將Adv方法與GB方法相結合，一方面Adv方法能夠讓模型提取到更能泛化到未知虛假類型的人臉上，另一方面GB方法能夠讓模型更好地抵御JPEG壓縮攻擊，所提出的結合算法記作Adv+GB.通過折線圖中的正方形圖例折線可以看出，增加了高斯模糊數據增強之后，所提出的Adv+GB方法對應的折線整體比Adv折線更加平緩，且在各種情況下均分數幾乎都是最高.而表7的分數則更詳細地給出了各類方法在不同實驗組下的分數，可以看到在不同實驗組、不同JPEG壓縮質量的干擾測試結果中，本文所提出的Adv+GB方法能夠取得更好的效果，證明了Adv+GB方法在JPEG壓縮攻擊下的有效性.

Table 7 Impact of Different JPEG Compression Ratios on the Scores表7 不同JPEG壓縮比例對虛假圖像檢測性能的影響

續(xù)表7

Fig. 4 Impact of different JPEG compression quality on the overall scores圖4 不同JPEG壓縮質量對虛假圖像鑒別性能的影響

3.3.3 特征可視化

TSNE算法是最常用的特征可視化方法之一，我們使用TSNE算法對實驗模型進行了特征可視化，利用可視化結果分析域對抗策略如何影響模型特征提取器.圖5是一組TSNE可視化結果，這組可視化結果由2個模型生成：圖5(a)為正常訓練方式的模型的特征可視化結果，圖5(b)為加入域對抗方法得到的模型的特征可視化結果.這里的2個模型均以CelebA,ProGAN和CramerGAN作為訓練集，而SNGAN則扮演了未知的生成對抗網絡的角色.

通過圖5(a)可以發(fā)現，在最為基礎的分類訓練模式下，訓練時可見的真臉類型(CelebA)和假臉類型(ProGAN，CramerGAN)在測試時期表現出良好的特征分布特性，能夠在降維后的空間里存在較為清楚的分類邊界.然而圖中藍色數據點，即對應SNGAN產生的人臉數據，在圖5(a)中很大一部分與紅色的真臉數據對應的特征分布混淆在一起，區(qū)分度不高，而與綠色和紫色的假臉特征數據分布存在較大差異，顯然在這種情況下虛假人臉檢測器容易誤判.

圖5(b)是做了域對抗方法之后模型的特征分布結果，可以看到域對抗分支的加入使得ProGAN圖片數據和CramerGAN圖片數據在特征空間中得到充分混淆，達到了我們預期的效果——盡可能消除特征中關于特定生成對抗模型的類別信息.而通過圖中可以看出，真臉數據與已知的假臉類型數據之間也存在較為明顯的分類邊界，因而模型對已知類型的假臉具有良好的檢測效果.

Fig. 5 Feature distribution visualization with TSNE圖5 用TSNE算法可視化測試數據特征的分布

另外與圖5(a)對比可以發(fā)現，代表著未知生成類型的藍色點在圖5(b)中與真臉數據有更為明顯的分離，且與已知假臉數據的分布更為接近.通過這些可視化的現象成功驗證了3點結論：1)域對抗成功將多種生成對抗方法的圖片特征混淆，一定程度消除了特征中關于特定生成對抗模型的類別信息；2)使用域對抗方法的情況下，模型仍然能夠學習到真臉數據和已知假臉數據的良好特征表示；3)域對抗過程有利于提升模型的泛化性能.

4 總 結

本文提出了一種基于域對抗學習的可泛化虛假人臉檢測方法，通過引入域對抗的訓練方式抑制模型過擬合到特定生成模型的數據上，強化特征提取模型能夠抽取泛化性能更高的特征.實驗結果表明：本文提出的方法能夠有效地提升模型的泛化能力，提升模型在未知生成模型產生的虛假圖像的表現.未來工作旨在將域對抗的訓練方式引入到更加復雜的場景下，比如噪聲嚴重的場景、換臉圖像或視頻的場景等，另外也希望能夠在現有方法的基礎上結合小樣本相關的研究，在可見少量目標泛化類別的樣本的情況下學習到更強的特征表示，提升目標類別的泛化性能.