基于深度對(duì)齊網(wǎng)絡(luò)的生成對(duì)抗網(wǎng)絡(luò)偽造人臉檢測(cè)

湯桂花，孫 磊，毛秀青，戴樂(lè)育，胡永進(jìn)

（信息工程大學(xué)，鄭州 450001）

0 引言

傳統(tǒng)圖像偽造技術(shù)通常利用圖像編輯軟件（如Adobe Photoshop、Illustrate 和GIMP 等）通過(guò)復(fù)制粘貼，對(duì)真實(shí)圖像進(jìn)行拼接，有針對(duì)性地改變圖像內(nèi)容，偽造圖像。隨著人工智能、云計(jì)算、大數(shù)據(jù)技術(shù)的快速發(fā)展，以及高性能計(jì)算硬件的不斷更新迭代，通過(guò)訓(xùn)練大量數(shù)據(jù)偽造出高質(zhì)量圖像的深度偽造技術(shù)成為主流。Goodfellow 等［1］于2014 年提出的生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）提供了一種基于零和博弈的高質(zhì)量圖像偽造方法，能夠直接由隨機(jī)噪聲通過(guò)深度神經(jīng)網(wǎng)絡(luò)生成圖像。原始GAN 經(jīng)過(guò)不斷改進(jìn)發(fā)展，已經(jīng)可以生成高分辨率的逼真圖像。PGGAN（Progressive Growing of GAN）［2］是偽造高分辨率人臉圖像的重大突破，通過(guò)漸進(jìn)增長(zhǎng)的訓(xùn)練方式，可以在CelebA-hq數(shù)據(jù)集的訓(xùn)練下生成1 024×1 024 的高分辨率人臉圖像，是目前偽造圖像質(zhì)量最高的模型之一。STGAN（Style-Transfer GAN）［3-4］在PGGAN 模型的基礎(chǔ)上作了進(jìn)一步改進(jìn)。然而，STGAN 解決的是人臉之間的風(fēng)格轉(zhuǎn)換問(wèn)題，在已有人臉圖像的基礎(chǔ)上進(jìn)行偽造，并非直接由隨機(jī)噪聲生成圖像，與以往GAN 圖像偽造模型有著本質(zhì)的不同，因此本文選擇PGGAN 偽造人臉圖像作為評(píng)估數(shù)據(jù)集，能更好地代表目前GAN偽造技術(shù)的水平和揭示GAN偽造圖像的本質(zhì)差異。

作為一項(xiàng)新穎的科技創(chuàng)新，深度偽造技術(shù)在帶來(lái)全新產(chǎn)業(yè)價(jià)值的同時(shí)也給個(gè)人和社會(huì)帶來(lái)了相應(yīng)的風(fēng)險(xiǎn)和挑戰(zhàn)。近年來(lái)，日益開(kāi)放的網(wǎng)絡(luò)環(huán)境為偽造信息的傳播創(chuàng)造了理想空間，英、法、美等國(guó)相繼出現(xiàn)了利用深度偽造技術(shù)制造假新聞?wù)T導(dǎo)輿論、欺騙公眾甚至進(jìn)行間諜活動(dòng)的事件，引起人們對(duì)倫理、法律和安全方面的重大擔(dān)憂。傳統(tǒng)的偽造圖像檢測(cè)技術(shù)通常對(duì)圖像篡改操作中所引入的特有效應(yīng)進(jìn)行分析，并定位出篡改區(qū)域。GAN 偽造圖像與傳統(tǒng)偽造圖像相比，不存在圖像拼接以后留下的痕跡，所以傳統(tǒng)的偽造圖像檢測(cè)技術(shù)無(wú)法有效甄別GAN 偽造圖像。目前針對(duì)GAN 偽造圖像也提出了一些有效的檢測(cè)方法。Li等［5］通過(guò)分析H、S、V 和Cb、Cr、Y 通道中真?zhèn)螆D像顏色分量的差異，提出了一種彩色圖像統(tǒng)計(jì)特征集來(lái)檢測(cè)GAN偽造圖像；McCloskey等［6］對(duì)一種常用GAN模型中的生成網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析發(fā)現(xiàn)，GAN 偽造圖像的飽和像素頻率和顏色分量統(tǒng)計(jì)關(guān)系與相機(jī)拍攝的圖像不同，利用這兩個(gè)線索作者設(shè)計(jì)了針對(duì)GAN 偽造圖像的檢測(cè)算法；Nataraj等［7］則通過(guò)提取像素域中三個(gè)顏色通道上的共現(xiàn)矩陣表示顏色分量間的相關(guān)性，并結(jié)合深度學(xué)習(xí)的方法來(lái)檢測(cè)GAN 偽造圖像。然而面對(duì)圖像合成后的后處理，這些檢測(cè)方法的魯棒性較差，如常見(jiàn)的壓縮、添加噪聲、模糊等會(huì)使圖像的像素值產(chǎn)生變化，像素間的相關(guān)性會(huì)遭到破壞，GAN偽造圖像和真實(shí)圖像間的上述差異就會(huì)被大大降低，影響檢測(cè)效果。Tariq等［8］提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的分類(lèi)器來(lái)檢測(cè)GAN偽造的人臉圖像，雖然也取得了良好的分類(lèi)效果，但未從GAN 偽造圖像本身的特性進(jìn)行分析，訓(xùn)練好的模型面對(duì)其他GAN 偽造圖像的分類(lèi)效果不穩(wěn)定，并且需要大量數(shù)據(jù)和較高的硬件條件；Yang等［9］通過(guò)對(duì)一定量的GAN偽造人臉圖像觀察發(fā)現(xiàn)，基于GAN的人臉偽造算法可以生成具有高度真實(shí)細(xì)節(jié)的人臉器官，但對(duì)人臉中這些器官的位置卻沒(méi)有明確的約束，導(dǎo)致即使是使用先進(jìn)的PGGAN 生成的人臉圖像也存在面部不協(xié)調(diào)的問(wèn)題，如圖1 所示。可以觀察到圖1 的前兩張人臉輪廓均存在不同程度的扭曲，第三張人臉的右眼呈現(xiàn)不自然的閉合。該文進(jìn)一步利用Dlib 函數(shù)庫(kù)中集成的人臉檢測(cè)器提取了68 個(gè)面部關(guān)鍵點(diǎn)位置，并將位置數(shù)據(jù)作為特征向量對(duì)真?zhèn)稳四樳M(jìn)行分類(lèi)，在正臉圖像中取得了較好的效果；但是在有角度及遮擋情況，由于定位偏差人為引入了面部不協(xié)調(diào)，真實(shí)人臉就容易被誤判為GAN偽造的不協(xié)調(diào)偽造人臉，導(dǎo)致判真率較低。

圖1 PGGAN生成的不協(xié)調(diào)人臉示例Fig.1 Examples of dissonant faces synthesized by PGGAN

針對(duì)真實(shí)人臉的誤判問(wèn)題，本文提出了一種基于深度對(duì)齊網(wǎng)絡(luò)（Deep Alignment Network，DAN）［10］的GAN 偽造人臉圖像檢測(cè)方法?；贒AN 構(gòu)建的面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)通過(guò)輸入人臉的全局信息避免進(jìn)行關(guān)鍵點(diǎn)定位時(shí)被局部信息誤導(dǎo)，提升了面部關(guān)鍵點(diǎn)定位準(zhǔn)確度，能有效改善在有角度及遮擋情況下真實(shí)人臉誤判為偽造人臉的問(wèn)題。本文方法在PGGAN 偽造的高分辨率人臉數(shù)據(jù)集和CelebA（CelebFaces Attributes Dataset）［11］人臉數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該方法能夠有效提高有角度及遮擋情況下真實(shí)人臉的檢測(cè)正確率。

1 基于DAN的GAN偽造人臉圖像檢測(cè)方法

1.1 本文檢測(cè)方法框架

本文在復(fù)現(xiàn)文獻(xiàn)［9］的工作并對(duì)誤判的真實(shí)人臉圖像進(jìn)行關(guān)鍵點(diǎn)定位后分析發(fā)現(xiàn)，誤判人臉的關(guān)鍵點(diǎn)定位均出現(xiàn)了較大偏差。圖2 為誤判人臉的定位情況，在有角度和遮擋情況下，面部器官及輪廓定位出現(xiàn)較大偏差，人為引入了面部不對(duì)稱(chēng)、不協(xié)調(diào)，形成如圖1 所示的PGGAN 不協(xié)調(diào)人臉，從而導(dǎo)致真實(shí)人臉被判定為GAN 偽造的不協(xié)調(diào)人臉，產(chǎn)生真實(shí)人臉誤判情況。Dlib 提取68 個(gè)面部關(guān)鍵點(diǎn)是基于ERT（Ensemble of Regression Trees）算法［12］，即基于梯度提高學(xué)習(xí)的回歸樹(shù)方法。該算法以標(biāo)準(zhǔn)人臉關(guān)鍵點(diǎn)作為初始值，每次從關(guān)鍵點(diǎn)附近進(jìn)行特征采樣取值，通過(guò)迭代來(lái)修正關(guān)鍵點(diǎn)的位置，并且各特征點(diǎn)是獨(dú)立的回歸，沒(méi)有利用相互之間的相對(duì)位置關(guān)系。而這種僅基于局部區(qū)域進(jìn)行關(guān)鍵點(diǎn)定位的方法，缺少整體信息，在面部存在遮擋和旋轉(zhuǎn)角度的情況下容易被局部信息誤導(dǎo)，導(dǎo)致定位出現(xiàn)偏差。這種由于定位偏差引入的面部不協(xié)調(diào)進(jìn)一步造成在真?zhèn)稳四樂(lè)诸?lèi)中真實(shí)人臉的誤判問(wèn)題。

圖2 誤判人臉的關(guān)鍵點(diǎn)定位情況Fig.2 Location of landmarks of misjudged faces

因此針對(duì)文獻(xiàn)［9］中提出的GAN 偽造人臉檢測(cè)方法在真實(shí)人臉部分遮擋及有角度情況下存在誤判的問(wèn)題，本文方法通過(guò)提高面部關(guān)鍵點(diǎn)的定位準(zhǔn)確度，降低遮擋及有角度情況下的面部關(guān)鍵點(diǎn)定位偏差，改善真實(shí)人臉誤判問(wèn)題，提升判真率。

本文選擇68 個(gè)面部關(guān)鍵點(diǎn)對(duì)真?zhèn)稳四樳M(jìn)行定位，利用關(guān)鍵點(diǎn)位置分類(lèi)暴露GAN 偽造人臉圖像存在的面部不協(xié)調(diào)問(wèn)題。68 個(gè)關(guān)鍵點(diǎn)分為內(nèi)部關(guān)鍵點(diǎn)和輪廓關(guān)鍵點(diǎn)，內(nèi)部關(guān)鍵點(diǎn)包含眉毛、眼睛、鼻子、嘴巴等共計(jì)51 個(gè)關(guān)鍵點(diǎn)，輪廓關(guān)鍵點(diǎn)包含17 個(gè)關(guān)鍵點(diǎn)，可以較為精確地定位面部器官及輪廓。檢測(cè)方法的整體流程如圖3 所示，所用人臉圖像均來(lái)自于公開(kāi)數(shù)據(jù)集。

圖3 GAN偽造人臉圖像檢測(cè)方法整體流程Fig.3 Flowchart of GAN-synthesized face detection method

首先基于DAN 構(gòu)建面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)，并利用標(biāo)準(zhǔn)人臉對(duì)齊數(shù)據(jù)集對(duì)其進(jìn)行訓(xùn)練，保存模型。然后利用面部關(guān)鍵點(diǎn)提取模型對(duì)人臉圖像進(jìn)行定位并輸出關(guān)鍵點(diǎn)位置信息：為了減少冗余信息的同時(shí)最大化保持?jǐn)?shù)據(jù)的內(nèi)在信息，選擇主成分分析（Principal Component Analysis，PCA）［13］降維方法將136 維的真?zhèn)稳四槇D像面部關(guān)鍵點(diǎn)特征映射到三維空間，以便進(jìn)行下一步分類(lèi)。最后，利用支持向量機(jī)（Support Vector Machine，SVM）構(gòu)建一個(gè)分類(lèi)器以區(qū)分GAN 偽造的和真實(shí)的人臉，將處理后的數(shù)據(jù)作為特征向量輸入分類(lèi)系統(tǒng)進(jìn)行訓(xùn)練測(cè)試并輸出分類(lèi)結(jié)果。

1.2 面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)

本文基于DAN 構(gòu)建真?zhèn)稳四槇D像的面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)，其中前饋神經(jīng)網(wǎng)絡(luò)架構(gòu)如表1 所示，Conv 表示卷積層。在網(wǎng)絡(luò)的第三、四層，受Inception-v3［14］的啟發(fā)，將原網(wǎng)絡(luò)的3×3 卷積分解為1×3 和3×1 卷積，提高網(wǎng)絡(luò)非線性的同時(shí)降低網(wǎng)絡(luò)的參數(shù)和計(jì)算量；采用全局均值池化（Global average pooling，Avgpool）代替全連接層（Fully Connected layer，F(xiàn)C），減少網(wǎng)絡(luò)參數(shù)，避免過(guò)擬合。除了最大池化層和輸出層之外，每一層都進(jìn)行批處理規(guī)范化，并使用線性整流函數(shù)（Rectified Linear Unit，ReLU）進(jìn)行激活，最后一層輸出當(dāng)前的關(guān)鍵點(diǎn)位置估計(jì)。

表1 前饋神經(jīng)網(wǎng)絡(luò)架構(gòu)Tab.1 Structure of feed-forward neural network

面部關(guān)鍵點(diǎn)位置信息獲取過(guò)程介紹如下：

1）輸入人臉圖像I，經(jīng)過(guò)第一級(jí)CNN 獲得偏移估計(jì)ΔS1，加上初始關(guān)鍵點(diǎn)位置估計(jì)，得到該階段的關(guān)鍵點(diǎn)位置估計(jì)S1；

2）計(jì)算S0相對(duì)于S1的仿射矩陣T2，T2用來(lái)將輸入圖像歸一化到標(biāo)準(zhǔn)形狀，得到矯正后的人臉圖像T2(I)和關(guān)鍵點(diǎn)位置T2(S1)，并根據(jù)前一階段產(chǎn)生的關(guān)鍵點(diǎn)位置估計(jì)值生成關(guān)鍵點(diǎn)熱度圖Ht，本階段t=2，計(jì)算公式如下：

其中：si為T(mén)t(St-1)第i個(gè)關(guān)鍵點(diǎn)位置，(x，y)為像素點(diǎn)位置，利用關(guān)鍵點(diǎn)熱圖，卷積神經(jīng)網(wǎng)絡(luò)可以推斷出前一階段估計(jì)的關(guān)鍵點(diǎn)位置。然后將T2(I)、H2以及第一級(jí)全連接層的輸出特征圖F2作為第二級(jí)CNN 的輸入，得到ΔS2，進(jìn)一步利用ΔS2和T2(S1)經(jīng)過(guò)標(biāo)志點(diǎn)變換獲得該階段的關(guān)鍵點(diǎn)位置估計(jì)S2，計(jì)算公式為：

3）計(jì)算誤差：

其中：S*為真實(shí)的關(guān)鍵點(diǎn)位置，dipd為S*的瞳孔距離。本文誤差閾值設(shè)置為0.08，不滿足則返回2）。

4）重復(fù)2）、3）階段，直到訓(xùn)練完所有樣本，保存訓(xùn)練好的面部關(guān)鍵點(diǎn)提取模型，批樣本數(shù)為1 000，每批樣本包含64 張人臉圖像。

5）利用面部關(guān)鍵點(diǎn)提取模型對(duì)真?zhèn)稳四樳M(jìn)行定位，并將68 個(gè)二維坐標(biāo)轉(zhuǎn)換為136 維特征向量，輸出面部關(guān)鍵點(diǎn)位置集合。

在面部關(guān)鍵點(diǎn)的提取過(guò)程中，從初始關(guān)鍵點(diǎn)位置估計(jì)S0開(kāi)始，生成的關(guān)鍵點(diǎn)熱圖Ht、特征圖Ft和一個(gè)相似變換矩陣Tt在網(wǎng)絡(luò)的各個(gè)連續(xù)階段之間形成鏈接。與之前的局部區(qū)域圖像定位關(guān)鍵點(diǎn)的方法相比，增加了人臉的全局信息，避免被局部的信息誤導(dǎo)，對(duì)有角度和部分遮擋狀態(tài)下的人臉可以獲得更為準(zhǔn)確的定位，從而得到更好的檢測(cè)效果。

1.3 分類(lèi)網(wǎng)絡(luò)

SVM 是基于統(tǒng)計(jì)學(xué)學(xué)習(xí)理論提出的一種機(jī)器學(xué)習(xí)方法，主要思想是尋找一個(gè)超平面，使兩組不同的高維數(shù)據(jù)盡可能地被超平面隔離，根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，最大化分類(lèi)間隔構(gòu)建最優(yōu)分類(lèi)超平面來(lái)提高分類(lèi)器的泛化能力，在統(tǒng)計(jì)樣本量較少的情況下，也能獲得良好效果。SVM 與其他學(xué)習(xí)機(jī)相比，具有良好的泛化能力，在處理分類(lèi)中的非線性、小樣本、高維數(shù)等問(wèn)題表現(xiàn)良好，適用于本文的分類(lèi)工作。在應(yīng)用SVM對(duì)真?zhèn)螆D像面部關(guān)鍵點(diǎn)進(jìn)行分類(lèi)前，先利用PCA 對(duì)提取的真?zhèn)螆D像面部關(guān)鍵點(diǎn)位置數(shù)據(jù)進(jìn)行降維處理，將136 維的坐標(biāo)數(shù)據(jù)轉(zhuǎn)換為3 維向量，以便利用SVM 進(jìn)行分類(lèi)訓(xùn)練。PCA 是一種使用廣泛的數(shù)據(jù)分析方法，用于提取數(shù)據(jù)的主要特征分量。本文的SVM 分類(lèi)器應(yīng)用LibSVM［15］開(kāi)源模式識(shí)別軟件包實(shí)現(xiàn)。SVM分類(lèi)器的核函數(shù)和參數(shù)設(shè)置對(duì)分類(lèi)效果有很大影響，尤其是核函數(shù)參數(shù)γ及分類(lèi)懲罰因子C。本文采用LibSVM 提供的徑向基函數(shù)（Radial Basis Function，RBF）內(nèi)核訓(xùn)練SVM分類(lèi)系統(tǒng)：

選用網(wǎng)格搜索法對(duì)參數(shù)進(jìn)行調(diào)優(yōu)，即對(duì)每個(gè)參數(shù)設(shè)置多個(gè)值，然后進(jìn)行交叉驗(yàn)證嘗試各種可能的(C，γ)組合，找出使交叉驗(yàn)證精確度最高的(C，γ)組合作為實(shí)際分類(lèi)中的參數(shù)值。搜索范圍設(shè)置為C：[2-2，2-1，20，21，22]，γ：[10-4，10-3，10-2，10-1，100]，通過(guò)五折交叉驗(yàn)證（5-fold cross validation），選擇C=22，γ=10-2。同時(shí)考慮數(shù)據(jù)集中真?zhèn)稳四槇D像的數(shù)量分布不均衡，本文通過(guò)調(diào)整訓(xùn)練數(shù)據(jù)集中樣本損失與類(lèi)頻率成反比的方法來(lái)平衡兩個(gè)類(lèi)的損失。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)配置如下：中央處理器（Central Processing Unit，CPU）：Inter Core i7-9750H，主頻為2.60 GHz，內(nèi)存為16 GB；圖像處理器（Graphic Processing Unit，GPU）：GeForce RTX 2070MQ，顯存為8 GB。

實(shí)驗(yàn)中用到了三種數(shù)據(jù)集：300W、CelebA 和PGGAN。300W 是一個(gè)標(biāo)準(zhǔn)人臉對(duì)齊數(shù)據(jù)集，由Labeled Face Parts in the Wild（LFPW）［16］和Annotated Faces Landmarks in the Wild（AFW）［17］等多個(gè)數(shù)據(jù)集綜合而成，標(biāo)注了68個(gè)關(guān)鍵點(diǎn)和瞳孔坐標(biāo)，包含室內(nèi)與室外兩種情況下的人臉圖像，整體難度系數(shù)較高。將300W 作為訓(xùn)練集對(duì)基于DAN 的面部關(guān)鍵點(diǎn)獲取網(wǎng)絡(luò)進(jìn)行訓(xùn)練，獲得的面部關(guān)鍵點(diǎn)提取模型具有較好的泛化能力。

CelebA 包含了202 599 張的固定分辨率為216×178 像素的真實(shí)人臉圖像，廣泛用于人臉相關(guān)的計(jì)算機(jī)視覺(jué)訓(xùn)練任務(wù)。

PGGAN 數(shù)據(jù)集由10 000 張利用PGGAN 技術(shù)偽造的1 024×1 024像素的人臉圖像組成。

有角度及遮擋人臉數(shù)據(jù)集（以下簡(jiǎn)稱(chēng)非正臉數(shù)據(jù)集）來(lái)源于CelebA 及PGGAN 偽造的人臉圖像。首先篩選出CelebA 中有角度及遮擋人臉圖像，然后對(duì)剩余圖像隨機(jī)選擇3 000張進(jìn)行手動(dòng)遮擋，最后將這兩個(gè)部分和PGGAN 數(shù)據(jù)集進(jìn)行合并，如圖4所示；正臉數(shù)據(jù)集則由PGGAN 和CelebA 兩個(gè)數(shù)據(jù)集直接合并而成，為了與非正臉數(shù)據(jù)集區(qū)分，將其簡(jiǎn)稱(chēng)為正臉數(shù)據(jù)集。

圖4 有角度及遮擋人臉數(shù)據(jù)集的獲取Fig.4 Acquisition of faces with angles and occlusion

2.2 面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)準(zhǔn)確度測(cè)試

為了驗(yàn)證本文面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)在有角度及遮擋情況下具有更高的定位準(zhǔn)確度，使用Dlib 函數(shù)庫(kù)中的人臉檢測(cè)器（以下簡(jiǎn)稱(chēng)為Dlib）與本文網(wǎng)絡(luò)分別提取有角度及遮擋人臉圖像的68 個(gè)面部關(guān)鍵點(diǎn)，并計(jì)算誤差進(jìn)行對(duì)比分析，其中人臉圖像全部來(lái)自于用標(biāo)準(zhǔn)人臉數(shù)據(jù)集300W。

將本文網(wǎng)絡(luò)和Dlib提取的面部關(guān)鍵點(diǎn)位置與標(biāo)準(zhǔn)值求取誤差并作曲線，結(jié)果如圖5 所示?？梢钥闯?，同樣的數(shù)據(jù)，整體上本文網(wǎng)絡(luò)的誤差曲線要低于Dlib，其中部分人臉關(guān)鍵點(diǎn)定位情況對(duì)比如圖6 所示。在有角度及遮擋的情況下，本文網(wǎng)絡(luò)表現(xiàn)出更好的性能，而Dlib則容易被誤導(dǎo)致使定位不準(zhǔn)。定位不準(zhǔn)意味著人為引入了面部不對(duì)稱(chēng)、不協(xié)調(diào)，從而影響對(duì)真?zhèn)稳四樚貏e是真實(shí)人臉的檢測(cè)效果。進(jìn)一步根據(jù)如下公式計(jì)算均方根誤差（Root Mean Square Error，RMSE）：

圖5 本文網(wǎng)絡(luò)與Dlib誤差曲線Fig.5 Error curves of proposed network and Dlib

圖6 Dlib與本文網(wǎng)絡(luò)對(duì)遮擋人臉的關(guān)鍵點(diǎn)定位情況Fig.6 Landmark location of faces with occlusion by Dlib and proposed network

其中：yi表示測(cè)試值，i為真實(shí)值，共有m組數(shù)據(jù)。Dlib的均方根誤差為77.78，遠(yuǎn)高于本文網(wǎng)絡(luò)的18.21，RMSE 越小，誤差越低，效果越好，說(shuō)明本文構(gòu)建的人臉檢測(cè)網(wǎng)絡(luò)對(duì)有角度及遮擋人臉的關(guān)鍵點(diǎn)提取準(zhǔn)確率更高。

2.3 GAN偽造人臉檢測(cè)方法實(shí)驗(yàn)評(píng)估

本節(jié)主要對(duì)本文提出的偽造人臉圖像檢測(cè)方法進(jìn)行整體實(shí)驗(yàn)評(píng)估，為了避免閾值的選取影響分類(lèi)結(jié)果，實(shí)驗(yàn)選擇受試者工作特征（Receiver Operating Characteristic，ROC）曲線下面積（Area Under ROC，AUC）和精確率召回率（Precision Recall，PR）曲線下面積（Average Precision，AP）為性能指標(biāo)。ROC 的X軸為偽陽(yáng)性率（False Positive Rate，F(xiàn)PR），表示SVM 分類(lèi)器判斷為真實(shí)人臉中實(shí)際為GAN 偽造人臉占所有GAN 偽造人臉的比例；Y軸為真陽(yáng)性率（True Positive Rate，TPR），表示分類(lèi)模型判斷為真實(shí)人臉中實(shí)際為真實(shí)人臉占所有真實(shí)人臉的比例。PR曲線的Y軸表示精確率（Precision），X軸表示召回率（Recall）。

首先利用300W 數(shù)據(jù)集對(duì)面部關(guān)鍵點(diǎn)信息提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練，保存模型；接著使用訓(xùn)練好的模型提取正臉數(shù)據(jù)集和有角度及遮擋人臉數(shù)據(jù)集的面部關(guān)鍵點(diǎn)。為了對(duì)比PCA 降維處理對(duì)實(shí)驗(yàn)結(jié)果的影響，對(duì)關(guān)鍵點(diǎn)數(shù)據(jù)分別做以下兩種處理：1）利用PCA 對(duì)136 維的坐標(biāo)數(shù)據(jù)進(jìn)行降維處理轉(zhuǎn)換為三維特征向量，以便進(jìn)行分類(lèi)；2）將每組數(shù)據(jù)展開(kāi)為一維數(shù)組。然后將處理后的正臉數(shù)據(jù)集輸入SVM 分類(lèi)器進(jìn)行訓(xùn)練，輸出訓(xùn)練結(jié)果，并保存分類(lèi)模型；最后輸入非正臉數(shù)據(jù)集得到測(cè)試結(jié)果。圖7 和圖8 分別顯示了本方法與其他基于深度神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法在正臉數(shù)據(jù)集和非正臉數(shù)據(jù)集上的ROC 曲線和PR 曲線，量化結(jié)果如表2 所示，包括在相同數(shù)據(jù)集上使用不同的分類(lèi)方法和人臉檢測(cè)網(wǎng)絡(luò)的綜合性能對(duì)比。

表2 不同檢測(cè)方法的綜合性能對(duì)比Tab.2 Overall performance comparison of different detection methods

圖7 不同檢測(cè)方法的ROC曲線Fig.7 ROC curves of different detection methods

圖8 不同檢測(cè)方法的PR曲線Fig.8 PR curves of different detection methods

實(shí)驗(yàn)結(jié)果表明，在正臉和非正臉情況下，本文方法對(duì)真?zhèn)稳四樀姆诸?lèi)效果均優(yōu)于其他檢測(cè)方法，包括一些基于深度神經(jīng)網(wǎng)絡(luò)的方法（如VGG19 和XceptionNet），并且這兩種基于深度神經(jīng)網(wǎng)絡(luò)的方法還需要較大的參數(shù)量和更高的硬件要求。在測(cè)試集為有角度和遮擋人臉的情況下，各檢測(cè)方法的AUC值和AP 都出現(xiàn)了不同程度的下降，但本文方法的AUC 值還是達(dá)到了89.76%，AP 也保持在96.38%，明顯優(yōu)于其他檢測(cè)方法。雖然由于面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)的參數(shù)個(gè)數(shù)較多導(dǎo)致本文方法參數(shù)量大于文獻(xiàn)［9］方法的參數(shù)量，但還是遠(yuǎn)小于另外兩種基于深度神經(jīng)網(wǎng)絡(luò)方法的參數(shù)量；并且面部關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)可以單獨(dú)進(jìn)行訓(xùn)練，不影響檢測(cè)效果。當(dāng)分類(lèi)方法相同時(shí)，未經(jīng)PCA 處理的AUC 值均略有下降，并且同樣對(duì)302 599張真?zhèn)稳四樳M(jìn)行分類(lèi)，未經(jīng)PCA 處理時(shí)運(yùn)行耗時(shí)增加5 945 ms，存儲(chǔ)數(shù)據(jù)也需要更大空間，因此在圖像較多時(shí)選擇PCA對(duì)數(shù)據(jù)進(jìn)行處理更優(yōu)。同樣進(jìn)行PCA 處理，DAN 進(jìn)行改進(jìn)后的AUC 值分別提升了1.91%和2.92%，并且有更小的參數(shù)量和計(jì)算量，性能優(yōu)于原網(wǎng)絡(luò)。

綜上，本文提出的GAN 偽造人臉圖像檢測(cè)方法有三個(gè)優(yōu)點(diǎn)：1）面部關(guān)鍵點(diǎn)位置與圖像大小無(wú)關(guān)，在訓(xùn)練和使用所獲得的分類(lèi)方法時(shí)不需要重新對(duì)圖像進(jìn)行縮放，可以有效避免由于縮放操作而導(dǎo)致的影響；2）基于該特征向量的分類(lèi)方法對(duì)硬件需求不高，參數(shù)量小，計(jì)算成本較低；3）該方法旨在提升檢測(cè)正確率，在正臉和有角度和遮擋人臉圖像上都表現(xiàn)出了更好的性能，并不只適用于某一類(lèi)人臉圖像。

3 結(jié)語(yǔ)

針對(duì)現(xiàn)有GAN 偽造圖像檢測(cè)方法對(duì)于有角度及遮擋情況下的人臉考慮較少，存在真實(shí)人臉誤判問(wèn)題，本文提出基于DAN 來(lái)提取68 個(gè)面部關(guān)鍵點(diǎn)，獲得更為準(zhǔn)確的面部位置信息，進(jìn)而通過(guò)SVM 對(duì)面部關(guān)鍵點(diǎn)特征進(jìn)行分類(lèi)甄別真?zhèn)稳四槇D像，降低了有角度及遮擋人臉的誤判率。最后實(shí)驗(yàn)驗(yàn)證了本文方法相比其他檢測(cè)方法在正臉和有角度及遮擋人臉上都展現(xiàn)出了更好的性能，能有效提高GAN 偽造人臉圖像的檢測(cè)正確率。由于GAN 模型缺乏對(duì)不同人臉部件配置的約束這一問(wèn)題目前還未得到徹底修正，因此，基于面部關(guān)鍵點(diǎn)的方法還可以進(jìn)行進(jìn)一步研究。例如，在真實(shí)人臉面部表情強(qiáng)烈扭曲的情況下如何避免誤判，以及進(jìn)一步提升對(duì)偽造人臉圖像的甄別效果，下一步可以考慮通過(guò)獲取面部的三維空間位置來(lái)進(jìn)行分類(lèi)，暴露三維空間中GAN 偽造人臉的缺陷來(lái)提高檢測(cè)正確率。