基于三維人臉數(shù)據(jù)增強(qiáng)的深度偽造檢測方法

王昊冉，楊敏敏，王澤源，白 亮，于天元，郭延明

(1.國防科技大學(xué) 系統(tǒng)工程學(xué)院，湖南 長沙 410073；2.佳木斯大學(xué) 信息電子技術(shù)學(xué)院，黑龍江 佳木斯 156100)

0 引言

隨著深度學(xué)習(xí)技術(shù)特別是對抗生成網(wǎng)絡(luò)(GAN)技術(shù)的不斷發(fā)展以及互聯(lián)網(wǎng)及個人計算機(jī)的普及，偽造視頻的濫用也在隨之增長[1]。大量包含虛假政治人物信息的深度偽造視頻在社交媒體上傳播引發(fā)廣泛關(guān)注[2]。準(zhǔn)確鑒別深度偽造視頻，防止其產(chǎn)生惡劣社會影響成為輿論安全領(lǐng)域一個重要的課題，鑒于此，國內(nèi)外均采取一定的措施。2017年，《新一代人工智能發(fā)展規(guī)劃》經(jīng)國務(wù)院頒布，該規(guī)劃繪制了我國人工智能發(fā)展的宏偉藍(lán)圖[3]。2018年，美國國會官方定義了“深度偽造”概念，并于當(dāng)月通過了《禁止惡意深度偽造法令》[4]。2019年，美國國際戰(zhàn)略研究中心(CSIS)針對深度偽造技術(shù)政策發(fā)布簡報。2020年，美國國防高級研究計劃局(DARPA)為“欺騙逆向工程”項目發(fā)布了一份招標(biāo)文件，該項目旨在對信息欺騙攻擊的工具鏈進(jìn)行逆向工程。

深度偽造檢測算法高度依賴大型可靠的數(shù)據(jù)集，相關(guān)數(shù)據(jù)集的提出也為多種檢測模型提供了測試基線，促進(jìn)了該方向的快速發(fā)展。2018年，首個深度偽造視頻數(shù)據(jù)集Deepfake-TIMIT被提出[5]，該數(shù)據(jù)集包含基于faceswap-GAN方法生成的共640段視頻。隨后，R?ssler 等人[6]使用Deepfakes、Face2Face、FaceSwap和NeuralTextextures四種深度偽造方法創(chuàng)建FaceForensics++數(shù)據(jù)集。Li等人基于公開明星視頻數(shù)據(jù)源創(chuàng)建更具實際應(yīng)用場景、更加真假難辨的Celeb-DF數(shù)據(jù)集[7]。以上數(shù)據(jù)集的發(fā)展為后續(xù)偽造視頻檢測提供了良好的數(shù)據(jù)支撐，并使得不同的檢測算法具有科學(xué)一致的可比性。

在具體的檢測算法方面，北京大學(xué)與微軟亞洲研究院合作提出了一種基于偽造人臉圖像邊緣不一致性檢測的算法Face X-ray[8]，使得模型僅使用較少的訓(xùn)練數(shù)據(jù)即可達(dá)到領(lǐng)先的檢測效果。但上述方法對人工設(shè)計的特征較為依賴，泛化性能較差，當(dāng)偽造視頻針對上述特征進(jìn)行重點篡改時即會導(dǎo)致模型失效。而后更多的深度偽造視頻檢測算法開始基于CNN對偽造視頻進(jìn)行檢測。通常這類方法首先使用MTCNN[9]等算法首先對數(shù)據(jù)集中的人臉區(qū)域進(jìn)行提取，而后將其作為二分類問題對神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練[10-12]。Afchar等人基于CNN提出MesoNet[13]將卷積層替換為Inception模塊使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征進(jìn)而進(jìn)行分類。Bonettini等人結(jié)合性能更好、表達(dá)能力更強(qiáng)的EfficientNet[14-15]提出一種基于集成學(xué)習(xí)和注意力機(jī)制的檢測算法。同時關(guān)注到卷積神經(jīng)網(wǎng)絡(luò)僅關(guān)注視頻中的幀數(shù)據(jù)而忽略了視頻數(shù)據(jù)格式中重要的時間特性，時空不一致性檢驗也變成深度偽造檢測領(lǐng)域中一個重要研究方向[16]。在跨數(shù)據(jù)集檢測方面Qian等將離散余弦變換(DCT)應(yīng)用于頻域特征轉(zhuǎn)換，進(jìn)而在提取特征的基礎(chǔ)上使用SVM方法進(jìn)行分類，在低分辨率偽造視頻中表現(xiàn)出了巨大的進(jìn)展[17]。Luo等人提出一種基于高頻信號特征的檢測模型，并創(chuàng)新性地將圖像高頻信號和正常信號相關(guān)聯(lián)，在跨數(shù)據(jù)集測試中表現(xiàn)出了特別的泛化性能[18]。傳統(tǒng)的有監(jiān)督學(xué)習(xí)模式往往受限于數(shù)據(jù)集中的數(shù)據(jù)偏置，只能針對于數(shù)據(jù)集中有限的偽造生成方法進(jìn)行檢測，Chen等提出一種自監(jiān)督訓(xùn)練范式，使得模型不僅能辨真假，還可以分辨?zhèn)卧祛愋图皡^(qū)域，在多個基線數(shù)據(jù)集上達(dá)到了較好的效果[14]。Bonettini等綜合使用模型集成方法和視覺注意力機(jī)制，將多個卷積神經(jīng)網(wǎng)絡(luò)檢測模型進(jìn)行集成，在DFDC數(shù)據(jù)集上取得了目前最優(yōu)的檢測效果。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，Transformer架構(gòu)更能捕捉全局視覺信息，模型可解釋性有了較大提升。但模型十分復(fù)雜，訓(xùn)練難度較大，模型對于未知方法偽造的視頻檢測魯棒性較差。

基于此，本文模型在未使用模型集成、知識蒸餾等復(fù)雜模型方法的基礎(chǔ)上，達(dá)到了與目前最優(yōu)檢測效果相當(dāng)?shù)臋z測水平。消融實驗還證明了本文采用的多種數(shù)據(jù)增強(qiáng)方式的有效性，Transformer架構(gòu)所具備的良好可解釋性，以及全局局部融合機(jī)制對于模型檢測速度及精度的提升作用。特別地，對模型關(guān)注區(qū)域的可視化可以發(fā)現(xiàn)，模型針對于人臉輪廓、五官區(qū)域注意力分?jǐn)?shù)較高，證明了模型良好的可解釋性。

1 基于三維人臉數(shù)據(jù)增強(qiáng)的深度偽造檢測的方法

1.1 深度偽造數(shù)據(jù)增強(qiáng)的方法

數(shù)據(jù)增強(qiáng)是指在不額外增加訓(xùn)練數(shù)據(jù)的條件下，通過使用多種數(shù)據(jù)增強(qiáng)方法對原有數(shù)據(jù)集進(jìn)行豐富和擴(kuò)展，從而顯著提升訓(xùn)練模型泛化能力的一種常用方法。對于人臉圖像而言，不同的拍攝時間、地點、光照強(qiáng)度以及圖像對比度都會使得圖像呈現(xiàn)出較大的差異，因此數(shù)據(jù)增強(qiáng)方法的運(yùn)用對于提升檢測模型的泛化能力至關(guān)重要[3]。

在模型訓(xùn)練過程中，結(jié)合人臉的視覺特性以及偽造視頻特點，采用圖像旋轉(zhuǎn)、水平翻轉(zhuǎn)、邊緣拓展、隨機(jī)裁剪、尺寸縮放、色彩抖動、3D映射及仿射變換等數(shù)據(jù)增強(qiáng)手段。

首先獲取待增強(qiáng)的深度偽造視頻數(shù)據(jù)，對深度偽造視頻數(shù)據(jù)中每一幀都進(jìn)行放縮，進(jìn)而得到候選臉部窗口。再根據(jù)R-net網(wǎng)絡(luò)對候選臉部窗口進(jìn)行過濾，得到校準(zhǔn)篩選后的人臉候選框以除去大量的非人臉框，能進(jìn)一步篩選關(guān)鍵信息。利用人臉候選框?qū)ι疃葌卧煲曨l數(shù)據(jù)進(jìn)行篩選，得到篩選后的視頻數(shù)據(jù)。再對篩選后的視頻數(shù)據(jù)進(jìn)行圖像幾何空間變換和圖像隨機(jī)裁剪，裁剪時可只截取部分器官，從而幫助模型關(guān)注與人臉局部細(xì)節(jié)增強(qiáng)模型的泛化能力和檢測精度，得到鏡像式增強(qiáng)后的視頻數(shù)據(jù)。

增強(qiáng)后的視頻數(shù)據(jù)：

其中，wkhk表示裁剪后圖像的面積，IxIy表示翻轉(zhuǎn)后的視頻數(shù)據(jù)中的圖像的面積大小，(w，h)表示圖像拼接點，(xk，yk)表示截取圖像的位置。

再通過使用torchvision中的ColorJitter函數(shù)完成色彩抖動，對圖像的亮度(brightness)、對比度(contrast)、飽和度 (saturation)以及色度(hue)進(jìn)行調(diào)整，使得訓(xùn)練數(shù)據(jù)更加多樣化。算法還采用高斯模糊以一定比率對原始圖像進(jìn)行模糊化操作，從而輔助模型捕捉低分辨率條件下的偽造視頻特征。模糊操作后的增強(qiáng)圖像相較于原始圖像出現(xiàn)明顯模糊。

同時，人類視覺認(rèn)知機(jī)制相較于計算機(jī)視覺一個顯著優(yōu)勢即人眼的三維認(rèn)知模式，因此將視頻中平面圖像轉(zhuǎn)化為立體圖像，從而多視圖多視角的觀察圖像不失為一種仿生數(shù)據(jù)增強(qiáng)方式[19]。常見三維圖像增強(qiáng)方式如圖1所示。

圖1 3D圖像增強(qiáng)流程圖

對模糊后的視頻數(shù)據(jù)進(jìn)行3D映射增強(qiáng)，得到映射增強(qiáng)后的視頻數(shù)據(jù)，在數(shù)據(jù)增強(qiáng)模塊中采用比較正交投影將偽裝視頻數(shù)據(jù)中二維輪廓點與三位模型面進(jìn)行正交投影(無圖)以提高偽裝視頻數(shù)據(jù)檢測模型的檢測精度和泛化能力，得到二維輪廓點在三維物體平面上的投影點，其投射點為：

其中，R，t，s為姿態(tài)參數(shù)，其中R∈R3×3為旋轉(zhuǎn)矩陣，t∈R2×2為二維平移向量，s為攝像機(jī)焦距與虛擬攝像機(jī)與物體的平均距離之比，s∈R+，v表示二維輪廓點的坐標(biāo)。所述映射方式(比較正交投影)為：

Econ[v(s)]}ds

(3)

其中，Etotal[v(s)]為總映射量，Eini[v(s)]為初始輪廓映射量，Eimage[v(s)]為圖像上輪廓的映射量，Econ[v(s)]為方差相關(guān)項。

采用凸包邊緣演化的思想，使用連續(xù)曲線表達(dá)邊緣，定義映射公式，根據(jù)映射公式對所述影點進(jìn)行映射，得到增強(qiáng)后的偽裝視頻數(shù)據(jù)：

最終可得增強(qiáng)后效果如圖2所示。

1.2 面部區(qū)域檢測算法研究

深度偽造視頻常通過對面部數(shù)據(jù)進(jìn)行篡改從而達(dá)到換臉效果，因此在檢測任務(wù)中可采用人臉檢測技術(shù)對人臉相關(guān)區(qū)域進(jìn)行摳取，從而精簡模型的訓(xùn)練數(shù)據(jù)，加速模型收斂。人臉檢測包含多種成熟算法，本實驗采用使用較為廣泛的多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)MTCNN算法對視頻中的人臉區(qū)域圖像進(jìn)行檢測，從而得到原始視頻中的逐幀人臉圖像數(shù)據(jù)作為模型訓(xùn)練輸入。

MTCNN算法是一種較為典型的面部檢測算法，較好地權(quán)衡了檢測速度和精度，較為適用于本次大規(guī)模數(shù)據(jù)集人臉圖像的處理。該算法在實現(xiàn)過程中主要包含第一階段利用圖像金字塔結(jié)構(gòu)將視頻中的每一幀進(jìn)行放縮，進(jìn)而輸入P-Net獲取候選臉部窗口和邊界框回歸向量。第二階段使用R-net對第一階段計算得到的候選窗口進(jìn)行過濾得到校準(zhǔn)篩選后的人臉候選框，進(jìn)而在第三階段輸入O-Net對識別結(jié)果進(jìn)行進(jìn)一步核驗，最終得到人臉檢測結(jié)果[9]，其具體算法實現(xiàn)過程如圖3所示。

圖3 MTCNN算法運(yùn)行流水線[9]

而后將MTCNN算法應(yīng)用部署在數(shù)據(jù)集的處理中，將視頻輸入人臉檢測算法模型中得到逐幀提取后的面部區(qū)域如圖4所示。

圖4 MTCNN對數(shù)據(jù)集處理后效果示意圖

1.3 融合EfficientNet和Transformer架構(gòu)的深度偽造檢測模型

1.3.1 基于EfficientNet的特征抽取方法

卷積神經(jīng)網(wǎng)絡(luò)因其獨特的視覺仿生結(jié)構(gòu)和極佳的圖像識別效果，是計算機(jī)視覺領(lǐng)域最為重要和基礎(chǔ)的算法數(shù)學(xué)模型。在實驗過程中，綜合考量模型學(xué)習(xí)能力及計算效率，實驗擬首先基于EfficientNet架構(gòu)提取深度偽造視頻圖像特征，進(jìn)而進(jìn)行后續(xù)操作。

實踐表明，卷積神經(jīng)網(wǎng)絡(luò)在提取圖像特征、進(jìn)行圖像分類以及模型可解釋性方面有其獨特的優(yōu)勢。在深度學(xué)習(xí)算法尚未流行之前，分類任務(wù)大多使用人工設(shè)計的特征，但這些方法具有明顯的人工設(shè)計痕跡，需要加入大量的先驗知識，泛化效果不佳。而卷積神經(jīng)網(wǎng)絡(luò)則使用多個卷積層和池化層使用多個卷積核對目標(biāo)圖像進(jìn)行學(xué)習(xí)和特征抓取，且反向傳播調(diào)整參數(shù)的過程可以確保模型學(xué)到具有任務(wù)區(qū)分性的特征表示。

隨著訓(xùn)練圖像分辨率的不斷提升和分類任務(wù)的不斷復(fù)雜化，更深層次、更大卷積核的大型卷積神經(jīng)網(wǎng)絡(luò)不斷涌現(xiàn)。但模型復(fù)雜化的同時也導(dǎo)致了模型參數(shù)量和計算復(fù)雜度的急劇上升，主流卷積神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率隨模型參數(shù)量變化情況如圖5所示。

圖5 模型識別準(zhǔn)確率隨模型參數(shù)量對比圖[14]

在本實驗中，由于訓(xùn)練數(shù)據(jù)量龐大且偽造視頻特征抽象層次較高，采用EfficientNet進(jìn)行特征抽取。EfficientNet是由Tan等提出一種復(fù)合擴(kuò)展模型[14]，通過綜合考量訓(xùn)練數(shù)據(jù)圖像分辨率、網(wǎng)絡(luò)深度及網(wǎng)絡(luò)寬度，使得模型能夠在提升識別準(zhǔn)確率的同時盡可能降低參數(shù)量及復(fù)雜度，該型網(wǎng)絡(luò)也因其效率性被稱為EfficientNet。

本文中提出的模型參數(shù)復(fù)合擴(kuò)展[14]公式如下：

(5)

經(jīng)試驗分析得，通過復(fù)合擴(kuò)展后的模型在特征抽取效果、識別準(zhǔn)確度以及計算效率方面表現(xiàn)更加優(yōu)異，其相較于基線模型復(fù)合擴(kuò)展后效果如圖6所示。

圖6 類激活熱力圖[14]

由于數(shù)據(jù)集總數(shù)據(jù)量大，而且算力及儲存空間有限，實驗中采用EfficientNet中的基線模型EfficientNet-B0作為特征提取的骨干網(wǎng)絡(luò)。

且在本次實驗中，由于深度偽造檢測任務(wù)從本質(zhì)上來說仍是針對特定目標(biāo)進(jìn)行分類的下游任務(wù)，因此模型在實際部署時采用經(jīng)在ImageNet等大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后的模型進(jìn)行微調(diào)，而非從頭開始對模型進(jìn)行訓(xùn)練。

1.3.2 基于Transformer架構(gòu)的圖像分類模型

本文基于Transformer模型提出一種融合EfficientNet網(wǎng)絡(luò)提取特征的深度偽造檢測方法，該模型一方面可以在不使用模型集成、知識蒸餾等復(fù)雜方法的基礎(chǔ)上達(dá)到較好的檢測效果，另一方面，相較于傳統(tǒng)的純卷積神經(jīng)網(wǎng)絡(luò)達(dá)到了更優(yōu)的泛化能力，并在模型可解釋性上取得良好的效果。

自注意力是一種捕捉序列中不同位置相關(guān)性的計算機(jī)制，因其代替循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語言處理、機(jī)器翻譯等領(lǐng)域取得巨大突破而廣泛應(yīng)用。因此從本質(zhì)上來講，注意力機(jī)制就是一系列注意力分配系數(shù)，即關(guān)注權(quán)重系數(shù)。注意力機(jī)制分為自注意力機(jī)制以及多頭注意力機(jī)制。以上過程可以被數(shù)學(xué)描述為：

Attention=f(g(x)，x)

(6)

其中g(shù)(x)表示針對于關(guān)注區(qū)域的注意力分?jǐn)?shù)，x代表輸入圖像數(shù)據(jù)，最終輸出f(g(x)，x)為最終加權(quán)后結(jié)果。針對于自注意力機(jī)制而言，可表示為：

Q，K，V=Linear(x)

(7)

(8)

其計算過程可形式化為圖7所示過程。

其中多頭注意力(Multi-head Attention)可以使得模型能融合多個表示空間內(nèi)的信息，從而增強(qiáng)模型的學(xué)習(xí)表達(dá)能力。其計算過程可表示為

MultiHead(Q，K，V)=Concat(head1，…，headh)WO

(9)

(10)

其中映射矩陣的參數(shù)為WQi∈Rdmodel×dk，WKi∈Rdmodel×dk，WVi∈Rdmodel×dv，WO∈Rhdv×dmodel，h表示多頭注意力中的頭數(shù)。

綜上所述，自注意力機(jī)制通過捕捉全局的信息來獲得更大的感受野和上下文信息，是一種能讓模型對重要信息重點關(guān)注并充分學(xué)習(xí)吸收的技術(shù)。

Transformer模型不同于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)以及循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)，是一種完全基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，更善于捕捉長距離的序列依賴特征[21]。其中，Transformer架構(gòu)主體由多頭注意力模塊和前饋網(wǎng)絡(luò)模塊((Feed-Forward Networks，F(xiàn)FN))組成，主要包含了兩個線性層及一個ReLU激活層。可表示為：

(11)

其中，為防止模型出現(xiàn)梯度消失或爆炸，模塊中還加入了殘差連接機(jī)制[22]LayerNorm(x+Sublayer(x))。而后多個上述模塊組合即可得到最終的Transformer模型。但僅能應(yīng)用于CIFAR這樣的小圖像數(shù)據(jù)集中，且此模型收斂速度慢，訓(xùn)練難度高。其中計算復(fù)雜度隨序列長度變化復(fù)雜度如表1所示。

表1 復(fù)雜度對比

后續(xù)解決方案一類是基于卷積神經(jīng)網(wǎng)絡(luò)提取特征，而后結(jié)合Transformer架構(gòu)，取得了相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型更優(yōu)、更具解釋性的結(jié)果[23]。另一類模型則直接延續(xù)Transformer最原始的思路，直接將圖像切分為圖像塊，進(jìn)而降低圖像拉平后的序列長度，使得模型能夠很好地應(yīng)用于計算機(jī)視覺領(lǐng)域[21]。但第二類應(yīng)用方法[24]對硬件計算資源和數(shù)據(jù)需求較高，需要在大型數(shù)據(jù)集上使用GPU計算集群訓(xùn)練數(shù)周時間，只能應(yīng)用在大型研究機(jī)構(gòu)或公司中，本文限于計算資源和時間主要采用第一類方法，即融合卷積神經(jīng)網(wǎng)絡(luò)和Transformer架構(gòu)的模型結(jié)構(gòu)。

1.3.3 融合EfficientNet與Transformer架構(gòu)的深度偽造檢測算法

綜合考慮模型性能、算力資源及時間限制，模型采用預(yù)訓(xùn)練后的EfficientNet-B0作為圖像特征提取器。然后將提取得到的特征即7×7的像素塊經(jīng)過線性層映射為特征向量，而后輸入Vision Transformer中進(jìn)行運(yùn)算，最終得到CLS token[25]輸入到線性分類器中進(jìn)行二分類。模型架構(gòu)示意圖如圖8所示。

圖8 檢測模型架構(gòu)圖

其中模型輸入數(shù)據(jù)為經(jīng)過MTCNN算法識別后的人臉圖像，作為下游檢測任務(wù)，實驗中選用經(jīng)過預(yù)訓(xùn)練后的EfficientNet-B0模型，后續(xù)訓(xùn)練過程主要訓(xùn)練Transformer部分，并對卷積神經(jīng)網(wǎng)絡(luò)部分進(jìn)行微調(diào)。其中視頻數(shù)據(jù)集中還存在部分視頻包含多個人臉圖像，模型采取“一票否決”的推斷策略，即若其中一人檢測其為偽造圖像，則判定該視頻為偽造后視頻，其推斷示意圖如圖9所示。

圖9 模型推斷策略示意圖

在實驗中發(fā)現(xiàn)，單純基于小像素塊的方法，相當(dāng)一部分偽造圖像整體輪廓即表現(xiàn)出明顯的不一致性。尤其是針對于Faceswap方法偽造的視頻圖像，往往整個臉部區(qū)域與其他區(qū)域呈現(xiàn)出明顯區(qū)別。因此，同時將模型的全局信息及局部信息同時融入模型進(jìn)行學(xué)習(xí)成為模型的一個重要研究方向。

本文在上述模型的基礎(chǔ)上提出一種Global-local交互的融合注意力模型，將輸入圖像經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)后分成兩個分支，一個分支為Global-branch，提取到64×64大小的特征圖；另一個分支為Local-branch，提取到7×7大小的特征圖，而后將兩個特征圖經(jīng)過線性映射后輸入Transformer模型中，最后再融合計算注意力。模型詳細(xì)結(jié)構(gòu)如圖10所示。

圖10 基于Global-local交互的融合注意力模型

2 實驗結(jié)果及分析

2.1 實驗準(zhǔn)備

2.1.1 實驗環(huán)境配置

由于深度偽造視頻數(shù)據(jù)集數(shù)據(jù)量較大，總數(shù)據(jù)量達(dá)520 GB，在使用MTCNN檢測算法提取后總數(shù)據(jù)量達(dá)2 TB，因此本文中實驗主要基于并行科技公司提供的云計算環(huán)境，其中共包含8塊32 GB顯存的NVIDIA Tesla V100顯卡及4 TB存儲空間，基本能滿足實驗需求。

本文采用Facebook公司在科學(xué)計算包Torch下進(jìn)行改進(jìn)的輕量化框架Pytorch框架進(jìn)行實驗，這種框架主體基于PyThon，相比其他語言更加簡單透明，也擁有簡單的建模過程，同時其在設(shè)計上支持自動的反向傳播梯度計算，使得網(wǎng)絡(luò)的設(shè)計與編程過程大大簡化。與 Google 公司的大型框架TensorFlow相比，PyTorch更加輕量易部署，具有一定的優(yōu)勢。本文模型代碼基于PyTorch編寫，使用VSCode平臺進(jìn)行組織和編輯。

2.1.2 實驗數(shù)據(jù)

考慮到結(jié)果可比較性以及數(shù)據(jù)集代表性，實驗主要使用DFDC (Deepfake Detection Challenge)、Celeb-DF及FaceForensics++三個數(shù)據(jù)集，其中DFDC數(shù)據(jù)量最大、FF++包含方法最豐富，Celeb-DF偽造視覺效果最好。因此本文采用這三個數(shù)據(jù)集進(jìn)行實驗使用MTCNN對數(shù)據(jù)集中人臉圖像進(jìn)行提取，進(jìn)而在模型訓(xùn)練過程中使用數(shù)據(jù)增強(qiáng)手段對人臉圖像進(jìn)行增強(qiáng)。進(jìn)而，后續(xù)實驗在對數(shù)據(jù)集中面部相關(guān)區(qū)域進(jìn)行抽取后，使用數(shù)據(jù)增強(qiáng)技術(shù)對抽取得到人臉圖像數(shù)據(jù)進(jìn)行增強(qiáng)，進(jìn)而開展后續(xù)檢測模型的訓(xùn)練和鑒別。

2.1.3 相關(guān)參數(shù)設(shè)置

模型采用均方根傳遞(Root Mean Square Prop，RMSProp)優(yōu)化方法[26]對模型參數(shù)進(jìn)行更新。RMSProp優(yōu)化器是隨機(jī)梯度下降方法的一種變體，通過計算模型梯度，進(jìn)而對模型參數(shù)進(jìn)行動態(tài)更新。該優(yōu)化器針對梯度震動較大的項減小其更新速度，對于震動幅度較小的項加速其下降速度，是一種有效且使用的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，其更新策略如下：

(12)

gi=momentum×gi+(1-momentum)i

(13)

(14)

wi=wi+Δi

(15)

同時，學(xué)習(xí)率(learning rate)是神經(jīng)網(wǎng)絡(luò)訓(xùn)練中重要的超參數(shù)之一，在本文的模型訓(xùn)練過程中選用動態(tài)學(xué)習(xí)率根據(jù)模型訓(xùn)練的輪數(shù)動態(tài)調(diào)整其學(xué)習(xí)率大小。結(jié)合模型特點和收斂情況，本文選用指數(shù)學(xué)習(xí)率模式。

模型針對于深度偽造檢測中的二分類問題設(shè)置損失函數(shù)為交叉熵?fù)p失，并使用PyTorch中的BCEWithLogitsLoss函數(shù)進(jìn)行計算。其計算公式為：

loss=p·y·logσ(x)+(1-y)·log(1-σ(x))

(16)

其中σ表示在模型輸出的基礎(chǔ)上增加Sigmoid層進(jìn)行平滑化，p表示正樣例的權(quán)重。在本實驗中，由于偽造樣本和真實樣本的數(shù)量并不完全對等，在實際代碼實現(xiàn)時設(shè)置p為正負(fù)樣本數(shù)量之比，從而確保模型對于偽造圖像檢測的召回率。

2.2 實驗結(jié)果分析

最終，本文首先使用三維人臉數(shù)據(jù)增強(qiáng)算法及人臉檢測方法對DFDC、FF++及Celeb-DF三個數(shù)據(jù)集進(jìn)行預(yù)處理。然后使用EfficientNet作為骨干特征提取網(wǎng)絡(luò)，融合Transformer架構(gòu)融合作為最終檢測模型。而后使用PyTorch對上述過程編程實現(xiàn)，將損失函數(shù)設(shè)置為BCEWithLogitsLoss，使用RMSProp優(yōu)化器對模型參數(shù)進(jìn)行優(yōu)化。

最終可得模型在DFDC數(shù)據(jù)集上的測試結(jié)果如表2所示。

表2 DFDC數(shù)據(jù)集測試結(jié)果對比

模型在FaceForensics++數(shù)據(jù)集上的測試結(jié)果如表3所示。

表3 FaceForensics++(c23)數(shù)據(jù)集測試結(jié)果對比(%)

模型在Celeb-DF數(shù)據(jù)集上的測試結(jié)果如表4所示。

表4 Celeb-DF數(shù)據(jù)集測試結(jié)果對比(%)

根據(jù)上述結(jié)果對比可得，模型在檢測任務(wù)上取得了較好的效果。其中，在DFDC數(shù)據(jù)集上表現(xiàn)效果相較于基于模型集成和EfficientNet-B7的方法表現(xiàn)仍有差距。其原因可能是因為所引用論文中模型運(yùn)用了大模型或多個模型集成，其檢測結(jié)果往往在大規(guī)模計算集群上計算數(shù)周才能得到。而本文中僅使用4塊GPU并行運(yùn)算三天左右，所得出的結(jié)果可能尚有一定的優(yōu)化空間。

值得注意的是，由于DFDC中提到的兩個大模型并未在FaceForensics++及Celeb-DF數(shù)據(jù)集上做測試。因此本文與其他已發(fā)表成果進(jìn)行了對比，可以明顯發(fā)現(xiàn)模型取得了較好的檢測效果。但是在NeuralTextures及Celeb-DF上測試準(zhǔn)確率仍低于80%，仍有一定的改進(jìn)空間。在觀看兩個數(shù)據(jù)集中視頻發(fā)現(xiàn)，其對應(yīng)視頻偽造痕跡較少，看起來真假難分，邊緣不一致性十分不明顯，給模型檢測帶來了一定的難度。

2.2.1 模型消融實驗

為檢驗本文所提出方法對于增強(qiáng)模型泛化能力，提升模型檢測效果及模型可解釋性所起到的作用，實驗過程中還對數(shù)據(jù)增強(qiáng)方法、Transformer架構(gòu)及融合注意力機(jī)制對于深度偽造檢測效果展開了消融實驗。實驗證實，三種方法都能在一定程度上提升模型的泛化能力、提升模型檢測精度，證明了方法的有效性。

2.2.2 融合Transformer架構(gòu)對于檢測效果的影響

深度偽造檢測中的可解釋性問題一直是模型致力于解決的問題。Afchar等曾在提出MesoNet檢測方法[30]時對卷積神經(jīng)網(wǎng)絡(luò)中的激活關(guān)注區(qū)域進(jìn)行可視化，可得效果如圖11所示。

圖11 卷積神經(jīng)網(wǎng)絡(luò)關(guān)注區(qū)域激活圖[31]

其中，雖能觀察到其關(guān)注區(qū)域在人臉相關(guān)區(qū)域，但是細(xì)節(jié)特征并不明顯，無法有效解釋模型判斷所依據(jù)的區(qū)域和偽造類型。而上一節(jié)中基于Transformer架構(gòu)的注意力可視化則可明顯發(fā)現(xiàn)模型對于關(guān)鍵器官、人臉邊緣的關(guān)注度，證明了Transformer架構(gòu)相較于傳統(tǒng)模型的良好可解釋性。

另一方面，根據(jù)上一小節(jié)中與Face X-ray[8]的對比不難發(fā)現(xiàn)，即使不使用數(shù)據(jù)增強(qiáng)，模型仍具有較強(qiáng)的泛化能力，說明了模型相較于傳統(tǒng)的檢測模型表現(xiàn)出的較強(qiáng)泛化能力。

而后還針對Transformer架構(gòu)中的不同注意力頭，使用注意力可視化方法[29]對單個圖片的激活熱力圖進(jìn)行評估分析，可得可視化效果如圖12所示。

圖12 模型注意力區(qū)域可視化

由上圖12可觀察到，模型不同注意力頭對人臉的不同區(qū)域的激活有所側(cè)重。人臉主體特征、邊緣輪廓以及眼口鼻等關(guān)鍵器官是檢測推斷的重要依據(jù)，可以根據(jù)不同人臉圖像的注意力可視化圖分析對應(yīng)圖像的偽造類型和區(qū)域，展示了模型一定程度的可解釋性。

2.2.3 數(shù)據(jù)增強(qiáng)方法對于檢測效果的影響

數(shù)據(jù)增強(qiáng)的主要目的即針對于有限樣本提出一種擴(kuò)展方法，使得模型不僅僅局限于數(shù)據(jù)集中的圖片類型、顏色分布以及其他偏置，還具有較好的泛化能力，使得模型能夠較好地遷移到其他數(shù)據(jù)集。

本文主要采用三種方法進(jìn)行對比，第一種本文(w/o)是僅進(jìn)行Resize和Normalization的數(shù)據(jù)處理方式，第二種本文(w)是使用圖像旋轉(zhuǎn)、亮度變化、隨機(jī)裁剪等操作的增強(qiáng)方式，第三種是在第二種的基礎(chǔ)上增加3D投射的增強(qiáng)方式。由于時間限制，數(shù)據(jù)增強(qiáng)方式對于模型的效果僅在FaceForensics++四個數(shù)據(jù)集上分別進(jìn)行訓(xùn)練，進(jìn)而在DFDC及Celeb-DF兩個數(shù)據(jù)集上進(jìn)行評估，其消融實驗結(jié)果如表5所示。

表5 數(shù)據(jù)增強(qiáng)效果對比

由表5可得，數(shù)據(jù)增強(qiáng)對于提升模型的泛化能力起到了顯著的作用，相較于無數(shù)據(jù)增強(qiáng)，后兩種數(shù)據(jù)增強(qiáng)方式均大幅提升了在未觀測數(shù)據(jù)集上的檢測效果。其中使用3D投影方式進(jìn)行增強(qiáng)的方式相較于傳統(tǒng)的數(shù)據(jù)增強(qiáng)在一定程度上有所提升，但在部分測試任務(wù)上表現(xiàn)并不出色，可能是由于該數(shù)據(jù)增強(qiáng)方式過于泛化，致使模型學(xué)到過多噪聲特征。下一步擬為該數(shù)據(jù)增強(qiáng)方式增加正則化限制，防止其添加過多噪聲。

2.2.4 全局局部融合機(jī)制對于檢測效果的影響

根據(jù)上文中實驗結(jié)果分析不難發(fā)現(xiàn)，全局局部融合機(jī)制能夠取得相較于基礎(chǔ)模型更優(yōu)的檢測效果。且在相同訓(xùn)練任務(wù)中可以發(fā)現(xiàn)，融合機(jī)制能使得模型更加快速地收斂并取得更優(yōu)的檢測效果，訓(xùn)練過程如圖13所示。

圖13 全局局部融合機(jī)制對于檢測效果影響

3 結(jié)論

本文基本完成了基于三維人臉數(shù)據(jù)深度偽造增強(qiáng)方法以及增強(qiáng)的深度偽造檢測方法。融合Vision Transformer模型和EfficientNet特征，采用多GPU并行化訓(xùn)練模型，綜合集成MTCNN人臉檢測方法及EfficientNet特征提取方法，使得模型計算效率顯著提升，較好地權(quán)衡了檢測準(zhǔn)確率及速度，便于實際部署應(yīng)用，使得模型在不需要知識蒸餾及模型集成的基礎(chǔ)上能達(dá)到較好的檢測效果，且加入注意力頭的可視化，進(jìn)一步提升了模型的可解釋性。對數(shù)據(jù)增強(qiáng)技術(shù)進(jìn)行融合運(yùn)用，創(chuàng)新性地將3D人臉圖像映射應(yīng)用于模型中，較好地提升了模型的泛化能力。提出一種基于local-global機(jī)制的融合注意力方法，使得模型既能捕捉局部細(xì)節(jié)信息，又能學(xué)習(xí)人臉全局特征，進(jìn)一步提升了模型的學(xué)習(xí)能力。在未來中可以采用自監(jiān)督學(xué)習(xí)等更加有效的學(xué)習(xí)方式對深度偽造視頻特征進(jìn)行學(xué)習(xí)，從而學(xué)到偽造視頻相較于真實視頻更本質(zhì)更泛化的圖像特征。另一方面，可以對擬保護(hù)的人物如重要政治人物、軍事目標(biāo)等視頻采用主動防御技術(shù)對視頻進(jìn)行保護(hù)，防止主流視頻偽造手段的篡改，提升偽造視頻的門檻及鑒別度，達(dá)到主動保護(hù)的目的。同時，模型的輕量化也在成為一個重要的研究方向[31]。