基于解耦空間異常檢測的人臉活體檢測算法

徐姚文 毋立芳 劉永洛 王竹銘 李 尊

（北京工業(yè)大學(xué)信息學(xué)部，北京 100124）

1 引言

人臉活體檢測是一個典型的開集識別問題，攻擊手段層出不窮且日新月異［1］?，F(xiàn)有的數(shù)據(jù)集幾乎不可能包含所有攻擊類型，盡管有研究者在收集數(shù)據(jù)時盡可能全面地考慮并設(shè)置攻擊類型，但依舊存在新的攻擊方式未被發(fā)現(xiàn)，并且用于呈現(xiàn)人臉的欺騙媒介也有無窮無盡的樣式，包括不同的材質(zhì)（電子顯示屏、打印紙張、三維面具等）、不同分辨率（屏幕分辨率、打印機(jī)分辨率等）、不同色彩表現(xiàn)（色彩飽和度、亮度、對比度等）。因此，現(xiàn)有的人臉活體檢測方法是在有限的數(shù)據(jù)上學(xué)習(xí)和推理活體與假體間的差異，并嘗試推廣到未知的數(shù)據(jù)上進(jìn)行人臉活體檢測。

近些年，主流方法從兩個方面進(jìn)行研究：一種是探索魯棒的泛化性能好的特征，另一種是收集或者生成更多數(shù)據(jù)來提高模型的域適應(yīng)能力。在第一類工作中，研究者探索了有判別力的信息作為活體檢測的重要依據(jù)，例如人臉深度［2］、遠(yuǎn)程光電容積描記［3］和欺騙噪聲［4］。還有研究者借助了其他的硬件設(shè)備獲取了一些魯棒的信息，如使用近紅外相機(jī)得到紅外圖像［5］、使用光場相機(jī)［6］獲取目標(biāo)反射光在空間中的位置以及方向等信息、使用深度相機(jī)［7］直接獲取目標(biāo)的不同區(qū)域與相機(jī)的距離。這些線索和信息確實能夠很大程度上的提高人臉活體檢測的性能，但是面對復(fù)雜的應(yīng)用場景、多變的攻擊類型和不受控制的采集環(huán)境，這些信號可能會淹沒在一些圖像中，或者成為誤導(dǎo)信號，面對復(fù)雜場景的人臉活體檢測性能有限。在第二類工作中，研究者們結(jié)合多個數(shù)據(jù)庫來探索域無關(guān)的活體信息。文獻(xiàn)［8］通過學(xué)習(xí)多個數(shù)據(jù)庫中共同的可區(qū)分性特征，并在判別器的對抗學(xué)習(xí)機(jī)制下使特征生成器生成的特征不具有域的特征，即判別器分不清特征的來源。文獻(xiàn)［9］則通過生成式對抗網(wǎng)絡(luò)（GAN）生成了更多的基于數(shù)字媒介的假體攻擊人臉，模擬真實的采集場景，由此來提高模型泛化能力。這種利用多個數(shù)據(jù)庫或者生成更多數(shù)據(jù)來提高模型泛化能力的方法，本質(zhì)上是一種數(shù)據(jù)驅(qū)動的方法。當(dāng)數(shù)據(jù)可以涵蓋所有場景時，強(qiáng)特征表達(dá)能力的深度學(xué)習(xí)模型可以取得不錯的性能，但在人臉活體檢測中，數(shù)據(jù)增強(qiáng)或者采集仍然無法涵蓋所有可能的攻擊形式，人臉活體檢測系統(tǒng)仍然面臨被未知欺騙類型攻破的危險。

在人臉活體檢測中假體攻擊具有多樣性，這種多樣性使得假體樣本很難在特征空間中形成一個緊湊的類，而且也會導(dǎo)致活體樣本和假體樣本之間的有效決策邊界建模不準(zhǔn)確。此外，已知的假體樣本學(xué)習(xí)的決策邊界應(yīng)用在未知的假體樣本上性能不佳。為了應(yīng)對這一問題，研究者們借鑒了異常檢測（anomaly detection）的想法，將假體攻擊看作是異常樣本，將人臉活體檢測定義為一個單類特征（活體特征）的識別問題。文獻(xiàn)［10］指出人臉活體檢測的單類識別的特點：1）由于只有正樣本（活體）被用來建立特征模型，假體攻擊的多樣性對檢測性能的不良影響被最小化；2）通過增加正樣本數(shù)量就可以提高系統(tǒng)性能，更容易的擴(kuò)展訓(xùn)練數(shù)據(jù)；3）異常檢測系統(tǒng)只要當(dāng)觀測結(jié)果偏離正常特征（活體人臉）時，就將其標(biāo)記為異常（假體攻擊），因此基于異常檢測的人臉活體檢測系統(tǒng)有能力檢測出未見過的攻擊。文獻(xiàn)［11］使用混合高斯模型（Gaussian mix?ture model，GMM）建模特征分布并使用EM 算法優(yōu)化，得到活體人臉特征分布進(jìn)行異常檢測。文獻(xiàn)［12］組合多個單類分類器、多種CNN 特征提取器以及人臉的多個區(qū)域，并使用遺傳算法優(yōu)化融合權(quán)重。文獻(xiàn)［13］則使用高斯模型建立了一個偽負(fù)類特征幫助正樣本的單類訓(xùn)練。文獻(xiàn)［14］使用深度特征進(jìn)行單分類，提出了用戶特定模型。這些基于異常檢測的方法僅使用活體人臉數(shù)據(jù)構(gòu)建單類特征。原始異常檢測的單類訓(xùn)練方法無法將異常檢測的優(yōu)勢發(fā)揮在人臉活體檢測任務(wù)中。將異常檢測應(yīng)用于人臉活體檢測面臨了問題（1）：僅利用活體人臉數(shù)據(jù)訓(xùn)練的異常檢測方法性能有限，如果使用現(xiàn)有的假體攻擊數(shù)據(jù)輔助異常檢測模型建立正常樣本（活體人臉）的特征空間，該如何確保假體人臉數(shù)據(jù)對異常檢測的影響最小化？

異常檢測是基于觀測樣本偏離正常樣本（活體人臉）的程度來做推斷的，因此保證活體人臉的特征準(zhǔn)確表達(dá)以及跨域時保持特征的一致性非常重要?；铙w人臉在活體檢測中不具備多樣性，數(shù)據(jù)是一個閉集，這一點符合異常檢測的基本假設(shè)，但考慮環(huán)境、采集設(shè)備等因素，活體人臉數(shù)據(jù)又是一個開集，這一點不利于異常檢測。實際上，現(xiàn)有的基于異常檢測的方法都沒有考慮環(huán)境、采集設(shè)備等因素，然而這些不確定因素又確實存在于不同數(shù)據(jù)庫之間，并且影響算法的泛化能力。所以基于異常檢測的人臉活體檢測面臨了問題（2）：異常檢測的性能取決于正常樣本（活體人臉）的特征表達(dá)，如何保證來自不同域的活體人臉特征不受環(huán)境、采集設(shè)備等因素影響而保持一致性？

本文提出了基于解耦空間異常檢測的人臉活體檢測算法，其中包括單中心對比損失和特征解耦兩個關(guān)鍵技術(shù)。為了解決上述問題（1），本文設(shè)計的單中心對比損失實現(xiàn)了假體樣本參與的異常檢測模型訓(xùn)練方式，并且確保了假體樣本特征分布的多樣性。主要原理是使活體樣本特征靠近正常樣本中心，并使假體樣本特征遠(yuǎn)離正常樣本中心。單中心對比損失約束下，活體樣本可以形成簇，而異常樣本在簇外且特征分布不受約束。推理階段根據(jù)與正常樣本中心的距離來判斷異常與否。為了解決上述問題（2），本文還引入了特征解耦學(xué)習(xí)，利用特征解偶的方法將活體人臉數(shù)據(jù)中的活體無關(guān)信息剔除，進(jìn)而確?；诨铙w人臉聚類中心的異常檢測方法的有效性。

2 研究現(xiàn)狀

2.1 傳統(tǒng)手工特征的方法

人臉活體檢測的早期工作主要研究手工設(shè)計的活體檢測特征?；谑止ぬ卣鞯姆椒ㄍǔＴO(shè)計特征提取器來提取人臉圖像中的分類線索，例如紋理、運(yùn)動和圖像質(zhì)量。然后，利用機(jī)器學(xué)習(xí)技術(shù)，例如支持向量機(jī)（support vector machine，SVM）、線性判別分析（linear discriminant analysis，LDA）和隨機(jī)森林（random forests，RF），進(jìn)行人臉活體檢測的二元分類。

研究者使用各種特征描述子提取紋理特征，如局部二值模式（local binary pattern，LBP）［15］、方向梯度直方圖（histogram of oriented gradient，HOG）［16］、灰度共生矩陣（gray-level co-occurrence matrix）［17］和高斯差分函數(shù)（difference of Gaussians）［18］。文獻(xiàn)［19］為了評價假體人臉的失真程度設(shè)計了25 種圖像質(zhì)量評價指標(biāo)。文獻(xiàn)［20］設(shè)計了14 種特征來提取圖像質(zhì)量方面的差異。文獻(xiàn)［21］在分析鏡面反射、圖像模糊和顏色分布等圖像畸變的基礎(chǔ)上，提取了人工特征。

另一些工作設(shè)計了運(yùn)動線索提取器，利用眨眼、嘴唇抖動和頭部運(yùn)動［22］等特征來檢測活體人臉。活體人臉具有血液流動導(dǎo)致的膚色周期變化、眨眼、面部肌肉不自主微運(yùn)動等生命特征，而大多數(shù)假體人臉很難完全模仿這種生命特征［23］。文獻(xiàn)［24］使用條件隨機(jī)場來檢測輸入圖像序列中的人眼是否具有開閉的動作，以確定其是否為活體人臉。文獻(xiàn)［25］分析了活體人臉嘴唇的無意識微運(yùn)動來進(jìn)行活體檢測。文獻(xiàn)［26］利用遠(yuǎn)距光容積描記術(shù)（remote photoplethysmography，rPPG）信號檢測被測者是否有心率，判斷被測者是否是活人。基于前景和背景的運(yùn)動差異，在文獻(xiàn)［27］中利用三維真實圖像和平面假體圖像之間運(yùn)動模式不同的事實提出了一種結(jié)合光流的人臉活體檢測技術(shù)。

這些基于手工特征的方法可以提取某一些特定線索，但這些線索容易在類間相似度高的人臉樣本中丟失。在實際應(yīng)用的野生環(huán)境下，不受控制的采集設(shè)備、光照、假體媒介等因素導(dǎo)致活假體人臉的手工特征很難被區(qū)分。

2.2 基于深度學(xué)習(xí)的方法

深度學(xué)習(xí)在許多計算機(jī)視覺任務(wù)上已被證明優(yōu)于其他學(xué)習(xí)范式。深度學(xué)習(xí)在人臉活體檢測中也得到了廣泛的應(yīng)用。大多數(shù)基于深度學(xué)習(xí)的方法將人臉活體檢測視為二分類問題，訓(xùn)練時使用0/1的二元交叉熵?fù)p失監(jiān)督。Yang等人［28］首次將卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用到人臉活體檢測中。研究者對人臉圖像進(jìn)行預(yù)處理再使用CNN 提取特征并分類［29］。文獻(xiàn)［30］先提取人臉邊緣信息，然后應(yīng)用CNN 提取分類特征。文獻(xiàn)［31］使用剪切波（Shearlet）變換提取的圖像質(zhì)量信息作為CNN 的輸入進(jìn)行活體檢測。文獻(xiàn)［32］使用rPPG 信號的傅立葉譜作為CNN 的輸入進(jìn)行活體分類。文獻(xiàn)［33］通過卷積神經(jīng)網(wǎng)絡(luò)聯(lián)合長短時記憶網(wǎng)絡(luò)（long-short term memory，LSTM）的架構(gòu)從連續(xù)多幀人臉圖像中提取的空間和時間信息進(jìn)行活體推斷。文獻(xiàn)［34］利用三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）從連續(xù)的多幀人臉圖像中提取時空深度特征。

除了以上二元交叉熵?fù)p失監(jiān)督外，還有一些深度學(xué)習(xí)的方法使用逐像素監(jiān)督方式。根據(jù)人臉活體檢測中攻擊類型（打印攻擊、重放攻擊）沒有人臉深度的先驗知識，文獻(xiàn)［2］首次將深度估計算法估計的人臉深度圖像作為網(wǎng)絡(luò)訓(xùn)練的監(jiān)督信號，使CNN 的輸出為深度圖像（假體樣本深度全為0）。論文使用雙流CNN 分別學(xué)習(xí)局部特征和人臉深度特征，最終融合局部特征和深度圖特征進(jìn)行活體檢測。文獻(xiàn)［3］提出了一個CNN 聯(lián)合循環(huán)卷積網(wǎng)絡(luò)（recurrent neural network，RNN）的模型來學(xué)習(xí)空間特征（人臉深度）和時間特征（rPPG 信號），使用從二維人臉圖像中估計出的人臉三維形狀和從人臉視頻中提取的rPPG 信號代替二值標(biāo)簽分別監(jiān)督CNN和RNN。這些模型最終會專注于學(xué)習(xí)人臉深度和rPPG 信號的提取。文獻(xiàn)［4］是第一個將噪聲模式建模為輔助信息的工作，提出了人臉噪聲分離的概念。文中討論了來自顏色失真、圖像降質(zhì)、呈現(xiàn)偽影和成像偽影的噪聲模式，證明了二次成像后的假體人臉圖像相當(dāng)于活體人臉圖像經(jīng)過乘性噪聲和加性噪聲后的人臉圖像。

基于深度學(xué)習(xí)的方法在訓(xùn)練數(shù)據(jù)的驅(qū)動下可以得到一個擬合程度更好的深度特征，在分類性能上較傳統(tǒng)方法有明顯提升。但這些深度學(xué)習(xí)方法的性能優(yōu)勢取決于數(shù)據(jù)，大部分方法沒有關(guān)注到活假體本質(zhì)差異，當(dāng)遇到新的攻擊類型時，很難獲得優(yōu)秀的檢測性能和泛化性能。

3 單中心對比損失的異常檢測實現(xiàn)

3.1 單中心對比損失

經(jīng)典的異常檢測模型僅對正常樣本進(jìn)行無監(jiān)督學(xué)習(xí)，并將其表達(dá)到一個緊湊的特征空間，根據(jù)特征分布區(qū)分異常樣本。表1中的實驗結(jié)果證明正常樣本單類別學(xué)習(xí)的異常檢測應(yīng)用在人臉活體檢測上的性能不佳，在相同數(shù)據(jù)集內(nèi)基于單類的方法性能遠(yuǎn)不如二分類的性能。本文提出的單中心對比損失使用已知的假體攻擊數(shù)據(jù)輔助模型表達(dá)正常樣本（活體人臉）的特征空間，既保持了活體與假體特征的可分性，又保證了用于異常檢測的活體特征的緊湊分布，如圖1所示。

圖1 單中心對比損失應(yīng)用于異常檢測示例圖Fig.1 The sample graph of single-center contrast loss applied to anomaly detection

表1 單類方法與二分類方法的ACER（%）對比Tab.1 The ACER（%）result comparisons between one-class and two-class method

異常檢測的基本假設(shè)是正常樣本屬于一個閉集，而異常樣本是該閉集以外的異常值并且屬于開集。因此，本文單中心對比損失將特征空間中活體樣本拉到一個緊湊區(qū)域內(nèi)，而將假體樣本推出這個區(qū)域。假設(shè)活體樣本中心的特征向量是c，令D(?，c)表示與活體樣本特征中心的距離。給定一個批次（batch）的數(shù)據(jù)，包含Nl個活體樣本的特征向量（x1，x2，…，xNl）和Ns個假體樣本的特征向量（s1，s2，…，sNs），對活體樣本的拉力為最小化目標(biāo)函數(shù)Lpull，對假體樣本的推力為最大化目標(biāo)函數(shù)Lpush：

其中Lpull計算了活體樣本與中心c的距離誤差，使活體樣本特征盡可能靠近中心。Lpull受啟發(fā)于中心損失［36］，可以得到更加緊湊的特征表達(dá)，但不同的是，中心損失為每一個類別均設(shè)置了一個中心特征，而本文中僅設(shè)置一個活體特征中心。Lpush更加傾向于使假體樣本與活體特征中心保持一定的距離，不對假體樣本特征的做聚類性約束，便于從中學(xué)習(xí)到特征的多樣性表達(dá)。

單中心對比損失包括了對活體樣本的拉力損失Lpull和對假體樣本的推力損失Lpush。本文設(shè)置了以活體樣本特征中心c為錨點的距離度量方式，訓(xùn)練時不需要成對樣本，只需將每個批次的所有樣本與活體中心c計算距離。式（1）和式（2）中使用歐氏距離（euclidean distance）對L2 范數(shù)歸一化特征進(jìn)行度量。參考對比損失［37］對推拉力的計算方式，單中心對比損失的計算式如下：

其中活體樣本特征中心c是在迭代中動態(tài)更新。也就是說，訓(xùn)練中除了用每一個批次的特征計算出單中心對比損失Loc來優(yōu)化特征提取模型，還使用每一個批次中的活體樣本特征來更新中心特征c?；铙w樣本特征中心c的誤差優(yōu)化算法式如下：

活體樣本特征中心c的更新策略是在每次迭代中計算活體樣本與中心樣本差值的平均值來確定中心特征移動的方向和幅值。為了避免小批量樣本中不準(zhǔn)確的樣本對中心造成的擾動，本文設(shè)置了超參數(shù)α來控制中心特征的學(xué)習(xí)率。

3.2 網(wǎng)絡(luò)架構(gòu)

本文所提出的單中心對比損失在人臉活體檢測的網(wǎng)絡(luò)模型上進(jìn)行了應(yīng)用。CDCN［38］模型在捕獲圖像像素語義信息和圖像梯度詳細(xì)信息方面表現(xiàn)出不錯的能力。本文以CDCN 模型為基準(zhǔn)，將單中心對比損失應(yīng)用到整個網(wǎng)絡(luò)的三種不同層次的特征上，整體結(jié)構(gòu)如圖2所示。

圖2 應(yīng)用單中心對比損失的人臉活體檢測網(wǎng)絡(luò)Fig.2 A face anti-spoofing network using single-center contrastive loss

CDCN 模型有三個主要的特征提取區(qū)塊，每個區(qū)塊包括三個3 × 3 的CDC 卷積核和一個最大池化層，分別得到三種不同分辨率的特征。CDCN 的輸入是單幀活體人臉圖像IL或者假體人臉圖像IS，對應(yīng)的標(biāo)簽是深度圖或全零圖，使用均方誤差和對比深度損失（分類損失LCDC表示兩者之和）對模型優(yōu)化［18］，使輸出圖像具有活體分類的特性。在本文中，單中心對比損失LOC優(yōu)化CDCN模型表達(dá)中間層特征的正常和異常特性。LCDC和LOC共同作用在CDCN 模型上，并設(shè)置了系數(shù)λ平衡兩個損失函數(shù)的貢獻(xiàn)?？倱p失表達(dá)式為：

4 基于解耦空間異常檢測的人臉活體檢測網(wǎng)絡(luò)

4.1 特征解耦表示

在人臉活體檢測任務(wù)中，活體判別特征很容易受到人臉身份、環(huán)境光照、采集設(shè)備等帶來的噪聲干擾。而基于異常檢測的人臉活體檢測非常依賴活體人臉特征，與活體無關(guān)的信息將會降低算法檢測性能。為了確?；铙w人臉特征在不同域間具有一致性的表達(dá)，本文采取特征解耦表示的方式，將特征空間解耦為兩個子空間：活體檢測特征空間、活體無關(guān)特征空間。其中活體檢測特征空間包含活體檢測特征，活體無關(guān)特征空間是不包含活體類別屬性的特征空間，包括其他的人臉身份、背景、環(huán)境光等特征。整體框架如圖3 所示，包含一個自編碼器（autoencoder）和一個淺層卷積神經(jīng)網(wǎng)絡(luò)CNN，其中自編碼器由一個解碼器Dec和兩個不同的編碼器Ep、En構(gòu)成，編碼器分別是活體檢測特征編碼器Ep和無關(guān)特征編碼器En。本文旨在解耦活體人臉的活體檢測特征用于異常檢測，故使用包含活體人臉圖像的兩張圖像（活體—活體或活體—假體）進(jìn)行交叉解耦。給定兩張用于交叉解耦的圖像x1，x2，活體檢測特征編碼器Ep和無關(guān)特征編碼器En分別提取活體檢測特征zp1，zp2和噪聲特征zn1，zn2。編碼器用于從一個活體檢測特征和一個噪聲特征中重構(gòu)人臉圖像：

若活體檢測特征和噪聲特征來自同一張圖像，則重構(gòu)圖像和原圖像一致。若進(jìn)行交叉解耦，活體檢測特征和噪聲特征分別來自不同人臉圖像，則重構(gòu)的人臉圖像具備與編碼活體檢測特征圖像相同的活體屬性，具備與編碼噪聲特征圖像相同的身份、環(huán)境等信息。特征交叉解耦除了滿足上述要求外，還應(yīng)滿足重構(gòu)圖像再次編碼后可以準(zhǔn)確還原活體檢測特征和噪聲特征的要求。理想狀態(tài)下，表達(dá)式為：

為了區(qū)分活體檢測特征與噪聲特征，淺層CNN對活體檢測特征進(jìn)行了活體類別約束，同時活體檢測特征編碼器Ep中還引入了第1 章的異常檢測特征學(xué)習(xí)方法。在測試階段，活體檢測特征會經(jīng)過淺層CNN得到活體與假體的類別推斷。

活體檢測特征編碼器Ep和淺層CNN 連接起來實際上是一個完整的人臉活體檢測網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)見圖2，Ep對應(yīng)特征提取器，淺層CNN 對應(yīng)分類器。無關(guān)特征編碼器En和解碼器Dec 是輔助特征解耦的其他網(wǎng)絡(luò)模型，詳細(xì)網(wǎng)絡(luò)架構(gòu)如圖4 所示。網(wǎng)絡(luò)中所有卷積層為普通卷積，卷積核大小均為3×3。無關(guān)特征編碼器En中的卷積層后都有一個批次歸一化層BN 和一個ReLU 激活層。解碼器Dec 中的卷積層后除最后一層外都有一個實例歸一化（in?stance normalization）［39］和一個ReLU 激活層。解碼器Dec 中的上采樣層（upsample）使用最近鄰插值法（nearest neighbor）進(jìn)行兩倍尺寸放大。

圖4 無關(guān)特征編碼器En和解碼器Dec的網(wǎng)絡(luò)架構(gòu)Fig.4 Architecture of feature-independent encoder and decoder

4.2 損失函數(shù)

本文提出了一個基于解耦空間異常檢測的人臉活體檢測算法，該算法包含了三個內(nèi)容：特征解耦、異常檢測、活體檢測。活體檢測特征編碼器分別從這三個方面學(xué)習(xí)活體檢測特征的表達(dá)。相應(yīng)地，本文設(shè)置了三種損失函數(shù)幫助模型訓(xùn)練優(yōu)化，分別是特征解耦損失LDR、單中心對比損失LOC、活體分類損失LFAS。

從同一張圖像中得到的活體檢測特征和噪聲特征相加后可以由解碼器Dec重構(gòu)出人臉圖像。為了確保解碼器重構(gòu)的有效性，本文使用自編碼器的自監(jiān)督學(xué)習(xí)方式，對輸入圖像xi和重構(gòu)圖像進(jìn)行L1約束，圖像重構(gòu)損失式如下：

成對圖像（活體—活體或活體—假體）編碼后共得到四個特征：活體檢測特征zp1，zp2和噪聲特征zn1，zn2。兩組交叉特征zp1+zn2和zp2+zn1解碼再編碼應(yīng)還原各特征編碼，利用交叉重構(gòu)損失進(jìn)行特征重構(gòu)：

本文算法中使用單中心對比損失LOC對活體檢測特征編碼器Ep進(jìn)行約束，每個批次中所有輸入到Ep的樣本參與異常檢測特征訓(xùn)練，詳情見第1 章，LOC表達(dá)式見式（5）。算法對重構(gòu)前后的活體檢測特征進(jìn)行有監(jiān)督學(xué)習(xí)，根據(jù)活體類別標(biāo)簽lpi計算活體分類損失：

其中LCDC計算見文獻(xiàn)［18］。本文提出的算法整體損失函數(shù)是特征解耦損失LDR、單中心對比損失LOC、活體分類損失LFAS的加權(quán)和：

其中λ1、λ2為平衡各損失函數(shù)的權(quán)重值。

5 實驗設(shè)置與結(jié)果分析

5.1 數(shù)據(jù)庫與評價指標(biāo)

數(shù)據(jù)庫本文算法在5 個公開人臉活體檢測數(shù)據(jù)庫上進(jìn)行評估，分別是：Replay-Attack［40］、CASIA-FASD［41］、OULU-NPU［42］、SiW［3］和CASIASURF 3DMask［43］。Replay-Attack 數(shù)據(jù)庫分辨率為320×240，CASIA-FASD 數(shù)據(jù)庫包含640×480、480×640 和1280×720 三種分辨率。這兩個數(shù)據(jù)庫發(fā)布于2012 年，屬于低清數(shù)據(jù)庫，包含重放攻擊和打印攻擊。很多算法已經(jīng)在這兩個數(shù)據(jù)庫的庫內(nèi)測試上取得了0 錯誤率，因此現(xiàn)在主流的實驗是進(jìn)行交叉跨庫實驗。OULU-NPU 數(shù)據(jù)庫包含5940 個分辨率為1920×1080 的視頻，SiW 數(shù)據(jù)庫包含4620 個分辨率為1920×1080的視頻。這兩個數(shù)據(jù)庫是高清數(shù)據(jù)庫，包含重放攻擊和打印攻擊。與前兩個老數(shù)據(jù)庫不同的是，這兩個數(shù)據(jù)庫考慮了更多的不可控因素，包括不同的采集設(shè)備、不同采集環(huán)境以及不同攻擊呈現(xiàn)設(shè)備。OULU-NPU和SiW 數(shù)據(jù)庫的庫內(nèi)測試分別設(shè)置了4 個和3 個協(xié)議，用于從不同角度考察算法的性能和泛化性。CASIA-SURF 3DMask 數(shù)據(jù)庫則是一個3D 面具攻擊數(shù)據(jù)庫，包含288個活體視頻和864個高清的面具攻擊視頻。數(shù)據(jù)庫采用了高質(zhì)量的面具，并設(shè)計了正常光、逆光、前照光、側(cè)照光、戶外陰影光和戶外光6種光照條件，充分增加活體檢測難度。通常，在OULU-NPU 和SiW 數(shù)據(jù)庫上訓(xùn)練的模型在該面具攻擊數(shù)據(jù)庫上進(jìn)行跨攻擊類型測試，驗證算法應(yīng)對未知攻擊類型的能力。

評價指標(biāo)為了與其他工作公平對比，本文嚴(yán)格按照相同的評價指標(biāo)對模型進(jìn)行評估。OULUNPU 數(shù)據(jù)庫以及SiW 數(shù)據(jù)庫的庫內(nèi)測試，以假體人臉分類錯誤率（APCER）和活體人臉分類錯誤率（BPCER）［44］的形式報告結(jié)果，并計算兩者的平均分類錯誤率（ACER）比較整體性能。與其他工作中的跨庫測試一樣，CASIA-FASD 和Replay-Attack 之間的跨庫測試以及CASIA-SURF 3DMask 數(shù)據(jù)庫的跨庫測試報告半總錯誤率（HTER）［24］。

5.2 實驗細(xì)節(jié)

數(shù)據(jù)庫中所有視頻幀使用人臉檢測算法S3FD［45］檢測到人臉框，訓(xùn)練中適當(dāng)?shù)目s放人臉框以包含少量背景并得到不同比例的人臉。人臉框以人臉位置隨機(jī)縮放到1.2～1.4 倍大小來裁剪人臉，并將裁剪的人臉大小統(tǒng)一調(diào)整為256×256。除了不同人臉比例的數(shù)據(jù)增強(qiáng)外，本文算法還使用了隨機(jī)水平翻轉(zhuǎn)、隨機(jī)擦除、像素加值增強(qiáng)以及對比度調(diào)整四種數(shù)據(jù)增強(qiáng)方法。算法訓(xùn)練以小批次數(shù)據(jù)進(jìn)行訓(xùn)練，在單張NVIDIA Titan X 顯卡上訓(xùn)練的批次大小是12。網(wǎng)絡(luò)參數(shù)使用Adam 優(yōu)化器更新，初始學(xué)習(xí)率為0.001，隨著迭代次數(shù)的增加，學(xué)習(xí)率下降50%。

除了數(shù)據(jù)和訓(xùn)練的細(xì)節(jié)，還有一些算法細(xì)節(jié)。本文單中心對比損失的中心特征初始化規(guī)則是使用第一個批次中活體樣本特征的均值初始化，之后每一個批次都按照式（4）更新中心特征，其中學(xué)習(xí)率α取值為0.5。算法中使用的交叉解耦訓(xùn)練方式是在每個批次的數(shù)據(jù)中進(jìn)行的。一個批次的樣本經(jīng)過編碼器得到編碼特征后，批次中的數(shù)據(jù)隨機(jī)兩兩匹配，保留含有活體樣本的特征，進(jìn)行交叉組合并解碼再編碼等計算。損失函數(shù)中的超參數(shù)λ1、λ2分別取值為0.5、0.005。

5.3 消融實驗

中心特征學(xué)習(xí)率 本文提出的單中心對比損失依據(jù)樣本與活體樣本特征中心的距離優(yōu)化模型，其中活體樣本特征中心也隨著模型的優(yōu)化而更新。式（4）給出了中心特征的誤差優(yōu)化算法，其中超參數(shù)α控制每個批次活體樣本特征的貢獻(xiàn)度。本文根據(jù)經(jīng)驗預(yù)先設(shè)置了幾個可能的取值，并進(jìn)行實驗對比不同α取值對特征學(xué)習(xí)的影響，在OULU-NPU 數(shù)據(jù)庫協(xié)議4 上的實驗結(jié)果如圖5 所示。實驗結(jié)果表明，不同學(xué)習(xí)率α的測試性能相對穩(wěn)定。整體上來看α值大于0.5 時比小于等于0.5 時的性能差。α值越大意味著每個批次中活體樣本特征對中心特征影響越大，小批量樣本中不準(zhǔn)確的樣本對中心特征造成的擾動更加明顯，特征學(xué)習(xí)不穩(wěn)定。根據(jù)實驗結(jié)果本文算法中心特征學(xué)習(xí)率 α 取值為0.5。

圖5 不同α取值在OULU-NPU數(shù)據(jù)庫上的性能Fig.5 Performance of different values α on OULU-NPU database

此外，我們還嘗試使用參數(shù)學(xué)習(xí)法替代本文中心特征的更新策略。首先隨機(jī)初始化中心特征，并將中心特征視為可學(xué)習(xí)的參數(shù)，如CNN 卷積核參數(shù)一樣，放入Adam 算法優(yōu)化器進(jìn)行自動優(yōu)化。在訓(xùn)練中中心特征和網(wǎng)絡(luò)其他參數(shù)一起以相同的學(xué)習(xí)率進(jìn)行優(yōu)化，最終在OULU-NPU 數(shù)據(jù)庫協(xié)議4 上的ACER 為8.95%。實驗結(jié)果表明使用參數(shù)學(xué)習(xí)法的性能均不如不同α取值的誤差優(yōu)化算法，這一點證明了直接根據(jù)每批次活體樣本與中心特征的誤差優(yōu)化中心特征的優(yōu)勢。

損失函數(shù)平衡權(quán)重本文算法模型使用式（12）的損失函數(shù)優(yōu)化，其中包含兩個超參數(shù)λ1、λ2?；铙w分類損系數(shù)固定為1，λ1用來平衡用于異常檢測的單中心對比損失，λ2用來平衡用于解耦表示的特征解耦損失。本文進(jìn)行實驗探討不同數(shù)量級的權(quán)重系數(shù)的敏感程度。實驗中固定一個權(quán)重參數(shù)，逐一訓(xùn)練測試另一個參數(shù)不同取值的性能，圖6 展示了不同取值下ACER錯誤率的對比。實驗結(jié)果顯示λ1、λ2分別在0.5 和0.005 上取得了最優(yōu)性能，不過兩種的值太大會導(dǎo)致性能急劇下降，λ2在0.001～0.01的范圍內(nèi)模型性能保持穩(wěn)定。

圖6 權(quán)重系數(shù)不同取值在OULU-NPU數(shù)據(jù)庫上的性能Fig.6 Performance of different weight coefficients on OULU-NPU database

異常檢測與特征解耦的優(yōu)勢本文提出了一個基于解耦空間異常檢測的人臉活體檢測算法，算法包括異常檢測和特征解耦兩個關(guān)鍵技術(shù)。為了直觀的體現(xiàn)這兩個技術(shù)對于活體檢測的幫助，本文進(jìn)行了消融實驗，共分為四組：基準(zhǔn)網(wǎng)絡(luò)（baseline）、僅使用特征解耦（w/DR）、僅使用異常檢測（w/OC）、同時使用特征解耦和異常檢測（w/DR+OC）。實驗在最具挑戰(zhàn)性的OULU-NPU 數(shù)據(jù)庫協(xié)議4 上進(jìn)行，協(xié)議4 有6 個實驗分別對6 個不同采集相機(jī)進(jìn)行了留一法交叉驗證，表2 給出了每個方案全部六次的實驗結(jié)果并報告了ACER的均值和標(biāo)準(zhǔn)差。實驗結(jié)果表明異常檢測或者特征解耦對人臉活體檢測性能都有提升作用，不過本文提出的單中心對比損失學(xué)習(xí)的異常檢測特征比解耦表示特征更加有效。當(dāng)同時引入兩種技術(shù)，人臉活體檢測錯誤率相當(dāng)于基準(zhǔn)網(wǎng)絡(luò)的檢測錯誤率下降了超過一半。消融實驗證明了本文提出的利用活體解耦特征進(jìn)行異常檢測學(xué)習(xí)的人臉活體檢測算法的先進(jìn)性。

表2 異常檢測與特征解耦的消融實驗結(jié)果ACER（%）Tab.2 Ablation experiment results ACER（%）of anomaly detection and feature disentangling

5.4 庫內(nèi)測試實驗

為了進(jìn)一步證明本文算法的先進(jìn)性，本文與現(xiàn)有的先進(jìn)方法進(jìn)行了對比實驗。本文首先在公開數(shù)據(jù)庫OULU-NPU 的庫內(nèi)測試協(xié)議上進(jìn)行實驗，嚴(yán)格遵循OULU-NPU 的四個測試協(xié)議來評估算法在各種場景和采集條件下的性能表現(xiàn)。在協(xié)議3 和4中，分別有6次不同的采集相機(jī)交叉驗證的測試，最終以6次實驗結(jié)果的平均值和標(biāo)準(zhǔn)差來報告總體的性能。表3展示了本文算法與最先進(jìn)的方法的實驗結(jié)果對比，以ACER指標(biāo)來評估整體性能，值越低表示性能越好。實驗結(jié)果顯示本文方法的性能在大部分協(xié)議上都優(yōu)于對比方法，僅在協(xié)議3 上略遜于MA-Net，而MA-Net實際上在其他協(xié)議1、2、4上的性能與最優(yōu)方法相差甚遠(yuǎn)。而且，本文方法在協(xié)議1上以絕對性的優(yōu)勢超過了其他先進(jìn)方法，這個協(xié)議驗證了算法的人臉活體檢測分類準(zhǔn)確率。更重要的是，本文方法在協(xié)議4 上取得了新的突破。協(xié)議4是最具挑戰(zhàn)性且與實際應(yīng)用場景最接近的測試協(xié)議。測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)在用戶身份、采集環(huán)境、采集設(shè)備、欺騙介質(zhì)方面均不相同，是完全未知的數(shù)據(jù)。協(xié)議4性能的突破得益于用解耦特征來異常檢測的抗干擾能力。

表3 OULU-NPU數(shù)據(jù)庫的庫內(nèi)測試結(jié)果對比Tab.3 Comparison of intra-database test results of OULU-NPU database

本文還在SiW 數(shù)據(jù)庫的三個協(xié)議上進(jìn)行了實驗。三個協(xié)議分別評估算法對姿態(tài)、欺騙媒介、攻擊類型這三種變化的魯棒性，尤其是協(xié)議三從重放攻擊到打印攻擊（或打印攻擊到重放攻擊）的跨攻擊類型的性能評估頗具挑戰(zhàn)。表4展示了本文方法與其他先進(jìn)方法的性能對比，錯誤率ACER 用來衡量算法整體性能。實驗結(jié)果顯示本文在協(xié)議1和協(xié)議3 上的性能優(yōu)于其他方法，協(xié)議2 的性能位于第二。協(xié)議二中性能最好的RSGB+STPM 方法僅比本文方法降低0.02%錯誤率，而本文方法在其他兩個協(xié)議比RSGB+STPM 方法分別降低了0.32%、1.17%錯誤率，并且取得了突破性的性能。由此可見，本文方法應(yīng)對不同因素干擾的能力較為全面。此外，本文算法在協(xié)議三取得的性能證實了本文提出的基于解耦空間異常檢測來應(yīng)對新攻擊類型的可靠性，這種優(yōu)勢來源于不特定假體樣本的異常檢測思路。下一節(jié)進(jìn)行跨庫測試實驗進(jìn)一步驗證算法應(yīng)對未知攻擊類型的能力。

表4 SiW數(shù)據(jù)庫的庫內(nèi)測試結(jié)果對比Tab.4 Comparison of intra-database test results of SiW database

5.5 跨庫測試實驗

跨數(shù)據(jù)庫測試旨在評估相關(guān)模型的泛化能力。目前，很多方法在Replay-Attack 和CASIA-FASD 數(shù)據(jù)庫上進(jìn)行跨庫測試。為了公平比較，本文使用相同的數(shù)據(jù)庫和評估指標(biāo)進(jìn)行交叉測試的跨庫實驗。表5報告的結(jié)果表明本文模型在跨庫測試的對比中處于領(lǐng)先位置，從CASIA-FASD 到Replay-Attack 的跨庫測試優(yōu)于所有對比方法。這種跨庫實驗驗證了算法對未知數(shù)據(jù)的判斷能力，其中包括未知的人臉身份、環(huán)境、設(shè)備等，本文算法的低跨庫檢測錯誤率證實了特征解耦對無關(guān)信息的抗干擾能力。

表5 Replay-Attack和CASIA-FASD數(shù)據(jù)庫的交叉跨庫測試的HTER（%）結(jié)果對比Tab.5 Comparison of HTER（%）results of cross-database testing between Replay-Attack and CASIA-FASD databases

以上跨數(shù)據(jù)庫測試中訓(xùn)練和測試數(shù)據(jù)使用了相同的攻擊類型，為了驗證算法應(yīng)對新的攻擊方式的能力，本文還進(jìn)行了跨攻擊類型測試。在這個協(xié)議中，算法模型在OULU-NPU 和 SiW 數(shù)據(jù)庫上一起訓(xùn)練，然后在CASIA-SURF 3DMask數(shù)據(jù)庫上進(jìn)行測試。訓(xùn)練集中僅含有重放攻擊和打印攻擊，而測試數(shù)據(jù)為3D 面具攻擊，而且兩者數(shù)據(jù)采集環(huán)境不同，這是一個非常具有挑戰(zhàn)性的測試協(xié)議。實驗結(jié)果如表6 所示，本文方法在這種同時跨庫和跨攻擊類型的測試中取得了相對于對比方法更好的錯誤率。本文方法相對于第二名的Auxiliary 方法降低了5.41%的錯誤率，相對于經(jīng)典的ResNet50 網(wǎng)絡(luò)降低了21.21%的錯誤率。這種大幅度的性能提升可以歸功于本文提出的基于異常檢測思想的單中心對比損失。單中心對比損失的設(shè)計初衷正是避免活體特征受訓(xùn)練集中有限的假體樣本的影響，可以成功應(yīng)對更多新的攻擊類型。

表6 CASIA-SURF 3DMask數(shù)據(jù)庫的跨庫、跨攻擊類型測試結(jié)果Tab.6 Cross-database and cross-type test results of CASIA-SURF 3DMask database

5.6 實驗可視化與分析

本文提出的基于解耦空間異常檢測的人臉活體檢測算法在多個數(shù)據(jù)集上進(jìn)行了驗證，各評價指標(biāo)的結(jié)果證明了算法的先進(jìn)性。為了進(jìn)一步直觀的展示本文算法的優(yōu)勢，本文對模型中的特征以及特征分布進(jìn)行了可視化對比。

本文使用經(jīng)典的可視化算法t-SNE［62］對本文算法中的特征提取器Ep提取的活體檢測特征以及分類器CNN 的分類結(jié)果進(jìn)行可視化。為了體現(xiàn)特征解耦與異常檢測結(jié)合的特征學(xué)習(xí)方法的優(yōu)勢，本文還可視化了不使用特征解耦與異常檢測的CDCN網(wǎng)絡(luò)從相同數(shù)據(jù)提取的相應(yīng)特征的分布情況。圖7展示了兩模型的特征提取器與分類器在OULU-NPU協(xié)議4 的一個測試上的特征分布結(jié)果。圖（a）和圖（b）為基準(zhǔn)網(wǎng)絡(luò)CDCN 的兩種特征分布，圖（c）和圖（d）為本文算法模型的兩種特征分布。圖（a）和圖（c）為兩個模型同一層次特征的對比，本文算法模型提取的特征（c）相比于CDCN 的特征（a）多應(yīng)用了單中心對比損失約束和特征解耦學(xué)習(xí)。從圖中可以看出兩個模型雖然在驗證集（val）上都獲得了明顯可分的活體與非活體的特征，但是圖（a）中測試集（test）的活體與非活體特征聚在一團(tuán)，與驗證集特征分布不一致。然而，圖（c）中測試集與驗證集保持了相同的特征分布，并且活體可分，這種特征具有更強(qiáng)的泛化能力。不僅如此，圖（c）中活體樣本特征更加緊湊，向本文設(shè)置的活體特征中心靠攏。再對比分類器的結(jié)果分布圖（b）和圖（d），本文算法的特征仍然能夠保持驗證集和測試集同分布。要知道在OULU-NPU協(xié)議4上測試集是完全未知的數(shù)據(jù)，驗證集和測試集的同分布體現(xiàn)了模型應(yīng)對新樣本的高泛化能力。不僅如此，本文算法特征的活體（綠色標(biāo)記）與非活體（其他顏色標(biāo)記）分界更加明顯，活體檢測錯誤率更低。

圖7 模型特征t-SNE二維可視化Fig.7 t-SNE 2D visualization of model features

除了對比特征分布情況，本文還直接可視化了中間層特征進(jìn)行對比。圖8展示了本文算法模型與CDCN 基準(zhǔn)模型的同一層次特征對比。本文算法活體檢測特征編碼器Ep輸出的特征zp共384 個通道，圖中以單通道圖像形式顯示了部分通道的特征圖。圖（a）為訓(xùn)練集中單中心對比損失使用的活體特征中心，圖（b）和圖（c）分別是測試集中一張隨機(jī)采樣的活體人臉的特征和一張隨機(jī)采樣的假體人臉的特征。通過對比可以發(fā)現(xiàn)，活體人臉特征與活體特征中心非常相似，與假體人臉特征差距較大。這一點充分證實本文算法提取的特征用于活體檢測的有效性。圖（d）和圖（e）分別是基準(zhǔn)模型提取的與圖（b）、（c）對應(yīng)的活體樣本和假體樣本的特征。這兩張?zhí)卣鲌D的對比差異很小，這種不明顯的差異使得模型的分類性能受損。本文算法提取的活體與假體的特征差異顯然大于基準(zhǔn)模型提取的特征差異。通過差異對比，可以得出結(jié)論：本文引入解耦特征進(jìn)行異常檢測的方法顯著地提高了活體檢測性能。

圖8 本文算法與基準(zhǔn)模型的特征（部分通道）對比Fig.8 Comparison of output features（partial channels）between the proposed model and the benchmark model

為了進(jìn)一步確定未來研究方向，本文對實驗中出現(xiàn)的問題進(jìn)行分析。本文算法在庫內(nèi)測試中取得了很好的性能，跨庫測試的性能雖然有所提升，但仍然有待提高，尤其是從OULU-NPU 和 SiW 數(shù)據(jù)庫跨庫到CASIA-SURF 3DMask 數(shù)據(jù)庫上的測試結(jié)果。圖9 展示了成功和失敗的案例，并和訓(xùn)練數(shù)據(jù)進(jìn)行了對比。該跨庫測試中，大部分錯誤結(jié)果發(fā)生在活體樣本，主要原因是測試數(shù)據(jù)中的活體人臉與訓(xùn)練數(shù)據(jù)相差較大，存在面部光照暗淡、光照極度不均衡以及面部姿態(tài)角度極大的問題。鑒于異常檢測用于鑒別異常的思路，測試數(shù)據(jù)中無論真假與訓(xùn)練數(shù)據(jù)中活體人臉相差較大均會被判斷為假體。因此，不同數(shù)據(jù)庫中活體人臉之間的差異仍然是異常檢測的最大障礙。盡管特征解耦可以緩解差異，但人臉光照和姿態(tài)的極大差異仍然沒有被很好的解決。

圖9 跨庫測試中的成功與失敗案例Fig.9 Success and failure in cross-database test

6 結(jié)論

本文提出了一種基于解耦空間異常檢測的人臉活體檢測算法。本文設(shè)計了單中心對比損失對活體樣本進(jìn)行異常檢測特征的學(xué)習(xí)，在不限制假體樣本分布的情況下，拉近活體特征之間的距離并推遠(yuǎn)活體特征與假體特征的距離。本文還對活體人臉進(jìn)行了特征解耦，將其特征分為兩個子空間：活體檢測特征空間、活體無關(guān)特征空間。在活體檢測特征空間上，活體人臉特征不受其他無關(guān)因素的影響。解耦模型學(xué)習(xí)到的活體人臉特征可以覆蓋更多的身份、環(huán)境、設(shè)備不同的活體樣本。解耦后的活體人臉特征更加有助于異常檢測（不符合活體人臉特征分布的樣本即是假體樣本），因此解耦特征與異常檢測思想的結(jié)合可以更好地抵抗新的攻擊類型。本文設(shè)置了消融實驗、庫內(nèi)實驗、跨庫實驗、跨攻擊類型實驗驗證算法檢測性能和泛化能力。大量實驗表明，本文提出的基于解耦空間異常檢測的人臉活體檢測算法在檢測性能和泛化性能上均優(yōu)于其他方法。在未來的工作中，包含活體人臉樣本的其他相關(guān)領(lǐng)域數(shù)據(jù)集（如人臉識別數(shù)據(jù)集、偽臉檢測數(shù)據(jù)集）可以用來擴(kuò)展用于異常檢測的正常樣本數(shù)據(jù)，這是一個低成本的數(shù)據(jù)擴(kuò)充方法。在充足的數(shù)據(jù)基礎(chǔ)上更好的基于異常檢測的人臉活體檢測模型值得被研究。