引入跨批存儲(chǔ)機(jī)制度量學(xué)習(xí)的人臉活體檢測

蔡體健，劉文鑫，塵福春，陳 均，羅詞勇

華東交通大學(xué) 信息工程學(xué)院，南昌 330013

人臉識(shí)別系統(tǒng)在金融、門禁、移動(dòng)設(shè)備等生活場景中得到了廣泛的應(yīng)用。然而，卻存在偽造人臉攻擊的風(fēng)險(xiǎn)，例如非法用戶可能通過打印照片[1]、數(shù)字圖像視頻[2]（即重放攻擊）和3D 面具[3]等手段欺騙人臉識(shí)別系統(tǒng)。為了提高人臉識(shí)別系統(tǒng)的安全性，需要開展人臉反欺詐（face anti-spoofing，F(xiàn)AS）技術(shù)的研究。

人臉反欺詐技術(shù)就是檢測輸入樣本是活體人臉還是欺詐人臉，在計(jì)算機(jī)視覺領(lǐng)域中它是一個(gè)二分類或多分類問題，而解決這個(gè)問題的方式又分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法。

傳統(tǒng)機(jī)器學(xué)習(xí)方法常在提取人臉圖像中的紋理特征或者色調(diào)、飽和度和明度顏色空間（hue，saturation，value，HSV）等手工設(shè)計(jì)特征后，再利用支持向量機(jī)等分類器進(jìn)行分類。手工制作的特征是專門為某種特定類型的欺詐而設(shè)計(jì)的，很容易受到環(huán)境條件，如相機(jī)設(shè)備、照明條件和演示攻擊儀器（presentation attack instruments，PAIs）的影響，這使得傳統(tǒng)方法人臉活體檢測效果往往不是很好。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以及大規(guī)模數(shù)據(jù)集的發(fā)布，研究人員提出了多種基于二分類的深度FAS網(wǎng)絡(luò)結(jié)構(gòu)來判別人臉真假。如Yang等人[4]提出了第一種使用8層淺CNN 進(jìn)行特征表示的深度FAS 方法。Chen等人[5]對(duì)預(yù)訓(xùn)練的VGG16進(jìn)行微調(diào)用于FAS。文獻(xiàn)[6]使用光流和卷積神經(jīng)網(wǎng)絡(luò)提取具有判別性的圖像特征。Yu等人[7]提出了一種中心差分卷積網(wǎng)絡(luò)（central difference convolution network，CDCN），能夠通過聚集強(qiáng)度和梯度信息來捕獲人臉圖像的固有細(xì)節(jié)信息。然而由于欺詐樣本的多樣性影響了有效的決策邊界建模，這些方法雖然在數(shù)據(jù)集內(nèi)測試中表現(xiàn)良好，但容易過擬合，泛化性差，不能很好地推廣到新的攻擊類型。為了減輕欺詐多樣性對(duì)決策邊界建模的影響，很多研究者又開始從異常檢測的角度研究人臉反欺詐問題。異常檢測是從一組正常數(shù)據(jù)中識(shí)別異常樣本的任務(wù)，假設(shè)正常樣本屬于封閉集，不同類型欺詐樣本都屬于封閉集的離群點(diǎn)，屬于開放集。基于這種假設(shè)，多數(shù)異常檢測的方法通過深度度量學(xué)習(xí)的方式訓(xùn)練一個(gè)分類器來準(zhǔn)確聚類。然后，將正常樣本簇邊緣以外的任何樣本（如未知攻擊）都被檢測為異常樣本。如Schroff 等人[8]提出用一種基于深度度量學(xué)習(xí)的超球損失（hypersphere loss）來監(jiān)督深度FAS 模型，以保持活樣本的類內(nèi)緊湊性，同時(shí)保持活體樣本和欺騙樣本之間的類間分離。最后在學(xué)習(xí)到的特征空間上直接檢測未知攻擊，不需要額外的分類器。Pérez-Cabo等人[9]從異常檢測的角度對(duì)FAS問題進(jìn)行了改造，提出了一種三重聚焦損失（triplet focal loss）的深度度量學(xué)習(xí)模型，它將三元組損失和焦點(diǎn)損失結(jié)合起來，利用度量學(xué)習(xí)使樣本特征在類內(nèi)緊湊，類間分散。Feng 等人[10]設(shè)計(jì)了一種只對(duì)正樣本進(jìn)行顯示監(jiān)督的回歸損失模型，來生成欺詐線索，并且依據(jù)欺詐線索分?jǐn)?shù)對(duì)樣本進(jìn)行分類，在跨數(shù)據(jù)集上取得了很好的結(jié)果。

異常檢測的FAS方式，被證明了能夠提高模型的泛化能力，這些方式多是基于度量學(xué)習(xí)來實(shí)現(xiàn)的，而基于度量學(xué)習(xí)方法的性能很大程度上依賴于它們挖掘困難樣本[11]的能力，即提取特征信息的能力。盡管開發(fā)了各種復(fù)雜的抽樣方案，如batch-all[11]、batch-hard[12]，但難樣本挖掘能力本質(zhì)上還是受到了batchsize的限制，使得提取出困難樣本受到限制，網(wǎng)絡(luò)學(xué)習(xí)不到好的特征進(jìn)行分類，從而導(dǎo)致精確度和泛化能力變差。

針對(duì)上述問題，本文提出了一種結(jié)合度量學(xué)習(xí)與跨批存儲(chǔ)機(jī)制的人臉活體檢測算法，改進(jìn)基于異常檢測的FAS 模型，使得網(wǎng)絡(luò)能獲得更多的困難樣本對(duì)，提取出更具區(qū)分性的微特征，提高FAS的精度和泛化能力。

1 本文方法

整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由欺詐線索生成器和一個(gè)輔助分類器組成。欺詐線索生成器采用U-Net 架構(gòu)來生成欺詐線索映射圖，并通過異常檢測的方式最小化活體樣本的欺詐特征來學(xué)習(xí)欺詐線索。輔助分類器可以放大欺詐特征，來學(xué)習(xí)更具有分辨性的欺詐線索。同時(shí)本文在欺詐線索生成器中引入多尺度度量學(xué)習(xí)技術(shù)，并結(jié)合跨批存儲(chǔ)機(jī)制來改進(jìn)樣本挖掘策略，以提取更多的困難樣本對(duì)，增加類內(nèi)相似度并加大類間的距離，以學(xué)習(xí)出更清晰的分類邊界。

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure

1.1 欺詐線索生成器

該模塊采用U-Net架構(gòu)，在多個(gè)尺度上建立從編碼器到解碼器的跳躍連接，以生成欺詐特征。具體做法是：使用在ImageNet[13]上預(yù)訓(xùn)練的ResNet18[14]作為編碼器E，其中包含5個(gè)編碼器殘塊；而解碼器D由4個(gè)解碼器殘塊組成，在E 后面對(duì)信息進(jìn)行解碼，生成欺詐特征。在每個(gè)解碼器殘塊中，前一層的特征圖通過最近鄰插值進(jìn)行上采樣，然后通過連接操作，將編碼器中對(duì)稱位置到解碼器的特征映射集合起來，然后輸入到解碼器殘塊中。在解碼器最后的一個(gè)殘塊連著一個(gè)Tanh激活層來產(chǎn)生欺詐特征。

由于活體樣本不具有任何欺詐材質(zhì)構(gòu)成，所以活體樣本的欺詐特征應(yīng)為0，而不同材質(zhì)的欺詐樣本應(yīng)具有不同的欺詐特征，稱之為欺詐線索。因此本文采用異常檢測的方式：只對(duì)活體樣本進(jìn)行監(jiān)督來學(xué)習(xí)欺詐線索，而對(duì)欺詐樣本的欺詐線索不施加約束，這樣可以學(xué)習(xí)到更多樣的欺詐類型，能將模型推廣應(yīng)用到未知的欺詐攻擊檢測。

具體算法如下：假設(shè)給定RGB輸入圖像I，欺詐線索生成器輸出相同大小的欺詐線索映射圖C。活體樣本的欺詐線索映射C是全0的特征圖；而欺詐樣本的C是未知的。欺詐線索生成器的目標(biāo)函數(shù)是像素級(jí)的L1回歸損失，其表達(dá)式為：

式中，Nl是活體樣本的數(shù)量，此目標(biāo)函數(shù)只約束活體樣本的訓(xùn)練，促使活體樣本的欺詐線索最小化，但并沒有約束欺詐樣本，這樣可保證欺詐形式的多樣性。

1.2 輔助分類器

本文使用輔助分類器作為欺詐線索的放大器，有助于學(xué)習(xí)更具有分辨性的欺詐線索。欺詐線索生成后，將生成的欺詐線索映射C添加到輸入圖像I中，形成疊加圖像S。以S作為輔助分類器的輸入，使用ResNet18網(wǎng)絡(luò)提取圖像特征，并利用二元交叉熵?fù)p失對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，其表達(dá)式為：

式中，N為樣本個(gè)數(shù)，zi為活體或者欺詐樣本的標(biāo)簽，qi為網(wǎng)絡(luò)輸出的分類概率。

1.3 結(jié)合跨批存儲(chǔ)機(jī)制的度量學(xué)習(xí)

1.3.1 多尺度三元組損失

為了獲得更清晰的分類邊界，本文在欺詐線索生成器中引入多尺度度量學(xué)習(xí)技術(shù)。首先提取E5 層至D4層共5 層的多尺度特征，使用全局平均池化（global average pooling，GAP）將他們向量化，得到一組特征向量{V}，然后計(jì)算多尺度特征向量的三元組損失，其目標(biāo)是促使錨樣本和正樣本之間的距離盡量小，而錨樣本與負(fù)樣本之間的距離盡量大。三元組損失函數(shù)的表達(dá)式如下：

式中，T是樣本對(duì)個(gè)數(shù)，ai代表錨樣本，pi代表正樣本，ni代表負(fù)樣本，m是預(yù)定義的邊界常數(shù)，d(i,j)表示兩個(gè)歸一化特征向量之間的歐幾里德距離，其表達(dá)式如下

度量學(xué)習(xí)技術(shù)在很大程度上依賴于樣本挖掘策略。目前常用的在線三元組挖掘（online triplet mining）[11]是在一小批樣本（batch-size）中，選擇有效的三元組樣本，即滿足d(ra,rn)＜m+d(ra,rp)要求的難樣本或半難樣本對(duì)（以下統(tǒng)稱為困難樣本對(duì)），去除了簡單樣本，也就是那些遠(yuǎn)離錨樣本的負(fù)樣本，以及與錨樣本過近的正樣本，它們對(duì)模型的訓(xùn)練并不會(huì)有什么貢獻(xiàn)。在線三元組挖掘又有兩種處理策略：batch-all[11]和batch-hard[12]。batch-all 是選擇所有有效的三元組，然后計(jì)算目標(biāo)函數(shù)的平均損失；batch-hard是對(duì)于每個(gè)錨樣本，選擇最難的正樣本和負(fù)樣本構(gòu)成三元組，使用此策略可以得到與batch-size 相同數(shù)量的三元組對(duì)。不管是batch-all 還是batch-hard 策略，都只是在一小批樣本（batch）中選擇難樣本，難樣本挖掘受到了batch-size的限制，所生成的樣本只是在一小批樣本中的難樣本，而不是整個(gè)數(shù)據(jù)集的難樣本。一個(gè)簡單的處理方法是增大batch 的大小[11]，在更大的范圍尋找難樣本，但batch的增大，意味著計(jì)算量的增加。那么如何在不增加計(jì)算量的基礎(chǔ)上，擴(kuò)大難樣本的尋找范圍？為此，本文在多尺度度量學(xué)習(xí)中引入了跨批存儲(chǔ)機(jī)制（cross-batch memory（XBM））[15]的樣本挖掘策略。

1.3.2 跨批存儲(chǔ)器（XBM）機(jī)制

跨批存儲(chǔ)器（XBM）機(jī)制可用來存儲(chǔ)前期迭代的特征向量，允許模型在多個(gè)批數(shù)據(jù)中甚至整個(gè)數(shù)據(jù)集上收集足夠的難樣本對(duì)，來提高度量學(xué)習(xí)的性能。XBM 算法并不是在模型訓(xùn)練初期即使用的，而是要在特征向量出現(xiàn)“慢偏移”現(xiàn)象時(shí)，才可以引入XBM機(jī)制。

（1）“慢偏移”現(xiàn)象

在度量學(xué)習(xí)中，前期的小批量特征向量通常被認(rèn)為是過時(shí)的，因?yàn)槟Ｐ蛥?shù)在整個(gè)訓(xùn)練過程中不斷優(yōu)化[16-18]，這些過時(shí)的特征總是被丟棄。但實(shí)際上特征向量的更新有時(shí)存在“慢偏移”現(xiàn)象，也就是同一實(shí)例在不同的訓(xùn)練迭代中所生成的特征差異較小。為了量化“慢偏移”現(xiàn)象，本文將步長Δt迭代時(shí)，輸入樣本x的特征偏移量定義為：

式中，f(x;θt)是樣本x在t時(shí)刻提取的特征，θ是模型參數(shù)。

為了描述“慢偏移”現(xiàn)象，下面本文將網(wǎng)絡(luò)訓(xùn)練過程中的特征向量，按照公式（5）計(jì)算出隨著迭代次數(shù)的增加時(shí)的偏移量，結(jié)果如圖2 所示，其中圖2（a）是隨著迭代次數(shù)增加的特征向量；而圖2（b）是隨著迭代次數(shù)增加的偏移量。由圖可知，在迭代前期，特征向量的變化還是比較大的；但大約在2 500次迭代后，特征向量變得相對(duì)穩(wěn)定，特征偏移量變小，出現(xiàn)了“慢偏移”現(xiàn)象。當(dāng)特征向量出現(xiàn)“慢偏移”現(xiàn)象時(shí)，意味著前期訓(xùn)練的特征向量與當(dāng)前的特征向量之間只存在微小的差異，這時(shí)可以將前期訓(xùn)練的特征暫時(shí)存儲(chǔ)并利用起來，用于輔助當(dāng)前的網(wǎng)絡(luò)訓(xùn)練，這樣可以擴(kuò)大難樣本的挖掘范圍，同時(shí)不需要任何額外的計(jì)算，只是需要增加少量額外的存儲(chǔ)空間。

圖2 隨著網(wǎng)絡(luò)訓(xùn)練迭代次數(shù)變化的特征偏移量Fig.2 Characteristic offset varies with number of network training iterations

（2）跨批存儲(chǔ)機(jī)制算法

當(dāng)特征向量出現(xiàn)“慢偏移”現(xiàn)象（本模型是在迭代次數(shù)達(dá)到2 500）時(shí)，可以將XBM 嵌入度量學(xué)習(xí)中。為了使用XBM機(jī)制，首先需要在內(nèi)存中建一些隊(duì)列Mi，其中i∈{E5,D1,D2,D3,D4}，被初始化為第j個(gè)樣本的第i個(gè)解碼器輸出的特征向量，表示第j個(gè)樣本的標(biāo)簽，q為隊(duì)列長度，通常為batch-size 的倍數(shù)，并且把存儲(chǔ)比定義為Rn=q/n，隊(duì)列長度q與訓(xùn)練集樣本總數(shù)n之比。圖3展示了XBM機(jī)制的工作流程，其主要工作是維護(hù)和更新內(nèi)存中的隊(duì)列：在每次迭代中，首先將當(dāng)前批的特征向量v和標(biāo)簽y進(jìn)入隊(duì)列M，并將最早的批特征向量和標(biāo)簽退出隊(duì)列，始終保持隊(duì)列的長度為q。

圖3 跨批存儲(chǔ)機(jī)制Fig.3 Cross-batch storage mechanism

添加了XBM機(jī)制的度量學(xué)習(xí)過程如算法1所示：

算法1XBM跨批存儲(chǔ)機(jī)制

在算法中，整個(gè)模型訓(xùn)練分成兩個(gè)階段：前期迭代訓(xùn)練和后期迭代訓(xùn)練。前期迭代訓(xùn)練采用一般三元組的batch-all[12]樣本挖掘策略，前期迭代訓(xùn)練k次，特征向量出現(xiàn)“慢偏移”現(xiàn)象后，進(jìn)入后期迭代訓(xùn)練，此時(shí)采用XBM的難樣本挖掘策略。

后期迭代訓(xùn)練過程中，首先對(duì)內(nèi)存中的隊(duì)列M進(jìn)行初始化，然后計(jì)算當(dāng)前批的特征向量，并進(jìn)行隊(duì)列更新，即將當(dāng)前批進(jìn)入隊(duì)列，最早批移出隊(duì)列，接著在整個(gè)隊(duì)列M中挖掘三元組困難樣本對(duì)，計(jì)算樣本之間的相似度，最后利用三元組損失對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

由于隊(duì)列長度一般是遠(yuǎn)大于batch-size，因此XBM策略比batch-all策略擴(kuò)展了難樣本的挖掘范圍，可以得到更好的性能；此外，由于是直接將當(dāng)前批特征向量放入內(nèi)存模塊，因此沒有任何額外的計(jì)算。并且因?yàn)榇鎯?chǔ)特征向量特征所需的內(nèi)存非常有限，所以整個(gè)訓(xùn)練集都可以緩存到該內(nèi)存模塊中，可以保證模型能夠搜集到足夠的有效樣本對(duì)。在前期迭代中，模型采用公式（3）作為目標(biāo)函數(shù)來訓(xùn)練網(wǎng)絡(luò)；進(jìn)入后期迭代，使用XBM難樣本挖掘策略時(shí)，則采用以下目標(biāo)函數(shù)來訓(xùn)練網(wǎng)絡(luò)：

式中，pxbm和nxbm是在整個(gè)內(nèi)存存儲(chǔ)隊(duì)列中挖掘出的有效正樣本和負(fù)樣本。

1.4 總體損失和測試策略

該模型的損失函數(shù)分為三個(gè)部分：活體樣本欺詐線索的像素級(jí)回歸損失Lr，所有訓(xùn)練樣本上的三元組損失Lt或Lt_xbm和輔助二值分類損失La。將這些損失綜合起來，得出在訓(xùn)練期間的總損失L：

式中，k表示應(yīng)用三元組損失懲罰的層，a1、a2、a3是平衡不同損失分量影響的權(quán)重。

在測試階段，本文使用生成的欺詐線索映射C而不是分類器的輸出來進(jìn)行欺詐檢測。理想情況下，活體樣本具有全0的欺詐線索映射，而不同類型的欺詐樣本具有不同的欺詐線索映射。本文可將欺詐得分定義為樣本欺詐映射圖C的均值，則測試樣本的欺詐得分為：

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

為了驗(yàn)證提出方法的有效性，本文分別在OULUNPU[19]、CASIA-FASD[20]、Replay-Attack[21]數(shù)據(jù)集上進(jìn)行了測試。

OULU-NPU 可以較好地模擬真實(shí)場景，它由4 950個(gè)真實(shí)和攻擊視頻組成。視頻是在不同的背景以及光照情況下收集，并采用6個(gè)不同的手機(jī)進(jìn)行錄制。攻擊類型劃分為4種，分別為兩種打印攻擊和兩種視頻重放攻擊。在上面的基礎(chǔ)上，數(shù)據(jù)集劃分了4 種協(xié)議，用來測試算法針對(duì)不同場景的有效性。協(xié)議1 是為了評(píng)估模型在不同背景和光照下的泛化能力，協(xié)議2是為了評(píng)估模型對(duì)于不同的攻擊媒介的泛化能力，協(xié)議3是為了評(píng)估模型對(duì)于不同的拍攝設(shè)備的泛化能力，協(xié)議4則是對(duì)上面3 種場景的匯總，即評(píng)估模型在不同環(huán)境，攻擊媒介，拍攝設(shè)備下的泛化能力。

CASIAMFSD 包含50 個(gè)不同主題的600 個(gè)視頻片段。這些視頻被分為150個(gè)活體訪問視頻和450個(gè)欺騙攻擊視頻。欺騙人臉由真實(shí)人臉的高質(zhì)量記錄制成，扭曲照片攻擊、剪切照片攻擊和視頻重放攻擊是數(shù)據(jù)集中的3種欺騙攻擊。

Replay Attack 包含了來自50 個(gè)受試者的1 300 個(gè)視頻。這些視頻是在不同環(huán)境條件下收集的，分為訓(xùn)練集、開發(fā)集和測試集，分別有15個(gè)、15個(gè)和20個(gè)主題

2.2 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)中，首先將所有RGB 人臉圖像裁剪為224×224×3，然后隨機(jī)選擇訓(xùn)練數(shù)據(jù)，以保持正負(fù)樣本比率為1∶1。Batch size 設(shè)置為32，存儲(chǔ)比Rn設(shè)置為0.2，初始學(xué)習(xí)率為1E-3，選擇Adam[22]作為優(yōu)化器。在欺詐線索生成器中，使用Tanh作為激活函數(shù)，將三元組損失中邊界常量m設(shè)為0.5，同時(shí)在訓(xùn)練的迭代次數(shù)達(dá)到2 500次時(shí)，引入跨批存儲(chǔ)機(jī)制來進(jìn)行難樣本挖掘，以保證提取更有效的樣本對(duì)。

在損失函數(shù)權(quán)重值方面，將a1，a2，a3設(shè)為5，1 和5，公式（8）中的評(píng)分閾值是通過開發(fā)集實(shí)驗(yàn)設(shè)置的。實(shí)驗(yàn)的硬件環(huán)境為NVDIA GeForce RTX 2080Ti 顯卡，編程語言為Python3.7，框架采用Pytorch。

性能評(píng)價(jià)指標(biāo)方面，在數(shù)據(jù)集內(nèi)部實(shí)驗(yàn)中使用了平均分類錯(cuò)誤率（average classification error rate，ACER），它是假體人臉分類錯(cuò)誤率（attack presentation classifi cation error rate，APCER）和活體人臉分類錯(cuò)誤率（bona fide presentation classification error rate，BPCER）的均值。在跨數(shù)據(jù)集實(shí)驗(yàn)中，本文使用了半總錯(cuò)誤率（half total error rate，HTER），它是錯(cuò)誤拒絕率（false rejection rate，F(xiàn)RR）和錯(cuò)誤接受率（false acceptance rate，F(xiàn)AR）的平均值。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 數(shù)據(jù)集內(nèi)部測試

本文在OULU-NPU數(shù)據(jù)集上進(jìn)行了數(shù)據(jù)集內(nèi)部測試。表1 是在OULU-NPU 數(shù)據(jù)集4 種協(xié)議上的實(shí)驗(yàn)結(jié)果，是本文算法與其他的算法包括STASN[23]、CILF[24]、BCN[25]、CDCN-PS[26]、DC-CDN[7]、Spoof Trace[27]和LGSC[10]的實(shí)驗(yàn)比較。由表可知，在協(xié)議1 下，本文算法可以獲得最好的APCER、BPCER、ACER 指標(biāo)，而在其他3 個(gè)協(xié)議下，本文算法也可以獲得綜合最好的指標(biāo)，例如表中DC-CDN 算法雖然采用中央差分卷積來提高特征信息豐富度，但最后只使二元交叉熵?fù)p失對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，而本文算法用三元組損失結(jié)合二元交叉熵進(jìn)行輔助監(jiān)督能比DC-CDN 獲得更好的分類邊界。同時(shí)相比較于LGSC 算法使用單一的三元組損失，即只用一般的batch-all策略在一個(gè)小批內(nèi)獲得有效的樣本對(duì)用于網(wǎng)絡(luò)學(xué)習(xí)，而本文結(jié)合三元組損失以及跨批存儲(chǔ)機(jī)制在多個(gè)批次內(nèi)獲得更多的有效的三元組樣本對(duì)，來提取信息更豐富的特征進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，從而獲得更優(yōu)的結(jié)果。

表1 在OULU-NPU數(shù)據(jù)集上進(jìn)行測試Table 1 Testing on OULU-NPU dataset 單位：%

2.3.2 跨數(shù)據(jù)集測試

為了驗(yàn)證模型的泛化能力，本文進(jìn)行了跨數(shù)據(jù)集測試實(shí)驗(yàn)，即在一個(gè)數(shù)據(jù)集上訓(xùn)練，然后在另一個(gè)數(shù)據(jù)集上測試。不同數(shù)據(jù)集之間由于背景、光照、攻擊類型等因素影響，數(shù)據(jù)分布差異很大，這使得跨數(shù)據(jù)集的模型評(píng)估具有挑戰(zhàn)性。本文在CASIA-MFSD 和Replay-Attack 數(shù)據(jù)集進(jìn)行了交叉測試，以評(píng)估模型的泛化能力。表2 是跨數(shù)據(jù)集上測試得到的HTER 指標(biāo)，是本文算法與其他的FAS算法包括CNN[4]、Patch CNN[28]、Color Texture[29]、STASN[21]、DENet[30]、Disentangled[31]和LGSC[10]的實(shí)驗(yàn)比較。由表可知，與當(dāng)前的算法比較，本文算法可以取得較好的HTER結(jié)果，具有較明顯的優(yōu)勢。如相較于表中算法Patch CNN 也使用了基于度量學(xué)習(xí)的三元組損失進(jìn)行輔助監(jiān)督，但最后還是利用二元交叉熵進(jìn)行分類，即將所有不同欺詐類型的樣本歸為一類，這樣會(huì)模糊各種欺詐人臉的欺詐特征。而本文除了結(jié)合三元組損失與跨批存儲(chǔ)機(jī)制作為輔助監(jiān)督外，還利用只對(duì)活體樣本進(jìn)行像素級(jí)回歸損失作為監(jiān)督，這樣可以加深真假樣本之間，以及不同欺詐樣本之間的特征差異。并最后利用欺詐線索的均值進(jìn)行分類，提高泛化能力。

表2 跨數(shù)據(jù)集上測試得到的HTER指標(biāo)Table 2 HTER indicators from tests across datasets單位：%

2.3.3 消融實(shí)驗(yàn)及分類比較

（1）消融實(shí)驗(yàn)

本文在OULU協(xié)議1數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，來驗(yàn)證在本模型中各個(gè)組件對(duì)整個(gè)模型的影響。本文將相應(yīng)的模塊定義為“TripletLoss”“XBM”“AC”分別表示三元組損失、跨批存儲(chǔ)機(jī)制、輔助監(jiān)督，“√”表示在模型中使用該技術(shù)模塊。消融實(shí)驗(yàn)如表3所示。由表可知，去掉跨批存儲(chǔ)機(jī)制集成的三元組損失模塊，導(dǎo)致ACER分別上升3.4個(gè)百分點(diǎn)；只去掉跨批存儲(chǔ)機(jī)制后，ACER上升了1.1個(gè)百分點(diǎn)，去掉輔助分類器后，ACER上升了1.2 個(gè)百分點(diǎn)。相比于其他模塊，跨批存儲(chǔ)機(jī)制集成的三元組損失對(duì)結(jié)果的影響更大。

（2）分類比較

本文分別在跨數(shù)據(jù)集上使用樣本欺詐線索的值進(jìn)行分類，以及使用輔助分類器的二元交叉熵進(jìn)行分類，來說明哪種分類效果更好。如表4所示，相比較于輔助分類器，使用欺詐線索的值在Repay-Attacks 數(shù)據(jù)集上進(jìn)行分類HTER 下降了0.6 個(gè)百分點(diǎn)，同樣在CASIAMFSD 上HTER 下降了2.8 個(gè)百分點(diǎn)，這說明了直接使用欺詐線索進(jìn)行分類，能提高模型的泛化能力。

2.4 特征可視化

2.4.1 欺詐線索可視化

為了更直觀地理解欺詐線索，本文對(duì)欺詐線索的空間分布進(jìn)行了可視化展示。具體做法是：首先從OULU測試數(shù)據(jù)集挑選樣本生成欺詐線索，然后將欺詐線索特征圖的三個(gè)通道分別求平均值，作為樣本在軸上的坐標(biāo)，并用○表示活體樣本，△表示打印攻擊樣本，s表示視頻重放攻擊樣本，三類樣本的欺詐線索分布如圖4所示。從圖4 可以觀察到活體樣本（正常樣本）屬于封閉集，而欺詐樣本（異常樣本）屬于封閉集的離群點(diǎn)。圖5是OULU 數(shù)據(jù)集中各類樣本及對(duì)應(yīng)生成的欺詐線索映射圖。由圖5可以看到，活體樣本的欺詐線索映射圖像素值幾乎為0，與欺詐樣本的欺詐線索映射圖具有明顯的差異，這些差異的產(chǎn)生可能和欺詐樣本的顏色失真、云紋圖案或材質(zhì)有關(guān)。

圖4 欺詐線索在特征空間中的分布Fig.4 Distribution of SpoofCues in feature space

圖5 不同類型樣本及對(duì)應(yīng)生成的欺詐線索映射圖Fig.5 Different types of samples and corresponding generated spoof cue maps

2.4.2 跨批存儲(chǔ)機(jī)制的比較

（1）可視化比較

本文對(duì)去除或添加跨批存儲(chǔ)模塊的兩種情況下，所獲得的嵌入D4 層的特征進(jìn)行可視化比較，來進(jìn)一步展示跨批存儲(chǔ)機(jī)制對(duì)FAS 性能的影響。具體做法是首先獲取OULU 測試集在D4 層的特征，然后使用T-SNE 技術(shù)[32]將數(shù)據(jù)降維，最后在二維平面上展示，效果如圖6所示。圖中每個(gè)紅色○點(diǎn)代表一個(gè)活體樣本，每個(gè)黑色□點(diǎn)代表一個(gè)欺詐樣本。圖6（a）是去掉了跨批存儲(chǔ)機(jī)制的特征分布；而圖6（b）則是增加了跨批存儲(chǔ)機(jī)制的特征分布。明顯地圖6（b）比圖6（a）具有較清晰的分類邊界，這證明了跨批存儲(chǔ)機(jī)制可以通過提取更多有效的樣本對(duì)來提高模型的性能。

圖6 D4層特征的T-SNE可視化Fig.6 T-SNE visualization of D4 layer features

（2）與其他樣本挖掘算法比較

在本文網(wǎng)絡(luò)結(jié)構(gòu)中，分別將樣本挖掘策略設(shè)置為跨批存儲(chǔ)機(jī)制（XBM），以及其他通用的在線三元組挖掘策略：batch-all、batch-hard，來對(duì)比不同樣本挖掘策略對(duì)網(wǎng)絡(luò)性能的影響。表5 展示了是由不同的樣本挖掘策略組成的網(wǎng)絡(luò)結(jié)構(gòu)在OULU數(shù)據(jù)集上進(jìn)行測試的結(jié)果，以及在訓(xùn)練過程中一個(gè)迭代次數(shù)內(nèi)所能挖掘出的最大樣本對(duì)數(shù)，其中n表示一個(gè)batch 的大小，q表示XBM隊(duì)列的長度，一般為n的整數(shù)倍。如表所示，使用跨批存儲(chǔ)機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)與使用batch-all 在OULU 數(shù)據(jù)集上的APCER 值相比，該方法的APCER值減少了1.1個(gè)百分點(diǎn)；與使用batch-hard 的APCER 值相比，減少了31.7個(gè)百分點(diǎn)。同時(shí)XBM機(jī)制在一個(gè)迭代次數(shù)內(nèi)獲得的樣本對(duì)數(shù)遠(yuǎn)大于batch-all、batch-hard 的大小，即所獲得的困難樣本數(shù)也遠(yuǎn)大于這些策略。這說明跨批存儲(chǔ)機(jī)制能通過挖掘出更多的困難樣本對(duì)來獲得比其他樣本挖掘策略更好的性能。

表5 樣本挖掘策略比較Table 5 Comparison of sample mining strategies單位：%

3 結(jié)束語

本文提出了一種結(jié)合跨批存儲(chǔ)機(jī)制與度量學(xué)習(xí)的人臉活體檢測算法。在度量學(xué)習(xí)中利用跨批存儲(chǔ)機(jī)制使得網(wǎng)絡(luò)可以在多個(gè)批數(shù)據(jù)中挖掘困難樣本對(duì)，提取更加豐富的特征信息，從而避免網(wǎng)絡(luò)在進(jìn)行特征提取時(shí)，樣本挖掘被限制在一個(gè)批數(shù)據(jù)中，導(dǎo)致所提取的特征信息量不夠，模型精度下降。另外為了提高模型泛化能力，本文采用異常檢測的方式，只對(duì)活體樣本進(jìn)行像素級(jí)回歸損失的監(jiān)督，來生成欺詐線索，并用欺詐線索來對(duì)樣本進(jìn)行分類，結(jié)果表明相較于二元交叉熵?fù)p失，使用欺詐線索進(jìn)行分類能得到更好的結(jié)果。最后本文對(duì)欺詐線索進(jìn)行了可視化，證明了真實(shí)樣本和不同欺詐類型的欺詐線索是具有明顯的差異。雖然本文猜測這些差異的產(chǎn)生可能和欺詐樣本的顏色失真、云紋圖案或材質(zhì)有關(guān)，但真實(shí)情況仍不確定。未來本文會(huì)針對(duì)這種情況進(jìn)行更進(jìn)一步的探索。