基于差分量化局部二值模式的人臉反欺詐算法研究

束 鑫 唐 慧 楊習(xí)貝 宋曉寧 吳小俊

1(江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 江蘇鎮(zhèn)江 212003)2(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 江蘇無錫 214122)

目前人臉識別技術(shù)在生活中的應(yīng)用十分廣泛，大到機(jī)場車站的安檢系統(tǒng)，小到隨處可見的移動(dòng)終端上的身份驗(yàn)證功能.人臉識別技術(shù)不僅大大提高了身份信息驗(yàn)證的效率，還給用戶帶來快捷方便的生活體驗(yàn).但是，當(dāng)有人偽造客戶人臉并試圖通過人臉識別系統(tǒng)的驗(yàn)證時(shí)就會(huì)出現(xiàn)欺詐攻擊.目前，大部分基于臉部識別的反欺詐操作都需要人機(jī)交互.比如，客戶需要根據(jù)系統(tǒng)提示進(jìn)行組合動(dòng)作操作完成銀行系統(tǒng)的實(shí)名驗(yàn)證過程、用戶需要眨眼完成支付寶的身份信息驗(yàn)證等，這些交互過程極大降低了客戶體驗(yàn)的滿意程度.一些公司或者社區(qū)使用人臉識別門禁系統(tǒng)時(shí)，還需要雇傭一些安保人員參與其中以實(shí)現(xiàn)“雙保險(xiǎn)”.因此，在進(jìn)行人臉識別前增加非人機(jī)交互的人臉欺詐檢測以解決人臉識別系統(tǒng)中存在的風(fēng)險(xiǎn)與漏洞是一項(xiàng)非常有意義的工作.

人臉欺詐攻擊一般可分為3種方式：打印攻擊、重放攻擊和3D模型攻擊.打印攻擊也稱為照片攻擊，是指將合法用戶的照片打印出來或呈現(xiàn)在電子設(shè)備屏幕上，然后顯示在人臉識別系統(tǒng)的鏡頭前，或是攻擊者將用戶人臉照片的眼部區(qū)域剪裁后放在自己的面部模擬用戶眨眼來響應(yīng)系統(tǒng)指令.重放攻擊也指視頻攻擊，是指在人臉識別系統(tǒng)的鏡頭前重復(fù)播放錄制好的用戶臉部視頻以試圖通過系統(tǒng)驗(yàn)證.3D模型攻擊是指利用特殊材料構(gòu)造3D模型來模擬用戶頭部，當(dāng)欺詐檢測系統(tǒng)提示用戶做出相應(yīng)動(dòng)作時(shí)，攻擊者用手左右轉(zhuǎn)動(dòng)模型來模擬用戶的頭部運(yùn)動(dòng).打印攻擊和重放攻擊相對于3D模型攻擊所用的欺詐材料易獲取，欺詐樣本的制作也更為簡單，因此前兩者欺詐方式在人臉識別系統(tǒng)中存在的風(fēng)險(xiǎn)系數(shù)較高，針對打印攻擊和視頻攻擊提出的反欺詐方法也比較廣泛.

近年來，特征提取成為人臉反欺詐檢測的熱點(diǎn)研究內(nèi)容[1-6].如Boulkenafet等人[1,6]使用局部二值模式(local binary pattern, LBP)提取顏色紋理特征，這種方法簡單有效而且在經(jīng)典的人臉欺詐數(shù)據(jù)庫上都表現(xiàn)出了很強(qiáng)的泛化能力.但是，LBP只反映了圖片局部區(qū)域中心點(diǎn)與鄰近點(diǎn)像素值間的大小關(guān)系而忽略了重要的紋理細(xì)節(jié)信息.針對傳統(tǒng)LBP的這一不足，本文提出了差分量化局部二進(jìn)制模式(difference quantization local binary pattern， DQ_LBP)，即利用圖像局部中心點(diǎn)與周圍點(diǎn)之間的差值來細(xì)化局部二值模式的紋理信息.除此之外，本文將DQ_LBP與空間金字塔算法[7](spatial pyramid, SP)結(jié)合大大提升了該算法的分類性能.

本文的主要貢獻(xiàn)在于4個(gè)方面:

1) 提出的DQ_LBP與傳統(tǒng)的LBP相比，不僅能夠反映中心點(diǎn)與鄰近點(diǎn)之間像素值的大小關(guān)系，更能將像素之間的差值量化并利用量化結(jié)果描述人臉局部紋理的細(xì)節(jié)特征.DQ_LBP保持了LBP構(gòu)造簡單的優(yōu)點(diǎn)，且得到的DQ_LBP特征不會(huì)因?yàn)樵黾宇~外的紋理信息而增加特征的維度.

2) 使用空間金字塔算法一方面可以細(xì)致地表示人臉的空間結(jié)構(gòu)信息，另一方面可以將不同尺寸的人臉圖片轉(zhuǎn)化成統(tǒng)一維度的特征向量.DQ_LBP和空間金字塔算法相結(jié)合既提取了圖片的紋理和空間結(jié)構(gòu)信息，又反映了圖片局部和全局的特征信息.

3) 通過分析該算法在不同顏色空間中的性能說明彩色紋理對欺詐檢測的作用，并將不同的顏色空間融合以增強(qiáng)算法的魯棒性.

4) 僅需提取視頻中的一幀圖片就可以對該樣本進(jìn)行分類，從而有效節(jié)約了算法的運(yùn)算時(shí)間.

1 相關(guān)工作

近年來，隨著公共人臉欺詐數(shù)據(jù)庫的增加，人臉反欺詐的研究得到了快速的發(fā)展.現(xiàn)有的人臉欺詐檢測方法主要分為基于局部特征、基于3D深度信息分析和基于人體運(yùn)動(dòng)信息分析的方法.除此之外，將以上方法與深度學(xué)習(xí)相結(jié)合在該領(lǐng)域的應(yīng)用也越來越廣泛.

基于局部特征提取的方法[2-3]是利用圖片再造過程中產(chǎn)生的紋理差異(包括打印瑕疵、視頻偽影、顯示設(shè)備的噪聲信號和云紋效果等)辨別鏡頭前人臉的真假.文獻(xiàn)[8]為了提取更強(qiáng)的邊緣紋理特征，提出GS-LBP(guided scale based local binary pattern)淡化圖像紋理的冗余度.Pereira等人[4]和Maatta等人[5]分別提出LBP-TOP(local binary pattern from three orthogonal planes)算子和基于不同模式的LBP組合的特征提取方法.前者通過LBP-TOP算子將時(shí)間和空間信息組合，大大提高了欺詐識別精度;后者通過實(shí)驗(yàn)證明了LBP相比局部相位量化(local phase quantization, LPQ)和Gabor算子在人臉欺詐識別上具有更好的鑒別能力.Chingovska等人[9]首次將LBP應(yīng)用到欺詐檢測領(lǐng)域，并通過實(shí)驗(yàn)證明LBP對于不同數(shù)據(jù)庫中不同的攻擊類型的檢測都有一定的適用性.Wen等人[10]將鏡面反射、模糊、顏色矩和色彩差異信息結(jié)合進(jìn)行圖像失真分析，并提出基于顏色質(zhì)量的特征提取方法并表明重新獲得的面部圖像不僅顏色退化還缺乏顏色多樣性.隨后Boulkenafet等人[1]提出一種基于顏色紋理分析的人臉反欺詐方法，證明在未知條件下面部顏色紋理的表現(xiàn)比灰度表示的表現(xiàn)更加穩(wěn)定，該方法簡單有效而且在跨數(shù)據(jù)庫間具有很強(qiáng)的泛化能力.文獻(xiàn)[11]提出使用彩色共生局部二值模式(chromatic co-occurrence of local binary pattern, CCoLBP)，該算法在臉部實(shí)時(shí)應(yīng)用設(shè)備上具有很大的潛力.

真實(shí)人臉是一個(gè)3D的面部結(jié)構(gòu)，而打印攻擊和視頻攻擊所產(chǎn)生的假臉在形成過程中會(huì)丟失部分臉部3D結(jié)構(gòu)信息.基于3D深度信息分析[12]主要是利用2D圖像和3D物體之間深度信息的差異來辨別真臉和假臉.例如文獻(xiàn)[12-13]分別通過使用卷積神經(jīng)網(wǎng)絡(luò)輸出深度圖譜和在深度學(xué)習(xí)框架下從對齊的人臉圖像和所有視頻幀中獲取深度紋理特征.

基于人體運(yùn)動(dòng)信息的欺詐檢測主要研究人體的生理反應(yīng)或運(yùn)動(dòng)反應(yīng)，如眨眼[14-15]、人體運(yùn)動(dòng)[14]和頭部旋轉(zhuǎn)[16].Frischholz等人[17]提出使用3種不同的特征——臉部、聲音和嘴唇動(dòng)作進(jìn)行活體檢測，這種方法比僅使用單特征提取方法具有更高的識別精度.由于基于人體運(yùn)動(dòng)信息的檢測方法需要提取多幀信息，因此容易受到重放視頻的攻擊;Patel等人[12]提出了一種融合深度紋理特征和面部運(yùn)動(dòng)線索(如眨眼)的魯棒表示方法以應(yīng)對圖片和回放等攻擊.

隨著設(shè)備和技術(shù)的逐漸完善，將以上方法與深度學(xué)習(xí)結(jié)合后應(yīng)用到人臉反欺詐領(lǐng)域取得了顯著的效果.如Feng等人[18]利用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造出一種層次性可擴(kuò)展的框架，該框架能夠融合圖像的質(zhì)量和運(yùn)動(dòng)等信息，因此在跨數(shù)據(jù)庫之間具有很強(qiáng)的泛化能力;Atoum等人[13]將圖片分為若干小塊，利用卷及神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)計(jì)算每個(gè)小塊的欺詐分?jǐn)?shù)及其平均值，再根據(jù)基于全局深度信息的CNN判別臉部是否具有深度，最后將二者結(jié)合判別樣本真假.實(shí)驗(yàn)表明，該方法在高分辨率樣本上也取得較好的結(jié)果，而且因使用切片代替以往使用全局圖片的方法使得該算法具有魯棒性.以上2種方法需要大量的欺詐樣本才能通過CNN訓(xùn)練出較好的模型，但欺詐樣本收集卻是個(gè)難題.Li等人[19]在卷積特征圖中提取彩色LBP特征，并用已有的VGG-Face模型對其進(jìn)行微調(diào)來減少過擬合影響，該算法在CASIA FASD,Replay-Attack數(shù)據(jù)庫上都取得了穩(wěn)定的性能.

以上方法在人臉反欺詐領(lǐng)域都表現(xiàn)出顯著的分類效果，但也存在不足之處.例如在獲取樣本運(yùn)動(dòng)信息時(shí)往往要計(jì)算大量的視頻幀，在提取樣本深度信息時(shí)易受到欺詐照片卷曲影響而錯(cuò)誤分類.使用卷積神經(jīng)網(wǎng)絡(luò)雖為目前較為先進(jìn)的方法，但是容易受到欺詐樣本限制而且模型訓(xùn)練的時(shí)間較長.對于局部特征紋理提取的方法，文獻(xiàn)[1]雖然詳細(xì)闡明了顏色通道對于欺詐識別分類的作用，但使用的特征提取方法不能充分反映圖片的局部紋理信息.針對該問題，本文提出基于DQ_LBP的人臉反欺詐算法.該算法將DQ_LBP和空間金字塔算法結(jié)合，一方面DQ_LBP能夠獲取更細(xì)微的紋理特征，另一方面空間金字塔算法能夠?qū)⒉煌叨鹊哪槻考y理圖片轉(zhuǎn)變成統(tǒng)一維度的特征向量，并且能更加準(zhǔn)確地反映圖片的空間結(jié)構(gòu)信息.此外，為說明彩色空間對辨別真臉和假臉的作用，本文分別在Gray,RGB,HSV,YCbCr彩色空間進(jìn)行了大量實(shí)驗(yàn)，并將互補(bǔ)的彩色空間進(jìn)行融合來提高算法的識別性能.該方法簡單高效而且節(jié)省大量時(shí)間，僅需提取視頻中的一幀就可在CASIA FASD,Replay-Attack,Replay-Mobile上達(dá)到很好的檢測效果.

2 基于DQ_LBP的人臉反欺詐算法

針對打印攻擊和重放攻擊，本文提出了一種DQ_LBP特征提取算法，并在顏色空間中將其與空間金字塔算法結(jié)合進(jìn)行人臉欺詐檢測.該算法的總體框架如圖1所示，主要包含5個(gè)步驟：

Step1. 為提高人臉的識別效率，從每一個(gè)視頻中僅提取一幀作為圖片樣本，然后進(jìn)行臉部定位，確定臉部位置之后對原始圖片進(jìn)行剪裁形成新的人臉圖片數(shù)據(jù)庫;

Step2. 原始圖片的彩色空間為RGB形式，為探究本文算法在不同顏色空間表示之間的差異，分別將原始圖片轉(zhuǎn)換為HSV、YCbCr和灰度圖形式;

Step3. 分別在灰度圖、RGB、HSV和YCbCr顏色空間內(nèi)提取人臉圖片的DQ_LBP特征;

Step4. 利用空間金字塔算法提取顏色空間中各通道的全局和局部紋理特征，然后將各通道特征級聯(lián)形成表示人臉的特征向量;

Step5. 利用支持向量機(jī)(support vector machine, SVM)算法進(jìn)行真假人臉的檢測與分類.

Fig. 1 Framework of proposed face anti-spoofing algorithm based on DQ_LBP圖1 基于DQ_LBP的人臉反欺詐算法的框架圖

2.1 臉部提取

Fig. 2 Comparison of EER and HTER in the six datasets圖2 EER和HTER 在6個(gè)數(shù)據(jù)庫中比較

首先利用級聯(lián)目標(biāo)檢測器[20]獲取臉部位置信息，在該過程中由于用戶頭部旋轉(zhuǎn)可能會(huì)造成當(dāng)前幀的臉部位置獲取異常，此時(shí)將會(huì)對下一幀圖片進(jìn)行檢測.適當(dāng)?shù)谋尘靶畔⒛軌驇椭墼p檢測系統(tǒng)有效地鑒別真臉和假臉，本文把檢測到的人臉區(qū)域擴(kuò)充到原來的1.5倍后再進(jìn)行剪裁.不同于文獻(xiàn)[1,6]中需要把剪裁后的臉部圖片標(biāo)準(zhǔn)化為64×64像素，為了避免圖片標(biāo)準(zhǔn)化后使得紋理信息丟失，本文不對剪裁后的人臉圖片進(jìn)行任何處理，并用空間金字塔算法解決圖片多尺度問題.將CASIA FASD數(shù)據(jù)庫中提取的人臉圖像進(jìn)行剪裁和擴(kuò)充，形成32×32,64×64,128×128,150×150,200×200像素的標(biāo)準(zhǔn)人臉圖片庫和一個(gè)未經(jīng)處理的人臉圖片庫.圖2為在HSV空間中使用DQ_LBP結(jié)合空間金字塔算法提取的特征在以上6個(gè)人臉庫中的等錯(cuò)誤率(equal error rate, EER)和半總錯(cuò)誤率(half total error rate, HTER).可以看出算法在未經(jīng)標(biāo)準(zhǔn)化處理的人臉庫中表現(xiàn)的性能最好.

Fig. 3 Representation of real and fake faces at low and high resolution in the CASIA FASD database圖3 CASIA FASD中低分辨率和高分辨率下真臉和假臉

2.2 顏色空間轉(zhuǎn)換

人臉在重造過程中會(huì)產(chǎn)生許多紋理差異，這種差異在彩色通道上的表現(xiàn)更為明顯.圖3(a)行1和行2分別是低分辨率下真臉和假臉在RGB、灰度圖和HSV空間中的表示.圖3(b)是高分辨率圖片示例，從上到下分別表示真臉、卷曲照片、剪切照片和重放攻擊圖片.cosθ表示對應(yīng)假臉圖片和真臉圖片的余弦相似度：

(1)

其中,x1k，x2k(k=1,2,…,n)分別表示第1幅圖片和第2幅圖片的第k個(gè)特征點(diǎn).

如圖3所示，自然狀態(tài)下的圖片是以RGB形式呈現(xiàn)在人眼中.低分辨率真臉和假臉圖片在RGB和S通道中的差異比灰度表示下的差異更為明顯.但對于高分辨率的圖片，在彩色空間或通道內(nèi)也很難直觀地辨別真臉和假臉.通過比較S通道和灰度圖的值可知，真臉和假臉在彩色空間中的差異更大.

2.3 DQ_LBP特征提取

紋理反映了圖像灰度的性質(zhì)及其空間拓?fù)潢P(guān)系.其中，LBP因其簡單高效和灰度不變性等優(yōu)點(diǎn)被廣泛應(yīng)用到人臉欺詐識別領(lǐng)域，但是傳統(tǒng)LBP只考慮中心像素值與其鄰近像素值之間大小關(guān)系，而沒能將它們之間的差值信息進(jìn)行量化，針對傳統(tǒng)LBP的這一不足，本文提出一種新穎的LBP改進(jìn)方法.

2.3.1 LBP

局部二進(jìn)制模式的原理是利用局部區(qū)域中心像素點(diǎn)與周圍點(diǎn)的大小關(guān)系形成二進(jìn)制編碼，該二進(jìn)制編碼的十進(jìn)制表示則為中心像素點(diǎn)的LBP值，具體定義：

(2)

(3)

其中，rc和rn(n=1,2,…,P)分別表示中心點(diǎn)(x,y)的像素值和位于半徑為R(R>0)的圓上的P個(gè)鄰域的像素值.

2.3.2 DQ_LBP

傳統(tǒng)LBP忽略了局部中心點(diǎn)與相鄰點(diǎn)像素之間的差異信息，如圖4①和圖4②這2個(gè)3×3窗口的中心像素點(diǎn)和周邊像素點(diǎn)的差值雖然不同，但經(jīng)過計(jì)算之后其LBP序列完全相同.針對該問題，DQ_LBP借鑒了LBP的構(gòu)造過程來量化局部相鄰像素之間的差值，即將量化的差值附加在以2為底的指數(shù)中，使DQ_LBP在進(jìn)行編碼時(shí)把差值信息融合進(jìn)去.因此DQ_LBP的特征維度與LBP一致且包含更豐富的紋理信息.這種增加LBP差值信息的紋理提取方法能夠有效地表示真臉和假臉之間的差異，在人臉欺詐檢測方面具有較好的表現(xiàn).

Fig. 4 Examples of LBP evaluation圖4 LBP求值示例

如式(2)所示，LBP的計(jì)算過程類似于冪指函數(shù)求和運(yùn)算.由于中心點(diǎn)像素與其相鄰像素差值的范圍為[0,255]，如果本文直接將差值作為指數(shù)進(jìn)行運(yùn)算，將會(huì)使得當(dāng)前位的二值權(quán)重激增，因此在運(yùn)算前需要將差值進(jìn)行歸一化.本文構(gòu)造有關(guān)差值和中心點(diǎn)像素值歸一化為：

(4)

其中，rn和rc分別表示圖像相鄰點(diǎn)和中心點(diǎn)的像素值，差值大小為rn>rc.從式(4)可以看出，A值隨差值和中心點(diǎn)像素值的變化而變化.max表示該DQ_LBPP,R所能表示的最大值，其大小取決于周圍點(diǎn)選取的個(gè)數(shù)，與max關(guān)系可用max=2P-1表示，如果P=8，則max=255.在式(2)中，LBP值隨n呈指數(shù)關(guān)系遞增.在細(xì)化LBP紋理時(shí)，為了不增加DQ_LBP的特征維度，本文借鑒LBP構(gòu)造過程將A(A∈(0,1])作為附加信息添加到指數(shù)中，構(gòu)造的DQ_LBP：

(5)

(6)

式(6)與式(3)不同，其中x>0(即rn>rc)一方面可避免式(4)的分母，另一方面約束了DQ_LBPP,R的大小.式(5)中，DQ_LBPP,R的值會(huì)隨著n的增加以2(1+A)的倍數(shù)遞增，當(dāng)n=P時(shí)A值對DQ_LBPP,R的影響最大，當(dāng)n=1時(shí)DQ_LBPP,R值將不受A的限制.假設(shè)n=(p+1)2時(shí)A對DQ_LBP值的影響最大，那么DQ_LBPP,R算法不會(huì)因?yàn)閚較小而過多改變當(dāng)前位LBP信息，也不會(huì)因?yàn)閚太大使DQ_LBPP,R值遠(yuǎn)遠(yuǎn)超出max范圍.鑒于上述假設(shè)，本文構(gòu)造二次函數(shù)：

y=(p-n)(n-1),

(7)

為了約束DQ_LBPP,R的大小，需要對y進(jìn)行歸一化.求y關(guān)于n的導(dǎo)數(shù)為

(8)

當(dāng)?y/?n=0時(shí)，n=(p+1)/2，此時(shí)y的最大值y=((p+1)/2)2，得到值域?yàn)閇0,1]的約束函數(shù)C：

(9)

最終得到的DQ_LBP：

(10)

當(dāng)圖像分辨率越高時(shí)，圖片局部像素間的差異越小.圖5表示高分辨率樣本的灰度圖，任取其局部紋理可知中心點(diǎn)與周圍點(diǎn)像素值的差不超過5.事實(shí)上，通過統(tǒng)計(jì)CASIA FASD和Replay-Attack數(shù)據(jù)庫中每張圖片的差值得知，像素之間的差值多數(shù)分布在0～25之間，差值的最大值不超過50.由式(10)知，當(dāng)周圍點(diǎn)與鄰近點(diǎn)差值越小，DQ_LBPP,R值就越小.因此，對于像素值變化較為平緩的中、高分辨率人臉圖像，其DQ_LBPP,R值一般不會(huì)超過最大值max，如果DQ_LBPP,R>max，則設(shè)置DQ_LBPP,R=max.

Fig. 5 Local texture of the high resolution sample 圖5 高分辨率樣本的局部紋理

本文提出的DQ_LBP是綜合考慮實(shí)際圖片的差值分布和傳統(tǒng)LBP的構(gòu)造過程而設(shè)計(jì)的一種特征提取方式.因此DQ_LBP在細(xì)化原始LBP特征時(shí)不會(huì)增加其特征維度.圖6(a)給出了當(dāng)中心點(diǎn)像素值不變時(shí)LBP和DQ_LBP隨差值變化的曲線.從中可以出，DQ_LBP會(huì)隨著差值增大而增大，而LBP始終保持不變.圖6(b)是衡量LBP,DQ_LBP特征值和中心點(diǎn)像素值關(guān)系的曲線圖.其中DQ_LBP是隨中心點(diǎn)像素值的變化而變化的，而且這種變化的差異較小.總之，DQ_LBP增加了紋理差值信息的同時(shí)在一定程度上保留了LBP的灰度尺度不變性.值得注意的是，當(dāng)中心點(diǎn)像素值為0～150時(shí)，DQ_LBP值比LBP值要小，這是因?yàn)槭?6)對特征值的增加具有約束作用.3.3.1節(jié)介紹了DQ_LBP和其他常用的特征提取方式以及3種LBP改進(jìn)方法的實(shí)驗(yàn)比較，進(jìn)一步說明了DQ_LBP的優(yōu)越性.

Fig. 6 LBP and DQ_LBP with difference value and center pixel圖6 差值和中心點(diǎn)像素值對LBP和DQ_LBP的影響

2.4 空間金字塔

在計(jì)算機(jī)視覺應(yīng)用中，空間金字塔算法經(jīng)常被用來解決圖片多尺度問題[21].文獻(xiàn)[22]提出基于序的空間金字塔池化算法，該算法不僅能夠處理多尺度的子圖像塊，還解決了傳統(tǒng)池化方法容易損失大量重要信息和易過擬合的問題.基于上述原因，本文將DQ_LBP紋理與經(jīng)典的空間金字塔算法結(jié)合，其過程如圖7所示.首先將一張紋理特征圖片分為L層，對于第l(l∈{0,1,…,L-1})層的圖片則會(huì)被劃分為2l×2l個(gè)均勻大小的方塊;然后統(tǒng)計(jì)每個(gè)方塊中的特征直方圖并將其按照順序級聯(lián);最后將每一層的直方圖級聯(lián)一起形成表示樣本圖片的一維向量.空間金字塔算法實(shí)際上是對圖片進(jìn)行粒度劃分，當(dāng)層數(shù)越高就意味對圖片的劃分越精細(xì)，因此更能詳細(xì)地反映圖片的空間結(jié)構(gòu)和局部紋理信息.表示在S彩色空間i通道內(nèi)獲取的特征向量:

(11)

將S彩色空間內(nèi)各個(gè)通道的特征向量級聯(lián)形成表示該圖片的特征向量:

HS=(HS1,HS2,…,HSI).

(12)

其中I為S彩色空間內(nèi)的通道個(gè)數(shù).

Fig. 7 Spatial pyramid layer number setting and its cascade圖7 空間金字塔層數(shù)設(shè)置及其級聯(lián)方式

Fig. 8 Cropped and standardized faces in CASIA FASD圖8 CASIA FASD中裁剪和標(biāo)準(zhǔn)化的示例人臉

空間金字塔算法的使用可以大幅度提高算法的識別精度，但是也會(huì)使其數(shù)據(jù)維度擴(kuò)增，因此研究人員在使用金字塔算法時(shí)通常將其設(shè)置為3層.考慮到人臉欺詐識別是一種二分類問題，過于細(xì)化特征圖片的結(jié)構(gòu)信息會(huì)存在數(shù)據(jù)干擾，于是本文使用空間金字塔的第1層和第3層，其主要優(yōu)點(diǎn)是將特征維度降低為原來的(1+16)(1+4+16).

3 實(shí)驗(yàn)結(jié)果與分析

為了評估本文所提出算法的有效性，本文在CASIA FASD,Replay-Attack,Replay-Mobile三個(gè)權(quán)威的人臉反欺詐數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn).主要工作：

1) 通過在不同顏色空間中比較DQ_LBP,DQ_LBP結(jié)合空間金字塔算法(DQ_LBP+SP)和其他常用的6種特征提取方法的性能來說明DQ_LBP及其DQ_LBP+SP算法的優(yōu)越性;

2) 將不同的顏色空間融合以增強(qiáng)算法的泛化能力;

3) 根據(jù)實(shí)驗(yàn)數(shù)據(jù)分析該算法的檢測性能;

4) 將本文算法和前沿的人臉反欺詐算法進(jìn)行比較.

3.1 數(shù)據(jù)庫介紹

3.1.1 CASIA FASD數(shù)據(jù)庫

在CASIA FASD臉部反欺詐數(shù)據(jù)庫[23]中，研究人員對50名實(shí)驗(yàn)者的真實(shí)面部進(jìn)行了記錄并設(shè)計(jì)了3種欺詐攻擊：卷曲照片攻擊、剪切照片攻擊(攝影掩模)和視頻攻擊.真實(shí)的訪問和攻擊嘗試都使用低、正常和高3種成像質(zhì)量來記錄.50名受試者被分成2個(gè)不相交子集進(jìn)行訓(xùn)練和測試，其中訓(xùn)練集為20個(gè)類，測試集為30個(gè)類.圖8是來自文獻(xiàn)[1]中CASIA FASD數(shù)據(jù)庫的示例人臉圖像，從上到下為：低質(zhì)量、正常質(zhì)量和高質(zhì)量的人臉圖像.從左到右為：真實(shí)臉部照片和相應(yīng)的卷曲照片、剪切照片和視頻回放攻擊.

3.1.2 Replay-Attack數(shù)據(jù)庫

Replay-Attack數(shù)據(jù)庫[9]中設(shè)計(jì)了打印攻擊、手機(jī)攻擊和高清攻擊3種攻擊類型.根據(jù)在攝像機(jī)前展示假臉的設(shè)備時(shí)所使用的支撐物不同定義了手持和固定支持攻擊.50名受試者被分為3個(gè)獨(dú)立的小組進(jìn)行訓(xùn)練、驗(yàn)證和測試.圖9是來自文獻(xiàn)[1]中Replay-Attack數(shù)據(jù)庫的示例人臉圖像，行1顯示來自受控場景的圖像，而行2對應(yīng)于來自非控制場景的圖像.從左到右為:真實(shí)人臉圖片和相應(yīng)的高清攻擊、手機(jī)攻擊和打印攻擊.

Fig. 9 Cropped and standardized faces in Replay-Attack圖9 Replay-Attack中裁剪和標(biāo)準(zhǔn)化的示例人臉圖像

Fig. 10 Face samples in Replay-Mobile圖10 Replay-Mobile中的示例人臉

3.1.3 Replay-Mobile數(shù)據(jù)庫

Replay-Mobile數(shù)據(jù)庫是近年提出的一種新型的人臉欺詐檢測數(shù)據(jù)庫，相比于Replay-Attack，該數(shù)據(jù)庫使用更高分辨率的設(shè)備進(jìn)行樣本錄制，和CASIA FASD相比，前者增加了移動(dòng)場景的測試.Replay-Mobile數(shù)據(jù)庫[24]收集了40個(gè)研究對象的1 030個(gè)視頻.包含了打印照片攻擊、平板照片攻擊和移動(dòng)視頻攻擊；檢測環(huán)境包括受控場景、非受控場景、直接場景、橫向場景和擴(kuò)散場景；攻擊設(shè)備類型包括基于手持的設(shè)備和固定支持設(shè)備.該數(shù)據(jù)庫分為訓(xùn)練集、測試集和驗(yàn)證集3個(gè)非重疊的子集，分別包含12,16,12個(gè)類.Replay-Mobile數(shù)據(jù)庫的人臉示例如圖10所示：行1表示智能手機(jī)上捕獲的攻擊訪問樣本，行2表示平板電腦上采集的樣本.從左到右的列分別顯示了光照條件下啞光屏幕、無光照條件下啞光屏幕、光照條件下打印和非光照打印的人臉示例.

3.2 評價(jià)指標(biāo)

本文采用線性核的支持向量機(jī)(SVM)分類器進(jìn)行二值分類.以EER和HTER為評價(jià)指標(biāo).其中HTER為FAR與FRR的均值，F(xiàn)AR(false accep-tance rate)為錯(cuò)誤接受率，F(xiàn)RR(false rejection rate)為錯(cuò)誤拒絕率.EER為FAR,FRR的2條曲線的相交點(diǎn)對應(yīng)的值.為了將本文算法和其他算法進(jìn)行公平比較，本文在Replay-Mobile中增加了APCER(attack presentation classification error rate),BPCER(bona fide presentation classification error rate),ACER(average classification error rate)三個(gè)指標(biāo)，其中APCER和BPCER類似上述FAR和FRR，區(qū)別在于前2個(gè)指標(biāo)為了考慮每種攻擊類型的攻擊潛力和成功概率，最終的APCER,BPCER用所有攻擊類型中性能表現(xiàn)最差的值進(jìn)行評估，而且ACER為APCER與BPCER的均值.所有指標(biāo)值越小表示該算法的整體性能越好.

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 與其他特征提取方法的比較

Table 1 EER Comparison Between the Proposed Algorithm and Other Feature Extraction Methods in the CASIA FASD Database

Table 2 EER and HTER Comparison Between the Proposed Algorithm and Other Feature Extraction Methods in the Replay-Attack Database

Fig. 11 ROC graphs of LBP,DQ_LBP,DQ_LBP+SP(0,1,2), and DQ_LBP+SP(0,2)圖11 LBP,DQ_LBP,DQ_LBP+SP(0,1,2)和DQ_LBP+SP(0,2)的ROC曲線

3.3.2 彩色紋理融合

彩色空間相比灰度圖可以提高欺詐檢測的性能，但由于使用的數(shù)據(jù)庫不同，算法在何種彩色空間中表現(xiàn)的性能最好具有不確定性，為了提高算法整體的泛化能力，本文將不同彩色空間進(jìn)行融合.表3給出了彩色紋理融合方式及其實(shí)驗(yàn)結(jié)果，其中HSV和YCbCr空間結(jié)合增加了算法在CASIA FASD和Replay-Mobile數(shù)據(jù)庫中的性能，本文算法的最終結(jié)果將統(tǒng)一以在HSV+YCbCr中得到的實(shí)驗(yàn)數(shù)據(jù)為準(zhǔn).

Table 3 Fusion Performance of Color Texture in Replay-Attack,CASIA FASD, and Replay-Mobile Databases

3.3.3 檢測性能分析

為了解本文算法在不同成像質(zhì)量和不同欺詐攻擊樣本中的性能表現(xiàn)，表4～6分別給出算法在Replay-Mobile,CASIA FASD,Replay-Attack中的實(shí)驗(yàn)結(jié)果.在上述3種數(shù)據(jù)庫中，本文算法分別在視頻圖片攻擊、數(shù)碼圖片攻擊和移動(dòng)設(shè)備攻擊下具有更高的檢測精度.值得注意的是，本文算法能夠完美地檢測出Replay-Attack數(shù)據(jù)庫中的數(shù)碼圖片攻擊.

Table 4 Performance of Our Algorithm Under Different Protocols in Replay-Mobile Database

Table 5 Performance of Our Algorithm Under Different Protocols in CASIA FASD Database

Table 6 Performance of Our Algorithm Under Different Protocols in Replay-Attack Database

3.3.4 與現(xiàn)有算法比較

Table 7 Comparison Between Our Algorithm and Other Frontier Algorithms in Replay-Attack and CASIA FASD Database

結(jié)合多層離散余弦變量的算法和本文算法都在Replay-Attack數(shù)據(jù)庫中達(dá)到了完美檢測，但是本文算法在CASIA FASD中的EER值比LBP+DCT降低了97.79%.近年來，卷積神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的分類性能被廣泛應(yīng)用于活體檢測領(lǐng)域.從表7可以看出結(jié)合CNN的算法在整體上比傳統(tǒng)方法表現(xiàn)的性能更佳，比如文獻(xiàn)[28]中提出的適合時(shí)空輸入的3D卷積神經(jīng)網(wǎng)絡(luò)在Replay-Attack,CASIA FASD中都具有較為突出的性能.但是欺詐樣本獲取相對困難從而使網(wǎng)絡(luò)模型的訓(xùn)練受到限制，而且模型在訓(xùn)練時(shí)也耗費(fèi)較多的時(shí)間.綜合來看，本文算法的性能明顯優(yōu)于其他傳統(tǒng)算法，而且與大部分卷積神經(jīng)網(wǎng)絡(luò)算法相比，其泛化能力也更勝一籌.在表8所示的Replay-Mobile數(shù)據(jù)庫中，本文方法的ACER值比IQM(image quality measure),Gabor分別降低了92.38%,89.08%.和LBP+GS-LBP,CCoLBP,LBP+CCoLBP這3種改進(jìn)的LBP算法相比，本文算法也具有更好的性能表現(xiàn).

Table 8 The Comparison Between this Algorithm and Other Frontier Algorithms in Replay-Mobile Database表8 算法和其他前沿算法在Replay-Mobile數(shù)據(jù)庫中的比較 %

4 結(jié) 論

本文針對打印攻擊和視頻攻擊提出一種基于DQ_LBP的人臉反欺詐算法.通過將DQ_LBP紋理與空間金字塔算法結(jié)合使得該算法在CASIA FASD,Replay-Attack,Replay-Mobile數(shù)據(jù)庫中都表現(xiàn)了較為優(yōu)異的性能.DQ_LBP是經(jīng)過分析數(shù)據(jù)庫差值分布和借鑒LBP構(gòu)造過程形成的一種紋理特征提取方式，該算子能夠?qū)⑾袼刂g的差值量化來增加原始LBP的紋理信息.將DQ_LBP結(jié)合空間金字塔算法一方面解決圖片多尺度問題，另一方面提取樣本的結(jié)構(gòu)信息.為了降低數(shù)據(jù)維度，本文還對空間金字塔層數(shù)的設(shè)置進(jìn)行討論.在實(shí)驗(yàn)中發(fā)現(xiàn)，對于不同的數(shù)據(jù)集，性能表現(xiàn)最好的顏色空間無法確定，本文將通過將不同的彩色空間進(jìn)行結(jié)合提升本文算法的泛化能力.

本文算法的優(yōu)點(diǎn)是結(jié)合了彩色紋理信息和空間結(jié)構(gòu)信息，能夠更加詳細(xì)地反映樣本的紋理特征.DQ_LBP+SP算法和其他傳統(tǒng)的算法相比具有更精確的識別性能，和結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的算法相比，前者訓(xùn)練時(shí)間短而且表現(xiàn)出的性能也具有魯棒性.本文因?yàn)榧?xì)化了圖片紋理信息使得算法的跨數(shù)據(jù)庫檢測性能不是很好，在后期工作中，我們將會(huì)把本文特征提取方法與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合來嘗試提高算法在跨庫實(shí)驗(yàn)中的性能.