基于深度學(xué)習(xí)和聯(lián)合特征提取的人臉活體檢測(cè)及決策融合攻擊類型檢測(cè)算法

摘" 要： 生物特征識(shí)別技術(shù)越來(lái)越多地應(yīng)用于身份認(rèn)證，隨之不斷出現(xiàn)偽造合法用戶信息的欺騙手段，人臉識(shí)別系統(tǒng)容易受到欺騙攻擊，嚴(yán)重威脅了系統(tǒng)的安全性。為了提高生物特征識(shí)別系統(tǒng)的安全性，文中提出一種基于深度學(xué)習(xí)和聯(lián)合特征提取的人臉活體檢測(cè)及決策融合攻擊類型檢測(cè)算法?；诟倪M(jìn)的AlexNet模型，有效降低了訓(xùn)練過(guò)程中的過(guò)擬合等問(wèn)題，顯著降低了模型訓(xùn)練時(shí)間；采取手工特征和深度學(xué)習(xí)相結(jié)合的模式判斷非活體攻擊類型，手工特征提取采取LBP結(jié)合多層DCT變換的聯(lián)合特征提取，深度學(xué)習(xí)特征采取四層CNN網(wǎng)絡(luò)的全局圖像特征提??；在攻擊類型判別上，提取待測(cè)樣本的局部和全局特征進(jìn)行初步判定，再通過(guò)決策融合將兩個(gè)SVM分類器的輸出結(jié)果以加權(quán)方式進(jìn)行整合。算法在公開(kāi)的CASIA數(shù)據(jù)集和NUAA數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，融合不用的信息可以獲得更高的準(zhǔn)確率，降低了計(jì)算的復(fù)雜度，提高了算法的效率。

關(guān)鍵詞： 深度學(xué)習(xí)； 聯(lián)合特征提?。?人臉活體檢測(cè)； AlexNet； LBP； DCT

中圖分類號(hào)： TN911.73?34； TP393" " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " "文章編號(hào)： 1004?373X（2025）05?0091?10

Face liveness detection algorithm based on deep learning and joint feature extraction and decision?making fusion attack type detection algorithm

WANG Tong， ZHANG Gaoyuan， DING Bangjie， YANG Jinzhu， ZHANG Lili

（National Computer Experimental Teaching Demonstration Center， School of Computer Science and Engineering， Northeastern University， Shenyang 110819， China）

Abstract： Biometric identification techniques are increasingly applied in identity authentication. The fraudulent means of forging legitimate user information appears. Face recognition system is vulnerable to deception attacks， which threaten the security of the system seriously. Therefore， this paper presents a face liveness detection algorithm based on deep learning and joint feature extraction and a decision?making fusion attack type detection algorithm， so as to improve the safety of the biometric identification system. On the basis of the improved AlexNet model， the overfitting of the model are reduced effectively during the process of training and its training time is reduced significantly. The pattern of combining manual features and deep learning is adopted to judge the type of non?living attacks. The joint feature extraction of LBP （local binary pattern） combined with multi?layer DCT （discrete cosine transform） is adopted for the manual feature extraction， and the global image feature extraction of four?layer CNN （convolutional neural network） is adopted for the deep learning feature. In the discrimination of attack types， the local and global features of the samples to be tested is extracted for preliminary determination. Then， by decision?making integration， the output results of the two SVM （support vector machine） classifiers are integrated in a weighted way. The algorithm is validated on publicly available CASIA datasets and NUAA datasets. The experimental results show that the fusion of unused information can obtain higher accuracy， reduce the computational complexity and improve the efficiency of the algorithm.

Keywords： deep learning; joint feature extraction; face liveness detection; AlexNet; LBP; DCT

0" 引" 言

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，生物識(shí)別技術(shù)也在不斷發(fā)展，在各種識(shí)別技術(shù)中，人臉識(shí)別是使用最為廣泛的生物特征之一[1]。人臉識(shí)別技術(shù)因安全性高、穩(wěn)定性、自然性和非接觸性、并發(fā)性以及隱蔽性等優(yōu)點(diǎn)，被廣泛應(yīng)用于安全檢測(cè)技術(shù)、監(jiān)控系統(tǒng)、身份認(rèn)證等領(lǐng)域[2?4]。目前，針對(duì)人臉生物識(shí)別系統(tǒng)的攻擊類型可以分為三類，包括打印照片攻擊、視頻回放攻擊、3D面具攻擊[5]。由于人臉信息采集的便捷性和非保密性，針對(duì)人臉的欺騙攻擊手段很容易實(shí)施[6]。從而出現(xiàn)以欺騙人臉識(shí)別系統(tǒng)為目的的攻擊方式，這對(duì)身份認(rèn)證系統(tǒng)的安全性帶來(lái)了較大的挑戰(zhàn)。

近年來(lái)，人臉活體檢測(cè)算法可以歸納為三類，包括基于手工設(shè)計(jì)特征的方法、基于深度學(xué)習(xí)的方法和基于特征融合的方法[7]?；谑止ぴO(shè)計(jì)特征的方法可以取得不錯(cuò)的精度，但是存在一定的局限性，例如檢測(cè)效果依賴于特征提取和表達(dá)等，手段單一，受場(chǎng)景約束度較高，對(duì)多類型攻擊手段的人臉欺詐方式檢測(cè)精度差，不具備魯棒性[8?9]；深度學(xué)習(xí)方法有一定的優(yōu)勢(shì)，以數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)方式能夠更加容易學(xué)習(xí)到一般特征，對(duì)復(fù)雜、未知的欺騙手段在魯棒性、泛化能力上能獲得更好的效果，但是深度學(xué)習(xí)的運(yùn)算復(fù)雜度高、計(jì)算量大、算法容易出現(xiàn)“梯度彌散”、過(guò)擬合等問(wèn)題[10]。

鑒于以上因素，本文首先通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)檢測(cè)到的活體人臉數(shù)據(jù)和非活體人臉數(shù)據(jù)樣本進(jìn)行訓(xùn)練，得到活體檢測(cè)模型，模型通過(guò)對(duì)人臉多維度的信息進(jìn)行分析，能夠很好地區(qū)分出活體人臉和非活體人臉，是在AlexNet模型的基礎(chǔ)上進(jìn)行修改得到活體檢測(cè)模型，并采取手工特征提取和深度學(xué)習(xí)相結(jié)合的模式來(lái)判斷非活體的攻擊類型。其中，本文手工特征采取LBP結(jié)合多層DCT變換的聯(lián)合特征提取，深度學(xué)習(xí)特征采取四層CNN網(wǎng)絡(luò)的全局圖像特征提取。從圖像的局部特征和全局特征兩個(gè)方面進(jìn)行攻擊類型判斷，通過(guò)決策融合的方式得到更為精確可靠的結(jié)果。實(shí)驗(yàn)結(jié)果表明，融合不同的信息可以彌補(bǔ)單個(gè)模態(tài)信息的不足，獲得更高的準(zhǔn)確率，降低了計(jì)算的復(fù)雜度，提高了算法的效率。

1" 基于改進(jìn)的AlexNet模型的活體檢測(cè)

1.1" AlexNet模型及其特點(diǎn)

AlexNet模型結(jié)構(gòu)如圖1所示。2010年ImageNet LSVRC?2010在包含有1 000種類別、120萬(wàn)張高分辨率圖片的分類任務(wù)中，AlexNet模型在測(cè)試集上top?1的錯(cuò)誤率為37.5%，top?5的錯(cuò)誤率為17%；在ImageNet LSVRC?2012中，AlexNet模型top?5的錯(cuò)誤率為15.3%。深度學(xué)習(xí)在圖像領(lǐng)域得到了大規(guī)模的應(yīng)用[11]，AlexNet模型在圖像領(lǐng)域、活體檢測(cè)領(lǐng)域取得了很好的分類效果，參數(shù)數(shù)量較少、收斂速度較快[12]。因此，本文選擇AlexNet模型為活體檢測(cè)模型，并對(duì)其進(jìn)行了些許修改，同時(shí)進(jìn)行了改進(jìn)后的對(duì)比評(píng)價(jià)，實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的模型在性能方面整體得到了較好的結(jié)果。

AlexNet模型包含5個(gè)卷積層，在第一層、第二層和第五層后面具有最大池化層，3個(gè)全連接層，具有6億個(gè)參數(shù)和65萬(wàn)個(gè)神經(jīng)元。AlexNet模型使用諸多技巧解決深層神經(jīng)網(wǎng)絡(luò)過(guò)擬合問(wèn)題，這些技巧是卷積神經(jīng)網(wǎng)絡(luò)不可或缺的部分。如數(shù)據(jù)增強(qiáng)（Data Augmentation）、退化層（Dropout Layer）、ReLU激活層函數(shù)等，使得該模型在6億個(gè)參數(shù)的情況下依然能較好的收斂。

此外，AlexNet模型運(yùn)用重疊池化技術(shù)，即相鄰池化窗口間具有重疊部分，其池化單元大小為[M×M]，步長(zhǎng)為[S]，當(dāng)[Mgt;S]時(shí)為重疊池化，如此設(shè)定相比于使用不重疊池化，使top?1錯(cuò)誤率降低了0.4%，top?5錯(cuò)誤率降低了0.3%。

1.2" 改進(jìn)的AlexNet模型

1.2.1" AlexNet模型改進(jìn)思路

全連接層（Fully Connected Layer， FC）位于卷積神經(jīng)網(wǎng)絡(luò)的最后，作為分類器工作在整個(gè)網(wǎng)絡(luò)模型中，連接結(jié)構(gòu)如圖2所示。

全連接層層數(shù)過(guò)少則無(wú)法抽象表達(dá)特性，全連接層層數(shù)過(guò)多則會(huì)使得參數(shù)過(guò)多、計(jì)算量增加、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，易造成網(wǎng)絡(luò)過(guò)擬合，因此全連接層層數(shù)的選擇很重要。人臉識(shí)別選擇不同全連接層數(shù)研究AlexNet模型的性能，得到的結(jié)果如表1所示。

根據(jù)表1可知，在卷積神經(jīng)網(wǎng)絡(luò)末端增加全連接層，不但不會(huì)明顯地提升準(zhǔn)確率，反而會(huì)顯著延遲識(shí)別時(shí)間。AlexNet模型在最后有三個(gè)全連接層，第一個(gè)全連接層和第二個(gè)全連接層共占有網(wǎng)絡(luò)80%的參數(shù)量。本文改進(jìn)的AlexNet模型保留了第一個(gè)全連接層，將退化率設(shè)為0.5，并舍棄第二個(gè)全連接層，對(duì)比評(píng)價(jià)表明，改進(jìn)后的AlexNet模型具有比較好的性能。具體對(duì)比評(píng)價(jià)詳見(jiàn)1.2.2節(jié)。

1.2.2" 改進(jìn)的AlexNet模型評(píng)價(jià)

本文改進(jìn)的AlexNet模型保留了第一個(gè)全連接層，將退化率設(shè)為0.5，并舍棄第二個(gè)全連接層。原AlexNet模型和本文改進(jìn)后的AlexNet模型在NUAA Photograph Imposter數(shù)據(jù)集上訓(xùn)練評(píng)價(jià)分別如表2和表3所示。

在測(cè)試中，設(shè)定6個(gè)Epoch，原始AlexNet模型每個(gè)Epoch時(shí)間消耗約為116 s，改進(jìn)AlexNet模型每個(gè)Epoch時(shí)間消耗約為107 s。同時(shí)，由表1可知，兩個(gè)模型在訓(xùn)練時(shí)間上相差約1 s。但是，原始AlexNet模型精確性評(píng)價(jià)為96%，而目前舍棄了第二個(gè)全連接層模型為91%。

原始模型中，深度卷積神經(jīng)網(wǎng)絡(luò)卷積核大小的選擇對(duì)結(jié)果至關(guān)重要。卷積核設(shè)置較小可縮小視野，特征體現(xiàn)更為細(xì)致，運(yùn)算量較小，網(wǎng)絡(luò)速度較快；卷積核設(shè)置較大，可增加視野，獲得更多的圖像信息，特征分布均勻，但是會(huì)增加網(wǎng)絡(luò)參數(shù)，運(yùn)算量變大，影響網(wǎng)絡(luò)速度、識(shí)別率等。

如圖3所示，原始AlexNet模型中的第一層卷積核為[11×11]，為較大卷積核，感受視野隨之增大，特征體現(xiàn)較抽象，適當(dāng)采用小卷積核可減少網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)性能。改進(jìn)的AlexNet模型的第一層采用3個(gè)小的卷積核組成卷積層，增加了網(wǎng)絡(luò)寬度，如圖4所示。

同樣，在第二層采取相同的處理，提升3×3、5×5核比例，如圖5所示。

改進(jìn)后的模型訓(xùn)練評(píng)價(jià)如表4所示，改進(jìn)后模型的精確性評(píng)價(jià)為95%，與原始模型精確性僅相差1%，模型訓(xùn)練時(shí)間進(jìn)一步得到了降低，每個(gè)Epoch時(shí)間消耗約103 s，訓(xùn)練時(shí)間與原始模型相比降低12%，因此改進(jìn)后的模型比原始模型評(píng)價(jià)較好。

2" 基于LBP和多層DCT的特征提取

2.1" LBP

局部二值模式（Local Binary Pattern， LBP）是由T.Ojala等人于1994年提出的用來(lái)描述局部特征提取的算法。LBP特征計(jì)算簡(jiǎn)單、效果明顯的特點(diǎn)使其在計(jì)算機(jī)視覺(jué)、人臉識(shí)別、目標(biāo)檢測(cè)方面得到了廣泛的應(yīng)用。

LBP特征的提取過(guò)程是在指定中心像素位置后，周圍的8個(gè)像素的灰度值與中心點(diǎn)的灰度值對(duì)比，小于中心像素灰度值該位置標(biāo)記為0，否則標(biāo)記為1。因此，中心像素點(diǎn)周圍8個(gè)像素點(diǎn)全部比較完畢之后產(chǎn)生一個(gè)8位的二進(jìn)制數(shù)。根據(jù)選取的排列的起始點(diǎn)和方向，這個(gè)具有8位的二進(jìn)制數(shù)可以有[28]種可能值，則原始的LBP算子值有256種。LBP特征提取結(jié)果如圖6所示。

特征提取原理公式如式（1）所示：

[LBPxc，yc=n=0N-12ns（pn-pc）]" " （1）

[sx=1，" " " x≥00，" " " 其他] （2）

式中：[xc，yc]為中心點(diǎn)坐標(biāo)；[N]為相鄰的像素點(diǎn)數(shù)目；[pc]為中心點(diǎn)灰度值；[pn]為鄰域內(nèi)相應(yīng)像素點(diǎn)的灰度值；[sx]為符號(hào)函數(shù)。

研究人員在原始LBP特征的基礎(chǔ)上進(jìn)行了諸多改進(jìn)，產(chǎn)生了包括均勻LBP算子、圓形LBP算子、旋轉(zhuǎn)不變LBP算子等改進(jìn)版本。

本文中選用最多包含兩次0到1、1到0跳變的均勻LBP算子，采用[LBPu2P，R]符號(hào)表示。其中，[P]表示采樣點(diǎn)數(shù)，[R]表示采樣半徑。

2.2" DCT

離散余弦變換（Discrete Cosine Transform， DCT）是輸出信號(hào)為實(shí)偶函數(shù)的離散傅里葉變換（Discrete Fourier Transform， DFT）。DCT與DFT相比具有更好的頻域能量聚集度，能夠把不重要的頻域區(qū)域和系數(shù)直接裁剪，把圖像更重要的信息聚集在一塊，DCT適合于圖像的壓縮，如式（3）所示：

[fk=α（k）n=0N-1cos（2n+1）kπ2N] （3）

[αk=12N]" " "（4）

式中：[fk]為輸入離散實(shí)偶信號(hào)；[αk]的取值如式（4）所示，其作用是為了在DCT變換編程矩陣運(yùn)算形式時(shí)方便矩陣正交化。

2.3" LBP聯(lián)合DCT的攻擊類型特征提取

本文選擇均勻LBP算子用于初級(jí)特征提取，同時(shí)假設(shè)從不用攻擊類型的視頻中隨機(jī)提取[N]幀人臉圖像進(jìn)行[LBPu28，1]處理，則每幀得到一個(gè)59維的LBP特征向量，進(jìn)一步將每幀特征向量按行合并，最后提取到[N]幀組合成[N]×59的視頻的LBP特征矩陣，如圖7所示。

因?yàn)镈CT具有能量集中的特性，圖片經(jīng)過(guò)DCT變換后在頻域上能量集中分布在左上角區(qū)域，即將變換過(guò)后的圖片輸入低通濾波器后，再經(jīng)過(guò)反離散余弦變換，則可恢復(fù)原始圖像的重要特征[5]。

在得到上述視頻的特征矩陣后，沿著每一幀的時(shí)間軸進(jìn)行一維DCT變換，變換分三部分：第一部分，對(duì)[N×59]整個(gè)矩陣每一列進(jìn)行變換；第二部分，將整個(gè)矩陣分成[N2×59]的2個(gè)分矩陣；第三部分，將整個(gè)矩陣分為[N4×59]的4個(gè)分矩陣。但各部分變換后，得到7個(gè)[59×C]。其中，[C]表示保留的最高次交流分量。7個(gè)矩陣聯(lián)合起來(lái)得到LBP聯(lián)合DCT攻擊類型特征描述子，接下來(lái)采用徑向基核函數(shù)的支持向量機(jī)（Support Vector Machine， SVM）作為分類器，將得到的特征描述子輸入該分類器，即可根據(jù)輸出完成檢測(cè)。

3" 基于CNN的攻擊類型特征提取

本文在攻擊類別判斷時(shí)增加了CNN，以提取攻擊類型特征，提升模型識(shí)別準(zhǔn)確率。特征提取CNN結(jié)構(gòu)示意圖如圖8所示。圖8中，CNN結(jié)構(gòu)為四層卷積網(wǎng)絡(luò)，每層以ReLU作為激活函數(shù)，每?jī)蓪雍筮M(jìn)入最大池化層，后一層為64維全連接層；為避免過(guò)擬合，在全連接層后使用退化層；最后，將特征輸入到SVM分類器進(jìn)行分類。

4" 決策融合

卷積神經(jīng)網(wǎng)絡(luò)提取的特征主要為綜合圖像的整體全局特征，局部二值模式提取特征聚焦于圖像的局部特征，離散余弦變換綜合視頻流的動(dòng)態(tài)特性。分類問(wèn)題中，單個(gè)的圖像特征不能完全表達(dá)圖像特點(diǎn)。因此，為了更精確地分類，將上述幾種特征有機(jī)結(jié)合，提出了將所有特征相結(jié)合的決策融合系統(tǒng)。

分類問(wèn)題中，特征融合、信息融合、決策融合是多個(gè)特征集處理的常用方法[13]。本文在獲得手工提取特征、深度學(xué)習(xí)特征的兩種分類結(jié)果后進(jìn)行融合，得到輸出結(jié)果。決策融合是精確識(shí)別攻擊類型的關(guān)鍵，融合的對(duì)象為兩個(gè)SVM分類器的輸出，如式（5）所示，分類器的權(quán)重采用投票方式確定。

[wk=1-Ekk=1KEk] （5）

式中[Ek]是第[k]個(gè)分類器的半錯(cuò)誤率。

5" 人臉活體檢測(cè)模型和攻擊類型檢測(cè)算法實(shí)驗(yàn)結(jié)果與分析

本文算法實(shí)現(xiàn)主要利用Python語(yǔ)言，活體檢測(cè)網(wǎng)絡(luò)模型構(gòu)建利用高級(jí)神經(jīng)網(wǎng)絡(luò)API Keras框架，模型后端使用TensorFlow深度學(xué)習(xí)框架，人臉識(shí)別與提取采用OpenCV模塊實(shí)現(xiàn)，SVM分類器利用Sklearn模塊實(shí)現(xiàn)。

5.1" 人臉活體檢測(cè)數(shù)據(jù)集

本文將CASIA?FASD[14]、NUAA[15]兩個(gè)公開(kāi)的數(shù)據(jù)集作為本文算法的訓(xùn)練、評(píng)估數(shù)據(jù)集。

5.1.1" CASIA?FASD數(shù)據(jù)集

CASIA?FASD數(shù)據(jù)集包含600個(gè)真實(shí)訪問(wèn)和欺騙攻擊嘗試的視頻，即包含了打印照片和視頻回放兩種攻擊方式。對(duì)50個(gè)樣本進(jìn)行采集，非活體視頻包括扭曲的人臉欺騙、人臉視頻欺騙以及剪切的照片欺騙。對(duì)每一個(gè)樣本通過(guò)三種不同分辨率的攝像頭在背景復(fù)雜以及不同光照環(huán)境下采集視頻數(shù)據(jù)，并模擬眨眼攻擊手段等，考慮了多種欺騙可能性。由此得到150段活體視頻和450段非活體視頻，7 509幀非活體圖像和5 105幀活體圖像，訓(xùn)練集20組、測(cè)試集30組，如表5所示。

5.1.2" NUAA Photograph Imposter數(shù)據(jù)集

NUAA數(shù)據(jù)集是首個(gè)公認(rèn)的反照片人臉欺騙數(shù)據(jù)庫(kù)，研究人員分三個(gè)階段收集該數(shù)據(jù)庫(kù)，每個(gè)階段間隔大約2周，在不同的光照下完成，共有15個(gè)目標(biāo)參與數(shù)據(jù)收集。每個(gè)階段記錄現(xiàn)場(chǎng)對(duì)象及其照片的圖像。

收集數(shù)據(jù)時(shí)，其面部區(qū)域至少占據(jù)照片整個(gè)面積的[23]。為了模擬假冒人臉攻擊方式，攝像頭捕獲的假臉數(shù)據(jù)存在上下、左右、前后、彎曲以及旋轉(zhuǎn)的空間位置移動(dòng)，以及多種照片欺詐的運(yùn)動(dòng)形式[16]。如表6所示，NUAA數(shù)據(jù)集中共有7 509個(gè)非活體圖像和5 105個(gè)活體圖像，分為訓(xùn)練集3 491張圖像和測(cè)試集9 123張圖像。

5.2" 系統(tǒng)流程與測(cè)試協(xié)議

5.2.1" 系統(tǒng)流程

本文算法首先通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)檢測(cè)到的活體人臉數(shù)據(jù)、非活體人臉數(shù)據(jù)樣本進(jìn)行訓(xùn)練，得到活體檢測(cè)模型。該模型通過(guò)對(duì)人臉多維度信息分析，區(qū)分非活體與活體人臉；接著，在修改的AlexNet模型上，采取手工特征、深度學(xué)習(xí)特征相結(jié)合的模式判斷非活體攻擊類型。

其中，手工特征采取LBP結(jié)合多層DCT變換的聯(lián)合特征提取，深度學(xué)習(xí)特征采取四層CNN網(wǎng)絡(luò)的全局圖像特征提取。系統(tǒng)整體流程圖如圖9所示。

活體檢測(cè)方面用到的基于AlexNet改進(jìn)的模型，通過(guò)實(shí)驗(yàn)測(cè)試選取了最優(yōu)的全連接層數(shù)、卷積層網(wǎng)絡(luò)寬度，有效降低了訓(xùn)練過(guò)程中過(guò)擬合等問(wèn)題，顯著降低了模型訓(xùn)練時(shí)間；在攻擊類型判別方面，通過(guò)提取待測(cè)樣本的全局特性、局部特性進(jìn)行初步攻擊類型判定，再通過(guò)決策融合將兩個(gè)SVM分類器的輸出結(jié)果以加權(quán)方式進(jìn)行整合，得到更為準(zhǔn)確的判別結(jié)果。

5.2.2" 測(cè)試協(xié)議

本文選擇以半錯(cuò)誤率（Half Total Error Rate， HTER）作為SVM分類器的性能評(píng)價(jià)指標(biāo)。在CNN的最后一層使用標(biāo)簽數(shù)目作為輸出維度，以Softmax為激活函數(shù)的全連接層作為分類器時(shí)，評(píng)價(jià)數(shù)據(jù)為Sklearn模塊中分類報(bào)告中的數(shù)據(jù)。

半錯(cuò)誤率是指錯(cuò)誤接受率（False Acceptance Rate， FAR）和錯(cuò)誤拒絕率（False Rejection Rate， FRR）總和的一半，如式（6）所示：

[HTER=FAR+FRR2]" （6）

式中：FAR指算法把假冒人臉判斷成活體人臉的比率；FRR指的是算法把活體人臉判斷成假冒人臉的比率。FAR、FRR的計(jì)算公式分別如式（7）、式（8）所示：

[FAR=Ns2l Ns]" "（7）

[FRR=Nl2s Nl]" "（8）

式中：[Ns2l]為假冒人臉被判斷為活體人臉的次數(shù)；[Nl2s]為活體人臉被判斷為假冒活體人臉的次數(shù)；[Ns]為假冒人臉的攻擊總次數(shù)；[Nl]為活體人臉檢測(cè)總次數(shù)。

[FAR]與[FRR]的值都與閾值有關(guān)，二者為此消彼長(zhǎng)的關(guān)系，[FAR]越大用戶體驗(yàn)越好，但缺點(diǎn)是導(dǎo)致系統(tǒng)安全性下降；相反，F(xiàn)RR越大系統(tǒng)安全性能夠得到更高的保障，但用戶體驗(yàn)降低。因此，本文選取FAR和FRR相等的特征點(diǎn)作為比較對(duì)象，在用戶體驗(yàn)與系統(tǒng)安全性之間進(jìn)行平衡折衷。由式（6）可得，在FAR和FRR相等時(shí)，HTER取得最小值，此時(shí)在ROC曲線上達(dá)到等錯(cuò)誤率（Equal Error Rate， EER），即HTER的值可以看作為等錯(cuò)誤率。

Sklearn模塊中分類報(bào)告中的各個(gè)指標(biāo)計(jì)算如下。

準(zhǔn)確率（Precision）是指正確預(yù)測(cè)為正的占全部預(yù)測(cè)為正的比例；召回率（Recall）是指正確預(yù)測(cè)為正的占全部實(shí)際為正的比例；[F]值（[F1]）指精確率和召回率的調(diào)和平均數(shù)；識(shí)別率（Accuracy）指預(yù)測(cè)對(duì)的數(shù)目占測(cè)試集總數(shù)目的比例。準(zhǔn)確率、召回率、[F]值、識(shí)別率分別如式（9）～式（12）所示：

[Precision=TruePositiveTruePositive+FalsePositive]" "（9）

[Recall=TruePositiveTruePositive+FalseNegative]" " "（10）

[F1=2×Precision×RecallTruePositive+FalseNegative]" " "（11）

[Accuracy=NprecisionNtotal]" " （12）

5.3" 活體檢測(cè)模型的實(shí)現(xiàn)與實(shí)驗(yàn)結(jié)果

本文在對(duì)活體檢測(cè)模型進(jìn)行測(cè)試時(shí)的具體參數(shù)為：初始學(xué)習(xí)率為[10-4]、批大?。˙atch Size）為50、整個(gè)訓(xùn)練集遍歷次數(shù)（Epoch）為10、損失函數(shù)為交叉熵?fù)p失函數(shù)（Binary Crossentropy）、優(yōu)化器（Optimizer）是Adam。其中，衰減率設(shè)定為初始學(xué)習(xí)率與整個(gè)訓(xùn)練集遍歷次數(shù)之比。

5.3.1" 活體檢測(cè)模型的實(shí)現(xiàn)

本文活體檢測(cè)模型基于改進(jìn)后的AlexNet模型，改進(jìn)后的AlexNet整體結(jié)構(gòu)如圖10所示。

根據(jù)第1節(jié)基于改進(jìn)的AlexNet模型的活體檢測(cè)可知，全連接層在該模型中的作用是為了綜合前面卷積層提取出來(lái)的特征。但是原始AlexNet模型的三層全連接層除去最后一層起到分類器作用，剩余兩層占全部6億參數(shù)80%的參數(shù)量，去掉其中一個(gè)全連接層后，參數(shù)量減少了16 781 312個(gè)。除上述改進(jìn)外，改進(jìn)后的模型還將原來(lái)采用大的卷積核的第一、二層卷積層分別采用3個(gè)小卷積核組成并行結(jié)構(gòu)進(jìn)行替代，第一層和第二層將模型在橫向上進(jìn)行了拓展。這樣做能夠減少參數(shù)，并通過(guò)提取更為細(xì)致的特征提升模型的識(shí)別能力。

利用Keras作為主要框架，以TensorFlow作為后端構(gòu)建了該網(wǎng)絡(luò)模型，模型可以在訓(xùn)練后更好地區(qū)分活體對(duì)象和非活體對(duì)象。

5.3.2" NUAA Photograph Imposter數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

NUAA數(shù)據(jù)庫(kù)共有12 614張圖像。其中，5 105張活體圖像，7 509張非活體圖像。該數(shù)據(jù)集中所用攻擊類型全部是打印照片攻擊，區(qū)別在于照片打印清晰度、使用的打印介質(zhì)，研究人員對(duì)每張照片做了折疊、彎曲等變形處理。本文按照8∶1∶1將其分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。驗(yàn)證集用來(lái)在訓(xùn)練過(guò)程中調(diào)整參數(shù)，將數(shù)據(jù)集數(shù)據(jù)輸入如圖10所示改進(jìn)后的AlexNet模型中，Sklearn分類報(bào)告評(píng)價(jià)結(jié)果如表7所示。

由表7可見(jiàn)，修改后的AlexNet模型在NUAA Photograph Imposter數(shù)據(jù)集上的活體檢測(cè)識(shí)別率達(dá)到了97%。

5.3.3" CASIA?FASD數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

CASIA?FASD數(shù)據(jù)集包含回放視頻攻擊、打印攻擊以及剪切照片攻擊?；诒疚奶骄康墓纛愋?，本文只對(duì)打印攻擊、回放視頻攻擊做測(cè)試。按照8∶1∶1將其分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。驗(yàn)證集用來(lái)在訓(xùn)練過(guò)程中調(diào)整參數(shù)，改進(jìn)后的AlexNet模型在CASIA?FASD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表8所示。

由表8可知，改進(jìn)后的AlexNet模型在CASIA?FASD數(shù)據(jù)集上的活體檢測(cè)方面識(shí)別率為88%，低于在NUAA Photograph Imposter數(shù)據(jù)集上的活體檢測(cè)識(shí)別率。因CASIA?FASD數(shù)據(jù)集在收集過(guò)程中采集環(huán)境變量變化較多，訓(xùn)練模型時(shí)容易陷入局部最優(yōu)值。但是，改進(jìn)后的AlexNet模型在CASIA?FASD數(shù)據(jù)集上的活體檢測(cè)識(shí)別率為88%，足夠使得本文活體檢測(cè)模型在CASIA?FASD數(shù)據(jù)集上達(dá)到預(yù)期效果。

5.4" 攻擊類型檢測(cè)算法的實(shí)現(xiàn)與實(shí)驗(yàn)結(jié)果

攻擊類型的檢測(cè)在活體檢測(cè)之后，在獲取樣本活體狀態(tài)后，再對(duì)攻擊類型進(jìn)行判斷，通過(guò)LBP聯(lián)合DCT提取的局部特征以及CNN提取的全局特征決策融合得到最后的結(jié)果。實(shí)驗(yàn)變量存在于每個(gè)視頻的提取幀數(shù)[F]，LBP特征提取后DCT變換取得交流分量數(shù)目[C]。CNN只需用目標(biāo)中隨機(jī)抽取的[F]（[F]=1，2，3）幀進(jìn)行檢測(cè)，實(shí)驗(yàn)的幀數(shù)增加時(shí)檢測(cè)性能并沒(méi)有得到明顯改善。

5.4.1" 攻擊類型檢測(cè)算法實(shí)現(xiàn)

針對(duì)攻擊類型的檢測(cè)，如本文第2節(jié)所述，采取手工提取的特征，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取出來(lái)的特征辨別攻擊類型，對(duì)特征采取支持向量機(jī)分類。手工特征采用LBP結(jié)合DCT方式，即采用均勻模式的LBP算子結(jié)合多層DCT變換。

LBP特征向量提取示意圖如圖11所示。

提取LBP特征時(shí)，首先將一張圖片分為[N][×][N]個(gè)小的區(qū)域，接著對(duì)于每個(gè)區(qū)域中的一個(gè)像素，將相鄰的8個(gè)像素的灰度值與其比較。如果周圍像素值大于中心像素值，那么該像素點(diǎn)的位置被標(biāo)記為1，否則為0。3[×]3鄰域內(nèi)的8個(gè)點(diǎn)，經(jīng)過(guò)比較可產(chǎn)生8位二進(jìn)制數(shù)，得到了該窗口中心點(diǎn)的LBP值；然后計(jì)算每個(gè)區(qū)域的直方圖，也就是每個(gè)數(shù)字出現(xiàn)的頻率，再對(duì)直方圖歸一化處理；最后，將得到的每個(gè)區(qū)域的統(tǒng)計(jì)直方圖連接成一個(gè)特征向量，即整幅圖的LBP特征向量。因采用均勻模式的LBP算子，所以輸出為59維特征向量。這里，DCT變換使用OpenCV模塊中內(nèi)置的DCT函數(shù)。

5.4.2" NUAA Photograph Imposter數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

本節(jié)因只考慮一種攻擊類型，可視第一步活體檢測(cè)模型中結(jié)果為非活體的樣本均為打印照片攻擊。但是這樣算法就失去了普適性，所以在NUAA Photograph Imposter數(shù)據(jù)集上進(jìn)行測(cè)試時(shí)，選擇將整個(gè)數(shù)據(jù)集輸入該判別模型，以獲得最終結(jié)果，即沒(méi)有經(jīng)過(guò)活體檢測(cè)過(guò)濾的全部樣本輸入該判別類型。因該數(shù)據(jù)集給出的數(shù)據(jù)是照片形式，所以將每位志愿者在同一個(gè)階段拍攝的所有照片當(dāng)作從一段視頻中截取下來(lái)的，即每張照片視為視頻的一幀，這樣能夠使得兩個(gè)數(shù)據(jù)集的數(shù)據(jù)在輸入形式上保持一致，如圖12所示。最終，在NUAA Photograph Imposter數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果HTER為15.21%，此時(shí)在LBP?DCT部分[F]=5。

5.4.3" CASIA?FASD數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

CASIA?FASD數(shù)據(jù)集包含多種攻擊類型，可以用來(lái)測(cè)試攻擊類型判斷算法。CASIA?FASD數(shù)據(jù)集具有所有活體、非活體數(shù)據(jù)，均以視頻形式給出，從同一個(gè)視頻中抽取[F]幀，輸入到攻擊類型判別算法中，如圖13所示。最終，在CASIA?FASD數(shù)據(jù)集上的結(jié)果HTER為12.80%，此時(shí)在LBP?DCT部分[F]=2。

因?yàn)镃ASIA?FASD數(shù)據(jù)集具有多種攻擊類型，為評(píng)價(jià)CNN加SVM分類器的非活體攻擊類型判斷網(wǎng)絡(luò)模型，將CASIA?FASD數(shù)據(jù)集中的回放攻擊、打印攻擊獨(dú)立出來(lái)，放入CNN攻擊類型判斷，得到的評(píng)價(jià)結(jié)果如表9所示。

5.5" 不同算法實(shí)驗(yàn)結(jié)果準(zhǔn)確率對(duì)比

本文活體檢測(cè)算法的準(zhǔn)確率與其他文獻(xiàn)中活體檢測(cè)算法的對(duì)比結(jié)果如表10所示。

本文提出的方法比其他文獻(xiàn)分別提高了2.4%、1.18%和1.18%。本文活體檢測(cè)準(zhǔn)確率基于AlexNet對(duì)大規(guī)模圖片集具有較強(qiáng)的適應(yīng)性，在舍棄一層全連接層后，參數(shù)數(shù)量減少，訓(xùn)練速度大幅增加，但是由此帶來(lái)準(zhǔn)確率下降的問(wèn)題，通過(guò)增加網(wǎng)絡(luò)寬度以提升舍去全連接層而降低的準(zhǔn)確率，結(jié)果證明這樣的處理是可行有效的。

對(duì)于攻擊類型檢測(cè)算法的準(zhǔn)確性對(duì)比，文獻(xiàn)[20]利用CNN+SVM的HTER為3.33%，文獻(xiàn)[21]采用LSTM?CNN的HTER為5.17%，文獻(xiàn)[22]采用Feature Fusion+NN的HTER為5.83%。

綜上，總結(jié)本文算法在兩個(gè)數(shù)據(jù)集上性能更好的原因有以下幾點(diǎn)：通過(guò)局部二值模式有效獲取面部圖像局部特征，再利用離散余弦變換有效獲得人臉動(dòng)態(tài)特性；卷積神經(jīng)網(wǎng)絡(luò)能夠有效提取面部圖像的全局特性；二者結(jié)合充分利用各自優(yōu)勢(shì)，彌補(bǔ)各自不足，因此取得了更優(yōu)特性。

6" 結(jié)" 論

本文提出了一種結(jié)合活體人臉的手工特征、卷積神經(jīng)網(wǎng)絡(luò)的人臉活體檢測(cè)及攻擊類別判斷的決策模型?；诟倪M(jìn)的AlexNet模型，通過(guò)實(shí)驗(yàn)測(cè)試選取最優(yōu)的全連接層數(shù)和卷積層網(wǎng)絡(luò)寬度，有效降低了訓(xùn)練過(guò)程中的過(guò)擬合等問(wèn)題，顯著降低了模型訓(xùn)練時(shí)間；同時(shí)，采取手工特征和深度學(xué)習(xí)相結(jié)合的模式判斷非活體攻擊類型，手工提取的特征采用局部二值結(jié)合離散余弦變換的綜合特征，卷積神經(jīng)網(wǎng)絡(luò)選擇了改進(jìn)后的AlexNet模型作為活體檢測(cè)模型，定義簡(jiǎn)單四層結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)為特征提取模型；在攻擊類型判別上，本文提取待測(cè)樣本的局部和全局特征進(jìn)行初步判定，再通過(guò)決策融合將兩個(gè)SVM分類器的輸出結(jié)果以加權(quán)方式進(jìn)行整合，得到更為準(zhǔn)確的判別結(jié)果；最后，本文算法在相關(guān)數(shù)據(jù)集上進(jìn)行驗(yàn)證，該方法很好地提取了人臉特征，提高了識(shí)別的準(zhǔn)確率。在實(shí)際應(yīng)用中，有諸多的干擾因素，如光照、表情、相機(jī)像素等，這些將作為后續(xù)研究的重點(diǎn)。

注：本文通訊作者為王彤。

參考文獻(xiàn)

[1] 李小薪，梁榮華.有遮擋人臉識(shí)別綜述：從子空間回歸到深度學(xué)習(xí)[J].計(jì)算機(jī)學(xué)報(bào)，2018，41（1）：177?207.

[2] ZHANG X， ZHAO R， QIAO Y. AdaCos： Adaptively scaling cosine logits for effectively learning deep face representations [C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2019： 10815?10824.

[3] 孫金龍，吳振寧，肖仲喆，等.關(guān)于人臉識(shí)別算法對(duì)不同照明技術(shù)的魯棒性研究[J].電子器件，2022，45（5）：1123?1128.

[4] DENG J K， GUO J， ZHOU Y X， et al. RetinaFace： Single?stage dense face localisation in the wild [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 5203?5212.

[5] WANG H， WANG Y T， ZHOU Z， et al. CosFace： Large margin cosine loss for deep face recognition [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 5265?5274.

[6] 鄧雄，王洪春.基于深度學(xué)習(xí)和特征融合的人臉活體檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用，2020，40（4）：1009?1015.

[7] HE K M， ZHANG X Y， REN S Q. et al. Deep residual learning for image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2016： 770?778.

[8] BAI Y C， ZHANG Y Q， DING M L， et al. Finding tiny faces in the wild with generative adversarial network [C]// 2018 IEEE/CVF Conference Vision and Pattern Recognition. New York： IEEE， 2018： 21?30.

[9] 趙洋，許軍，靳永強(qiáng)，等.多模態(tài)特征融合的人臉活體檢測(cè)算法[J].無(wú)線電工程，2022，52（5）：738?744.

[10] CAO K D， RONG Y， LI C， et al. Pose?robust face recognition via deep residual equivariant mapping [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 5187?5196.

[11] LIU W Y， WEN Y D， YU Z D， et al. SphereFace： Deep hypersphere embedding for face recognition [C]// 20th IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 6738?6746.

[12] 張春永，徐一得.一種對(duì)年齡變化魯棒的人臉識(shí)別方法[J].電子器件，2022，45（4）：848?854.

[13] ZHENG T Y， DENG W H， HU J N. Age estimation guided convolutional neural network for age?invariant face recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York： IEEE， 2017： 503?511.

[14] WEN Y D， LI Z F， QIAO Y. Latent factor guided convolutional neural networks for age?invariant face recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 4893?4901.

[15] LI Z F， GONG D H， LI X L， et al. Aging face recognition： A hierarchical learning model based on local patterns selection [J]. IEEE transactions on image processing， 2016， 25（5）： 2146?2154.

[16] CHEN D， CAO X D， WEN F， et al. Blessing of dimensionality： High?dimensional feature and its efficient compression for face verification [C]// Computer Vision and Pattern Recognition. New York： IEEE， 2013： 3025?3032.

[17] 黃俊，張娜娜，章惠.融合頭部姿態(tài)和面部表情的互動(dòng)式活體檢測(cè)[J].計(jì)算機(jī)應(yīng)用，2020，40（7）：2089?2095.

[18] MOHAMED S， GHONEIM A， YOUSSIF A. Visible/infrared face spoofing detection using texture descriptors [J]. MATEC web of conferences， 2019， 292（2）： 1?5.

[19] ANJOS A， MARCEL S. Counter?measures to photo attacks in face recognition： A public database and a baseline [C]// International Joint Conference on Biometrics. New York： IEEE， 2011： 1?7.

[20] YANG J W， LEI Z， LI S Z. Learn convolutional neural network for face anti?spoofing [EB/OL]. [2014?08?24]. https：//www.researchgate.net/publication/265089659.

[21] XU Z Q， LI S， DENG W H. Learning temporal features using LSTM?CNN architecture for face anti?spoofing [C]// 2015 3rd IAPR Conference on Pattern Recognition. New York： IEEE， 2015： 141?145.

[22] FENG L T， PO L M， LI Y M， et al. Integration of image quality and motion cues for face anti?spoofing： A neural network approach [J]. Journal of visual communication and image representation， 2016， 38： 451?460.

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（62072085）；國(guó)家重點(diǎn)研發(fā)計(jì)劃課題項(xiàng)目（2018YFB1702003）

作者簡(jiǎn)介：王" 彤（1989—），女，遼寧沈陽(yáng)人，碩士研究生，中級(jí)實(shí)驗(yàn)師，主要研究領(lǐng)域?yàn)榍度胧娇刂?、微型?jì)算機(jī)接口技術(shù)等。