人臉識(shí)別應(yīng)用活體檢測技術(shù)研究

■ 文/公安部第一研究所 宛根訓(xùn) 田青 朱紅徽

北京市微技術(shù)研究所 葛利軍

關(guān)鍵字：人臉認(rèn)證 活體檢測 動(dòng)作活體 靜默活體 深度學(xué)習(xí)

1 引言

人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的生物識(shí)別技術(shù)。近年來，人工智能、大數(shù)據(jù)和云計(jì)算等新興技術(shù)推動(dòng)人臉識(shí)別技術(shù)快速發(fā)展，人臉識(shí)別開始在實(shí)名制管理、流程人員管理、卡口卡點(diǎn)人員核查和案件偵破等多個(gè)公安業(yè)務(wù)發(fā)揮越來越重要的作用。隨著人臉識(shí)別在公安的廣泛應(yīng)用，各種針對(duì)人臉識(shí)別應(yīng)用的系統(tǒng)攻擊開始出現(xiàn)，照片攻擊、視頻攻擊和3D 面具攻擊等各類攻擊方式對(duì)人臉應(yīng)用安全帶來了挑戰(zhàn)，如何自動(dòng)、高效地辨別非真實(shí)人臉攻擊，確保系統(tǒng)安全已成為人臉識(shí)別應(yīng)用迫切需要解決的問題。

人臉活體檢測/ 人臉防偽（Face Anti-Spoofing）就是一種運(yùn)用自動(dòng)識(shí)別成像設(shè)備檢測人臉圖像是真實(shí)人臉或攻擊人臉（包括照片攻擊、視頻攻擊和面具攻擊等）的手段和技術(shù)?；铙w檢測可以為人臉識(shí)別應(yīng)用增加安全性和可靠性，已成為學(xué)術(shù)界和工業(yè)界開始加強(qiáng)人臉防攻擊技術(shù)的研究重點(diǎn)。本文將結(jié)合人臉識(shí)別在公共安全行業(yè)應(yīng)用，對(duì)人臉識(shí)別活體檢測技術(shù)應(yīng)用展開研究。

表1 人臉識(shí)別系統(tǒng)應(yīng)用面臨的攻擊

2 人臉識(shí)別活體檢測技術(shù)原理

人臉識(shí)別應(yīng)用活體檢測技術(shù)按原理可分為四類：基于專用采集設(shè)備的人臉活體檢測、基于圖像紋理分析的人臉活體檢測方法、基于用戶交互的人臉活體檢測方法和基于深度學(xué)習(xí)的人臉活體檢測。

2.1 基于專用采集設(shè)備的人臉活體檢測

專用采集設(shè)備的人臉活體檢測可靠性高，但是需要增加額外設(shè)備輔助。專用采集設(shè)備人臉活體檢測包括多光譜技術(shù)的人臉活體檢測和光線人臉活體檢測。

多光譜技術(shù)人臉活體檢測方法主要基于多光譜技術(shù)（涵蓋可見光光譜和近紅外光譜）和人臉?biāo)赜械钠つw材質(zhì)（表皮層和真皮層）特征。在多光譜光源的照射下，采集到的真實(shí)人臉材質(zhì)和各種偽造人臉材質(zhì)（照片、視頻、面具等）會(huì)在特制攝像頭中出現(xiàn)明顯的差異。通過圖像處理技術(shù)和機(jī)器學(xué)習(xí)方法對(duì)差異進(jìn)行量化，利用深度學(xué)習(xí)模式，讓計(jì)算機(jī)能夠自主判斷待檢測樣本是否為真實(shí)人臉，從而達(dá)到無人工監(jiān)督的活體檢測的目的。

光線人臉活體檢測方法主要利用屏幕隨機(jī)顏色變化的光在人臉上的反射回來后形成的3D 人像，結(jié)合后臺(tái)的其他防攻擊模型，通過物理學(xué)原理來完成活體檢測，能抵御視頻、高清4K 屏、模型等攻擊，以蘋果iPhoneX 和部分國產(chǎn)手機(jī)提供面部解鎖為典型代表。

2.2 基于圖像紋理分析的人臉活體檢測

圖像在采集過程中會(huì)損失一些信息，并伴隨各種噪聲，兩次采集的圖像與一次采集的相比，紋理上會(huì)有一定的差異。欺騙人臉圖像與真實(shí)人臉圖像的微紋理差異主要來源于圖像的局部高光、陰影變化以及模糊程度，據(jù)此可對(duì)真假人臉進(jìn)行判斷。

基于圖像紋理分析的人臉活體檢測可基于單張人臉圖像實(shí)現(xiàn)，首先找到活體與非活體攻擊的差異，然后根據(jù)這些差異來手工設(shè)計(jì)特征，最后送給分類器去決策?；趫D像紋理分析的人臉活體檢測方法示意圖如圖1 所示。

圖1 基于圖像紋理分析的人臉活體檢測方法示意圖

2.3 基于人機(jī)交互的人臉活體檢測

真實(shí)人臉具有多樣性的運(yùn)動(dòng)特征，如眨眼、張嘴、表情的變化等，而欺騙人臉很難模擬這樣的運(yùn)動(dòng)，可以通過分析人臉區(qū)域是否存在這樣的運(yùn)動(dòng)來判斷真假。基于人機(jī)交互的人臉活體檢測主要通過對(duì)視頻圖像開展，利用視頻序列圖像的運(yùn)動(dòng)信息手工設(shè)計(jì)特征，進(jìn)行決策，用戶交互活體檢測技術(shù)主要涉及到人臉檢測、人臉特征點(diǎn)檢測、人臉跟蹤、動(dòng)作判定等一系列核心技術(shù)。基于人機(jī)交互的人臉活體檢測方法示意圖如圖2 所示。

圖2 基于人機(jī)交互的人臉活體檢測方法示意圖

2.4 基于深度學(xué)習(xí)的人臉活體檢測

活體人臉是一個(gè)很復(fù)雜的三維結(jié)構(gòu)，每個(gè)角度的面部光的反射都是不同的，會(huì)產(chǎn)生不同的反射和陰影，而照片人臉是平面結(jié)構(gòu)，與真實(shí)人臉存在差異。因此，利用基于深度學(xué)習(xí)經(jīng)過多層卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取的特征，以數(shù)據(jù)驅(qū)動(dòng)方式學(xué)習(xí)到的特征，有著手工設(shè)計(jì)特征無法比擬的優(yōu)勢，可以用來判別是真實(shí)人臉還是照片人臉，對(duì)于提高算法的魯棒性和泛化能力有益。

基于深度學(xué)習(xí)的人臉活體檢測流程如圖3 所示，主要包含四個(gè)步驟：首先對(duì)數(shù)據(jù)集按真實(shí)人臉和攻擊人臉分類，對(duì)真實(shí)人臉和攻擊人臉這兩類圖片進(jìn)行切割，并將數(shù)據(jù)集劃分為驗(yàn)證集、訓(xùn)練集、測試集；其次將訓(xùn)練集樣本進(jìn)行預(yù)處理，將訓(xùn)練集圖片進(jìn)行隨機(jī)的水平旋轉(zhuǎn)，調(diào)整圖片水平旋轉(zhuǎn)的偏移幅度，使圖片的數(shù)目和種類增多，達(dá)到對(duì)數(shù)據(jù)增強(qiáng)的效果；接著輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和參數(shù)調(diào)優(yōu)；最后使用Softmax 完全連接，獲得的激活函數(shù)值是由卷積神經(jīng)網(wǎng)絡(luò)提取的圖像特征。

圖3 基于深度學(xué)習(xí)的人臉活體檢測方法流程圖

3 人臉識(shí)別活體檢測應(yīng)用分析

3.1 人臉識(shí)別活體檢測應(yīng)用流程

圖4 嵌入人臉識(shí)別活體檢測的人臉認(rèn)證系統(tǒng)流程圖

人臉識(shí)別的公安應(yīng)用主要包含人臉認(rèn)證、人臉查詢和人臉監(jiān)控三類，活體檢測應(yīng)用在人臉認(rèn)證方面，帶有活體檢測的人臉認(rèn)證流程如圖4 所示。首先通過人臉活體檢測模塊對(duì)采集端獲取的人臉圖像進(jìn)行判定；其次進(jìn)行人臉檢測和特征抽取，最后進(jìn)行特征比對(duì)和結(jié)果認(rèn)證。

3.2 人臉識(shí)別活體檢測典型應(yīng)用

人臉識(shí)別活體檢測在公共安全領(lǐng)域的典型應(yīng)用主要分為兩大類：一是以便民服務(wù)為主的在線身份認(rèn)證應(yīng)用；二是以無人警局、檢查站等為代表的實(shí)名身份核查類應(yīng)用。

3.2.1 便民服務(wù)類應(yīng)用

便民服務(wù)類應(yīng)用主要基于手機(jī)、PAD 和電腦等個(gè)人終端設(shè)備開展，應(yīng)用的活體檢測包含用戶交互的動(dòng)作活體檢測和靜默活體檢測兩種。

3.2.1.1 用戶交互動(dòng)作活體檢測

用戶交互動(dòng)作活體檢測基于普通RGB 攝像頭設(shè)計(jì)，在用戶終端設(shè)備部署，通過動(dòng)作指令與用戶交互實(shí)現(xiàn)活體檢測，即讓用戶配合給定的指令進(jìn)行動(dòng)作,如人臉左轉(zhuǎn)、右轉(zhuǎn)、張嘴、眨眼等,指令配合錯(cuò)誤則認(rèn)為是偽造欺騙，如圖5 所示。

圖5 用戶交互動(dòng)作活體檢測

用戶交互活體檢測可以有效防范打印、翻拍等各類單張照片的攻擊，通過隨機(jī)動(dòng)作指令和人臉離開檢測框需重新開始等功能，能夠防范照片切換、視頻回放攻擊。用戶交互動(dòng)作活體檢測要求用戶配合做動(dòng)作，存在用戶體驗(yàn)不佳等問題。

3.2.1.2 靜默活體檢測

靜默活體檢測技術(shù)主要利用真實(shí)的人臉與照片相比存在的一些細(xì)微表情特征進(jìn)行活體判定，如眼皮、眼球的律動(dòng)眨眼、嘴唇以及周邊面頰的伸縮等，靜默活體可以與語音、唇語等結(jié)合，通過多種特征融合提升活體檢測能力。靜默活體檢測融合圖像紋理分析和深度學(xué)習(xí)的人臉活體檢測技術(shù)，通過手工設(shè)計(jì)紋理特征、顏色特征、頻譜特征、運(yùn)動(dòng)特征、圖像質(zhì)量特征等物理特征或通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）直接提取特征，結(jié)合訓(xùn)練的分類器來區(qū)分是活體或攻擊。

圖6 靜默活體檢測

如圖6 所示，靜默活體檢測應(yīng)用模式與動(dòng)作活體檢測不同，不需用戶配合做動(dòng)作, 只需正對(duì)攝像頭幾秒,即可完成整個(gè)檢測過程。靜默活體模型較大，一般部署在系統(tǒng)后端，需要通過前后臺(tái)配合達(dá)到人臉活體防偽目標(biāo)，但靜默活體檢測技術(shù)具有私密性保護(hù)好、用戶體驗(yàn)佳等優(yōu)點(diǎn)。

3.2.2 實(shí)名身份核查類應(yīng)用

無人警局、檢查站等為代表的實(shí)名身份核查類應(yīng)用中，考慮到用戶交互效率，多采用硬件設(shè)備輔助實(shí)現(xiàn)活體檢測。硬件設(shè)備活體檢測應(yīng)用模式與靜默活體檢測應(yīng)用模式類似，無需用戶配合。通過輔助硬件設(shè)備，降低光線等干擾，采集真實(shí)人臉區(qū)別于攻擊人臉特有的特征并設(shè)計(jì)專用分類器，實(shí)現(xiàn)高可靠、用戶無配合活體檢測體驗(yàn)。

“可見光+近紅外”光電一體化的雙目活體人臉檢測目前在公共安全通道實(shí)名身份核查類應(yīng)用廣泛。雙目活體人臉檢測方案通過對(duì)不同光照條件下的人臉皮膚反射的光譜信息進(jìn)行分類，對(duì)異質(zhì)人臉圖像進(jìn)行判斷，有效區(qū)別真實(shí)人臉皮膚和其他各類攻擊人臉，可以高效地防止照片、視頻、3D 面具等各類手段的攻擊。

3.3 人臉識(shí)別活體檢測優(yōu)缺點(diǎn)對(duì)比

活體檢測應(yīng)用優(yōu)缺點(diǎn)對(duì)比如表2 所示。

表2 活體檢測應(yīng)用優(yōu)缺點(diǎn)

4 人臉識(shí)別活體檢測應(yīng)用探索

由于動(dòng)作活體檢測、靜默活體檢測和硬件設(shè)備輔助活體檢測應(yīng)用模式各有優(yōu)缺點(diǎn)，融合不同活體檢測技術(shù)優(yōu)點(diǎn)，實(shí)現(xiàn)高效防范照片、視頻和3D 面具等各類攻擊，達(dá)到不同人臉識(shí)別應(yīng)用多業(yè)務(wù)的統(tǒng)一接入，將成為未來人臉識(shí)別在公共安全應(yīng)用的方向之一。

圖7 活體檢測平臺(tái)架構(gòu)圖

本文設(shè)計(jì)實(shí)現(xiàn)的多方法融合的活體檢測平臺(tái)，能夠?qū)崿F(xiàn)對(duì)動(dòng)作活體、靜默活體和輔助設(shè)備活體多種模式的匯聚，通過多活體檢測算法的接入，實(shí)現(xiàn)公安不同業(yè)務(wù)的支持，平臺(tái)架構(gòu)如圖7 所示。前端提供Android、IOS、HTML5 等多類型SDK 實(shí)現(xiàn)活體接入，后臺(tái)通過插件化管理，在實(shí)現(xiàn)多檢測模式融合同時(shí)，方便后續(xù)技術(shù)升級(jí)達(dá)到最可靠活體檢測目標(biāo)。

5 結(jié)語

目前，基于多方法融合活體檢測平臺(tái)仍是一個(gè)階段解決方案，需要在應(yīng)用中不斷完善。未來，隨著深度傳感器越來越多的應(yīng)用于移動(dòng)設(shè)備，基于通用攝像頭的活體檢測方案將逐步被硬件設(shè)備輔助活體檢測應(yīng)用模式替代，從而進(jìn)一步提升活體檢測準(zhǔn)確度和用戶體驗(yàn)感。