基于G通道心率變化的非接觸人臉活體檢測

閔玉琴 萬文章 余 瑛

(江西中醫(yī)藥大學(xué) 江西 南昌 330004)

0 引 言

生物識別平臺已經(jīng)越來越多地應(yīng)用于各種安全認(rèn)證，融入了我們生活的方方面面。這類平臺的代表性技術(shù)是指紋識別、虹膜識別、人臉識別這三類身份識別技術(shù)。指紋、虹膜和人臉是目前認(rèn)證系統(tǒng)中最常用的生物特征[1]。

和指紋、虹膜等生物特征相比，人臉在普遍性、可采集性與可接受性方面占有一定的優(yōu)勢(見表1)。然而人臉識別存在可能會被面具、照片[2]、視頻、3d建模等手段欺騙攻擊的問題(見圖1)。時至今日，活體檢測仍是人臉識別技術(shù)邁向更高層次所面臨的一個致命障礙。

表1 各種生物特征識別技術(shù)的比較

(a) 紙質(zhì)照片 (b) 電子照片 (c) 視頻圖1 人臉識別現(xiàn)今面臨的三種主要欺騙方式

活體檢測主要是使用各種生理特性來區(qū)分真實(shí)和假體。本文提出了一種新型的利用心率變化特征的人臉活體檢測技術(shù)，通過普通攝像頭獲取人臉視頻中的RGB信號，確定特征點(diǎn)選取ROI[3]后運(yùn)用iPPG的方法獲取實(shí)時心率。將其一段時間內(nèi)的心率平均值存入數(shù)組，再對其進(jìn)行分析，獲得表示數(shù)據(jù)穩(wěn)定性的標(biāo)準(zhǔn)差，送入閾值比較程序中檢測從而判斷是否為活體真人圖像。實(shí)驗(yàn)結(jié)果表明，本文提出的心率活體檢測技術(shù)提供了低成本和高度可用的生物識別系統(tǒng)。對比文獻(xiàn)[15]發(fā)現(xiàn)，本文提出的算法識別范圍更廣，能夠準(zhǔn)確地識別真人、紙質(zhì)照片、電子照片或視頻人臉，而且兼具人臉識別功能。并且，利用的心率原理更加精細(xì)，因?yàn)橐曨l包含RGB三通道信息，不同的通道包含的心率信息比例不同，本文利用G通道(含有心率信息最好的通道)既能更準(zhǔn)確地提取心率信號，也能避免其他通道造成的干擾。

1 相關(guān)工作

本文將用于人臉識別的活體檢測技術(shù)分為運(yùn)動信息分析、紋理信息分析、多光譜分析和多種特征綜合分析四種[4-8]，簡化了現(xiàn)有面部抗欺騙方法的分類。具體分類如圖2所示。

圖2 臉部抗欺騙方法的分類

運(yùn)動信息分析的目的是提取人臉區(qū)域特定的運(yùn)動信息以判斷真假人臉(例如眼睛眨眼或小頭和臉部移動)，以決定捕獲的生物特征樣本是否是合成的。這增加了額外的時間并造成用戶體驗(yàn)繁瑣的后果?；诩y理分析的方法是利用假人臉經(jīng)過二次采集或多次采集呈現(xiàn)出與真人圖片在紋理細(xì)節(jié)上的差異(如真實(shí)形狀和局部高光的差異等)。多光譜分析是基于皮膚和其他材質(zhì)的反射率不同，從而在成像系統(tǒng)上呈現(xiàn)較大差異，進(jìn)而判斷真假人臉。最后考慮到欺騙攻擊方式的多樣性，采取多種技術(shù)融合進(jìn)一步在機(jī)理上形成互補(bǔ)。

由于一些性能良好但需要額外的硬件設(shè)備支持，其搭建復(fù)雜成本高昂，不利于使用和普及。我們將注意力轉(zhuǎn)向基于信號處理技術(shù)軟件的方法，本文探討了三種不同的活體檢測的方法：基于運(yùn)動的方法[9-10]、基于紋理分析的方法[6]、基于圖像失真的分析方法[11-12]。

此外，本文還提出了一種新的基于從視頻提取的RGB信號獲取實(shí)時心率進(jìn)行閾值比較，從而達(dá)到抗欺騙攻擊的解決方案。

2 方法設(shè)計

本文方法基于四大生命體征中的心率。由于心臟跳動引起血液周期性灌注，從而導(dǎo)致皮膚毛細(xì)血管對光的吸收發(fā)生變化。使用圖像光電容積描記法(iPPG)，通過記錄該變化實(shí)現(xiàn)非接觸式的心率測量[13]，從而可以達(dá)到活體檢測的目的。

因?yàn)閕PPG是一種基于光線變化的測量方法，實(shí)驗(yàn)結(jié)果表明，欺騙攻擊會由于各種原因(手的抖動、屏幕閃爍頻率等)產(chǎn)生細(xì)微震動，從而造成反射光線的變化。而基于電子產(chǎn)品的照片或者視頻回放的欺騙攻擊，其屏幕自身的刷新頻率和顯示機(jī)制等原因[14]也會有光線的變化，欺騙攻擊手段也會測量出心率，但波動范圍很大。所以，短時間內(nèi)的心率是否穩(wěn)定，能夠成為活體檢測技術(shù)的依靠。在進(jìn)一步的實(shí)驗(yàn)中我們發(fā)現(xiàn)，利用心率平均值分析的方法會存在紙質(zhì)照片和真實(shí)人臉識別錯誤的漏洞，因?yàn)榧堎|(zhì)照片和人臉一樣都不是自發(fā)光的。但是紙質(zhì)照片反射的光比較明顯，所以在利用以上方法還是可以區(qū)分的。為了彌補(bǔ)這個漏洞，我們又提出了動態(tài)人臉識別計算多幀圖像相似度的方法。綜合性假體識別算法流程如圖3所示。

圖3 基于心率的假體識別算法流程

2.1 基于心率的活體檢測

首先，實(shí)時錄入3秒左右的視頻，獲得50幀人臉圖像，取較為穩(wěn)定的后20幀圖像，提取臉部感興趣區(qū)(ROI)中包含心率信號最強(qiáng)的G信號。計算出G信號的平均值存入數(shù)組，再變換得到這組數(shù)據(jù)的方差。從50幅圖像中獲取的G分量平均值經(jīng)過平滑濾波后獲得的折線圖如圖4所示。

(a) 真實(shí)人臉

(b) 紙質(zhì)人臉

(c) 電子照片人臉

(d) 視頻人臉圖4 不同信號來源提取的g分量

由圖4可知，真實(shí)人臉折線圖的波形比較有規(guī)律，而另外三幅相反。經(jīng)過多次的實(shí)驗(yàn)得出，波形還跟G分量平均值的大小有關(guān)，G分量平均值越小，其規(guī)律更加明顯。所以本文方法的應(yīng)用場景受限于室內(nèi)，沒有太陽光的場景下識別效果最好，日光燈不影響本系統(tǒng)的識別效果。

由于人眼無法分析波形的穩(wěn)定性，于是利用標(biāo)準(zhǔn)差來計算數(shù)據(jù)的穩(wěn)定性，最后發(fā)現(xiàn)，真實(shí)人臉的標(biāo)準(zhǔn)差一般在30以下。而紙質(zhì)照片、電子照片以及視頻照片的標(biāo)準(zhǔn)差一般都在40以上。所以區(qū)分假體的極限值可以設(shè)置在30至40之間。標(biāo)準(zhǔn)差如表2所示。

表2 真實(shí)人臉、視頻人臉、電子照片、紙質(zhì)照片的標(biāo)準(zhǔn)差

續(xù)表2

2.2 基于人臉圖像相似度的活體識別

為了克服利用求G分量平均值的標(biāo)準(zhǔn)差來實(shí)現(xiàn)抗假體時無法識別紙質(zhì)照片的漏洞，本文采用了動態(tài)人臉識別計算多幀圖像相似度的方法。利用紙質(zhì)照片是靜態(tài)的，其相似值變化不大的特點(diǎn)，將50幀圖像的前30幀圖像與人臉特征庫的人臉進(jìn)行相似度計算，取大于0.57的相似值存入數(shù)組，并對這30個數(shù)據(jù)求標(biāo)準(zhǔn)差，如表3所示。

表3 照片相似度標(biāo)準(zhǔn)差和真實(shí)人臉說話相似度的標(biāo)準(zhǔn)差

由表3可知，照片相似度的標(biāo)準(zhǔn)差只有144左右，而真實(shí)人臉說話時的相似度標(biāo)準(zhǔn)差在500以上。經(jīng)過多次的實(shí)驗(yàn)可以知道照片的相似度最高不超過200，而真實(shí)人臉說話時的相似度標(biāo)準(zhǔn)差不低于400。由此可以設(shè)置區(qū)分照片與人臉的極限值可以在200至400之間。這種方法不僅可以區(qū)分紙質(zhì)照片，還可以區(qū)分電子照片與真實(shí)人臉，但是由于此方法是用相似度來計算標(biāo)準(zhǔn)差，無法正確地區(qū)分視頻與真實(shí)人臉。若視頻錄入的是一個正在說話的人臉，那么該方法也會失效。

實(shí)驗(yàn)數(shù)據(jù)采集給定由合法訪問和欺騙攻擊組成的測試視頻。首先，對輸入的測試視頻進(jìn)行人臉檢測，選取ROI區(qū)域減少其他組織產(chǎn)生的光線變化干擾。其次，對RGB顏色通道進(jìn)行分離，獲取G通道(含有的脈搏信息最強(qiáng))。然后，我們運(yùn)用iPPG的測量出心率。 隨著一組心率的獲得，計算其平均值存入數(shù)組。最后，計算出方差同閾值比較得出結(jié)果，用于判斷給定的測試視頻是否是欺騙攻擊，在判斷是活體的前提下再進(jìn)入人臉識別流程?；铙w檢測模塊的總體流程如圖5所示。

圖5 假體識別流程圖

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)采集

采集實(shí)驗(yàn)室的全部人員的電子照片和部分人臉錄制視屏作為實(shí)驗(yàn)數(shù)據(jù)。其呈現(xiàn)類型和采集方式同文獻(xiàn)[12]，如圖6所示。

3.2 實(shí)驗(yàn)方案

3.2.1實(shí)驗(yàn)設(shè)計與分析

在人臉識別活體檢測系統(tǒng)中，抗假體檢測是核心模塊，涉及的思路及識別的流程如圖7所示。

圖7 人臉識別系統(tǒng)總流程圖

3.2.2人臉圖片幀數(shù)的選取

實(shí)驗(yàn)選取前30幀圖像的相似度求標(biāo)準(zhǔn)差，剩下的20幀圖像用來計算G分量平均值的標(biāo)準(zhǔn)差。

3.2.3變量參數(shù)化

設(shè)20幀圖像G分量的平均值為xi(i從1到20順序取值)，N為總數(shù)(即20)，u為20個G分量平均值的平均值，得到G分量平均值的標(biāo)準(zhǔn)差。同理設(shè)30幀圖像的相似度為xi(i從1到30順序取值)，N為總數(shù)(即30)，u為30個相似度的平均值，于是有相似度的標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差的公式如下:

3.3 系統(tǒng)測試

3.3.1限制性條件

系統(tǒng)必須在一定的光強(qiáng)環(huán)境、識別距離等限制性條件下進(jìn)行，才能達(dá)到較好的效果。

3.3.2性能測試

為了驗(yàn)證系統(tǒng)的性能，從人臉識別、活體檢測兩個方面進(jìn)行實(shí)驗(yàn)。

(1) 人臉識別。通過攝像頭采集的人臉圖像大小為640×480，幀率為25幀每秒。采集50張圖片總耗時需2 s，然后系統(tǒng)將會對前30幀圖像進(jìn)行相似度計算，只要有一幀大于0.57即識別成功，并輸出身份。采集過程中應(yīng)正對攝像頭，點(diǎn)擊采集數(shù)據(jù)，然后停止采集，再點(diǎn)擊開始驗(yàn)證，如果識別成功，在身份框處會顯示識別者的身份，如圖9所示。

圖8 人臉識別結(jié)果

(2) 活體識別。利用照片、視頻等對該識別部分抗假體攻擊的能力進(jìn)行測試。測試時分別將紙質(zhì)照片、電子照片以及視頻正對攝像頭，點(diǎn)擊采集數(shù)據(jù)，采集數(shù)據(jù)框中會顯示開始采集，采集完成后會顯示采集成功，此時按下停止采集按鈕，點(diǎn)擊開始驗(yàn)證。如果系統(tǒng)顯示活體識別失敗，那么就說明系統(tǒng)活體識別成功；若是系統(tǒng)顯示活體檢測成功，那么就說明系統(tǒng)活體識別失敗。圖9-圖11分別是紙質(zhì)照片、電子照片以及視頻在檢測時的輸出結(jié)果。

圖10 電子照片識別結(jié)果

圖11 視頻識別結(jié)果

由于實(shí)驗(yàn)室人數(shù)不夠多，以實(shí)驗(yàn)室人數(shù)進(jìn)行該測試很難得出準(zhǔn)確結(jié)果，于是我們又在CMU_PIE_Face中隨機(jī)選擇280張人臉照片填充至該系統(tǒng)的人臉數(shù)據(jù)庫，使系統(tǒng)的人臉數(shù)據(jù)庫達(dá)到300張，實(shí)驗(yàn)結(jié)果如表4所示。

表4 300張照片測試結(jié)果

4 結(jié) 語

本文提出了一種用于抵抗面部欺騙攻擊的算法，利用心率變化在真實(shí)面部和偽造合法用戶信息之間存在的差異來識別人臉。通過ROI區(qū)域提取，對感興趣區(qū)中的G信號進(jìn)行平均值計算、方差變換等一系列信號處理，提取出表示心率穩(wěn)定的參數(shù)。將獲得的參數(shù)送入閾值比較程序，從而判斷面部的真實(shí)或偽造。為了驗(yàn)證算法的可行性，我們對實(shí)驗(yàn)中獲取的數(shù)據(jù)進(jìn)行了統(tǒng)計分析。結(jié)果表明，本文方法在檢測不同類型的攻擊(紙質(zhì)照片，電子照片，視頻)中具有良好有效性。本文方法仍有改進(jìn)之處，由于其以測量心率為基礎(chǔ)的，RGB三通道信息的獲取是基于光線變化原理，所以非輕微的光線變化會對檢測效果造成一定影響。在未來的工作中，我們將進(jìn)行更多的文獻(xiàn)閱讀和實(shí)驗(yàn)，尋找更有效的方式來優(yōu)化算法，從而能更好地適應(yīng)光線變化中的面部檢測問題。