基于雙目攝像機(jī)的人臉活體檢測的研究

邱晨鵬

(四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

隨著人臉識別技術(shù)飛速發(fā)展，如今這項(xiàng)技術(shù)被廣泛應(yīng)用到多種領(lǐng)域，如學(xué)生公寓門禁系統(tǒng)、機(jī)場人證合一核查系統(tǒng)、支付寶實(shí)名認(rèn)證系統(tǒng)、以及移動終端的解鎖系統(tǒng)等。但是由于人臉識別系統(tǒng)無法判別人臉圖像是否為活體，因而很容易受到假冒攻擊[1]，常見的攻擊方式有照片攻擊、視頻攻擊、三維人臉模型攻擊。其中，照片和視頻因偽造代價小，容易實(shí)施，成為最常見的攻擊方式。為了識破這些偽造攻擊手段，基于人臉的活體檢測技術(shù)應(yīng)運(yùn)而生。針對不同的攻擊方式，國內(nèi)外學(xué)者研究出許多不同的活體檢測方法。Macicj Smiatacz提出基于人臉轉(zhuǎn)動時的面部光流分析法[2],通過分析人臉轉(zhuǎn)動時產(chǎn)生的光流特征判別活體，視頻與照片；由于偽造人臉在成像系統(tǒng)的二次成像會丟失紋理細(xì)節(jié)，A.K.Jain、Rangding Wang等提出基于傅里葉頻譜與紋理分析法[3]，通過分析活體人臉與視頻、照片人臉的傅里葉頻譜以及紋理特征的差異區(qū)分活體與非活體；由于真實(shí)人臉是具有生命特征的運(yùn)動活體，存在眨眼、微動等活體特征，Maatta和Deng Gang等提出了通過眨眼檢測區(qū)分活體與人臉照片；由于真實(shí)人臉可根據(jù)指令作出相應(yīng)的動作，K.Kollreder、Boutellaa E等人提出人機(jī)交互的方式，通過檢測指定的動作指令特征來判別被檢測者是否為活體。在上述方法中，基于特征檢測的方式依賴于特征的提取，當(dāng)場景中的光照條件變化劇烈時，提取特征效果將會很差，從而影響活體檢測的結(jié)果；基于人機(jī)交互的方式，需要用戶長時間的配合，因而效率較低。本文提出基于近紅外與可將光雙目攝像機(jī)的人臉活體檢測方法，利用雙目攝像機(jī)捕獲近紅外人臉圖像與可見光人臉圖像，采用dlib人臉檢測方法對攝像機(jī)捕獲到的圖像進(jìn)行人臉檢測，結(jié)合紅外圖像與可見光圖像各自的特性以及雙目視覺原理進(jìn)行活體檢測，實(shí)驗(yàn)室結(jié)果證明本方法具有優(yōu)異的表現(xiàn)，算法的魯棒性較高。

1 人臉識別模塊

雙目攝像機(jī)裝置介紹：紅外攝像頭1，用于采集用戶的紅外光二維圖像；可將光攝像頭2，用于采集用戶的可見光二維圖像；紅外發(fā)光模組3，用于發(fā)射主動探照紅外光，采用3個紅外LED燈布置呈“品”字型分布，安裝在紅外攝像頭與可見光攝像頭中間，三者呈“一”字型分布；

人臉檢測方法：采用dlib人臉檢測方法，檢測攝像頭捕獲的人臉圖像，并得到對應(yīng)的人臉矩形框和人臉輪廓的68個特征點(diǎn)；

硬件配置：處理器：Intel Core i5-6400，雙目攝像頭：Dual Web Camera Module；

軟件配置：操作系統(tǒng)：Windows 10；集成開發(fā)環(huán)境：Visual Studio 2013；依賴庫：dlib、OpenCV300。

2 活體檢測判別模塊

聯(lián)合近紅外與可將光攝像頭裝置，依據(jù)近紅外與可見光攝像頭的成像特性，對于不同的攻擊進(jìn)行有效的抵御。

2.1 紅外攝像機(jī)成像特性

近紅外光譜區(qū)波段為780-1100nm，對于光滑表面的物體例如鏡面、油紙面、近紅外波段無反射信息，因此獲取到的圖像中的鏡面區(qū)域無任何信息，則無法檢測出人臉，從而可以防止視頻攻擊，圖1顯示了照片在雙目攝像機(jī)中的成像，左側(cè)為近紅外成像圖，右側(cè)為可將光成像圖。

圖1

2.2 色彩判別模塊

圖2、圖3依次顯示彩色照片圖像，灰度照片圖像，真實(shí)人臉圖像

圖2 可見光攝像機(jī)捕獲圖像

圖3 紅外攝像機(jī)捕獲圖像

此模塊是針對灰度圖像的，灰度照片在可見光攝像機(jī)下成像的色彩單一。HSV（Hue-Saturation-Value）顏色空間是均勻的顏色空間[9]，由于人眼的視覺系統(tǒng)對顏色的感知與HSV顏色空間相近，這里我們采用HSV顏色空間進(jìn)行判別。HSV顏色空間中，V分量與圖像的彩色信息無關(guān)，H分量與S分量主要表現(xiàn)出人對色彩的感知，則HSV顏色空間能夠很好的描述圖像的顏色特征。利用可見光相機(jī)捕獲人臉圖像，將RGB顏色模型轉(zhuǎn)換為HSV（色相、飽和度、色調(diào)）顏色模型。

RGB顏色空間轉(zhuǎn)換為HSV顏色空間：

單位為度（°）。

鑒于灰度照片跟真實(shí)人臉圖像的色彩與飽和度存在很大差異，提取可見光人臉圖像的HSV顏色模型信息，得到H分量與S分量,設(shè)置參數(shù)Val=S/H，設(shè)置灰度照片閾值，通過比較輸入的單幀可見光人臉圖像與閾值比較，進(jìn)而判別是否為灰度照片。

閾值的確定：采集500張灰度人臉照片，通過實(shí)驗(yàn)計(jì)算得出灰度人臉照片的Val的典型值為0.5，而真實(shí)人臉的Val典型值為8。通過實(shí)驗(yàn)數(shù)據(jù)對比可得出，灰度人臉照片的Val值與真實(shí)人臉的Val值差異非常明顯，根據(jù)實(shí)驗(yàn)數(shù)據(jù)設(shè)置灰度照片判別閾值為2。

若Vph為0，則判別為灰度人臉照片，反之，則進(jìn)入下一個判別方法。

通過實(shí)驗(yàn)，對作者采集的50張灰度人臉照片（包含10張素描圖像）進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果為灰度照片的通過率為0，分析可得此模塊可以完全防止灰度人臉照片的欺騙。

2.3 尺度判別模塊

通常情況下，人為偽造的人臉照片的尺寸與真實(shí)的人臉尺寸大小差異很大，比如大頭貼，一寸或者二寸的證件照，真實(shí)人臉尺度普遍要比偽造人臉照片的尺寸大，利用此信息可以防止低劣的偽造方式，作為一個篩選的條件。

對于雙目攝像機(jī)前人臉的尺寸的大小計(jì)算，基于雙目立體視覺三維測量原理。類比人類的雙眼，人對眼前的物體的立體感來源于物體在人雙眼中成像的視差，通過雙目產(chǎn)生的視差，人可以感知實(shí)體的三維信息以及到實(shí)體的距離信息。圖5表示的是經(jīng)過極線校正后的視差原理圖，ol和or分別表示左右相機(jī)的光心位置，兩個坐標(biāo)系是分別以左右相機(jī)的光心為坐標(biāo)原點(diǎn)建立，ol與or的連線T為基線，表示兩相機(jī)光心之間的距離，顯然它是一個定值，xl與xr分別表示實(shí)體點(diǎn)p在兩相機(jī)中的成像，視差表示為：

Z表示實(shí)體點(diǎn)p到基線的距離，即深度，f為相機(jī)的焦距。由數(shù)學(xué)上三角形的相似關(guān)系可得出視差d與深度Z的數(shù)學(xué)關(guān)系表達(dá)式：

因此可得視差與深度成反比關(guān)系。

圖4

圖5

圖5表示了視差與深度的關(guān)系，可知物體距離相機(jī)越遠(yuǎn)，物體在兩相機(jī)中成像的視差越小，類比視差原理將其應(yīng)用到人臉尺度計(jì)算。

首先，利用提取紅外圖像與可見光圖像的人臉矩形框，采用人臉矩形框的面積作為度量人臉尺寸的單位，分別計(jì)算紅外圖像中人臉矩形框面積和可見光圖像中的人臉矩形框的面積，由于兩個攝像機(jī)光源的差異，人臉輪廓在兩個鏡頭下的成像大小有細(xì)微的差異，并且本文中使用的dlib人臉檢測對異源人臉圖像的檢測結(jié)果中發(fā)現(xiàn)，紅外圖像中的人臉矩形框面積要小于可將光圖像中的人臉矩形框面積，為了保證實(shí)驗(yàn)結(jié)果的正確性，取紅外圖像人臉矩形框面積與可見光圖像人臉矩形框面積的平均值作為人臉面積值。根據(jù)視差原理，被檢測者距離設(shè)備的距離會改變圖像中人臉的大小以及人臉在圖像中的位置，當(dāng)被檢測者距離設(shè)備的距離較近時，兩相機(jī)獲取的圖像中人臉的面積會較大，視差較大，反之，圖像中的人臉矩形框面積較小，視差較小。如圖6、7所示。

圖6

圖7

由此可得人臉矩形框的面積大小與視差成正比關(guān)系。計(jì)算紅外圖像人臉矩形框面與可將光圖像人臉矩形框面積的平均值S，選取紅外圖像人臉矩形框的中心像素坐標(biāo)xl(il,jl)，以及可將光圖像人臉矩形框的中心像素坐標(biāo)xr(ir,jr)，根據(jù)上述原理和本文所用設(shè)備，視差可近似表示為：

將面積平均值S與視差dlen的比值k作為人臉尺寸系數(shù)，則人臉尺寸系數(shù)k表示為：

由上式可以得在一定的距離范圍內(nèi)，被檢測者的人臉尺寸系數(shù)是一定的，不會隨著距離設(shè)備的距離的變化而變化。

閾值的確定：為了提高實(shí)驗(yàn)結(jié)果的正確性，選取20個臉型大小有差異的真實(shí)人臉，并采集真實(shí)人臉圖像，通過實(shí)驗(yàn)室計(jì)算得出真實(shí)人臉的人臉尺寸系數(shù)的范圍為1000～3000，真實(shí)人臉尺寸系數(shù)的典型值為2000，為保證實(shí)驗(yàn)室結(jié)果正確性，本文閾值k采用1000。

若Kval=0，則判別當(dāng)前檢測到為非真實(shí)人臉。通過對100張大小同的人臉照片進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)室結(jié)果表明，對于人臉尺寸系數(shù)明顯不同于真實(shí)人臉尺寸系數(shù)的偽造照片，本方法可較準(zhǔn)確的容易的抵御。

3 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)采用20張彩色一寸照片，20張彩色二寸照片，20段視頻，50張黑白照片，以及10張素描照片（含人臉），進(jìn)行測試，測試結(jié)果如表1所示：通過實(shí)驗(yàn)，對本算法進(jìn)行實(shí)驗(yàn)，結(jié)果表示為對于視頻人臉的攻擊，100%正確抵御，對于一寸與二寸的彩色照片，100%正確抵御，對于素描照片，100%正確抵御，對于50張黑白人臉照片，48次正確抵御。

表1

本文采用近紅外與可將光雙目攝像機(jī)，聯(lián)合近紅外攝像機(jī)與可將光的成像特性以及雙目視覺原理，提出了采用色彩以及人臉尺寸判別方法，對視頻以及照片對臉識別系統(tǒng)的攻擊的防御，實(shí)驗(yàn)結(jié)果表明，該方法的有效性。當(dāng)然，方法中存在不足，在色彩判別方法，對于黑人的照片會存在誤判的情況，需要后續(xù)繼續(xù)研究。