基于計(jì)算光場成像的虹膜活體檢測方法

宋平 黃玲 王云龍 劉菲 孫哲南

基于生物特征(虹膜、人臉、步態(tài)、指紋等)的身份識別是個(gè)體身份鑒別的重要手段.近年來,隨著模式識別、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、人工智能、信息安全等領(lǐng)域的發(fā)展,生物特征識別技術(shù)不斷突破創(chuàng)新,得到了國內(nèi)外學(xué)術(shù)界,產(chǎn)業(yè)界乃至政府部門的高度關(guān)注,已經(jīng)被推向一個(gè)研究高潮.相比傳統(tǒng)身份識別方式(密碼、身份證等),生物特征具有防偽性高、不易丟失或遺忘、信息豐富的特點(diǎn).在常用生物特征(指紋、人臉、虹膜等)中,虹膜識別因?yàn)榫哂形ㄒ恍?、穩(wěn)定性、非接觸性、高精度等優(yōu)勢,是現(xiàn)階段最安全可靠的生物特征識別技術(shù),現(xiàn)已成功應(yīng)用于海關(guān)、機(jī)場、公安、金融等高安全需求的場合.但是,最近研究表明,現(xiàn)有的虹膜識別系統(tǒng)無法對采集端進(jìn)行保護(hù),在遇到人造假體樣本(打印虹膜、美瞳、義眼等)攻擊時(shí),常見的數(shù)字證書加密、水印、數(shù)字簽名等信息保護(hù)措施失效,導(dǎo)致系統(tǒng)產(chǎn)生誤識別[1?3].為了準(zhǔn)確辨別真實(shí)虹膜和人造假體虹膜,提升虹膜識別系統(tǒng)的安全性和魯棒性,虹膜活體檢測技術(shù)(Iris liveness detection)應(yīng)運(yùn)而生.該技術(shù)的基本原理是:與正常采集的虹膜圖像相比,人造假體虹膜圖像在生成時(shí)會丟失信息,同時(shí)也會附加額外的信息,通過檢測這兩部分信息可以判斷虹膜圖像的真實(shí)性[4].

根據(jù)檢測信息方式的差異可以將虹膜活體檢測方法分為兩類:硬件法[5?14]和軟件法[15?25].硬件法是指通過使用額外的硬件設(shè)備采集活體人眼特有的特征進(jìn)行活體檢測,比如視線特征[5?7]、虹膜立體結(jié)構(gòu)特征[8]、虹膜震顫(Hippus)特征[9]等.Daugman[10]提出了利用角膜和晶狀體前后面對光照產(chǎn)生的普爾欽(Purkinje)反射進(jìn)行虹膜活體檢測的理論,Lee 等[11]基于該理論實(shí)現(xiàn)了虹膜活體檢測.該方法通過控制一對近紅外光源產(chǎn)生并拍攝普爾欽反射,可以實(shí)現(xiàn)圖片、美瞳、義眼等多種攻擊類型的檢測,不過需要精確控制光源和瞳孔之間的角度,對成像系統(tǒng)要求較高.Lee 等[12]通過測量不同近紅外光照(750 nm 和850 nm)條件下鞏膜和虹膜之間反射率比的變化進(jìn)行活體檢測.該方法檢測速度快,但是需要分兩次采集不同光照條件下的人眼圖像,大大降低了數(shù)據(jù)采集效率.Czajka 等[13]通過控制30 s內(nèi)點(diǎn)光源的亮度變化,根據(jù)瞳孔的動態(tài)變化(Pupil dynamics)和與瞳孔收縮模型的擬合情況區(qū)分真假虹膜樣本.該方法精度較高,但數(shù)據(jù)采集時(shí)間較長且采集時(shí)人眼舒適度低.

近年來,光場成像技術(shù)以其多視角、多維度、多焦點(diǎn)成像的特點(diǎn)逐步應(yīng)用于生物特征識別領(lǐng)域.Raghavendra 等[14]首次利用光場相機(jī)的固有特性進(jìn)行虹膜活體檢測.該方法首先利用Lytro Desktop軟件對光場圖像進(jìn)行預(yù)處理并渲染得到十幾張具有不同對焦深度的圖像,然后依次對這些圖像進(jìn)行預(yù)處理,得到歸一化虹膜圖像序列,最后通過離散小波變換(Discrete wavelet transform,DWT)方法計(jì)算圖像序列的對焦能量變化量來區(qū)分真假虹膜樣本.該方法數(shù)據(jù)采集方便,但光場數(shù)據(jù)處理受軟件限制,局限性大;由于采用閾值分類方法,該方法只能應(yīng)對單一攻擊類型,其應(yīng)用面較窄,無法同時(shí)應(yīng)對多種攻擊類型.

軟件法是指在虹膜圖像采集完成后通過對采集到的圖像提取有區(qū)分性的特征進(jìn)行虹膜活體檢測.Daugman[10]提出打印虹膜圖像經(jīng)過2D 傅里葉分析會產(chǎn)生與真實(shí)虹膜圖像不同的頻域特征.真假虹膜圖像不僅頻譜特征不同,紋理特征也存在差異.因此,通過利用LBP(Local binary pattern)[15]、BSIF(Binarized statistical image features)[16?17]、GLCM(Gray level cooccurrence matrix)[18]等局部特征描述子提取有區(qū)分性的局部特征,可以準(zhǔn)確檢測多種人造假體虹膜類型(打印虹膜、美瞳、義眼等).Hu 等[19]和Kohli等[20]通過融合多種局部特征取得了更好的活體檢測結(jié)果.Gabally 等[21]基于“質(zhì)量差異”的假設(shè)提出了基于圖像質(zhì)量評價(jià)(Image quality assessment)的活體檢測方法.該方法通過專門設(shè)計(jì)多種針對虹膜圖像的質(zhì)量評價(jià)指標(biāo),來區(qū)分真實(shí)虹膜和打印虹膜,取得了較高的分類準(zhǔn)確率.然后,Gabally 等[22]又使用25 種常規(guī)圖像質(zhì)量評價(jià)方法來提取虹膜圖像的質(zhì)量特征,既取得了較高的準(zhǔn)確率又具有很好的泛化性能.隨著深度學(xué)習(xí)浪潮的來臨,基于深度學(xué)習(xí)的虹膜活體檢測方法[23?25]也已經(jīng)達(dá)到了與傳統(tǒng)方法相當(dāng)?shù)臏?zhǔn)確率.

綜上,我們可知:1)兩類虹膜活體檢測方法各有其優(yōu)點(diǎn)與不足.硬件法能夠采集更豐富的信息,分類效果更好,但是一般需要使用額外的成像設(shè)備,自主搭建采集系統(tǒng),控制采集環(huán)境.因此硬件法操作復(fù)雜度高,采集效率低,無法便捷應(yīng)用.軟件法使用非接觸方式采集圖像,運(yùn)行速度快,但是輸入信息有限,圖像處理,特征提取和活體檢測算法易受圖像質(zhì)量影響.2)目前使用的虹膜數(shù)據(jù)庫幾乎都是近距離采集(≤60 cm),這樣雖然能夠得到高分辨率和高質(zhì)量的虹膜圖像,但是成像環(huán)境和應(yīng)用場景的光照、距離、視角、離焦、景深、噪聲等變量需要嚴(yán)格受控,無法進(jìn)行復(fù)雜場景下的虹膜數(shù)據(jù)獲取、活體檢測、身份識別等任務(wù)的研究.

基于以上問題,本文提出了基于計(jì)算光場成像的遠(yuǎn)距離虹膜活體檢測方法,通過軟硬件結(jié)合的方式,從數(shù)據(jù)獲取源頭創(chuàng)新,利用計(jì)算光場成像技術(shù)充分挖掘高維光場信息,通過特征融合實(shí)現(xiàn)準(zhǔn)確有效的遠(yuǎn)距離虹膜活體檢測.我們使用光場相機(jī)作為虹膜圖像的采集設(shè)備,操作簡單,使用方便.利用計(jì)算光場成像技術(shù),只需一次圖像采集,使用一張光場圖像即可使用硬件法和軟件法分別提取有區(qū)分性的特征進(jìn)行虹膜活體檢測.因此,本方法既能夠方便迅速地采集虹膜圖像,又能夠記錄更高維度、更豐富的有效信息,取得更好的活體檢測結(jié)果.虹膜活體檢測是虹膜識別系統(tǒng)的關(guān)鍵預(yù)處理步驟,對于虹膜識別系統(tǒng)來說,識別距離越遠(yuǎn),識別景深范圍越大,用戶體驗(yàn)越好.光場成像技術(shù)具有景深擴(kuò)展的強(qiáng)大后處理能力,利用實(shí)驗(yàn)室自主研發(fā)的光場相機(jī)進(jìn)行光場成像的景深比傳統(tǒng)成像的景深擴(kuò)大5～10 倍,可以實(shí)現(xiàn)遠(yuǎn)距離大景深的虹膜活體檢測,有助于促進(jìn)生物特征識別的研究發(fā)展與應(yīng)用產(chǎn)業(yè)化.

本文受Raghavendra 等[14]方法的啟發(fā),與其不同的是,在本文提出方法的數(shù)據(jù)采集環(huán)節(jié)中,采集距離更遠(yuǎn),采集設(shè)備更先進(jìn),采集環(huán)境更復(fù)雜;在數(shù)據(jù)處理環(huán)節(jié)中,可以自由控制光場圖像的預(yù)處理與渲染過程,根據(jù)需要得到任意步長間隔的重對焦圖像序列;在對焦評價(jià)環(huán)節(jié)中,本文針對遠(yuǎn)距離半受控的采集環(huán)境,選擇了對噪聲更魯棒的基于圖像梯度的評價(jià)方法;在虹膜分類環(huán)節(jié)中,本文選擇了比閾值分類方法適用范圍更廣、分類性能更強(qiáng)的分類器.文獻(xiàn)[14]雖然利用光場相機(jī)的固有特性進(jìn)行近距離虹膜活體檢測并在單一攻擊類型的數(shù)據(jù)庫中取得了不錯的結(jié)果,但無法同時(shí)應(yīng)對多種攻擊類型.而本方法通過軟硬件結(jié)合的方式,使用光場相機(jī)采集光場虹膜圖像;利用計(jì)算光場成像技術(shù),以光場重對焦技術(shù)為切入點(diǎn),通過軟硬件特征融合的方式在遠(yuǎn)距離、半受控、大景深的圖像采集條件下仍然可以同時(shí)應(yīng)對多種攻擊類型,進(jìn)行高準(zhǔn)確率的虹膜活體檢測.本文首先利用重對焦技術(shù)提取眼睛區(qū)域的立體結(jié)構(gòu)特征,然后利用重對焦序列中最清晰圖像提取虹膜的紋理特征,在特征層融合后使用支持向量機(jī)(Support vector machine,SVM)分類器進(jìn)行真假虹膜樣本分類.為了驗(yàn)證本文方法的精度和有效性,我們采集建立了目前為止第一個(gè)近紅外遠(yuǎn)距離光場虹膜活體檢測數(shù)據(jù)庫,包括打印虹膜(普通打印紙、高光相片紙)和屏顯虹膜(iPad)兩類共三種人造假體虹膜圖像,共504 個(gè)有效樣本(約5 萬張重對焦光場圖像).實(shí)驗(yàn)結(jié)果表明本文提出的方法可以準(zhǔn)確有效地檢測并阻止打印虹膜和屏顯虹膜對虹膜識別系統(tǒng)的攻擊.

1 光場虹膜活體檢測技術(shù)

本文提出基于計(jì)算光場成像的虹膜活體檢測方法,如圖1 所示.首先,對采集的原始光場圖像進(jìn)行解碼、標(biāo)定、預(yù)處理,獲得四維光場數(shù)據(jù)L(u,v,x,y);利用光場重對焦技術(shù)得到一組焦棧(Focal stack)圖像.然后,計(jì)算焦棧圖像中眼睛區(qū)域的對焦能量值作為立體結(jié)構(gòu)特征;選取焦棧中最清晰的虹膜圖像進(jìn)行定位,分割、歸一化、提取LPQ(Local phase quantization)[26]特征作為紋理特征.最后,在特征層融合立體結(jié)構(gòu)特征和紋理特征,使用SVM 分類器進(jìn)行真實(shí)虹膜和人造假體虹膜分類.

1.1 光場焦棧渲染

1.1.1 光場圖像預(yù)處理

光場通過表征空間中每一條光線的輻射亮度(Radiance),描述了光在三維空間的輻射傳輸特性.光場成像是一種計(jì)算成像技術(shù),單次曝光即可同時(shí)捕獲光線的能量和角度信息.因此,基于光場成像技術(shù)設(shè)計(jì)的光場相機(jī)可以記錄拍攝場景的光場.現(xiàn)階段,微透鏡陣列廣泛應(yīng)用于光場調(diào)制過程.基于微透鏡陣列的光場相機(jī)(Lytro,Raytrix 等)是由主光學(xué)系統(tǒng)、微透鏡陣列、圖像傳感器組成,通過在傳感器前放置微透鏡陣列,可以對不同視角的光線進(jìn)行分離,實(shí)現(xiàn)不同視角的快照式成像.

圖1 光場虹膜活體檢測方法流程圖Fig.1 Flowchart of light-field iris liveness detection method

光場成像是一種編碼成像,不是“所見即所得”,因此需要對獲取的原始光場圖像進(jìn)行解碼、標(biāo)定和預(yù)處理,才能得到圖像的光場數(shù)據(jù).本文采用Dansereau 等[27]提出的方法1http://www.mathworks.com/matlabcentral/fileexchange/49683,使用雙平面表達(dá)模型對光場進(jìn)行參數(shù)化描述,通過使用白圖像標(biāo)定每個(gè)微透鏡的中心坐標(biāo),計(jì)算配準(zhǔn)參數(shù),提取4D 光場數(shù)據(jù)L(u,v,x,y).

計(jì)算光場成像模型如式(1)所示,對光場矩陣L(u,v,x,y)的uv坐標(biāo)積分,即可得到傳統(tǒng)光學(xué)成像結(jié)構(gòu)采集的2D 傳統(tǒng)圖像I(x,y).通過固定uv坐標(biāo)可以得到不同視角下的子孔徑圖像I(x,y)u,v,由文獻(xiàn)[28]可知,子孔徑圖像所對應(yīng)的光瞳尺寸是原始光瞳尺寸的1/u,因此,理論上光場子孔徑圖像的景深是傳統(tǒng)圖像的u倍.以我們實(shí)驗(yàn)室自主研制的光場相機(jī)為例,u=13.

圖2 為物方離焦分別為?10 cm、0 cm、+10 cm、+20 cm 時(shí)傳統(tǒng)圖像I(x,y)和對應(yīng)距離采集的光場中心子孔徑圖像I(x,y)5,5.第1 行為傳統(tǒng)圖像,第2 行為與之對應(yīng)的光場中心子孔徑圖像.比較兩組圖像可知,在聚焦位置1.6 m 處兩幅圖像都非常清晰,沒有明顯視覺差異;隨著離焦量增大,傳統(tǒng)圖像趨于模糊,當(dāng)離焦量較大時(shí),彌散效應(yīng)非常明顯,虹膜數(shù)據(jù)已無法用于后續(xù)的數(shù)據(jù)處理,而光場中心子孔徑圖像仍然可以清晰看到瞳孔中反射的光點(diǎn).這說明光場成像的景深遠(yuǎn)大于傳統(tǒng)成像的景深,計(jì)算光場成像具有強(qiáng)大的景深擴(kuò)展能力.

圖2 傳統(tǒng)圖像(上)與光場中心子孔徑圖像(下)比較Fig.2 Comparison between traditional images(up)and light-field sub-aperture images(down)

傳統(tǒng)成像技術(shù)一直存在景深與焦距(或孔徑)的相互制約關(guān)系.利用傳統(tǒng)相機(jī)拍攝遠(yuǎn)距離虹膜時(shí)必須選用長焦鏡頭,若固定其他光學(xué)成像參數(shù),則焦距增大會導(dǎo)致景深變小,使高質(zhì)量清晰虹膜圖像的采集變得非常困難,需要參與者高度配合,否則容易出現(xiàn)嚴(yán)重的離焦模糊,為后續(xù)虹膜檢測、分割、識別的研究帶來巨大挑戰(zhàn).而光場成像技術(shù)具有“先拍攝,后對焦”的優(yōu)勢,在進(jìn)行遠(yuǎn)距離虹膜圖像采集時(shí),使用實(shí)驗(yàn)室自主研制的光場相機(jī)配合70 mm～200 mm 長焦鏡頭拍攝1.6 m 遠(yuǎn)的虹膜時(shí),依然可以獲得30 cm 的有效景深范圍,有效解決了基于傳統(tǒng)成像的虹膜圖像采集的難題.因此,使用光場成像方式可以實(shí)現(xiàn)對用戶交互、應(yīng)用場景、成像環(huán)境魯棒的遠(yuǎn)距離、大景深、高質(zhì)量光場虹膜圖像采集.

1.1.2 光場重對焦

對焦是通過改變探測器像面與鏡頭之間的距離,使拍攝物體在探測器像面上產(chǎn)生清晰圖像的過程.在傳統(tǒng)光學(xué)成像系統(tǒng)中,對焦是通過手動或自動調(diào)整對焦環(huán)使離焦模糊的目標(biāo)變清晰,其實(shí)質(zhì)是將光場重新投影到成像最清晰的像平面.基于微透鏡陣列的光場相機(jī)能夠同時(shí)對光線的能量和角度信息進(jìn)行采樣和成像,記錄四維光場數(shù)據(jù).因此可以通過計(jì)算成像的方式改變光場的投影像平面,實(shí)現(xiàn)數(shù)字重對焦(Digital refocusing).本文使用Ng 等[28]提出的重對焦方法,重對焦計(jì)算公式為:

如圖3 所示,基于雙平面表達(dá)模型對光場進(jìn)行參數(shù)化描述,()表示重對焦平面記錄的光場,L(u,v,x,y)表示原始成像平面記錄的光場,α表示重對焦像平面與原始成像平面的相對位置,α=,F和分別表示重對焦前后主透鏡平面到成像平面的距離.基于幾何光學(xué)的光線傳播理論,光線在均勻介質(zhì)中沿直線傳播,所以在式(2)中,重對焦前后光場uv坐標(biāo)不變.因此,重對焦圖像可由原始光場子孔徑圖像線性平移后疊加獲得.通過均勻改變α可以得到一組對焦在不同深度位置的焦棧圖像.

圖4 為一組虹膜焦棧圖像中的部分圖像,可以直觀地看到α=1.010 時(shí)圖像最清晰(計(jì)算焦棧圖像的對焦能量值亦可驗(yàn)證),在此基礎(chǔ)上α減小或增大圖像都逐漸模糊.

理論上在聚焦情況下,當(dāng)α=1 時(shí)圖像最清晰,但因?yàn)楸疚膶?shí)驗(yàn)數(shù)據(jù)是在半受控環(huán)境下采集,實(shí)際拍攝中由于被采集者移動、姿態(tài)非對正、對焦目標(biāo)是人臉等因素會導(dǎo)致虹膜的聚焦位置不是理想情況時(shí)的α=1.因此,通過光場數(shù)字重對焦技術(shù)不僅可以利用硬件法提取焦棧圖像眼睛區(qū)域的立體結(jié)構(gòu)特征,而且可以實(shí)現(xiàn)更準(zhǔn)確對焦,獲取最清晰的虹膜圖像,從而利用軟件法提取更有區(qū)分性、更魯棒的紋理特征.雖然光場重對焦技術(shù)可以擴(kuò)大圖像景深,但是仍然受到香農(nóng)采樣定理的制約,偏離聚焦位置過大仍會導(dǎo)致圖像模糊,產(chǎn)生非精確對焦(Inexact refocusing)[29].

圖3 重對焦示意圖Fig.3 Refocusing demonstration

圖4 虹膜焦棧圖像Fig.4 Iris focal stack images

1.2 立體結(jié)構(gòu)特征描述

1.2.1 對焦評價(jià)函數(shù)

本文使用對焦評價(jià)函數(shù)對焦棧圖像的清晰度進(jìn)行度量評價(jià),從而得到焦棧圖像的對焦能量值曲線,以此構(gòu)建眼睛區(qū)域的立體結(jié)構(gòu)特征.由于采集距離遠(yuǎn),光照和離焦不斷變化,采集的虹膜圖像存在不同程度的噪聲,因此本文采用對光照和噪聲不敏感的基于圖像梯度的對焦評價(jià)函數(shù)TGV(Tenengrad gradient variance)[30],以提升本方法的魯棒性.

由式(3)～(5)可知,TGV 方法首先使用索貝爾算子(Sobel operator)Sx和Sy提取重對焦圖像IR(x,y)中的邊緣信息,然后計(jì)算每個(gè)像素的梯度強(qiáng)度S(x,y)和整幅圖像的平均梯度強(qiáng)度ˉS,設(shè)置閾值T來濾除噪聲產(chǎn)生的邊緣像素,使用梯度強(qiáng)度方差FSF(IR)作為圖像的對焦能量值.FSF(IR)越大,說明圖像中邊緣信息越豐富,圖像越清晰.

圖5 展示的是相機(jī)對焦位置為1.6 m 時(shí),對1.5 m(?10 cm)、1.6 m(0 cm)、1.7 m(+10 cm)、1.8 m(+20 cm)處的虹膜進(jìn)行光場成像得到的對焦能量值曲線.橫軸表示焦棧中圖像的位置序號(Sequence number),對應(yīng)的重對焦區(qū)間為[0.5,1.7].縱軸表示對焦能量值大小.可以發(fā)現(xiàn),隨著采集距離增加,對焦能量值達(dá)到峰值時(shí)所在焦棧圖像中的位置逐漸后移,與理論聚焦位置相符.對焦能量值曲線對應(yīng)的峰值大小與離焦量有關(guān),在實(shí)際對焦位置1.6 m 處離焦0 cm,此時(shí)對焦能量值最大,圖像最清晰.當(dāng)離焦?10 cm、+10 cm、+20 cm 時(shí),雖然重對焦圖像的清晰度提升很大,但是因?yàn)橹貙箞D像是由原始光場子孔徑圖像經(jīng)過線性平移后疊加得到,這個(gè)過程相當(dāng)于對圖像進(jìn)行了平滑濾波,圖像丟失了部分的高頻信息,邊緣信息變少.因此,重對焦位置偏離聚焦位置越遠(yuǎn),圖像平滑越明顯,高頻信息丟失越多,圖像對焦能量值越低.

圖5 不同拍攝距離(離焦量)時(shí)焦棧圖像對焦能量值曲線Fig.5 Focus measure curves of focal stack images at different capturing distances(defocusing amount)

1.2.2 立體結(jié)構(gòu)特征構(gòu)建

由于我們采集的是雙眼虹膜圖像,采集環(huán)境半受控,在拍攝時(shí)會因?yàn)楸徊杉咭苿?、姿態(tài)非對正等因素導(dǎo)致左右眼區(qū)域的最優(yōu)聚焦位置不同,影響立體結(jié)構(gòu)特征的提取.所以左右眼區(qū)域最優(yōu)聚焦位置的搜索過程是獨(dú)立進(jìn)行的.

重對焦過程本質(zhì)是一個(gè)搜索過程,因此本文采用了由粗到精的方法確定最優(yōu)聚焦位置α?.首先使用?α=0.03 的步長在[0.5,1.7]的重對焦區(qū)間內(nèi)對圖像進(jìn)行大范圍寬間距的搜索,尋找焦棧圖像中聚焦能量值最高的圖像對應(yīng)的,然后以為中心,在[?0.03+0.03]區(qū)間內(nèi)進(jìn)行小范圍窄間距的二次重對焦搜索,確定最優(yōu)聚焦位置α?.

根據(jù)相關(guān)實(shí)驗(yàn)結(jié)果(詳見第3.1 節(jié)),確定最優(yōu)重對焦范圍為0.4,因此構(gòu)建眼睛區(qū)域立體結(jié)構(gòu)特征的重對焦區(qū)間為[α??0.2,α?+0.2];重對焦步長?α=0.0028,對應(yīng)的焦棧圖像數(shù)量NSN(Sequence number)為145.將該序列中所有圖像對焦能量值依次排列,作為眼睛區(qū)域的立體結(jié)構(gòu)特征FSF.立體結(jié)構(gòu)通過對焦能量值曲線的形狀反映了眼睛區(qū)域的深度結(jié)構(gòu)信息.

圖6 展示了同一虹膜在1.5 m、1.6 m、1.7 m 處拍攝的真實(shí)虹膜圖像和利用該虹膜制造的三種人造假體虹膜圖像的歸一化立體結(jié)構(gòu)特征曲線.對比真假虹膜的歸一化立體結(jié)構(gòu)特征曲線,可以發(fā)現(xiàn)兩者之間存在顯著差異.1)真實(shí)虹膜圖像的歸一化立體結(jié)構(gòu)特征曲線峰值比較低,假虹膜曲線的峰值比較高.原因是真實(shí)人眼區(qū)域是立體結(jié)構(gòu),虹膜與眼周區(qū)域位于不同的深度位置,在一定重對焦范圍內(nèi)都有對象對焦,對焦能量值衰減較慢,因此在歸一化立體結(jié)構(gòu)特征曲線中峰值對應(yīng)的比重較低.2)真實(shí)虹膜歸一化立體結(jié)構(gòu)特征曲線存在不同程度的波動,曲線不平滑,而人造假體虹膜曲線平滑.原因是打印虹膜和屏顯虹膜是平面結(jié)構(gòu),沒有深度變化,而真實(shí)人眼區(qū)域是立體結(jié)構(gòu),在計(jì)算對焦能量值時(shí)會產(chǎn)生較大程度的波動.

實(shí)驗(yàn)結(jié)果表明(詳見第3.3 節(jié)),當(dāng)單獨(dú)使用眼睛區(qū)域歸一化立體結(jié)構(gòu)特征進(jìn)行虹膜活體檢測時(shí),可以達(dá)到94.41% 分類準(zhǔn)確率,5.90% 平均分類錯誤率,說明提取的歸一化立體結(jié)構(gòu)特征具有很強(qiáng)的區(qū)分性.

1.3 紋理特征提取

我們通過由粗到精的重對焦搜索確定了最優(yōu)聚焦位置α?和對應(yīng)的最清晰虹膜圖像.本方法使用最清晰虹膜圖像進(jìn)行虹膜定位、分割、歸一化,然后使用LPQ 特征描述子提取虹膜圖像的紋理特征.

LPQ 特征使用圖像低頻信息進(jìn)行構(gòu)建,對圖像模糊不敏感,可以在遠(yuǎn)距離情況下提取更魯棒、更有區(qū)分性的特征.首先對圖像f(x)中每個(gè)像素x的矩形鄰域Nx做短時(shí)傅里葉變換(Short-time Fourier transform,STFT)變換:

圖6 不同類型真假虹膜圖像歸一化立體結(jié)構(gòu)特征曲線Fig.6 Normalized structure feature curves of different kinds of real and fake images

式中,x、y是圖像像素的二維坐標(biāo),u是頻率,ω(x)是表示鄰域Nx的窗口函數(shù).只考察四個(gè)頻率u0=(a,0),u1=(a,a),u2=(0,a),u3=(?a,a)的傅里葉系數(shù),其中1.得到像素x的傅里葉系數(shù)特征F(x),如式(7)和(8)所示.將G(x)各分量的實(shí)部和虛部根據(jù)其正負(fù)號分別量化為1 和0,得到像素x鄰域的傅里葉相位信息,將其轉(zhuǎn)換至[0,255]范圍就得到該像素的LPQ 特征值FLPQ(x).最后統(tǒng)計(jì)圖像所有像素點(diǎn)的LPQ 特征值得到圖像的LPQ 特征統(tǒng)計(jì)直方圖,將其作為虹膜圖像的紋理特征FLPQ.

圖7 展示了同一虹膜在1.5 m、1.6 m、1.7 m 處拍攝的真實(shí)虹膜圖像和利用該虹膜制造的三種人造假體虹膜圖像的紋理特征曲線.真假虹膜之間的紋理特征在形狀、幅值等方面存在顯著差異.

1.4 特征融合與分類

立體結(jié)構(gòu)特征表達(dá)了眼睛區(qū)域的深度變化信息,紋理特征表達(dá)了虹膜的紋理信息,兩類特征相互補(bǔ)充,因此本方法融合兩類特征進(jìn)行虹膜活體檢測.相比于分?jǐn)?shù)層特征融合方式,本文使用的特征層級聯(lián)的特征融合方式可以使分類器既能提取每一類特征的有區(qū)分性信息,又能利用兩類特征之間隱含的相關(guān)性來提高分類結(jié)果,獲得更高的分類準(zhǔn)確率.分別對立體結(jié)構(gòu)特征和紋理特征進(jìn)行歸一化,然后進(jìn)行特征串聯(lián)即可得到最終分類特征FF=[FSF,FLPQ].

本文采用徑向基函數(shù)SVM 分類器進(jìn)行特征分類,首先優(yōu)化求解式(9),利用n個(gè)訓(xùn)練集數(shù)據(jù)求解變量和b?的最優(yōu)解,然后使用分類決策函數(shù)f(x)判斷測試樣本x的真?zhèn)?

圖7 不同類型真假虹膜圖像紋理特征曲線Fig.7 Texture feature curves of different kinds of real and fake images

2 數(shù)據(jù)庫建立

我們計(jì)劃建立一個(gè)大型近紅外光場虹膜活體檢測數(shù)據(jù)庫.目前已完成第一階段的采集工作,建立了一個(gè)中等規(guī)模的近紅外遠(yuǎn)距離光場虹膜活體檢測數(shù)據(jù)庫.該數(shù)據(jù)庫在半受控環(huán)境下采集,半受控表現(xiàn)為采集環(huán)境光照多變、采集背景復(fù)雜、采集姿態(tài)非對正、遮擋等.采集對象有14 人,采集的人造假體虹膜樣本類型有打印虹膜(普通打印紙、高光相片紙)和屏顯虹膜(iPad)兩類.對采集的光場圖像進(jìn)行認(rèn)真篩選,得到504 個(gè)可用真假虹膜樣本(約5 萬張重對焦光場圖像).我們使用的采集設(shè)備有實(shí)驗(yàn)室自制光場相機(jī)和Lytro Illum 商業(yè)級光場相機(jī),如圖8(a)和8(b)所示.下面分別介紹真實(shí)虹膜樣本圖像和人造假體虹膜樣本圖像的采集流程規(guī)范.

圖8 光場圖像采集設(shè)備及采集場景Fig.8 Light-field image acquisition devices and acquisition scene

2.1 真實(shí)虹膜樣本采集流程

由于亞洲人種的虹膜在可見光下呈深褐色,虹膜紋理不明顯,所以需要在近紅外環(huán)境下采集真實(shí)人眼虹膜圖像.真實(shí)人眼虹膜圖像的采集過程分為兩步.

1)使用圖8(c)所示的近距離高清虹膜采集設(shè)備采集近紅外條件下的雙眼虹膜圖像,專門用于人造假體虹膜樣本的制作,以及后續(xù)的虹膜識別研究.圖8(d)是采集白圖像的過程,采集的白圖像用于光場相機(jī)的標(biāo)定與光場圖像的平場校正、參數(shù)配準(zhǔn)等預(yù)處理過程.

2)采集遠(yuǎn)距離不同離焦情況下的雙眼真實(shí)虹膜樣本.為了讓拍攝環(huán)境更接近實(shí)際應(yīng)用時(shí)的光照環(huán)境,我們通過調(diào)整攝影燈的光照強(qiáng)度和近紅外光的強(qiáng)度人為模擬了高亮光照環(huán)境、自然光照環(huán)境、昏暗光照環(huán)境,每個(gè)參與者只在一種光照環(huán)境下拍攝虹膜圖像.

我們將光場相機(jī)設(shè)置為拍攝1.6 m 距離處圖像能清晰對焦,保持相機(jī)參數(shù)不變,讓參與者分別位于1.5 m、1.6 m、1.7 m 和1.8 m 處拍攝離焦距離分別為?10 cm、0 cm、+10 cm 和+20 cm 時(shí)的光場虹膜圖像,每個(gè)位置至少采集三張光場圖像.采集的真實(shí)虹膜樣本如圖9(a)所示.

圖9 采集的真假虹膜圖像Fig.9 Captured real an spoofing irises

經(jīng)過光場解碼、標(biāo)定、去漸暈等后處理增強(qiáng),最終采用115 張真實(shí)雙眼虹膜圖像,獲得230 個(gè)真實(shí)虹膜樣本.

2.2 人造假體虹膜樣本采集流程

拍攝的人造假體虹膜類型有打印虹膜和iPad屏顯虹膜兩類,其中打印虹膜又細(xì)分為A4 普通打印紙黑白打印與高光相片紙彩色打印兩種.圖9(b)～9(d)對應(yīng)展示了A4 普通打印紙打印虹膜、iPad 屏顯虹膜、高光相片紙打印虹膜三種人造假體虹膜圖像.我們選擇這三種人造假體攻擊方式的原因有:1)圖像來源簡單可靠,高分辨率圖像非常容易從社交媒體等渠道獲取或盜用;2)攻擊方式簡單有效,文獻(xiàn)[1?3]對這幾種方法的有效性都進(jìn)行了研究.

我們首先使用商業(yè)打印機(jī)制作兩種打印類型的假體虹膜圖像,打印機(jī)DPI(Dots per inch)設(shè)置為1 200,分別在高亮光照環(huán)境和自然光照環(huán)境下使用自制相機(jī)和Lytro 相機(jī)采集1.5 m、1.6 m、1.7 m距離時(shí)的人造假體虹膜圖像,每個(gè)人造樣本采集三張圖像.iPad 屏顯虹膜圖像使用屏幕分辨率為2 048×1 536 的iPad mini 4 展示.我們分別使用兩種光場相機(jī)拍攝1.6 m 距離時(shí)的iPad 人造假體虹膜圖像.最終,我們采用137 張人造假體雙眼膜樣本圖像,獲得三種類型共274 個(gè)人造假體虹膜樣本.

3 實(shí)驗(yàn)與結(jié)果

我們首先通過實(shí)驗(yàn)確定本文方法的關(guān)鍵參數(shù),然后介紹活體檢測方法的評價(jià)準(zhǔn)則,最后在我們自主采集的光場虹膜數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn),并對實(shí)驗(yàn)結(jié)果進(jìn)行分析.

3.1 實(shí)驗(yàn)參數(shù)

本文提出的虹膜活體檢測方法需要利用光場重對焦技術(shù)來計(jì)算眼睛區(qū)域的立體結(jié)構(gòu)特征,所以重對焦范圍Ss和重對焦序列圖像數(shù)量NSN的選取直接影響到立體結(jié)構(gòu)特征的表達(dá),進(jìn)而影響活體檢測方法的準(zhǔn)確率.但是Ss和NSN無法根據(jù)理論和經(jīng)驗(yàn)直接確定,所以本文通過實(shí)驗(yàn)的方式確定它們的最優(yōu)解.

重對焦范圍Ss可以表示為重對焦序列圖像數(shù)量NSN與重對焦序列最小間隔?α的乘積.

我們固定?α不變,通過尋找Ss與活體檢測準(zhǔn)確率之間的關(guān)系來同時(shí)確定Ss和NSN.通過簡單實(shí)驗(yàn)進(jìn)行擬合,確定?α的估計(jì)值為0.0028.圖10 展示的是Ss取值分別為0.1,0.2,···,0.7 時(shí)與活體檢測準(zhǔn)確率Accuracy 的關(guān)系.實(shí)驗(yàn)結(jié)果表明Ss與活體檢測準(zhǔn)確率有相關(guān)性,Ss在[0.1,0.4]之間隨著重對焦范圍增大,準(zhǔn)確率逐漸提升,在Ss=0.4 時(shí)準(zhǔn)確率達(dá)到最大值94.41%,此后準(zhǔn)確率隨著Ss的增大緩慢波動.因?yàn)槌绦驁?zhí)行時(shí)間與焦棧圖像數(shù)量是線性關(guān)系,Ss越大焦棧圖像渲染的耗時(shí)越長.所以Ss的最優(yōu)值為0.4,用于構(gòu)建立體結(jié)構(gòu)特征的重對焦區(qū)間為[α??0.2,α?+0.2],NSN的最優(yōu)值為145.

3.2 實(shí)驗(yàn)評價(jià)準(zhǔn)則

根據(jù)ISO/IEC[31]的規(guī)定,虹膜活體檢測方法的評價(jià)指標(biāo)為:1)Attack presentation classification error rate(APCER),表示的是把人造假體虹膜樣本錯誤地認(rèn)定為真實(shí)虹膜樣本的比例;2)Bona fide presentation classification error rate(BPCER),表示的是把真實(shí)虹膜樣本錯誤認(rèn)定為人造假體虹膜樣本的比例.最后本文使用平均分類錯誤率ACER 評價(jià)方法的整體性能.

圖10 Ss與準(zhǔn)確率Accuracy 關(guān)系曲線Fig.10 Relation curve between Ssand accuracy

平均錯誤率ACER 越小,說明算法整體表現(xiàn)越好,活體檢測準(zhǔn)確率越高.APCER、BPCER、ACER 均可以通過比較測試集真實(shí)標(biāo)簽和SVM分類器估計(jì)的標(biāo)簽得到.

3.3 實(shí)驗(yàn)結(jié)果與分析

由于傳統(tǒng)方法可以直接使用光場子孔徑圖像進(jìn)行活體檢測,所以對比方法中包括了很多基于傳統(tǒng)圖像的方法,比如基于局部特征描述子的方法和基于圖像質(zhì)量評價(jià)的方法.對比方法使用的虹膜圖像為焦棧圖像中最清晰的虹膜圖像.實(shí)驗(yàn)在自主采集的近紅外遠(yuǎn)距離光場虹膜活體檢測數(shù)據(jù)庫上進(jìn)行,將實(shí)驗(yàn)數(shù)據(jù)根據(jù)采集對象分為訓(xùn)練集和測試集,訓(xùn)練集包括5 人的真假虹膜圖像,測試集包括9 人的真假虹膜圖像,實(shí)驗(yàn)結(jié)果如表1 所示.

表1 中Bliinds2、BRISQUE、DIIVINE 是三種基于圖像質(zhì)量評價(jià)的方法,最好的DIIVINE 方法取得了89.14% 的分類準(zhǔn)確率,11.43% 的平均分類錯誤率.BSIF、DSIFT、LPQ、SID、LBP、LBPV是基于局部特征描述子的方法,其中LPQ 特征描述子取得了最好的90.13% 的分類準(zhǔn)確率,9.63% 的平均分類錯誤率.首次使用光場相機(jī)和重對焦策略進(jìn)行虹膜活體檢測的Raghavendra 等[14]方法只取得了59.54% 的分類準(zhǔn)確率,平均分類錯誤率達(dá)到了41.44%.對于本文提出的方法,當(dāng)單獨(dú)使用歸一化的立體結(jié)構(gòu)特征FSF進(jìn)行分類時(shí)(Ours_SF)便取得了94.41%的分類準(zhǔn)確率,平均分類錯誤率為5.90%,而使用特征融合后的特征FF進(jìn)行分類時(shí)(Ours_Fusion)更是取得了96.38%的分類準(zhǔn)確率,相比最好的對比方法提升了6.25%,平均分類錯誤率為3.69%,降低了5.94%.因此,由實(shí)驗(yàn)結(jié)果可知,結(jié)構(gòu)特征與紋理特征的融合對真實(shí)虹膜和人造假體虹膜有更強(qiáng)的區(qū)分性.

表1 虹膜活體檢測方法在自主采集的數(shù)據(jù)庫上的表現(xiàn)(%)Table 1 Performance of iris liveness detection methods on self-collected database(%)

由“質(zhì)量差異”假設(shè)可知,人造假體虹膜在制作時(shí)不可避免地會丟失部分信息,因此基于圖像質(zhì)量評價(jià)的方法總可以取得不錯的分類效果.由于實(shí)驗(yàn)樣本為遠(yuǎn)距離采集的虹膜圖像,光照明暗多變,圖像采集時(shí)容易被曝光等原因產(chǎn)生的噪聲干擾,影響部分特征描述子的特征提取,降低分類準(zhǔn)確率.由于文獻(xiàn)[14]中方法使用單閾值區(qū)分真假虹膜樣本,無法同時(shí)應(yīng)對多種攻擊類型.所以在本文采集的混合攻擊類型數(shù)據(jù)庫中表現(xiàn)很差.

對于本文提出的方法,特征融合后的APCER和只使用歸一化的立體結(jié)構(gòu)特征的APCER 均為2.98%,一個(gè)可能原因是紋理特征誤識別為真實(shí)樣本的所有假體樣本中,包含全部立體結(jié)構(gòu)特征誤識別為真實(shí)樣本的假體樣本,因此特征融合后APCER 無法進(jìn)一步降低.而由于兩類特征誤識別為假體樣本的真實(shí)樣本之間不是此種包含關(guān)系,因此特征融合后BPCER 降低了4.41%.

由以上分析可知,本文提出的基于計(jì)算光場成像的遠(yuǎn)距離虹膜活體檢測方法通過融合眼睛區(qū)域的立體結(jié)構(gòu)特征和虹膜圖像的紋理特征,可以有效地辨別真實(shí)虹膜和不同類型的人造假體虹膜,在所有方法中取得了最好的分類效果.

除了本文測試的三種平面假體虹膜類型,本方法對美瞳、義眼等假體類型也有區(qū)分性.美瞳和義眼等假體類型因?yàn)楦咏鎸?shí)人眼的結(jié)構(gòu)和紋理,所以更逼真.對于平面假體樣本,根據(jù)本文的實(shí)驗(yàn)結(jié)果,立體結(jié)構(gòu)特征的區(qū)分性更強(qiáng)(94.41%),紋理特征的區(qū)分性相對偏弱(90.13%).而對于美瞳、義眼等假體類型,立體結(jié)構(gòu)特征的區(qū)分性雖然會減弱,但紋理特征的區(qū)分性仍然很強(qiáng),依然可以有效阻止此類假體攻擊.因此,通過融合立體結(jié)構(gòu)特征和虹膜紋理特征,本方法理論上可以有效應(yīng)對所有類型的假體攻擊方式.

4 結(jié)論

本文提出了一種基于計(jì)算光場成像的遠(yuǎn)距離虹膜活體檢測方法.通過軟硬件結(jié)合的方式,使用光場相機(jī)采集虹膜圖像,利用計(jì)算光場成像技術(shù),使用硬件方法提取了眼睛區(qū)域的立體結(jié)構(gòu)特征,使用軟件方法提取了虹膜圖像的紋理特征,并在特征層進(jìn)行特征融合、分類.由于目前沒有相關(guān)的數(shù)據(jù)庫,因此,我們正在采集建立一個(gè)大型的近紅外光場虹膜活體檢測數(shù)據(jù)庫,現(xiàn)已完成14 人的虹膜采集工作,建立了目前為止第一個(gè)中等規(guī)模的近紅外光場虹膜活體檢測數(shù)據(jù)庫.在半受控環(huán)境下采集了真實(shí)人眼虹膜圖像和打印虹膜(普通打印紙、高光相片紙)、iPad屏顯虹膜兩類共三種人造假體虹膜圖像.實(shí)驗(yàn)結(jié)果表明,本方法可以對在1.6 m 距離,30 cm 景深范圍內(nèi)采集的實(shí)驗(yàn)樣本取得96.38% 的活體檢測準(zhǔn)確率,3.69% 的平均分類錯誤率.相比最好的對比方法準(zhǔn)確率提升6.25%,平均分類錯誤率降低5.94%.

本文提出的遠(yuǎn)距離、大景深、高精度的虹膜活體檢測方法,通過軟硬件結(jié)合的方式,使用光場相機(jī)進(jìn)行虹膜圖像采集;利用計(jì)算光場成像技術(shù)充分挖掘四維光場信息,獲取更多有助于活體檢測的信息來提升虹膜活體檢測的準(zhǔn)確率.本方法不需要使用額外的硬件采集設(shè)備,只需使用光場相機(jī),就可以實(shí)現(xiàn)遠(yuǎn)距離、非接觸、大景深范圍的虹膜圖像采集,對被采集者非常友好.本方法充分利用了四維光場信息和光場成像技術(shù)的“先拍攝,后對焦”優(yōu)勢,把光場重對焦技術(shù)與傳統(tǒng)特征提取方法深度結(jié)合,可以同時(shí)提取眼睛區(qū)域的立體結(jié)構(gòu)特征和虹膜的紋理特征,通過特征融合實(shí)現(xiàn)高準(zhǔn)確率的虹膜活體檢測,為虹膜、人臉的活體檢測方法提供了新的思路.文獻(xiàn)[14]驗(yàn)證了近距離情況下使用光場相機(jī)進(jìn)行虹膜活體檢測的可行性和有效性,本文在文獻(xiàn)[14]的基礎(chǔ)上通過實(shí)驗(yàn)證明,在遠(yuǎn)距離、大景深條件下利用計(jì)算光場成像技術(shù),通過多特征融合能夠同時(shí)應(yīng)對多種攻擊類型,進(jìn)行高準(zhǔn)確率虹膜活體檢測.本文的不足之處是由于數(shù)據(jù)量不足,無法驗(yàn)證本方法對美瞳、義眼等假體類型的有效性.