基于自適應(yīng)并行結(jié)構(gòu)的多模態(tài)生物特征識別

王風(fēng)華，孟文杰

（中國石油大學(xué)（華東）山東 青島 266580）

隨著信息技術(shù)的發(fā)展及人們對社會安全要求的增加，生物特征識別受到廣泛關(guān)注，并成為研究熱點(diǎn)。單一模式的生物特征識別在復(fù)雜環(huán)境下易受干擾，在實(shí)際應(yīng)用中較難達(dá)到理想效果，而且部分生物特征具備一些自身難以克服的缺點(diǎn)，影響了識別穩(wěn)定性及普及程度。目前，研究人員開始把目光轉(zhuǎn)向多種生物特征的身份識別，即多模態(tài)生物特征識別技術(shù)，絕大多數(shù)研究結(jié)果也證明了多模生物特征融合可以有效的提高識別性能[1-4]。

多模態(tài)生物識別的實(shí)現(xiàn)首先會涉及融合層次的選擇問題。異類生物特征融合時(shí)，可選擇的層次有特征層、匹配層和決策層。特征層融合時(shí)，不同特征的表達(dá)形式往往差別很大，實(shí)現(xiàn)難度較大。決策層通常采用與、或、投票法或決策樹等融合策略，但不同生物特征的置信度無法給出準(zhǔn)確的度量，所以決策層融合對系統(tǒng)性能提高有限。相比之下，匹配層融合更靈活也更實(shí)用有效。在前期的研究中，文中從匹配層融合入手，提出了一種融合人臉和虹膜的雙模生物特征識別方法[5]，該方法具有較好的靈活性和擴(kuò)展性。但該方法和許多傳統(tǒng)方法一樣，在實(shí)際應(yīng)用中，如果存在某種生物特征的缺失、損傷或病變時(shí)，會出現(xiàn)識別性能明顯下降的問題。針對此問題，提出了一種基于自適應(yīng)并行結(jié)構(gòu)的多模態(tài)生物特征識別方法，并應(yīng)用于人臉、虹膜和掌紋的多模生物識別中，仿真實(shí)驗(yàn)結(jié)果表明該方法既可提高識別可靠性又可保證當(dāng)存在生物特征缺失時(shí)性能保持穩(wěn)定，同時(shí)還具有較好的可擴(kuò)展性。

1 多模態(tài)生物識別系統(tǒng)框架

多模態(tài)生物特征識別主要利用多種生物特征的不同特性，進(jìn)行某種層面的融合，其目的是克服或者規(guī)避單一特征的局限性，提高識別可靠性。多模生物特征的融合有兩個(gè)目的，一是提高識別的可靠性，二是防備可能的生物特征缺失。目前的研究往往過多的關(guān)注前一個(gè)目的，而忽視后一個(gè)，所以會出現(xiàn)存在生物特征缺失時(shí)，系統(tǒng)性能明顯下降。為解決以上問題，文中基于人臉、虹膜和掌紋，提出一種自適應(yīng)并行結(jié)構(gòu)的多模態(tài)生物識別方法，該方法思路是在實(shí)際應(yīng)用中如果某些特殊群體存在某種生物特征的缺失、損傷、病變或特征不明顯，系統(tǒng)可根據(jù)當(dāng)前的生物特征輸入情況，自適應(yīng)的選擇合適融合策略。系統(tǒng)框架如圖1所示。

如圖1所示，3種生物特征虹膜、人臉及掌紋分別經(jīng)過預(yù)處理、特征提取及匹配等過程得到各自的匹配得分值（具體算法下一節(jié)介紹），并構(gòu)造得分值向量，然后進(jìn)行匹配層融合。融合時(shí)選擇器模塊首先獲取當(dāng)前的生物特征狀態(tài)即獲知輸入的生物特征數(shù)目及種類，在并行結(jié)構(gòu)的融合模塊中選擇合適的融合策略，將得分值向量轉(zhuǎn)變?yōu)橐粯?biāo)量的融合后得分值。選擇器模塊在選擇合適融合的策略的同時(shí)，還需要根據(jù)輸入狀態(tài)設(shè)置對應(yīng)的判決閾值，用于融合后匹配值的最后決策，判斷出是同類匹配或異類匹配。

圖1 并行結(jié)構(gòu)多模態(tài)生物識別框架Fig.1 Multimodal biometric framework based on parallel structure

2 識別算法介紹

1）人臉識別算法

Laplacianfaces方法是一種基于拉普拉斯特征映射的線性形式－LPP（Locality Preserving Projections）降維的人臉識別算法[6]，文中對拉普拉斯臉人臉識別算法進(jìn)行了變換以應(yīng)用于多模態(tài)生物特征識別，具體實(shí)現(xiàn)如下：

首先對檢測到的人臉圖像預(yù)處理，以達(dá)到位置校準(zhǔn)、尺度不變性和灰度歸一化的目的，然后利用訓(xùn)練樣本生成Laplacianfaces[6]，過程如圖2所示。

圖2 人臉識別處理過程Fig.2 Face recognition process

識別時(shí)，將待識別的人臉圖像向由Laplacianfaces張成的子空間上投影，得到的系數(shù)向量作為該人臉圖像的特征向量。本文通過計(jì)算待識別人臉與模板庫中已知人臉的特征向量的歐式距離作為人臉識別的匹配得分值。

2）虹膜識別算法

在進(jìn)行虹膜特征提取及匹配時(shí)，本文采用基于2D Log-Gabor濾波的相位編碼算法。

首先對虹膜圖像進(jìn)行預(yù)處理，包括內(nèi)外邊緣及眼瞼的定位、歸一化、對比度增強(qiáng)及噪聲屏蔽模板生成等，過程如圖3所示

圖3 虹膜圖像預(yù)處理過程Fig.3 Iris preprocessing process

當(dāng)利用2D Log-Gabor濾波器提取相位信息時(shí)，采用分塊計(jì)算并編碼的方法。預(yù)處理后虹膜圖像被分成m個(gè)大小相同的子塊，利用濾波器模板提取子塊相位信息，每個(gè)子塊的相位信息用兩位二進(jìn)制編碼表示，最終產(chǎn)生大小為2m的虹膜特征碼。匹配時(shí)，采用海明距離進(jìn)行匹配。

3）掌紋識別算法

在提取掌紋特征時(shí)，采用局部保留投影算法[7]。首先進(jìn)行預(yù)處理、對準(zhǔn)和歸一化掌紋圖像；然后選出部分掌紋作為訓(xùn)練樣本，并利用訓(xùn)練樣本生成拉普拉斯掌紋。當(dāng)對未知掌紋進(jìn)行識別時(shí)，將待識別的掌紋圖像向由拉普拉斯掌紋張成的子空間上投影，得到的系數(shù)向量作為該掌紋的特征向量。最后通過計(jì)算待識別掌紋與模板中已知掌紋的特征向量的歐式距離作為掌紋識別的匹配得分值。

3 自適應(yīng)并行結(jié)構(gòu)融合策略

在得到人臉、虹膜和掌紋這3種生物特征的匹配得分值后，下一步需要在匹配層進(jìn)行融合。本文在設(shè)計(jì)融合策略時(shí)，采用并行結(jié)構(gòu)，所有可能的生物特征缺失情況都被考慮到，當(dāng)存在輸入缺失狀況時(shí)，可以根據(jù)系統(tǒng)的輸入情況，從并行多MPM融合模塊中自適應(yīng)選擇合適融合策略，避免系統(tǒng)識別性能出現(xiàn)明顯下降，確保系統(tǒng)的正常運(yùn)行，原理如圖4所示。

圖4 并行結(jié)構(gòu)融合模塊示意圖Fig.4 Fusion module based on parallel structure

該融合模塊主要有兩部分組成，一部分是得分值規(guī)范化模塊，另一部分是一組并行的多最小最大概率機(jī)（minimax probability machine，MPM）融合函數(shù)。

由于不同生物特征得到的匹配值分布范圍不同，首先需要進(jìn)行規(guī)范化處理。規(guī)范化模塊采用了雙sigmoid函數(shù)指數(shù)模型。并行結(jié)構(gòu)的融合策略部分由一系列訓(xùn)練好的MMP融合函數(shù)組成。MPM是一種基于最小錯分概率的新型分類學(xué)習(xí)算法，其優(yōu)異的融合識別性能在前期工作中已得到驗(yàn)證[5]。每個(gè)MPM融合函數(shù)由訓(xùn)練樣本訓(xùn)練產(chǎn)生，而且考慮到了所有可能的生物特征輸入狀態(tài)，即：（虹膜，人臉，掌紋），（虹膜，人臉），（虹膜，掌紋），（人臉，掌紋），（單生物特征）。 對于每一種可能的輸入狀態(tài)，都有訓(xùn)練好的MPM融合函數(shù)與其對應(yīng)，同時(shí)對應(yīng)著決策閾值。

這樣，利用并行結(jié)構(gòu)的多MPM融合算法可以很好的解決存在生物特征缺失的情況，比如，當(dāng)出現(xiàn)掌紋特征缺失時(shí)，選擇器會自適應(yīng)的選擇MPM（Iris，face）融合策略，如果僅有一種生物特征輸入，則此系統(tǒng)相當(dāng)于一個(gè)單生物特征識別系統(tǒng)，則對輸入的得分值直接輸出，僅需要設(shè)置對應(yīng)的決策閾值，即可實(shí)現(xiàn)正常的識別。

4 實(shí)驗(yàn)結(jié)果與分析

為了對提出的方法進(jìn)行分析和評價(jià)，文中選取ORL人臉圖像庫、UBIRIS虹膜庫和 PolyU（Version 2.0）掌紋庫構(gòu)成多模生物特征庫，模擬實(shí)際應(yīng)用環(huán)境。多模特征庫共包含40人，每人包括7個(gè)記錄，每個(gè)記錄包含一幅虹膜圖像、一幅人臉圖像和一幅掌紋圖像，一個(gè)記錄表示一次采集數(shù)據(jù)。

首先測試3種生物特征同時(shí)存在輸入的情況，這種情況下得到的接受特性曲線如圖5所示，并與單模生物特征識別性能做了比較。

圖5 接受特性曲線比較圖Fig.5 ROC curves of unimodal method and our method

當(dāng)存在生物特征輸入缺失時(shí)，即當(dāng)虹膜、人臉、掌紋分別存在輸入缺失時(shí)測試結(jié)果如圖6所示。

圖6 存在生物特征缺失時(shí)接受特性曲線圖Fig.6 ROC curves of one modality missing

通過上面的仿真實(shí)驗(yàn)數(shù)據(jù)可見，當(dāng)三種生物特征同時(shí)存在輸入時(shí)，本文方法獲得非常好的識別性能，等錯誤率明顯下降，說明利用多種生物特征的融合可以非常有效的提高識別可靠性，這種方式可以應(yīng)用到對安全性要求非常高的環(huán)境。另外，當(dāng)存在一種生物特征缺失時(shí)，由于選擇器模塊可以根據(jù)輸入的狀態(tài)自動選擇合適融合函數(shù)，識別性能保持穩(wěn)定，不會出現(xiàn)明顯下降的現(xiàn)象，說明本文方法具備更好的實(shí)用性。

5 結(jié) 論

在復(fù)雜應(yīng)用環(huán)境下，利用多種生物特征的融合識別來提高身份識別可靠性是目前的研究熱點(diǎn)。文中針對傳統(tǒng)多模態(tài)生物識別方法當(dāng)存在生物特征輸入缺失時(shí)，會出現(xiàn)識別性能明顯下降的問題，提出了一種基于人臉、虹膜和掌紋的自適應(yīng)并行結(jié)構(gòu)多模態(tài)生物特征識別方法。該方法采用并行結(jié)構(gòu)考慮到所有可能的輸入缺失，能根據(jù)輸入狀態(tài)自適應(yīng)選擇融合策略進(jìn)行識別。實(shí)驗(yàn)測試結(jié)果表明，文中方法識別性能穩(wěn)定，具有較好的實(shí)用性。

[1]LIU Zong-yi，Sarkar S.Outdoor recognition at a distance by fusing gait and face[J].Image Vision Computing，2007，25（6）:817-832.

[2]Ross A，Jain A.K.Information fusion in biometrics[J].Pattern Recognition Letters，2003，24（13）:2115-2125.

[3]Kim D，Chung K，Hong K.Person authentication using face，teeth and voice modalities for mobile device security[J].IEEE Transactions on Consumer Electronics，2010，56 （4）:2678-2685.

[4]Poh N，Bourlai T.A multimodal biometric test bed for quality-dependent，cost-sensitive and client-specific scorelevel fusion algorithms[J].Pattern Recognition，2010，43（3）:1094-1105.

[5]王風(fēng)華，韓九強(qiáng)，姚向華.一種基于虹膜和人臉的多生物特征融合方法[J].西安交通大學(xué)學(xué)報(bào)，2008，42（2）:133-137.WANG Feng-hua，HAN Jiu-qiang，YAO Xiang-hua.A multimodal biometric fusion approach based on iris and face[J].Journal of Xi’an Jiaotong University，2008，42（2）:133-137.

[6]HE Xiao-fei，YAN Shui-cheng， et al.Face recognition using laplacianfaces[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2005，27（3）:328-340.

[7]Wang J，Yau WY，Suwandy A，et al.Person recognition by fusing palmprint and palm vein images based on“Laplacianpalm” representation[J].Pattern Recognition，2008，41（5）:1514-1527.