基于廣義典型相關(guān)分析融合和魯棒概率協(xié)同表示的人臉指紋多模態(tài)識別

張 靜， 劉歡喜， 丁德銳， 肖建力

（1. 上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093； 2. 上海交通大學(xué) 科學(xué)技術(shù)發(fā)展研究院，上海 200240）

目前，指紋、人臉等單模態(tài)生物特征識別系統(tǒng)已經(jīng)取得了突破性的進展，但由于其自身的局限性如傳感器噪聲、類內(nèi)變化、非普遍性（如特殊人群生物特征的缺失、損傷）和易欺騙偽造，使得它們在實際應(yīng)用中仍困難重重[1]。為了解決上述單模態(tài)生物特征識別系統(tǒng)的缺陷，多模態(tài)生物特征識別系統(tǒng)被提出。該系統(tǒng)融合來自同一對象的多種生物特征信息，被認(rèn)為具有更高的準(zhǔn)確性和更強的安全性[2]。目前，許多科研工作者對這方面的研究產(chǎn)生了濃厚的興趣。由于人臉和指紋是兩種最自然、最直觀的生物特征[3]，為此本文研究了二者特征融合的多模態(tài)識別算法。首先回顧了多模態(tài)信息融合和稀疏表示分類器的相關(guān)知識，給出了多模態(tài)識別系統(tǒng)的總體框架，然后對廣義典型相關(guān)分析（generalized canonical correlation analysis，GCCA）特征融合和魯棒概率協(xié)同表示分類器分類進行了詳細闡述，最后對提出的算法進行實驗驗證。實驗結(jié)果表明，所提出的方法具有較高的準(zhǔn)確性和較強的魯棒性。

1 相關(guān)回顧

多模態(tài)生物特征識別的關(guān)鍵是不同信息之間的融合，主要包括傳感器層、特征層、匹配層、決策層4種融合方式[4]。其中，特征層融合包含信息最豐富，對提高系統(tǒng)的識別性能最有利。然而，由于不同特征融合時存在不兼容性[5]，使得多模態(tài)特征融合面臨挑戰(zhàn)。而且，多個特征向量進行融合時易出現(xiàn)“維數(shù)災(zāi)難”，如傳統(tǒng)的串聯(lián)[6]和并聯(lián)[7]融合方法。文獻[8]討論了基于廣義典型相關(guān)分析的融合方法，利用相關(guān)性分析從兩組向量中抽取得到兩組隨機向量。抽取的向量之間具有最大相關(guān)性，而向量中的元素之間互不相關(guān)。融合這兩組向量形成一個新的特征向量，既達到了信息融合的目的，又消除了不同特征之間的冗余信息。除此之外，構(gòu)建一個正確適合的分類器模型對提高系統(tǒng)的識別性能也至關(guān)重要。

稀疏表示分類器是近年來模式識別領(lǐng)域中較為流行的一種方法。Wright等[9]提出了基于稀疏表示的人臉識別模型，該算法的基本思想是通過建立l1范數(shù)最小優(yōu)化問題，尋求測試樣本在所有訓(xùn)練樣本上最稀疏表示系數(shù)，這樣之后由每類訓(xùn)練樣本和對應(yīng)的表示系數(shù)進行樣本重構(gòu)，計算測試樣本與每類重構(gòu)樣本之間的殘差，從而對測試樣本進行分類。文獻[10]驗證了稀疏表示分類的有效性，不僅提高了系統(tǒng)的準(zhǔn)確性，而且對于光照變化、遮擋以及像素腐蝕有一定的魯棒性?？紤]到范數(shù)的計算復(fù)雜度問題，Zhang等[11]又進一步提出了基于范數(shù)最小優(yōu)化問題的協(xié)同表示分類算法。在此基礎(chǔ)上，研究者又提出了各種改進算法，譬如聯(lián)合稀疏表示分類[12]、判別式低階字典學(xué)習(xí)稀疏表示分類[13]等，并將這些方法成功應(yīng)用于人臉識別和其他的視覺識別任務(wù)中。

基于以上分析，本文提出了基于廣義典型相關(guān)分析融合和改進協(xié)同表示的人臉指紋多模態(tài)生物特征識別。

2 多模態(tài)生物特征融合

本文提出了多模態(tài)生物特征融合方法的框架，如圖1所示，大致分為圖像預(yù)處理、特征提取、特征融合以及魯棒概率協(xié)同表示分類4個階段。

2.1 圖像預(yù)處理

圖像預(yù)處理在自動識別過程中起著重要的作用，其主要目的是濾除噪聲，消除冗余信息，提高識別系統(tǒng)的可靠性[14]。對于人臉圖像，預(yù)處理過程包括圖像增強、歸一化[15]；對于指紋圖像，預(yù)處理過程包括歸一化、濾波、感興趣區(qū)域[16]的提取。

2.2 特征提取

特征提取階段使用的是 LBP和Gabor特征提取算法。其中，LBP特征可以很好地描述圖像的局部紋理特征，并對灰度變化和旋轉(zhuǎn)變化不敏感[17]；Gabor特征在頻率域以及空間信息方面具有良好的特性，能夠很好地描述圖像的邊緣信息，而且對于光照變化具有很好的適應(yīng)性[18]，因此提取融合這兩種特征可以增強識別系統(tǒng)的魯棒性。

圖1 多模態(tài)魯棒概率協(xié)同表示總體框架Fig.1 General framework of the multimodal recognition based on the robust probabilistic collaborative representation

假設(shè)人臉和指紋分別共有個樣本，為樣本類。首先將所有圖像分為互不重疊的均勻小塊，然后對第一塊采用LBP算子進行特征提取得到特征向量，并以同樣的方式計算其他塊的特征向量，最后將所有的特征向量串聯(lián)起來得到整幅圖像的LBP特征向量。類似地求圖像的Gabor特征。由于獲取的特征向量維數(shù)太高，需要主成分分析[19]進行降維，以提取向量中主要特征的信息，經(jīng)處理后的人臉和指紋的所有訓(xùn)練樣本構(gòu)成LBP特征矩陣，分別用表示，Gabor特征分別用表示，測試樣本分別用

2.3 特征融合

在這部分，第一階段是基于GCCA的LBP，Gabor兩特征之間的融合。該方法首先對兩個特征集進行投影變換得到兩個具有一定相關(guān)性的低維特征集，然后采用加法融合策略進行特征集之間的融合。這有利于消除不同特征之間的冗余信息，增加融合特征的判別性[20]。圖2為基于GCCA的特征融合算法的流程圖。

融合的人臉特征矩陣為

融合的指紋特征矩陣為

圖2 基于GCCA的特征融合算法Fig.2 Feature fusion algorithm based on the generalized canonical correlation analysis

第二階段是基于特征組合的人臉、指紋兩模態(tài)之間的融合。該方法是將，作為對角元素融合到一個大的對角矩陣中，其目的是可以充分利用來自不同模態(tài)的內(nèi)在結(jié)構(gòu)信息。設(shè)是來自人臉和指紋測試樣本的兩個特征向量，則融合的人臉指紋特征表示為

式中： 是待識別樣本向量； 是訓(xùn)練樣本矩陣，其中，分別稱為擴展的人臉、指紋特征矩陣。y A

3 多模態(tài)魯棒概率協(xié)同表示

魯棒概率協(xié)同表示是一種從概率角度進行個體識別分類的算法，由已知訓(xùn)練樣本定義待識別測試樣本屬于每類樣本空間的概率。隨后，基于所有概率相乘建立優(yōu)化函數(shù)，求解概率表示中的參數(shù)?；谇蠼獾膮?shù)計算測試樣本屬于每類的概率，并將其分類到概率最大類。

3.1 魯棒概率協(xié)同表示模型

令為中 樣本組成的線性空間，則表示中第i 類樣本組成的子空間，令為樣本標(biāo)簽集。協(xié)同子空間中一數(shù)據(jù)點，表示為中所有樣本線性組合的形式，即：， 其中稱為表示向量或系數(shù)向量。事實上，如果的范數(shù)越小，表明樣本越接近于空間的中心，從而越屬于這些樣本共同表示的類別；而如果的范數(shù)越大，表明樣本越靠近空間的邊界，從而越不屬于這些類。假設(shè)定義為概率協(xié)同空間，則不同的有不同的概這兒引入了高斯函數(shù)，即然而對于一個待識別樣本，它通常位于外。為了表示概率，采取的策略是首先在中找一點，然后計算概率和與屬于相同

式中，為常數(shù)。式中前兩項表示與中的一點具有相同類標(biāo)簽的概率，后一項表示與任意子空間中一點有相同類標(biāo)簽的概率，是在人臉、指紋的第i類子空間通過線性表示得到的數(shù)據(jù)點。

通過最大化式中的概率，可以求得一點。對于不同的i ，是不同的，這樣會使分類不穩(wěn)定并缺乏判別性。一個好的解決方案是聯(lián)合最大化所有類的概率以得到一個公共點。假設(shè)間是相互獨立的，則有

對式（5）取自然對數(shù)，去負號，等同于解下面的目標(biāo)函數(shù)：

在實際分類問題中，圖像樣本經(jīng)常會遭受部分腐蝕或遮擋，從而會降低分類器的準(zhǔn)確性和魯棒性。眾所周知，用l1范數(shù)表征損失函數(shù)可以增加分類器的魯棒性，函數(shù)被重新定義為

一旦求得，則待識別樣本的類標(biāo)簽與最大概率相關(guān)聯(lián)。根據(jù)式（4），很容(易計算屬于每)個類的概率。對于所有類，由于是相同的，因此在計算中可以省略，有

3.2 解系數(shù)向量

定義對角加權(quán)矩陣,其中對角元素為為的 第行 ，是的第個元素。式（7）可進一步被改寫為

利用迭代加權(quán)最小二乘法（iterative reweighed least square, IRLS），可以得到系數(shù)向量的閉式解，的更新由式（10）計算得到。

式中：為單位矩陣；中的初值為式（6）的解。求解過程中，交替更新和，直到達到收斂條件或最大迭代次數(shù)為止。對于迭代的整個過程，見文獻[9, 21]。整個多模態(tài)識別過程，如算法1所示。

算法1 基于魯棒概率協(xié)同表示的多模態(tài)識別

a. 人臉、指紋圖像預(yù)處理。

b. 特征提取。

4 實驗結(jié)果

4.1 實驗設(shè)計

為了比較單模態(tài)和多模態(tài)生物特征的識別性能，構(gòu)建了包含人臉和指紋的多模態(tài)數(shù)據(jù)庫。

a. 人臉單模態(tài)識別。人臉樣本來自O(shè)RL和AR數(shù)據(jù)庫。ORL數(shù)據(jù)庫[22]由40個人的400張正面圖像組成，包括光照、表情和面部細節(jié)變化，所有的圖像均是灰度圖像，圖像大小為像素。AR數(shù)據(jù)庫[23]包含4 000多張彩色圖像，共126個人，每個人的多張圖像分別對應(yīng)不同表情、遮擋和光照條件下的人臉。

b. 指紋單模態(tài)識別。指紋樣本來自FVC 2000數(shù)據(jù)庫[24]，該數(shù)據(jù)庫包含了4個圖像樣本集，實驗選用第一個，它是由光學(xué)傳感器捕獲的，圖像大小為像素。

c. 人臉和指紋多模態(tài)識別。構(gòu)建了ORL_FVC 2000和AR_FVC2000兩個數(shù)據(jù)庫，數(shù)據(jù)庫ORL_FVC 2000是由ORL人臉數(shù)據(jù)庫和在FVC2000中隨機選擇的40個人的指紋圖像構(gòu)成，其中每個人包含8張人臉圖像和8張指紋圖像。數(shù)據(jù)庫AR_FVC 2000是包含80個人的1 600張圖像，其中1/2來自AR數(shù)據(jù)庫中的人臉圖像，1/2來自FVC2000數(shù)據(jù)庫中的指紋圖像。

在實驗中，經(jīng)過預(yù)處理的圖像為像素，對圖像分塊采用的方式，在分類器中，設(shè)置參數(shù)，。

4.2 性能比較

為測試多模態(tài)魯棒概率協(xié)同表示算法的性能，一方面比較了基于ORL_FVC2000數(shù)據(jù)庫的多模態(tài)和基于ORL人臉數(shù)據(jù)庫、FVC2000（40%）（由FVC2000中隨機選擇的40個對象的樣本組成）指紋數(shù)據(jù)庫的單模態(tài)識別率。另一方面，也比較了基于AR_FVC2000數(shù)據(jù)庫的多模態(tài)識別和基于AR人臉數(shù)據(jù)庫、FVC2000指紋數(shù)據(jù)庫的單模態(tài)識別率，此外還比較和分析了采用GCCA的融合方法與傳統(tǒng)的串行融合方法的多模態(tài)魯棒概率協(xié)同表示的準(zhǔn)確性和魯棒性，實驗中通過改變每類訓(xùn)練樣本的個數(shù)得到不同的識別率，實驗結(jié)果如表1、表2和圖3所示。

表1中，當(dāng)N=5時，魯棒概率協(xié)同表示對于單一的人臉、指紋的識別率分別是99.17%，95.83%，而對于ORL_FVC2000多模態(tài)數(shù)據(jù)庫的識別是100.00%。表2中，魯棒概率協(xié)同表示在AR人臉數(shù)據(jù)庫上產(chǎn)生95.33%的識別率和在FVC2000指紋數(shù)據(jù)庫上產(chǎn)生91.33%的識別率，在AR_FVC2000數(shù)據(jù)庫上的識別率可以達到99.67%。圖3中，可以很容易地觀察到多模態(tài)數(shù)據(jù)庫的測試識別率明顯高于單模態(tài)。此外，表1、表2、圖3的實驗結(jié)果表明基于GCCA的LBP，Gabor特征融合明顯優(yōu)于基于串聯(lián)方法的特征融合。

表1 ORL_FVC2000中的單模態(tài)和多模態(tài)的性能比較Tab.1 Performance comparisons between the methods of unimode and multimode on ORL_FVC2000 database

表2 AR_FVC2000中的單模態(tài)和多模態(tài)的性能比較Tab.2 Performance comparisons between the methods of unimode and multimode on AR_FVC2000 database

圖3 基于特征融合的單模態(tài)和多模態(tài)性能比較Fig.3 Performance comparisons between the unimodal and multimodal biometrics

基于以上分析，實驗結(jié)果表明：a. 多模態(tài)生物特征識別由于包含更多的信息資源，相比單模態(tài)生物特征識別識別率要高，魯棒性要好。b. 針對兩種特征融合方法，基于GCCA融合方式相比傳統(tǒng)的融合方法對于提高識別率更有利，主要原因在于GCCA只關(guān)心兩個特征之間的相關(guān)特征，不考慮兩個特征之間的不相關(guān)特征。c. 提出的人臉指紋特征融合方法是成功的，融合的特征有助于分類器的識別分類。

4.3 遮擋和腐蝕測試

這部分實驗的主要目的是評估當(dāng)人臉、指紋遮擋或是部分腐蝕的情況下魯棒概率協(xié)同表示的識別效果。在實際的操作過程中，人臉和指紋圖像不可避免地會遭受光照、腐蝕、遮擋以及其他變化的影響[25]，因此，提高在此條件下的識別率是一個值得研究的課題。實驗中，對合成的ORL_FVC2000和AR_FVC2000兩個數(shù)據(jù)庫進行像素腐蝕和塊遮擋。對于像素腐蝕，用0～255的隨機數(shù)替換圖像像素的一部分；對于遮擋，用不相關(guān)的圖像代替圖像中的一塊。本實驗與傳統(tǒng)的稀疏表示方法進行了比較，結(jié)果如表3和表4所示。通過本文實驗發(fā)現(xiàn)，在圖像受影響的情況下，魯棒概率協(xié)同表示方法的多模態(tài)識別率均比傳統(tǒng)方法的高。

表3 人臉指紋遮擋條件下的多模態(tài)識別率Tab.3 Multimodal recognition rate under the occlusion of face and fingerprint

表4 人臉指紋腐蝕條件下的多模態(tài)識別率Tab.4 Multimodal recognition rate under the random corruption of face and fingerprint

5 結(jié) 論

本文研究了一種基于特征層融合及魯棒概率協(xié)同表示的多模態(tài)生物特征識別方法。特征融合分為兩個階段，首先是基于GCCA的人臉多特征融合、指紋多特征融合，然后將融合的人臉特征和指紋特征融入到一個統(tǒng)一的框架中。其中，基于GCCA的特征融合方法不僅提取了主要特征信息，而且消除了冗余特征信息。魯棒概率協(xié)同表示是一種從概率的角度進行分類的分類器，與傳統(tǒng)的稀疏表示器相比，提出的方法不僅提高了識別率，而且對于腐蝕、遮擋等具有一定的魯棒性。在未來的研究中，可以從提取更具有判別性的特征（如深度特征），或是進一步提高分類模型在各種條件變化下的魯棒性等方面改進現(xiàn)有的方法。

參考文獻：

[1]張志堅. 多模態(tài)生物特征識別融合算法的研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué), 2008.

[2]CHEN Y R，YANG J C，WANG C，et al. Multimodal biometrics recognition based on local fusion visual features and variational Bayesian extreme learning machine[J].Expert Systems with Applications，2016，64： 93-103.

[3]王小雪, 楊會成. 融合指紋和人臉的生物特征身份認(rèn)證方法[J]. 重慶理工大學(xué)學(xué)報： 自然科學(xué)版, 2013, 27(7)：67-70.

[4]FAUNDEZ-ZANUY M. Data fusion in biometrics[J].IEEE Aerospace and Electronic Systems Magazine, 2005,20(1)： 34-38.

[5]YANG J F, ZHANG X. Feature-level fusion of fingerprint and finger-vein for personal identification[J]. Pattern Recognition Letters, 2012, 33(5)： 623-628.

[6]LIU C J, WECHSLER H. A shape- and texture-based enhanced Fisher classifier for face recognition[J]. IEEE Transactions on Image Processing, 2001, 10(4)： 598-608.

[7]YANG J, YANG J Y. Generalized K-L transform based combined feature extraction[J]. Pattern Recognition, 2002,35(1)： 295-297.

[8]HUANG Z X, LIU Y X, LI C, et al. A robust face and ear based multimodal biometric system using sparse representation[J]. Pattern Recognition, 2013, 46(8)：2156-2168.

[9]WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2)：210-227.

[10]DONOHO D L,TSAIG Y. Fast solution of l1 norm minimization problems when the solution may be sparse[J].IEEE Transactions on Information Theory, 2008, 54(11)：4789-4812.

[11]ZHANG L, YANG M, FENG X C. Sparse representation or collaborative representation： which helps face recognition?[C]//Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona： IEEE, 2011：471-478.

[12]CHEN Y C, PATEL V M, SHEKHAR S, et al. Videobased face recognition via joint sparse representation[C]//Proceedings of the 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. Shanghai： IEEE, 2013： 1-8.

[13]MA L, WANG C H, XIAO B H, et al. Sparse representation for face recognition based on discriminative low-rank dictionary learning[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. RI：IEEE, 2012： 2586-2593.

[14]DHARAVATH K, TALUKDAR F A, LASKAR R H.Improving face recognition rate with image preprocessing[J]. Indian Journal of Science and Technology, 2014, 7(8)： 1170-1175.

[15]REISFELD D, YESHURUN Y. Preprocessing of face images： Detection of features and pose normalization[J].Computer Vision and Image Understanding, 1998, 71(3)：413-430.

[16]劉靈麗. 指紋圖像預(yù)處理與特征提取[D]. 長沙： 湖南大學(xué), 2005.

[17]MENG J, GAO Y, WANG X K, et al. Face recognition based on local binary patterns with threshold[C]//Proceedings of 2010 IEEE International Conference on Granular Computing. San Jose：IEEE, 2010： 352-356.

[18]YANG M, ZHANG L. Gabor feature based sparse representation for face recognition with gabor occlusion dictionary[M]//DANIILIDIS K, MARAGOS P,PARAGIOS N.Computer Vision-ECCV 2010,Heidelberg：Springer,2010： 448-461.

[19]BRO R, SMILDE A K. Principal component analysis[J].Analytical Methods, 2014, 6(9)： 2812-2831.

[20]ABDI H, GUILLEMOT V, ESLAMI A, et al. Canonical correlation analysis[M]//ALHAJJ R, ROKNE J.Encyclopedia of Social Network Analysis and Mining,New York： Springer,2017： 1-16.

[21]CAI S J, ZHANG L, ZUO W M, et al. A probabilistic collaborative representation based approach for pattern classification[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE,2016： 2950-2959.

[22]GUMUS E, KILIC N, SERTBAS A, et al. Evaluation of face recognition techniques using PCA, wavelets and SVM[J]. Expert Systems with Applications, 2010, 37(9)：6404-6408.

[23]SAGONAS C, ANTONAKOS E, TZIMIROPOULOS G,et al. 300 faces in-the-wild challenge： database and results[J]. Image and Vision Computing, 2016, 47： 3-18.

[24]CAPPELLI R, FERRARA M, MALTONI D. Fingerprint indexing based on minutia cylinder-code[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011, 33(5)： 1051-1057.

[25]MANDAL B. Face recognition： perspectives from the real world[C]//Proceedings of 2016 14th International Conference on Control, Automation, Robotics and Vision.Phuket： IEEE, 2016： 1-5.