基于PCA_LDA和協(xié)同表示分類的人臉識(shí)別算法

聶棟棟，賀悅悅，馬勤勇

(1.燕山大學(xué) 理學(xué)院，河北 秦皇島 066004；2.燕山大學(xué) 信息科學(xué)與工程學(xué)院，河北 秦皇島 066004)

0 引言

人臉識(shí)別是生物識(shí)別的一個(gè)重要課題，它在身份認(rèn)證、商業(yè)交易、安全保障等多個(gè)領(lǐng)域廣泛應(yīng)用。用計(jì)算機(jī)對(duì)人臉進(jìn)行識(shí)別的過(guò)程，大致可分為圖像獲取、特征提取、分類器選擇三大步驟。圖像獲取階段主要是收集圖像數(shù)據(jù)，通常可以利用一些規(guī)范的人臉數(shù)據(jù)庫(kù)。特征提取階段常用的算法有幾何特征的方法[1]，彈性圖匹配模型[2]，子空間算法，如主成分分析(Principal Components Analysis,PCA)、線性鑒別分析(Linear Discriminate Analysis,LDA)、獨(dú)立主元分析[3]、小波變換[4]等。在分類階段，常用的分類器有卷積神經(jīng)網(wǎng)絡(luò)[5]、支持向量機(jī)[6]、最近鄰分類[7]、基于稀疏表示的分類(Sparse Representation-based Classification,SRC)[8]算法等。

本文提出一種基于PCA主成分分析和LDA線性判別分析，通過(guò)協(xié)同表示分類(Collaborative Representation-based Classification,CRC)進(jìn)行人臉識(shí)別的算法。首先采用PCA和LDA相結(jié)合的方法對(duì)人臉數(shù)據(jù)庫(kù)中的樣本信息進(jìn)行降維和特征提取，然后采用CRC協(xié)同表示方法進(jìn)行分類。該算法克服了主成分分析忽略了數(shù)據(jù)的類別信息及線性判別分析類內(nèi)散度矩陣奇異的缺陷，在圖像維數(shù)較小的情況下就能夠取得良好的識(shí)別效果，而且算法采用協(xié)同表示分類，使它具有比經(jīng)典的基于稀疏表示的分類算法具有更快的處理速度和更好的抗干擾性能。實(shí)驗(yàn)結(jié)果也證實(shí)，本文算法能夠在不同的姿態(tài)、光照和面部表情的變化下，尤其是在強(qiáng)烈的高斯噪聲干擾下達(dá)到更好的人臉識(shí)別效果，具有非常好的實(shí)用價(jià)值。

1 PCA_LDA_CRC算法

本文提出的人臉識(shí)別算法，在特征提取并降維階段采用PCA和LDA結(jié)合的方法，在分類階段采用了CRC協(xié)同表示分類方法，因此為了描述方便簡(jiǎn)稱其為PCA_LDA_CRC算法。

1.1 PCA_LDA特征提取方法1.1.1 PCA主成分分析法

主成分分析法是模式識(shí)別中常用的一種基于統(tǒng)計(jì)的特征提取方法，它通過(guò)僅損失一些次要信息達(dá)到用更低維的特征向量來(lái)表示原本的高維信息的目的。

(1)

(2)

在人臉識(shí)別中,m被稱做平均臉。通過(guò)求解協(xié)方差矩陣St的特征值和特征向量，可得到一組由特征向量組成的正交基，稱為特征臉。樣本中任意的人臉圖像都可以用這一組基向量線性表示。將協(xié)方差矩陣的特征值從大到小排列：λ1≥λ2≥…≥λd≥λd+1≥…，選取前d個(gè)特征值對(duì)應(yīng)的特征向量，構(gòu)成維數(shù)為p×d的主成分變換矩陣P。若前d個(gè)主成分的累計(jì)貢獻(xiàn)率較高 (80%～99%)時(shí)，就可以在不會(huì)損失原圖像中太多的特征信息的同時(shí)減小人臉特征向量維數(shù)。任何一幅人臉圖像向變換矩陣P作投影：y=PTaij，即可獲得d×1的低維向量y，其中系數(shù)表示的是圖像在主成分子空間的位置。

PCA人臉識(shí)別方法是統(tǒng)計(jì)最優(yōu)的，它使得原圖像與投影圖像之間的均方誤差最小。但是PCA方法同時(shí)也存在缺陷。首先它基于圖像像素值的統(tǒng)計(jì)，外在因素帶來(lái)的圖像差異和人臉本身帶來(lái)的差異是無(wú)法區(qū)分的。因此外界因素，如光照變化、遮擋、噪聲等都會(huì)導(dǎo)致識(shí)別率降低。而且由于PCA算法側(cè)重于準(zhǔn)確保留原始圖像特征，而沒(méi)有有效利用不同類別之間的差異信息，所以用PCA算法得到的特征是最有表現(xiàn)力的特征，但并不是最有辨別力的特征。

1.1.2LDA線性判別分析

線性判別分析的核心思想是通過(guò)求解Fisher判別函數(shù)的極值，求得最佳投影向量，將高維空間內(nèi)的信息投影到更具有分辨能力的低維特征子空間上，并使低維信息達(dá)到最小的類內(nèi)散度和最大的類間散度，即在這個(gè)子空間中，各類樣本有最佳的可分離性。

令mi為樣本集中各類樣本的均值：

(3)

則人臉樣本圖像樣本集A的類內(nèi)散度矩陣Sw和類間散度矩陣SB為

(4)

當(dāng)類內(nèi)散度矩陣Sw非奇異時(shí)，要想達(dá)到最小的類內(nèi)散度和最大的類間散度，可以求解使類間散度與類內(nèi)散度比值最大的投影矩陣，即通過(guò)如下優(yōu)化問(wèn)題求解最佳的投影矩陣L：

(5)

1.1.3PCA_LDA特征提取方法

為了解決上述問(wèn)題，本文先用PCA對(duì)數(shù)據(jù)進(jìn)行降維，再用LDA對(duì)降維后的數(shù)據(jù)提取特征，進(jìn)行二次降維。這樣，不僅充分考慮到數(shù)據(jù)的類別信息，而且克服了LDA對(duì)數(shù)據(jù)要求嚴(yán)格的缺陷。

PCA_LDA特征提取的計(jì)算過(guò)程如下：

Step 1：由式(1)、(3)分別計(jì)算每類樣本和所有樣本的平均值mi,m；

Step 2：根據(jù)式(2)計(jì)算協(xié)方差矩陣St的特征值及特征向量。選擇前d個(gè)較大的特征值對(duì)應(yīng)的特征向量，歸一化后組成PCA投影矩陣P；

Step 3：根據(jù)式(4)計(jì)算樣本集的類內(nèi)散度矩陣Sw和類間散度矩陣SB；

Step 4：將Sw和SB投影到矩陣P上，并根據(jù)目標(biāo)函數(shù)式(5)計(jì)算LDA投影矩陣L；

Step 5：計(jì)算PCA_LDA特征提取的總投影矩陣W=P×L.

1.2 CRC協(xié)同表示分類

自壓縮感知[9]被提出后，就引起了廣泛關(guān)注，并成功應(yīng)用于圖像處理、模式識(shí)別[10]等各方面，如Wright等人[8]利用l1范數(shù)最小化求出最稀疏的解進(jìn)行人臉識(shí)別。但是l1范數(shù)最小化計(jì)算復(fù)雜，而且目前人們也就SRC方法成功應(yīng)用于人臉識(shí)別是否就是l1范數(shù)的稀疏特性所決定的問(wèn)題，也一直存在著諸多疑問(wèn)[11-12]。針對(duì)以上問(wèn)題，本文采用一種l2范數(shù)最小化的方法，即協(xié)同表示方法進(jìn)行分類。 協(xié)同表示的本質(zhì)就是利用所有類別中的訓(xùn)練樣本來(lái)共同表示待識(shí)別樣本。與稀疏表示的算法相比，協(xié)同表示的方法大大減小了計(jì)算的復(fù)雜度，同時(shí)增強(qiáng)的算法抗干擾的能力。

在人臉數(shù)據(jù)庫(kù)A的每個(gè)類中選取訓(xùn)練樣本和測(cè)試樣本，假設(shè)第i類中選取r個(gè)作為訓(xùn)練樣本，剩余的ni-r個(gè)做為測(cè)試樣本。計(jì)算每個(gè)訓(xùn)練樣本aij在PCA_LDA特征提取總投影矩陣W上的投影：

Dij=WT(aij-m),

(6)

將Dij按列組成字典矩陣D，則D∈Rt×q，其中q=k×r表示訓(xùn)練樣本數(shù)目,t表示PCA_LDA提取的特征維數(shù)，t≤k-1。

假設(shè)任何一個(gè)測(cè)試樣本y都可以用字典D中的訓(xùn)練樣本線性表示，即y=Dα，其中α=(a1,a2,…,aq)表示系數(shù)向量。協(xié)同表示方法是通過(guò)l2范數(shù)最小化求得系數(shù)α：

α=arg min‖α‖2s.t. ‖y-Da‖2<ε，

(7)

引入拉格朗日常數(shù)λ，則上式可化為

故α=(DTD+λI)-1DTy。

記VT=(DTD+λI)-1DT，則V表示從測(cè)試樣本向量y到表示系數(shù)向量α的投影矩陣。而且矩陣V是獨(dú)立于測(cè)試樣本y的，因此當(dāng)字典D確定后，可以先計(jì)算出矩陣VT，然后對(duì)每個(gè)測(cè)試圖像y，只需計(jì)算α=VTy即可。

最后，測(cè)試樣本y所在的類為

(8)

1.3 PCA_LDA_CRC算法過(guò)程

假設(shè)輸入樣本集A，類別數(shù)k，測(cè)試樣本y，則利用本文算法對(duì)測(cè)試樣本進(jìn)行分類的具體過(guò)程如下：

1) 計(jì)算PCA_LDA投影矩陣W；

2) 根據(jù)式(6)計(jì)算訓(xùn)練樣本y在W上的投影；

3) 計(jì)算矩陣VT=(DTD+λI)-1DT；

4) 計(jì)算系數(shù)向量α=VTy；

5) 根據(jù)式(8)得出y的分類f(y)。

1.4 算法的計(jì)算復(fù)雜度分析

在PCA分析階段，最耗時(shí)的處理是對(duì)大小為p×p的協(xié)方差矩陣St求d個(gè)最大的特征值，其復(fù)雜度為O(p2d)；在LDA分析階段，將SB和Sw投影到大小為p×d投影矩陣P上后，大小都為d×d，該階段最耗時(shí)的處理是求逆矩陣和求特征值，其復(fù)雜度是O(d3)；在CRC分類階段，最耗時(shí)的是求(DTD+λI)-1，因此該階段的復(fù)雜度是O(q3)。上述過(guò)程對(duì)所有測(cè)試樣本只需要計(jì)算一次，因此假設(shè)總測(cè)試樣本數(shù)目為s，則復(fù)雜度為O((p2d+d3+q3)/s)。又因?yàn)閜?d，p?q且d,q,s量級(jí)相當(dāng)，故本文算法的復(fù)雜度可簡(jiǎn)化表示為O(p2)。

2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證算法的有效性，實(shí)驗(yàn)分別在ORL庫(kù)[13]和YALE庫(kù)、部分FERET庫(kù)上進(jìn)行，其中ORL人臉庫(kù)包括40個(gè)人的400張圖片；YALE庫(kù)包含15個(gè)人的165張人臉圖片，每個(gè)人11張不同表情與光照條件；FERET庫(kù)包含1 400張圖，每人7張，本文選擇其中的40個(gè)人作為代表，分別進(jìn)行實(shí)驗(yàn)。這些實(shí)驗(yàn)數(shù)據(jù)庫(kù)的人臉圖像在光照條件、面部表情等方面存在較大差別，因此這些數(shù)據(jù)庫(kù)不僅可以驗(yàn)證算法的有效性，而且可以驗(yàn)證算法的魯棒性。

首先，實(shí)驗(yàn)對(duì)本文算法PCA_LDA_CRC與其它幾種典型相關(guān)算法的識(shí)別率進(jìn)行了比較，結(jié)果見(jiàn)表1～3。其中PCA_LDA_SRC與PCA_LDA神經(jīng)網(wǎng)絡(luò)與本文PCA_LDA_CRC采用相同的特征提取算法，但在分類時(shí)分別采用SRC、神經(jīng)網(wǎng)絡(luò)、CRC進(jìn)行分類。而2DPCA_CRC算法則采用與本文算法不同的2DPCA降維，相同的CRC分類。CRC算法則直接采用下采樣降維后進(jìn)行CRC分類。表中r表示從每類人臉圖像中隨機(jī)抽取的作為訓(xùn)練樣本的個(gè)數(shù)。由于樣本抽取的隨機(jī)性，所以表中結(jié)果是10次測(cè)試的平均值。實(shí)驗(yàn)中所有CRC算法中的拉格朗日參數(shù)λ為取經(jīng)驗(yàn)值0.2。這是根據(jù)對(duì)參數(shù)在0.1到1之間，每隔0.1進(jìn)行一次實(shí)驗(yàn)，最終各個(gè)人臉數(shù)據(jù)庫(kù)下的綜合表現(xiàn)取最好的。

表1 ORL人臉庫(kù)上的實(shí)驗(yàn)結(jié)果
Tab.1 Test results on ORL face database%

算法樣本維數(shù)r=2r=3r=4PCA_LDA_CRC3981.13 90.07 92.08PCA_LDA_SRC3980.0488.1189.58PCA_LDA神經(jīng)網(wǎng)絡(luò)3941.5657.8663.33CRC5667.0672.29 77.42 2DPCA_CRC1 68078.7587.29 89.08

表2 YALE人臉庫(kù)上的實(shí)驗(yàn)結(jié)果
Tab.2 Test results on YALE face database%

算法樣本維數(shù)r=2r=3r=4PCA_LDA_CRC1492.1492.9394.92PCA_LDA_SRC1486.6787.4389.11PCA_LDA神經(jīng)網(wǎng)絡(luò)1478.8180.4483.11CRC10080.50 82.38 87.89 2DPCA_CRC40084.00 86.67 87.78

表3 FERET人臉庫(kù)上的實(shí)驗(yàn)結(jié)果
Tab.3 Test results on FERET face database%

算法樣本維數(shù)r=2r=3r=4PCA_LDA_CRC3970.0076.6786.25PCA_LDA_SRC3965.6375.8383.75PCA_LDA神經(jīng)網(wǎng)絡(luò)3940.0043.7550.00CRC40043.0049.1765.002DPCA_CRC1 20019.3826.6738.75

從表1～3結(jié)果可以得出以下結(jié)論：

1) 本文提出的PCA_LDA_CRC在使用較少的樣本維數(shù)的條件下，獲得了比其它幾種相關(guān)算法更好識(shí)別率。

2) 在ORL、YALE和FERET人臉庫(kù)上，本文PCA_LDA_CRC算法的識(shí)別效果較為穩(wěn)定。而CRC和2DPCA_CRC在FERET人臉庫(kù)的識(shí)別效果都明顯比其它兩種數(shù)據(jù)庫(kù)上的識(shí)別效果差很多。PCA_LDA_神經(jīng)網(wǎng)絡(luò)只在YALE人臉庫(kù)上稍好，在其它兩個(gè)數(shù)據(jù)庫(kù)上識(shí)別效果都較差。這證實(shí)本文算法能夠更好地消除光照、面部表情等方面的影響，算法具有良好的穩(wěn)定性。

其次，為了定量分析算法的時(shí)間復(fù)雜性，本文對(duì)上述各算法的處理時(shí)間進(jìn)行了統(tǒng)計(jì)。以O(shè)RL人臉數(shù)據(jù)庫(kù)為例，每類人臉圖像的訓(xùn)練樣本數(shù)分別是r=2、3、4、5時(shí)，平均完成1幅人臉圖像識(shí)別的時(shí)間，見(jiàn)表4所示。算法采用MATLAB 7.0編寫，表中統(tǒng)計(jì)的處理時(shí)間是在臺(tái)式PC(Intel Core i5-2320 CPU@3.00 GHz，16 GB內(nèi)存)上運(yùn)行10次后的平均值。

表4 ORL人臉庫(kù)上的處理時(shí)間
Tab.4 Processing times on ORL face databasems

算法r=2r=3r=4r=5PCA_LDA_CRC5.50 6.36 7.22 7.49 PCA_LDA_SRC114.86 102.13 92.41 81.76 PCA_LDA神經(jīng)網(wǎng)絡(luò)7.48 8.34 9.70 10.60 CRC1.50 1.561.58 1.57 2DPCA_CRC1.661.711.811.94

從表4中可以看出，本文算法的時(shí)間復(fù)雜度遠(yuǎn)低于采用稀疏分類的PCA_LDA_SRC，略低于采用神經(jīng)網(wǎng)絡(luò)分類的PCA_LDA_神經(jīng)網(wǎng)絡(luò)，略高于2DPCA_CRC和CRC算法。但結(jié)合表1中的識(shí)別率可知，本文算法在略增加運(yùn)行時(shí)間的同時(shí)大大提高了算法識(shí)別率，并增強(qiáng)算法穩(wěn)定性，因此具有良好的應(yīng)用價(jià)值。

再次，實(shí)驗(yàn)還比較本文算法與其它類型的人臉識(shí)別算法[14]的識(shí)別率，見(jiàn)表5所示。

從表5中可以看出，除了在ORL數(shù)據(jù)庫(kù)中每類訓(xùn)練樣本數(shù)r=7時(shí)，文獻(xiàn)[14]的DH-NMF算法的識(shí)別率略高于本文算法，其它情況下均是本文算法的識(shí)別率更高，尤其是在YALE數(shù)據(jù)庫(kù)下的兩種算法識(shí)別率的差別很大。這也證實(shí)本文算法受人臉圖像在光照、面部表情等方面的差異的影響較小，算法具有更好的穩(wěn)定性。

表5 與文獻(xiàn)[14]算法的識(shí)別率比較
Tab.5 Comparison with the method of the literature[14]

r=3r=5r=7ORL數(shù)據(jù)庫(kù)PCA_LDA_CRC90.0793.6595DH_NMF82.991.295.4YALE數(shù)據(jù)庫(kù)PCA_LDA_CRC92.1494.9295.71DH_NMF75.078.383.3

最后，為了驗(yàn)證算法在噪聲干擾下的魯棒性，實(shí)驗(yàn)還測(cè)試了在樣本圖像中加入高斯白噪聲后算法的識(shí)別能力。圖1給出了ORL庫(kù)中的一個(gè)原始樣本圖像以及加入均值為0，方差分別為0.05、0.01、0.15、0.20、0.25的高斯白噪聲后的圖像。

圖1 原始人臉圖像和不同方差下的噪聲圖像
Fig.1 Original face image and noise images with different variance

表6比較了加入高斯白噪聲后，本文及其它幾種相關(guān)算法的人臉識(shí)別率。 用于實(shí)驗(yàn)的樣本維數(shù)與表1相同。所有實(shí)驗(yàn)結(jié)果均為測(cè)試10次的平均數(shù)。

表6 ORL人臉庫(kù)上的實(shí)驗(yàn)結(jié)果
Tab.6 Test results on ORL face database%

高斯噪聲方差0.050.100.150.200.25PCA_LDA_CRC79.6470.1965.3656.0750.47PCA_LDA_SRC77.8666.0764.6450.3645.71PCA_LDA神經(jīng)網(wǎng)絡(luò)49.2934.6431.7928.5718.21CRC37.1427.521.0716.0712.142DPCA_CRC63.5753.9350.7146.4339.29

從表6中可以看出：當(dāng)噪聲逐漸加強(qiáng)時(shí)，幾種算法的識(shí)別率都有所下降，但在同樣等級(jí)的噪聲干擾下，本文算法的識(shí)別率比其它幾種算法的識(shí)別率更高，抗噪能力更強(qiáng)。而PCA_LDA_SRC 和2DPCA_CRC算法在噪聲干擾下的表現(xiàn)一般，PCA_LDA神經(jīng)網(wǎng)絡(luò)和CRC算法的抗噪能力則較差。

3 結(jié)論

本文提出了一種基于PCA_LDA降維和CRC協(xié)同表示分類的人臉識(shí)別算法。該方法融合了PCA算法、LDA算法和CRC算法的特點(diǎn)， 它能夠在有效提取樣本特征的同時(shí)，更準(zhǔn)確的進(jìn)行人臉?lè)诸悺?shí)驗(yàn)證明，本文算法在三種常用的人臉數(shù)據(jù)庫(kù)上的測(cè)試結(jié)果穩(wěn)定，能夠更好地消除光照條件、面部表情等方面的影響；相比其它幾種算法，本文所提算法在樣本維數(shù)較低，訓(xùn)練樣本較少時(shí)，能夠在整體上獲得了更好的識(shí)別效果，而且該算法在外界噪聲干擾的情況下，識(shí)別率也一直較高，算法的抗噪性能較強(qiáng)。因此，本文算法具有良好的實(shí)用價(jià)值。