基于改進的RPCA人臉識別算法*

首照宇，楊曉帆，莫建文

（桂林電子科技大學 信息與通信學院，廣西 桂林 541004）

基于改進的RPCA人臉識別算法*

首照宇，楊曉帆，莫建文

（桂林電子科技大學 信息與通信學院，廣西 桂林 541004）

針對人臉識別中存在遮擋、光照、表情變化等問題，提出了一種基于改進的魯棒主成分分析的人臉識別算法，它利用人臉的稀疏誤差成分準確判斷出人臉圖像之間的差異。該算法首先對人臉進行低秩恢復(fù)，得到表示人臉普通特征的低秩分量和描述人臉差分信息的稀疏誤差分量，然后定義稀疏度和平滑度兩種描述符來表示稀疏誤差分量的特征，最后聯(lián)合上述兩種描述符對人臉圖像進行分類判別。實驗結(jié)果表明，在光照條件和遮擋區(qū)域隨機的情況下，提出的采用誤差圖像進行分類判別的算法在處理遮擋、光照、表情變化等人臉識別問題上均具有優(yōu)越的識別性能。

人臉識別；低秩恢復(fù)；誤差圖像；稀疏度；平滑度

0　引言

目前，人臉識別成為了計算機視覺和模式識別領(lǐng)域中的熱門研究問題。人臉采集時的環(huán)境影響會給人產(chǎn)生一系列復(fù)雜的問題，如遮擋和光照都會導致面部信息丟失。在過去的幾十年中，研究人員提出了大量的人臉識別方法來解決這些問題[1]。如線性判別分析(Linear Discriminant Analysis，LDA)[2]和非負矩陣分解(Non-negative Matrix Factorization，NMF)[3]等，這些方法可以處理某一限度內(nèi)的像素遮擋問題。然而，由于在人臉部分遮擋的情況下會損壞提取的特征，這些方法的性能將會嚴重下降。為了解決這些問題，研究人員提出了一些局部特征處理的方法，如局部非負矩陣分解(Local Non-negative Matrix Factorization，LNMF)[4]。但這些局部方法會丟棄測試圖像中對后續(xù)的檢測和識別中重要的冗余信息，影響最終的識別效果。近年來，研究人員提出了基于線性表示的人臉識別方法，其中最具代表性的方法就是基于稀疏表示的分類方法 (Sparse Representation based Classifica tion，SRC)[5]和基于線性回歸的方法(Linear Regression based Classification，LRC)[6]。然而 SRC在連續(xù)遮擋中并不魯棒，此外，SRC和LRC的性能都取決于訓練集的大小，如果訓練樣本不足會給分類帶來干擾。

近年來，CANDES E等人提出了一種新的魯棒主成分分析法(Robust Principal Component Analysis，RPCA)[7]。RPCA在圖片損壞的情況下也能準確地恢復(fù)出圖像。例如圖像聚類[8]等領(lǐng)域采用 RPCA都取得了很好的效果，但很少有研究者將RPCA用于人臉識別中。本文研究發(fā)現(xiàn)，RPCA得到的稀疏誤差部分可以很好地描述人臉圖片的誤差和噪聲。基于此，本文提出了一種基于RPCA稀疏誤差的人臉識別算法(E-RPCA)。首先討論了稀疏誤差成分包含的更多利于人臉識別分類的判別信息，然后提出兩個描述誤差特征的描述符，最后聯(lián)合兩個描述符進行分類識別。

1　基于RPCA稀疏誤差人臉識別算法

1.1魯棒主成分分析

假設(shè)一個矩陣D∈Rm×n有低秩成分 A和稀疏誤差成分E，D=A+E。其目標是從矩陣D中恢復(fù)出低秩部分A，E為稀疏誤差部分。原始的RPCA模型如下：

其中，||E||0表示矩陣的l0范數(shù)，用于計算矩陣 E中的非零元素個數(shù)。由于式(1)是一個 NP難問題，所以上述問題松弛為：

其中式(1)中秩的運算用矩陣的核范數(shù)||·||*來代替，矩陣的 l0范數(shù)用l1范數(shù)來近似求解，γ是正則化參數(shù)并且設(shè)為。本文采用非精確的拉格朗日乘子法[9]求解式(2)。

1.2誤差成分分析

在人臉識別中，光照、遮擋或偽裝是影響識別性能的一個難題，這些可以認為是空間的稀疏誤差。因此可以提出一個假設(shè)，如果一個人有多個訓練樣本，RPCA便可以去除這些誤差。

圖1是從 Extended Yale B庫中進行測試的一個例子。隨機選取每個人的32幅不同光照的圖片，大小調(diào)整為96×84，將每幅人臉圖片拉成一列組成一個矩陣D∈R8064×32。其中(a)是原始的人臉圖片，(b)是去除光照影響后的干凈人臉圖片，(c)是獲得的稀疏誤差成分。

圖1　RPCA去除面部光照影響

圖2是AR庫中中進行測試的一個例子。每個人選取8幅有表情，光照變化及遮擋的圖片，大小調(diào)整為83×60。圖中可以看出，盡管有表情、光照以及遮擋的影響，低秩部分的人臉圖像仍然很相似，而稀疏誤差部分描述了原始圖片與低秩人臉圖片之間的主要差異。

由于低秩成分表示每個人的人臉圖像的共同特征，這對人臉識別的訓練數(shù)據(jù)很有幫助。然而，通過RPCA處理后，干凈的訓練樣本由于丟失差分信息并不適合后續(xù)的識別任務(wù)。通過前面的例子可以發(fā)現(xiàn)，如果一個測試樣本y屬于第k個個體，那么稀疏誤差成分明顯反映出了如陰影和遮擋的類內(nèi)差異。由此可以提出一個問題，是否在不同個體之間進行RPCA會表現(xiàn)出更多的差異？如果有，那么便可以用稀疏誤差成分來代替低秩成分進行分類識別。

圖2　RPCA去除面部遮擋

圖3是同一個測試樣本聯(lián)合不同類進行RPCA處理。(a)是用于測試的各類圖片，(b)表示測試樣本聯(lián)合不同類進行RPCA后的低秩圖片，(c)是每類對應(yīng)的稀疏誤差圖片，測試樣本屬于(a)中最右側(cè)那類。由于RPCA的低秩約束，測試圖片和非同類的人臉圖片進行分解后，低秩成分會改變成另外一個人的臉（圖3(b)）。從圖3(c)中可以看出，誤差圖像表現(xiàn)出可以用于分類識別的差分信息。相比于同類進行分解得到的誤差圖像，與非同類進行分解得到的誤差圖像不僅包括類內(nèi)差異（如眼鏡），還包括大量的類間差異（如面部輪廓、下巴、嘴唇等）。

圖3　測試樣本與不同個體進行RPCA后的低秩和稀疏圖像

為了更直觀地觀測，圖4展示了圖3中各誤差圖像的分布直方圖，其中(a)～(f)分別對應(yīng)與錯誤類進行分解得到的誤差圖像的分布直方圖，(g)表示與正確類分解得到的誤差圖的分布直方圖，可以看出圖(f)的分布明顯與圖(a)～(e)不同，該圖的灰度級主要集中在較低的區(qū)域，這便可以作為這些誤差圖像之間的判別信息。引起這種現(xiàn)象的原因主要是RPCA的低秩和稀疏約束，如果測試樣本屬于同一類，那么低秩部分可以描述該類的共同特征，同時，稀疏誤差部分僅僅反映稀疏的類內(nèi)差異。與此相反，如果測試圖片和訓練樣本不屬于同一類，低秩部分無法提取測試圖片的本質(zhì)特征，因此誤差部分不會像同一類的情況下那樣稀疏。由于噪聲的影響，誤差圖片不可能完全稀疏，所以不能用嚴格地使用l0范數(shù)來定義誤差圖像的稀疏度，將稀疏度松弛為統(tǒng)計低灰度級的像素個數(shù)，并以此作為識別的一個指標。

圖4　圖3中誤差圖像的灰度直方圖

1.3E-RPCA算法

1.3.1兩個判別指標

通過以上分析，本文提出兩個描述誤差圖像稀疏度的判別指標：

(1)稀疏度：給定一個誤差圖像E，E的稀疏度由||E||0決定。然而，由于真實的人臉圖像是非凸的，并且噪聲和建模誤差也會導致小的非零元素，所以將稀疏度松弛為統(tǒng)計低灰度級的像素個數(shù)，定義為：

Sn表示低灰度級的像素個數(shù)，Sn越大就表示產(chǎn)生的誤差圖像越稀疏。其中t的值選在[10，20]之間較好。

(2)平滑度：只用稀疏度來描述誤差圖像的差分信息是不夠的，通過對圖3(c)中的誤差圖像的觀察可以看出，相同類的誤差圖像相比不同類的誤差圖像在非遮擋區(qū)域里更加平滑，其定義如下：

圖5繪制了通過式(4)計算圖3（c）的各個誤差圖像的平滑度Sp，從中可以看出屬于同類的第6幅誤差圖像的平滑度Sp明顯低于其他不同類的誤差圖像。因此，平滑度可以作為分類的另一指標。

1.3.2分類準則

假設(shè)有i個樣本有ni幅訓練圖片，將第i類訓練圖片拉成列向量，組成一個訓練矩陣表示所有k類訓練樣本。給出一個測試樣本y∈Rm，首先對每類訓練樣本進行RPCA來獲得誤差圖像，i= 1，2，…，k。然后通過計算式(3)、式(4)獲得兩個分類指標Sn()和 Sp()，i=1，2，…，k。最后，需要通過搜索大的 Sn()和小的Sp()來進行分類，通過如下判別準則來

進行最終判別：

1.3.3E-RPCA算法流程

(1)輸入 k類訓練樣本矩陣D=[D1，D2，…，Dk]∈Rm×n，測試樣本y∈Rm；

(2)對每一類i構(gòu)造D*=[Di，y]后根據(jù)式(2)分解；

圖5　圖3中不同類誤差圖像的平滑度

2　實驗結(jié)果分析

本文實驗分別對光照、遮擋以及表情變化進行了實驗，通過與LRC、SRC、CRC等算法對比來驗證本文算法的性能。實驗中，灰度級閾值t取15。

2.1光照和表情變化實驗

(1)AR數(shù)據(jù)庫上的實驗

在AR人臉數(shù)據(jù)庫中，選擇50名男性和50名女性的人臉組成數(shù)據(jù)集，抽取每人的14幅光照、表情變化的人臉圖像，其中7幅用來訓練，另外7幅作為測試集。圖像尺寸統(tǒng)一調(diào)整為83×60。表1為多種算法在該人臉庫上的識別率比較。由表可看出，本文E-RPCA算法相比其他算法識別率明顯提高。

表1　AR人臉庫中的識別率(%)比較

（2）Extended Yale B數(shù)據(jù)庫的實驗

Extended Yale B人臉庫由 38類人的 2 414幅正面人臉組成，其中每人大約有來自64種實驗光照條件的64幅圖片。將所有圖片按照光照影響的程度依次分為5個子集，子集1包括266幅光照影響最柔和的圖像，每人7幅；子集2和子集3每個人12幅圖像；子集4每人14幅圖像，子集5光照影響最嚴重，每人19幅圖像。實驗采用子集1作為訓練樣本，其他的子集作為測試樣本，實驗中圖像均調(diào)整為96×84。表2為不同方法在不同光照子集下的識別率，從中可以看出當子集2和子集3作為測試集時，每種方法的都有百分之百的高識別率；但在子集4和子集5作為測試集時，即光照對人臉影響較大時，E-RPCA算法相比其他算法有更好的識別性能。

表2　Extended Yale B人臉庫中各算法的識別率(%)

2.2遮擋和偽裝實驗

(1)隨機塊遮擋

本節(jié)將對E-RPCA對遮擋的魯棒性進行實驗。分別采用上節(jié)中的子集1和子集2、3作為訓練和測試樣本。將測試樣本分別進行隨機塊遮擋和偽裝實驗，除了與LRC和SRC對比，本節(jié)還增加了與局部非負矩陣分解（LNMF）方法的對比。如圖6(a)表示一個遮擋了40%的測試樣本和進行測試的6類測試樣本，(b)是分解所得到的誤差圖像。

圖6　隨機塊遮擋人臉圖片進行RPCA后的低秩和稀疏圖像

表3是所有算法在不同遮擋程度下的識別率對比，從表中可以看出，即使在60%的遮擋情況下，E-RPCA也有著85%的識別率。

表3　不同遮擋率下各算法的識別率(%)

(2)偽裝實驗

本部分采用了AR人臉庫進行實驗，用每個人的7幅圖片作為訓練樣本，3幅偽裝的人臉圖片作為測試樣本，同樣將每幅圖片的大小調(diào)整為 83×60。表4是各個方法對于偽裝的人臉識別率比較，可以看出本文算法對偽裝的人臉圖像的識別性能更優(yōu)。

表4　偽裝的人臉識別率(%)比較

3　總結(jié)

受近幾年RPCA算法發(fā)展的啟發(fā)，本文提出了一個克服光照、表情變化以及遮擋偽裝問題的新的人臉識別算法。由稀疏度和平滑度兩個描述符來表示測試圖像分解所得的誤差部分的特征從而進行分類判別。實驗結(jié)果表明，本文提出的方法對光照及遮擋有著很強的魯棒性，并且與當前的一些人臉識別算法比較，識別性能有著明顯的提高。本文提出的算法不僅僅局限于人臉識別應(yīng)用，同時也可以應(yīng)用于其他的圖像分類應(yīng)用中。

[1]MARTINEZ A.Recognizing imprecisely localized，partially occluded，and expression variant faces from a single sample per class[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(6)：748-763.

[2]BELHUMEUR P，HESPANHA J，KRIEGMAN D.Eigenfaces vs.Fisherfaces：recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7)：711-720.

[3]LEE D，SEUNG H.Learning the parts of objects by nonnegative matrix factorization[J].Nature，1999，401(6755)：788-791.

[4]LI S，HOU X，ZHANG H，et al.Learning spatially localized，parts-based representation[C].IEEE Conference on Computer Vision and Pattern Recognition，2001，1：207－212.

[5]WRIGHT J，YANG A，GANESH A，et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(2)：210－227.

[6]NASEEM I，TOGNERI R，BENNAMOUN M.Linear regression for face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(11)：2106－2112.

[7]CANDES E，LI X，MA Y，et al.Robust principal component analysis[J].Journal of the ACM，2011，58(3)：11：1-11：37.

[8]LIU G，LIN Z，YAN S，et al.Robust recovery of subspace structures by low-rank representation[J].Pattern Analysis and Machine Intelligence，2013，35(1)：171-184.

[9]WRIGHT J，GANESH A，RAO S，et al.Robust principal component analysis:Exact recovery of corrupted low-rank matrices via convex optimization[C].Neural Information Processing Systems，2009.

A face recognition algorithm based on improved RPCA

Shou Zhaoyu，Yang Xiaofan，Mo Jianwen
（School of Electronic and Technology，Guilin University of Electronic Technology，Guilin 541004，China）

Aiming at the problems of occlusion,illumination and expression variations exist in the face recognition,a face recognition algorithm based on improved RPCA is proposed in this paper.It is based on the face of sparse error component to accurately determine the differences between face images.Firstly,the low-rank and sparse error component are obtained by low-rank recovery.Then the sparse peace sliding between two descriptors are defined to represent the characteristics of sparse error component.At last,the descriptions of the character of face images are combined to classify.The experimental results show that in illumination conditions and occluded areas random case,the proposed error image classify algorithm has superior recognition performance in dealing with face recognition problem such as occlusion,illumination,facial expression changes and so on.

face recognition；low-rank recovery；error image；sparsity；smoothness

TP391.41

A

10.16157/j.issn.0258-7998.2015.09.043

廣西自然科學基金項目（2014GXNSFDA118035）；桂林電子科技大學研究生科研創(chuàng)新項目（YJCXS201531）

2015-05-25)

首照宇（1974-），男，碩士，副研究員，主要研究方向：圖像處理與模式識別。

楊曉帆（1992-），通信作者，女，碩士研究生，主要研究方向：圖像處理，E-mail：clairef@qq.com。

莫建文（1972-），男，博士，副教授，主要研究方向：圖像處理與模式識別。

中文引用格式：首照宇，楊曉帆，莫建文.基于改進的RPCA人臉識別算法[J].電子技術(shù)應(yīng)用，2015，41(9)：157-160.

英文引用格式：Shou Zhaoyu，Yang Xiaofan，Mo Jianwen.A face recognition algorithm based on improved RPCA[J].Application of Electronic Technique，2015，41(9)：157-160.