基于低秩矩陣分解和協(xié)作表示的人臉圖像分類

陰亞芳， 李 倩， 廖延娜

(1. 西安郵電大學(xué) 電子工程學(xué)院， 陜西 西安 710121； 2. 西安郵電大學(xué) 理學(xué)院， 陜西 西安 710121)

基于低秩矩陣分解和協(xié)作表示的人臉圖像分類

陰亞芳1， 李 倩1， 廖延娜2

(1. 西安郵電大學(xué) 電子工程學(xué)院， 陜西 西安 710121； 2. 西安郵電大學(xué) 理學(xué)院， 陜西 西安 710121)

為了降低干擾因素對人臉識別準(zhǔn)確率的影響，提出一種基于低秩矩陣分解和協(xié)作表示的人臉圖像分類算法。針對噪聲陰影影響,使用魯棒主分量分析(RPCA)對人臉數(shù)據(jù)進(jìn)行低秩矩陣分解，去除干擾，得到較為干凈的人臉圖像。通過協(xié)作表示分類方法對經(jīng)RPCA處理后的低秩分量圖像進(jìn)行分類，通過歸一化的最小重構(gòu)誤差來判定測試樣本的具體類標(biāo)。在3個(gè)人臉數(shù)據(jù)集上對算法性能進(jìn)行仿真測試，結(jié)果表明，該算法在10%到50%的標(biāo)記率下較其他算法均能提升分類識別率。

低秩矩陣分解；協(xié)作表示；分類；監(jiān)督學(xué)習(xí)；人臉識別

噪聲，光照不均衡產(chǎn)生的陰影以及不同的姿態(tài)都對人臉識別算法的性能有著重要影響，因?yàn)樗惴ǖ聂敯粜砸苍谝欢ǔ潭壬弦蕾囉谌四槇D像的質(zhì)量。低質(zhì)量的人臉圖像對于后續(xù)處理提出了巨大的挑戰(zhàn)。基于haar小波的人臉圖像去噪算法[1]和基于小波變換和去噪模型的光照不變?nèi)四樧R別算法[2]取得了較好效果，然而，這些算法都是在單獨(dú)樣本上進(jìn)行圖像去噪和分類識別，并沒有考慮樣本之間的相似性，從而在一定程度上限制了算法的性能。

在人臉識別過程中，樣本的表示以及分類器的選擇對于最終的識別效果起著關(guān)鍵性的作用?；谙∈璞硎镜姆诸愃惴?Sparse Representation based Classifier，SRC)[3]假設(shè)樣本之間可以線性表示，通過最小重構(gòu)誤差來確定最終測試樣本類別,該思想也被廣泛應(yīng)用與圖像去噪[4]、超分辨[5]、運(yùn)動跟蹤[6]、遙感影像分類[7]和圖像快速重構(gòu)[8]，但是SRC運(yùn)算量大，耗時(shí)較長?；诙喾诸惼魅诤喜呗缘娜四樧R別算法[9]原理與SRC類似?；趨f(xié)作表示的人臉分類算法(Collaborative Representation based Classifier，CRC)[10]充分考慮了數(shù)據(jù)表示間的協(xié)作性，實(shí)驗(yàn)效果好且計(jì)算代價(jià)小，不過該算法是基于原始數(shù)據(jù)樣本進(jìn)行的實(shí)驗(yàn)，而人臉數(shù)據(jù)的質(zhì)量會直接影響著算法的性能。

綜合考慮現(xiàn)有算法存在的問題，本文擬將魯棒主分量分析(Robust Principle Component Analysis，RPCA)算法[11]與CRC算法相結(jié)合，給出一種基于低秩矩陣分解和協(xié)作表示的分類算法,即魯棒主成分分析協(xié)作表示分類算法(Robust principle component analysis based Collaborative Representation Classification, RCRC)，來進(jìn)一步提升分類性能,并通過實(shí)驗(yàn)加以檢驗(yàn)。

1 基本理論

1.1 魯棒主分量分析

魯棒主分量分析算法給出了低秩矩陣分解的模型[11]

(1)

其中

X=(x1,x2,…,xn),A=(a1,a2,…,an),E=(e1,e2,…,en),

分別表示具體得到的人臉數(shù)據(jù)，數(shù)據(jù)中的低秩分量和數(shù)據(jù)中的稀疏噪聲項(xiàng)。m為數(shù)據(jù)維數(shù)，每一個(gè)樣本都是一個(gè)列向量。n為樣本個(gè)數(shù)。由于數(shù)據(jù)樣本之間的相關(guān)性，所觀測到的實(shí)際數(shù)據(jù)具有明顯的低秩性質(zhì)，即其他樣本可以用少量的樣本集來線性表示，從而整體數(shù)據(jù)的秩會降低。基于這樣一種觀察和假設(shè)，可以對數(shù)據(jù)進(jìn)行分解，得到其低秩部分，也就是所有數(shù)據(jù)的公共部分，得到的E也就是數(shù)據(jù)之間的差異部分，即噪聲陰影類干擾，其具有稀疏性質(zhì)。

由于秩函數(shù)的離散性，上述優(yōu)化問題可松弛為

(2)

(3)

上述優(yōu)化函數(shù)可以通過交替的求解變量A和E進(jìn)行求解，具體求解過程可以參考文獻(xiàn)[12]。

通過求解上述優(yōu)化問題，可以得到數(shù)據(jù)的低秩部分A和稀疏E，低秩部分A將作為后續(xù)分類的原始數(shù)據(jù)。

1.2 基于協(xié)作表示的人臉分類算法

針對圖像分類問題，已有各種分類識別算法被提出。經(jīng)典SRC算法假設(shè),某一個(gè)測試樣本可以通過已知訓(xùn)練集中的標(biāo)記樣本來進(jìn)行線性重構(gòu)，從而表示模型可以表示為線性模型。通過最少標(biāo)記樣本來進(jìn)行線性重構(gòu)，可以得到該測試樣本在給定訓(xùn)練集下的表示系數(shù)。該模型可以寫成最小化有約束的l1范數(shù)。最后通過對每一類的最小重構(gòu)誤差來確定測試樣本的類別。該過程在人臉識別上取得了很好的實(shí)驗(yàn)結(jié)果，然而，求解這樣一個(gè)l1范數(shù)特別耗時(shí)，尤其是當(dāng)訓(xùn)練集數(shù)目很大且樣本維數(shù)較高時(shí)，算法運(yùn)行時(shí)間更大。

針對SRC算法中l(wèi)1范數(shù)求解耗時(shí)這個(gè)問題，文[10]提出在人臉識別中，并不一定要求能求解的系數(shù)是稀疏的，即并不一定要用最少的訓(xùn)練樣本去表示一個(gè)測試樣本，從而提出了基于l2范數(shù)優(yōu)化的人臉識別方法。

CRC模型可以表示為[10]

(4)

其中D是給定的訓(xùn)練樣本集，α表示系數(shù)向量，λ是調(diào)節(jié)參數(shù)。通過求解上述優(yōu)化問題可以得到表示系數(shù)α，最后可以通過歸一化的最小重構(gòu)誤差來確定測試樣本y的類標(biāo)

(5)

其中M是類別數(shù)目，該歸一化能在一定程度上帶來判別信息。由于上述優(yōu)化具有解析解，從而算法運(yùn)行時(shí)間較短。

2 新算法

在RPCA算法中，所有樣本都是列向量，通過全局性優(yōu)化，將所有樣本聯(lián)合在一起處理，可以利用所有樣本間的相似性來得到數(shù)據(jù)的低秩部分，即公共部分，從而也就能夠得到數(shù)據(jù)之間的差異部分，即噪聲。這樣一種處理方式能夠得到更為干凈的人臉圖像，其受噪聲、陰影和姿態(tài)的影響較小，從而在一定程度上得到了更好的源數(shù)據(jù)，對于算法性能的提升有一定的輔助作用。

考慮將通過RPCA所得到的低秩部分的數(shù)據(jù)作為后續(xù)分類的原始數(shù)據(jù)，實(shí)驗(yàn)結(jié)果可以說明該預(yù)處理的有效性。

在數(shù)據(jù)分類階段，采用原始的CRC框架，給定一個(gè)測試樣本y，通過訓(xùn)練集線性表示為

y=d1α1+d2α2+…+dnαn=(d1,d2,…,dn)(α1,α2,…,αn)T=Dα。

(6)

上式可以拓展為矩陣形式

Y=DΨ,

其中Ψ為所有α組成的矩陣，每一列對應(yīng)一個(gè)樣本的表示系數(shù)。通過這樣一個(gè)矩陣形式的書寫，可以對所有數(shù)據(jù)的表示系數(shù)進(jìn)行整體求解，從而將式(4)改寫為

(7)

由于上式是優(yōu)化問題是關(guān)于變量Ψ的二次凸函數(shù)，所以通過對上式求導(dǎo)且令導(dǎo)數(shù)為0，可以得到Ψ的解析解，即

Ψ=(D′D+λI)-1D′Y,

(8)

其中I為對應(yīng)大小的單位陣。在得到表示矩陣Ψ后，可以直接對測試樣本進(jìn)行分類。相應(yīng)的分類器,即式(5)也可以改寫為

(9)

通過歸一化的每類最小重構(gòu)誤差來確定測試樣本y的類別。

通過這樣一個(gè)具有解析解形式的分類過程，算法在運(yùn)行時(shí)間上得到了很好的保證。從而，基于此所提出的算法框架可在一定程度上兼顧算法穩(wěn)定且運(yùn)行時(shí)間較短的優(yōu)勢。

新算法的框架如圖1所示，主要包括兩大步驟,即通過RPCA的數(shù)據(jù)預(yù)處理和基于CRC框架下的圖像分類。

圖1 RCRC算法原理

3 仿真與分析

在3個(gè)人臉數(shù)據(jù)集YaleB, ORL和AR上對新算法性能進(jìn)行測試與已有算法進(jìn)行對比，為些數(shù)據(jù)集中包含著各種表情、遮擋、噪聲、陰影、姿態(tài)等干擾的人臉圖像。數(shù)據(jù)集YaleB包含640張人臉圖像，數(shù)據(jù)總共有10類，每類64張，原始數(shù)據(jù)維度為1 024。數(shù)據(jù)集ORL包含400張人臉圖像，數(shù)據(jù)總共有40類，每類10張，原始數(shù)據(jù)維度為1 024。數(shù)據(jù)集AR包含1680張人臉圖像，數(shù)據(jù)總共有120類，每類14張，原始數(shù)據(jù)維度為2 000。

將新算法與最近鄰分類器(Nearest Neighbor classifier, NN)、基于半監(jiān)督圖的分類算法(learning with Local and Global Consistency，LGC)[13]以及CRC算法進(jìn)行比較，這是因?yàn)椋篘N是典型的模式識別分類算法；LGC結(jié)合了標(biāo)記樣本和大量無標(biāo)記樣本，屬于半監(jiān)督學(xué)習(xí)領(lǐng)域典型算法，而新算法為有監(jiān)督算法，所以有監(jiān)督和半監(jiān)督算法之間進(jìn)行比較，也能在一定程度驗(yàn)證算法的廣闊性；與CRC相比較是因?yàn)樾滤惴ㄊ腔贑RC框架下的，不同在于新算法結(jié)合了RPCA，兩者之間的比較恰好能說明新算法使用RPCA的作用。

在仿真測試中，分別在不同標(biāo)記率下對各算法的性能進(jìn)行了比較，標(biāo)記率從10%到50%，對每個(gè)算法運(yùn)行10次，計(jì)算其均值和方差。表1至表3分別列出了3個(gè)數(shù)據(jù)集上進(jìn)行仿真的結(jié)果。表中粗體表示的數(shù)據(jù)為當(dāng)前標(biāo)記率下各算法的最好結(jié)果，可見，新算法優(yōu)于其他3種算法。

表1 在YaleB上4種算法的識別率

表2 在ORL上4種算法的識別率

表3 在AR上4種算法的識別率

以在數(shù)據(jù)集YaleB上的運(yùn)行結(jié)果為例，標(biāo)記率從10%提升到50%時(shí)，RCRC的分類性能從91.19%提升到了99.56%，提升幅度為8%，算法的方差也呈減小趨勢，在一定程度上說明了算法在高標(biāo)記率下的穩(wěn)定性。從表1中可以看出，隨著標(biāo)記率的增加，所有算法的性能均得到很大程度的提升，也從另一方面說明了標(biāo)記樣本的多少對于算法分類性能的重要性。在ORL和AR數(shù)據(jù)集上，能夠觀察到同樣的實(shí)驗(yàn)效果和變化趨勢。不難發(fā)現(xiàn)，在數(shù)據(jù)集的數(shù)據(jù)越多的情況下，新算法識別率越好。通過表1至表3可以發(fā)現(xiàn)所提出的算法在所有情況下均取得最好實(shí)驗(yàn)結(jié)果，從而也就說明了所提算法的優(yōu)越性和合理性。

在數(shù)據(jù)集YaleB上，新算法對比其他算法的識別率增量如圖2所示。從圖上不難看出標(biāo)記率從10%到50%，新算法比NN算法、LGC算法及CRC算法的識別率都有增加，在標(biāo)記率是10%的時(shí)候識別率提高的很明顯。在ORL數(shù)據(jù)集和AR數(shù)據(jù)集上也有相類似結(jié)果，從而說明了RPCA預(yù)處理在算法性能提升上的作用，也說明噪聲、陰影、姿態(tài)等干擾的影響得到了有效的降低。

圖2 新算法對比其他算法識別率增量

由于RPCA中的參數(shù)α有理論最優(yōu)值，所以考慮固定其大小。CRC中的參數(shù)λ的值固定為10-4，在新算法中固定λ的值為10-3。實(shí)驗(yàn)效果可證明該參數(shù)設(shè)置的合理性。

分析參數(shù)λ對算法性能的影響。選取數(shù)據(jù)集YaleB進(jìn)行參數(shù)分析。實(shí)驗(yàn)中選取10%的標(biāo)記樣本進(jìn)行測試，參數(shù)λ變化范圍為10-6～10-1。

由圖3可見，在很大范圍內(nèi)(10-6～10-3)，新算法都能獲得很好的實(shí)驗(yàn)結(jié)果，準(zhǔn)確率均在90%以上。當(dāng)參數(shù)大于0.01時(shí)，算法性能會下降，主要是由于參數(shù)取值過大，即對于正則項(xiàng)的懲罰太大，導(dǎo)致算法識別率降低。

圖3 新算法關(guān)于λ在YaleB上的參數(shù)分析

4 結(jié)束語

提出了基于RPCA的協(xié)作表示分類方法CRCR，并在人臉數(shù)據(jù)庫上對其算法性能進(jìn)行了驗(yàn)證。首先，通過RPCA對數(shù)據(jù)進(jìn)行預(yù)處理，去除噪聲陰影姿態(tài)等干擾，然后利用表示系數(shù)間的協(xié)作性得到分類系數(shù)，最后通過每一類的最小重構(gòu)誤差來確定測試樣本的最終類標(biāo)。在數(shù)據(jù)維度較高時(shí)，算法的實(shí)時(shí)性有待提升。新算法是在樣本的原始空間上進(jìn)行分類識別，通過更為魯棒有效的特征提取可在一定程度上提高算法分類性能。

[1] 徐靜云.一種基于haar小波的人臉圖像去噪算法[J].科技信息,2013,26(1): 15-16.

[2] 曹雪,余立功,楊靜宇.基于小波變換和去噪模型的光照不變?nèi)四樧R別[J].計(jì)算機(jī)應(yīng)用,2011,31(8):2126-2129.

[3] Wright J, Yang Allen, Ganesh A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2):210-227.

[4] 何艷敏,甘濤,陳武凡.基于稀疏表示的兩級圖像去噪[J].電子與信息學(xué)報(bào),2012,34(9):2268-2272.

[5] Yang Jianchao, Wright J, Huang T, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing (TIP), 2010, 19 (11):778-781.

[6] Xie Yuan, Zhang Wensheng, Li Cuihua, et al. Discriminative object tracking via sparse representation and online dictionary learning[J]. IEEE Transactions on Cybernetics, 2014, 44(4): 539-553.

[7] Chen Yi, Nasrabadi N M, Tran T D. Hyperspectral image classification using dictionary based sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10):3973-3985.

[8] 王小剛,田小平,吳成茂. 基于壓縮感知的圖像快速重構(gòu)去噪算法[J]. 西安郵電學(xué)院學(xué)報(bào),2012,17(4):11-14.

[9] 陳羽,賴劍煌.基于多分類器融合的人臉識別方法[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版,2006, 45(14):24-27.

[10] Zhang Lei, Yang Meng, Feng Xiangchu. Sparse representation or collaborative representation: which helps face recognition[C]//IEEE International Conference on Computer Vision. Spain Barcelona:IEEE, 2011: 471-478.

[11] Candès E J, Li Xiaodong, Ma Yi, et al. Robust principal component analysis[J]. Journal of the ACM (JAC-M), 2011, 58(3):1101-1127.

[12] Lin Zhouchen,Chen Minming,Ma Yi. The augmentted Lagrange multiplier method for exact recovery of corrupted low-rank matrices[R/OL]. UIUC Technical Report UILU-ENG-09-2214. (2009-10-26)[2014-08-10]. http://www.cad.zju.edu.cn/home/dengcai/Data/FaceData.html.

[13] Zhou Dengyong, Bousquet O, Lai T N, et al. Learning with local and global consistency[C]//Advances in Neural Information Processing Systems. Canada Vancouver: MIT Press,2003:321-328.

[責(zé)任編輯:瑞金]

Face image classification based on low rank matrix decomposition and collaborative representation

YIN Yafang1, LI Qian1, LIAO Yanna2

(1.School of Electronic Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2. School of Science, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

In order to address the problem of low recognition accuracy in the case with strong interference, a new algorithm of face image classification based on low rank matrix decomposition and collaborative representation is proposed in this paper. Firstly, the robust principle component analysis (RPCA) method for low rank matrix decomposition of face data set is used to obtain the clean face images. Secondly, images are classified after RPCA by collaborative representation and the labels of test sample are determined with the normalized minimum reconstruction error. Performance comparisons are done between the new algorithm and classical classification algorithms. Experimental results show that this method can improve the classification accuracy efficiently when the label rate is ranged from 10% to 50%.

low rank matrix decomposition, collaborative representation, classification, supervised learning, face recognition

2014-09-01

陜西省教育廳科學(xué)研究計(jì)劃資助項(xiàng)目(12JK0559)

陰亞芳(1966-)，女，博士，教授，從事數(shù)字信號處理及光通信技術(shù)研究。E-mail:yinyf@xupt.edu.cn 李倩(1989-)，女，碩士研究生，研究方向?yàn)閳D形圖像及視頻處理。E-mail:liqian8902@126.com

10.13682/j.issn.2095-6533.2015.01.014

TP391.4

A

2095-6533(2015)01-0070-05