基于稀疏表示與特征融合的人臉識別方法

木立生 呂迎春

摘 要： 針對人臉識別在有遮擋、表情、光照的變化或受到噪聲污染時魯棒性變差問題，提出一種基于稀疏表示與特征融合的人臉識別算法。首先采用低秩恢復(fù)算法得到訓(xùn)練樣本和測試樣本的干凈人臉圖像，提取干凈人臉圖像的LBP，HOG，Gabor三種特征向量;然后對部分訓(xùn)練樣本進行SRC分類測試，根據(jù)SRC的識別結(jié)果與分類殘差定義一個損失函數(shù)，再利用正則化最小二乘法計算出使損失函數(shù)最小的權(quán)重向量;最后根據(jù)該權(quán)重向量重構(gòu)規(guī)則化殘差進行分類。在ORL，Extended Yale B和AR數(shù)據(jù)庫上進行實驗，結(jié)果表明，該算法優(yōu)于利用單一特征識別的方法，并且對光照、噪聲、遮擋等因素產(chǎn)生的影響有較好的泛化性能。

關(guān)鍵詞： 人臉識別; 稀疏表示; 低秩恢復(fù); 特征融合; 魯棒性; 泛化性能

中圖分類號： TN911.73?34; TP391.41 文獻標識碼： A 文章編號： 1004?373X（2018）09?0083?04

Abstract： Since the robustness of face recognition becomes worse due to the changes of sheltering， expression and illumination， or noise pollution， a face recognition algorithm based on sparse representation and feature fusion is proposed. The low?rank recovery algorithm is used to get the clean face images of training samples and test samples， and their feature vectors （LBP， HOG， Gabor） are extracted. The SRC classification test was performed for some training samples. A loss function is defined according to the recognition result and classification residual of the SRC. The regularization least?square method is used to calculate the weight vector with minimum loss function， according to which the regularization residual is reconstructed for classification. The experiment of the method was performed on ORL， Extended Yale B and AR databases. The results show that the algorithm is superior to the single feature recognition method， and has better generalization performance on the influence of illumination， noise and sheltering.

Keywords： face recognition; sparse representation; low?rank recovery; feature fusion; robustness; generalization performance

0 引 言

隨著壓縮感知編碼理論的提出，基于稀疏編碼[1]模型（SRC）的人臉識別技術(shù)引起國內(nèi)外眾多研究者的廣泛關(guān)注[2?5]。在SRC中，測試圖像被編碼為訓(xùn)練樣本的稀疏線性組合，再通過求解[l1]范數(shù)最優(yōu)化問題得出其最稀疏解，該方法在實際應(yīng)用中取得了良好的效果。但是SRC中誤差矩陣為單位陣，對樣本中誤差和噪聲的描述并不準確。文獻[6]提出一種低秩矩陣恢復(fù)算法（LR），該方法將樣本圖像分解為低秩部分和稀疏誤差部分，該算法得到的誤差圖像對樣本中的誤差和噪聲可以準確描述。文獻[7]改進了LR算法，提出一種新的低秩恢復(fù)算法（LRR），該算法在LR算法的基礎(chǔ)上還可以解決樣本來自不同子空間的問題。

但是當人臉面部圖像受到表情、姿態(tài)、光照及噪聲污染等多種因素影響時，僅采用單一特征進行人臉識別，誤識率較高，因此很多學(xué)者開始將多種特征融合用于人臉識別。文獻[8]首先通過小波變換與改進的模塊二維主成分分析（M2DPCA）方法抽取特征，再進行加權(quán)最大散度差鑒別分析（WMSD）得到最終的特征向量，該方法避免了矩陣的奇異值分解。文獻[9]提出使用特征值加權(quán)余弦（EWC）距離方法融合NSCTLBP和Gabor特征的人臉識別方法，提高了識別準確率。文獻[10]提出使用多核學(xué)習(xí)方法將局部和全局特征進行融合，所提方法能夠更好地解決小樣本問題。

為了進一步提高人臉識別在復(fù)雜環(huán)境下的識別準確率，本文引入低秩恢復(fù)算法來分離樣本誤差矩陣，并提出一種基于稀疏表示的多特征融合方法。在不同的人臉庫上進行廣泛實驗來評估所提方法的性能，結(jié)果表明，本文方法優(yōu)于僅利用單一特征識別的方法，并且對光照、噪聲、遮擋等是魯棒的。

1 理論與算法

1.1 稀疏表示分類

稀疏表示分類（SRC）算法包括字典構(gòu)造、稀疏表示、[l1]范數(shù)優(yōu)化和最小殘差計算四大部分。其核心思想是：將測試樣本表示為全部訓(xùn)練樣本的線性組合，尋求對測試樣本最稀疏的表示。

2 多特征融合算法

基于稀疏表示與特征融合的人臉識別方法主要包含低秩恢復(fù)、特征提取、局部SRC分類、權(quán)重向量計算和最終殘差計算五大部分，整體算法流程圖見圖1。

2.1 局部分類識別

訓(xùn)練階段，首先采用低秩恢復(fù)算法對訓(xùn)練樣本集和測試樣本集求得干凈的人臉圖像集[D]和干凈的測試圖像集[y;]然后，提取干凈訓(xùn)練樣本圖像集[D]的LBP，HOG，Gabor三種特征，因各特征向量維數(shù)過高，導(dǎo)致計算量過大，因此使用主成分分析法（PCA）對各特征進行降維處理得到不同維數(shù)的特征向量;再對降維后的各單一類型特征向量進行SRC分類識別，得出各個不同特征對應(yīng)的局部分類結(jié)果和分類殘差，根據(jù)所有局部分類結(jié)果和分類殘差計算權(quán)重向量[W。]

2.2 權(quán)重向量計算

2.3 最終分類識別

識別階段，首先采用低秩恢復(fù)算法對測試樣本集求得干凈的測試圖像集[y;]然后提取干凈圖像集[y]的三種不同類型特征，同樣進行PCA降維處理得到不同維數(shù)的特征向量。假設(shè)共有[T]個識別類別和[v]個局部分類器。對于每個測試樣本，在每個局部分類器下都可以獲取[T]個殘差，記為

具體的算法步驟如下：

1） 輸入：訓(xùn)練樣本矩陣[A]，測試樣本矩陣[B];

2） 采用低秩恢復(fù)算法對訓(xùn)練樣本集求得干凈的人臉圖像集[D，]同樣對測試樣本圖像求得對應(yīng)的低秩圖像向量[y;]

3） 訓(xùn)練階段，對干凈人臉圖像集[D]分別進行LBP，HOG，Gabor特征變換，并降維得到三種特征向量矩陣;

4） 從訓(xùn)練樣本中隨機選取[t]個樣本做SRC局部分類測試，構(gòu)造損失函數(shù)[L（S）];

5） 利用正則化最小二乘法求出能使損失函數(shù)[L（S）]降到最小的特征權(quán)重向量[W;]

6） 識別階段，對干凈測試樣本向量[y]分別進行LBP，HOG，Gabor特征變換，并降維得到三種特征向量矩陣;

7） 結(jié)合權(quán)重向量[W]重構(gòu)規(guī)則化殘差[Ri];

8） 輸出：[i=argminiRi]。

3 實驗與分析

為了評估本文提出的多特征融合算法的性能，本文在多個人臉數(shù)據(jù)庫上進行了實驗，共分為4個部分：光照、表情變化實驗，在AR和Extended Yale B人臉庫上進行;姿態(tài)偏轉(zhuǎn)實驗，在ORL人臉庫上進行;偽裝實驗，在AR人臉庫上進行;噪聲變化實驗，在Extended Yale B人臉庫上進行。通過與單特征+SRC識別算法進行比較，驗證了本文算法的性能。

3.1 光照、表情變化實驗

1） AR人臉庫實驗

AR人臉數(shù)據(jù)庫包含1 400張含不同光照、表情變化的面部圖像，共100類，每類14張。選取每類樣本的前7幅圖像共700張作為訓(xùn)練樣本，其余的作為測試樣本。由于提取的特征向量維度較大，對其進行PCA降維后再進行SRC識別，分別對四種算法在不同特征維數(shù)下的識別率進行比較，結(jié)果見表1。

2） Extended Yale B人臉庫實驗

Extended Yale B人臉數(shù)據(jù)庫包含多表情、多光照的2 414幅人臉圖像，包含38類，每類64幅。根據(jù)光照方向與強度的不同，將Yale B人臉圖像庫分為5個集合，集合1為每類人臉7幅正面光照下的圖像，共266張。集合2和集合3分別包括每類人臉12幅輕度至中度光照變化的圖像。集合4包括每類人臉14張劇烈光照條件下的圖像，共532張。集合5包括每類人臉19張劇烈光照條件變化下的圖像，共722張。本實驗分別選取集合1、集合3和集合4作為訓(xùn)練樣本集，選取集合2作為測試樣本集，分別比較不同光照變化下本文算法與其他幾種算法的識別率，結(jié)果見表2。

由表1，表2可看出，本文算法在不同光照、表情變化下都取得了最好的識別效果，隨著光照條件的惡化，其他三種單特征算法的識別率都下降得很快，但本文算法在劇烈光照變化時，仍能保持73.42%的識別率。

3.2 姿態(tài)偏轉(zhuǎn)實驗

ORL人臉庫包括40個志愿者的400幅面部圖像，包含姿態(tài)偏轉(zhuǎn)、表情變化等不同條件下的人臉圖像。選取每類人臉的前5幅作為訓(xùn)練樣本，其余的作為測試樣本。分別對每種算法在特征維數(shù)為100，200，300時進行實驗并比較識別率，結(jié)果見表3。由表3可以發(fā)現(xiàn)，在不同特征維數(shù)下，本文算法的識別率比其他三種單特征分類算法的識別率平均要高8%。

3.3 偽裝實驗

實驗選取AR人臉庫中的50個男性和50個女性共100個目標，選取每個目標的8張不同表情變化圖像共800張作為訓(xùn)練樣本集，每個目標再分別選取兩張墨鏡偽裝和兩張圍巾偽裝共400張圖像作為測試集，部分偽裝圖像如圖2所示。不同維數(shù)下，各個算法在AR人臉庫偽裝實驗的識別率見表4?？梢钥闯瞿疚乃惴ㄔ谟袀窝b情況下識別率遠高于其他三種識別方法。

3.4 噪聲變化實驗

本實驗主要比較人臉圖像在受到噪聲影響的情況下算法的識別性能。以分組的方式將Yale B人臉庫分為5個集合，本實驗中將集合1與集合3共722張圖像作為訓(xùn)練樣本集，集合2共456幅圖像作為測試樣本，對集合2添加20%～60%的椒鹽噪聲。圖3為Yale B人臉庫中的一幅圖像添加不同程度噪聲的示例。圖4為對測試樣本添加不同比例噪聲時各算法識別率比較。

由圖4可以看出，本文算法在樣本受到噪聲污染程度不斷增加時，識別率下降較慢，在污染比例達到60%時，仍達到73.5%的識別率。三種單特征識別算法中，Gabor特征抗噪能力最強，LBP特征最弱。