一種基于稀疏表達和神經(jīng)網(wǎng)絡的人臉識別算法

祁彥慶　汪烈軍　吳生武

(新疆大學信息科學與工程學院　新疆 烏魯木齊 830046)

?

一種基于稀疏表達和神經(jīng)網(wǎng)絡的人臉識別算法

祁彥慶汪烈軍*吳生武

(新疆大學信息科學與工程學院新疆 烏魯木齊 830046)

傳統(tǒng)的基于神經(jīng)網(wǎng)絡的人臉識別算法直接從灰度空間獲取人臉圖像數(shù)據(jù)，其中含有大量的噪聲和冗余信息，降低了識別率且延長了識別時間。提出一種基于稀疏表達和神經(jīng)網(wǎng)絡的人臉識別算法：首先通過KSVD算法將樣本變換至稀疏空間，然后運用LDA算法將稀疏編碼變換至子空間，最后輸至RBF神經(jīng)網(wǎng)絡進行分類。在ORL和Yale人臉庫上的實驗結(jié)果表明，該算法比其他算法具有更高的識別率和更快的識別速度，且具有較強的魯棒性和泛化能力。

人臉識別KSVD稀疏空間LDARBF神經(jīng)網(wǎng)絡

0　引　言

當今社會亟需高效、快捷和可靠的識別技術(shù)，人臉識別技術(shù)由于其非接觸式的特點而優(yōu)于其他生物識別技術(shù)?；赑CA[1]、2DPCA[2]、LDA[3]和ANN[4]等經(jīng)典有效的人臉識別方法已經(jīng)被許多學者提出，其中文獻[5]提出的LDA+RBF算法提高了人臉識別率。該算法運用LDA進行特征提取，然后通過RBF網(wǎng)絡進行分類；但其并未考慮選擇合適的圖像源表達方式，直接從灰度空間提取數(shù)據(jù)，其中含有大量的噪聲和冗余信息，從而降低了識別率并延長了識別時間。其實，這些傳統(tǒng)的方法均采用特征提取和分類的兩步驟方案，本文考慮在其之前加一步驟：選擇表達人臉的空間域。一些變換公式可以將圖像從灰度空間變換到頻域空間，例如傅立葉變換、小波變換等，但這些方法用于人臉識別效果并不理想，因為它們不能除去噪聲和冗余信息。

受壓縮感知[6]理論的啟發(fā), 基于稀疏表達的人臉識別方法受到很多關(guān)注[7-10]。該方法使用訓練樣本建立一個字典(變換陣)，假設測試樣本均可通過訓練樣本的線性疊加表示，然后通過重建誤差對人臉圖像進行分類[11]。在這里，“稀疏”是指當人臉圖像樣本通過字典等從灰度域變換到稀疏域后，樣本的許多系數(shù)都等于0。Huang等[12]提出了使用KSVD 算法去訓練字典的方法, 該算法選擇具有較大貢獻的系數(shù)去優(yōu)化字典。在稀疏空間中，許多噪聲和冗余信息被剔除,有利于分類的信息被保留。圖1為人臉圖像稀疏變換示意圖，y為樣本的向量表示, yr是通過字典D和稀疏向量x重建獲得的人臉圖像。稀疏變換準則允許存在一定的誤差, 在稀疏向量x滿足一定稀疏度的情況下，通過循環(huán)迭代得到優(yōu)化的字典D和x最優(yōu)解。重建圖像yr與原圖像y表示同一個人的人臉圖像，所以用yr代替y可得到一樣的分類結(jié)果。x為重建圖像yr在稀疏空間的表達，可作為分類的數(shù)據(jù)源；但直接輸入分類系統(tǒng)，效果并不理想，需要對其先做特征提取。

圖1　人臉圖像稀疏變換示意圖

圖2　人臉識別系統(tǒng)

本文提出了一種新的人臉識別算法，使得識別率明顯提高。在訓練階段，首先將訓練樣本Ym×n通過KSVD算法得到過完備字典Dm×k以及Ym×n在稀疏域的表達Xk×n；然后采用線性判別準則(LDA)將Xk×n變換為子空間的矩陣Vl×n(l<

1　本文算法原理

1.1稀疏表達及KSVD算法

一般地，單張人臉可以寫成：

y=Dx

(1)

即：

x=D-1y

(2)

式中，x為稀疏域中人臉圖像向量表示,它可通過完備字典D獲取,D∈Rm×n, x∈Rn×l, n>m。y為人臉圖像在灰度空間的向量表示。由于噪聲和計算時間的影響，很難獲得精確的x，上述方程可改寫為更為一般的形式：

x≈D-1y,subject to‖x-D-1y‖p≤ξ

(3)

在lp范數(shù)中p=1,2,…,設定 p=2(歐氏距離)來計算距離。因為n>m,所以該方程組是欠定的，x的解有無數(shù)多個, 所以需要選擇一個目標函數(shù)去約束稀疏解x:

min‖x‖1subject to‖x-D-1y‖2≤ξ

(4)

為獲得較為理想的稀疏編碼，本文選擇KSVD[13,14]自適應字典學習算法去獲得稀疏編碼, 在當前詞典的基礎上通過循環(huán)迭代新訓練樣本的稀疏編碼來更新字典原子。

KSVD算法需要足夠的訓練數(shù)據(jù)。二維人臉圖像經(jīng)常被拉伸為向量來表示。假設有足夠的訓練樣本Y∈Rm×n, yi∈Rm×1是每個訓練樣本的向量形式，Y=[y1,y2,…,yi,…,yn],n為樣本個數(shù)。

KSVD通過迭代得出的D∈Rm×n和系數(shù)X∈Rn×l滿足：

(5)

其中i=1,2,…,n。T0是一個給定的足夠小的數(shù)。每次迭代只更新字典D的某一列是KSVD算法特點之一。假設系數(shù)X和字典D是確定的, 若更新第k列dk,則目標函數(shù)可改寫為:

(6)

上述表達式中，DX被分解成n個列向量的形式,其中(n-1)列不變, 只更新第k列，矩陣Ek表示除第k列以外的部分引起的誤差。在合適的字典和稀疏參數(shù)設置條件下，KSVD算法能夠保證整體誤差單調(diào)遞減。

1.2線性判別準則

將樣本Y稀疏變換為X后，為獲得更好的分類效果，本文采用LDA算法[15]為X尋找一個子空間。設c類人共有qi張人臉,通過類均值mi和總均值mo獲得的類間散射矩陣Sb和類內(nèi)散射矩陣Sw可寫為：

(7)

(8)

(9)

(10)

LDA算法的優(yōu)越之處有如下三點：

1) 減少稀疏編碼X的噪聲；

2) 提高計算效率；

3) 緩解Sw奇異問題的復雜性。

使用LDA算法創(chuàng)建一個新的子空間后，通過Fisher線性判別準則可得到：

(11)

事實上,Wopt=[W1,W2,…,WM]是Sb×Sw-1的特征向量對應的前M個最大特征值。由于至多有(c-1)個廣義非零特征值，所以LDA創(chuàng)建的子空間的尺寸不能大于(c-1)。例如有40名測試者，則LDA子空間矩陣尺寸最大為39。

1.3RBF神經(jīng)網(wǎng)絡

RBF網(wǎng)絡已被廣泛地用于函數(shù)逼近和模式識別，神經(jīng)元網(wǎng)絡的局部調(diào)節(jié)功能使得該算法具有優(yōu)秀的逼近性質(zhì)和非常快的學習速度[16,17]。

RBF網(wǎng)絡可以被描述為一個映射:Vr→Vs。設P∈Vr為輸入向量且Ci∈Vr(1≤i≤u)為輸入向量的原型。每個RBF單元的輸出為：

Vi(P)=Vi(‖P-Ci‖)i=1,2,…,u

(12)

其中‖·‖表示輸入空間的歐氏距離。通常高斯函數(shù)具有可分解的優(yōu)點，所以在所有可能的徑向基函數(shù)中是優(yōu)先選擇，故：

(13)

其中，σi是第i個徑向基單元的寬度。一個RBF的第j個輸出yi(P)為：

(14)

其中，w(j,i)是第i個感受野到第j個輸出的權(quán)重。

本文實驗中，權(quán)值w(j,i)、隱含層Ci和高斯核函數(shù)σi的模型參數(shù)通過GA算法優(yōu)化，并結(jié)合線性最小二乘法(LLS)進行梯度調(diào)整。優(yōu)化步驟如下：

1) 初始化種群：設定初始群體大小為G，進化代數(shù)為Size，將w(j,i)、Ci和σi轉(zhuǎn)化為10 bit的二進制編碼。編碼越長則精度越高，但會擴大遺傳算法的搜索空間。

2) 設定適應度函數(shù): 該函數(shù)表明個體解的優(yōu)劣，值越大則該個體遺傳到下一代的概率就越大。本文將LDA算法提取的特征向量P作為輸入，預測 yi(P)，在n個樣本的情況下，設定預測值與期望值的差值平方和倒數(shù)作為適應度函數(shù)：

(15)

3) 篩選:采用輪盤賭法從種群中選擇適應度好的個體組成新種群并作為父代繁殖下一代。

4) 交叉和變異: 隨機產(chǎn)生一個交叉點位置，使用單點交叉算子將任意挑選的兩個體按照交叉概率Pc進行部分基因交換；采用基本位變異法，通過變異概率Pm指定變異點，利用取反運算產(chǎn)生新一代個體。

5) 終止判斷:若t≤Size，執(zhí)行 t←t+1，轉(zhuǎn)至步驟2)，否則將所得最大適應度個體作為最優(yōu)解輸出并終止運算。

2　實驗結(jié)果與分析

本文使用ORL和Yale人臉庫進行實驗：ORL人臉庫有40個人的400張人臉圖像，圖像是在實驗室中對各種姿勢捕捉、裁剪并標準化為92×112而得來的；Yale人臉庫含有15個人的165張人臉圖像，所有樣本在不同的面部表情和照明條件下進行標準化并裁剪成100×80的灰度圖像。所有實驗用圖像均被采樣成37×30的灰度圖像。除算法的泛化能力研究之外，其他實驗均采用每人5張為訓練樣本，其余為測試樣本的方案。實驗使用的仿真軟件是Matlab 7.1，運行環(huán)境為英特爾酷睿雙核3.00 GHz，32位Windows 7系統(tǒng)。圖3、圖4為ORL、Yale人臉庫的部分圖像。

圖3　ORL人臉庫的部分圖像

圖4　Yale人臉庫的部分圖像

2.1KSVD算法分析

首先研究編碼X的稀疏項數(shù)對識別率的影響。在KSVD字典學習過程中，稀疏項數(shù)設定過小會造成學習誤差過大，反之會大幅延長學習時間，因此本文選擇稀疏項數(shù)為8至30進行實驗，結(jié)果如圖5所示。

圖5　編碼X的稀疏項數(shù)與識別率的關(guān)系圖

由圖5可知：算法在ORL人臉庫上最佳稀疏項數(shù)為12，在Yale人臉庫上最佳稀疏項數(shù)為20。當稀疏項數(shù)遠離最佳稀疏項數(shù)時，識別率會越來越低，且稀疏項數(shù)低于最佳項數(shù)時，識別率均降低得更快。

其次，本文研究在最佳稀疏項數(shù)的情況下KSVD字典學習誤差與迭代次數(shù)的關(guān)系，結(jié)果如圖6所示。

圖6　KSVD字典學習誤差與迭代次數(shù)的關(guān)系

由圖6可知：隨著迭代次數(shù)的增加，KSVD字典學習誤差單調(diào)遞減，且隨著迭代次數(shù)的增大，誤差減小得越來越慢并趨近一個定值。

2.2迭代次數(shù)與識別率的關(guān)系

關(guān)于RBF網(wǎng)絡算法迭代次數(shù)對識別率的影響，本文分別選擇10，20，…，60次循環(huán)迭代測試識別率，結(jié)果如表1所示。

表1　迭代次數(shù)與識別率的關(guān)系

表1顯示，隨迭代次數(shù)的增加，識別率有所提高但影響不大。這表明本文算法在循環(huán)迭代10次左右后，已基本達到目標函數(shù)的誤差要求范圍之內(nèi)。

2.3算法對比

將本文算法和其他算法進行識別率和運算時間的對比，本文提出的KSVD+LDA+RBF算法比LDA+RBF[5]、 PCA+LDA+RBF[16]和SRC[11]更具優(yōu)越性，結(jié)果如表2所示(a：LDA+RBF, b：PCA+LDA+RBF, c：SRC, d：本文算法)。

表2　算法識別率、運算時間對比

表2顯示，本文算法比其他算法具有更高的識別率?；贠RL人臉庫的實驗結(jié)果表明本文算法可以克服姿勢的干擾，這是稀疏表達的優(yōu)點?；赮ale人臉庫的實驗結(jié)果表明該算法可以克服表情變化和光照的影響。同時該算法比其他算法具有更快的識別速度，但訓練時間較長。

2.4魯棒性和泛化能力的研究

針對算法的魯棒性研究，本文對ORL、Yale人臉庫圖像做以下處理：加入一定的白噪聲，增加灰度值來模擬光照，使圖像局部灰度值減為0以模擬面部遮擋，效果如圖7所示。

圖7　受白噪聲、光照、部分遮擋干擾的人臉圖像

將2.3節(jié)的四種算法進行實驗對比，結(jié)果如表3所示。

表3　擾動下的識別率對比

由表3可知，本文算法在白噪聲和光照的干擾下仍具有最高的識別率，魯棒性最強。在部分遮擋下，識別率次于SRC算法，具有較為優(yōu)良的魯棒性。

其次，采用K折交叉驗證法測試算法的泛化能力。實驗中設定K=5，步驟如下：

1) 將人臉庫分成5個子集：ORL人臉庫每人有10張圖像，則每個集合每人含2張；Yale人臉庫每人有11張圖像，設定前4個集合每人含2張，第5個集合每人含3張。

2) 每個子集均做一次測試集，其余的作為訓練集。交叉驗證重復5次，最后將5次識別率的均值作為結(jié)果。

根據(jù)上述步驟將2.3節(jié)的四種算法進行實驗對比，結(jié)果如表4所示。

表4　采用K折交叉驗證法下的識別率對比

由表4可知，本文算法也具有較為優(yōu)秀的泛化能力。

3　結(jié)　語

本文提出了一種新的人臉識別方法：在訓練階段，首先通過KSVD算法將訓練樣本從灰度域變換至稀疏域，然后運用LDA算法對稀疏編碼進行降維，最后輸至RBF神經(jīng)網(wǎng)絡進行分類訓練。在測試階段，利用已訓練的字典將測試樣本從灰度域變換至稀疏域，然后采用LDA算法處理稀疏編碼，最后輸入已訓練的RBF網(wǎng)絡完成分類。

實驗表明本文方法是有效的，比其他算法具有更高的識別率和更快的識別時間，具有較強的魯棒性和泛化能力；但需要較長的訓練時間。在今后的工作中，我們將進一步嘗試優(yōu)化訓練字典的算法。

[1] Grudin M A.On internal representations in face recognition systems[J].Pattern recognition,2000,33(7):1161-1177.

[2] Yang J,Zhang D,Frangi A F,et al.Two-dimensional PCA:a new approach to appearance-based face representation and recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2004,26(1):131-137.

[3] Lotlikar R,Kothari R.Fractional-step dimensionality reduction[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2000,22(6):623-627.

[4] Er M J,Wu S Q,Lu J W,et al.Face recognition with radial basis function (RBF) neural networks[J].Neural Networks,IEEE Transactions on,2002,13(3):697-710.

[5] Reddy K R L,Babu G R,Kishore L.Face recognition based on Eigen features of multi scaled face components and an artificial neural network[J].Procedia computer science,2010,2(3):62-74.

[6] Donoho D L.Compressed sensing[J].Information Theory,IEEE Transactions on,2006,52(4):1289-1306.

[7] Thavalengal S,Mandal S,Sao A K.Significance of dictionary for sparse coding based pose invariant face recognition[C]//Communications (NCC),2014 Twentieth National Conference on.IEEE,2014:1-5.

[8] Guthier T,Willert V,Eggert J.Topological sparse learning of dynamic form patterns[J].Neural Computation,2014,27(1):42-73.

[9] Wen Y D,Xiang Y J,Fu Y L.A joint classification approach via sparse representation for face recognition[C]//Signal Processing (ICSP),2014:1387-1391.

[10] Mouraāo A,Borges P,Correia N,et al.Sparse reconstruction of facial expressions with localized gabor moments[C]//2014 Proceedings of the 22nd European Signal Processing Conference (EUSIPCO).IEEE,2014:1642-1646.

[11] Wright J,Ma Y,Mairal J,et al.Sparse representation for computer vision and pattern recognition[J].Proceedings of the IEEE,2010,98(6):1031-1044.

[12] Huang W,Wang X H,Jin Z.Face Recognition with Single Training Sample per Person Using Sparse Representation[C]//Robot,Vision and Signal Processing (RVSP),2013 Second International Conference on.IEEE,2013:84-88.

[13] Zhang Q,Li B X.Discriminative K-SVD for dictionary learning in face recognition[C]//Computer Vision and Pattern Recognition (CVPR),2010 IEEE Conference on.IEEE,2010:2691-2698.

[14] Rubinstein R,Zibulevsky M,Elad M.Efficient implementation of the K-SVD algorithm using batch orthogonal matching pursuit[J].Technical Report,2008,40(8):1-15.

[15] Jelsovka D,Hudec R,Breznan M.Face recognition on FERET face database using LDA and CCA methods[C]//Telecommunications and Signal Processing (TSP),2011 34th International Conference on.IEEE,2011:570-574.

[16] Jondhale K C,Waghmare L M.Improvement in PCA performance using FLD and RBF Neural Networks for Face Recognition[C]//Emerging Trends in Engineering and Technology (ICETET),2010 3rd International Conference on.IEEE,2010:500-505.

[17] Song M L,Tao D C,Huang X Q,et al.Three-dimensional face reconstruction from a single image by a coupled RBF network[J].Image Processing,IEEE Transactions on,2012,21(5):2887-2897.

A FACE RECOGNITION ALGORITHM BASED ON SPARSE EXPRESSION AND NEURAL NETWORK

Qi YanqingWang Liejun*Wu Shengwu

(SchoolofInformationScienceandEngineering,XinjiangUniversity,Urumqi830046,Xinjiang,China)

Traditional neural network-based face recognition algorithm obtains face image data directly from gray space. It contains a lot of noise and redundant information and reduces recognition rate as well as extends recognition time. This paper presents a new face recognition method, which is based on sparse expression and neural networks. First, it transforms training samples into sparse space by KSVD algorithm, then it operates LDA algorithm to transform these sparse codes into subspace, finally they are inputted to RBF neural network for classification. The results of experiments on ORL and Yale face databases show that the proposed algorithm has higher recognition rate and faster recognition speed than other algorithms, and has strong robustness and generalisation ability as well.

Face recognitionKSVDSparse transformationLDARBF neural network

2015-06-30。國家自然科學基金項目(61471311)。祁彥慶，碩士生，主研領(lǐng)域：圖像處理，人臉識別。汪烈軍，教授。吳生武，副教授。

TP3

A

10.3969/j.issn.1000-386x.2016.10.038