基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)及其在人臉識(shí)別中的應(yīng)用

張海英，閆德勤，楊 伊，楚永賀

(遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,遼寧 大連 116081)

基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)及其在人臉識(shí)別中的應(yīng)用

張海英，閆德勤，楊 伊，楚永賀

(遼寧師范大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,遼寧 大連 116081)

極端學(xué)習(xí)機(jī)以其快速高效和良好的泛化能力在模式識(shí)別領(lǐng)域得到了廣泛應(yīng)用，然而現(xiàn)有的ELM及其改進(jìn)算法并沒有充分考慮到數(shù)據(jù)維數(shù)對(duì)ELM分類性能和泛化能力的影響，當(dāng)數(shù)據(jù)維數(shù)過高時(shí)包含的冗余屬性及噪音點(diǎn)勢必降低ELM的泛化能力，針對(duì)這一問題提出一種基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)，該算法結(jié)合維數(shù)約減技術(shù)有效消除數(shù)據(jù)冗余屬性及噪聲對(duì)ELM分類性能的影響，為驗(yàn)證所提方法的有效性，實(shí)驗(yàn)使用普遍應(yīng)用的圖像數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明文章所提算法能夠顯著提高ELM的泛化性能。

極端學(xué)習(xí)機(jī)；流形學(xué)習(xí)；維數(shù)約減

0 引言

近來,Huang等人[1-2]在單隱層前饋神經(jīng)網(wǎng)絡(luò)(single-hidden layer feedforward networks, SLFNs)的基礎(chǔ)上提出了極端學(xué)習(xí)機(jī)(extreme learning machine, ELM)，ELM隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)的輸入權(quán)值和偏置值，分析確定輸出權(quán)值，與傳統(tǒng)基于梯度思想的神經(jīng)網(wǎng)絡(luò)算法相比具有更快的求解速度并且避免了陷入局部最優(yōu)解的可能，ELM因其簡單高效在分類和回歸問題中得到了廣泛應(yīng)用，例如將ELM應(yīng)用于不平衡數(shù)據(jù)學(xué)習(xí)[3]，在線連續(xù)數(shù)據(jù)學(xué)習(xí)[4]，噪音及缺失數(shù)據(jù)學(xué)習(xí)[5]，近來ELM被應(yīng)用于特征提取[6]和人臉識(shí)別[7]中，極大地?cái)U(kuò)展了ELM的應(yīng)用領(lǐng)域。

盡管ELM在模式識(shí)別領(lǐng)域得到了廣泛的應(yīng)用，然而目前的ELM及其改進(jìn)算法并沒有充分考慮到數(shù)據(jù)維數(shù)對(duì)ELM分類性能和泛化能力的影響，文獻(xiàn)[8]通過分析指出人臉圖像數(shù)據(jù)包含的冗余屬性及噪聲降低了ELM的泛化能力。為了解決人臉圖像數(shù)據(jù)包含的冗余屬性及噪聲對(duì)ELM的泛化能力的影響，本文提出基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)(MELM)。該算法能夠有效消除數(shù)據(jù)冗余屬性及噪聲，從而提高ELM分類性能。本文的創(chuàng)新可分為兩點(diǎn)：1)將流形學(xué)習(xí)的理論與ELM結(jié)合起來，提高人臉識(shí)別的識(shí)別率和識(shí)別速度；2)將數(shù)據(jù)的判別信息引入到局部保持投影(locality preserving projections, LPP)[9]算法中提出一種局部保持判別投影算法(locality preserving discriminant projections, LPDP)。通過在普遍應(yīng)用的圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文所提出的算法能夠顯著提高ELM的分類準(zhǔn)確率。

1 基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)

1.1 ELM算法

對(duì)于N個(gè)不同的樣本(xj,tj)可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm，具有L個(gè)隱層節(jié)點(diǎn)激活函數(shù)為g(x)的ELM模型如下形式:

(1)

其中:j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個(gè)隱層節(jié)點(diǎn)與輸入節(jié)點(diǎn)的輸入權(quán)值向量，βi=(βi1,βi2,…,βim)為連接第i個(gè)隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的輸出權(quán)值向量，bi為第i個(gè)隱層節(jié)點(diǎn)的偏置值，ai·xj表示ai和xj的內(nèi)積，tj=(tj1,tj2,…,tjm)T∈Rm為對(duì)應(yīng)于樣本xj的期望輸出向量，對(duì)所有數(shù)據(jù)樣本進(jìn)行整合，式(1)可以改寫為如下形式：

Hβ=T

(2)

其中:H是網(wǎng)絡(luò)隱層節(jié)點(diǎn)輸出矩陣，β為輸出權(quán)值矩陣，T為期望輸出矩陣：

(3)

(4)

當(dāng)隱層節(jié)點(diǎn)個(gè)數(shù)和訓(xùn)練樣本個(gè)數(shù)相同時(shí)(即L=N)我們可以通過(7)式直接求矩陣H的逆矩陣得到最優(yōu)的輸出權(quán)值矩陣β，但大多情況下隱層節(jié)點(diǎn)的個(gè)數(shù)遠(yuǎn)小于訓(xùn)練樣本的個(gè)數(shù)(即L<

(5)

其中:H+為矩陣H的廣義逆。

為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力，Huang提出了等式優(yōu)化約束的ELM[10]，等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓(xùn)練誤差ξ同時(shí)最小化輸出權(quán)值β，因此等式優(yōu)化約束的ELM目標(biāo)式子可寫為：

(6)

式(6)中,ξi=(ξi1,…,ξ1m)T為對(duì)應(yīng)于樣本xi的訓(xùn)練誤差向量，C為懲罰參數(shù)。式(11)的求解可通過可通過拉格朗日方法轉(zhuǎn)化為無條件最優(yōu)化問題進(jìn)行求解。因此ELM算法求解過程可總結(jié)步驟如下：

1)初始化訓(xùn)練樣本集；

2)隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值ai和偏置值bi；

3)通過激活函數(shù)計(jì)算隱層節(jié)點(diǎn)輸出矩陣H；

4)計(jì)算輸出權(quán)值β。

1.2 維數(shù)約減技術(shù)

為了解決人臉圖像數(shù)據(jù)包含的冗余屬性及噪聲對(duì)ELM的泛化能力的影響，為此我們將數(shù)據(jù)的判別信息引入到LPP算法中提出一種局部保持判別投影算法(LPDP)。

(7)

將y=uTx代入式(7)最小化目標(biāo)式子，可寫為如下形式：

(8)

式(8)的分子可做如下推導(dǎo)：

uTXLXTu

(9)

(10)

利用拉格朗日乘子法對(duì)(10)式進(jìn)行求解可得:

XLXTu=λSu

(11)

對(duì)式(11)進(jìn)行特征值分解，得到特征向量矩陣為U=[u1,…,uN]。從特征向量矩陣中選取的第2到第d+1個(gè)最小特征值對(duì)應(yīng)的特征向量，即：[u2,…,ud+1]T，則由y=uTx得到LPDP算法。

綜上所述，基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)(MELM)的算法步驟可總結(jié)如下:

1)初始化訓(xùn)練樣本集，利用式(11)對(duì)數(shù)據(jù)集進(jìn)行降維，得到數(shù)據(jù)集的低維表示Y；

2)隨機(jī)指定網(wǎng)絡(luò)輸入權(quán)值ai和偏置值bi；

3)通過激活函數(shù)計(jì)算隱層節(jié)點(diǎn)輸出矩陣H；

4)計(jì)算輸出權(quán)值β。

2 實(shí)驗(yàn)結(jié)果及分析

為證明所提出基于流形學(xué)習(xí)局部保持判別投影算法(LPDP)極端學(xué)習(xí)機(jī)(MELM)的有效性，為此ELM采用Sigmoid函數(shù)作為激活函數(shù)應(yīng)用于4個(gè)不同圖像數(shù)據(jù)庫，在Yale，ORL實(shí)驗(yàn)中我們隨機(jī)在每類樣本中選取訓(xùn)練集個(gè)數(shù)為L={3，4，5，6}剩余部分為測試集，在Yale B，COIL20實(shí)驗(yàn)中我們隨機(jī)在每類樣本中選取訓(xùn)練集個(gè)數(shù)為L={5，10，15，20}剩余部分為測試集， ELM運(yùn)用LPDP算法與LPP[9]，LPANMM[12]，RAF-GE[13]算法在不同維數(shù)下的識(shí)別率曲線及識(shí)別率如圖2～5所示及表2～5所示，不同圖像庫數(shù)據(jù)參數(shù)設(shè)置如表1所示，Yale，ORL，Yale B，ORL圖像如圖1所示。

表1 數(shù)據(jù)集參數(shù)描述

圖1 不同圖像數(shù)據(jù)

圖2 ELM運(yùn)用不同降維算法在Yale人臉庫識(shí)別率曲線

圖3 ELM運(yùn)用不同降維算法在ORL人臉庫識(shí)別率曲線

圖4 ELM運(yùn)用不同降維算法在Yale B人臉庫識(shí)別率曲線

圖5 ELM運(yùn)用不同降維算法在COIL20圖像庫識(shí)別率曲線

圖2～5分別給出了ELM運(yùn)用不同降維算法在Yale，ORL，Yale B，COIL20圖像數(shù)據(jù)上的識(shí)別率曲線，由圖2～5可以看出本文所提算法LPDP的識(shí)別率曲線明顯高于LPANMM，LPP，RAF-GE的識(shí)別率曲線，這是由于LPDP在保持鄰域信息的基礎(chǔ)上考慮到了數(shù)據(jù)的判別信息，從而獲得更好的降維效果。由圖2和圖4可知LPDP算法的識(shí)別率曲線遠(yuǎn)遠(yuǎn)高于其他算法的識(shí)別率曲線，并且具有很好的穩(wěn)定性，由圖3可以看出在每類訓(xùn)練樣本為3時(shí)LPDP的識(shí)別率曲線不具有明顯的優(yōu)勢，隨著樣本個(gè)數(shù)的增加LPDP的識(shí)別率曲線高于其他識(shí)別率曲線。圖5給出了不同的降維算法在COIL20圖像數(shù)據(jù)上的識(shí)別率曲線，由圖5可以看出本文所提算法LPDP出現(xiàn)較大的波動(dòng)，但是識(shí)別率曲線仍然優(yōu)于其他3種算法。表2～5給出了ELM運(yùn)用不同降維算法在圖像數(shù)據(jù)上的具體識(shí)別率，從表2～5可以看出，本文所提算法的識(shí)別率優(yōu)于其他算法。

3 結(jié)論

為了解決人臉圖像數(shù)據(jù)包含的冗余屬性及噪聲對(duì)ELM的泛化能力的影響，本文提出一種基于流形學(xué)習(xí)的極端學(xué)習(xí)機(jī)，所提算法在保持鄰域信息的基礎(chǔ)上考慮到了數(shù)據(jù)的判別信息，有效避免數(shù)據(jù)包含的冗余屬性及噪聲對(duì)ELM的泛化能力的影響，通過與LPP，RAF-GE，LPANMM算法的對(duì)比實(shí)驗(yàn)表明，本文所提出的方法顯著提高了ELM的識(shí)別率并且優(yōu)于其他算法。

[1] Feng G, Huang G B, Lin Q. Error minimized extreme learning machine with growth of hidden nodes and incremental learning[J].IEEE Transactions on Neural Networks,2009, 20(8): 1352-1357.

[2] Tang J, Deng C, Huang G B. Extreme learning machine for multilayer perceptron[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, (99): 1-13.

[3] Zong W W, Huang G B, Chen Y. Weighted extreme learning machine for imbalance learning[L]. Neurocomputing, 2013, 101: 229-242.

[4] Zhao J W, Wang Z H, Park D S. Online sequential extreme learning machine with forgetting mechanism[J]. Neurocomputing, 2012, 87: 79-89.

[5] Man Z H, Wang D H, Cao Z W, et al. Robust single-hidden layer feedforward network-based pattern classifier[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(12): 1974-1986.

[6] Benoit F, Heeswijk M V, Miche Y, et al. Feature selection for nonlinear models with extreme learning machines[J]. Neurocomputing, 2013, 102: 111-124.

[7] Peng Y, Lu B L. Discriminative graph regularized extreme learning machine and its application to face recognition[J]. Neurocomputing, 2015, 149: 340-353.

[8] Zong W W, Huang G B. Face recognition based on extreme learning machine[J]. Neurocomputing, 2011, 74: 2541-2551.

[9] He X F, Niyogi P. Locality preserving projections[J]. Advances in neural information processing systems,2004:153-160.

[10] Huang G B. An Insight into Extreme learning machines: random neurons, random features and kernels[J]. Cogn. Comput.,2014: 376-390.

[11] Zhang T H, Tao D H, Li X L, et al. Patch alignment for dimensionality reduction[J]. IEEE Transactions on Knowledge and Data Engineering, 2009,21(9):1299-1313.

[12] Chen X M, Liu W Q, Lai J H. Face recognition via local preserving average neighborhood margin maximization and extreme learning machine[J]. Soft Comput., 2012, 16: 1515-1523.

[13] 馮 林，劉勝藍(lán)，張 晶，等.高維數(shù)據(jù)中魯棒激活函數(shù)的極端學(xué)習(xí)機(jī)及線性降維[J].計(jì)算機(jī)研究與發(fā)展，2014，51(6)：1331-1340.

Using Manifold Learning Extreme Learning Machine for Face Recognition

Zhang Haiying, Yan Deqin, Yang Yi，Chu Yonghe

(College of Computer and Information Technology, Liaoning Normal University, Dalian 116081, China)

Extreme learning machine has been widely used for its fast, efficient and good generalization ability in pattern recognition. But existing ELM and its improved algorithms do not adequately consider the impact of data dimension for classification performance and generalization ability of ELM, the redundant attributes and noise will reduce the generalization ability of ELM which contains when data dimension is too high. Aiming at this problem, this paper proposed a kind of extreme learning machine based on manifold learning. The algorithm combines dimensionality reduction technology, effectively eliminate the impact of data redundancy attribute and noise for classification performance of ELM. In order to verify the effectiveness of the proposed method, experimental use of widely used image data, experimental results show that the proposed algorithm can significantly improve the generalization performance of ELM.

extreme learning machine; manifold learning; dimensionality reduction

2016-06-21；

2016-07-20。

國家自然基金(61105085, 61373127)。

張海英 (1991-)，女，吉林九臺(tái)人，碩士研究生，主要從事模式識(shí)別、機(jī)器學(xué)習(xí)方向的研究。

1671-4598(2016)12-0158-04

10.16526/j.cnki.11-4762/tp.2016.12.045

TP18

A

閆德勤 (1962-)，男，博士，教授，主要從事模式識(shí)別、機(jī)器學(xué)習(xí)方向的研究。