基于改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法及在人臉中的應(yīng)用*

宋全有,劉曉樂,韓忠華

(1.河南交通職業(yè)技術(shù)學(xué)院交通信息工程系,鄭州 450052;2.河南工程學(xué)院計(jì)算機(jī)學(xué)院,鄭州 451191;3.中國科學(xué)院沈陽自動化研究所,沈陽 110016)

?

基于改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法及在人臉中的應(yīng)用*

宋全有1*,劉曉樂2,韓忠華3

(1.河南交通職業(yè)技術(shù)學(xué)院交通信息工程系,鄭州 450052;2.河南工程學(xué)院計(jì)算機(jī)學(xué)院,鄭州 451191;3.中國科學(xué)院沈陽自動化研究所,沈陽 110016)

摘要:針對數(shù)據(jù)分類問題的局限,提出一種基于改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法并將其應(yīng)用到人臉識別中。首先,通過采集人臉圖像的深度信息,利用稀疏表示對其進(jìn)行去噪處理;再結(jié)合圖像的顏色信息,重新生成三維人臉信息數(shù)據(jù)庫,通過對人臉數(shù)據(jù)的流形分析得到最優(yōu)的降維結(jié)果,按十字十乘交叉驗(yàn)證法的原則選取訓(xùn)練集和測試集,將訓(xùn)練集輸入支持向量機(jī)算法建立數(shù)據(jù)分類器;最后,將測試集輸入訓(xùn)練完成的分類器中,實(shí)現(xiàn)人臉數(shù)據(jù)分類。選取ORL、Yale兩類人臉圖像標(biāo)準(zhǔn)數(shù)據(jù)庫與傳統(tǒng)人臉識別算法進(jìn)行交叉對比實(shí)驗(yàn),驗(yàn)證算法的優(yōu)越性和可行性。實(shí)驗(yàn)結(jié)果表明:所提出的算法有較高的分類準(zhǔn)確率,可有效地完成人臉識別。

關(guān)鍵詞:數(shù)據(jù)分類;人臉識別;數(shù)據(jù)流形;深度;降維;支持向量機(jī)

近年來,數(shù)據(jù)分類問題是數(shù)據(jù)挖掘領(lǐng)域較為熱點(diǎn)的問題。一些特定的特征提取算法與數(shù)據(jù)分類算法結(jié)合,可以有效地完成高維數(shù)據(jù)分類問題,由于人臉圖像屬于高維數(shù)據(jù),特征提取可有效地解決高維數(shù)據(jù)計(jì)算復(fù)雜度高的問題,其代表算法有:主成分分析(PCA)[1],核主成分分析(KPCA)[2],梯度方向直方圖(HOG)[3]等。這些算法的本質(zhì)是提取人臉圖像的特征向量,在輸入到訓(xùn)練完成的分類器,數(shù)據(jù)分類算法有:支持向量機(jī)(SVM)[4],線性判別分析(LDA)[5],核線性判別分析(KLDA)[6]等。利用特征向量和分類器即可完成高維數(shù)據(jù)分類,進(jìn)而完成人臉識別。

針對數(shù)據(jù)流形問題,Roweis等人[7]提出局部線性嵌入算法,利用流形降維的方式區(qū)別各類數(shù)據(jù),翟永前等人[8]將改進(jìn)Gabor算法,提出簡化的Gabor小波進(jìn)行高維數(shù)據(jù)分類,有效地完成人臉的識別;王憲等人[9]將KPCA算法和曲波核相結(jié)合,有效地解決人臉識別問題,而這些算法只是結(jié)合圖像像素信息處理二維平面人臉圖像,并沒有有效地使用三維立體信息,在背景復(fù)雜的環(huán)境下,往往識別率受到局限。

針對圖像噪聲問題,肖泉[10]等人提出利用針對稀疏表示對圖像深度信息進(jìn)行去噪處理,筆者結(jié)合人臉識別問題的特點(diǎn),提出一種基于改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法并將其應(yīng)用到人臉識別中,利用稀疏表示對人臉深度信息進(jìn)行重構(gòu)去噪處理,再將處理后的深度信息加入到傳統(tǒng)圖像的顏色信息中去,擴(kuò)展了人臉圖像信息量,利用數(shù)據(jù)流形的特點(diǎn)對人臉圖像數(shù)據(jù)進(jìn)行降維,輸入到SVM算法中進(jìn)行分類。選取ORL數(shù)據(jù)集和Yale數(shù)據(jù)集驗(yàn)證算法在高維數(shù)據(jù)分類的可行性。

1　稀疏表示

1.1基本原理

在對信號進(jìn)行處理時,常?？梢园研盘柋硎境梢恍┗拘盘柣蛘吆瘮?shù)的線性組合。例如,可以把單個信號表示成為一系列正弦信號或者余弦信號的組合。這些正弦信號和余弦信號通常是正交的。

(1)

其中,x=(x1,x2,…,xn)為向量b線性表達(dá)式的系數(shù)矩陣,A為n維空間的一組基。對于稀疏表示理論,我們用字典代替?zhèn)鹘y(tǒng)的正交基,而所用的字典要盡可能包含被表達(dá)信號的所有信息結(jié)構(gòu)。利用所選用的字典對信號進(jìn)行重構(gòu),重構(gòu)過程實(shí)質(zhì)就是對含有噪聲的信號進(jìn)行逼近的過程,重構(gòu)后的信號也就去除了噪聲。

定義:設(shè)原始信號由逼近信號和噪聲組成,表示為式(2),

w=wm+wr=Dα+wr

(2)

其中w為原始信號,wm為逼近w的逼近信號,wr為信號w中的噪聲,D為學(xué)習(xí)字典,α為逼近信號的稀疏矩陣。從稀疏的角度出發(fā),希望在使wr為最小的情況下,得到最稀疏的α解。由此,可構(gòu)造優(yōu)化函數(shù)如下:

(3)

1.2稀疏編碼

稀疏編碼問題實(shí)質(zhì)就是L1范數(shù)正規(guī)化的線性最小二乘問題。目前的一些解決此類問題的方法是基于帶軟閾值的坐標(biāo)下降法。當(dāng)字典的每一列原子不相關(guān)時,這些簡單的方法很有效,但是當(dāng)學(xué)習(xí)字典的每個列原子相關(guān)時,這些算法在訓(xùn)練集中計(jì)算時很慢。LARS-Lasso[11]算法能很好解決這一問題,能夠得到與基于軟閾值方法相同的速度,并且具有很高的準(zhǔn)確率和很強(qiáng)的魯棒性。

1.3字典更新

字典更新的目的是得到最優(yōu)的字典,使基于此字典的稀疏表示逼近信號對于訓(xùn)練樣本的方差最小。設(shè)目標(biāo)函數(shù)如下:

(4)

其中w為訓(xùn)練樣本;D學(xué)習(xí)字典,每一列對應(yīng)一個字典原子;α為系數(shù)矩陣;T0為稀疏表示中不為0元素的設(shè)定最大值。

在滿足最小均方差的前提下,利用迭代逐個更新學(xué)習(xí)字典中的原子。首先,通過對一般正交基進(jìn)行擴(kuò)展得到初始字典,并提供訓(xùn)練樣本集,此訓(xùn)練樣本集要盡可能包含所有的信號成分,然后利用訓(xùn)練樣本集對初始字典進(jìn)行迭代訓(xùn)練,從而得到滿意的字典。具體步驟如下:

初始化階段構(gòu)造初始字典D0,并提供訓(xùn)練樣本集w={w1,w2,…,wn-1},同時設(shè)定學(xué)習(xí)規(guī)則A′=f(A,α)及循環(huán)截止條件T。

訓(xùn)練更新階段

(1)令k=0,并設(shè)D=D0;

(2)當(dāng)不滿足循環(huán)截止條件T且k

(3)稀疏編碼:求解式(3),得到

(4)字典更新:Dk+1=f(Dk,αk)

(5)k=k+1,然后執(zhí)行(2)進(jìn)行判斷。

(6)學(xué)習(xí)字典D=Dk。

圖1　人臉圖像去噪結(jié)果

2　基于數(shù)據(jù)流形的降維算法

從流形[12-15]的角度可認(rèn)為n維數(shù)據(jù)是n維的歐氏空間中的一個數(shù)據(jù)點(diǎn),而多個n維數(shù)據(jù)點(diǎn)在此歐氏空間中必然組成一個流形,其形狀不可預(yù)測,但在此流形中的同類數(shù)據(jù)點(diǎn)歐氏距離往往很小。假定N個輸人向量X,通過流形的映射法則得到輸出向量Y,其實(shí)現(xiàn)過程如圖2所示。

圖2　數(shù)據(jù)映射流程圖

根據(jù)圖2可得:算法主要是通過選取數(shù)據(jù)之間的鄰近點(diǎn),按照鄰近點(diǎn)映射法則對高維數(shù)據(jù)進(jìn)行降維,其過程可分為以下3個步驟:

Step1:計(jì)算出每個樣本點(diǎn)的k個鄰近點(diǎn)。把相對于所求樣本點(diǎn)距離最近的k個樣本點(diǎn)作為樣本點(diǎn)的k個鄰近點(diǎn)。

Step2:計(jì)算出樣本點(diǎn)的局部重建權(quán)值矩陣。這里定義一個代價誤差函數(shù):

(5)

(6)

(7)

在實(shí)際運(yùn)用中,Qi可能是一個奇異矩陣,此時必須正則化Qi,即:

Qi=Qi+rI

(8)

其中r是正則化參數(shù),I是一個k×k的單位矩陣。

Step3:將所有的樣本點(diǎn)映射到低維空間中,必須滿足以下條件:

(9)

其中,ε(Y)為損失函數(shù)值,yi是xi的輸出向量,yij(j=1,2,…,k)是yi的k個鄰近點(diǎn),且滿足以下條件:

(10)

其中,M是一個N×N的對稱矩陣,表示為:

M=(I-W)T(I-W)

(11)

要使損失函數(shù)值達(dá)到最小,需取Y為M的最小m個非零特征值所對應(yīng)的特征向量。在處理過程中,將M的特征值從小到大排列,第1個特征值幾乎接近于零,那么舍去第1個特征值。通常取第2～第m+1間的特征值所對應(yīng)的特征向量作為輸出結(jié)果。

3　算法在人臉識別中的應(yīng)用

3.1圖像深度數(shù)據(jù)重構(gòu)

對深度數(shù)據(jù)進(jìn)行重構(gòu)時,只要設(shè)定合適的誤差容限ε,就可以實(shí)現(xiàn)對含噪聲的信號進(jìn)行去噪。試驗(yàn)中設(shè)置ε=kσ2,其中,令k=1.05,σ為噪聲標(biāo)準(zhǔn)差。

(12)

(13)

由式(12)、式(13),得到了去除噪聲后的深度信息。

3.2數(shù)據(jù)流形降維處理

(14)

按照第3節(jié),數(shù)據(jù)流形降維理論,我們可以將式(14)進(jìn)行降維處理,將人臉數(shù)據(jù)集w輸入到映射法則下,可得到最優(yōu)的數(shù)據(jù)降維結(jié)果。

4　實(shí)驗(yàn)分析

本文在Inter(R)Core(TM)Duo-E7500的CPU,內(nèi)存6G的Windows7操作系統(tǒng)下進(jìn)行實(shí)驗(yàn),利用支持向量機(jī)(SVM)算法對4.2節(jié)所得到的最優(yōu)降維結(jié)果進(jìn)行分類器的訓(xùn)練,進(jìn)而完成對人臉數(shù)據(jù)的分類,選取ORL人臉數(shù)據(jù)庫和Yale人臉數(shù)據(jù)庫兩類人臉標(biāo)準(zhǔn)數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)驗(yàn)證,按照第4節(jié)的方法,對兩類數(shù)據(jù)庫中的人臉圖像數(shù)據(jù)進(jìn)行處理,利用十字十乘交叉驗(yàn)證法,對本文算法進(jìn)行可行性和優(yōu)越性的驗(yàn)證。

4.1ORL人臉數(shù)據(jù)庫實(shí)驗(yàn)

ORL人臉數(shù)據(jù)庫是由劍橋大學(xué)AT&T實(shí)驗(yàn)室創(chuàng)建,包含40人每人10張圖像,共400張面部圖像,圖像包括了不同時間,不同光照條件,面部表情,飾物等變化。選取每人的全部圖像作為訓(xùn)練樣本,數(shù)據(jù)庫中部分圖像如圖3所示。

圖3　部分ORL人臉數(shù)據(jù)庫圖像

假設(shè)實(shí)驗(yàn)數(shù)據(jù)個數(shù)為nc,準(zhǔn)確識別的個數(shù)為nt,則可將識別準(zhǔn)確率定義為

(15)

利用十字十乘交叉驗(yàn)證法對其進(jìn)行驗(yàn)證,將本文算法與PCA算法、KPCA算法、HOG算法、LLE算法進(jìn)行比較,比較結(jié)果如表1所示。

表1　ORL數(shù)據(jù)庫識別率比較結(jié)果

由表1可得,本文算法在ORL數(shù)據(jù)庫中較傳統(tǒng)算法有更好的識別率,本文算法的檢測率平均保持在93%左右,而KPCA算法,PCA算法,HOG算法,LLE算法分別保持在84%,81%、82%、86%左右,這是由于本文算法加入了圖像深度信息,并對深度信息進(jìn)行去噪處理,結(jié)合圖像顏色信息,得到更為準(zhǔn)確的圖像特征數(shù)據(jù)。

4.2Yale人臉數(shù)據(jù)庫實(shí)驗(yàn)

Yale人臉數(shù)據(jù)庫包含5 760張人臉圖像,共由10個人,每人在不同的光照條件,不同姿態(tài)表情下的人臉圖像576張,其部分?jǐn)?shù)據(jù)圖像如圖4所示。

圖4　部分Yale人臉數(shù)據(jù)庫圖像

我們按照4.1節(jié)的實(shí)驗(yàn)方法,對Yale數(shù)據(jù)庫進(jìn)行人臉識別驗(yàn)證,將所得結(jié)果再次與PCA算法、KPCA算法、HOG算法、LLE算法所得結(jié)果進(jìn)行比較,其結(jié)果如表2所示。

表2　Yale數(shù)據(jù)庫識別率比較結(jié)果

由表2可得,本文算法在Yale數(shù)據(jù)庫實(shí)驗(yàn)中也保持較好的識別率,平均識別率為89.3%,高于傳統(tǒng)算法中平均識別率最高的KPCA算法5%左右,本文算法在ORL和Yale兩類數(shù)據(jù)庫中均有較好的識別率,證明本文算法具有一定可行性和優(yōu)越性。

5　結(jié)論

本文對數(shù)據(jù)分類問題進(jìn)行深入研究,結(jié)合圖像深度信息去噪和人臉圖像數(shù)據(jù)流形,提出一種改進(jìn)型深度數(shù)據(jù)流形的數(shù)據(jù)分類算法并將其應(yīng)用于人臉識別。

在ORL和Yale兩個人臉圖像標(biāo)準(zhǔn)數(shù)據(jù)庫中的實(shí)驗(yàn)結(jié)果表明:本文算法有較強(qiáng)的適用能力,針對多個數(shù)據(jù)庫具有較好的識別率。ORL數(shù)據(jù)庫和Yale數(shù)據(jù)庫實(shí)驗(yàn)表明算法針對圖像數(shù)據(jù)具有較高的檢測率,平均保持在93.1%和89.3%,優(yōu)于傳統(tǒng)算法,體現(xiàn)算法在高維數(shù)據(jù)分類中具有一定的優(yōu)勢,今后的任務(wù)是進(jìn)一步提高算法抗干擾能力。

參考文獻(xiàn):

[1]Rencher A C,Christensen W F.Methods of Multivariate Analysis[M].Third Edition,Hoboken:Wiley Press,2012:405-433.

[2]Wang J,Zhou Y S,Du X J,et al.Personal Credit Assessment Based on KPCA and SVM[C]//Proceedings of International Conference on Business Intelligence and Financial Engineering,Beijing:IEEE Press,2012:25-28.

[3]Dalai N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,San Diego:IEEE Press,2005:886-893.

[4]Gentle J E,H?rdle W K,Mori Y C.Handbook of Computational Statistics:Concepts and Methods[M].Second Edition,Germany:Springer Press,2012:883-926.

[5]Iosifidis A,Tefas A,Nikolaidis N,et al.Multi-View Human Movement Recognition Based on Fuzzy Distances and Linear Discriminant Analysis[J].Computer Vision and Image Understanding,2012,116(3):347-360.

[6]Zafeiriou S,Tzimiropoulos G,Petrou M,et al.Regularized Kernel Discriminant Analysis with a Robust Kernel for Face Recognition and Verification[J].IEEE Transactions on Neural Networks and Learning Systems,2012,23(3):526-534.

[7]Roweis S T,Saul L K.Nonlinear Dimensionality Reduction by Locally Linear Embedding[J].Science,2000,290(5500):2323-2326.

[8]翟永前,喬建,趙力.基于簡化Gabor小波的人臉識別 算法研究[J].電子器件,2012,35(6):687-681.

[9]王憲,慕鑫,張彥,等.基于曲波域與核主成分分析的人臉識別[J].光電工程,2011,38(10):98-102.

[10]肖泉,丁興號,王守覺.基于自適應(yīng)超完備稀疏表示的圖像去噪方法[J].儀器儀表學(xué)報,2009,30(9):1886-1890.

[11]Osborne M R,Presnell B,Turlach B A.A New Approach to Variable Selection in Least Squares Problems[J].IMA Journal of Numerical Analysis,2000,20(3):389-403.

[12]Pan Jun,Kong Fansheng,Wang Ruiqin.Locality Sensitive Discri-minant Transductive Learning[J].Journal of Zhejiang University(Engineering Science),2012,46(6):987-994.

[13]Kim W,Crawford M M.Adaptive Classification for Hyperspectral Image Data Using Manifold Regularization Kernel Machines[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(11):4110-4121.

[14]Zhao Xiaoming,Zhang Shiqing.Facial Expression Recognition Using Local Binary Patterns and Discriminant Kernel Locally Linear Embedding[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-9.

[15]Cherigui S,Guillemot C,Thoreau D,et al.Map-Aided Locally Linear Embedding Methods for Image Prediction[C]//Proceedings of IEEE International Conference on Image Processing,IEEE Press,2012:2909-2912.

宋全有(1963-),男,河南孟州人,碩士,副教授,主要研究方向?yàn)橛?jì)算機(jī)應(yīng)用,通信與系統(tǒng)系統(tǒng),61915600@163.com。

ANovelDataClassificationAlgorithmandApplicationResearchBasedonModifiedDepthDataManifold*

SONGQuanyou1*,LIUXiaole2,HANZhonghua3

(1.Department of Traffic Engineering,Henan Vocational and Technical College of Communications,Zhengzhou 450052,China;2.Computer College,Henan Institute of Engineering,Henan 451191,China;3.Shenyang Institute of Automation(SIA),Chinese Academy of Sciences,Shenyang 110016,China)

Abstract:For the localization of data classification,a novel data classification algorithm based on modified data manifold is proposed.It is used as the method of face recognition.Firstly,the depth information of images are collected by Kinect,and the sparse representation can be used to do the denoising.Secondly,the three-dimensional face data base can be established by the colour information and depth information.The dimension of data sets is reduced by the analysis of the data manifold,and optimal results of data dimension reduction can be gotten.The training and test sets are gotten by the principle of ten cross validation,and data classifier can be gotten by the support vector machine.Finally,the test sets are inputted,and the face data classification can be achieved.The two classes of data sets are selected as the experimental data,which consist of ORL and Yale.The comparison experiments can be achieved by the two data sets,and the experiment results show that the proposed method not only has a higher classification accuracy rate,but it has a great effect to achieve face recognition.

Key words:data classification;face recognition;data manifold;depth;dimension reduction;support vector machine

doi:EEACC:6210C10.3969/j.issn.1005-9490.2014.05.010

中圖分類號:TP391.41

文獻(xiàn)標(biāo)識碼:A

文章編號:1005-9490(2014)05-0844-06

收稿日期:2014-01-06修改日期:2014-02-18

項(xiàng)目來源:國家自然科學(xué)基金項(xiàng)目(61272253)