基于RLS的特征提取算法研究

王海賓,王展青（武漢理工大學(xué)理學(xué)院數(shù)學(xué)系，湖北武漢,430070）

?

基于RLS的特征提取算法研究

王海賓,王展青*
（武漢理工大學(xué)理學(xué)院數(shù)學(xué)系，湖北武漢,430070）

摘要：針對(duì)主成分分析在提取特征臉時(shí)需要計(jì)算各個(gè)特征值和對(duì)應(yīng)的特征向量，而導(dǎo)致的計(jì)算量大的問(wèn)題，提出了一種基于遞歸最小二乘（RLS ）的特征提取算法。該算法每迭代一次，只需計(jì)算一個(gè)特征值和其對(duì)應(yīng)的特征向量，使得計(jì)算量大大減少。實(shí)驗(yàn)表明：在一定迭代次數(shù)內(nèi)，選取的主成分越多，RLS算法得到的圖像的重構(gòu)率就越大。

關(guān)鍵詞：遞歸最小二乘;特征提取;人臉重構(gòu)

0　引言

隨著人臉識(shí)別技術(shù)的發(fā)展，相繼產(chǎn)生了許多人臉特征提取和識(shí)別方法，如主成分分析、獨(dú)立成分分析（ICA ）、線性判別分析（LDA） 和核方法等。在這些方法中，由于PCA 實(shí)現(xiàn)簡(jiǎn)單，所以它就成為了比較流行的特征提取方法之一。本文先考慮Turk等提出的基于PCA 的人臉識(shí)別方法。該方法的思想是將一幅人臉圖片轉(zhuǎn)換為一組N×N維的向量，再提取出一組降維后的p 維主成分。但是該方法的計(jì)算復(fù)雜度很大，不利于特征的提取。

為了解決這一問(wèn)題，本文在文獻(xiàn)[5]的基礎(chǔ)上提出了一種改進(jìn)的方法，直接從訓(xùn)練集中訓(xùn)練出一個(gè)只含有輸入層的線性機(jī)，這樣的好處是，一次迭代只需提取出一個(gè)特征向量和特征值，從而加快了算法收斂的速度。

1　RLS 算法分析

則重構(gòu)后的均方最小誤差為

為了使J1(n)最小，用RLS 方法可以得出最優(yōu)的權(quán)重向量W1( n)。迭代如下：

為了提取后續(xù)的主特征向量，不妨假設(shè)第m?1個(gè)節(jié)點(diǎn)的權(quán)重向量Wm?1(n)已經(jīng)收斂到最優(yōu)權(quán)重向量Wm

o?1，則可以求出第m個(gè)節(jié)點(diǎn)的權(quán)重向量Wm(n )，過(guò)程如下：

基于RLS的特征臉提取算法步驟如下：

用公式（13）計(jì)算特征值以確定何時(shí)停止向第一層添加節(jié)點(diǎn)；

2　實(shí)驗(yàn)結(jié)果分析

本文選取了Yale人臉庫(kù)中的人臉圖像進(jìn)行實(shí)驗(yàn)，從中選出15張進(jìn)行重構(gòu)。在用RLS算法進(jìn)行迭代的過(guò)程中發(fā)現(xiàn)，當(dāng)?shù)?0次左右時(shí)，第一個(gè)和第二個(gè)權(quán)重向量基本收斂到其最初的主成分。當(dāng)?shù)螖?shù)達(dá)到60次時(shí)，兩個(gè)權(quán)重向量就已經(jīng)完全收斂。而估計(jì)的特征值也會(huì)收斂到特征臉?lè)椒ǖ贸龅奶卣髦?，其MSE也基本趨于0，而且收斂的速度也很快。該實(shí)驗(yàn)充分表明：與特征臉?lè)椒ㄏ啾龋琑LS在提取人臉特征時(shí)收斂速度更快，減少了計(jì)算復(fù)雜度。

圖1　第1個(gè)主成分的MSE和特征值的收斂性

表1　不同的主成分個(gè)數(shù)得出的重構(gòu)率的實(shí)驗(yàn)結(jié)果

3　小結(jié)

本文討論了基于遞歸最小二乘法的特征臉提取算法。實(shí)驗(yàn)結(jié)果表明：隨著迭代次數(shù)的增加，RLS 算法得到的主成分會(huì)收斂到與其對(duì)應(yīng)的特征向量，估計(jì)的方差也接近于該特征值，表明了RLS 算法在人臉特征的提取上具有較好的優(yōu)越性。

參考文獻(xiàn)

[1] M.Turk,A.Pentland,“Eigenfaces for Recognition”, Journal of Cognitive Neurosicence,Vol. 3, No.1,1991,pp.71-86.

[2] M.S.Bartlett,J.R.Movellan,T.J.Sejnowski, “Face Recognition by Independent Component Analysis”,IEEE Trans. on Neural Networks,Vol.13,No.6,November 2002, pp. 1450-1464.

[3] K. Etemad,R.Chellappa,“Discriminant Analysis for Recognition of Human Face Images”,Journal of the Optical Society of America A,Vol.14,No. 8,August 1997, pp. 1724-1733.

[4] M.H.Yang,“Kernel Eigenfaces vs.Kernel Fisherfaces: Face Recognition Using Kernel Methods”, Proc.of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, 20-21 May 2002, Washington D. C.,USA, pp. 215-220.

[5] S.Bannour and M. R. Azimi-Sadjadi, Principal component extraction using recursive least squares learning, IEEE Trans. On Neural Networks, Vol.6, No.2, 1995, pp 457-469.

作者簡(jiǎn)介

王海賓(1989年-)，男，漢族，河南汝南縣人，武漢理工大學(xué)理學(xué)院，在讀碩士研究生，研究方向?yàn)閳D像處理；

*通訊作者：王展青（1965年-），男，漢族，湖北咸寧人，武漢理工大學(xué)理學(xué)院，教授，博士，研究方向?yàn)槟Ｊ阶R(shí)別與圖像處理

The Research of Feature Extraction Algorithm Based on RLS

Wang Haibin,Wang Zhanqing
(Department of Mathematics,Wuhan University of Technology,Wuhan,430070,Hubei Province,China)

Abstract：Aiming at the problem of PCA when it is used to calculate various Eigen values and the corresponding eigenvectors which may led to large computational problems,we study the recursive least squares (RLS) method to extract the features.For each iteration,we just to calculate one Eigen value and it corresponding eigenvector, so the calculation will be greatly reduced.The experimental result shows that in a certain number of iterations, the more main component we select,the larger reconstructed rate of face we will get when use the RLS algorithm.

Keywords：Recursive least squares;feature extraction;face reconstruction