應(yīng)用于人臉識別的改進局部保持投影算法

(1.遼寧師范大學(xué) 計算機與信息技術(shù)學(xué)院，遼寧 大連 116081；2.大連理工大學(xué) 電子信息與電氣工程學(xué)部，遼寧 大連 116024)

0 引言

目前在國內(nèi)外研究人臉識別技術(shù)的方法有很多，常用的方法有：基于三維數(shù)據(jù)的人臉識別方法、基于連接機制的人臉識別方法、基于代數(shù)特征的人臉識別方法以及基于幾何特征的人臉識別方法?；谔卣鞣椒ǖ哪繕?biāo)就是尋找人臉或人臉的部件可能具有在各種條件下都不會改變的特征或?qū)傩?例如：形狀、膚色、紋理、邊緣信息等)，并利用這些特征來定位信息。然而這類方法使用局限性很高，對人臉姿態(tài)、面部表情、旋轉(zhuǎn)縮放都不敏感，只有在特定的環(huán)境下或動作幅度差別很大才非常有效且檢測速度較高。由于人臉部件的提取通常都借助于邊緣算子，因此，這類方法對圖像質(zhì)量要求較高，對光照和背景等同樣有較高的要求，因為光照、噪音、陰影都極有可能破壞人臉部件的邊緣，從而影響算法的有效性[1]。可是在安保、門禁、身份鑒別、人口檢測等實際應(yīng)用中，人臉識別的數(shù)據(jù)集常常擁有樣本量少、維數(shù)高等特點。因而通常使用神經(jīng)網(wǎng)絡(luò)等算法結(jié)合維數(shù)約簡技術(shù)提高分類率。

近年來大批學(xué)者在機器學(xué)習(xí)領(lǐng)域展開了深入的探究，其中機器學(xué)習(xí)的核心理論流形學(xué)習(xí)也迅速地發(fā)展成熟起來。流形學(xué)習(xí)先是構(gòu)造一個數(shù)據(jù)鄰接圖來描述數(shù)據(jù)分布或幾何結(jié)構(gòu)，然后尋找一個最佳投影方向或映射來有效地維護結(jié)構(gòu)?；诖搜芯咳藛T提出了基于流行學(xué)習(xí)的線性或非線性的降維算法，如拉普拉斯特征映射(laplacian eigenmaps，LE)[2]，局部線性嵌入(locally linear embedding，LLE)[3]，局部保持投影(locality preserving projection，LPP)[4]和鄰域保持嵌入(neighborhood preserving embedding，NPE)[5]，甚至包括模式識別經(jīng)典的線性降維算法——主成分分析法(principal component analysis，PCA)[6]和線性判別分析(linear discriminant analysis，LDA)[7]，即Fisher線性判別(fisher linear discriminant，F(xiàn)LD)都具有一些共同的特征，均可以構(gòu)造流形上樣本點的局部鄰域結(jié)構(gòu)，然后用這些局部鄰域結(jié)構(gòu)來將樣本點全局的映射到一個低維空間。

局部保持投影是HE等人[8]發(fā)現(xiàn)LE僅對獲取的少數(shù)人臉數(shù)據(jù)點進行定義和運算，算法的泛化能力比較弱而提出了線性逼近LE的一種線性化形式。該算法將LE的隱式非線性映射采用合適的手段轉(zhuǎn)換為顯式的線性映射來進行表示，因此新的人臉數(shù)據(jù)樣本可以直接得到低維嵌入空間中的映射點以達到相應(yīng)的目的。在近幾年來的特征提取領(lǐng)域里面，不斷涌出了大量優(yōu)秀的算法，但是LPP算法在人臉識別的領(lǐng)域中還是占有不可或缺的地位，屬于研究人臉識別的算法里面最基礎(chǔ)的算法之一。

2008年，張志偉等人[9]為了增強LPP算法對外部因素的抗干擾能力，提出了一種有監(jiān)督的局部保持投影算法(SLPP)，通過對LPP子空間進行判別分析，選擇基向量來構(gòu)造子空間進行識別。2009年，支瑞聰?shù)热薣10]提出了基于線性判別的局部保持投影算法(DLPP)，將判別分析的思想引入LPP，考慮樣本間和模式類之間的相鄰關(guān)系，從而得到最優(yōu)投影方向。2010年，王國強等人[11]提出了圖像矩陣判別局部保持投影(IMDLPP)的線性降維算法，利用類間散度約束和類標(biāo)簽信息，使求解的特征更具判別性。2012年，李曉曼等人[12]提出了基于改進鄰域的局部保持投影(Improved Locality Preserving Projections，簡稱ILPP)算法，采用構(gòu)造近鄰圖的方式得到高維數(shù)據(jù)在低維空間的本質(zhì)信息。同年，楊凡等人[13]基于DLPP算法提出了譜回歸判別局部保持投影算法(SRDLPP) 避免解決稠密矩陣特征分解時帶來的高昂內(nèi)存和時間消耗。2016年，王博林等人[14]提出了基于流形學(xué)習(xí)的有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)減少人臉識別的時間復(fù)雜度，方便獲取到具有低維人臉圖像的特征信息。

1 局部保持投影(LPP)

LPP 算法是 LE 算法的一種線性逼近過程，避免了 LE 算法無法有效處理測試樣本的問題，提高了算法的泛化能力，對流形學(xué)習(xí)中的非線性數(shù)據(jù)進行處理和分析具有較大的優(yōu)勢。它利用構(gòu)建空間中各樣本對之間的遠近親疏關(guān)系方法建立關(guān)系映射，繼承了LE算法保持空間中原始數(shù)據(jù)局部鄰域關(guān)系的優(yōu)勢，能夠進行普通線性學(xué)習(xí)算法所沒有的流形分析和學(xué)習(xí)，具有處理速度快，數(shù)據(jù)計算簡單，可以獲得新樣本點的低維投影的獨特特性等優(yōu)勢。

設(shè)樣本X=(x1,x2,…,xn)為原始高維空間數(shù)據(jù)集，維數(shù)為D，來自于高維歐式空間RD,Y=(y1,y2,…,yn)為降維后數(shù)據(jù)集，維數(shù)為d，屬于低維空間Rd。為了求得最佳的投影方向矩陣A，需要在一定的約束條件下最小化下面的目標(biāo)函數(shù):

(1)

1)計算近鄰點

通過使用q0近鄰或者ε近鄰方法，找到高維空間中彼此相近的樣本點，構(gòu)造一個近鄰圖。距離公式為：

d(xi,xj)=‖xi-xj‖

(2)

2)選擇權(quán)重值

(3)

其中:Wij為對稱關(guān)聯(lián)矩陣，表示近鄰樣本點i和j之間的相似程度。優(yōu)先選用近鄰或近鄰方法檢索出高維空間兩兩接近的樣本點，通過式(3)計算近鄰點之間的高斯加權(quán)值作為樣本間相似性的度量。如果xi和xj經(jīng)過映射后相距較遠，則會令對應(yīng)的Wij的值也會很小來作為懲罰項進行平衡。

3)計算特征矢量

XLXTa=λXDXTa

(4)

4)通過式子(4)計算廣義特征向量求得投影方向A=(A1,A2,…,AL)。根據(jù)它們的特征值大小進行排序，0≤λ1≤λ2≤…≤λm，然后通過Y=aTx計算出Y。

2 改進的局部保持投影算法(RLPP)

LPP雖然嚴(yán)格地保留了人臉數(shù)據(jù)樣本原始的局部鄰域結(jié)構(gòu)，但卻忽略了人臉圖像數(shù)據(jù)的類別信息，在不同種類樣本受到光照、姿態(tài)、表情等非可控條件的影響后容易出現(xiàn)類間距離小的數(shù)據(jù)之間的重疊。為了盡可能地減少外在不可抗拒條件對結(jié)果的影響，改善識別性能，本文在LPP算法基礎(chǔ)上選擇把類別信息上給出的數(shù)據(jù)標(biāo)簽具體化，進而提出了一種改進LPP的方法，稱為RLPP(Reformation Locality Preserve Projections)。首先利用訓(xùn)練樣本的類別信息來構(gòu)造吸引向量，并將高維樣本點繪制到低維數(shù)據(jù)吸引點的子空間中。

改進的局部保持投影算法構(gòu)造了數(shù)據(jù)樣本的鄰接圖矩陣，通過投影變換將數(shù)據(jù)樣本映射到低維空間，可以獲取數(shù)據(jù)樣本全局的幾何結(jié)構(gòu)信息，亦可較好地反應(yīng)出樣本數(shù)據(jù)流形結(jié)構(gòu)，處理速度快，數(shù)據(jù)計算簡單，提高算法的泛化能力。RLPP算法優(yōu)勢體現(xiàn)在：可以在不破壞局部鄰域關(guān)系的前提下進行降維，能提取出原始人臉圖像數(shù)據(jù)的本質(zhì)特征；充分利用LE算法能夠保持原始數(shù)據(jù)局部鄰域關(guān)系的優(yōu)勢，將LE算法結(jié)合非線性映射等手段轉(zhuǎn)換為顯式的線性映射進行改進，保留人臉圖像空間結(jié)構(gòu)并可以較大程度避免干擾人臉圖像識別等許多要素的降維方法，以達到即使對數(shù)據(jù)進行降維處理后仍能保留數(shù)據(jù)內(nèi)部原始非線性狀態(tài)的目的；重視了人臉圖像數(shù)據(jù)的類別信息，改善類內(nèi)距離較大類間距離較小的數(shù)據(jù)點之間不便于區(qū)分的問題。RLPP模型可以表示形式如下：

假設(shè)有一組訓(xùn)練樣本矩陣X=(x1,x2,…,xc)∈Rm×n，xi∈RM，其中M是高維空間中訓(xùn)練樣本的維數(shù)，N是訓(xùn)練樣本的總數(shù)，C是數(shù)據(jù)樣本類別個數(shù)。對于每一個訓(xùn)練樣本，我們利用其類別信息構(gòu)造一個吸引向量hi∈RC。如果yi=c，那么，hi樣本中的第C類樣本的結(jié)果為1，其他項樣本為零。因此，屬于同一類的訓(xùn)練樣本被具有相同的吸引點的矢量匯聚在一起。從而將子空間中的每個樣本都能被歸類到與它屬性相同的吸引向量上。

為了使低維坐標(biāo)點的幾何特征與類別信息進行制約，我們尋求一個最佳投影矩陣V∈Rm×C，它可以將訓(xùn)練點投影到一個相對低維的特征子空間中。假設(shè)V為所求的投影向量，那么在子空間樣本矩陣可以表示y=vTx，從而YT=VTX，即Y=(Y1,Y2,…,YC)T是數(shù)據(jù)集X的低維表示形式，yi∈{1,2,…,c}。

基于LPP算法，引入吸引向量得到下列目標(biāo)式子：

(5)

式(5)中，β∈[0，+∞]是一個用于平衡類別信息重要性的控制參數(shù)。

將式子(5)進行推導(dǎo)，其中左式R1結(jié)合y=vTx優(yōu)先推導(dǎo)如下：

VTX(D-W)XTV=VTXLXTV

(6)

暫時先不考慮控制參數(shù)β，將式(5)右式推導(dǎo)如下：

[(I-H)Y]T[(I-H)Y]=YT(I-H)T(I-H)Y

=YTSY=VTXSXTV

(7)

其中：吸引矩陣H=(h1,h2,…,hn)∈RC×n,設(shè)矩陣S=(I-H)T(I-H)Y。

結(jié)合式(6)、(7)可以將目標(biāo)式(5)最終化簡為：

VTXLXTV-βVTXSXTV=

VT(L1-βS1)V

(8)

對于式(8)，對于構(gòu)造出來的對角矩陣L∈Rn×n，實數(shù)矩陣H∈RC×n，L1=XLXT,S1=XSXT,β∈R+以及X∈Rm×n，限制條件為VTXXTV=1。

3 實驗結(jié)果與分析

為驗證RLPP效果，本次實驗使用了3個著名的基準(zhǔn)人臉圖像數(shù)據(jù)庫(Yale人臉庫、Yale B人臉庫和ORL人臉庫)，并在每組數(shù)據(jù)庫中分別隨機選取每類樣本點的訓(xùn)練個數(shù)與測試樣本數(shù)，進而將實驗結(jié)果與LPP，LPANMM 和RAF-GE算法進行比較得出不同維數(shù)下的識別率。本文所有的實驗都是在處理器為Inter(R) Core(TM) i5-3470 3.20 GHz、內(nèi)存為4GB的64位操作系統(tǒng)機器上完成，編輯環(huán)境為matlab2016b。

本文將選用的數(shù)據(jù)集隨機生成的樣本點投射到一個二維空間中。在構(gòu)造相鄰圖時，LPP、RLPP、LPANMM 和RAF-GE四種算法都具有鄰域參數(shù)k，此外，RLPP還涉及了控制參數(shù)β。控制參數(shù)β的取值在理論上對嵌入投影的結(jié)果有影響，可以通過改變控制參數(shù)的取值來改善該算法的分類性能。且經(jīng)多次實驗測驗，選取鄰域參數(shù)k=7時，實驗效果較為穩(wěn)定。

在Yale、ORL人臉庫中本實驗隨機選取訓(xùn)練個數(shù)為TN={2,4,6,8}的數(shù)值，剩余部分為測試集；在Yale B中隨機選擇TN={10,15,20,25}的訓(xùn)練集個數(shù)。懲罰參數(shù)均為相同數(shù)值。RLPP算法與LPP算法，LPANMM算法[15]，RAF-GE算法[16]在不同維數(shù)下的準(zhǔn)確率曲線如圖2～4所示，數(shù)據(jù)集描述如表1所示，不同人臉圖像的部分訓(xùn)練集如圖1所示[17]。

從圖2給出的4種算法在Yale人臉數(shù)據(jù)集上識別率的對比實驗可以看出，以原始LPP算法(空心點所在折線)的實驗數(shù)據(jù)折線走勢為基礎(chǔ)，實心黑點折線代表的LPANMM算法波動幅度很大，數(shù)據(jù)不穩(wěn)定，倒三角折線代表的RAF-GE算法同LPANMM算法一樣走勢不穩(wěn)定，

表1 數(shù)據(jù)集描述

穩(wěn)定性能略差一些，實驗結(jié)果數(shù)據(jù)的波動幅度很大，我們反復(fù)多次進行試驗后，實驗數(shù)據(jù)中LPANMM算法和RAF-GE算法識別率走勢結(jié)果仍然顯示如此。但本文提出的RLPP算法的識別率一直最高。

圖1 不同人臉圖像的部分訓(xùn)練集

圖2 4種算法在Yale人臉庫準(zhǔn)確率曲線

算法Yale2 個訓(xùn)練集4個訓(xùn)練集6個訓(xùn)練集8個訓(xùn)練集LPP78.65±8.6781.58±3.8482.89±4.9783.92±4.59RLPP90.64±2.0595.98±1.7792.16±2.5092.12±3.51LPANMM46.78±27.0476.17±6.5679.53±4.5677.49±3.45RAF-GE39.47±23.7977.63±6.7475.15±6.0578.22±5.39

從表2統(tǒng)計的平均值和相對誤差值結(jié)果可以看出，在Yale人臉數(shù)據(jù)集中，當(dāng)訓(xùn)練樣本個數(shù)選取為2時，數(shù)據(jù)樣本的平均識別率從LPP的78.65%提高到改進后的90.64%；當(dāng)每類訓(xùn)練樣本個數(shù)選取為6時，數(shù)據(jù)樣本的平均識別率從LPP的82.89%提高到改進后的92.16%；同時RLPP算法的相對誤差與其他算法相比略低一些，整個識別率曲線的波動相對不大，反應(yīng)出RLPP算法在Yale人臉數(shù)據(jù)集里體現(xiàn)出很好的穩(wěn)定性。

圖3 4種算法在YaleB人臉庫準(zhǔn)確率曲線

算法Yale B10個訓(xùn)練集15個訓(xùn)練集20個訓(xùn)練集25個訓(xùn)練集LPP82.22±6.6483.77±4.3684.94±4.3282.02±6.48RLPP91.42±3.1297.62±1.1996.75±1.6497.34±1.22LPANMM71.11±3.0980.41±7.1677.34±6.2765.90±7.24RAF-GE73.89±7.1975.88±4.0678.36±4.7057.35±5.70

由圖3和表3數(shù)據(jù)分析可知在Yale B人臉庫中，4種算法的準(zhǔn)確率曲線中RLPP算法的準(zhǔn)確率浮動率介于90%～98%之間，比較穩(wěn)定，且當(dāng)訓(xùn)練樣本數(shù)選取為8時，RLPP算法在Yale B人臉庫中的平均值最大、相對誤差最小，在本次測試樣本中優(yōu)于其他3種算法；由圖4和表4數(shù)據(jù)分析可以看出，在ORL人臉庫中進行測試時，不同算法數(shù)據(jù)差異較大，準(zhǔn)確率曲線波動明顯，整體數(shù)據(jù)準(zhǔn)確率偏低。其中LPP算法數(shù)據(jù)不穩(wěn)定較明顯且當(dāng)訓(xùn)練樣本數(shù)據(jù)為2、3、4時，識別率處在比較低的水平，這是由于LPP算法針對ORL人臉庫中部分人臉表情和細節(jié)變化，例如戴或不戴眼鏡，人臉姿態(tài)深度旋轉(zhuǎn)和平面旋轉(zhuǎn)一定度數(shù)，人臉尺寸略有變化等檢測不敏感。雖然如此，RLPP的準(zhǔn)確率仍在LPP，LPANMM 和RAF-GE三種算法之上，平均較其他3種算法比較較為穩(wěn)定，根據(jù)相對誤差數(shù)據(jù)進行分析顯示測試結(jié)果更為客觀。這是因為RLPP算法利用類別信息構(gòu)造吸引向量，從而使用矢量來存儲特征的測量結(jié)果，進而保留局部鄰域結(jié)構(gòu)使實驗結(jié)果更穩(wěn)定。

圖4 4種算法在ORL人臉庫準(zhǔn)確率曲線

算法ORL2個訓(xùn)練集4個訓(xùn)練集6個訓(xùn)練集8個訓(xùn)練集LPP4.63±0.75.10±0.8126.20±3.5445.11±17.89LPANMM23.7±9.4128.99±10.6237.50±6.9874.03±4.99RAF-GE37.82±7.4637.74±8.3851.26±11.9875.83±3.54RLPP65.65±7.2465.45±5.5876.48±9.4982.50±3.37

4 結(jié)束語

本文提出了一種改進的局部保持投影算法，在識別分類中，為了更好地利用類別信息，在保持樣本點的局部特征外，有效地從高維數(shù)據(jù)中提取出低維的人臉圖像信息并提高人臉圖像的識別率和識別速度，使分類達到一定優(yōu)化，基于LPP算法結(jié)合流形學(xué)習(xí)思想，通過構(gòu)造一種吸引向量的方法提出一種改進的局部保持投影算法RLPP。RLPP首先建立臨界圖在高維空間，然后找到權(quán)重鄰接圖矩陣。最后，RLPP利用類別信息和投影矩陣進行樣本從高維空間到低維空間投影。在標(biāo)準(zhǔn)人臉數(shù)據(jù)庫上的實驗結(jié)果中可以看到，改進后算法的識別率優(yōu)于LPP算法、LPANMM算法和RAF-GE算法，具有較強的泛化能力和較高的識別率，因而，RLPP在人臉識別任務(wù)中具有優(yōu)勢，可以提供更好的不同訓(xùn)練次數(shù)下的算法效果樣本，是一種行之有效的降維算法。