基于PSO—LDA的人臉識(shí)別算法

王鵬濤 王智文

摘 要：線性判別分析（LDA）方法在人臉識(shí)別特征提取中應(yīng)用廣泛.針對(duì)其在應(yīng)用方面存在的缺陷，本文提出一種基于粒子群優(yōu)化（PSO）的LDA算法（PSO-LDA）的人臉識(shí)別算法.通過粒子群優(yōu)化算法找尋到矩陣的最佳投影矢量，避免了直接對(duì)矩陣求特征值和特征向量，并通過多次迭代來解決投影空間中邊緣類相近樣本重疊問題.在ORL庫中進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明提出的方法抗噪性能好，能明顯提高人臉識(shí)別率.該算法具有識(shí)別穩(wěn)定和便于實(shí)現(xiàn)的特點(diǎn).

關(guān)鍵詞：線性判別分析；粒子群算法；最佳投影矢量；PSO-LDA

中圖分類號(hào)：TP317.4 文獻(xiàn)標(biāo)志碼：A

0 引言

人臉識(shí)別是生物特征識(shí)別的一種，也是模式識(shí)別等領(lǐng)域中的前沿研究課題，因?yàn)槠渚哂兄苯有?，非接觸性，方便友好等特點(diǎn)，在鐵路、公安、銀行等眾多領(lǐng)域得到了廣泛的研究[1-2].目前，數(shù)字圖像處理技術(shù)在實(shí)際應(yīng)用中廣泛使用[3]，人臉識(shí)別越來越成為當(dāng)前模式識(shí)別和人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)[4].線性判別分析（LDA）方法作為一種經(jīng)典的特征提取算法，由于其對(duì)光照、表情、姿態(tài)的敏感度較低，因而在人臉識(shí)別中得到廣泛使用[5].但在使用LDA算法時(shí)會(huì)遇到兩個(gè)方面的問題：1）求解復(fù)雜協(xié)方差矩陣的特征值和特征向量時(shí)，會(huì)遇到矩陣不可解的情況；2）存在邊緣類，使得投影空間中的相近樣本重疊的問題.針對(duì)這兩方面的缺陷，本文提出了一種基于粒子群優(yōu)化（PSO）的LDA算法（PSO-LDA），用粒子群優(yōu)化算法求矩陣的最佳投影矢量，避免了直接對(duì)矩陣求特征值和特征向量，通過多次迭代求解能很好地避免邊緣類問題.

1 相關(guān)理論

人臉識(shí)別方面的相關(guān)理論比較多，本文僅就經(jīng)典的人臉特征提取算法的線性判別分析方法進(jìn)行簡(jiǎn)單介紹，并介紹用于優(yōu)化該算法的粒子群優(yōu)化算法.

1.1 傳統(tǒng)LDA算法簡(jiǎn)介

線性判別分析（Linear Discriminant Analysis，LDA）是模式識(shí)別的經(jīng)典算法之一[6].線性判別分析方法的基本思想是將高維模式樣本投影到最佳鑒別矢量空間，以達(dá)到抽取分類信息和壓縮特征空間維數(shù)的目的，使投影后的模式樣本在新的子空間中有最大的類間距離和最小的類內(nèi)距離[7-8]，即選擇使類間與類內(nèi)離散度矩陣比值最大的特征來保證樣本數(shù)據(jù)在投影空間中有最佳的可分離性[9-10].分別用式（1）、式（2）和式（3）來定義類間離散度矩陣SB，類內(nèi)離散度矩陣SW和目標(biāo)函數(shù)Ja.

1.2 粒子群優(yōu)化算法簡(jiǎn)介

粒子群優(yōu)化算法（Particle Swarm Optimization，PSO），是源于Kennedy博士和Eberhart博士對(duì)鳥群覓食的研究提出的進(jìn)化算法[12]，其中，首次研究是為了解決連續(xù)條件下的優(yōu)化問題，隨著越來越多的問題出現(xiàn)在離散空間，粒子群的研究方向也朝著這方面轉(zhuǎn)變[13].鳥類在覓食時(shí)，每只鳥都不是直接去尋找食物，而是通過尋找距食物最近的鳥來進(jìn)行下一步搜尋.因此，隨機(jī)產(chǎn)生一組粒子，每個(gè)粒子對(duì)應(yīng)一個(gè)適應(yīng)度的值，該值由適應(yīng)度函數(shù)決定，而適應(yīng)度函數(shù)用速度、位置和適應(yīng)度的值來表征該粒子特征[14-16].算法通過式（4）和式（5）來進(jìn)行速度更新和位置更新[17].

其中，為慣性權(quán)重，表示粒子對(duì)自身速度的記憶程度，在PSO算法中一般設(shè)為[0.3，1.2]之間的一個(gè)常數(shù)，r1，r2取區(qū)間[0，1]的隨機(jī)數(shù)，c1，c2是加速因子，為非負(fù)整數(shù)，c1是粒子跟蹤自己歷史最優(yōu)值的權(quán)重系數(shù)，它表示粒子自身的認(rèn)知，所以叫“自我認(rèn)知”；c2是粒子跟蹤群體最優(yōu)值的權(quán)重系數(shù)，它表示粒子對(duì)整個(gè)群體知識(shí)的認(rèn)識(shí)，所以叫做“社會(huì)認(rèn)知”，通常取c1=c2=1.494 45[18-19].pbest為個(gè)體極值，gbest為整個(gè)粒子群的全局極值，Xk記錄第k個(gè)粒子的當(dāng)前位置，Vk記錄第k個(gè)粒子的當(dāng)前速度，為了控制粒子因隨意亂跑而超出搜尋范圍，通常對(duì)粒子設(shè)置一個(gè)限度，Xk大小在[-xmax，xmax]，Vk大小設(shè)置在[-vmax，vmax].當(dāng)目標(biāo)函數(shù)誤差達(dá)到要求或者迭代次數(shù)到達(dá)上限則算法終止.

進(jìn)一步研究表明，慣性權(quán)重因子值與全局尋優(yōu)能力成正比.值較大則全局尋優(yōu)能力強(qiáng)，反之則全局尋優(yōu)能力弱.但是，對(duì)于迭代算法而言，作為常數(shù)值引入到粒子群優(yōu)化算法之中并不能很好地增強(qiáng)算法的全局尋優(yōu)能力.為了得到更優(yōu)的全局尋優(yōu)能力同時(shí)又得到相對(duì)較小的慣性權(quán)重因子，故而慣性權(quán)重因子的取值方式得到了有效改進(jìn)，其慣性權(quán)重因子轉(zhuǎn)變?yōu)閯?dòng)態(tài)值，用式（6）來計(jì)算.

式（6）中，t為當(dāng)前的迭代次數(shù)，tmax為最大的迭代次數(shù)，（t）則代表了慣性權(quán)重因子在第t次迭代的值，t0是慣性權(quán)重的最初值，而tn則是慣性權(quán)重的最終值.

慣性權(quán)重因子（t）的引入使得標(biāo)準(zhǔn)粒子群優(yōu)化算法在收斂的穩(wěn)定性上得到了很大改善，經(jīng)過大量的數(shù)據(jù)演算與近20年的技術(shù)融合，慣性權(quán)重因子（t）的取值從0.9遞減到0.4可以使得粒子群優(yōu)化算法擁有較好的性能.慣性權(quán)重因子（t）對(duì)粒子群優(yōu)化算法穩(wěn)定性收斂的結(jié)果，使得粒子群優(yōu)化算法成功地運(yùn)用到了諸多實(shí)際問題的解決方案之中.

2 提出的PSO-LDA算法

Step1 初始化一簇粒子.根據(jù)數(shù)據(jù)復(fù)雜程度，設(shè)定迭代次數(shù)genmax=50，粒子群規(guī)模popsize=30，隨機(jī)位置Xk∈[-1，1]和隨機(jī)速度Vk=[-2，2].值得注意的是，粒子群優(yōu)化算法中粒子的位置，為LDA算法的核心：投影矩陣A.因此，在設(shè)置投影矩陣大小時(shí)，需要考慮待優(yōu)化矩陣，假設(shè)待優(yōu)化的數(shù)據(jù)大小為n×m，其中m為樣本個(gè)數(shù)，n是樣本維數(shù)，為了達(dá)到降維的目的，就需要一個(gè)大小為d×m的投影矩陣，其中dStep3 對(duì)每個(gè)粒子，將其適應(yīng)值與其經(jīng)過的最好位置pbest作比較，如果較好，則將其作為當(dāng)前的最好位置pbest.

Step4 對(duì)每個(gè)粒子，將其適應(yīng)值與其經(jīng)過的最好位置gbest作比較，如果較好，則將其作為當(dāng)前的最好位置gbest.

Step5 根據(jù)式（4）、式（5）調(diào)整粒子速度和位置.若粒子陷入局部最優(yōu)，返回Step 1.

Step6 未達(dá)到結(jié)束條件則轉(zhuǎn)Step 2.

Step7 迭代終止，即達(dá)到最大迭代次數(shù).

3 仿真實(shí)驗(yàn)結(jié)果及分析

本文使用ORL數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)，該庫中共有40個(gè)不同性別、不同年齡的對(duì)象，每個(gè)對(duì)象10幅人臉圖像，共計(jì)400幅圖像，大小為112×92，256個(gè)灰度級(jí)，其中，每個(gè)對(duì)象的人臉表情和姿態(tài)均有變化，包括笑、不笑，戴眼鏡、不帶眼鏡等.圖2選取了ORL數(shù)據(jù)庫中部分人臉圖像[20].實(shí)驗(yàn)時(shí)，為提高識(shí)別速度，圖片大小壓縮為19×15，將后2幅圖像作為測(cè)試樣本，其余8幅圖像作為訓(xùn)練樣本，計(jì)算傳統(tǒng)LDA算法和PSO-LDA算法識(shí)別率.然后將訓(xùn)練樣本逐次遞減，測(cè)試樣本不變，重新計(jì)算識(shí)別率.LDA和PSO-LDA識(shí)別率如圖3所示.從圖3可以看出不同訓(xùn)練樣本數(shù)目下，PSO-LDA識(shí)別率均值遠(yuǎn)遠(yuǎn)大于LDA識(shí)別率，LDA平均識(shí)別率為36.25%，PSO-LDA平均識(shí)別率為94%.隨著訓(xùn)練樣本數(shù)目的增加PSO-LDA識(shí)別率基本穩(wěn)定，而傳統(tǒng)LDA算法識(shí)別率卻波動(dòng)較大，可以看出提出算法對(duì)小樣本問題有所改善.但當(dāng)只將一幅人臉圖像作為訓(xùn)練樣本時(shí)，PSO-LDA識(shí)別率略低于傳統(tǒng)LDA，因?yàn)楫?dāng)把一幅人臉圖像作為訓(xùn)練樣本計(jì)算類內(nèi)距SW時(shí)，樣本類均值即為樣本值，所以計(jì)算出的SW為零矩陣，則導(dǎo)致PSO-LDA算法中目標(biāo)函數(shù)出現(xiàn)錯(cuò)誤，識(shí)別率降低.

為了驗(yàn)證PSO-LDA的可行性，測(cè)試了不同圖片大小的識(shí)別率，采用LDA和PSO-LDA識(shí)別率最高時(shí)的訓(xùn)練樣本圖像數(shù)，分別改變照片大小為5×4，10×8，15×15，19×15，25×25，38×30，再次計(jì)算LDA和PSO-LDA算法識(shí)別率，實(shí)驗(yàn)結(jié)果如圖4所示.實(shí)驗(yàn)結(jié)果表明，改變圖像分辨率大小時(shí)，PSO-LDA均有較高識(shí)別率，LDA識(shí)別率波動(dòng)較大，穩(wěn)定性差.在圖像大小為15×15時(shí)，兩種算法均有較好表現(xiàn)，由此可以看出，圖像維數(shù)大小對(duì)識(shí)別率有直接影響，如何準(zhǔn)確地選取圖像維數(shù)有進(jìn)一步研究的意義.

在PSO-LDA算法中，終止條件為達(dá)到迭代次數(shù).使用相同的訓(xùn)練樣本和測(cè)試樣本，設(shè)定不同的迭代次數(shù)，觀察對(duì)識(shí)別率的影響，實(shí)驗(yàn)結(jié)果如圖5所示.單獨(dú)改變迭代次數(shù)，識(shí)別率也有不同，因此，在使用本文提出算法進(jìn)行人臉識(shí)別時(shí)，選擇合適的迭代次數(shù)也能提高算法識(shí)別率.

從前面3次實(shí)驗(yàn)?zāi)軌蚩闯鯬SO-LDA算法有很好的效果，為了進(jìn)一步驗(yàn)證本文提出算法的魯棒性，分別加入椒鹽噪聲、高斯白噪聲、泊松噪聲、斑點(diǎn)噪聲，圖6繪制在不同訓(xùn)練樣本數(shù)下加入不同噪聲的識(shí)別率.對(duì)比圖1無噪聲實(shí)驗(yàn)，可以看出，加入不同噪聲時(shí)的識(shí)別率同無噪聲時(shí)的識(shí)別率近似，上下波動(dòng)在5%，同樣有較高的識(shí)別率.因此，本文提出的算法具有良好的魯棒性.

從4次實(shí)驗(yàn)結(jié)果來看，本文提出的PSO-LDA算法在ORL數(shù)據(jù)庫上的表現(xiàn)均優(yōu)于傳統(tǒng)LDA算法，不僅在識(shí)別率上有很大提高，而且有良好的魯棒性.

4 結(jié)語

本文通過介紹傳統(tǒng)LDA算法和PSO算法，并將兩者結(jié)合提出PSO-LDA算法.通過PSO算法求解LDA中的投影矩陣，改善了LDA算法的小樣本識(shí)別率，解決了傳統(tǒng)LDA中復(fù)雜繁瑣的協(xié)方差矩陣的求解問題，同時(shí)體現(xiàn)出PSO-LDA的方便、快捷，而且在識(shí)別效果上看識(shí)別率得到了明顯提高，有良好的魯棒性并且穩(wěn)定.實(shí)驗(yàn)結(jié)果表明，這種算法在人臉識(shí)別方面表現(xiàn)優(yōu)良，而且通過研究也提出更高的要求，如何選擇合適的圖像大小和迭代次數(shù)使識(shí)別率再提高成為今后研究的重點(diǎn).

參考文獻(xiàn)

[1] ZHOU C J，WANG L，ZHANG Q，et al. Face recognition based on PCA image reconstruction and LDA[J]. Optik-International Journal for Light and Electron Optics，2013，124（22） ： 5599-5603.

[2] MARVADI D，PAUNWALA C，JOSHI M，et al. Comparative analysis of 3D face recognition using 2D-PCA and 2D-LDA approaches[C]//Proceedings 2015 5th Nirma University International Conference on Engineering，NUiCONE 2015.US：Institute of Electrical and Electronics Inc，2015.

[3] 俞昊，林川，譚光興，等. 視覺注意機(jī)制與Canny算子結(jié)合的目標(biāo)輪廓檢測(cè)方法[J].廣西科技大學(xué)學(xué)報(bào)， 2016，27（2）：87-92.

[4] 周德龍，高文，趙德斌. 基于奇異值分解和判別式KL投影的人臉識(shí)別[J].軟件學(xué)報(bào)，2003，14（4）：783-789.

[5] 周柏清，任勇軍. LDE融合光譜回歸分類的光照變化人臉識(shí)別[J]. 計(jì)算機(jī)工程與應(yīng)用，2014，50（11）：154-158.

[6] PASAD M M. 1D-LDA verses 2D-LDA in online hadwriting recognition[C]//2014 International Conference on Circuits，Communication，Control and Computing，IEEE ICC 2014.US：Institute of Electrical and Electronics Inc，2014.

[7] 董曉慶，陳洪財(cái). 基于子模式行列方向二維線性判別分析特征融合的特征提取[J].計(jì)算機(jī)應(yīng)用，2014，34（12）：3593-3598.

[8] BANSAL A，MEHTA K，ARORA S. Face recognition using PCA and LDA algorithm[C]//International Conference on Advanced

Computing &Communication Technologies.US：Institute of Electrical and Electronics Inc，2012.

[9] CLEMMENSEN L，HASTIE T，WITTEN D，et al. Sparse discriminant analysis[J]. Technometrics，2011，53 （4）：406-413.

[10] HASTIE T，BUJA A，TIBSHIRANI R. Penalized discriminant analysis[J].Annals of Statistics，1995，23（1）：73-102.

[11] LU G F，ZOU J，WANG Y. Incremental complete LDA for face recognition[J]. Pattern Recognition，2012，45 （7）：2510–2521.

[12] KENNEDY J，EBERHART R.Particle swarm optimization[C]//IEEE International Conference on Neural Networks，ICNN 1995.

US：Institute of Electrical and Electronics Inc，1995.

[13] AOKI T，ARANHA C，KANOH H.PSO algorithm with transition probability based on hamming distance for graph coloring problem[C]//2015 IEEE International Conference on Systems.US：Institute of Electrical and Electronics Inc.2015.

[14] 唐俊. PSO 算法原理及應(yīng)用[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2010，20（2）：213-216.

[15] 張利鳳.粒子群優(yōu)化算法及其應(yīng)用[D].重慶：重慶大學(xué)，2012.

[16] MARINI F，WALCZAK B. Particle swarm optimization（PSO）. A tutorial[J]. Chemometrics and Intelligent Laboratory Systems.

2015，149：153-165.

[17]皮倩瑛，葉洪濤.一種動(dòng)態(tài)調(diào)節(jié)慣性權(quán)重的粒子群算法[J].廣西科技大學(xué)學(xué)報(bào)，2016，27（3）：26-32.

[18] DADGAR M，JAFARI S，HAMZEH A. A PSO-based multi-robot cooperation method for target searching in unknown environments[J]. Neurocomputing，2016，177（C）：62-74.

[19] YAN W.Improved discrete particle swarm optimization and application in attribute reduction[D].Harbin：Harbin Engineering University，2011.

[20] ATT Laboratories Cambridge.The ORL Database of Faces[DS/OL].（2015）[2015-07-12].http：//www.cam-orl.co.uk/ facedatabase.html.

Abstract：The method of linear discriminant analysis （LDA） is widely used in feature extraction of face recognition. In view of its defects in application， a LDA face recognition algorithm based on particle swarm optimization （PSO） is proposed in this paper. The eigenvalues and eigenvectors of matrix are avoided to calculate directly by using particle swarm optimization algorithm to find the best projection vectors of matrix， and the overlapping problem of similar samples of the edge class in the projection space is solved through several iterations. Experiments are conducted using ORL face database， the results show that the proposed method has good anti-noise performance and can significantly improve the rate of face recognition. The proposed method have a better stability， and easy to realize.

Key words： linear discriminant analysis； particle swarm optimization algorithm； best projection vectors； PSO-LDA

（學(xué)科編輯：黎 婭）