基于仿生學(xué)的不相關(guān)局部保持鑒別分析

寧 欣 李衛(wèi)軍 李浩光 劉文杰

(中國(guó)科學(xué)院半導(dǎo)體研究所 北京 100083) (ningxin@semi.ac.cn)

?

基于仿生學(xué)的不相關(guān)局部保持鑒別分析

寧 欣 李衛(wèi)軍 李浩光 劉文杰

(中國(guó)科學(xué)院半導(dǎo)體研究所 北京 100083) (ningxin@semi.ac.cn)

由于形象思維方式是人類的一種本質(zhì)思維方式，人類通過各種感官來認(rèn)知事物的規(guī)律性，進(jìn)而提取出具有代表性的特征，因此通過形象思維的方法來提取事物的本質(zhì)特征符合人類認(rèn)知事物的規(guī)律.針對(duì)人臉識(shí)別中特征提取問題，該算法以形象認(rèn)知規(guī)律與無監(jiān)督判別投影為理論基礎(chǔ)，提出了一種仿生不相關(guān)空間局部保持鑒別分析(biomimetic uncorrelated locality preserving discriminant analysis, BULPDA)算法.算法首先根據(jù)人類形象認(rèn)知的特性構(gòu)建了一種新的相似系數(shù)表示方法；然后結(jié)合不相關(guān)空間概念，確保矢量空間具有不相關(guān)性；最后給出了基于奇異值分解的矢量空間求解方法，形成了一種特征提取新思路.在標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，新算法優(yōu)于傳統(tǒng)的特征提取方法和其他改進(jìn)的局部保持投影方法.

無監(jiān)督判別投影；形象認(rèn)知；不相關(guān)空間；特征提??；奇異值分解

在基于子空間分析的方法中，He等人[1]提出的局部保持投影 (locality preserving projection， LPP) 算法是一種經(jīng)典特征提取算法，該算法由于考慮了樣本的流形結(jié)構(gòu)，在模式識(shí)別中取得了較好的識(shí)別效果，因而得到了關(guān)注，并從不同角度提出了改進(jìn)的算法，均取得了較好的識(shí)別效果[2-8]；文獻(xiàn)[2]給出了LPP在應(yīng)用于高維小樣本時(shí)的具體求解框架；文獻(xiàn)[3]則針對(duì)LPP數(shù)值解的穩(wěn)定性進(jìn)行了研究，給出了一種穩(wěn)定的求解模型；文獻(xiàn)[4]則針對(duì)LPP中的相似矩陣進(jìn)行了研究，給出了一種優(yōu)化相似矩陣的LPP；但上述改進(jìn)方法并沒有從分類的角度考慮問題，文獻(xiàn)[9]提出的無監(jiān)督判別投影(unsupervised discriminant projection， UDP)算法更適合分類，該方法目標(biāo)函數(shù)類似于Fisher線性鑒別分析，使得投影后同類樣本相互靠近，非同類樣本相互遠(yuǎn)離，但是該方法沒有用到樣本間的類別信息，當(dāng)人臉圖像的表情、姿態(tài)等發(fā)生較明顯變化時(shí)，算法的識(shí)別性能會(huì)明顯下降；因此，后續(xù)有很多基于UDP算法的改進(jìn)[10-11]，文獻(xiàn)[11]提出了一種基于Fisher的保局投影(Fisher locality preserving projections, FLPP)算法，改善了算法的識(shí)別性能，但是未考慮到類別內(nèi)部與不同類之間的規(guī)律.

總而言之，現(xiàn)有的特征提取技術(shù)是從邏輯思維的方法來解決形象思維的問題，但是以定理、推論等手段的邏輯思維方法很難反映人類認(rèn)知過程的本質(zhì)性.而形象思維方法是人的一種本質(zhì)思維方式，通過人的各種感官來認(rèn)知事物的規(guī)律性，進(jìn)而提取出具有代表性的特征，因此形象思維的問題通過形象思維的方法來解決是具有優(yōu)勢(shì)的.另一方面，上述方法所求的鑒別矢量之間不具有不相關(guān)性，在特征提取理論中，通常希望所獲得的鑒別矢量相關(guān)性越低越好，從而提高識(shí)別率.本文結(jié)合人類形象思維的特性提出了一種仿生不相關(guān)局部保持鑒別分析(biomimetic uncorrelated locality preserving discriminant analysis, BULPDA)算法.BULPDA算法以UDP算法為理論基礎(chǔ)，根據(jù)形象思維的特性提出了一種新的相似系數(shù)構(gòu)造方法，不僅利用了樣本間的類別信息，而且反映了同類樣本之間的規(guī)律和不同類樣本間的相似性；另外，BULPDA算法引入了不相關(guān)空間，使得最終的矢量集具有不相關(guān)性，不僅進(jìn)一步發(fā)展了UDP算法，而且形成了一種特征提取的新思想和新方法.

1 無監(jiān)督判別投影

UDP算法[9]是對(duì)LPP算法的改進(jìn)，其目標(biāo)函數(shù)類似于Fisher線性鑒別分析，因此，相比于LPP算法，UDP算法更加適合分類，但是仍然沒有用到類別信息.樣本空間X=[x1,x2,…,xi]，每個(gè)xi代表一幅人臉圖像，首先給出UDP算法中局部散度矩陣SL、非局部散度矩陣SNL與總體散度矩陣Stotal的定義為

(1)

(2)

(3)

式(1)與式(2)中的相似系數(shù)si j計(jì)算為

(4)

局部散度矩陣SL與非局部散度矩陣SNL類似于Fisher線性判別分析中的類內(nèi)散度矩陣和類間散度矩陣，但是并沒有用到樣本的類別信息.UDP算法的目標(biāo)函數(shù)為

(5)

或者

(6)

(7)

或者

(8)

假設(shè)把求得的特征值按降序排列λi≥λi+1，選擇對(duì)應(yīng)前d(通常d

2 不相關(guān)空間局部保持鑒別分析

2.1 仿生形象思維特性

仿生形象思維方法應(yīng)用于信息科學(xué)領(lǐng)域以來，成功地應(yīng)用于模式識(shí)別等多領(lǐng)域[12-14].相對(duì)于用邏輯思維方法來解決信息科學(xué)領(lǐng)域問題，以形象思維方法研究為基礎(chǔ)的方法，是目前解決圖像處理、語音識(shí)別等形象思維問題的有效方法.本文算法主要是依據(jù)2個(gè)形象思維特性：

1) 同源連續(xù)性

來源于同一個(gè)事物并表征其不同狀態(tài)的樣本，稱為同源樣本.一般情況下，2個(gè)同源樣本α1與α2之間至少存在1條連續(xù)的通道η，該通道中的每一個(gè)點(diǎn)均屬于α1與α2的同源樣本，使得樣本α1沿著通道η所表示的是一個(gè)連續(xù)漸變的過程，可以逐步演變?yōu)橥礃颖睛?.同源樣本之間所存在的上述內(nèi)在規(guī)律，我們稱之為同源連續(xù)性規(guī)律(principle of homology continuity， PHC)[15-16].

2) 異源相似性

2個(gè)不同類的樣本存在著一定的相似性.從人類形象認(rèn)知方面出發(fā)，假設(shè)人區(qū)分1只狗和1只羊的認(rèn)知難度為β1，區(qū)分1只狗和1只狼的認(rèn)知難度為β2，那么很顯然有β1>β2，因?yàn)楣放c狼之間的相似性大于狗與羊的相似性，更加難以區(qū)分.因此，一個(gè)樣本點(diǎn)和不同的異類樣本點(diǎn)之間的相似性是不同的，相似性的量化值是漸變的，這個(gè)關(guān)于異源的樣本間的相似性規(guī)律，我們稱之為異源相似性原理.

傳統(tǒng)的模式識(shí)別方法做訓(xùn)練時(shí)，將訓(xùn)練樣本嚴(yán)格分為正樣本和負(fù)樣本，但是并未考慮到正樣本內(nèi)在的規(guī)律，也沒有考慮到正樣本與負(fù)樣本之間的聯(lián)系，因此，并不符合人類形象思維的認(rèn)知過程.

2.2 BULPDA算法描述

在上述UDP算法中的局部散度矩陣SL和非局部散度矩陣SNL均用到了相似系數(shù)si j，si j表示樣本xi與樣本xj之間的相似關(guān)系.LPP算法中，si j構(gòu)成近鄰矩陣S表示不同樣本之間的位置相似權(quán)值.但是，算法UDP與LPP均未用到樣本間的類別信息，只是利用樣本的近鄰關(guān)系來構(gòu)造相似系數(shù).文獻(xiàn)[7]用到了類別間的信息，但是未考慮到類別內(nèi)部的同源連續(xù)性與不同類之間的異源相似性.在此，給出按照形象思維特征構(gòu)造的相似系數(shù)hi j：

若xi與xj為同類樣本，則：

(9)

若xi與xj為不同類樣本，則：

(10)

其中,t為可調(diào)參數(shù)，取值范圍為0

(11)

顯然式(11)可以等價(jià)于

(12)

此時(shí)目標(biāo)函數(shù)中的W沒有任何限制，然而在特征提取理論中，一般希望獲得的鑒別矢量空間相關(guān)性盡可能小，最好是不相關(guān)的，從而提高算法的識(shí)別率.下面給出不相關(guān)鑒別空間的定義.

根據(jù)定義1可知若使W具有不相關(guān)性，需滿足：

(13)

綜合式(12)與式(13)可得最優(yōu)函數(shù)為

(14)

2.3 BULPDA算法的求解

由于最終的鑒別矢量W=(w1,w2,…,wr)之間具有不相關(guān)性，所以存在1個(gè)不相關(guān)空間P，使得PTStotalP=I.BULPDA算法求解的關(guān)鍵一步是不相關(guān)空間的構(gòu)造，下面給出不相關(guān)空間P的構(gòu)造過程.

首先對(duì)Stotal進(jìn)行奇異值分解，由于Stotal為對(duì)稱的半正定矩陣，根據(jù)矩陣定理可被分解為

(15)

其中，U和V分別為正交矩陣，Σ2m是按照降序排列的對(duì)角矩陣，m=rank(Stotal).令U=(U1,U2)，U1∈n×m，U2∈n×(n-m)，n為樣本的維數(shù).U1為Stotal非零特征值對(duì)應(yīng)的特征向量，令，則有：

(16)

由于P滿足不相關(guān)空間的定義，故P即為所求的不相關(guān)空間.

P為Stotal經(jīng)過奇異值分解后得出的不相關(guān)空間，P∈m×m；Q為進(jìn)行特征值分解后前r個(gè)最大特征值對(duì)應(yīng)的特征向量，Q∈m×r.令W=PQ，其中QTQ=Ir，r為最終選取特征的個(gè)數(shù)，則式(14)可以轉(zhuǎn)化為

(17)

(18)

綜上所述，關(guān)于BULPDA算法的具體實(shí)現(xiàn)步驟如下：

1) 根據(jù)式(9)和式(10)計(jì)算出具有形象思維特性的相似系數(shù)hi j，并將其線性歸一化為0～1范圍之間；

3) 對(duì)Stotal進(jìn)行奇異值分解，然后求出不相關(guān)空間P；

6) 令W=PQ=[w1,w2,…,wr]，即W為所求的仿生不相關(guān)局部保持鑒別矢量集.

3 實(shí)驗(yàn)和分析

為了驗(yàn)證BULPDA算法的性能，在YALE和CMU PIE數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，為了盡可能地避免識(shí)別部分的干擾，采用最近鄰分類器進(jìn)行分類.

YALE人臉庫(kù)中人臉圖像光照表情變化較大，該人臉庫(kù)包含15個(gè)人的165幅圖像，每人11幅圖像，每人的每幅圖像均是從不同的視角獲得，有較大的表情變化、光照變化以及部分缺損，每幅圖像的分辨率為100×100，圖1為YALE人臉庫(kù)的部分圖像.CMU PIE數(shù)據(jù)庫(kù)包含68個(gè)人的41 368張人臉圖片，采集于不同的姿態(tài)、表情和光照條件.在本實(shí)驗(yàn)中我們選取了C29子集的1 632張圖片作為實(shí)驗(yàn)圖像，一共68個(gè)人，每個(gè)人24張圖像.圖2為CMU PIE人臉庫(kù)的部分圖像.

Fig. 1 11 samples of YALE face database.圖1 YALE人臉庫(kù)11個(gè)樣本

Fig. 2 24 samples of CMU PIE face database.圖2 CMU PIE人臉庫(kù)24個(gè)樣本

3.1 特征維數(shù)實(shí)驗(yàn)及結(jié)果分析

人臉識(shí)別的識(shí)別率主要受到樣本維數(shù)與所提取的特征維數(shù)的影響.本實(shí)驗(yàn)中，為了驗(yàn)證算法的有效性，我們?cè)赮ALE和CMU PIE數(shù)據(jù)庫(kù)上分別選取2個(gè)數(shù)據(jù)庫(kù)中前n張圖像作為訓(xùn)練樣本(YALE數(shù)據(jù)庫(kù)選6張，CMU PIE數(shù)據(jù)庫(kù)選14張)，剩余圖像作為測(cè)試樣本.實(shí)驗(yàn)發(fā)現(xiàn)，F(xiàn)LPP算法與BULPDA算法最大特征個(gè)數(shù)取C-1時(shí)效果最佳(C為樣本類別數(shù))，因此，在下面實(shí)驗(yàn)中，各算法的最大特征個(gè)數(shù)都取為C-1.將BULPDA，LPP，UDP，F(xiàn)LPP[11]算法在提取不同特征數(shù)目時(shí)的識(shí)別性能進(jìn)行了比較，結(jié)果如圖3和圖4所示:

Fig. 3 The recognition rate of four algorithms in YALE database.圖3 YALE人臉庫(kù)上4種算法的性能比較

Fig. 4 The recognition rate of four algorithms in CMU PIE database.圖4 CMU PIE人臉庫(kù)上4種算法的性能比較

從圖3與圖4可知，總體上來看，隨著特征數(shù)目的增加4種算法的識(shí)別率都有明顯的提升.算法FLPP與BULPDA無論在YALA數(shù)據(jù)庫(kù)上還是CMU PIE數(shù)據(jù)庫(kù)上最佳識(shí)別率都高于算法LPP與UDP，這是因?yàn)槎呃玫搅藰颖鹃g的類別信息，屬于有監(jiān)督.另外，可以發(fā)現(xiàn)，算法BULPDA在特征數(shù)目比較少時(shí)優(yōu)勢(shì)并不明顯，但是隨著特征數(shù)目的增加識(shí)別率快速上升，最終高于其他3種算法，這是由于算法BULPDA提取的矢量空間具有不相關(guān)性，隨著特征數(shù)目的增加，這種優(yōu)勢(shì)會(huì)更加明顯.

3.2 不同樣本個(gè)數(shù)實(shí)驗(yàn)及結(jié)果分析

不同的樣本個(gè)數(shù)對(duì)算法的識(shí)別率也有較大影響，為了消除算法BULPDA識(shí)別結(jié)果的偶然性，每次實(shí)驗(yàn)中，在YALE和CMU PIE數(shù)據(jù)庫(kù)中分別隨機(jī)選取n幅圖像作為訓(xùn)練樣本，剩余圖像作為測(cè)試樣本，每組實(shí)驗(yàn)重復(fù)進(jìn)行10次，取平均值作為實(shí)驗(yàn)結(jié)果.為了驗(yàn)證基于仿生特性相關(guān)系數(shù)的有效性，將UDP算法中的相關(guān)系數(shù)更換為本文基于仿生學(xué)的相關(guān)系數(shù)構(gòu)造方法，求解過程不變，構(gòu)成BUDP(biomimetic unsupervised discriminant projection)算法.將算法BULPDA與算法LPP，UDP，F(xiàn)LPP，BUDP在取不同樣本個(gè)數(shù)時(shí)的識(shí)別性能進(jìn)行了比較，結(jié)果如表1與表2所示.

Table 1 The Recognition Rate of Five Algorithms in YALE Database

Table 2 The Recognition Rate of Five Algorithms in CMU PIE Database

由表1與表2可知，總體上5種算法的識(shí)別率隨著樣本數(shù)量的增高而增高.可以看出，BUDP算法在2個(gè)數(shù)據(jù)庫(kù)中取不同樣本時(shí)的識(shí)別率均高于UDP算法，說明了基于仿生學(xué)的相關(guān)系數(shù)構(gòu)造方法比傳統(tǒng)的構(gòu)造方法更加有效；BULPDA算法的識(shí)別率均高于另外4種算法，但是本文算法在多樣本下的優(yōu)勢(shì)比少量樣本情況下更明顯.例如，在YALA數(shù)據(jù)庫(kù)中，樣本數(shù)為6時(shí)BULPDA算法識(shí)別率比FLPP算法高4.2%，樣本數(shù)為3時(shí)BULPDA算法識(shí)別率比FLPP算法高0.6%，說明算法在多樣本情況下優(yōu)勢(shì)更明顯，因?yàn)槎嗔繕颖緮?shù)據(jù)規(guī)律性更加明顯，少量樣本數(shù)據(jù)規(guī)律難以提取，這也符合人類分類認(rèn)知的規(guī)律.

4 總 結(jié)

本文討論了UDP算法以及其他LPP改進(jìn)算法的特點(diǎn)與不足，并在此基礎(chǔ)上提出了一種仿生不相關(guān)局部保持鑒別分析算法BULPDA.本文算法根據(jù)人類形象認(rèn)知的特性提出了一種新的相似系數(shù)構(gòu)建方法，并且引入了不相關(guān)空間概念，使得最終求得的鑒別矢量空間具有不相關(guān)性，最后給出了具體的求解過程.YALE與CMU PIE人臉庫(kù)上的實(shí)驗(yàn)結(jié)果也驗(yàn)證了算法的有效性.盡管本文算法具有一定優(yōu)勢(shì)，但是其本質(zhì)是一種有監(jiān)督算法，在現(xiàn)實(shí)問題中往往很難獲得大量有類別標(biāo)簽的樣本，因此如何充分利用無標(biāo)簽樣本，即將算法拓展為一種半監(jiān)督算法是我們下一步研究的重點(diǎn).

[1]He Xiaofei, Yan Shuicheng, Hu Yuxiao, et al. Face recognition using Laplacianfaces[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(3): 328-340

[2]Zhang Yinling, Yang Fan, Zhao Xuetang. An improved LPP algorithm[C] //Proc of the 21st Int Conf on Niu Jing Systems and Infomatics. Piscataway, NJ: IEEE, 2012: 664-668

[3]Xu Yong, Song Fengxi, Feng Ge, et al. A novel local preserving projection scheme for use with face recognition[J]. Expert Systems with Applications, 2010, 37(9): 6718-6721

[4]Zhang Limei, Qiao Lishan, Chen Songkan. Graph-optimized locality preserving projections[J]. Pattern Recognition, 2010, 43(6): 1993-2002

[5]Lin Yu’e, Li Jingzhao, Liang Xingzhu. Direct orthogonal discrimination locality preserving projections method[J]. Journal of Optoelectronics·Laser, 2012, 23(3): 561-565 (in Chinese)

(林玉娥, 李敬兆, 梁興柱. 直接正交鑒別保局投影算法[J]. 光電子·激光, 2012, 23(3): 561-565)

[6]Wang Qingjun, Zhang Rubo, Pan Haiwei. Face recognition based on kernel orthogonal local discrimination embedding[J]. Journal of Optoelectronics·Laser, 2010, 21(9): 1386-1389 (in Chinese)

(王慶軍, 張汝波, 潘海為. 基于核正交局部判別嵌入的人臉識(shí)別[J]. 光電子·激光, 2010, 21(9): 1386-1389)

[7]Dornaika F, Assoum A. Enhanced and parameterless locality preserving projections for face recognition[J]. Neurocomputing, 2013, 99(1): 448-457

[8]Lin Guojun, Xie Mei. A face recognition algorithm using Gabor wavelet and orthogonal locality preserving projection[C] //Proc of 2012 Int Conf on Computational Problem-Solving. Piscataway, NJ: IEEE, 2012: 320-324

[9]Wong W, Zhao Haitao. Supervised optimal locality preserving projection[J]. Pattern Recognition, 2012, 45(1): 186-197

[10]Yang Jian, Zhang Dong, Yang Jingyu, et al. Globally maximizing, locally minimizing: Unsupervised discriminant projection with applications to face and palm biometrics[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2007, 29(4): 650-664

[11]Yang Wankou, Sun Changyin, Zhang Lei. A multi-manifold discriminant analysis for image feature extraction[J]. Pattern Recognition, 2011, 44(8): 1649-1657

[12]Wang Guoqiang, Shu Yunxing, Liu Dianting. Fisher locality preserving projections for face recognition[J]. Journal of Computational Information Systems, 2013, 9(8): 2993-3000

[13]Wang Shoujue, Lai Jiangliang. High dimensional imagery geometry and it’s applications[J]. Chinese Journal of Electronics, 2006, 15(4): 761-767

[14]Zhou Quanqiang, Zhang Fuzhi. Ensemble approach for detecting user profile attacks based on bionic pattern recognition[J]. Journal of Computer Research and Development, 2014, 51(4): 789-801 (in Chinese)

(周全強(qiáng), 張付志. 基于仿生模式識(shí)別的用戶概貌攻擊集成檢測(cè)方法[J]. 計(jì)算機(jī)研究與發(fā)展, 2014, 51(4): 789-801)

[15]Yang Guowei, Wang Shoujue, Wei Chengbing. Pattern classification neural network model based on homologue connectedness[J]. Acta Electronica Sinica, 2013, 41(1): 52-55 (in Chinese)

(楊國(guó)為, 王守覺, 衛(wèi)成兵, 等. 基于同源的同類事物連通本性的模式分類神經(jīng)網(wǎng)絡(luò)模型[J]. 電子學(xué)報(bào), 2013, 41(1): 52-55)

[16]Wang Shoujue, Lai Jiangliang. First Step to Multi-Demensional Space Biomimetic Informatics[M]. Beijing: National Defence Industry Press, 2008

Ning Xin, born in 1989. PhD candidate in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, digital image processing and pattern recognition.

Li Weijun, born in 1975. PhD and Professor in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, pattern recognition and intelligent system.

Li Haoguang, born in 1981. PhD candidate in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, digital image processing and pattern recognition.

Liu Wenjie, born in 1989. PhD candidate in the Institute of Semiconductors, Chinese Academy of Sciences. His main research interests include machine learning, digital image processing and pattern recognition.

Uncorrelated Locality Preserving Discriminant Analysis Based on Bionics

Ning Xin, Li Weijun , Li Haoguang, and Liu Wenjie

(InstituteofSemiconductors,ChineseAcademyofSciences,Beijing100083)

Imagery thinking model is an essential way of thinking for human being. It cognizes the regularity of things through various human senses, and then extracts the representative features. Therefore, using the method of imagery thinking to extract the essential characteristics of things is in conformity with the law of human cognition. According to the problem of feature extraction in face recognition technology, we propose an uncorrelated space locality preserving discriminant analysis algorithm—BULPDA based on the theory of unsupervised discriminant projection and image cognitive law. On the basis of the characteristics of human image cognitive, the proposed algorithm first builds a new construction method of similarity coefficient. Then, it applies uncorrelated space concepts to ensure the non-relevance of vector space. Finally, it gives the solution of the proposed algorithm based on singular value decomposition. The algorithm presents a new idea of feature extraction. The experimental results on the standard face database show that the proposed algorithm is better than the traditional preserving projection algorithms.

unsupervised discriminant projection; image cognitive; uncorrelated space; feature extraction; singular value decomposition

2015-07-02；

2015-11-19

國(guó)家自然科學(xué)基金項(xiàng)目(90920013，61572458)；國(guó)家公派訪問學(xué)者項(xiàng)目(201404910237)；國(guó)家重大科學(xué)儀器設(shè)備開發(fā)專項(xiàng)項(xiàng)目(2014YQ470377)

李衛(wèi)軍(wjli@semi.ac.cn)

TP391.4

This work was supported by the National Natural Science Foundation of China (90920013，61572458), the China Scholarship Council (201404910237), and the National Key Scientific Instrument and Equipment Development Project (2014YQ470377).