陳 鳳
(浙江工商職業(yè)技術(shù)學(xué)院電子與信息工程學(xué)院,浙江寧波 315012)
?
一種基于對(duì)稱性和上下文約束的線性鑒別分析方法
陳鳳
(浙江工商職業(yè)技術(shù)學(xué)院電子與信息工程學(xué)院,浙江寧波315012)
在充分考慮人臉對(duì)稱性的基礎(chǔ)上,結(jié)合圖像中像素之間的上下文約束關(guān)系,提出了一種改進(jìn)的圖像鑒別方法,即基于對(duì)稱性和上下文約束的線性鑒別分析方法(SCCLDA).為了證明改進(jìn)算法的優(yōu)勢(shì),本文進(jìn)一步在原始樣本和鏡像樣本的擴(kuò)展集合上測(cè)試了CCLDA(ECCLDA)的識(shí)別性能.實(shí)驗(yàn)研究表明,在人臉受光照、姿態(tài)以及表情等外在因素影響情況下,SCCLDA方法比ECCLDA、CCLDA、LDA等方法在人臉識(shí)別效果上具有更好的穩(wěn)定性和更高的準(zhǔn)確性.
上下文約束;對(duì)稱性;人臉識(shí)別;線性鑒別分析
在圖像識(shí)別中,人臉識(shí)別容易受表情、光照、姿態(tài)等外部因素的影響,導(dǎo)致一般的人臉識(shí)別方法不能全面的表示這些可能發(fā)生的變化,所以很難提高人臉的識(shí)別精度.而大量實(shí)驗(yàn)表明,更多的訓(xùn)練樣本則更容易表示人臉因?yàn)楣庹铡⒈砬?、姿態(tài)等因素所引起的這些變化,因此鏡像圖像在許多人臉識(shí)別的研究中都被單一地用來(lái)擴(kuò)大訓(xùn)練樣本的數(shù)目,可是這些都缺乏深入的理論研究[1].
雖然人臉圖像不具有數(shù)學(xué)上嚴(yán)格定義的鏡像對(duì)稱,但是事實(shí)證明,通過(guò)鏡像變換后的人臉圖像,人們?nèi)匀豢梢院苋菀椎刈R(shí)別出來(lái).因此,近年來(lái)人臉的對(duì)稱性也得到越來(lái)越多學(xué)者的廣泛研究[2-7].Kirby等最早在人臉表征中采用了鏡像樣本[8],并且從信號(hào)重構(gòu)的角度證明,鏡像樣本的引入,可以從一定程度上降低訓(xùn)練樣本集以外樣本的重構(gòu)誤差.楊瓊等又進(jìn)一步研究了鏡像樣本在人臉識(shí)別中的可行性和有效性[1].受圖像奇偶分解思想的啟發(fā),他們提出了SPCA方法,即通過(guò)奇偶樣本各自的本征空間來(lái)構(gòu)建鏡像樣本和原始樣本分別中心化后的聯(lián)合空間.而且,實(shí)驗(yàn)證明SPCA方法的識(shí)別結(jié)果明顯優(yōu)于PCA算法.Song等利用人臉對(duì)稱性緩解了圖像陰影對(duì)識(shí)別效果的影響[9],而且該方法證明了對(duì)于光照所產(chǎn)生的左右半臉的明亮不均有很大的魯棒性.Zeng等充分考慮了人臉正面圖像的對(duì)稱性,并將其引入到了2DPCA方法中,提出了一種改進(jìn)的2DPCA方法(s2DPCA)[10].該方法可以從一定程度上彌補(bǔ)傳統(tǒng)2DPCA方法中協(xié)方差鑒別信息的損失,使得協(xié)方差鑒別信息得到最大程度地利用,這樣每一幅人臉圖像都可以通過(guò)更少的系數(shù)來(lái)表示,從而提高了算法的識(shí)別性能.
但是當(dāng)樣本圖像的姿態(tài)變化比較大時(shí),采用圖像鏡像構(gòu)造對(duì)稱樣本圖像的效果并不理想,因此會(huì)影響算法的識(shí)別效果.而最新研究結(jié)果表明,圖像在高維空間可以呈現(xiàn)特定的流形,像素彼此之間存在相互約束的結(jié)構(gòu)關(guān)系[1].當(dāng)一些外部因素如光照、表情以及姿態(tài)等條件產(chǎn)生變化的情況下,借助圖像像素在高維空間中相互約束的結(jié)構(gòu)關(guān)系,可以從一定程度上彌補(bǔ)基于子空間的特征提取方法的不足.Zhen等提出了CCLDA方法[1]并將這種方法引入到人臉識(shí)別過(guò)程中.該方法在特征提取過(guò)程中,不僅保存了LDA方法的優(yōu)點(diǎn),即考慮了樣本圖像中的鑒別信息,同時(shí)也考慮了樣本圖像中像素在高維空間中彼此之間的相關(guān)約束性,從而使獲得的投影向量包含更多的有效分類(lèi)信息,提高算法識(shí)別的準(zhǔn)確率.受以上研究的啟發(fā),我們?cè)诔浞掷萌四槍?duì)稱性的基礎(chǔ)上,進(jìn)一步結(jié)合圖像中像素之間的上下文約束關(guān)系,提出了改進(jìn)的SCCLDA方法.通過(guò)實(shí)驗(yàn),證明了在人臉受光照、姿態(tài)以及表情等外在因素影響情況下,SCCLDA方法取得了良好的識(shí)別結(jié)果.
1.1CCLDA
(1)
其中,η為一個(gè)平衡常數(shù),用來(lái)平衡訓(xùn)練鑒別能力與上下文限制之間的關(guān)系;Sb為類(lèi)間散布矩陣;Sw為類(lèi)內(nèi)散布矩陣.可以表示為
(2)
(3)
其中,ui為第i類(lèi)訓(xùn)練樣本圖像的類(lèi)平均向量;u為所有訓(xùn)練樣本圖像的平均向量.
Sij為一個(gè)相似矩陣,該矩陣中的任何一個(gè)元素值可以表示每一個(gè)樣本圖像中的像素i和像素j之間的相關(guān)性.Sij定義為
(4)
其中特征向量fi中第i個(gè)元素的值可以用該樣本向量中與之相應(yīng)的第i個(gè)元素的灰度值來(lái)表示,所以fi∈RN.通常情況下,σ的值定義為所有fi的平均值.由(4)式知Sij為一個(gè)對(duì)稱矩陣,所以(1)式中的限制條件J2(w)可以重新定義為
(5)
(6)
所以最佳投影矢量wopt可以簡(jiǎn)化成求滿足(7)式的問(wèn)題,即
(7)
1.2SCCLDA
在特征提取過(guò)程中,很容易出現(xiàn)樣本向量的維數(shù)遠(yuǎn)遠(yuǎn)高于訓(xùn)練樣本類(lèi)內(nèi)樣本的情況.因此為了避免類(lèi)內(nèi)散布矩陣奇異,通常需要先使用降維的方法預(yù)先處理原始數(shù)據(jù)[11].為了解決這個(gè)問(wèn)題,我們通常先使用PCA把特征空間的維數(shù)降到N-C,然后再用CCLDA算法進(jìn)行特征提取.用公式表述為
(8)
如果直接采用PCA方法進(jìn)行降維,容易導(dǎo)致樣本圖像部分信息的損失,以致于再在低維空間獲得的投影矩陣都是原特征空間最優(yōu)映射矩陣的近似.因此,為了解決以上不足,我們可以在充分結(jié)合圖像對(duì)稱性的基礎(chǔ)上,最大程度地保存原始圖像的有效特征,這就是本文提出的改進(jìn)算法SCCLDA的目的.
定義原始樣本圖像集合為{x1,x2,…,xN},原始樣本的鏡像集合為Xm={x1m,x2m,…,xNm},u和um分別表示X和Xm的均值向量,u′表示X∪Xm的均值向量.定義X*表示原始樣本和鏡像樣本分別減去各自均值向量的并集,即
因此,在X*上使用PCA就得到了SPCA的映射矩陣
(9)
如果利用SPCA進(jìn)行CCLDA算法中的第一步映射,有可能比直接采用PCA進(jìn)行降維更能使映射矩陣接近CCLDA的最佳投影矩陣.基于以上假設(shè),我們選擇
(10)
作為(7)式的近似.
(11)
這樣,就可以得到SCCLDA的映射矩陣wSopt.
同樣,在很多研究中,為了增加訓(xùn)練樣本數(shù)目,可以利用人臉的鏡像對(duì)稱性,將人臉的鏡像圖像和原始圖像一起當(dāng)作訓(xùn)練樣本來(lái)訓(xùn)練.這樣獲得的特征空間可能包含更多有效的識(shí)別信息.因此為了充分論證改進(jìn)算法的優(yōu)勢(shì),還可以在原始樣本和鏡像樣本的擴(kuò)展集合上測(cè)試CCLDA算法(ECCLDA)的識(shí)別性能.
假設(shè)X′是ECCLDA用到的集合,它是由X∪Xm與u′的差值構(gòu)成的集合,即
這樣,如果在X′上使用PCA(標(biāo)記為EPCA),然后再使用CCLDA,則
(12)
通過(guò)以上分析,可以分別采用PCA,SPCA和EPCA三種不同的方法來(lái)進(jìn)行第一步的降維,以避免了“小樣本問(wèn)題”,然后進(jìn)一步再在降維后的特征空間采用CCLDA分別得到三種不同區(qū)分能力的映射wCopt,wSopt和wEopt.本文通過(guò)實(shí)驗(yàn)證明,CCLDA算法的識(shí)別結(jié)果不僅受PCA降維數(shù)目不同的影響.同時(shí),在訓(xùn)練樣本數(shù)目有限的條件下,原始訓(xùn)練樣本信息保留的方式也是影響CCLDA方法識(shí)別準(zhǔn)確率的一個(gè)重要的因素.
分別設(shè)計(jì)了在人臉的表情、姿態(tài)以及光照三種外部條件發(fā)生變化的情況,比較了CCLDA、ECCLDA以及SCCLDA的識(shí)別性能.同時(shí)為了說(shuō)明在CCLDA算法改進(jìn)的充分性,還實(shí)現(xiàn)了與LDA算法的比較.
2.1SCCLDA用于姿態(tài)變化的人臉識(shí)別
在特征提取過(guò)程中,通過(guò)不同方法獲得的投影空間很容易受姿態(tài)變化的影響,為了驗(yàn)證改進(jìn)算法在姿態(tài)變化時(shí)對(duì)人臉識(shí)別的有效性,在ORL人臉數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)(http://www.datatang.com/data/13501 ).ORL人臉數(shù)據(jù)庫(kù)共收集40個(gè)人在不同的光照、姿態(tài)和面部表情下的圖像,共400幅圖像,即每個(gè)人對(duì)應(yīng)了10種不同外部條件發(fā)生變化下的圖像.部分人臉圖像如圖1所示.
圖1 ORL人臉庫(kù)一個(gè)人的10種姿態(tài)
實(shí)驗(yàn)中將ORL數(shù)據(jù)庫(kù)中的人臉圖像分為訓(xùn)練集和測(cè)試集兩部分,取40個(gè)人的任意Gi幅圖像作為訓(xùn)練樣本集,剩余的圖像組成測(cè)試樣本集.實(shí)驗(yàn)結(jié)果如表1所示.
表1 不同訓(xùn)練樣本數(shù)的識(shí)別率
表1中Gi表示每一類(lèi)樣本所選取的訓(xùn)練樣本數(shù).通過(guò)分析實(shí)驗(yàn)結(jié)果,可以發(fā)現(xiàn):
1)由于CCLDA,ECCLDA和SCCLDA三個(gè)算法在特征提取過(guò)程中,充分考慮了在高維空間中,人臉樣本圖像中像素之間的相互約束性,因此這三種算法在ORL人臉庫(kù)上的識(shí)別結(jié)果上明顯優(yōu)于沒(méi)有引入上下文約束的LDA方法.而且在大部分情況下,LDA算法的標(biāo)準(zhǔn)差最大,CCLDA次之,ECCLDA和SCCLDA標(biāo)準(zhǔn)差相當(dāng),說(shuō)明LDA算法的識(shí)別效果更依賴于訓(xùn)練樣本數(shù)據(jù)集的選擇,其他三種算法具有更高的穩(wěn)定性;
2)在CCLDA算法的基礎(chǔ)上,ECCLDA和SCCLDA中都采用了鏡像圖像來(lái)擴(kuò)大訓(xùn)練集合,訓(xùn)練樣本數(shù)是CCLDA算法和LDA算法的兩倍,所以即使在每個(gè)人只有較少的姿態(tài)樣本做訓(xùn)練的情況下,ECCLDA和SCCLDA算法也可以取得比較高的識(shí)別準(zhǔn)確率,而且確保了算法的穩(wěn)定性;
3)ECCLDA和SCCLDA一樣,訓(xùn)練樣本數(shù)均是CCLDA的兩倍,但在相同的訓(xùn)練樣本數(shù)情況下,SCCLDA算法無(wú)論是識(shí)別率還是穩(wěn)定性都明顯高于ECCLDA.顯然與其他三種方法相比,SCCLDA在姿態(tài)變化情況下的識(shí)別效果更理想.
通過(guò)分析比較表1的實(shí)驗(yàn)結(jié)果,可以發(fā)現(xiàn)文中幾種算法的識(shí)別效果不僅受訓(xùn)練樣本數(shù)的影響,而且原始信息的保留方式也是影響人臉識(shí)別中線性鑒別分析的重要因素.在特征提取過(guò)程中,PCA算法不僅沒(méi)有利用人臉對(duì)稱性這一先驗(yàn)信息,也忽略了人臉圖像中像素之間的上下文約束關(guān)系,因此它并不是最好的信息保留方法.
2.2SCCLDA用于表情變化的人臉識(shí)別
為了驗(yàn)證改進(jìn)算法在人臉表情識(shí)別領(lǐng)域的可行性和有效性,我們?cè)诮?jīng)典的人臉表情數(shù)據(jù)庫(kù)JAFFE上做了實(shí)驗(yàn).
JAFFE數(shù)據(jù)庫(kù)[13]共包含10名日本成年女性的213幅表情圖像,每幅圖像的大小均為256×256.其中每個(gè)人都收集了生氣、厭惡、害怕、開(kāi)心、中性、悲傷和驚訝七種基本表情各2~4幅圖像.在這部分實(shí)驗(yàn)中,將JAFFE數(shù)據(jù)庫(kù)中的表情圖像分別分為訓(xùn)練樣本集和測(cè)試樣本集.其中訓(xùn)練樣本集包含70幅表情圖像,由每個(gè)人每種表情各一幅圖像構(gòu)成,剩余的143幅表情圖像用來(lái)組成測(cè)試集.實(shí)驗(yàn)中首先將所有圖像都進(jìn)行歸一化處理,裁剪成大小為90×90的樣本圖像,圖2為JAFFE中的部分樣本圖像及歸一化后的樣本圖像.
表2中D表示特征空間的維數(shù).表3中AN,DI,FE,HA,NE,SA,SU依次表示生氣、厭惡、害怕、高興、中性、傷心、驚訝七種表情,AVG表示不同算法在這七種表情情況下識(shí)別率的平均值.通過(guò)以上實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)
(a)原始表情圖像
(b)歸一化后的表情圖像
D=5D=15D=25D=35D=45D=55D=65LDA94.4195.8095.8095.1093.0193.0192.31CCLDA92.3196.2096.9096.2095.1094.4193.71ECCL-DA95.6297.2596.6796.7996.5696.1295.58SCCL-DA95.7597.7598.2997.9097.8197.4797.17
表3 單一表情的識(shí)別結(jié)果
1)比較整個(gè)JAFFE人臉庫(kù)上的實(shí)驗(yàn)結(jié)果,可以看出四種算法的最高識(shí)別率從高到低依次為SCCLDA(98.29%),ECCLDA(97.25%),CCLDA(96.90%)和LDA(95.80%),說(shuō)明SCCLDA在表情識(shí)別上有明顯的優(yōu)勢(shì);
2)從表3可以看出,引入上下文約束信息的CCLDA、ECCLDA和SCCLDA方法在表情鑒別效果上明顯優(yōu)于LDA算法.但總體上,SCCLDA方法的識(shí)別效果最理想;
3)通過(guò)表3的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),與其他算法相比,SCCLDA方法不僅在不同表情下的平均識(shí)別效果比較理想,而且即使在單一表情下的識(shí)別正確率也都提高了很多.其中在厭惡、害怕、中性、傷心和驚訝這幾種表情變化的情況下,識(shí)別效果最好,識(shí)別率均達(dá)到100%,這充分說(shuō)明了SCCLDA算法在表情識(shí)別方面具有良好的魯棒性.
2.3SCCLDA用于光照變化的人臉識(shí)別
同樣,為了驗(yàn)證不同方法在光照變化下,算法對(duì)于未知干擾的適應(yīng)能力,我們進(jìn)一步在YaleB人臉庫(kù)[14]上(http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html)采用了外推的實(shí)驗(yàn)方法.
YaleB包括10個(gè)人在9種姿態(tài)、64種光照下的圖像.本文實(shí)驗(yàn)重點(diǎn)測(cè)試算法在光照變化條件下的識(shí)別效果,因此我們只選用正臉姿態(tài)下的64種光照下的樣本圖像,共640張.在這部分實(shí)驗(yàn)過(guò)程中,根據(jù)圖像采集的不同角度,將YaleB數(shù)據(jù)庫(kù)中的圖像分為5個(gè)子集,同時(shí)將人臉圖像裁剪為112×144大小,如圖3所示.
圖3 Yale B人臉數(shù)據(jù)庫(kù)中的5個(gè)子集圖像
子集1、子集2和子集5分別包含130張人臉圖像,其中子集1中圖像光源的水平角度在[0°,26°]區(qū)間,并且垂直角度在[0°,18°]區(qū)間.子集2 中選擇的圖像的光源的水平角度在[26°,52°]區(qū)間,或者垂直角度在[18°,36°]區(qū)間;而子集5中圖像的水平光源平角度在[104°,130°]區(qū)間,或者垂直角度在[72°, 90°]區(qū)間.子集3中選擇光源的水平角度在[52°,78°]區(qū)間,或者垂直角度在[36°,54°]區(qū)間的170張圖片.子集4包含80張光源的水平角度在[78°,104°]區(qū)間,或者垂直角度在[54°,72°]區(qū)間的人臉圖像.把子集1作為訓(xùn)練樣本集,然后分別在子集1 ~ 5進(jìn)行測(cè)試,計(jì)算不同算法的識(shí)別錯(cuò)誤率.
從圖4中的錯(cuò)誤率曲線分布可以發(fā)現(xiàn),在光照都接近前方的狀態(tài)下,4種不同方法的識(shí)別錯(cuò)誤率都幾乎相同.但是伴隨著光照越來(lái)越偏離前方,不同算法的識(shí)別錯(cuò)誤率變得越來(lái)越高.其中LDA算法的錯(cuò)誤率增加最快,CCLDA其次,ECCLDA比CCLDA增加的緩慢,SCCLDA的錯(cuò)誤率增加的最慢.因此,通過(guò)以上分析,說(shuō)明在光照發(fā)生變化的情況下,通過(guò)SCCLDA方法獲得的投影特征更為有效,所以在外推的實(shí)驗(yàn)中的錯(cuò)誤率最低.
圖4 不同測(cè)試樣本集下的錯(cuò)誤率曲線
本文在充分考慮圖像對(duì)稱性的基礎(chǔ)上,進(jìn)一步將一種融合圖像上下文約束的鑒別分析方法用于人臉識(shí)別.該方法充分利用了樣本圖像結(jié)構(gòu)之間的上下文約束關(guān)系,從而可以更好地為分類(lèi)提供有效信息.并通過(guò)實(shí)驗(yàn),進(jìn)一步證明了在姿態(tài)、表情和光照等外在因素變化情況下,新算法在人臉識(shí)別中的優(yōu)勢(shì).
[1]楊瓊,丁曉青.對(duì)稱主分量分析及其在人臉識(shí)別中的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào),2003,26(9):1146.
[2]BAUMANNF,ERNSTK,EHLERSA,etal.Symmetryenhancedadaboost[C]//Advances in visual computing 6453.Berlin:Springer,2010:286.
[3]LOYG,EKLUNDHJO.Detectingsymmetryandsymmetricconstellationsoffeatures[C]//Eccv’ob Proceedings of the 9th European Conference on Computer Vision.Berlin:Springer,2006:508.
[4]HARGUESSJ,AGGARWALJK.Isthereaconnectionbetweenfacesymmetryandfacerecognition?[C]//IEEE Computer Vision and Patter Recognition Workshops,IEEE:ColoradoSprings,2011:73.
[5]XU Yong,ZHU Xing-jie,LI Zheng-ming,et al.Using the original and‘symmetrical face’training samples to perform representation based two-step face recognition[J].PatternRecognition,2013,46(4):1151.
[6]ROYER R F.Detection of symmetry[J].JournalofExperimentalPsychologyHumanPerceptionandPerformance,1981,7(6):1186.
[7]LEYTON M.Symmetry,Causality,Mind[M].London:MIT Press,1992.
[8]KIRBY M,SIROVICH L.Application of the Karhunen-Loève Procedure for the characterization of human faces[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1990,12(1):103.
[9]SONG Y J,KIN Y G,CHANG U D,et al.Face recognition robust to left/right shadows,facial symmetry[J].PatternRecognition,2006,39(8):1542.
[10]曾岳,馮大征.一種基于人臉垂直對(duì)稱性的變形2DPCA算法[J].計(jì)算機(jī)工程與科學(xué),2011,33(7):74.
[11]ZHEN Lei,STAN Z LI.Contextual constraints based linear discriminant analysis[J].PatternRecognitionLetters,2011,32(4):626.
[12]趙松,潘可,張培仁.對(duì)稱性在人臉識(shí)別中的應(yīng)用:對(duì)稱Fiserface[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,39(11):1183.
[13]AKAMATSU S,KAMACHI M,GYOBA J.Coding facial expressions with gabor wavelets[C]//Proceedingsof3rdIEEEInternationalConferenceonAutomaticFaceandGestureRecognition.IEEE xpolre:coloraclo springs,1998:200.
[14]GEORGHIADES A S,BELHUMEUR P N,KRIEGMAN D J.From few to many:illumination cone models for face recognition under variable lighting and pose[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2001,23(6):643.
(責(zé)任編輯孫對(duì)兄)
A linear discriminate analysis method basedonsymmetryandcontextualconstraints
CHEN Feng
(Zhejiang Business Technology Institute,Ningbo 315012,Zhejiang,China)
Lineardiscriminateanalysis(LDA)considersthediscriminativeinformationintheprocessoffeatureextraction,butthecontextualinformationamongpixelsinthehighdimensionalspaceisnotexploited.Contextualconstraintsbasedlineardiscriminateanalysis(CCLDA)incorporatesthecontextualinformationintolineardiscriminateanalysisduringfeaturedimensionalityreduction,whichcanprovidemuchmoreusefulinformationforclassification.Inthispaper,lineardiscriminateanalysismethodbasedonsymmetryandcontextualconstraintsisproposed.Intheimprovedmethod,thesymmetryofthefacetogeneratenewsamplesisexploitedandthecontextualconstraintinimagesisconsideredtoperformfacerecognition.Moreover,toshowthesuperiorityoftheimprovedmethod,therecognitionperformanceofCCLDAistestedontheextendedsetoftheoriginalsamplesandtheimagesamples.ExperimentsareconductedtoprovetheeffectivenessofSCCLDAbyvaryingillumination,facialexpressionandposes.Moreover,theexperimentalresultsshowthattheimprovedmethodoutperformfacerecognitionmethodsincludingECCLDA,CCLDAandLDA.
contextualconstraints;symmetry;facerecognition;lineardiscriminantanalysis
10.16783/j.cnki.nwnuz.2016.04.008
2016-03-20;修改稿收到日期:2016-05-19
浙江省教育廳一般科研項(xiàng)目(Y201432382)
陳鳳(1979—),女,湖北荊門(mén)人,講師,碩士.主要研究方向?yàn)槟J阶R(shí)別、云技術(shù)和數(shù)據(jù)挖掘等.
E-mail:feng_ch1979@126.com
TP391.4
A
1001-988Ⅹ(2016)04-0032-06