多核學(xué)習(xí)融合局部和全局特征的人臉識(shí)別算法

楊 賽,趙春霞,劉 凡

(1.南通大學(xué)電氣工程學(xué)院,江蘇南通 226019； 2.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,江蘇南京 210094；3.河海大學(xué)計(jì)算機(jī)與信息學(xué)院,江蘇南京 210098)

?

多核學(xué)習(xí)融合局部和全局特征的人臉識(shí)別算法

楊 賽1,趙春霞2,劉 凡3

(1.南通大學(xué)電氣工程學(xué)院,江蘇南通 226019； 2.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,江蘇南京 210094；3.河海大學(xué)計(jì)算機(jī)與信息學(xué)院,江蘇南京 210098)

提出一種基于詞袋模型的新的人臉識(shí)別算法.該方法將詞袋模型和詞袋模型的全局模式分別作為人臉圖像的局部特征和全局特征描述，最后使用多核學(xué)習(xí)方法將二者進(jìn)行融合.AR、FERET、CMU PIE以及LFW公開(kāi)人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，本文方法能夠更好的解決小樣本問(wèn)題，并且對(duì)人臉的表情變化、姿態(tài)變化以及面部遮擋具有更優(yōu)良的魯棒性.

詞袋模型；全局特征；多核學(xué)習(xí)；人臉識(shí)別

1 引言

人臉識(shí)別因其在身份驗(yàn)證、視頻監(jiān)控、疑犯追蹤等領(lǐng)域的廣泛應(yīng)用而成為當(dāng)前計(jì)算機(jī)視覺(jué)研究中的熱點(diǎn).人臉識(shí)別的核心步驟之一為人臉特征提取，可分為全局特征和局部特征.前者缺乏對(duì)局部變化的魯棒性，而目前人臉識(shí)別中所使用的局部特征僅限于底層視覺(jué)特征，因此本文將更具有判別能力的中層語(yǔ)義特征—詞袋模型(Bag-of-Words,BoW)應(yīng)用到人臉識(shí)別領(lǐng)域.

全局與局部特征之間并不存在嚴(yán)格的界限，當(dāng)局部表示中用于提取特征的圖像區(qū)域變大時(shí)，局部表示的全局性逐漸變強(qiáng).受此啟發(fā)，本文提出詞袋模型的全局模式(Global Bag-of-Words,GBoW)，即將提取底層特征的區(qū)域擴(kuò)展到整幅圖像.相關(guān)研究表明，人類是綜合利用全局和局部信息對(duì)人臉進(jìn)行辨識(shí)，因而一些學(xué)者提出融合全局和局部特征的識(shí)別算法，通常是在決策層將二者融合，不可避免地會(huì)損失部分判別信息，為此本文提出一種基于多核學(xué)習(xí)(Multiple Kernel Learning,MKL)的局部和全局特征融合算法.

2 相關(guān)工作

如何對(duì)人臉模式進(jìn)行有效表示是自動(dòng)人臉識(shí)別的關(guān)鍵步驟.基于子空間的特征表示是目前的主流方法，主成分分析[1](Principal Component Analysis,PCA)是其中的典型方法之一，該方法尋找最小均方差意義下的最優(yōu)主成分分量，通過(guò)這些主成分的線性組合重構(gòu)原始樣本，從而達(dá)到最大限度去除圖像特征中冗余信息的目的；而Fisher線性判別分析[2](Fisher Linear Discriminative Analysis,FLDA)尋找最優(yōu)投影方向使得同類樣本的離散程度和不同類樣本的交疊程度在新的坐標(biāo)系內(nèi)同時(shí)達(dá)到最小，從而取得最佳的分類效果.

近年來(lái)，稀疏表示理論在人臉識(shí)別中的優(yōu)異性能引起了學(xué)者們的廣泛研究興趣.Wright等[3]提出了一種稀疏表示分類(Sparse Representation Classification,SRC)方法，該方法通過(guò)求解帶l1范數(shù)的最小化問(wèn)題，使用訓(xùn)練樣本線性組合給定測(cè)試樣本，根據(jù)系數(shù)向量的稀疏性對(duì)測(cè)試樣本進(jìn)行分類決策；Zhang等[4]提出協(xié)同表示分類(Collaborative Representation Classification,CRC)方法，該方法使用l2范數(shù)代替l1范數(shù)求解原問(wèn)題，從而解決稀疏表示在人臉識(shí)別中的實(shí)時(shí)性問(wèn)題；與上述方法使用所有訓(xùn)練樣本構(gòu)建冗余詞典不同，Yang等[5]提出構(gòu)建緊致穩(wěn)健字典的Metaface學(xué)習(xí)算法，該算法在每類訓(xùn)練樣本中學(xué)習(xí)一組字典向量，根據(jù)類別詞典上的稀疏重構(gòu)殘差對(duì)測(cè)試人臉圖像進(jìn)行分類判別；Yang等[6]提出利用Fisher準(zhǔn)則函數(shù)在訓(xùn)練樣本中尋找一組最優(yōu)字典基向量.然而此類人臉識(shí)別方法仍然以提取圖像中的全局特征為基礎(chǔ).

由于局部特征對(duì)光照、表情和姿態(tài)變化具有很好的魯棒性，近年來(lái)在人臉識(shí)別中得到了廣泛應(yīng)用.例如，Gabor函數(shù)與人類視覺(jué)皮層感受野具有一致性，對(duì)于提取圖像局部變化特征具有良好的特性，然而多尺度、多方向的Gabor變換會(huì)使人臉特征的維數(shù)急劇增加，為此文獻(xiàn)[7]同時(shí)使用下采樣和PCA降低Gabor特征的維數(shù)，然后使用增強(qiáng)Fisher鑒別分析完成識(shí)別；針對(duì)上述方法會(huì)造成大量分類特征信息丟失的問(wèn)題，文獻(xiàn)[8]利用LBP算子對(duì)Gabor特征進(jìn)行編碼，計(jì)算直方圖統(tǒng)計(jì)特征作為分類判別依據(jù)；為了最大化利用特征信息并得到人臉特征的緊致描述，文獻(xiàn)[9]將圖像劃分為若干小區(qū)域，計(jì)算小區(qū)域內(nèi)所有像素Gabor系數(shù)的均值和方差，然后將所有區(qū)域特征拼接起來(lái)描述人臉圖像；最近，Yang等[10]采用多尺度LBP金字塔模型描述人臉圖像，提出一種基于局部統(tǒng)計(jì)特征的魯棒核函數(shù)(Statistical Local Feature based Robust Kernel Representation,SLF-RKR)度量圖像之間的相似性計(jì)算重建殘差，測(cè)試樣本最終被判定為重建殘差最小的訓(xùn)練樣本對(duì)應(yīng)的類別.

另外，子圖像方法也是人臉識(shí)別中獲得成功應(yīng)用的局部特征.文獻(xiàn)[11]將人臉圖像分割為相等大小的子圖像，然后使用基于子圖像構(gòu)建的分量分類器對(duì)測(cè)試樣本的相應(yīng)子圖像進(jìn)行判別，最后使用加權(quán)投票方式對(duì)分類結(jié)果進(jìn)行集成形成最后決策；文獻(xiàn)[12]利用類內(nèi)散度最小類間散度最大原則訓(xùn)練Volterra 核函數(shù)建立子圖像與類別之間的映射，以學(xué)習(xí)得到的映射作為相似性度量建立最近鄰分類器對(duì)測(cè)試樣本的相應(yīng)子圖像進(jìn)行分類，最后使用多數(shù)投票方法融合所有分類結(jié)果；最近，Zhu等[13]提出基于協(xié)同表示的子圖像分類方法(Multi-Scale Patch based Collaborative Representation Classification,MSPCRC)，該方法提取若干尺寸不等的子圖像表征尺度信息，并利用CRC方法對(duì)測(cè)試樣本的相應(yīng)子圖像進(jìn)行分類，最后使用多數(shù)投票方式融合分類結(jié)果，可以很好的解決小樣本問(wèn)題.

3 本文方法

本文提出的多核學(xué)習(xí)融合局部和全局特征的人臉識(shí)別算法的總體框架如圖1所示，各個(gè)環(huán)節(jié)的具體描述如圖1.

3.1 基于詞袋模型的人臉特征描述

對(duì)于人臉圖像數(shù)據(jù)集I={I1,I2,…,IN}，經(jīng)過(guò)局部特征提取之后，所有訓(xùn)練圖像被表示為Y={y1,y2,…,yN}，使用K均值算法對(duì)此局部特征集合Y進(jìn)行聚類得到局部特征視覺(jué)詞典VL=[v1,v2,…,vK]∈RD×K，vk∈RD×1,k=1,2,…,K表示第k個(gè)視覺(jué)單詞向量，K為視覺(jué)單詞數(shù)目，D為局部特征的維數(shù).假設(shè)X=[x1,x2…,xT]∈RD×T表示數(shù)據(jù)集I中任意一幅人臉圖像的局部特征集合，其中xt∈RD×1,t=1,2,…,T表示第t個(gè)局部特征矢量.在使用人臉數(shù)據(jù)庫(kù)中所有圖像的線性組合來(lái)表示一幅給定人臉圖像時(shí)，其系數(shù)向量是稀疏的，其中同一類別圖像的組合系數(shù)不為0，稀疏表示能夠提供人臉圖像合適的描述.同樣對(duì)于人臉圖像中的局部特征來(lái)說(shuō)，稀疏編碼也能夠保證相似局部特征的組合系數(shù)不為0，對(duì)局部特征進(jìn)行稀疏編碼的表達(dá)式為：

(1)

式(1)中，ut∈RK×1表示第t個(gè)局部特征的編碼矢量，等式(1)右邊第一項(xiàng)為擬合項(xiàng)，表示利用VL重構(gòu)xt所產(chǎn)生的誤差，第二項(xiàng)為稀疏懲罰項(xiàng)，保證對(duì)xt的表示是稀疏的，稀疏正則系數(shù)λ控制兩項(xiàng)的比重，對(duì)其進(jìn)行求解就得到xt在VL上的投影系數(shù)ut.

完成上述編碼環(huán)節(jié)后，圖像此時(shí)被表示為一個(gè)由T個(gè)K維矢量組成的集合，需要計(jì)算編碼矢量的匯聚特征才能使用傳統(tǒng)分類器對(duì)圖像進(jìn)行分類.人臉圖像中的內(nèi)容是按照一定的規(guī)律組織的，圖像子區(qū)域之間的空間關(guān)系對(duì)于分類來(lái)說(shuō)是有用的信息，因此使用空間金字塔模型對(duì)局部編碼矢量進(jìn)行匯聚.記l=0,1,…L為此模型的層次，總層數(shù)為L(zhǎng)+1，則第l層在水平和豎直方向都將圖像分成2l塊，圖像子區(qū)域的總數(shù)為2l×2l=4l塊.圖2展示的是使用劃格方法得到金字塔的第0，1，2層，此模型能夠?qū)崿F(xiàn)各子區(qū)域之間的匹配，即使圖像出現(xiàn)光照、表情、姿態(tài)以及遮擋等變化，也能夠保證不變區(qū)域之間的匹配，因此能夠進(jìn)一步提高詞袋模型對(duì)各種變化的魯棒性.假設(shè)第l層金字塔模型的第i個(gè)子區(qū)域內(nèi)有Ti個(gè)編碼矢量，此區(qū)域內(nèi)編碼矢量的最大統(tǒng)計(jì)值的計(jì)算公式為：

(2)

3.2 基于全局特征的人臉特征描述

本文將詞袋模型的全局模式作為人臉圖像的全局特征描述，即將此模型提取底層特征的區(qū)域擴(kuò)展到整幅圖像，并利用人臉識(shí)別中經(jīng)典的子空間特征表示方法對(duì)其進(jìn)行描述，例如PCA、FLDA、ICA、LPP等.本文對(duì)上述四種經(jīng)典全局特征進(jìn)行了測(cè)試，其中FLDA引入了鑒別信息，性能最優(yōu)，故本文均采用FLDA作為整幅圖像的底層特征提取方法.

對(duì)于大小為p×q的人臉圖像，通過(guò)首尾連接每列像素將其轉(zhuǎn)換為向量，使用FLDA對(duì)其進(jìn)行變換后，所有訓(xùn)練圖像被表示為Z={z1,z2,…,zN}.與詞袋模型一致，使用K均值算法對(duì)此全局特征集合Z進(jìn)行聚類得到全局視覺(jué)詞典VG=[v1,v2,…,vM]∈RC×M，M為視覺(jué)單詞的數(shù)目，vm∈RC×1,m=1,2,…,M表示第m個(gè)視覺(jué)單詞向量，dG∈RC×1表示相應(yīng)的編碼矢量，C是FLDA特征的維數(shù)，對(duì)特征z進(jìn)行稀疏編碼的表達(dá)式為：

(3)

式(3)右邊第一項(xiàng)為擬合項(xiàng)，表示利用VG重構(gòu)Z所產(chǎn)生的誤差，第二項(xiàng)為稀疏懲罰項(xiàng)，保證對(duì)Z的表示是稀疏的，常數(shù)λ控制兩項(xiàng)的比重，對(duì)其進(jìn)行求解就可以得到z在VG上的投影系數(shù)dG.

3.3 基于多核學(xué)習(xí)的局部與全局特征的融合

對(duì)于3.1得到人臉圖像特征dB，假設(shè)所使用的核函數(shù)為KB，相應(yīng)的權(quán)系數(shù)為hB，對(duì)于3.2得到人臉圖像特征dG，假設(shè)所使用的核函數(shù)為KG，相應(yīng)的權(quán)系數(shù)為hG.此時(shí)任意第i幅與第j幅人臉圖像之間的相似性度量為：

K(i,j)=hBKB(dBi,dBj)+hGKG(dGi,dGj)

(4)

式(4)中，dBi、dGi分別表示第i幅圖像的局部特征和全局特征，dBj、dGj分別表示第j幅圖像的局部特征和全局特征，如果分類器選用支持向量機(jī)，二分類的情況下，多核學(xué)習(xí)方法的目標(biāo)函數(shù)為：

(5)

ξi≥0,i=1,2,…N

hB,hG≥0,hB+hG=1

式(5)中，yi為圖像的類別標(biāo)號(hào)，C為懲罰系數(shù)，ξi為松弛變量，wB、wG為分類器的參數(shù)，N為圖像樣本數(shù)目.采用分塊協(xié)調(diào)下降算法求解式(5)，首先固定hB和hG，式(5)轉(zhuǎn)化為關(guān)于ξi、wB、wG的帶線性約束的二次規(guī)劃問(wèn)題；然后固定參數(shù)ξi、wB、wG，式(5)轉(zhuǎn)化為關(guān)于hB和hG的帶線性約束的非線性最小化問(wèn)題.交替求解上述兩個(gè)問(wèn)題，直到滿足收斂條件就可以得到s個(gè)系數(shù)不為0的支持向量以及hB和hG的值，則對(duì)第j幅測(cè)試圖像的分類判決函數(shù)為：

hGKG(hGj,hGi)]+b*}

(6)

式(6)中，αi,i=1,2,…,s表示第i個(gè)支持向量對(duì)應(yīng)的系數(shù)，b*為分類閾值，可以用任一個(gè)支持向量求得.

4 實(shí)驗(yàn)與分析

在公開(kāi)人臉數(shù)據(jù)庫(kù)將本文方法與目前主流的PCA[1]、FLDA[2]、CRC[4]、FDDL[6]、RKR-SLF[10]、Volterrar[12]、MSPCRC[13]方法進(jìn)行對(duì)比，使用作者提供的源代碼和參數(shù)設(shè)置進(jìn)行仿真實(shí)驗(yàn).同時(shí)實(shí)驗(yàn)還給出單獨(dú)使用詞袋模型(BoW)和全局特征(GBoW)進(jìn)行分類的性能.實(shí)驗(yàn)過(guò)程中通過(guò)嘗試不同的參數(shù)設(shè)置得到最優(yōu)結(jié)果.建立詞袋模型過(guò)程中，實(shí)驗(yàn)結(jié)果顯示圖像小塊的尺寸越小，其表征性能越優(yōu)，然而太小不足以提取SIFT特征，因此將小塊的尺寸設(shè)為8×8；并且密集采樣步長(zhǎng)越小，局部特征數(shù)目越多，其表征性能越優(yōu)，因此將采樣步長(zhǎng)設(shè)為1；將視覺(jué)單詞數(shù)目和空間金字塔模型的層數(shù)分別選定為1500和3，這是因?yàn)橐曈X(jué)單詞的數(shù)目過(guò)少，不能充分編碼圖像中的局部特征，金字塔模型的層數(shù)過(guò)少，不能充分利用圖像的空間信息，然而當(dāng)單詞數(shù)目大于1500以及層數(shù)大于3時(shí)所帶來(lái)的計(jì)算復(fù)雜度的代價(jià)將遠(yuǎn)大于其分類正確率增加所帶來(lái)的性能改善；另外，參數(shù)λ為0.5～1之間，性能相差無(wú)幾，因此將稀疏正則系數(shù)設(shè)為0.5.多核學(xué)習(xí)過(guò)程中，基核函數(shù)為線性核函數(shù)，懲罰系數(shù)C設(shè)為10以上，性能相差無(wú)幾，將外層和內(nèi)層循環(huán)的迭代次數(shù)設(shè)定為200，足以求解多核學(xué)習(xí)模型的最優(yōu)解.

4.1 AR數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

AR數(shù)據(jù)庫(kù)包含126個(gè)人不同時(shí)期拍攝的26幅圖

像，尺寸為50×40像素，如圖3所示，不同時(shí)期的圖像被歸為不同的組，第1張為無(wú)表情變化圖像，第2～4張為表情變化圖像，第5～7張為光照變化圖像，第8～10張為太陽(yáng)鏡遮擋圖像，第11～13張為圍巾遮擋圖像.

首先驗(yàn)證不同訓(xùn)練樣本數(shù)目下識(shí)別算法的性能.分別隨機(jī)選取每個(gè)人的2，3，4，5幅圖像作為訓(xùn)練數(shù)據(jù)，剩余的圖像作為測(cè)試數(shù)據(jù)，重復(fù)選取10次.由表1中的結(jié)果可知：(1)在不同的訓(xùn)練樣本數(shù)目下，本文方法的識(shí)別率最高，分別高于SLF-RKR方法1.80%、0.32%、0.76%、0.10%，說(shuō)明本文方法可以很好的解決小樣本問(wèn)題；(2)本文方法的識(shí)別率高于BoW和GBoW，說(shuō)明多核學(xué)習(xí)能夠有效地將互補(bǔ)的局部和全局特征進(jìn)行結(jié)合.

表1 AR數(shù)據(jù)庫(kù)上不同訓(xùn)練樣本數(shù)目下各種方法的 識(shí)別率±標(biāo)準(zhǔn)差(%)

使用文獻(xiàn)[14]中的實(shí)驗(yàn)設(shè)置驗(yàn)證表情變化對(duì)識(shí)別算法的影響.將第1個(gè)時(shí)期拍攝的前7幅圖像作為訓(xùn)練數(shù)據(jù)，將第2個(gè)時(shí)期拍攝的第2～4張表情變化的圖像作為測(cè)試數(shù)據(jù).由表2中的結(jié)果可知：(1)本文方法的識(shí)別率最高，高于SLF-RKR方法0.55%；(2)BoW的識(shí)別率高于GBoW，說(shuō)明局部特征比全局特征在表情變化中起到更重要的作用.

表2 各種人臉識(shí)別算法在人臉表情變化子集上的識(shí)別率(%)

使用文獻(xiàn)[10]中的實(shí)驗(yàn)設(shè)置驗(yàn)證遮擋對(duì)識(shí)別算法的影響.將第1個(gè)時(shí)期的前7幅無(wú)遮擋圖像作為訓(xùn)練數(shù)據(jù)，將第1個(gè)時(shí)期的第8～10張圖像(S1-Sunglass)、第11～13張圖像 (S1-Scarf)、第2個(gè)時(shí)期的第8～10張圖像(S2-Sunglass)、第11～13張圖像(S2-Scarf)分別作為測(cè)試數(shù)據(jù).由表3中的結(jié)果可知：(1)本文方法的識(shí)別率最高，分別高于SLF-RKR方法0.28%、0.28%、2.78%、0.44%；(2)只有BoW的識(shí)別率得到了提升并且高于GBoW，說(shuō)明局部特征在遮擋情況下起到更重要的作用.

表3 各種人臉識(shí)別算法在遮擋變化子集上的識(shí)別率(%)

4.2 FERET數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

FERET數(shù)據(jù)庫(kù)包含1199個(gè)人的不同局部變化的圖像.本文選擇其中的一個(gè)姿態(tài)子庫(kù)作為實(shí)驗(yàn)數(shù)據(jù)，該子庫(kù)有200個(gè)人，每個(gè)人有7幅標(biāo)號(hào)不同的圖像，圖像的尺寸為80×80像素，各種標(biāo)號(hào)的含義如圖4所示.

首先驗(yàn)證不同訓(xùn)練樣本數(shù)目下不同人臉識(shí)別算法的性能.分別隨機(jī)選取每個(gè)人的2，3，4，5幅圖像為訓(xùn)練數(shù)據(jù)，剩余的圖像為測(cè)試數(shù)據(jù)，重復(fù)選取10次.由表4中的結(jié)果可知：(1)在不同的訓(xùn)練樣本數(shù)目下，本文方法的識(shí)別率最高，分別高于SLF-RKR方法12.07%、11.92%、8.71%、8.12%，說(shuō)明本文方法可以很好的解決小樣本問(wèn)題；(2)本文方法的識(shí)別率高于BoW和GBoW，說(shuō)明多核學(xué)習(xí)能夠有效地將互補(bǔ)的局部和全局特征進(jìn)行結(jié)合.

表4 FERET數(shù)據(jù)庫(kù)上不同訓(xùn)練數(shù)目下各種方法的 識(shí)別率±標(biāo)準(zhǔn)差(%)

使用文獻(xiàn)[10]中的實(shí)驗(yàn)設(shè)置驗(yàn)證姿態(tài)變化對(duì)識(shí)別算法的影響.將標(biāo)號(hào)為‘ba’，‘bj’，‘bk’的圖像作為訓(xùn)練數(shù)據(jù)，標(biāo)號(hào)為‘bg’，‘bf’，‘be’，‘bd’的圖像分別作為測(cè)試數(shù)據(jù).由表5中的結(jié)果可知：(1)當(dāng)姿態(tài)角從-25°變化到+25°，本文方法的識(shí)別率最高并且非常穩(wěn)定，分別高于SLF-RKR方法49.00%、0.50%、11.00%、42.00%，表明本文方法對(duì)姿態(tài)的變化具有更好的魯棒性；(2)BoW的識(shí)別率高于GBoW，說(shuō)明局部特征在姿態(tài)變化時(shí)起到更重要的作用.

表5 各種人臉識(shí)別算法在姿態(tài)變化子集上的識(shí)別率(%)

表6 CMU PIE數(shù)據(jù)庫(kù)上不同訓(xùn)練數(shù)目下各種方法的 識(shí)別率±標(biāo)準(zhǔn)差(%)

4.3 CMU PIE數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

CMU PIE包含68個(gè)人的不同局部變化的圖像，本文使用文獻(xiàn)[15]提供的五個(gè)子集進(jìn)行實(shí)驗(yàn)，示例圖像見(jiàn)圖5.在此數(shù)據(jù)庫(kù)上驗(yàn)證不同訓(xùn)練樣本數(shù)目下人臉識(shí)別算法的性能，分別隨機(jī)選取每個(gè)人的2，3，4，5幅圖像作為訓(xùn)練數(shù)據(jù)，剩余的圖像作為測(cè)試數(shù)據(jù)，重復(fù)選取10次.由表6中的結(jié)果可知：(1)本文方法的識(shí)別率最高，訓(xùn)練數(shù)目為2時(shí)，高于MSPCRC方法0.92%；訓(xùn)練數(shù)目為3、4、5時(shí)，高于FDDL方法2.38%、0.73%、0.09%，說(shuō)明本文方法可以很好的解決小樣本問(wèn)題；(2)本文方法的識(shí)別率高于BoW和GBoW，說(shuō)明多核學(xué)習(xí)能夠有效地將互補(bǔ)的局部和全局特征進(jìn)行結(jié)合.

4.4 LFW數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果

LFW數(shù)據(jù)庫(kù)包含5279人的13233張圖片， LFW-a是利用商業(yè)校準(zhǔn)軟件進(jìn)行校準(zhǔn)之后的版本，與文獻(xiàn)[13]一致，本文使用其中樣本數(shù)目不少于10幅的158個(gè)人的圖像進(jìn)行實(shí)驗(yàn)，圖像的尺寸為32×32像素，示例圖像見(jiàn)圖6.在此數(shù)據(jù)庫(kù)上驗(yàn)證不同訓(xùn)練樣本數(shù)目下人臉識(shí)別算法的性能，分別隨機(jī)選取每個(gè)人的2，3，4，5幅圖像作為訓(xùn)練數(shù)據(jù)，剩余的圖像作為測(cè)試數(shù)據(jù)，重復(fù)選取10次.由表7中的結(jié)果可知：(1)本文方法的識(shí)別率最高，分別高于MSPCRC方法0.40%、0.58%、3.46%、5.70%，說(shuō)明本文方法可以很好的解決小樣本問(wèn)題；(2)本文方法的識(shí)別率高于BoW和GBoW，說(shuō)明多核學(xué)習(xí)能夠有效地將互補(bǔ)的局部和全局特征進(jìn)行結(jié)合.

表7 LFW數(shù)據(jù)庫(kù)上不同訓(xùn)練樣本數(shù)目下各種方法的 識(shí)別率±標(biāo)準(zhǔn)差(%)

5 總結(jié)

本文提出將詞袋模型作為人臉圖像的局部特征描述，同時(shí)提出詞袋模型的全局模式，并將其作為人臉圖像的全局特征描述，最后使用多核學(xué)習(xí)方法將二者進(jìn)行融合.公開(kāi)人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明：(1)本文方法能夠很好地解決小樣本問(wèn)題；(2)多核學(xué)習(xí)方法能夠有效地將互補(bǔ)的局部和全局特征進(jìn)行結(jié)合；(3)本文方法對(duì)人臉的表情變化、姿態(tài)變化以及遮擋具有良好的魯棒性.

[1]Lai Z H,Xu Y,Chen Q C,Yang J.Multilinear sparse principal component analysis[J].IEEE Transactions on Neural Networks and Learning Systems,2014,25(10):1942-1950.

[2]Wang H X,Lu X S,Zheng W N.Fisher discriminant analysis with L1-norm[J].IEEE Transactions on Cybernetics,2013,44(6):828-842.

[3]Wright J,Yang AY,Ganesh A,Satry S S,Ma Y.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-226.

[4]Zhang L,Yang M,Feng X C.Sparse representation or collaborative representation:which helps face recognition[A]? Proceedings of the 13th IEEE International Conference on Computer Vision[C].Barcelona,Spain:IEEE Computer Society,2011.471-478.

[5]Yang M,Zhang L,Zhang D.Metaface:learning for sparse representation based face recognition[A].Proceedings of the 17th International Conference on Image Processing[C].Hong Kong,China:IEEE Computer Society,2010.1601-1604.

[6]Yang M,Zhang L,Feng X C,Zhang D.Sparse representation based Fisher discrimination dictionary learning for image classification[J].International Journal of Computer Vision,2014,109(3):209-232.

[7]Liu C,Wechsler H.Gabor feature based classification using the enhanced Fisher linear discriminant model for face recognition[J].IEEE Transactions on Image Processing,2002,11(4):467-476.

[8]張文超,山世光,張洪明,陳杰,陳熙林,高文.基于局部Gabor變化直方圖序列的人臉描述與識(shí)別[J].軟件學(xué)報(bào),2006,17(12):2508-2517.

Zhang Wenchao,Shan Shiguang,Zhang Hongming,Chen Jie,Chen Xilin,Gao Wen.Histogram sequence of local Gabor binary pattern for face description and identification[J].Journal of Software,2006,17(12):2508-2517.(in Chinese)

[9]李寬,殷建平,李永,劉發(fā)耀.基于Gabor系數(shù)分塊統(tǒng)計(jì)和自適應(yīng)特征選擇的人臉描述與識(shí)別[J].計(jì)算機(jī)研究與發(fā)展,2012,49(4):777-784.

Li Kuan,Yin Jianping,Li Yong,Liu Fayao.Local statistical analysis of Gabor coefficients and adaptive feature extraction for face description and recognition[J].Journal of Computer Research and Development,2012,49(4):777-784.(in Chinese)

[10]Yang M,Zhang L,Shiu S,Zhang D.Robust kernel representation with statistical local features for face recognition[J].IEEE Transactions on Neural Networks and Learning Systems,2013,24(6):900-912.

[11]Tan K R,Chen S C.Adaptively weighted subpattern PCA for face recognition[J].Neurocomputing,2004,64:505-511.

[12]Kumar R,Banerjee A,Vemuri B C.Volterafaces:discriminant analysis using volterra kernels[A].Proceedings of the 22nd Conference on Computer Vision and Pattern Recognition[C].Miami,USA:IEEE Computer Society,2009.150-155.

[13]Zhu P F,Zhang L,Hu Q H,Shiu S.Multi-scale patch based collaborative representation for face recognition with margin distribution optimization[A].Proceedings of the 12th European Conference on Computer Vision[C].Florence,Italy:Springer-Verlag,2012.822-835.

[14]朱玉蓮,陳松燦.特征采樣和特征融合的子圖像人臉識(shí)別方法[J].軟件學(xué)報(bào),2012,23(12):3209-3220.

Zhu Yulian,Chen Songcan.Sub-image method based on feature sampling and feature fusion for face recognition[J].Journal of Software,2012,23(12):3209-3220.(in Chinese)

[15]Cai D,He X F,Han J W,Zhang H J.Orthogonal Laplacian faces for face recognition[J].IEEE Transactions on Image Processing,2006,15(11):3608-3614.

楊 賽 女，1981年出生，山東濱州人.2015年獲南京理工大學(xué)博士學(xué)位，現(xiàn)為南通大學(xué)講師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)與機(jī)器學(xué)習(xí).

E-mail：yangsai166@126.com

趙春霞 女，1964年出生，北京人.1985年、1988年和1998年在哈爾濱工業(yè)大學(xué)分別獲得工學(xué)學(xué)士、工學(xué)碩士和工學(xué)博士學(xué)位，現(xiàn)為南京理工大學(xué)教授，博士生導(dǎo)師.主要研究方向?yàn)榈孛嬷悄軝C(jī)器人與復(fù)雜環(huán)境理解.

Fusion of Local and Global Features Using Multiple Kernel Learning for Face Recognition

YANG Sai1,ZHAO Chun-xia2,LIU Fan3

(1.SchoolofElectricalEngineering,NantongUniversity,Nantong,Jiangsu226019,China;2.SchoolofComputerScienceandEngineering,NanjingUniversityofScienceandTechnology,Nanjing,Jiangsu210094,China;3.CollegeofComputerandInformation,HohaiUniversity,Nanjing,Jiangsu210098,China)

A new face recognition algorithm via bag-of-words(BoW) is proposed.In specific,it uses BoW and the global pattern of BoW respectively as the local feature and global feature of face images.Multiple kernel learning is adopted to fuse the local and global features.Extensive experiments were carried out on four face databases,i.e.AR,FERET,CMU PIE and LFW.The results show that our method can effectively solve the small training size problem and is more robust to expression changes,position variations and occlusion.

bag-of-words;global feature;multiple kernel learning;face recognition

2015-03-20;

2015-07-21；責(zé)任編輯：李勇鋒

國(guó)家自然科學(xué)基金面上項(xiàng)目(No.61272220);國(guó)家青年科學(xué)基金(No.61103059，No.61101197)

TP391.4

A

0372-2112 (2016)10-2344-07

??學(xué)報(bào)URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.10.009