使用稀疏約束非負矩陣分解算法的跨年齡人臉識別

杜吉祥，翟傳敏，葉永青

(華僑大學(xué)計算機科學(xué)與技術(shù)學(xué)院，福建廈門361021)

人臉識別率通常會受到姿態(tài)、光照、表情以及年齡等因素的限制［1］.因此，目前人臉識別的主要工作就是如何消除這些因素給人臉識別性能所造成的影響.然而，與人們對姿態(tài)、光照和表情的重視程度相比，人臉外貌的老化因素沒有得到更多的關(guān)注.2005年，有關(guān)跨年齡段的人臉識別的相關(guān)研究表明［2］:1)對人臉老化帶來的形狀和紋理上的變化的模擬是一項富有挑戰(zhàn)性的任務(wù)，因為除了生物學(xué)因素外，人類的生活方式中還有生存環(huán)境也會影響到人臉外貌的變化;2)對人類頭部采取三維掃描可以更好地理解老化對人臉的影響;3)用于研究人臉老化的可用的數(shù)據(jù)庫不僅數(shù)量少，而且還包含一些不可控制的內(nèi)外部變化因素.因此，老化因素對人臉識別的影響沒有得到廣泛的研究.

人臉外貌的老化是一個極其復(fù)雜的過程，它對人臉的形狀和紋理產(chǎn)生生理結(jié)構(gòu)上的變化.近年來，人類感知物理學(xué)和計算機視覺領(lǐng)域均提出了不少關(guān)于人臉老化的研究方法.Todd等認(rèn)為生物體的結(jié)構(gòu)模型會因其所受外力的大小和方向的變化而變化，基于該思想他們提出了一種靜水力學(xué)模型的方法來刻畫人臉結(jié)構(gòu)的成長［3］.Burt和 Perrett提出了“復(fù)合人臉”(composite faces)的概念，通過把復(fù)合人臉的差圖信息移植到人臉圖像上的方法來增強變換后人臉圖像的感觀年齡，從而達到模擬老化的目的［4］.Tiddeman等則對該方法進行了擴展，提出了一種新的基于小波的方法構(gòu)造出更具代表性的“復(fù)合人臉”的老化方法［5］.許志維等提出了一種基于原始非負矩陣分解算法的老化方法來預(yù)測人臉影像［6］，但該方法沒有考慮稀疏約束這一條件對老化結(jié)果的影響.王章野等基于黃種人臉圖像數(shù)據(jù)庫提出了一種基于人臉外輪廓局部曲率標(biāo)準(zhǔn)差的個性化原型匹配算法，并取得了較好的老化模擬結(jié)果［7］.

本文采用改進的原型法來老化一張人臉圖像，該方法主要借助具有稀疏約束的非負矩陣分解算法(non-negative matrix factorization，NMF)，來提取人臉紋理特征，通過實驗觀察系數(shù)或基的稀疏度的改變對人臉老化結(jié)果的影響;然后將該老化方法應(yīng)用于人臉識別中，通過生成虛擬樣本以補全各年齡段的樣本;最后分析該老化模擬方法對跨年齡段人臉識別效果的影響.

1 稀疏約束的NMF算法

NMF算法［8］是對非負矩陣的一種線性的、非負的近似數(shù)據(jù)描述.假設(shè)V是一個大小為m×n的圖像矩陣，其中m和n分別表示圖像特征數(shù)和樣本的數(shù)目，那么經(jīng)過NMF算法分解后的V矩陣可以表示成式(1):

式中:W為基矩陣，H為系數(shù)矩陣，同時r的取值滿足下列不等式:

使用迭代的方法通過最小化‖V－WH‖2來得到W和H:

對NMF算法增加稀疏約束條件意味著分解后的基或者系數(shù)矩陣的大部分值為0，僅有少量元素為非零值.給定一個向量X，可以通過式(2)計算其稀疏度:其中S(X)越大，意味著向量越稀疏，反之越稠密.

下面給出具有稀疏約束的NMF的定義［8］:對于給定大小為N×T的非負矩陣V，尋找滿足指定稀疏度的矩陣W(N×M)和H(M×T)，使得式(3)最小化.

式中:W和H的稀疏度滿足:

式中:S(Wi)為基矩陣W第i列向量的稀疏度，S(Hi)為系數(shù)矩陣H第i行向量的稀疏度.

2 人臉老化模擬方法

本文采用基于模型參數(shù)的原型法進行人臉老化模擬.人臉的老化過程伴隨著形狀和紋理兩方面的變化，因此，對于一張給定的人臉圖像，應(yīng)從形狀和紋理2個方面分別進行老化模擬.圖1為表征人臉的形狀和紋理特征.在稀疏因子約束下，人臉圖像經(jīng)NMF算法分解后得到的基圖像更具備局部稀疏性，而人臉的老化特征也是表現(xiàn)在面部的某些局部區(qū)域.因此，對于紋理的老化模擬采用稀疏約束的NMF算法提取特征更加合理，而形狀的老化則采用傳統(tǒng)的PCA方法進行特征提取.

圖1 人臉圖像的形狀和紋理Fig.1 Shape and texture for a facial image

2.1 改進的原型法

原型法(prototype method)是眾多老化模擬方法中最常見的方法之一［9］，它通過計算同一年齡值的人臉圖像的均值，來構(gòu)造代表該年齡段的人臉原型圖像:

式中:Vt和Vc分別是目標(biāo)年齡和當(dāng)前年齡下的特征向量，Gt和Gc則分別表示目標(biāo)年齡和當(dāng)前年齡下原型圖像的特征向量.

本文采用的是高斯加權(quán)所有訓(xùn)練樣本的方法，而不是選擇指定年齡值的訓(xùn)練樣本來構(gòu)造原型圖像.與原型圖像年齡值越接近的樣本，給予的權(quán)值就越高.

式中:wi為第i個樣本賦予的權(quán)值，高斯函數(shù)的均值μ取為原型圖像指定的年齡值，而方差δ通過實驗來選取最佳值.

式中:Gi表示年齡i的特征向量，Mi為第i個訓(xùn)練樣本的實際模型參數(shù)(特征向量).

如果給定的人臉圖像在訓(xùn)練樣本集中，那么其模型參數(shù)為系數(shù)矩陣H對應(yīng)的列向量;否則，可以通過求偽逆的方法來獲取:

式中:pinv(W)為基矩陣W的偽逆，vi為原始人臉圖像，Hi為對應(yīng)的模型系數(shù).

2.2 實驗結(jié)果評價準(zhǔn)則

對于各種老化模擬方法得出的人臉圖像，將采用圖像歐式距離法［10］計算模擬圖像與真實圖像之間的距離.2幅圖像X、Y之間的歐式距離被定義為

式中:M、N分別為圖像的行數(shù)和列數(shù);對稱矩陣G=(gij)稱為度量矩陣，它表示坐標(biāo)xi對坐標(biāo)yj的作用.

2.3 實驗與結(jié)果

本文使用塞浦路斯大學(xué)的FG-NET aging database人臉圖像庫［11］進行人臉老化模擬實驗，該數(shù)據(jù)庫包含82個人的911幅圖像.為了比較稀疏矩陣和基矩陣對算法的影響，實驗分為2個部分:1)保持系數(shù)矩陣H稀疏，基矩陣W不施加稀疏約束條件，令 H 的稀疏度從{0.1，0.2，…，0.9}取值進行老化模擬;2)保持基矩陣W稀疏，系數(shù)矩陣H不施加稀疏約束條件，令 W 的稀疏度從{0.1，0.2，…，0.9}取值進行老化模擬.實驗1)和2)中的數(shù)據(jù)維數(shù)均保持不變.

圖2、圖3和表1的實驗結(jié)果表明，稀疏約束的NMF算法具有較強的人臉特征表征能力.從圖2和圖3可以看出，基于稀疏約束的非負矩陣分解算法的人臉老化模擬圖像比基于PCA方法的老化圖像更加接近真實人臉圖像.從表1還可以看出，系數(shù)稀疏度的變化對老化結(jié)果的影響要小于基稀疏度的變化對老化結(jié)果的影響，結(jié)合具體老化圖像，最終采用系數(shù)稀疏度為0.8時的老化結(jié)果作為后續(xù)年齡跨度人臉識別的虛擬樣本.

圖2 基于系數(shù)H稀疏(稀疏度為0.8)的NMF算法的人臉老化模擬結(jié)果Fig.2 Facial aging results based on NMF when H is sparse(sparseness is 0.8)

圖3 人臉老化模擬圖像與真實圖像間的誤差Fig.3 Errors between real images and simulated facial images

表1 模擬圖像與真實圖像的誤差值Table 1 Errors between real images and simulated facial images

3 具有年齡跨度的人臉識別

年齡跨度的人臉識別與普通的人臉識別最大的區(qū)別在于測試樣本和訓(xùn)練樣本的人臉圖像具有不同的年齡取值.實驗數(shù)據(jù)庫仍然采用FG-NET aging database，該數(shù)據(jù)庫最大的特點是每個人有不同年齡的人臉照片6～18張，同一個人某一特定年齡的圖像只有1張，因此正好適合于跨年齡段的人臉識別的研究.

3.1 訓(xùn)練集和測試集的劃分

現(xiàn)有如下假設(shè):

1)數(shù)據(jù)庫中第i個人記為Pi，共有m個人含有不少于1個年齡跨度值為△A的圖像對，其中△A=1，2，…，10，i=1，2，…，m;

2)數(shù)據(jù)庫中Pi擁有Ni個年齡跨度值為△A的圖像對{As，ij，Ae，ij}，其中 i=1，2，…，m，j=1，2，…，Ni，Ae，ij=As，ij+ △A;

3)Pi年齡值最小的圖像為Ay，i.按照年齡值排序，Pi包含從 Ay，i到 As，ij的人臉圖像 nij張，其中 i=1，2，…，m，j=1，2，…，Ni.

依據(jù)上面假設(shè)，某一次實驗的訓(xùn)練集和測試集可設(shè)置為:

測試樣本集 St={Ae，1j，Ae，2j，…，Ae，ij，…，Ae，mj}.

其中:k=1，2，…，100，j=1，2，…，Ni，Sot表示增加老化模擬樣本前的訓(xùn)練樣本集，Sat表示增加模擬老化樣本后的訓(xùn)練樣本集，Aa，ij表示老化模擬樣本，其每一行取值由Pi的某一圖像對的As，ij值決定.

對于每一個年齡跨度值△A的實驗，隨機地從Pi(i=1，2，…，m)中選取某一圖像對(共 Ni個圖像對)，并將其決定的樣本序列(Ay，i，…，As，ij)或(Ay，i，…，As，ij，Aa，ij)加入訓(xùn)練樣本集中.重復(fù)進行 100 次，最終對這100次實驗結(jié)果取均值，即得出某一個年齡跨度值的人臉識別率.

3.2 實驗結(jié)果與分析

人臉的生長一般分成2個階段，18歲以下的青少年時期和18歲以上的成年時期.通過統(tǒng)計，F(xiàn)GNET數(shù)據(jù)庫共有911張標(biāo)有68個形狀特征點的人臉圖像，其中有687張圖像年齡介于0～18歲，剩余的224張年齡處于19～35歲.為此，實驗分2步進行，研究對象分別為青少年時期和成年時期的人臉圖像.由于該數(shù)據(jù)庫與專用的人臉識別數(shù)據(jù)庫不同，實驗結(jié)果采用檢索率代替識別率(采用KNN計算檢索率).

3.2 .1 0 ～18歲的青少年時期

訓(xùn)練集和測試集的樣本都取自于數(shù)據(jù)庫中0～18歲的人臉圖像.數(shù)據(jù)庫中該年齡階段的樣本數(shù)據(jù)量較多，年齡依次取值1～10歲.分別用PCA方法和稀疏約束的NMF方法提取紋理特征，形狀特征均采用PCA方法，比較加入老化模擬樣本前后的檢索率，實驗結(jié)果見圖4和表2.

圖4 0～18歲人臉圖像老化前后的檢索率Fig.4 Retrieving ratios before and after aging for facial images between 0 and 18 years old

從圖4和表2可以看出，不管哪種人臉老化模擬方法，增加老化模擬樣本后，檢索率都有了明顯的提高，尤其是年齡跨度越大，檢索率提升得越多.同時可以看出具有稀疏約束性的NMF方法具有更好的特征提取能力，基于該特征的人臉檢索率明顯好于PCA的結(jié)果.另外，從圖4中還可以知道，隨著年齡跨度的增加，具有年齡跨度的人臉圖像檢索率呈現(xiàn)下降趨勢，這進一步表明了青少年時期的人臉形狀的快速成長變化對人臉識別的較大影響.

表2 0～18歲人臉圖像檢索率Table 2 Retrieving ratios for facial images between 0 and 18 years old

3.2 .2 18歲以上的成年人時期

訓(xùn)練集和測試集的樣本都取自于數(shù)據(jù)庫中18～35歲的人臉圖像.根據(jù)數(shù)據(jù)庫中該年齡階段樣本的數(shù)量分布情況，年齡依次取值為1～9.特征提取方法同青少年時期的實驗一樣，然后比較加入老化模擬樣本前后的檢索率，實驗結(jié)果見圖5和表3.

圖5進一步反映出了老化模擬效果對人臉圖像檢索率的影響.與圖4不同的是，18～35歲的成年人臉圖像檢索率比0～18歲青少年的檢索率高出很多，而且隨著年齡跨度的增加，檢索率沒有出現(xiàn)明顯的下滑趨勢.原因可能有以下2點:1)與數(shù)據(jù)庫樣本數(shù)量分布有關(guān)，統(tǒng)計表明18歲以下的人臉圖像中，對于任意的1～10歲的年齡跨度，平均有65個人滿足實驗條件進入了訓(xùn)練集和測試集，而18～35歲的人臉圖像則平均只有26個人滿足實驗條件;2)成年時期人臉形狀和紋理的生長變化對識別的影響不如青少年時期顯著.

圖5 18～35歲人臉圖像老化前后的檢索率Fig.5 Retrieving ratios before and after aging for facial images between 18 and 35 years old

表3 18～35歲人臉圖像檢索率Table 3 Retrieving ratios for facial images between 18 and 35 years old

續(xù)表3

4 結(jié)束語

本文首先提出了一種基于稀疏非負矩陣分解算法的人臉老化模擬方法，實驗表明了具有稀疏約束的非負矩陣分解算法有較強的特征表達能力，其老化效果要優(yōu)于傳統(tǒng)的PCA方法.將此老化方法應(yīng)用于年齡跨度的人臉圖像檢索后，檢索率有了明顯的改善.從實驗結(jié)果可以看出，除了光線、姿態(tài)、表情外，年齡跨度也是影響人臉識別性能的因素之一，而且青少年時期的人臉生長的影響較大.

然而，特征維度的選取以及稀疏的程度這兩大關(guān)鍵因素對老化模擬的結(jié)果都有著直接的影響，這也是今后繼續(xù)研究的內(nèi)容.此外，實驗中適當(dāng)?shù)卣{(diào)整形狀和紋理特征的權(quán)重比例對識別率也會造成不同程度上的影響，因此，兩者之間的關(guān)系也是值得關(guān)注的研究方向.

［1］PHILLIPS P J，SCRUGGS W T，O’TOOLE A J，et al.FRVT 2006 and ICE 2006 large-scale results:Technical Report NISTIR 7408［R］.Gaithersburg，USA:National Institute of Standards and Technology，2007.

［2］RAMANATHAN N，CHELLAPPA R.Face verification across age progression［J］.IEEE Transactions on Image Processing，2006，15(11):3349-3361.

［3］TODD J T，MARK L S，SHAW R E，et al.The perception of human growth［J］.Scientific American，1980，242(2):132-144.

［4］BURT M，PERRETT D.Perception of age in adult Caucasian male faces computer graphic manipulation of shape and colour information［J］.Proceedings of the Royal Society B:Biological Sciences，1995，259(1355):137-143.

［5］TIDDEMAN B，BURT M，PERRETT D.Prototyping and transforming facial texture for perception research［J］.IEEE Computer Graphics and Applications，2001，21(5):42-50.

［6］許志維，張軒庭.基于非負矩陣分解演算法預(yù)測未來人臉影像［C］//2005年消費者電子信號處理研討會.［S.l.］，China，2005:1-8.

XU Zhiwei，ZHANG Xuanting.Prediction of future facial image based on NMF algorithm［C］//Proceedings of the 2005 Workshop on Consumer Electronics and Signal Processing(WCEsp2005).［S.l.］，China:2005:1-8.

［7］王章野，曹玫璇，李理，等.基于個性化原型的人臉?biāo)ダ蠄D像合成［J］.電子學(xué)報，2009，37(4A):118-124.

WANG Zhangye，CAO Meixuan，LI li，et al.Individual prototyping based facial aging image synthesis［J］.Chinese Journal of Electronics，2009，37(4A):118-124.

［8］HOYER P O.Non-negative matrix factorization with sparseness constraints［J］.Journal of Machine Learning Research，2004，5:1457-1469.

［9］JENKINS R，BURTON A M，WHITE D.Face recognition from unconstrained images:progress with prototypes［C］//Proceedings of the 7th International Conference on Automatic Face and Gesture Recognition.Washington，DC，USA:IEEE Computer Society，2006:25-30.

［10］戴歡，吳小俊.基于圖像歐式距離的人臉描述和識別方法［J］.江南大學(xué)學(xué)報:自然科學(xué)版，2009，8(1):20-23.

DAI Huan，WU Xiaojun.Face representation and recognition based on image Euclidean distance［J］.Journal of Jiangnan University:National Science Edition，2009，8(1):20-23.

［11］Face and Gesture Recognition Research Network.FG-Net aging database［EB/OL］.［2011-12-07］.http://www.fgnet.rsunit.com/.