基于自編碼器和稀疏表示的單樣本人臉識(shí)別

王 鈺，劉 凡，王 菲

1.河海大學(xué) 海岸災(zāi)害及防護(hù)教育部重點(diǎn)實(shí)驗(yàn)室，南京210098

2.河海大學(xué) 計(jì)算機(jī)與信息學(xué)院，南京210098

在許多現(xiàn)實(shí)的人臉識(shí)別場(chǎng)景，比如護(hù)照驗(yàn)證和登機(jī)口身份識(shí)別，通常很少甚至只有一個(gè)訓(xùn)練圖像，而測(cè)試樣本可能包含各種劇烈的臉部變化如光照、表情和遮擋，這就是所謂的單樣本人臉識(shí)別問題。如何在含有劇烈類內(nèi)變化的人臉識(shí)別場(chǎng)景中取得較好的識(shí)別效果，成為當(dāng)前許多人臉識(shí)別工作研究的重點(diǎn)問題。針對(duì)這個(gè)問題，研究者們提出了許多單樣本人臉識(shí)別的解決方案。

受到稀疏表示的啟發(fā)，Wright 等[1]首次將基于稀疏表示的分類方法（Sparse Representation Classification，SRC）用于人臉識(shí)別中并取得了很好的效果?；赟RC 的人臉識(shí)別方法背后的基本假設(shè)是待分類的人臉圖像可以由字典中的同類人臉圖像線性表示。然而，在單樣本人臉識(shí)別問題中，一方面，每類單張訓(xùn)練樣本很難構(gòu)造出一個(gè)過完備的字典，另一方面，待分類人臉包含劇烈的類內(nèi)變化，因而SRC方法很難取得在這一問題中取得令人滿意的效果。研究者們嘗試從不同角度改進(jìn)SRC方法，大致可以分為基于虛擬樣本的方法[2-8]、基于特征的方法[9-11]和基于通用訓(xùn)練集的方法[12-14]。對(duì)于基于虛擬樣本的方法，Zhao 等[3]提出嘗試通過旋轉(zhuǎn)、翻轉(zhuǎn)等幾何變換獲取虛擬樣本的方法。劉江等[5]提出利用稀疏重構(gòu)構(gòu)建虛擬圖像，從而提高識(shí)別準(zhǔn)確率。Zhu等[6-7]提出PSRC 方法，將圖片分成塊的方法，每個(gè)塊被視為一個(gè)獨(dú)立的樣本來擴(kuò)充訓(xùn)練樣本，最終的分類結(jié)果由各個(gè)塊投票給出。Pang等[8]提出RHDA方法，結(jié)合多種塊與塊間距離度量提升魯棒性。然而，這些基于單個(gè)訓(xùn)練樣本的虛擬樣本生成方法采用簡(jiǎn)單的幾何或線性變換，所得到的虛擬樣本與訓(xùn)練樣本有很強(qiáng)的線性相關(guān)性，因而效果并不明顯。對(duì)于基于特征的方法，Gao等[9]提出SSAE 方法，利用棧式自編碼器提取人臉特征，并將特征用于稀疏表示分類過程中取得了識(shí)別效果上提升。韓旭等[15]提出結(jié)合SPCA 和HOG 方法對(duì)相似的信息塊進(jìn)行特征量化，最后利用皮爾遜相關(guān)系數(shù)（Pearson Correlation，PC）進(jìn)行相似性判別。而對(duì)于通用訓(xùn)練集方法，利用一個(gè)額外的訓(xùn)練集得到類內(nèi)變化信息并將這些變化信息運(yùn)用到測(cè)試集中。Deng 等[14]提出ESRC 方法，通過通用訓(xùn)練集中帶變化人臉減去標(biāo)準(zhǔn)人臉的方式構(gòu)造出類內(nèi)變化字典來彌補(bǔ)訓(xùn)練字典中缺少變化信息的問題。Yang 等[13]提出LGR 方法，先將圖片分塊并在每個(gè)塊上利用相同的方法構(gòu)造出變化字典。然而，這種構(gòu)造變化字典的方式可能帶來通用集中的人臉輪廓信息而影響分類精度，因此，Gao等[16]提出PRP方法，一種基于塊的正則化表示方法，用來學(xué)習(xí)通用的基于塊的類內(nèi)變化字典。Pang等[17]提出了SGL方法，通過通用集學(xué)習(xí)到不具鑒別性特征的增強(qiáng)變化字典用于表示分類。

已有的這些方法在單樣本人臉識(shí)別方面已經(jīng)取得了很大的進(jìn)展。近年來，深度學(xué)習(xí)的發(fā)展使得人臉生成技術(shù)不斷進(jìn)步，一個(gè)自然的想法就是嘗試通過生成各種帶變化的人臉擴(kuò)充稀疏表示的字典來代替之前的基于構(gòu)造變化字典的稀疏表示方法。本文提出一種基于有監(jiān)督自編碼器的帶變化人臉生成模型彌補(bǔ)單張訓(xùn)練樣本和測(cè)試數(shù)據(jù)間的變化信息差異，并結(jié)合稀疏表示分類方法解決單樣本人臉識(shí)別問題。

1 相關(guān)工作

1.1 稀疏表示

稀疏表示分類方法背后的基本原理原理：將所有類的所有訓(xùn)練樣本組成字典，假設(shè)訓(xùn)練樣本圖像和測(cè)試樣本圖像位于同一線性子空間中，測(cè)試樣本可以被字典中所有類的訓(xùn)練樣本線性表示。對(duì)表示系數(shù)增加稀疏性約束后，表示系數(shù)中的非0項(xiàng)更加集中在測(cè)試樣本所屬的類別上，因而在所屬類別上的重構(gòu)誤差最小。線性表示過程如下：

其中，X=[X1,X2,…,Xd]表示所有類訓(xùn)練樣本組成的字典，Xi表示第i類的訓(xùn)練樣本，y表示測(cè)試樣本，α=[α1,α2,…,αd]是協(xié)同表示過程中的表示系數(shù)。

為解決稀疏表示過程中計(jì)算量過大的問題，Zhang等[18]提出了協(xié)同表示分類方法（Collaborative Representation Classification，CRC），將公式（1）中的?1范數(shù)約束改成?2范數(shù)約束，在節(jié)約計(jì)算量的情況下取得了識(shí)別準(zhǔn)備率相當(dāng)?shù)慕Y(jié)果。

1.2 自編碼器

自編碼通常由兩個(gè)階段組成：編碼階段和解碼階段。輸入圖像x，編碼階段通過映射函數(shù)f:h=f(x)將輸入圖像編碼到隱層h。解碼階段通過映射函數(shù)g:x′=g(h)將隱層h映射回輸入空間，重構(gòu)誤差表示為：

Gao 等[9]構(gòu)造了棧式自編碼器，將自編碼器在圖像重構(gòu)過程中的隱層輸出看作所輸入的人臉圖像x的特征，并將提取到的特征代替原始圖像用于稀疏表示分類過程中，取得了識(shí)別精度的提升。本文嘗試?yán)米跃幋a器直接生成各種帶變化人臉圖像來彌補(bǔ)單張訓(xùn)練樣本和測(cè)試數(shù)據(jù)間的變化信息差異，增強(qiáng)稀疏表示的字典從而提升識(shí)別精度。

2 基于有監(jiān)督自編碼器的稀疏表示

2.1 有監(jiān)督自編碼器

每類給定單張標(biāo)準(zhǔn)人臉訓(xùn)練樣本集合A=[a1,a2,…,aN]，ai表示第i類的單張訓(xùn)練樣本。給定通用訓(xùn)練集包含標(biāo)準(zhǔn)人臉X=[x1,x2,…,xM]，以及對(duì)應(yīng)的帶變化人臉[,…,] 。通過自編碼學(xué)習(xí)到一個(gè)xi的重構(gòu)映射，在此過程中，若只采用通用訓(xùn)練集中的數(shù)據(jù)進(jìn)行訓(xùn)練，必然會(huì)丟失訓(xùn)練樣本的身份信息，因而，利用訓(xùn)練集和通用集中的所有標(biāo)準(zhǔn)人臉進(jìn)行身份信息提取，如圖1（a）所示。輸入xi∈{A,X}，編碼階段記為h=f(xi)=tanh()，解碼階段記為g(h)=tanh() ，身份特征提取模型的表達(dá)式就可以寫為：

其中：

式（4）中，第一項(xiàng)為重構(gòu)誤差，要求輸入圖像xi與網(wǎng)絡(luò)輸出g(f(xi))相近，通過無監(jiān)督圖像重構(gòu)的方式學(xué)習(xí)隱層特征f(xi)。第二項(xiàng)利用KL 散度描述隱層特征的稀疏性，通過選擇一個(gè)較小的ρ0，KL 散度正則化項(xiàng)限制了隱層神經(jīng)元的激活度。文獻(xiàn)[9]中的結(jié)果表明，在自編碼器模型中使用稀疏性約束來激活隱藏層通常比沒有稀疏性約束的自編碼器能取得更好的性能。第三項(xiàng)是網(wǎng)絡(luò)參數(shù)的?2范數(shù)正則項(xiàng)用來預(yù)防網(wǎng)絡(luò)過擬合。當(dāng)身份特征提取模型訓(xùn)練完成之后，輸入一張標(biāo)準(zhǔn)人臉xi，隱層輸出f(xi)就被視作其身份特征，記為IFxi。

圖1 有監(jiān)督自編碼器的網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)于給定的通用訓(xùn)練集中的標(biāo)準(zhǔn)人臉X和帶變化人臉，學(xué)習(xí)到一個(gè)的重構(gòu)映射過程如圖1（b）所示。變化人臉的生成過程可以寫為：

其中第一項(xiàng)是網(wǎng)絡(luò)輸出圖像與目標(biāo)圖像的重構(gòu)誤差。第二項(xiàng)為了保證隱層身份特征的穩(wěn)定，要求編碼階段隱層信息f(xi)要與第一個(gè)模型中提取到的身份特征IFxi相近，以此來保證重構(gòu)圖像的身份信息穩(wěn)定。第三項(xiàng)是softmax損失，其中：

要求輸入圖片xi和重構(gòu)圖片g(f(xi))經(jīng)過softmax分類層要分類到同一個(gè)類別yi上。生成的圖像和輸入的圖像是同一類別，進(jìn)一步確保了生成圖像和輸入圖像具有相同的人臉身份信息，為后續(xù)的分類工作提供保障。最后兩項(xiàng)正則項(xiàng)與前面身份特征提取模型中類似。由于身份特征約束項(xiàng)和softmax 中人臉圖片標(biāo)簽的運(yùn)用，所以將提出的模型稱為有監(jiān)督自編碼器（Supervised AutoEncoder，SAE）。

模型訓(xùn)練完成后，輸入ai∈A，可以得到對(duì)應(yīng)的帶變化人臉a^i。

2.2 字典擴(kuò)充的稀疏表示

對(duì)于給定的單張標(biāo)準(zhǔn)人臉訓(xùn)練樣本集合A=[a1,a2,…,aN]，每個(gè)人有S張測(cè)試樣本T=[] 。將ai輸入到訓(xùn)練完的變化人臉生成模型，可以得到生成的帶變化人臉Gi=，并將所有生成的帶變化人臉放如字典中。擴(kuò)充后的字典可以寫成D=[A,G1,G2,…,GN]。對(duì)于每個(gè)測(cè)試樣本Ti，原始的基于單張訓(xùn)練樣本組成字典的稀疏表示分類目標(biāo)函數(shù)為：

基于擴(kuò)充后的字典，稀疏表示分類方法的目標(biāo)函數(shù)表示為：

稀疏表示方法在單樣本條件下效果下滑的主要原因是每類樣本數(shù)過少，也就是所謂的欠采樣問題。另一方面是由于單張訓(xùn)練樣本中缺少測(cè)試集中的類內(nèi)變化信息。擴(kuò)充后的字典D引入了帶變化的人臉信息，并且在一定程度上緩解了稀疏表示中的欠采樣問題，理論上有助于提升稀疏表示的分類精度。

3 實(shí)驗(yàn)

為了驗(yàn)證所提出方法的有效性，本章使用Extended YaleB[19]和AR[20]數(shù)據(jù)庫(kù)對(duì)本文方法進(jìn)行了評(píng)估。為了充分證明本文提出的方法的魯棒性，分別實(shí)施了基于全局和基于局部塊的分類方法。為了公平比較，將基于全局和基于局部塊的方法分別比較。對(duì)于所有實(shí)驗(yàn)，圖像大小調(diào)整為32×32；對(duì)于所有基于局部塊的方法，塊的大小設(shè)置為11×11。

3.1 Extended YaleB數(shù)據(jù)集

Extended YaleB[19]人臉數(shù)據(jù)庫(kù)是由38個(gè)人在9個(gè)姿勢(shì)和64種光照條件下拍攝的圖像組成的。正常光照下的圖片作為訓(xùn)練圖像。與文獻(xiàn)[8]的實(shí)驗(yàn)設(shè)置相同，28個(gè)類別被用作通用數(shù)據(jù)集，其余10 個(gè)類別用于評(píng)估。一些生成的帶光照變化樣本如圖2所示，左邊是單張訓(xùn)練標(biāo)準(zhǔn)人臉，右邊圖（a）行是生成的帶變化人臉，圖（b）行是測(cè)試集中對(duì)應(yīng)的待分類人臉。

圖2 E-YaleB數(shù)據(jù)集上的一些生成結(jié)果

基于全局的方法的實(shí)驗(yàn)結(jié)果如表1 所示，基于塊的方法如表2 所示。從表1 所示的全局方法的識(shí)別精度可以看出，SAE+CRC 方法比字典中使用單個(gè)訓(xùn)練樣本的CRC 方法至少提高了30 個(gè)百分點(diǎn)，充分證明了生成樣本的有效性。在基于局部塊的方法方面，從表2可以看出，SAE+PCRC的性能也遠(yuǎn)遠(yuǎn)優(yōu)于PCRC。為了減輕字典中噪聲圖片帶來的影響，也利用了MPPCRC[21]分類方法進(jìn)行實(shí)驗(yàn)。結(jié)果顯示，SAE+MPPCRC進(jìn)一步提升了識(shí)別精度?？紤]到Extended YaleB數(shù)據(jù)庫(kù)包含各種劇烈光照變化，實(shí)驗(yàn)還顯示了該方法對(duì)光照的良好魯棒性。

表1 E-YaleB數(shù)據(jù)集基于全局方法的識(shí)別準(zhǔn)確率%

表2 E-YaleB數(shù)據(jù)集基于局部塊方法的識(shí)別準(zhǔn)確率%

3.2 AR數(shù)據(jù)集

在AR 數(shù)據(jù)庫(kù)[20]上的實(shí)驗(yàn)，選擇了AR 庫(kù)中session1的100 個(gè)人的子集，每個(gè)類別包括13 個(gè)不同面部表情、光照條件和遮擋情況下的人臉圖像。選擇80類作為測(cè)試和訓(xùn)練，其中包括前40 名男性和前40 名女性受試者作為訓(xùn)練和測(cè)試，其余20類作為通用訓(xùn)練集。

一些生成的帶變化樣本如圖3所示，左邊是單張訓(xùn)練標(biāo)準(zhǔn)人臉，右邊圖（a）行是生成的帶變化人臉包括微笑表情、墨鏡和圍巾遮擋等臉部變化，右邊圖（b）行是對(duì)應(yīng)的測(cè)試集中的人臉。

圖3 AR數(shù)據(jù)集上的一些生成結(jié)果

圖4 字典擴(kuò)充前后測(cè)試樣本在各類別上的表示系數(shù)

第一幅沒有任何面部變化的圖像被用作單個(gè)訓(xùn)練樣本，其余的被用作測(cè)試樣本。AR 庫(kù)上基于全局的方法的實(shí)驗(yàn)結(jié)果如表3所示，基于局部塊的方法實(shí)驗(yàn)結(jié)果如表4 所示。如表3 所示，與字典中使用單個(gè)訓(xùn)練樣本的CRC方法相比，SAE+CRC方法至少提高了30個(gè)百分點(diǎn)，SAE+MPPCRC 則進(jìn)一步提升了識(shí)別精度。對(duì)于表4中基于塊的方法，SAE+PCRC方法與單樣本字典條件下的PCRC方法相比也有很大改進(jìn)，識(shí)別精度提升了近10 個(gè)百分點(diǎn)。此外，實(shí)驗(yàn)結(jié)果也證明了所提方法對(duì)表情、光照和遮擋變化具有較好的魯棒性。

表3 AR數(shù)據(jù)集基于全局方法的識(shí)別準(zhǔn)確率%

表4 AR數(shù)據(jù)集基于局部塊方法的識(shí)別準(zhǔn)確率%

3.3 表示系數(shù)分析

在Extended YaleB數(shù)據(jù)集和AR數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，無論是基于全局的方法還是基于局部塊的方法，本文方法都體現(xiàn)出了較大的優(yōu)勢(shì)。為了進(jìn)一步闡述所提出方法的優(yōu)越性，本節(jié)從稀疏表示過程中的表示系數(shù)進(jìn)行分析。

如圖4 所示，以AR 數(shù)據(jù)集中戴墨鏡的測(cè)試樣本為例，圖（a）是在單樣本條件下測(cè)試樣本在各個(gè)類別上的表示系數(shù)。由于字典的欠完備，以及類內(nèi)變化信息的缺乏，導(dǎo)致測(cè)試樣本的表示系數(shù)在每個(gè)類別上相對(duì)平均和最終的分類錯(cuò)誤；圖（b）是加入生成圖像擴(kuò)充后的字典條件下同一張戴墨鏡的測(cè)試圖片在各個(gè)類別上的表示系數(shù)，相比圖（a）單樣本條件下，擴(kuò)充后的字典使得測(cè)試樣本的表示系數(shù)更為稀疏，正確類別上的表示系數(shù)為0.4，遠(yuǎn)大于在其他類別上的表示系數(shù)，體現(xiàn)了表示分類過程中的稀疏性。

由此可見，經(jīng)過本文方法擴(kuò)充后的字典有利于緩解稀疏表示方法在單張訓(xùn)練樣本情況下的欠采樣問題，一定程度上彌補(bǔ)了訓(xùn)練集和測(cè)試集之間的類內(nèi)變化差異，從而提升了分類過程中的識(shí)別精度。

4 結(jié)束語(yǔ)

本文提出了一種基于有監(jiān)督自編碼器的帶變化人臉生成方法，解決了稀疏表示分類在單樣本人臉識(shí)別問題中的欠采樣問題，彌補(bǔ)了訓(xùn)練圖像和測(cè)試圖像間的變化信息差異。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)表情、光照、遮擋等各種變化都具有較強(qiáng)的魯棒性。然而，對(duì)于開集條件下的人臉識(shí)別問題，變化信息就更難以學(xué)得。因此，在開集條件下將稀疏表示運(yùn)用到單樣本人臉識(shí)別問題中，是今后要解決的問題。