多流形耦合映射下的低分辨人臉識別

鄭冬冬,張凱兵

(西安工程大學(xué) 電子信息學(xué)院,陜西 西安 710048)

0 引 言

人臉識別是計算機視覺領(lǐng)域最重要的研究課題之一[1-2]。目前,在受控條件下的高分辨 (HR,high-resolution)人臉識別方法已趨于成熟,在很多生產(chǎn)實踐中開始大范圍推廣應(yīng)用。然而,在實際的非受控條件下,受姿態(tài)、光照、表情、遮擋和分辨率等不利因素的影響, 人臉識別系統(tǒng)的性能急劇下降, 無法滿足實際應(yīng)用要求。因此,研究低分辨率(LR,low-resolution)人臉的識別技術(shù)受到研究者的廣泛關(guān)注。

在過去幾十年,人們提出了許多不同的低分辨人臉識別方法。根據(jù)識別原理的不同,大體可以分為3種類型:基于重構(gòu)超分辨(SR,super-resolution)圖像的LR人臉識別方法、基于公共特征子空間的LR人臉識別方法和基于深度學(xué)習(xí)的LR人臉識別方法。

基于重構(gòu)SR圖像的LR人臉識別方法[3-5]發(fā)展迅速,該類方法主要利用圖像SR重建技術(shù),獲得視覺效果較好的HR人臉圖像實現(xiàn)人臉的相似性匹配。盡管基于圖像SR的方法能夠獲得視覺效果較好的HR人臉圖像,但容易在人臉關(guān)鍵特征點處引入偽像,嚴(yán)重影響識別性能,而且,隨著監(jiān)控網(wǎng)絡(luò)的大面積覆蓋,該類方法的計算復(fù)雜度較高,難以滿足實際應(yīng)用要求。

近年來,基于公共特征子空間的LR人臉識別方法由于其算法相對簡單,耗時少等優(yōu)點,成為一條解決HR-LR人臉圖像特征維度不匹配問題的有效途徑。此類方法通過學(xué)習(xí)HR-LR人臉的耦合映射,將不同維數(shù)的HR-LR人臉圖像先映射到一個公共特征子空間,然后在維數(shù)相同的特征子空間中完成HR-LR人臉圖像的相似性匹配。目前針對公共特征子空間的LR人臉識別問題主要有2種常見的解決方法:第1種是基于字典學(xué)習(xí)和稀疏表示的LR人臉識別方法[6-9],該方法主要通過字典學(xué)習(xí)和稀疏表示對人臉的局部結(jié)構(gòu)特征進行稀疏編碼后變換到低維特征空間，實現(xiàn)LR人臉的匹配;第2種是基于耦合映射的LR人臉識別方法,一般有3種映射方式,分別為HR人臉特征到LR人臉特征空間的映射[10-11],LR人臉特征到HR人臉特征空間的映射[12]和HR-LR人臉特征到公共特征子空間的映射[13-14]。其中同時將HR-LR人臉特征映射到公共特征子空間進行匹配的映射方式最為有效,該方法利用HR-LR人臉圖像對學(xué)習(xí)HR-LR耦合映射矩陣,然后利用得到的HR-LR耦合映射矩陣將HR人臉圖像特征和LR人臉圖像特征變換到維數(shù)相同的公共特征子空間,實現(xiàn)HR人臉圖像與LR人臉圖像的相似性匹配。

隨著深度學(xué)習(xí)的迅速發(fā)展,基于深度學(xué)習(xí)的LR人臉識別方法[15-20]受到了研究者的廣泛關(guān)注。相比傳統(tǒng)機器學(xué)習(xí)算法,深度學(xué)習(xí)在處理大量訓(xùn)練樣本時更具有優(yōu)勢。其主要通過卷積神經(jīng)網(wǎng)絡(luò)提取人臉特征,采用有效的激活函數(shù)和損失函數(shù)對網(wǎng)絡(luò)參數(shù)進行優(yōu)化,實現(xiàn)端到端HR-LR人臉的識別。

耦合局部保留映射方法[21](CLPMs,coupled locality preserving mappings method)是一種具有代表性的耦合映射的LR人臉識別方法。該方法在學(xué)習(xí)HR-LR耦合映射以構(gòu)建公共特征子空間過程中,僅考慮了樣本的局部幾何結(jié)構(gòu)信息,而忽略了樣本的判別信息和標(biāo)簽信息,導(dǎo)致獲得的對偶映射判別能力和可分性不足。為解決上述問題,本文充分考慮了樣本的判別信息和標(biāo)簽信息,利用HR-LR人臉圖像的局部流形幾何結(jié)構(gòu)信息與標(biāo)簽信息,使得相同類別的HR-LR人臉圖像在獲得的公共特征子空間中的距離應(yīng)盡可能接近,而不同類別的HR-LR人臉圖像在公共特征子空間中的距離應(yīng)盡可能疏遠(yuǎn),從而增強耦合映射關(guān)系矩陣的判別能力和可分性,提高LR人臉的識別性能。

1 理論基礎(chǔ)

1.1 問題描述

LR人臉識別本質(zhì)上屬于分類問題,核心在于人臉特征的選擇與提取,而分類問題可以通過找到一種合適且有效的度量學(xué)習(xí)方法實現(xiàn)?；隈詈嫌成涞腖R人臉識別方法的關(guān)鍵在于如何學(xué)習(xí)將HR-LR訓(xùn)練人臉圖像特征變換到公共特征子空間的兩種耦合映射[21],即fL:Rm→Rd與fH:RM→Rd。其中,d表示公共特征子空間的特征維度。理想而言,在公共特征子空間內(nèi),同類HR-LR人臉圖像特征之間的距離應(yīng)盡可能接近,反之亦然。耦合映射學(xué)習(xí)用數(shù)學(xué)公式表述為

(1)

(2)

通過最小化上述目標(biāo)函數(shù)求解兩個耦合映射矩陣PH∈RM×d,PL∈Rm×d。

1.2 多流形耦合映射

與CLPMs方法不同,本文方法不僅考慮了訓(xùn)練人臉圖像樣本的局部幾何結(jié)構(gòu)信息,同時考慮了樣本的判別信息和標(biāo)簽信息。用數(shù)學(xué)公式描述為

(3)

(4)

(5)

(6)

式中kw,kb分別表示HR訓(xùn)練人臉圖像類內(nèi)和類間的鄰域樣本數(shù)目。

(7)

則式(7)可簡化為

J(PH,PL)=tr(PTYGYTP)

(8)

通過施加約束實現(xiàn)尺度和旋轉(zhuǎn)不變特性,最小化目標(biāo)函數(shù)解決如下優(yōu)化問題:

J(PH,PL)s.t.PTYYTP=I,PTYI*=0

(9)

式中:I是大小為d×d的單位陣;I*=[1,1,…,1]T是2Nt項向量。設(shè)E=YGYT和F=YYT,優(yōu)化問題的解p可通過求解P的第2到(d+1)個廣義特征向量Ep=λFp得到。注意,矩陣YYT并不總是可逆,故需要施加正則項參數(shù),即YYT+τI。式中的τ是一個小的正整數(shù)(本文設(shè)置為τ=10-5)。具體求解過程見文獻[21]。

本文提出的方法包括2個階段,即訓(xùn)練階段和測試階段。算法流程如下:

2 結(jié)果比較與分析

本文使用3個標(biāo)準(zhǔn)人臉庫 FERET[22]、YaleB[23]和 CMU PIE[24]驗證提出方法的有效性, 并對實驗結(jié)果進行比較與分析。在所有的實驗中, HR 人臉圖像均經(jīng)過手工裁剪和對齊, LR人臉圖像由 HR 人臉圖像先經(jīng)過高斯平滑, 然后再通過采樣得到。

2.1 人臉庫設(shè)置

FERET人臉庫包含429個不同表情、姿態(tài)和光照的人臉圖像,其中1 002幅正面人臉圖像作為訓(xùn)練集,1 196幅人臉圖像作為參考集,1 195幅人臉圖像作為測試集,HR人臉圖像分辨率為72×72,LR人臉圖像分辨率分別為8×8和18×18。YaleB人臉庫包含38個不同光照、姿態(tài)和表情的人臉圖像,其中2 414幅人臉圖像作為參考集;CMU PIE人臉庫包含68個不同姿態(tài)、光照和表情的人臉圖像,其中3 329幅人臉圖像作為參考集。YaleB和CMU PIE人臉庫,均隨機選取每個人的50%人臉圖像作為訓(xùn)練集,剩余的人臉圖像作為測試集,其中HR人臉圖像分辨率為32×28,LR人臉圖像分辨率分別為8×7和16×14。本文方法在3個標(biāo)準(zhǔn)人臉庫上與一些使用主成分分析(PCA,principal component analysis)和線性判別分析(LDA,linear discriminant analysis)提取人臉特征的基準(zhǔn)方法,如HR-PCA(直接對HR人臉圖像使用PCA提取特征),HR-LDA(直接對HR人臉圖像使用LDA提取特征),Cubic-PCA(對LR人臉圖像進行Cubic插值并用PCA提取特征),Cubic-LDA(對LR人臉圖像進行Cubic插值并用LDA提取特征)和CLPMs方法進行比較。

2.2 特征維度比較與分析

本文在3個標(biāo)準(zhǔn)人臉庫上均使用50%的樣本作為訓(xùn)練集,利用Rank-1和分辨率為8×8(FERET人臉庫)、8×7(YaleB和CMU PIE人臉庫)進行實驗,分析特征維度對識別效果的影響。如圖1所示,本文方法在3個標(biāo)準(zhǔn)人臉庫上的識別效果接近或超過HR-LDA基準(zhǔn)方法,與CLPMs方法相比,識別率分別提升了3.7%(FERET人臉庫),2.5%(YaleB人臉庫)和6.5%(CMU PIE人臉庫)。對YaleB人臉庫,由于人臉圖像之間的光照變化差異較大,本文方法的性能提升不太明顯,但仍然優(yōu)于其他方法,且都分布在特征維度較低的維數(shù)段。這是因為本文方法不僅考慮了樣本的局部幾何結(jié)構(gòu)信息,同時考慮了樣本的類內(nèi)與類間判別信息,從而使學(xué)習(xí)獲得的對偶映射能有效提高樣本的判別性和可分性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.3 Rank比較與分析

Rank-n是模式識別中用于評價識別算法性能的一項重要指標(biāo),它用于計算匹配結(jié)果中最靠前的N張人臉圖像中包含正確匹配的概率。當(dāng)匹配的人臉在候選集中按照相似性由大到小排序后,正確匹配的人臉排序越靠前,則算法的效果越好。本部分實驗采用Rank-n來評價本文方法的性能,實驗設(shè)置同上。如圖2是不同Rank下算法的識別性能。以FERET人臉庫的Rank-1為例,本文方法在N個(N=1,2,…,10)最相似人臉中第一次匹配到目標(biāo)人臉的概率達到94%左右。而且,在3個標(biāo)準(zhǔn)人臉庫上,本文方法的最高識別率在不同rank下均明顯優(yōu)于其他方法,識別率隨著rank的逐漸增加而緩慢上升,最終趨于平緩。該實驗充分表明了本文方法具有較好的穩(wěn)定性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.4 分辨率比較與分析

本實驗分別對每個標(biāo)準(zhǔn)人臉庫設(shè)置了兩種分辨率來評估本文方法的識別性能,分析分辨率對識別效果的影響,其中FERET人臉庫的分辨率分別為8×8和18×18,YaleB和CMU PIE人臉庫分辨率分別為8×7和16×14。如圖3所示,本文方法在3個標(biāo)準(zhǔn)人臉庫上的識別效果都要優(yōu)于其他方法,不會受分辨率的影響而導(dǎo)致識別效果差于其他方法,充分說明了本文方法對人臉圖像的分辨率具有良好的魯棒性。

(a)FERET

(b)YaleB

(c)CMU PIE

2.5 參數(shù)設(shè)置對識別效果的影響分析

本文以 FERET 人臉庫為基準(zhǔn)數(shù)據(jù)庫,在實驗參數(shù)設(shè)置c=24,n=kw=2和kb=10 條件下,分析類內(nèi)判別項與類間判別項的權(quán)重因子a,b對識別效果的影響。如圖4所示,隨著類內(nèi)判別項權(quán)重因子a的緩慢增加, 識別率迅速上升直至最大值,而后又緩慢下降最終趨于平穩(wěn)。而隨著類間判別項權(quán)重因子b的緩慢增加, 識別率在a較小時逐漸下降, 隨后識別率基本保持平穩(wěn)。由此可見, 類內(nèi)判別項對識別效果有著較大的影響, 充分說明利用訓(xùn)練樣本的類別信息構(gòu)造對偶映射對分類性能的重要性。

圖4 參數(shù)設(shè)置對識別效果的影響

3 結(jié) 語

針對低分辨人臉識別中基于耦合映射學(xué)習(xí)方法的關(guān)鍵問題,提出了一種基于多流形耦合映射的低分辨人臉識別方法。該方法在學(xué)習(xí)高低分辨率人臉特征間的耦合映射時充分考慮了訓(xùn)練人臉樣本的局部幾何結(jié)構(gòu)信息和標(biāo)簽信息,同時將樣本的類內(nèi)與類間判別信息加入到目標(biāo)函數(shù)中優(yōu)化求解對偶映射關(guān)系,以進一步提升低分辨人臉的識別性能。通過使用3個標(biāo)準(zhǔn)人臉庫進行實驗,驗證了該方法的有效性。不過,對于光照變化差異比較大的人臉圖像,本文方法的識別效果還存在明顯的不足,研究提升本文方法對光照變化差異較大的人臉圖像的魯棒性,將是下一步研究工作的重點。