基于多圖像組信息的人臉識(shí)別研究

逯 波，段曉東，王存睿，李澤東

( 大連民族大學(xué) a.大連市民族文化數(shù)字技術(shù)重點(diǎn)實(shí)驗(yàn)室 b.計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116605)

基于多圖像組信息的人臉識(shí)別研究

逯 波a,b，段曉東a,b，王存睿a,b，李澤東a,b

( 大連民族大學(xué) a.大連市民族文化數(shù)字技術(shù)重點(diǎn)實(shí)驗(yàn)室 b.計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116605)

提出利用多圖像組信息構(gòu)建二部學(xué)習(xí)框架進(jìn)行人臉識(shí)別。首先，利用兩種不同的多圖像組信息源分別學(xué)習(xí)兩個(gè)相應(yīng)的度量空間模型；其次，將得到的模型合并為一個(gè)統(tǒng)一的判別距離度量空間；最后，對(duì)所構(gòu)建的二部學(xué)習(xí)框架進(jìn)行范化，使得框架中的多圖像組信息能夠用來(lái)進(jìn)行子空間學(xué)習(xí)和距離度量學(xué)習(xí)。通過(guò)在多個(gè)標(biāo)準(zhǔn)通用數(shù)據(jù)集上得到實(shí)驗(yàn)結(jié)果驗(yàn)證了所提出方法的有效性。

人臉識(shí)別；多圖像組信息；距離度量學(xué)習(xí)

在人臉識(shí)別領(lǐng)域，每一個(gè)被試都對(duì)應(yīng)多張人臉圖像，以此改進(jìn)人臉?lè)诸惼骷皩W(xué)習(xí)模型的性能表現(xiàn)，并將每個(gè)被試所對(duì)應(yīng)的多張圖像稱之為多圖像組信息。本文針對(duì)多圖像組信息主要考慮兩類問(wèn)題：首先，在已知測(cè)試集中獲取具有相同信息的人臉圖像數(shù)據(jù)，例如，在視頻追蹤檢測(cè)過(guò)程中進(jìn)行人臉識(shí)別，通常很難在視頻序列中推斷相同的人臉圖像信息；其次，在人臉圖像組信息是已知的前提下，如何找到哪些圖像數(shù)據(jù)構(gòu)成了這些組信息的問(wèn)題，例如，在一個(gè)家庭相冊(cè)中進(jìn)行人臉識(shí)別時(shí)，每個(gè)未知家庭成員都對(duì)應(yīng)于一組人臉圖像，但無(wú)法確定哪些未知成員的人臉圖像信息構(gòu)成了組信息。

為了解決上述難題，同時(shí)提高在以上兩種場(chǎng)景中人臉識(shí)別的性能表現(xiàn)，本文提出利用多圖像組信息構(gòu)建了一個(gè)統(tǒng)一的二部框架，在框架中能夠獨(dú)立的在訓(xùn)練集和測(cè)試集中進(jìn)行距離度量學(xué)習(xí)，并將結(jié)果合并到一個(gè)判別距離度量空間中。同時(shí)，提出的二部框架具有良好的擴(kuò)展性，能夠合并任意兩種不同的度量方法，比如子空間學(xué)習(xí)技術(shù)[1-2]和距離度量學(xué)習(xí)方法[3-4]，此外，這些度量方法在框架中能夠使用有監(jiān)督和半監(jiān)督兩種學(xué)習(xí)方法。

在利用有監(jiān)督學(xué)習(xí)模式時(shí)，二部框架能夠直接在測(cè)試數(shù)據(jù)集使用組信息來(lái)形成約束條件。在利用半監(jiān)督學(xué)習(xí)模式時(shí)，二部框架能夠使用已知的組信息源代替某些不可用組別信息，這些信息均以無(wú)監(jiān)督的方式進(jìn)行推斷?；谟斜O(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的二部框架可視化描述如圖1，其中分別使用A、B、C、D以及實(shí)心圓圈、三角形等圖案代表訓(xùn)練集和測(cè)試集中的數(shù)據(jù)。在整個(gè)二部框架中，可以進(jìn)行有監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)，在訓(xùn)練集和測(cè)試集上同時(shí)學(xué)習(xí)兩種距離度量模式。當(dāng)測(cè)試數(shù)據(jù)集上具有已知的組信息時(shí)，距離度量就可以通過(guò)組別標(biāo)簽來(lái)進(jìn)行學(xué)習(xí)，即保證有監(jiān)督學(xué)習(xí)二部度量。當(dāng)訓(xùn)練和測(cè)試數(shù)據(jù)集上具有部分未知組信息時(shí)，距離度量可以通過(guò)無(wú)監(jiān)督模式進(jìn)行學(xué)習(xí)，即保證半監(jiān)督學(xué)習(xí)二部度量。

圖1 基于有監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的二部框架

1 二部學(xué)習(xí)框架

1.1 二部框架基本理論與方法

文中提出的二部框架，分別使用了兩種不同的距離度量，一種從訓(xùn)練集學(xué)習(xí)得到，另一種從測(cè)試集學(xué)習(xí)得到。

給定數(shù)據(jù)集中任意兩張圖像xi和xj，則距離度量A的形式如下：

(1)

式中，A是半正定距離度量函數(shù)，可看作是馬氏距離參數(shù)化形式的一種。在式(1)中利用喬里斯基分解WWT替代A，可以得到：

(2)

由于二部框架方法通過(guò)使用W代替W1W2的方式，融合了兩種距離度量。因此，二部距離度量可定義為：

(3)

式中，W1和W2分別對(duì)應(yīng)于從訓(xùn)練集和測(cè)試集學(xué)習(xí)得到的距離度量。通過(guò)式(3)可以看出，利用W1將原始的人臉圖片映射到Rd1空間，利用W2映射到Rd2空間。其中由于W2保留了之前的映射信息，所以W2起到更重要的作用。

為了說(shuō)明在式(3)中W1和W2是如何學(xué)習(xí)的，文中將在接下來(lái)的部分討論W1的學(xué)習(xí)過(guò)程，而W2的學(xué)習(xí)過(guò)程具有相似的步驟。

(4)

(5)

通過(guò)式(4)和(5)結(jié)合形成目標(biāo)函數(shù)：

(6)

式中，β用來(lái)量化兩種類型約束的相關(guān)重要性，距離度量A1和W1可以由式(6)得到。對(duì)于A1，任意兩個(gè)樣例之間的距離可以看作是使用映射矩陣W1所得到的歐氏距離[5]，而W2可以從訓(xùn)練集中學(xué)習(xí)得到。因此，通過(guò)W1和W2，可以由式(3)得到最終的距離度量A。

1.2 二部框架構(gòu)建

本節(jié)主要介紹二部框架的構(gòu)建過(guò)程，二部框架的主要作用是能夠成為子空間學(xué)習(xí)和距離度量學(xué)習(xí)橋接紐帶。在式(3)中，我們可以使用映射矩陣W作為子空間學(xué)習(xí)，同時(shí)，在式(4)中，A1可以被任意的度量用A所取代，從而作為距離度量學(xué)習(xí)。

針對(duì)線性子空間學(xué)習(xí)算法，其目標(biāo)可以轉(zhuǎn)換為以下形式:

(7)

例如，局部保留映射算法(LocalityPreservingProjections,LPP)在式(7)上可增加的約束條件為Id=WTXLTW，而主成分分析(PrincipalComponentAnalysis,PCA)，線性判別分析(LinearDiscriminantanalysis,LDA)等算法在式(7)上可增加約束條件為WTW=Id。

另一方面，針對(duì)距離度量方法可以用下面公式表示：

(8)

1.3 二部框架的應(yīng)用性能

為了整合和改善子空間學(xué)習(xí)和距離度量學(xué)習(xí)方法，本文所提出的方法可以用來(lái)提供有監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)的框架。

針對(duì)有監(jiān)督學(xué)習(xí)的二部框架模式，可以用來(lái)處理已知多圖像組信息的人臉識(shí)別任務(wù)。在這種模式下，測(cè)試集中的組信息是已知的，并用來(lái)訓(xùn)練和學(xué)習(xí)距離度量。通過(guò)W1和W2可以分別從測(cè)試集或訓(xùn)練集進(jìn)行學(xué)習(xí)，同時(shí)W1能夠從數(shù)據(jù)集中學(xué)習(xí)更多的信息。在本文實(shí)驗(yàn)中，我們從測(cè)試集學(xué)習(xí)W1，因?yàn)橛懈嗟臏y(cè)試圖像。當(dāng)W1和W2學(xué)習(xí)完成后，使用二部方法合并這兩種距離度量，同時(shí)這種順序映射能夠得到一個(gè)單一映射結(jié)果，其中包含了來(lái)自訓(xùn)練集和測(cè)試集的有用信息。

文獻(xiàn)[6]中也定義了一種合并兩個(gè)度量學(xué)習(xí)的相類似方法，其作法是將局部保留投影和線性判別分析方法進(jìn)行合并和優(yōu)化，最終形成一個(gè)目標(biāo)函數(shù)。然而，文獻(xiàn)[6]中僅適用了來(lái)自于訓(xùn)練集中的信息，忽略了測(cè)試集中的有用信息的利用。此外，本文中的二部方法不需要求解拉普拉斯矩陣，因此，所提出的二部方法具有更好的擴(kuò)展性，適用于合并和優(yōu)化大多數(shù)方法，并最終歸納為式(7)和(8)。

在性能方面，二部度量W1W2的性能并不弱于W1或W2，當(dāng)W2為滿秩時(shí)，由于沒(méi)有對(duì)W2進(jìn)行降維，所以W1W2的性能和W1一樣。如果W2不影響整體性能，則可將W2設(shè)置為單位矩陣。此外，二部框架方法可以通過(guò)將W1和W2置換為任意的映射矩陣來(lái)泛化為一個(gè)有監(jiān)督學(xué)習(xí)框架，其中的映射矩陣可以通過(guò)子空間學(xué)習(xí)或距離度量學(xué)習(xí)方法進(jìn)行學(xué)習(xí)，如在式(7)和(8)中所提到的。

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

在實(shí)驗(yàn)過(guò)程中，我們使用了四個(gè)人臉識(shí)別數(shù)據(jù)集，其中包括從Yale人臉數(shù)據(jù)庫(kù)中選取了15名被試，每人對(duì)應(yīng)11張人臉圖片并包含不同的人臉表情；從UMIST人臉數(shù)據(jù)庫(kù)中選取20個(gè)人的564張人臉圖像并包括不同的姿勢(shì)；從ChokePoint監(jiān)控錄像數(shù)據(jù)集[8]中選取80個(gè)人的共560張的人臉圖像，包括不同的光照，姿勢(shì)，銳度和校準(zhǔn)變化；從FG-NET數(shù)據(jù)集中選取66個(gè)被試，每人11張人臉圖像。實(shí)驗(yàn)中所采納的被試者年齡范圍從新生兒到69歲。這些數(shù)據(jù)集中部分人臉樣例如圖2，其中從第一行到最后一行的圖像分別來(lái)自于YALE,UMIST,ChokePoint和FG-NET。

此外，YALE，UMIST和ChokePoint數(shù)據(jù)集中的圖像已經(jīng)進(jìn)行了對(duì)齊處理，并且根據(jù)眼睛位置進(jìn)行了裁剪，尺寸為40×40大小，并歸一化灰度值為0255之間。在FG-NET數(shù)據(jù)集中，每個(gè)圖像包括68個(gè)標(biāo)記點(diǎn)，用來(lái)描述形狀特征，這些點(diǎn)是通過(guò)主動(dòng)外觀模型(ActiveAppearanceModel,AAM)來(lái)進(jìn)行特征提取的，同時(shí)利用主動(dòng)外觀模型提取458個(gè)模型參數(shù)來(lái)表示每個(gè)單獨(dú)的個(gè)體。

圖2 數(shù)據(jù)集中的部分圖像樣例

2.2 對(duì)比方法

為了驗(yàn)證本文提出方法的有效性，在實(shí)驗(yàn)過(guò)程中，將二部框架方法與下列方法進(jìn)行了對(duì)比。

(1)標(biāo)準(zhǔn)子空間學(xué)習(xí)方法線性判別分析LDA和局部保留映射LPP；(2)半監(jiān)督判別分析(Semi-supervisedDiscriminantAnalysis,SDA)[7]；(3)基于圖像集合距離的線性一體式方法(LinearAffineHullBasedImageSetDistance,L-AHISD)[9]，(4)大間隔最近鄰方法(LargeMarginNearest-Neighbour,LMNN)[4]。

2.3 實(shí)驗(yàn)設(shè)計(jì)

在實(shí)驗(yàn)過(guò)程中，每個(gè)被試都提供一組人臉圖片。在訓(xùn)練集中，所有的組信息都帶有被試標(biāo)簽，在測(cè)試集中則不設(shè)置此類標(biāo)簽。實(shí)驗(yàn)的目標(biāo)是能夠正確識(shí)別這些沒(méi)有標(biāo)簽的多圖像組信息。

這些多圖像組信息被直接使用到有監(jiān)督學(xué)習(xí)的二部框架以及基于圖像集合距離的線性一體式方法L-AHISD中，在其他的方法中，使用投票方法來(lái)識(shí)別測(cè)試集中無(wú)標(biāo)簽的組圖像信息。

在對(duì)測(cè)試集中的組信息識(shí)別實(shí)驗(yàn)過(guò)程中，每個(gè)被試被假設(shè)有多個(gè)圖像相對(duì)應(yīng)。同時(shí)，測(cè)試集沒(méi)有相對(duì)應(yīng)的存在被試的多圖像組信息。我們使用基于半監(jiān)督學(xué)習(xí)的二部框架方法解決這類問(wèn)題，在測(cè)試集中使用k近鄰方法構(gòu)建組信息。而基于圖像集合距離的線性一體式方法L-AHISD并不使用此設(shè)置。半監(jiān)督判別分析SDA和基于半監(jiān)督學(xué)習(xí)的二部框架方法同時(shí)使用訓(xùn)練集和測(cè)試集；其它所有的方法只使用訓(xùn)練集進(jìn)行學(xué)習(xí)。在訓(xùn)練過(guò)程中，設(shè)置t=2，每個(gè)被試對(duì)應(yīng)4個(gè)樣本進(jìn)行訓(xùn)練，t為每個(gè)被試對(duì)應(yīng)的訓(xùn)練樣本數(shù)量；剩余的樣本用于測(cè)試。

2.4 實(shí)驗(yàn)結(jié)果

各個(gè)方法進(jìn)行對(duì)比時(shí)的平均識(shí)別率和標(biāo)準(zhǔn)差見(jiàn)表1-2。其中，表1對(duì)應(yīng)于未知多圖像組信息的人臉識(shí)別，表2對(duì)應(yīng)于已知多圖像組信息的人臉識(shí)別。為了便于闡述實(shí)驗(yàn)結(jié)果，將使用的數(shù)據(jù)集分別表示為YALE、UMIST、ChokePoint、FG-NET。將本文提出的方法和對(duì)比方法分別表示為有監(jiān)督二部度量(半監(jiān)督二部度量)、LMNN、L-AHISD、LDA、SDA和LPP。此外，在表1和表2中，t是每個(gè)被試對(duì)應(yīng)的訓(xùn)練樣本數(shù)量，括號(hào)中的數(shù)字是最終映射空間中的維度。

在未知多圖像組信息的人臉識(shí)別的實(shí)驗(yàn)中，根據(jù)表1可觀察到，半監(jiān)督二部度量的結(jié)果最好，然后是LMNN，如公式(8)，這兩種方法有著相似的目標(biāo)函數(shù)。然而，對(duì)于不相似的人臉圖像，半監(jiān)督二部度量有著更強(qiáng)的約束，同時(shí)在測(cè)試集中也利用了判別信息。而LDA，SDA和LPP在低維子空間也可得到相似的結(jié)果，但是識(shí)別率不準(zhǔn)確。

在已知多圖像組信息的人臉識(shí)別實(shí)驗(yàn)中，根據(jù)表2可觀察到，只使用多圖組識(shí)別信息進(jìn)行投票，有監(jiān)督二部度量和L-AHISD比其他方法取得更好的性能。同時(shí)，有監(jiān)督二部度量通過(guò)使用訓(xùn)練集和測(cè)試集信息，在大多數(shù)數(shù)據(jù)集上的準(zhǔn)確率要優(yōu)于L-AHISD。

當(dāng)有更多訓(xùn)練集時(shí)，所有方法的性能都有所提高，例如，表1和表2中t=4時(shí)。然而，在我們實(shí)驗(yàn)設(shè)計(jì)中，如果有更多的訓(xùn)練集則意味著有更少的測(cè)試集。因此，當(dāng)訓(xùn)練集稀缺時(shí)，二部框架使用測(cè)試集來(lái)增強(qiáng)學(xué)習(xí)到的映射，而二部框架方法和其他方法則期望于使用更高的t取值來(lái)縮小兩者之間的性能差距。

表1 未知多圖像組信息的人臉識(shí)別

表2 已知多圖像組信息的人臉識(shí)別

3 結(jié) 論

本文針對(duì)使用多圖像組信息的兩類常見(jiàn)問(wèn)題，提出了利用多圖像組信息構(gòu)建二部學(xué)習(xí)框架進(jìn)行人臉識(shí)別任務(wù)。在構(gòu)建二部學(xué)習(xí)框架過(guò)程中，利用兩種不同的多圖像組信息源分別學(xué)習(xí)兩個(gè)相應(yīng)的度量空間模型，將得到的模型合并為一個(gè)統(tǒng)一的判別距離度量空間。對(duì)所構(gòu)建的二部學(xué)習(xí)框架進(jìn)行統(tǒng)一規(guī)范化，使得框架中的多圖像組信息能夠用來(lái)同時(shí)進(jìn)行子空間學(xué)習(xí)和距離度量學(xué)習(xí)。通過(guò)在多個(gè)數(shù)據(jù)集上與其他方法進(jìn)行比較，驗(yàn)證了本文所提出的方法在進(jìn)行人臉識(shí)別時(shí)具有更好的性能表現(xiàn)。

[1]HEX，NIYOGIP.Localitypreservingprojections[C].ProceedingsofNIPS,Canada, 2003：153-160 .

[2]ZHANGT,TAOD,YANGJ.Discriminativelocalityalignment[C].ProceedingsofECCV,France, 2008：725-738.

[3]XINGE，AN，etal.Distancemetriclearningwithapplicationtoclusteringwithside-information[C].ProceedingsofNIPS,Canada, 2002：505-512.

[4]WEINBERGERK，SAULL.Distancemetriclearningforlargemarginnearestneighborclassification[J].JournalofMachineLearningResearch, 2009(10):207-244.

[5]ROWEISST，SAULLK.Nonlineardimensionalityreductionbylocallylinearembedding[J].Science, 2000，290(5500):2323-2326.

[6]SUGIYAMAM.Dimensionalityreductionofmultimodallabeleddatabylocalfisherdiscriminantanalysis[J].JournalofMachineLearningResearch, 2007(8):1027-1061.

[7]CAID,HEX,JHan.Semi-superviseddiscriminantanalysis[C].ProceedingsofICCV,Brazil, 2007：1-7.[8]WONGY，SC，etal.Patch-basedprobabilisticimagequalityassessmentforfaceselectionandimprovedvideo-basedfacerecognition[C].ProceedingsofCVPRWorkshop,USA, 2011：74-81.

[9]CEVIKALPH，TRIGGSB.Facerecognitionbasedonimagesets[C].ProceedingsofCVPR,USA, 2010：2567-2573.

(責(zé)任編輯 鄒永紅)

Face Recognition based on Group Information of Multiple Images

LU Bo, DUAN Xiao-dong, WANG Cun-rui, LI Ze-dong

(Key Lab of Dalian Nationalities Culture and Digital Technology,School of Computer Science and Engineering, Dalian Minzu University, Dalian Liaoning 116605, China)

In this paper, we propose a bipart framework to take advantage of group information of multiple images of each subject in the testing set as well as in the training set. Two different sources of group information of multiple images which are utilized to learn two metric space models independently are combined to form a unified discriminative distance space. Furthermore, the bipart framework is generalized to allow both subspace learning and distance metric learning methods to take advantage of this group information. The proposed framework is evaluated on the face recognition problem using several benchmark datasets, which demonstrates the validity.

face recognition; group information of multiple images; distance metric learning

2016-11-21；最后

2016-12-21

國(guó)家自然科學(xué)基金項(xiàng)目(61672132，61602085，61370146)；遼寧省科技計(jì)劃項(xiàng)目(2013405003)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(201501030401, 201502030203)。

逯波(1982-)，男，內(nèi)蒙古赤峰人，講師，博士，主要從事多媒體檢索領(lǐng)域研究。

段曉東(1963-)，男，吉林遼源人，教授，博士，主要從事民族人臉識(shí)別領(lǐng)域研究，E-mail：duanxd@dlnu.edu.cn

2096-1383(2017)01-0071-04

TP391

A