基于深度模型的屬性學(xué)習(xí)在人臉驗證中的應(yīng)用研究

劉程 譚曉陽

摘 要：人臉屬性，如性別，年齡等對于特征人臉的構(gòu)成具有唯一性。針對傳統(tǒng)人臉驗證方法的研究，提出了一種基于深度模型的屬性預(yù)測方法。該方法是基于深度卷積神經(jīng)網(wǎng)絡(luò)模型提取的人臉特征表示，通過標(biāo)記屬性信息的數(shù)據(jù)訓(xùn)練分類器進(jìn)行屬性預(yù)測，并將其用于人臉驗證環(huán)節(jié)以提高驗證準(zhǔn)確率。該方法提供了一種從深度模型提取的人臉特征表示中分析人臉屬性的思路，實驗證明，該方法在實際應(yīng)用中能夠有效提高人臉驗證的準(zhǔn)確率。

關(guān)鍵詞：人臉驗證；屬性預(yù)測；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

Abstract： Face attributes，such as gender and age，are unique to feature faces.Aiming at the research of traditional face verification ，we proposed a depth model based on attribute prediction method.The method is based on the deep convolution neural network model to extract the facial feature representation，and the classifier is trained by the data of labeled attribute information to predict the attributes.And we use it in face verification.This method provides a method for analyzing face attributes from facial features extracted from depth model.Experiments show that this method can effectively improve the accuracy of face verification in practical applications.

Keywords： face verification；face attributes；deep learning；convolutional neural network

1 引 言

人臉面部屬性[1]信息，如皺紋，發(fā)型，瞳孔顏色等，對于表征一個人的唯一性具有顯而易見的有效性。對原始人臉圖像的屬性特征預(yù)測對于人臉圖像的分析，識別具有重要的研究意義。由于復(fù)雜的臉部姿態(tài)變化，預(yù)測原始人臉圖像的屬性具有很強(qiáng)的挑戰(zhàn)性。人臉屬性在多種人臉應(yīng)用，如人臉驗證，識別和檢索中扮演了非常重要的角色。然而對于復(fù)雜的人臉變化，如光照，遮擋和姿態(tài)，從原始人臉圖像直接進(jìn)行人臉的屬性預(yù)測往往效果很差。人臉屬性識別方法一般分為兩類：全局和局部方法。全局方法是從整個人臉對象中提取特征，由于全局方法中人臉的特征點定位不是必需的，對于全局的特征提取表示會受限于采集人臉圖像的姿態(tài)，角度等因素。局部模型方法通常首先對人臉進(jìn)行對象檢測定位并且從每一部分提取特征，并將這些局部特征連接起來訓(xùn)練分類器。例如Kumer等人通過對細(xì)分為十個部分的人臉面部提取特征來預(yù)測面部特

征[2]，Zhang等人通過使用數(shù)百個poselets來識別人體屬性[3]。由于依賴于標(biāo)記的定位[4]，在具有復(fù)雜變化的無約束人臉圖像中，這些方法的效果好壞受特征劃分定位的影響很大，同時也要花費大量的標(biāo)記代價。

在以深度學(xué)習(xí)模型為基礎(chǔ)的人臉識別應(yīng)用中，人臉的特征信息表示為一個固定維數(shù)的向量形

式[5，6，7]。對于傳統(tǒng)的人臉驗證，一般是通過計算兩張人臉圖像的特征向量的相似度來進(jìn)行人臉驗證工作[8]，比較常用的有歐式距離，加權(quán)卡方距離，或者內(nèi)積等。通過對于人臉特征向量的分析，我們提出了一種基于深度模型的人臉屬性預(yù)測模型，并且將其用于小樣本人臉驗證的后驗證階段，該框架在使用現(xiàn)有的深度學(xué)習(xí)模型提取人臉特征向量基礎(chǔ)上，使用支持向量機(jī)（support vector machine，SVM）[9]訓(xùn)練分類器進(jìn)行人臉屬性的分類預(yù)測，并以此來驗證人臉驗證的準(zhǔn)確性。實驗表明，該方法可以在一定程度上提高人臉驗證的準(zhǔn)確性，特別是對于前期誤檢的數(shù)據(jù)具有很強(qiáng)的召回率，同時也說明了在深度模型表征的人臉表示中已經(jīng)隱性的包含了人臉屬性的信息，對于深度學(xué)習(xí)算法學(xué)習(xí)人臉的特征表示具有很強(qiáng)的指導(dǎo)意義。

2 卷積神經(jīng)網(wǎng)絡(luò)和屬性預(yù)測

本節(jié)主要介紹了本文提出的屬性預(yù)測方法的主要兩個技術(shù)點，分別是如何采用卷積神經(jīng)網(wǎng)絡(luò)提取人臉的特征表示和從人臉特征表示進(jìn)行人臉屬性的預(yù)測。

2.1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉特征提取算法

卷積神經(jīng)網(wǎng)絡(luò)[10]作為神經(jīng)網(wǎng)絡(luò)模型的一種，能夠自動從海量的數(shù)據(jù)中學(xué)習(xí)并提取特征，相比于傳統(tǒng)的機(jī)器學(xué)習(xí)算法具有顯著的泛化能力，在圖像分類，物體檢測等領(lǐng)域都取得了良好的效果。深度卷積神經(jīng)網(wǎng)絡(luò)是指具有多層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型，通常包含有輸入層，隱含層（包括若干個卷積層和全連接層）和輸出層。

典型的卷積神經(jīng)網(wǎng)絡(luò)主要分為輸入層，卷積層，下采樣層，全連接層和輸出層。一個典型的卷積神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

其中Wi表示第i層卷積核的權(quán)值向量。其中“°”是指卷積核與圖像的卷積操作，卷積結(jié)果與偏移量bi的和最后通過非線性的激勵函數(shù)f（x）得到該層的特征圖像Hi。對于下采樣層，根據(jù)一定的下采樣規(guī)則對特征圖像進(jìn)行下采樣操作。下采樣的功能主要包括三點，一是對特征圖像進(jìn)行絳維，二是保證特征的尺度不變性，三是減少神經(jīng)網(wǎng)絡(luò)的參數(shù)同時防止過擬合。一般在卷積層之后會跟隨一個下采樣層，然后卷積層交替出現(xiàn)傳遞參數(shù)，最后通過全連接層輸出一個分類結(jié)果或者特征表示。總的來說，卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)是使原始圖像矩陣H0經(jīng)過多個層次的數(shù)據(jù)變換或者絳維，將其映射到一個新的特征表達(dá)Y上。

3 實 驗

為了驗證該方法能否確實有效的提高人臉驗證的準(zhǔn)確率，在FERET[11]數(shù)據(jù)庫上進(jìn)行了實驗驗證。FERET數(shù)據(jù)庫包括了共3880張人臉圖像，包含了1029個人的不同姿態(tài)表情的正面無遮擋人臉圖像，是目前最具權(quán)威的人臉數(shù)據(jù)庫之一。

首先通過之前訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)模型對于每張人臉圖像進(jìn)行特征提取得到人臉的特征表示向量作為實驗數(shù)據(jù)，共3880組2048維向量。然后對其進(jìn)行人臉屬性的標(biāo)記，這里選取了人臉區(qū)分度較為明顯的三種屬性，分別是性別（男女），年齡段（老，中，幼），膚色（黑，白）。其中用1，0標(biāo)注來代表性別分別為男女。對于年齡段的標(biāo)注，由于沒有一種標(biāo)準(zhǔn)的老幼定義，簡單的通過年齡來進(jìn)行分類，定義年齡大于50歲的為老人，20至50歲的為中年，20歲以下的為幼年，分別標(biāo)記為0，1，2。對于膚色，通過肉眼的直觀判斷進(jìn)行標(biāo)記，將數(shù)據(jù)庫中的黑人標(biāo)記為1，剩下的由于白種人和黃種人膚色差異不大，統(tǒng)統(tǒng)標(biāo)記為0。采用交叉驗證[12]的方法進(jìn)行分類器的訓(xùn)練和預(yù)測，在實際操作中，對于所有數(shù)據(jù)，我們將其分為5組，分別用其中的一組訓(xùn)練SVM分類器，用其它4組作為測試數(shù)據(jù)驗證分類器的性能。得到效果最好的一組分類器用作接下來的實驗。

然后對于人臉驗證，首先直接采用提取的3880組特征向量進(jìn)行兩兩驗證，得到未采用屬性預(yù)測方法的人臉驗證實驗結(jié)果。然后先是標(biāo)記了一張人臉的屬性，對于另外一張采用訓(xùn)練好的分類器進(jìn)行屬性預(yù)測并與標(biāo)記的人臉進(jìn)行對比，對于屬性存在不同的數(shù)據(jù)，判定其驗證失敗，對于屬性都為相同的數(shù)據(jù)，維持原有的判定。由此得到兩組驗證結(jié)果，分別代表著未采用屬性預(yù)測的驗證結(jié)果和采用屬性預(yù)測的實驗結(jié)果。對于實驗數(shù)據(jù)，采用交叉驗證方法重復(fù)進(jìn)行了5次實驗并取分類器效果最好的一組數(shù)據(jù)。具體實驗結(jié)果如表1。

表中RR代表相同人臉判定為同一個人[13]，RF代表相同人臉判定為不同人，F(xiàn)R代表不同人臉判斷為不同人，F(xiàn)F代表不同人臉判定為不同人。

從實驗結(jié)果分析，在采用了屬性標(biāo)記之后，大部分的人臉驗證結(jié)果準(zhǔn)確率都有一定的上升，其中膚色的效果最好，相比于原本的效果RR值上升了1.69%，而年齡段的RR值卻下降了0.08%。通過對數(shù)據(jù)庫數(shù)據(jù)的分析，這是因為數(shù)據(jù)庫中存在一定的同一人不同年齡段的人臉數(shù)據(jù)，對于不同年齡段的同一人臉，原始方法給出的是正確判決，而由于年齡標(biāo)記沒有符合而判決沒有通過。在實際的應(yīng)用中，人臉驗證的標(biāo)準(zhǔn)人臉對比應(yīng)該是近一段時間收集的數(shù)據(jù)，所以不會存在這個問題。

可以看到，對于RR，原始方法效果已經(jīng)較好，屬性預(yù)測對其效果有一定的提高但是不是很明顯。對于FR，原始方法效果較差，通過添加屬性預(yù)測步驟可以一定程度上提高人臉驗證的準(zhǔn)確率。 總的來說，對于人臉特征向量的屬性預(yù)測能夠在一定程度上提高人臉驗證的準(zhǔn)確率，但是這也需要一定的標(biāo)記代價。

4 結(jié)束語

基于深度卷積神經(jīng)網(wǎng)絡(luò)在人臉特征表示上的工作，提出了一種基于人臉特征向量的屬性預(yù)測方法，并將其用于人臉驗證階段。該方法有兩個意義，一是提供了一種人臉屬性預(yù)測的方法并確實的提高了人臉驗證的準(zhǔn)確率，二是說明了卷積神經(jīng)網(wǎng)絡(luò)特征表示中已經(jīng)隱性的包含了人臉的屬性信息，對于分析深度卷積神經(jīng)網(wǎng)絡(luò)模型具有重要的研究意義。

參考文獻(xiàn)

[1] BERG T，BELHUMEUR P N.POOF：part-based one-vs.-one features for fine-grained categorization，face verification，and attribute estimation[C]// Computer Vision and Pattern Recognition.IEEE，2013：955—962.

[2] KUMAR N，BERG A C，BELHUMEUR P N，et al.Attribute and simile classifiers for face verification[C]// IEEE，International Conference on Computer Vision.IEEE，2010：365—372.

[3] ZHANG N，PALURI M，RANZATO M，et al. PANDA：pose aligned networks for deep attribute modeling[J].Computer Vision and Pattern Recognition，2016：1637—1644.

[4] BOURDEV L，MAJI S，MALIK J.Describing people：a poselet-based approach to attribute classification[C]// IEEE International Conference on Computer Vision.IEEE，2011：1543—1550.

[5] BERG T，BELHUMEUR P N.Tom-vs-Pete classifiers and identity-preserving alignment for face verification [C] //BMVC.2012，2：7.

[6] CAO X，WIPF D，WEN F，et al.A practical transfer learning algorithm for face verification [C] //Proceedings of the IEEE International Conference on Computer Vision，2013：3208—3215.

[7] LI H，LIN Z，SHEN X，et al.A convolutional neural network cascade for face detection [C] //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：5325—5334.

[8] 段向軍.基于粒子群算法和神經(jīng)網(wǎng)絡(luò)的人臉識別分類器研究[J].計算技術(shù)與自動化，2011，30（2）：115—117.

[9] JOACHIMS T.Making large-scale SVM learning practical[C]// Technische Universit-t Dortmund，Sonderforschungsbereich 475：Komplexit？tsreduktion in multivariaten Datenstrukturen，1998：499—526.

[10] 李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)應(yīng)用，2016，36（9）：2508—2515.

[11] PHILLIPS P J，MOON H，RAUSS P，et al.The FERET september 1996 database and evaluation procedure[J].Lecture Notes in Computer Science，1997，1206：395—402.

[12] 韓萌，丁劍.基于交叉驗證的BP算法的改進(jìn)與實現(xiàn)[J].計算機(jī)工程與設(shè)計，2008，29（14）：3738—3739.

[13] 邵蔚元，郭躍飛.多任務(wù)學(xué)習(xí)及卷積神經(jīng)網(wǎng)絡(luò)在人臉識別中的應(yīng)用[J].計算機(jī)工程與應(yīng)用，2016，52（13）：32—37.