卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別上的研究

聶 超

(中國(guó)海洋大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，青島 266100)

卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別上的研究

聶 超

(中國(guó)海洋大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，青島 266100)

卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別領(lǐng)域里已經(jīng)有非常好的結(jié)果，在LFW(Labeled Faces in the Wild)數(shù)據(jù)集上的認(rèn)證識(shí)別率已經(jīng)達(dá)到99%以上，超出人的識(shí)別率.然而這些網(wǎng)絡(luò)需要訓(xùn)練龐大的參數(shù)或者需要巨大的數(shù)據(jù)集.通過(guò)構(gòu)造一個(gè)比較小的網(wǎng)絡(luò)，極大地減少了訓(xùn)練參數(shù)，并且在有限的訓(xùn)練集上得到了比較好的識(shí)別率.為了深入了解卷積神經(jīng)網(wǎng)絡(luò)，做了很多實(shí)驗(yàn).例如，比較了在激活層前和激活層后加入正則化對(duì)網(wǎng)絡(luò)訓(xùn)練的影響，同時(shí)比較了提取不同的特征維度對(duì)實(shí)驗(yàn)準(zhǔn)確率的影響，另外也比較了歐式距離和余弦距離對(duì)實(shí)驗(yàn)的影響.通過(guò)實(shí)驗(yàn)結(jié)果我們發(fā)現(xiàn)正則化在激活層之前的網(wǎng)絡(luò)識(shí)別率更高，使用余弦距離比使用歐氏距離會(huì)有更高的識(shí)別率，特征維度越大，人臉識(shí)別率越高.

深度學(xué)習(xí)；人臉識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)，尤其是卷積神經(jīng)網(wǎng)絡(luò)作為近幾年來(lái)模式識(shí)別中的研究重點(diǎn)，受到人們?cè)絹?lái)越多的關(guān)注，相關(guān)的參考文獻(xiàn)也是層出.

對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，最早可以追溯到1986年BP算法的提出[1]，1989年LeCun將其用到多層神經(jīng)網(wǎng)絡(luò)中來(lái)識(shí)別手寫(xiě)數(shù)字[2]，這是卷積神經(jīng)網(wǎng)絡(luò)這一概念最早提出.直到1998年LeCun提出LeNet-5模型[3]，神經(jīng)網(wǎng)絡(luò)的雛形完成.這是第一個(gè)正式的卷積神經(jīng)網(wǎng)絡(luò)模型.在接下來(lái)近十年的時(shí)間里，卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究趨于停滯，原因有兩個(gè)：一是研究人員意識(shí)到多層神經(jīng)網(wǎng)絡(luò)在進(jìn)行BP訓(xùn)練時(shí)的計(jì)算量極其之大，當(dāng)時(shí)的硬件計(jì)算能力完全不可能實(shí)現(xiàn)；二是包括SVM在內(nèi)的淺層機(jī)器學(xué)習(xí)算法也漸漸開(kāi)始暫露頭腳.

2006年，Hinton在《Science》上發(fā)表文章指出“多隱層神經(jīng)網(wǎng)絡(luò)具有更為優(yōu)異的特征學(xué)習(xí)能力，并且其在訓(xùn)練上的復(fù)雜度可以通過(guò)逐層初始化來(lái)有效緩解”[4]，卷積神經(jīng)網(wǎng)絡(luò)再度覺(jué)醒，并取得長(zhǎng)足發(fā)展.在GPU加速的硬件條件下，在大數(shù)據(jù)識(shí)別的應(yīng)用背景下，深度學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)發(fā)展迅速.2012年，ImageNet大賽上卷積神經(jīng)網(wǎng)絡(luò)奪冠，奠定了卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的重要地位[5].此后，其應(yīng)用領(lǐng)域再也不只局限于手寫(xiě)數(shù)字識(shí)別以及聲音識(shí)別了，人臉識(shí)別成為其重要的應(yīng)用領(lǐng)域之一.2014年，Taigman等人[6]提出DeepFace，香港中文大學(xué)湯曉鷗教授的研究團(tuán)隊(duì)提出DeepID三部曲[7-9]，直接將LFW數(shù)據(jù)庫(kù)上的人臉識(shí)別的正確率刷到99.75%，超越人眼的極限.DeepFace和DeepID作為兩個(gè)相對(duì)成功的高性能人臉識(shí)別與認(rèn)證模型，成為卷積神經(jīng)網(wǎng)絡(luò)在人臉識(shí)別領(lǐng)域中的標(biāo)志性研究成果.

盡管先前的方法已有非常好的結(jié)果，在LFW數(shù)據(jù)集上的人臉識(shí)別率已經(jīng)非常高，但是巨大的計(jì)算量仍然是一個(gè)大問(wèn)題，這也是人臉識(shí)別系統(tǒng)在移動(dòng)設(shè)備上應(yīng)用的瓶頸.深的卷積神經(jīng)網(wǎng)絡(luò)會(huì)產(chǎn)生很大的模型，對(duì)于在CPU或者GPU上特征提取會(huì)花費(fèi)很長(zhǎng)時(shí)間.特別的，多尺度和多個(gè)人臉塊也會(huì)需要花費(fèi)長(zhǎng)時(shí)間.因此，構(gòu)造小網(wǎng)絡(luò)，用有限的數(shù)據(jù)集訓(xùn)練小模型非常有用，這樣可以快速提取特征.

基于VGG網(wǎng)絡(luò)[10]，本文提出了一個(gè)比較小的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以快速提取人臉特征做人臉識(shí)別任務(wù).我們的模型在Webface數(shù)據(jù)集上訓(xùn)練，在LFW數(shù)據(jù)集上測(cè)試.為了公平，使用同樣方法訓(xùn)練和測(cè)試了VGG模型，發(fā)現(xiàn)使用我們的小模型的識(shí)別率更高，達(dá)到95.05%.并且，模型提取特征的速度比VGG模型提取的速度快近15倍.

如今要想提高識(shí)別率，可以通過(guò)構(gòu)造更深的神經(jīng)網(wǎng)絡(luò)或者用更大的訓(xùn)練數(shù)據(jù).這就會(huì)產(chǎn)生一個(gè)問(wèn)題，更深的網(wǎng)絡(luò)和更大的數(shù)據(jù)的確可以提高識(shí)別率，但是會(huì)消耗極大的內(nèi)存和花費(fèi)很多時(shí)間，很難應(yīng)用到便攜式設(shè)備上去.因此，要在網(wǎng)絡(luò)深度不是很大，訓(xùn)練數(shù)據(jù)不是很多的情況下，通過(guò)探索訓(xùn)練技巧來(lái)提高識(shí)別率.

1 網(wǎng)絡(luò)設(shè)置

1.1網(wǎng)絡(luò)配置

受到VGG網(wǎng)絡(luò)[10]的影響，本文構(gòu)建了一個(gè)13層的卷積網(wǎng)絡(luò).除了第一個(gè)卷積層的核大小是外，其他的卷積層都使用的核，這樣做的好處是減少參數(shù)，加快訓(xùn)練時(shí)間.第一個(gè)卷積層后跟著一個(gè)MAX池化層，最后一個(gè)卷積層后面跟著一個(gè)AVG池化層，最后是特征提取層和SOFTMAX層.配置的網(wǎng)絡(luò)結(jié)構(gòu)與VGG網(wǎng)絡(luò)結(jié)構(gòu)的比較如表1所示.可以發(fā)現(xiàn)我們的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)是VGG網(wǎng)絡(luò)參數(shù)的近1/10，訓(xùn)練的數(shù)據(jù)集大小只有VGG網(wǎng)絡(luò)的1/5.

1.2參數(shù)設(shè)置

人臉照片首先被調(diào)整到一個(gè)固定的大小，然后輸入到網(wǎng)絡(luò)中的圖片是從調(diào)整后的圖片中隨機(jī)裁剪一個(gè)像素大小的圖片.為了增加數(shù)據(jù)，水平翻轉(zhuǎn)照片，并且使用彩色照片.網(wǎng)絡(luò)的參數(shù)設(shè)定如下，使用batch的大小是128，初始的學(xué)習(xí)率設(shè)為0.01，并且每迭代20 000次學(xué)習(xí)率變?yōu)橹暗囊话?，模型共迭?00 000次，權(quán)重?fù)p失值設(shè)為0.000 5，動(dòng)量設(shè)為0.9.

表1VGG網(wǎng)絡(luò)與本文網(wǎng)絡(luò)比較

網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)大小數(shù)據(jù)大小VGGC1(64,3,1),C2(64,3,1),M1(2)C3(128,3,1),C4(128,3,1),M2(2)C5(256,3,1),C6(256,3,1),C7(256,3,1),C8(256,3,1),M3(2)C9(512,3,1),C10(512,3,1),C11(512,3,1),C12(512,3,1),M4(2)C13(512,3,1),C14(512,3,1),C15(512,3,1),C16(512,3,1),M5(2)F1(4096),F2(4096),F3(1000)139M2.6MOursC1(64,7,2),M1(2)C2(64,3,1),C3(64,3,1),C4(64,3,1),C5(64,3,2)C6(128,3,1),C7(128,3,1),C8(128,3,2)C9(256,3,1),C10(256,3,1),C11(256,3,2)C12(512,3,1),C13(512,3,1),A2(2)F1(4096),F2(10575)14M467K

注：1)字母C,M,A,F分別表示卷積，最大池化，平均池化和全連接層；

2)C(n,k,s)表示該層卷積的核的數(shù)量是n，核的大小是k，卷積步長(zhǎng)是s；

3)M(s)和A(s)分別表示步長(zhǎng)為s的最大池化和平均池化；

4) F(4 096)表示特征維度是4 096；F(10 575)表示分類(lèi)的類(lèi)別數(shù)是10 575.

1.3人臉?lè)诸?lèi)器

最初，人臉照片I經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)ψ映射到一個(gè)D維特征向量ψ(I)上，接著通過(guò)最后的全連接層把特征向量映射到一個(gè)N維的分?jǐn)?shù)向量x=Wψ(I)+b，其中W∈RN×D是線性預(yù)測(cè)算子，b∈RN是偏置，N是所有樣本的類(lèi)別數(shù).這些分?jǐn)?shù)和真實(shí)的類(lèi)別標(biāo)簽y∈{1,2……N}輸入到softmax損失函數(shù)層得到一個(gè)對(duì)數(shù)損失值loss(x)=-log(exy)/∑i=1,…,Nexi，其中xi表示向量x的第i個(gè)分量的值.在訓(xùn)練階段，我們通過(guò)隨機(jī)梯度下降法，更新迭代參數(shù)，使得損失值越來(lái)越小.這樣特征層提取的特征更能夠表示人臉.在測(cè)試階段，只需要使用訓(xùn)練好的網(wǎng)絡(luò)提取不同人臉的特征.做人臉認(rèn)證時(shí)，計(jì)算兩個(gè)人臉特征的歐氏距離或者余弦距離，根據(jù)計(jì)算結(jié)果值大小就可以判斷兩張人臉是否屬于同一人.

1.4聯(lián)合貝葉斯

為了進(jìn)一步使兩個(gè)特征更具用區(qū)分性，在測(cè)試之前做度量學(xué)習(xí).度量學(xué)習(xí)與特征提取是獨(dú)立的，任何特征都可以進(jìn)行度量學(xué)習(xí).聯(lián)合貝葉斯[11]是一種非常有用的度量學(xué)習(xí)方法，被廣泛地應(yīng)用在經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征上.

聯(lián)合貝葉斯模型用在人臉認(rèn)證上就是一個(gè)貝葉斯決策問(wèn)題.用HI和HE分別表示類(lèi)內(nèi)和類(lèi)間假設(shè).由最大先驗(yàn)法則，兩個(gè)人臉特征的相似度通過(guò)下面式子得到：

其中：x1和x2表示一對(duì)人臉特征.假設(shè)P(x1,x2|HI)和P(x1,x2|HE)分別服從高斯分布N(0,SI)和N(0,SE).

提取的人臉特征x(減去均值后)可以表示為兩個(gè)獨(dú)立的高斯變量的和：

x=μ+ε

其中:μ∈N(0,Sμ)表示人臉類(lèi)別，ε∈N(0,Sε)表示類(lèi)內(nèi)差異.Sμ和Sε是兩個(gè)未知的協(xié)方差矩陣并且被稱(chēng)為人臉先驗(yàn).對(duì)于兩張人臉的情況，{x1,x2}的聯(lián)合分布也服從均值為0的高斯分布.基于上式，兩個(gè)人臉的協(xié)方差是：

cov(x1,x2)=cov(μ1,μ2)+cov(ε1,ε2)

那么，SI和SE可以由下面式子得到：

顯然，r(x1,x2)只依賴(lài)于Sμ和Sε，它們可以通過(guò)EM算法[11]從數(shù)據(jù)中學(xué)習(xí)得到.

2 實(shí) 驗(yàn)

本文卷積神經(jīng)網(wǎng)絡(luò)是在數(shù)據(jù)庫(kù)Webface上訓(xùn)練，然而在另一個(gè)人臉數(shù)據(jù)庫(kù)LFW[12]上測(cè)試.數(shù)據(jù)集Webface包括10 575個(gè)類(lèi)別的493 456張人臉照片.LFW數(shù)據(jù)庫(kù)是一個(gè)標(biāo)準(zhǔn)的人臉認(rèn)證測(cè)試庫(kù)，它包括來(lái)自網(wǎng)絡(luò)上5 749個(gè)不同人的13 233張人臉照片，它與Webface庫(kù)互不包含.為了進(jìn)一步提高提取的特征區(qū)分性，在測(cè)試的時(shí)候使用了聯(lián)合貝葉斯的方法.

2.1正則化對(duì)識(shí)別率的影響

為了探究正則化對(duì)神經(jīng)網(wǎng)絡(luò)的收斂和識(shí)別率的影響，我們構(gòu)建了兩個(gè)網(wǎng)絡(luò)，一個(gè)網(wǎng)絡(luò)是在每個(gè)卷積后面正則化[13]，然后使用激活函數(shù)RELU作用，稱(chēng)之為conv-bn-relu網(wǎng)絡(luò)；另一個(gè)網(wǎng)絡(luò)是在每個(gè)卷積后面先使用激活函數(shù)RELU作用，然后使用正則化，稱(chēng)之為conv-relu-bn網(wǎng)絡(luò).通過(guò)實(shí)驗(yàn)可以得到兩種網(wǎng)絡(luò)收斂情況和迭代次數(shù)的關(guān)系如圖1所示，以及在LFW數(shù)據(jù)集上測(cè)得的識(shí)別率如表2所示.可以發(fā)現(xiàn)正則化在激活層之后的網(wǎng)絡(luò)收斂更好，但是它的識(shí)別率不如正則化放在激活層之前的網(wǎng)絡(luò)高.

圖1 訓(xùn)練收斂速度與迭代次數(shù)關(guān)系

表2conv-relu-bn網(wǎng)絡(luò)與conv-bn-relu網(wǎng)絡(luò)的比較

模型識(shí)別率/%conv-relu-bn92conv-bn-relu94.767

2.2不同距離測(cè)量對(duì)識(shí)別率的影響

為了探究不同距離測(cè)量方式對(duì)人臉識(shí)別的影響，分別用歐式距離和余弦距離分別測(cè)試人臉識(shí)別率.歐氏距離公式為：

余弦距離公式為：

其中:f1和f2表示兩個(gè)人臉特征，d(f1,f2)表示兩個(gè)人臉特征的距離，fi表示特征的第i個(gè)維度分量.

表3比較了歐式距離與余弦距離對(duì)識(shí)別率的影響.通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)，與歐氏距離相比，使用余弦距離會(huì)有更高的識(shí)別率.

表3歐氏距離與余弦距離的比較

測(cè)量方式識(shí)別率/%歐式距離94.767余弦距離95.05

2.3不同特征維度對(duì)識(shí)別率的影響

本文分別測(cè)試了提取不同維度的特征網(wǎng)絡(luò)對(duì)人臉識(shí)別的影響，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)特征維度越大，人臉識(shí)別率越高.見(jiàn)表4.

表4不同特征維度的比較

維度識(shí)別率/%102491.625204892.883409694.767

2.4與其他模型的比較

為了測(cè)試本設(shè)計(jì)模型人臉表示性能，使用了同樣的數(shù)據(jù)集訓(xùn)練了VGG模型，并且使用了同樣的方法測(cè)試.最后在數(shù)據(jù)集LFW上使用余弦距離測(cè)試的結(jié)果如表5所示，發(fā)現(xiàn)我們的網(wǎng)絡(luò)測(cè)試的結(jié)果比使用VGG網(wǎng)絡(luò)的識(shí)別率高.

發(fā)現(xiàn)訓(xùn)練VGG網(wǎng)絡(luò)時(shí)，收斂速度很慢，同時(shí)當(dāng)損失值降到1.5左右時(shí)很難再下降，本文網(wǎng)絡(luò)損失值可以達(dá)到0.2左右.一方面原因是VGG網(wǎng)絡(luò)參數(shù)太多，另一方面是由于內(nèi)存的限制，訓(xùn)練VGG網(wǎng)絡(luò)時(shí)batch設(shè)置是32，而我們的模型batch設(shè)置是128.導(dǎo)致VGG模型的識(shí)別率不高的原因可能是訓(xùn)練數(shù)據(jù)太少，與網(wǎng)絡(luò)的規(guī)模不符合.

表5不同模型識(shí)別率比較

模型識(shí)別率/%VGG91.85Ourmodel95.05

2.5不同模型測(cè)試時(shí)間和存儲(chǔ)大小比較

大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的人臉特征提取都是使用非常深的卷積神經(jīng)網(wǎng)絡(luò)或者使用多尺度的集成，這在實(shí)際的設(shè)備中使用會(huì)非常消耗時(shí)間.對(duì)此模型和VGG模型在測(cè)試時(shí)間和模型存儲(chǔ)大小上作了比較.如表5所示，此模型存儲(chǔ)大小比VGG模型小3倍，但是在CPU上測(cè)試速度比VGG快近15倍.結(jié)果表明此模型比其他復(fù)雜的模型更適合應(yīng)用在移動(dòng)設(shè)備的實(shí)時(shí)應(yīng)用軟件中. 速度是在單核i5-3470S上測(cè)試.存儲(chǔ)空間是由Caffe生成的模型的大小測(cè)量.

表5本設(shè)計(jì)模型和VGG模型的比較

模型測(cè)試時(shí)間/s存儲(chǔ)空間/MBVGG29.14697Ourmodel1.96227

3 結(jié) 語(yǔ)

選擇一個(gè)好的網(wǎng)絡(luò)結(jié)構(gòu)至關(guān)重要.我們發(fā)現(xiàn)提取特征的維度越大，人臉認(rèn)證的準(zhǔn)確率越高.余弦距離比歐式距離對(duì)人臉識(shí)別的準(zhǔn)確率更好.數(shù)據(jù)集大小要與網(wǎng)絡(luò)模型大小相匹配.通過(guò)實(shí)驗(yàn)比較，可以發(fā)現(xiàn)對(duì)于有限數(shù)據(jù)集來(lái)說(shuō)，本文構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)比VGG網(wǎng)絡(luò)結(jié)構(gòu)更好.我們的單模型在LFW數(shù)據(jù)集上的識(shí)別率比VGG更高，并且模型存儲(chǔ)大小是VGG模型的1/3，測(cè)試時(shí)間比VGG快15倍.

[1] RUMELHART D E, HINTON G E, WILLIANMS R J. Learning internal representations by error propagation [M]. Cambridge, MA: MIT Press, 1986.

[2] LECUN Y, BOSER B, DENKER J S,etal. Backpropagation applied to handwritten zip code recognition [J]. Neural Computation, 1989, 1(4): 541-551.

[3] LECUN Y, BOTTOU L, BENGIO Y,etal. Gradient-based learning applied to document recognition [J]. Browse Journals & Magazines, 1998, 86(11): 2278-2324.

[4] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313: 504-507.

[5] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks [J]. Advances in Neural Information Processing Systems 25, 2012, 4: 1106-1114,

[6] TAIGMAN Y, YANG M, RANZATO M,etal. DeepFace: Closing the gap to human-level performance in face verification [J]. IEEE Conference on Computer Vision & Pattern Recognition, 2014: 1701-1708.

[7] SUN Y, WANG X, TANG X. Deep learning face representation from predicting 10000 classes [J]. IEEE Conference on Computer Vision & Pattern Recognition, 2014: 1891-1898.

[8] SUN Y, WANG X, TANG X. Deep learning face representation by joint identification- verification [J]. NIPS, 2014, 27: 1988-1996.

[9] SUN Y, WANG X, TANG X. Deeply learned face representations are sparse, selective, and robust [C]//Boston, MA: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015.

[10] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J]. Computer Science, 2014

[11] CHEN D, CAO X, WANG L,etal. Bayesian face revisited: A joint formulation [J]. European Conference on Computer Vision, 2012, 7574(1): 566-579.

[12] HUANG G B, RAMESH M, BERG T,etal. Labeled faces in the wild: A database for studying face recognition in unconstrained environments [R]. Technical Report 07-49, University of Massachusetts, Amherst, 2007.

[13] IOFFE S, SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift [C]//The 32nd International Conference on International Conference on Machine Learning, 2015.

Researchofconvolutionneuralnetworkonfacerecognition

NIE Chao

(School of Mathematical Science, Ocean University of China, Qingdao 266100, China)

Convolution Neural Network (CNN) has achieved promising results in face recognition recently. The verification recognition accuracy of some very deep neural network has reached 99%, exceeding person’s performance. However, these networks need to train a vast number of parameters or huge dataset. In this paper, a smaller network, greatly decreasing train parameters and obtaining better recognition rates within limited dataset was put forward . In order to deeper understand convolution neural network, we made many experiments had been made. The effects of normalization before and after the active layer on network training were compared. Meanwhile, the effects of different feature dimensionality on recognition accuracy were compared, and the effects of Euclid distance and cosine distance on recognition accuracy were compared. From the results of experiments, the network which normalization was before the active layer gets higher accuracy. The way of using cosine distance was better than that using Euclid distance, and the feature dimensionality and accuracy were higher.

deep learning; face recognition; convolution neural network

2017-04-11.

聶 超(1990-)，男，碩士，研究方向：人臉識(shí)別.

TP391

A

1672-0946(2017)05-0570-05