無監(jiān)督局部特征學習的魯棒性人臉識別

馮 姝

(重慶大學 數(shù)學與統(tǒng)計學院，重慶 401331)

(*通信作者電子郵箱fengshu@cqu.edu.cn)

無監(jiān)督局部特征學習的魯棒性人臉識別

馮 姝*

(重慶大學 數(shù)學與統(tǒng)計學院，重慶 401331)

(*通信作者電子郵箱fengshu@cqu.edu.cn)

特征表示是人臉識別的關鍵問題，由于人臉圖像在拍攝過程中受光照、遮擋、姿勢等因素的影響，如何提取魯棒的圖像特征成了研究的重點。受卷積網絡框架的啟發(fā)，結合K-means算法在卷積濾波器學習中所具有的效果穩(wěn)定、收斂速度快等優(yōu)點，提出了一種簡單有效的人臉識別方法，主要包含三個部分：卷積濾波器學習、非線性處理和空間平均值池化。具體而言，首先在訓練圖像中提取局部圖像塊，預處理后，使用K-means算法快速學習濾波器，每個濾波器與圖像進行卷積運算；然后通過雙曲正切函數(shù)對卷積圖像進行非線性變換；最后利用空間平均值池化對圖像特征進行去噪和降維。分類階段僅采用簡單的線性回歸分類器。在AR和ExtendedYaleB數(shù)據集上的評估實驗結果表明所提方法雖然簡單卻非常有效，而且對光照和遮擋表現(xiàn)出了強魯棒性。

人臉識別；卷積網絡框架；K均值；空間平均值池化；線性回歸

0 引言

人臉識別技術作為經典的模式識別問題，擁有廣泛的用途，如人機互動、身份識別以及疑犯追蹤等。一般來說，人臉識別主要包含四部分內容：檢測、對齊、特征提取與分類，其中特征提取與分類器設計是兩個關鍵步驟。由于圖像在拍攝過程受姿態(tài)、光照、表情、遮擋等因素的影響，會使得同類樣本的相似度降低，異類樣本的相似度反而升高，因此相比分類器的設計，魯棒的特征提取在人臉識別中扮演更重要的角色，也就是說，如何設計對光照、遮擋等因素魯棒的圖像特征成為了一個重要且具有挑戰(zhàn)性的研究內容。

目前，各式各樣的人臉圖像特征方法被提出，其中具有代表性的特征有：子空間學習特征[1](主成分分析(Principle Component Analysis, PCA)和線性判別分析(Linear Discriminative Analysis, LDA))；Gabor特征[2]；局部二值模式(Local Binary Pattern, LBP)特征[3]等。在這些特征提取算法中，PCA和LDA算法通過把整幅圖像映射到一個低維子空間來提取圖像的整體特征，這類特征對遮擋、光照及姿勢變化等因素敏感；Gabor和LBP對圖像進行局部編碼，研究指出此類局部編碼提取的特征具有更強的魯棒性。然而，無論整體特征還是局部特征都是啟發(fā)式的，且需要人工的設計以及豐富的經驗和專業(yè)知識，通常難以得到最優(yōu)的編碼方案，因此這些特征的表征能力有限。

近年來，稀疏表示分類(Sparse Representation Classification, SRC)[4]及其變種[5-9]在人臉識別應用中取得了巨大成功，尤其在光照和遮擋情況下表現(xiàn)出了較強的魯棒性?；谕悩颖疚挥谕痪€性子空間中的假設，稀疏表示理論把人臉識別看成了約束條件下的多線性回歸問題。Wright等[4]指出，在稀疏表示理論框架下，特征的選擇其實并不再那么重要，重要的是特征的維數(shù)以及稀疏表示的計算。然而，研究指出，當每類圖像的訓練樣本數(shù)量不夠充分時，稀疏表示的分類準確率將會大幅度降低；同時，在L1范數(shù)約束下，稀疏表示的求解計算量相當大，這限制了它在實際場景中的應用。

2012年Hinton團隊在ImageNet競賽中利用深度卷積神經網絡(Convolutional Neural Network, CNN)把識別錯誤率降低了十多個百分點。自此，特征學習(深度學習)[10]受到廣泛關注，成為特征提取的熱門研究方向。特征學習模型通過把底層網絡的輸出特征作為輸入傳到高層網絡的這種機制，能夠自動地逐層學習從低到高的語義特征，因此它被應用于圖像分類、自然語言處理、語音識別等眾多領域，且取得了突破性進展。CNN成功的關鍵要素是其卷積網絡框架，該框架包含三個主要部分：卷積濾波器、非線性處理和特征池化。當前流行的濾波器學習算法有稀疏自編碼(Sparse AutoEncoder, SAE)、受限波爾茨曼機(Restricted Boltzmann Machine, RBM)等神經網絡算法，然而這些基于神經網絡的濾波器學習方法需要調節(jié)大量模型參數(shù)，訓練速度極慢。

本文受卷積網絡框架的啟發(fā)，提出了一種簡單有效的人臉識別方法。具體而言，在卷積濾波器學習部分，使用收斂速度快且效果穩(wěn)定的K-means聚類算法，每一個聚類中心(向量)轉換為濾波器(矩陣)；在非線性處理部分，使用雙曲正切函數(shù)對卷積特征進行非線性變換；在特征池化部分，通過空間平均值池化方法對特征進行降維和去噪。圖1展示了本文方法從原始圖像中學習特征的過程。

圖1 本文方法從圖像中提取特征的過程

文獻[11]指出，單層網絡在無監(jiān)督特征學習的圖像分類中依然可以取得相當高甚至最好的準確率，只要各種參數(shù)取其極限值，因此，本文所提出的人臉圖像特征學習也僅使用單層網絡而非深層網絡。但是，本文實驗發(fā)現(xiàn)，在人臉識別中，濾波器的個數(shù)并不需要取其極限值，只需30個；而且注意到，文獻[11]不包括非線性處理過程，本文采用卷積網絡框架，具有非線性變換過程。

本文方法的特點如下：

1)為了克服SAE和RBM等算法在卷積濾波器學習過程中存在的計算量大、速度慢等缺點，本文采用無需先驗知識和監(jiān)督信息的K-means算法加速卷積濾波器的學習過程。

2)不同于圖像分類中常用最大值池化提取顯著特征，本文采用更加穩(wěn)定有效的平均值池化,不僅對特征起到去噪和降維的作用，而且可以避免過擬合問題。

3)本文算法對光照和遮擋等影響因素具有較強的魯棒性：AR數(shù)據集中，在太陽鏡和圍脖遮擋時可以取得98.8%和98.9%的識別率；ExtendedYaleB數(shù)據集中，在中度光照條件下(子集4)可以取得97.19%的識別率，而且在狒狒圖遮擋實驗中，獲得97.01%的識別率(60%遮擋比例時)。

1 本文方法

不失一般性，假定人臉圖像大小為a×b，以一定步長提取大小為ω×ω的圖像塊，每個圖像塊按列向量化得：p∈Rω2，然后進行對比度歸一化處理p=(p-μ)/σ，其中μ和σ分別是p的均值與標準差。文獻[11]指出ZCA(Zero-phaseComponentAnalysis)白化能夠降低像素之間的相關性且使學習到的卷積濾波器具有更豐富的局部信息，因此本文對圖像塊進行ZCA白化預處理。

1.1 卷積濾波器學習

假設P={p1,p2，…,pn}∈Rω2為預處理后的圖像塊,經典的聚類算法K-means首先隨機初始化K個聚類中心：{μ1,μ2,…,μK}∈Rω2，然后按如下方式進行循環(huán)迭代直至收斂：

步驟1 對每一個圖像塊尋找最近的聚類中心。

(1)

步驟2 聚類中心更新。

(2)

Wj=matω,ω(μj)∈Rω×ω;j=1,2,…,K

(3)

其中函數(shù)matω,ω(·)把向量v∈Rω2映為矩陣m∈Rω×ω。圖2(a)展示了30個卷積濾波器，可見K-means可以學到不同位置和方向的邊緣信息。

LeCun[12]首次提出圖像卷積運算并成功將其應用于手寫數(shù)字識別，研究發(fā)現(xiàn)卷積運算可以從圖像中學習重要的結構信息，因此本文把聚類中心看作卷積濾波器，而非詞袋模型中的字典。此外，由于人臉圖像具有平穩(wěn)性特性：圖像任一部分的統(tǒng)計性質和其他部分的幾乎相同，所以將不同濾波器與整幅圖像的所有位置作卷積運算可以學習出充分、有用的局部特性。圖2(b)展示了人臉圖像與不同濾波器作卷積的過程與結果，其中?為卷積運算符。從中可知三個濾波器分別提取了水平、135°和45°方向的特征，且提取了不同尺度的特征信息，因此，使用不同濾波器對人臉圖像I∈Ra×b進行卷積運算的確可以提取不同的局部特征：

Ck=I?Wk;k=1,2,…,K

(4)

每個卷積圖像Ck的大小為(a-ω+1)×(b-ω+1)。

圖2 濾波器與卷積運算

1.2 非線性映射與空間池化

Tk=H(Ck)=H(I?Wk);k=1,2,…,K

(5)

其中H是非線性函數(shù)。通過2.2節(jié)的實驗發(fā)現(xiàn)，雙曲正切函數(shù)(tanh)比其他兩種常用的激勵函數(shù)(sigmoid，relu)表現(xiàn)更好，尤其在光照條件下，tanh比sigmoid和relu都高出十多個百分點，因此本文采用tanh作非線性特征映射。

f=[F(T1)T,F(T2)T,…,F(TK)T]T∈RBK×1

(6)

1.3 線性回歸分類器

圖3 本文算法流程

2 實驗結果與分析

在兩個具有代表性的數(shù)據集上評估、驗證本文所提方法的有效性和魯棒性。在相同訓練樣本和測試樣本設置的基礎上，將本文方法與以下方法進行對比：稀疏表示類方法SRC[4]、協(xié)同表示(CollaborativeRepresentationClassification，CRC)[5]、魯棒稀疏編碼(RobustSparseCoding，RSC)[6]、正則魯棒編碼(RegularzedRobustCoding，RRC)[7]、伽博稀疏表示(GaborSparseRepresentationClassification，GSRC)[8]、聯(lián)合模式學習(JointRepresentationPatternLearning，JRPL)[9]、魯棒主成分分析法(RobustPrincipleCoponentAnalysis，RPCA)[13]以及卷積濾波方法(Volterra)[14]。

2.1 數(shù)據集描述

AR數(shù)據集[15]包含4 000多張在不同表情、光照、遮擋等拍攝條件下的人臉圖像。按照文獻[4]的設置，采用100個人的圖像，每個人包含26張圖像，分別拍攝于兩個時期，大小為165×120，如圖4(a)所示。

ExtendedYaleB數(shù)據集[16]包含38個人的不同光照條件下的2 414張人臉圖像，其中每個人約64張，每張圖像大小為192×168。根據拍攝方位角及高度的不同，此數(shù)據集可以分成5個子集，其中子集5受到了嚴重的光照干擾,如圖4(b)所示。

2.2 通用參數(shù)設置

影響本文方法識別率的參數(shù)主要有圖像塊大小ω、濾波器個數(shù)K以及池化單元塊尺寸。在本節(jié)利用AR及ExtendedYaleB數(shù)據集對通用參數(shù)的最優(yōu)選擇進行評估。正如1.1節(jié)所述，不同的濾波器可以提取不同方向、不同尺度的邊緣局部特征，所以，首先利用AR數(shù)據集中無遮擋圖像評估參數(shù)ω及K對識別準確率的影響：AR01～AR07作訓練樣本，AR14～AR20作測試樣本。從表1可以看出，當K增大時，識別率呈上升的趨勢，且K≥30時識別率趨于穩(wěn)定，因此在考慮識別率和計算量的基礎上，K選取為30，ω為9。

圖4 實驗數(shù)據集中的樣本圖像示例

表1 不同圖像塊大小與濾波器個數(shù)對識別率的影響

Tab.1Influenceofdifferentimagepatchsizeandfilternumberontherecognitionrate

K識別率/%(std+dev)ω=7ω=9ω=11ω=15595．85±0．3496．39±0．7795．59±0．2495．25±0．191096．37±0．1997．17±0．1296．34±0．2296．34±0．193096．80±0．1397．77±0．1697．77±0．1997．77±0．085096．77±0．1697．63±0．2297．57±0．1497．71±0．007096．88±0．0697．28±0．1097．37±0．0897．71±0．0010096．94±0．0897．34±0．2297．42±0．0097．71±0．00

進一步，在ExtendedYaleB上測試本文方法是否可以選擇通用的K值：子集1作訓練，子集2～5作測試。從圖5可以看出，子集2～5均在K=30時取得最高的識別率。而且，在2.4節(jié)將看到，K-means濾波器具有較強的遷移、適應性，即一個數(shù)據集上訓練的濾波器可用于另外的一個數(shù)據集中，也就是說，可以不對新數(shù)據集重新訓練濾波器和選擇K值。

圖5 ExtendedYaleB中子集2～5在不同K值時的識別率

由于當池化單元塊的尺寸較小時，特征維數(shù)會很高，產生過擬合問題；而當池化單元塊的尺寸太大時，圖像的細節(jié)信息卻被忽略。因此在接下來的實驗中，針對常用的兩種池化方法：最大值池化和平均值池化，測試它們在不同的池化單元塊尺寸條件下對識別率的影響。

從圖6知，池化單元塊增大時，兩種池化方法的識別率均呈現(xiàn)下降趨勢，而最大值池化的識別率下降幅度較大，這是因為在大單元塊中取最大值往往會丟掉更多的細節(jié)信息，但是這些信息在平均值池化中被一定程度上保留了，所以平均值池化的識別準確率更高且更加穩(wěn)定。本文選擇平均值池化，且池化單元塊的尺寸設置為9。

最后，在AR的無遮擋圖像和ExtendedYaleB圖像中測試不同非線性函數(shù)對識別率的影響。從表2可以看出，在AR數(shù)據集中，使用tanh和sigmoid情況下的識別率基本相同且高于relu；但在ExtendedYaleB數(shù)據集中，使用函數(shù)tanh的識別率要明顯優(yōu)于sigmoid和relu，高出十多個百分點，尤其是在光照干擾嚴重的子集5中。因此，本文選擇tanh函數(shù)作非線性特征映射。

圖6 不同池化單元塊尺寸下兩種池化方法的識別率

表2 不同非線性函數(shù)的識別率比較 %

2.3 AR數(shù)據集

在AR數(shù)據集中，本文按三種方案進行實驗評估。第一種是無遮擋評估：AR01～07作訓練，AR14～20作測試；第二種和第三種分別是太陽鏡和圍脖遮擋評估，按照文獻[4]的設置：AR01～AR07及AR14～AR20作訓練，太陽鏡遮擋使用AR08和AR21作測試，圍脖遮擋使用AR11和AR24作測試。

表3列出了不同方法在AR數(shù)據集上的三種測試方案的識別率結果，可見：本文方法在無遮擋情況下取得了最高的識別率97.8%；在太陽鏡和圍脖遮擋情況下取得了98.8%和98.9%的識別率，均優(yōu)于濾波器方法Volterra；雖然低于JRPL-L1的識別率，但是本文方法計算圖像特征非常迅速，在IntelCorei5-3210MCPU, 4GBRAM的電腦上使用Matlab軟件提取700張AR圖像的特征僅需39.6s(不包括濾波器訓練時間，因為濾波器具有遷移、適應性，可以預先訓練)，平均處理一張圖像只要0.056s。

表3 AR數(shù)據集上的三種測試方案的識別率比較 %

2.4 ExtendedYaleB數(shù)據集

在ExtendedYaleB數(shù)據集中，本文按兩種測試方案進行評估實驗。第一種評估本文方法針對光照的魯棒性，使用子集1作訓練樣本，子集2～5分別用于測試；第二種評估本文方法針對塊狀物體遮擋的魯棒性，按照文獻[4]的設置，使用子集1～2作訓練樣本，子集3作測試樣本，且在子集3中的圖像按隨機位置加入不同比例(10%～60%)的狒狒圖遮擋。

表4中給出了第一種評估方案的對比結果,其他方法的識別率結果均引自文獻[13]。從中可見輕度光照條件下(子集2～3)，本文方法取得了100%的識別率；在中度光照條件下(子集4)，本文方法優(yōu)于所有對比方法，取得了97.19%的識別率，比經典的SRC高出近30個百分點；在重度光照條件下(子集5)，除了梯度臉(Gradientface)和本文方法外，其余方法的識別率均嚴重下降。注意到，濾波器來自AR數(shù)據集的實驗結果接近于濾波器來自ExtendedYaleB數(shù)據集的實驗結果，這表示K-means濾波器在本文方法中有很強的遷移、適應能力，即在新數(shù)據集中可以考慮不重新訓練濾波器。

表4 ExtendedYaleB數(shù)據集中光照魯棒性測試的識別率比較 %

表5展示了所有對比方法在不同遮擋比例下的識別率，從中可見本文方法在所有遮擋比例下，識別率均等于或者高于對比方法。在50%遮擋比例下，本文方法能夠完全正確識別；在60%遮擋比例下，本文方法優(yōu)勢更加明顯，取得了97.01%的識別率，比JRPL-L2高出8.7個百分點；由此可以證明本文方法對遮擋具有較強的魯棒性。

表5 ExtendedYaleB中遮擋魯棒性的識別率比較 %

2.5 LFW數(shù)據集

非受控條件下的LFW數(shù)據集包含姿勢、年齡、視角、表情等變化的13 233張圖像。為了測試本文方法在LFW數(shù)據集中的表現(xiàn)，按照文獻[6]的設置，提取兩個子集，子集1、子集2分別包含143和311幅個人的圖像，每個人的圖像張數(shù)大于等于10和5。然而，本文方法在子集1和子集2的識別率僅有41.8%和56.3%，與當前流行的深度學習方法相比，識別率上存在不小的差距。這其中有兩方面原因：一是K-means算法不能捕捉姿勢、視角、年齡等因素引起的變化；二是本文方法實質上可以看成是一個單層的網絡，且隱含層神經元個數(shù)K只取30，而當前的深度學習的層數(shù)一般都是8層以上，神經元個數(shù)也非常多。

3 結語

在卷積網絡框架的啟發(fā)下，利用K-means收斂速度快的優(yōu)勢，本文提出了一種簡單有效的人臉識別方法，該方法主要包括：K-means卷積濾波學習、非線性變換及空間池化三部分。對圖像塊大小、濾波器個數(shù)、池化單元塊尺寸等參數(shù)通過實驗驗證，選擇了最優(yōu)的通用參數(shù)。在AR和ExtendedYaleB數(shù)據集上的對比實驗結果表明，本文方法取得了可比較或更高的識別準確率，且對光照、遮擋等因素表現(xiàn)出了較強的魯棒性。然而，值得指出的是，本文方法在包含姿勢、視角等變化因素的數(shù)據集LFW上表現(xiàn)不佳，在未來的工作中需要對本文方法進行更深入的研究與改進。

References)

[1] BELHUMEUR P N, HESPANHA J P, KRIEGMAN D J.Eigenfaces vs.fisherfaces: recognition using class specific linear projection [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(7): 711-720.

[2] 何玲麗, 李文波.基于對稱Gabor特征和稀疏表示的人臉識別[J].計算機應用,2014,34(2): 550-552.(HE L L, LI W B.Face recognition based on symmetric Gabor features and sparse representation [J].Journal of Computer Applications, 2014, 34(2): 550-552.)

[3] 張雯, 張文偉.基于局部二值模式和深度學習的人臉識別[J].計算機應用,2015,35(5)：1474-1478.(ZHANG W, ZHANG W W.Face recognition based on local binary pattern and deep learning [J].Journal of Computer Applications, 2015, 35(5): 1474-1478.)

[4] WRIGHT J, YANG A Y, GANESH A, et al.Robust face recognition via sparse representation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227.

[5] ZHANG L, YANG M, FENG X.Sparse representation or ollaborative representation: which helps face recognition? [C]// ICCV 2011: Proceedings of the 2011 International Conference on Computer Vision.Washington, DC: IEEE Computer Society 2011: 471-478.

[6] YANG M, ZHANG L, YANG J, et al.Robust sparse coding for face recognition [C]// CVPR ’11: Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Washington, DC: IEEE Computer Society, 2011: 625-632.

[7] YANG M, ZHANG L, YANG J, et al.Regularized robust coding for face recognition [J].IEEE Transactions on Image Processing, 2013, 22(5): 1753-1766.

[8] YANG M, ZHANG L.Gabor feature based sparse representation for face recognition with Gabor occlusion dictionary [C]// ECCV 2010: Proceedings in 11th European Conference on Computer Vision, LNCS 6316.Berlin: Springer-Verlag, 2010: 448-461.

[9] YANG M, ZHU P, LIU F, et al.Joint representation and pattern learning for robust face recognition [J].Neurocomputing, 2015, 168: 70-80.

[10] BENGIO Y, COURVILLE A, VINCENT P.Representation learning: a review and new perspectives [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.

[11] COATES A, LEE H, NG A Y.An analysis of single-layer networks in unsupervised feature learning [C]// Proceedings of the 14th International Conference on Artificial Intelligence and Statistics.Fort Lauderdale, FL: [s.n.], 2011: 215-223.

[12] LeCUN Y, BOSER B, DENKER J S, et al.Backpropagation applied to handwritten zip code recognition [J].Neural Computation, 1989, 1(4):541-551.

[13] LUAN X, FANG B, LIU L, et al.Extracting sparse error of robust PCA for face recognition in the presence of varying illumination and occlusion [J].Pattern Recognition, 2014, 47(2): 495-508.

[14] KUMAR R, BANERJEE A, VEMURI B C, et al.Trainable convolution filters and their application to face recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7):1423-1436.

[15] MARTINEE A, BENAVANTE R.The AR face database, CVC Technical Report 24 [R].Barcelona: Computer Vision Center, 1998.

[16] GEORGHIADES A S, BELHUMEUR P N, KRIEGMAN D J.From few to many: Illumination cone models for face recognition under variable lighting and pose [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(6): 643-660.

FENG Shu, born in 1991, M.S.candidate.Her research interests include machine learning, partial differential equation, image processing.

Unsupervised local feature learning for robust face recognition

FENG Shu*

(CollegeofMathematicsandStatistics,ChongqingUniversity,Chongqing401331,China)

Image representation is a fundamental issue in face recognition, it is desired to design a discriminative and robust feature to alleviate the effect of illumination, occlusion and pose, etc.Motivated by the convolutional architecture and the advantages (stable result and fast convergence) ofK-means algorithm in building filter bank, a very simple yet effective face recognition approach was presented.It consists of three main parts: convolutional filters leraning, nonlinear processing and spatial mean pooling.Firstly,K-means was employed based on preprocessed image patches to construct the convolution filters quickly.Each filter was convoluted with face image to extract sufficient and discriminative feature information.Secondly, the typical hyperbolic tangent function was applied for nonlinear projection on the convoluted features.Thirdly, spatial mean pooling was used to denoise and reduce the dimensions of the learned features.The classification stage only requires a novel linear regression classifier.The experimental results on two widely utlized databases such as AR and ExtendedYaleB demonstrate that the proposed method is simple and effective, and has strong robustness to illumination and occlusion.

face recognition; convolutional network architecture;K-means; spatial mean pooling; linear regression

2016- 08- 01;

2016- 10- 18。

馮姝(1991—)，女，山西人，碩士研究生，主要研究方向：機器學習、偏微分方程、圖像處理。

1001- 9081(2017)02- 0512- 05

10.11772/j.issn.1001- 9081.2017.02.0512

TP391.41

A