深度學習及其在人臉識別中的應用進展

閆新寶

摘 要：深度學習是目前受到廣泛關注的機器學習方法。通過構(gòu)建深度神經(jīng)網(wǎng)絡且使用深度學習算法學習適合模式識別和分類的高層次特征是目前模式識別領域熱門研究方向，特別是在人臉識別領域已經(jīng)取得了目前最好的成果。文章首先介紹了深度學習概述，然后分析了基于深度學習的人臉識別方法及識別模型并對識別模型進行了分類。最后討論了應用深度學習進行人臉識別還存在的問題。該文擬對將深度學習應用于人臉識別的研究人員有所幫助。

關鍵詞：深度學習；特征學習；人臉識別

在圖像分類和識別問題中，我們一般先提取對象特征，然后把特征輸入分類器訓練分類器，如圖1所示。所以首先要面對的核心問題是選取什么樣的抽象特征來有效表達圖像。如果所選用的特征能夠有效地表達圖像的本質(zhì)，那么圖像分類和識別就能達到事半功倍的效果。

在傳統(tǒng)的人工智能方法中，圖像的特征是依靠人的專業(yè)知識和經(jīng)驗人工構(gòu)建的，近年來研究人員已經(jīng)構(gòu)建出了許多比較有效的特征，并且得到較為廣泛的應用，例如表達圖像幾何特征的SIFT特征[ 1 ]，表達圖像紋理特征的LBP特征[ 2 ]，表達人臉圖像統(tǒng)計特征的特征臉（Eigenface）[3]等。直到現(xiàn)在，人們一直在努力構(gòu)建出更能反映圖像本質(zhì)的特征，然而，利用人的知識和經(jīng)驗構(gòu)建特征是一件費時費力的事情，構(gòu)建的特征也不一定是有效的。因此，人們一直在思考讓機器通過自動學習來選取特征的方法。深度學習能夠無監(jiān)督地的從樣本中學習到更反映數(shù)據(jù)本質(zhì)的特征，從而使得學習到的特征更具有推廣性和表達力。近年來受到了廣泛的關注。

最近關于哺乳動物大腦的研究表明，哺乳動物處理輸入信息時采用了分層機制[4 - 5]，將輸入信息在一個由多層神經(jīng)元組成的復雜層次結(jié)構(gòu)中傳播，每層神經(jīng)元都會對信息特征進行重新提取和表達。一般情況下，低層神經(jīng)元提取到的是比較低級的特征，如圖像中的線、拐點，這些低級特征又被傳播給較高層的神經(jīng)元，通過層層提取，越高層的神經(jīng)元提取的特征越高級，如輪廓，形狀等，直至提取到信息最高級的特征。機器學習領域的研究人員受到這一研究成果的啟發(fā)，嘗試讓計算機模擬人類大腦處理視覺信號的機制，深度學習由此任務而誕生。深度學習（Deep learning）通過層疊基礎模型構(gòu)建一個深度（含有多個隱含層）神經(jīng)網(wǎng)絡，利用高效的學習算法，利用網(wǎng)絡中的大量神經(jīng)元逐層提取對象的抽象特征，每層的神經(jīng)元接收更底層神經(jīng)元的輸入，將低層特征組合成更高層的抽象特征，并將其輸出到更高層的神經(jīng)元，最終形成適合模式分類和識別的較理想的特征。

本文首先介紹了深度學習的產(chǎn)生和架構(gòu)體系，詳細介紹了深度信念網(wǎng)絡這種經(jīng)典的深度學習架構(gòu)，然后分析了基于深度學習的人臉識別方法及識別模型并對識別模型進行了分類。最后討論了應用深度學習進行人臉識別面臨的問題。希望吸引更多的研究人員進行討論，并取得更好的成果。

1 深度學習概述

1.1 深度學習的產(chǎn)生和架構(gòu)體系

傳統(tǒng)的訓練深度神經(jīng)網(wǎng)絡的方法是BP算法，BP算法先隨機初始化網(wǎng)絡參數(shù)，然后利用殘差反向傳播算法調(diào)整網(wǎng)絡參數(shù)完成訓練，但應用BP算法容易陷入局部極值，也容易產(chǎn)生梯度彌散問題。后來人們提出先逐層預訓練（layerwise pre-training）網(wǎng)絡的初始權(quán)值，然后再全局精調(diào)（finetuning）整個網(wǎng)絡權(quán)值的學習算法，逐層預訓練是通過無監(jiān)督學習實現(xiàn)的，精調(diào)通過有監(jiān)督學習實現(xiàn)。這種算法能避免網(wǎng)絡陷入局部極值和梯度彌散問題，徹底解決了深度神經(jīng)網(wǎng)絡訓練的難題，開啟了深度學習研究的熱潮。

根據(jù)預訓練單元的不同，目前主流的深度學習架構(gòu)主要有2類，分別是基于限制玻爾茲曼機（RBM）[6]的深度學習架構(gòu)和基于自編碼器（auto-encoder）[7]的深度學習架構(gòu)，這2類架構(gòu)都是先通過無監(jiān)督學習逐層預訓練網(wǎng)絡初始權(quán)值，然后通過有監(jiān)督學習全局微調(diào)網(wǎng)絡的方法訓練網(wǎng)絡的。另外還有一些其它的基于純有監(jiān)督學習算法的深度學習架構(gòu)，比如深度卷積神經(jīng)網(wǎng)絡。目前深度學習架構(gòu)體系如圖2所示。基于限制玻爾茲曼機的深度學習架構(gòu)的預訓練單元是限制玻爾茲曼機，而基于自編碼器的深度學習架構(gòu)的預訓練單元是自編碼器。

第一個被提出的深度學習架構(gòu)就是屬于基于限制玻爾茲曼機的深度學習架構(gòu)，它是層疊限制玻爾茲曼機（Restricted Boltzmarm Machine，RBM）形成的一種深度網(wǎng)絡，也被稱為深度置信網(wǎng)絡（Deep Belief Networks，DBNs）[ 8 ]，是由著名的機器學習泰斗Honton及其學生Salakhutdinov于2006年提出的，目前來說屬于比較主流的一種深度學習架構(gòu)。本節(jié)具體介紹深度置信網(wǎng)絡架構(gòu)和學習算法。

1.2 深度信念網(wǎng)絡

深度信念網(wǎng)絡是層疊受限玻爾茲曼機（RBM）形成的一種深度網(wǎng)絡，所以本文首先來介紹RBM。

1.2.1 受限玻爾茲曼機

RBM是一個二部無向圖，由可視層（v）和隱含層（h）組成，可視層的任意節(jié)點和隱含層的任意節(jié)點之間都有連接，同一層節(jié)點之間沒有連接，W為連接權(quán)值參數(shù)矩陣（見圖3）。

根據(jù)概率原理，在給定可視層v的條件下，隱藏層中的節(jié)點是條件獨立的。反之，在給定隱含層h的條件下，可視層的節(jié)點也是條件獨立的。同時又由于所有的v和h滿足Boltzmann分布，所以，當輸入v的時候，根據(jù)可以計算出隱含層h，當計算出隱含層h后，又可以根據(jù)重構(gòu)可視層，通過調(diào)整連接權(quán)值參數(shù)，如果從隱含層重構(gòu)出的可視層與原來的可視層v一樣，那么所得的隱含層就是可視層的另外一種表達，因此隱含層可以作為可視層的高層次的特征。一般使用對比散度算法（Contrastive Divergence，CD）根據(jù)可視層輸入的數(shù)據(jù)來訓練RBM模型的參數(shù)，包括隱含層和連接權(quán)值參數(shù)矩陣，對比散度算法是一種無監(jiān)督的學習算法。

1.2.2 深度信念網(wǎng)絡

RBM模型的隱藏層是可視層數(shù)據(jù)的高層次的特征，為了獲取更高層次的特征，將多個RBM逐層疊加構(gòu)成深度置信網(wǎng)絡，圖4是由3個RBM層疊而成的DBN，也可以看作是由一個可視層和3個隱含層組成，DBN的每一層神經(jīng)元都從低一層中獲取特征。

深度置信網(wǎng)絡的訓練分為2步。

第一步，預訓練。深度信念網(wǎng)絡的相鄰兩層可以視為獨立的RBM（見圖4），通過低層的輸入，利用RBM的訓練算法可以無監(jiān)督地得到高一層的數(shù)據(jù)，然后對更高一層的隱藏層進行訓練，直到網(wǎng)絡的最高層。以圖3的DBN為例來詳細說明，原始數(shù)據(jù)從可視層v輸入到網(wǎng)絡，以v和h1構(gòu)建一個RBM，利用對比散度算法訓練RBM模型參數(shù)，然后以h1為可視層，h2為隱藏層構(gòu)建第二個RBM，訓練得到模型參數(shù)，最后，以h2和h3兩層構(gòu)建第三個RBM并訓練其模型參數(shù)，至此，就完成了整個網(wǎng)絡的訓練。

訓練過程可以看作是對最底層輸入數(shù)據(jù)進行不同層次的特征抽取，最高層的輸出即是初始數(shù)據(jù)的最高級特征。

第二步，采用傳統(tǒng)反向傳播方法，有監(jiān)督地對整個DBN網(wǎng)絡參數(shù)進行微調(diào)。

2 基于深度學習的人臉識別

深度神經(jīng)網(wǎng)絡具有強大的特征抽取能力，能夠逐層地對復雜數(shù)據(jù)進行特征抽取，最終形成適合模式分類的較理想特征。利用深度學習進行人臉識別的方法可分為2類：一類是使用基于“無監(jiān)督+有監(jiān)督”學習算法的深度學習模型進行人臉識別；另一類是使用基于純有監(jiān)督學習算法的深度學習模型進行人臉識別。

2.1 使用基于“無監(jiān)督+有監(jiān)督”學習算法的深度學習模型進行人臉識別

基于“無監(jiān)督+有監(jiān)督”學習算法的深度學習模型主要有深度信念網(wǎng)絡（DBN）、基于卷積限制玻爾茲曼機（CRBM）的深度網(wǎng)絡、基于自編碼機（Auto-encoder）的深度網(wǎng)絡、基于降噪自動編碼機（Denoising Auto-encoder）的深度網(wǎng)絡以及基于稀疏自動編碼機（Sparse Auto-encoder）的深度網(wǎng)絡等。這些深度學習模型都是生成模型，具有強大的對原始數(shù)據(jù)的特征抽取能力，但沒有分類能力，如果要應用到圖像的分類和識別問題，一般在模型的頂端加上分類器，把圖像特征映射到對應的類別標簽上，于是生成模型便可成為判別模型來使用，基于此類深度學習模型的人臉識別模型可以概括為“深度學習模型+分類器模型”。選擇不同的深度學習模型和分類器模型便可組成不同的人臉識別模型，此類識別模型已經(jīng)在經(jīng)典的人臉數(shù)據(jù)庫（ORL，F(xiàn)ERET等）上取得了目前最好的識別率。例如“深度信念網(wǎng)絡（DBN）+softmax分類器”模型，“基于稀疏自動編碼機（Sparse Auto-encoder）的深度網(wǎng)絡+ softmax分類器”模型，“深度信念網(wǎng)絡（DBN）+SVM分類器”模型，“基于卷積限制玻爾茲曼機（CRBM）的深度網(wǎng)絡+ softmax分類器”模型。

下面對“深度信念網(wǎng)絡（DBN）+softmax分類器”人臉識別模型作一個介紹，其他模型結(jié)構(gòu)類似于此模型。圖5是此模型的架構(gòu)圖。

訓練模型步驟分為2步。首先逐層預訓練深度信念網(wǎng)絡（DBN），利用原始人臉圖像作為網(wǎng)絡輸入無監(jiān)督地逐層預訓練每一層RBM，經(jīng)過逐層預訓練的DBN，使用反向傳播算法精調(diào)時會很快的收斂。然后使用有類別標簽的訓練樣本采用BP算法對整個識別模型進行精調(diào)，假設是一個訓練樣本集，樣本一共分為4類，那么樣本類別標簽是一個4維向量，且屬于標簽向量集{[1，0，0，0]，[0，1，0，0]，[0，0，1，0]，[0，0，0，1]}，BP算法要優(yōu)化的是softmax分類器所輸出的預測標簽與真實類別標簽的距離，可以使用交叉熵等量來度量。識別模型完全訓練好之后，把測試用的人臉原始圖像輸入到網(wǎng)絡，網(wǎng)絡就可以輸出預測的類別標簽。文獻[9]使用“深度信念網(wǎng)絡（DBN）+softmax分類器”的人臉識別模型研究多姿態(tài)人臉圖像的超分辨率識別問題，其在UMIST，ORL，F(xiàn)ERET和PIE人臉庫上實驗表明，對比其它方法在同等實驗條件下該模型性能表現(xiàn)最好。文獻[ 1 0 ]融合深度信念網(wǎng)絡（DBN）和多層感知器進行人臉表情識別，首先使用深度信念網(wǎng)絡對原始人臉表情圖像進行無監(jiān)督學習得到高層次的抽象特征，然后對多層感知器分類器進行初始化，從而實現(xiàn)人臉表情分類，在日本JAFFE數(shù)據(jù)庫上的人臉表情正確識別率達到90.95%，比其他方法高出許多。

需要注意的是，為了處理大型圖像，一般通過卷積和池化技術(shù)對深度學習模型進行改造，以減小計算量和耗時。典型的例子是基于卷積限制玻爾茲曼機（CRBM）的深度網(wǎng)絡，卷積限制玻爾茲曼機（CRBM）利用卷積和池化技術(shù)對限制玻爾茲曼機（RBM）進行了改造以便處理大型的圖像。

2.2 使用基于純有監(jiān)督學習算法的深度學習模型進行人臉識別

當前，基于純有監(jiān)督學習算法的深度學習模型主要有深度卷積神經(jīng)網(wǎng)絡，深度卷積神經(jīng)網(wǎng)絡使用傳統(tǒng)的有監(jiān)督學習算法進行學習，主要是使用BP算法。當前有很多著名的人臉識別系統(tǒng)都是基于深度卷積神經(jīng)網(wǎng)絡的，如DeepID家族、FaceNet，深度卷積神經(jīng)網(wǎng)絡在這些人臉識別系統(tǒng)中的作用是學習高層次的區(qū)分度強的特征，這些識別系統(tǒng)的成功得益于深度卷積神經(jīng)網(wǎng)絡與大數(shù)據(jù)的結(jié)合。隨著技術(shù)的進步，有標簽數(shù)據(jù)的獲取變得越來越容易，通過足夠多的有標簽數(shù)據(jù)對深度卷積神經(jīng)網(wǎng)絡進行訓練，使得深度卷積神經(jīng)網(wǎng)絡這種傳統(tǒng)的深度網(wǎng)絡模型變得極為有效。

著名的DeepID人臉識別系統(tǒng)家族就是基于深度卷積神經(jīng)網(wǎng)絡的，DeepID家族是香港中文大學教授湯曉鷗領導的計算機視覺研究組開發(fā)的一系列人臉識別系統(tǒng)。DeepID家族在LFW （Labeled Faces in the Wild）數(shù)據(jù)庫上獲得了99.15%的識別率。LFW是事實上的真實條件下的人臉識別問題的測試基準，實驗表明，如果僅僅給出人臉中心區(qū)域，人用肉眼在LFW上的識別率為97.52%。

深度卷積神經(jīng)網(wǎng)絡在DeepID中的作用是學習特征，即將人臉圖片輸入進去，學習到一個160維的特征向量。然后使用這個160維特征向量作為訓練樣本，訓練各種現(xiàn)成的分類器（比如softmax），即可得到識別模型。DeepID之所以有效，首先在于深度卷積神經(jīng)網(wǎng)絡學習到的特征的區(qū)分能力比較強，為了學習到區(qū)分度較強的特征，DeepID采取了目前最常用使用大數(shù)據(jù)的手法，只有大的數(shù)據(jù)集才能使得卷積神經(jīng)網(wǎng)絡訓練得更加充分。

另一個著名的基于深度卷積神經(jīng)網(wǎng)絡的人臉識別系統(tǒng)是Google的FaceNet。FaceNet采用了22層的深度卷積網(wǎng)絡和海量的人臉數(shù)據(jù)（800萬人的2億張圖像）。深度卷積神經(jīng)網(wǎng)絡在FaceNet中的作用也是學習特征。 FaceNet在LFW（Labeled Faces in the Wild）數(shù)據(jù)庫上獲得了99.63%的平均識別率。

3 結(jié)語

深度神經(jīng)網(wǎng)絡具有強大的特征抽取能力，能夠逐層地對復雜數(shù)據(jù)進行特征抽取，最終形成適合模式分類的較理想特征。深度學習在人臉識別中已經(jīng)取得了一些很好的成果，當然，當前應用深度學習時也存在一些問題需要解決。比如針對具體問題，選取哪一種深度學習架構(gòu)才是最好的，以及設計多少層數(shù)的深度網(wǎng)絡才是合適的，這些問題目前都沒有系統(tǒng)的理論指導，要靠多次實驗才能確定。另外，使用大數(shù)據(jù)集訓練深度網(wǎng)絡耗時很長，需要強大的計算能力，使用何種計算平臺來提供強大計算能力也是目前面臨的一個難題。

[參考文獻]

[1]Lowe D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004（2）：91-110.

[2]Ojala T，Pietikainen M，Harwood D.Performance evaluation of texture measures with classification based on Kullback discrimination of distributions[J].Proceedings of ICPR.Jerusalem， Irsael：IEEE，1994（10）：761-767.

[3]Turk M，pentland A.Eigenfaces for Recognition[J].Journal of Cognitive Neuroscience，1991（1）：71-86.

[4]Lee T S，Mumford D.Hierarchical Bayesian inference in the visual cortex[J].JOSA A，2003（7）：1434-1448.

[5]Lee T S，Mumford D，Romero R，et al.The role of the primary visual cortex in higher level vision[J].Vision research，1998（15）：2429-2454.

[6]Hinton G E.Training products of experts by minimizing contrastive divergence[J]. Neural Computation，2002（8）：1771-1800.

[7]Hinton G E，Zemel R S.Auto encoders， minimum description length，and Helmholtz free energy： Advances in Neural Information Processing Systems，1994[C]// Burlington ，USA： Morgan Kaufmann，1994.

[8]Hinton G E，Osindero S The Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006（7）：1527-1554.

[9]LinMiaozhen，F(xiàn)an Xin.Low Resolution Face Recognition with pose Variationsusing Deep Belief Networks：4th International Congress on Imageand Signal Processing（CISP）， 2011[C]//IEEE Conference Publications，2011.

[10]施徐敢，張石清，趙小明.融合深度信念網(wǎng)絡和多層感知器的人臉表情識別[J].小型微型計算機系統(tǒng)，2015（7）：1629-1632.

Deep Learning and Its Progressin Face Recognition

Yan Xinbao（Department of Mathematics and Computer Science， Guangxi Normal University for Nationalities， Chongzuo 532200， China）

Abstract： Deep learning has captured many attentions in machine learning recently. Extracting appropriate features for pattern recognition and classification by deep learning is very popular in pattern recognition and this method has achieved the best results in face recognition. In this paper， firstly， we give a general introduction to deep learning， then the face recognition models based on deep learning is analyzed and classified， lastly， the main existing problems of face recognition using deep learning are discussed.

Key words： deep learning； features learning； face recognition