基于深度自編碼網(wǎng)絡(luò)的異質(zhì)人臉識(shí)別

劉超穎　楊　健　李　俊

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院　江蘇 南京 210094)

?

基于深度自編碼網(wǎng)絡(luò)的異質(zhì)人臉識(shí)別

劉超穎楊健李俊

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院江蘇 南京 210094)

針對(duì)異質(zhì)人臉識(shí)別中對(duì)不同模態(tài)數(shù)據(jù)間關(guān)系建模的問題，提出一種基于深度自編碼網(wǎng)絡(luò)的異質(zhì)人臉特征提取和識(shí)別方法。首先用一個(gè)深度降噪自編碼網(wǎng)絡(luò)從兩類異質(zhì)人臉圖像中提取人臉的高階特征，并通過類別監(jiān)督信號(hào)產(chǎn)生的目標(biāo)函數(shù)來對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，最后利用最近鄰分類器對(duì)已提取特征分類，完成異質(zhì)圖像間的匹配。在CUHK、AR、CASIA HFB、SVHN與MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與目前基于子空間學(xué)習(xí)的異質(zhì)人臉識(shí)別方法相比，該方法取得了更高的識(shí)別率，并且在基于異質(zhì)圖像的數(shù)字識(shí)別上表現(xiàn)出一定優(yōu)勢(shì)。

異質(zhì)人臉識(shí)別深度自編碼網(wǎng)絡(luò)深層學(xué)習(xí)

0　引　言

人臉識(shí)別研究中，大部分所用的待識(shí)別人臉圖像和數(shù)據(jù)庫中的人臉圖像都是同一模態(tài)的圖像。然而在實(shí)際應(yīng)用中待處理圖像可能來自多種模態(tài)，例如近紅外模態(tài)、可見光模態(tài)、素描模態(tài)等，這類不同模態(tài)人臉圖像之間的識(shí)別問題屬于異質(zhì)人臉識(shí)別。2002年Tang等人[1]首先提出異質(zhì)人臉識(shí)別問題，盡管最初異質(zhì)人臉識(shí)別定義廣泛，但目前最熱門的兩個(gè)研究是素描人臉識(shí)別[2]和近紅外與可見光人臉識(shí)別[3]，本文也將就這兩個(gè)問題展開討論?；谒孛璁嬒竦娜四樧R(shí)別是個(gè)人身份認(rèn)證中的一項(xiàng)關(guān)鍵技術(shù)，在安全保衛(wèi)、犯罪嫌疑人搜捕等法律執(zhí)行方面具有較大的實(shí)用價(jià)值。另一方面，雖然近紅外人臉識(shí)別克服了可見光人臉識(shí)別中的光照問題，然而許多應(yīng)用仍要求采用可見光圖像對(duì)人員進(jìn)行登記注冊(cè)，原有近紅外人臉識(shí)別在這種情況下是不可行的。為了實(shí)現(xiàn)可見光與近紅外人臉的交叉注冊(cè)與認(rèn)證，提出了近紅外與可見光人臉識(shí)別問題。

由于異質(zhì)圖像成像機(jī)理不同，不同模態(tài)圖像間往往表現(xiàn)出巨大差異，因此采用以往單個(gè)模型的方法對(duì)異質(zhì)圖像比較是不可行的。一個(gè)直觀的想法是減少不同模態(tài)圖像外觀上的差異，以提高人臉識(shí)別性能。Tang等[4]提出了一種方法，由素描合成偽照片，然后在照片模式下進(jìn)行識(shí)別。Liu等人[5]針對(duì)該問題提出了一種非線性的方法，該方法基于流形學(xué)習(xí)中的局部線性嵌入LLE(Local Linear Embedding)將照片合成素描，然后利用非線性判別分析識(shí)別素描圖像。文獻(xiàn)[6]也提出了一種將可見光人臉圖像轉(zhuǎn)化為近紅外人臉圖像的方法。上述基于合成的方法主要是將異質(zhì)圖像轉(zhuǎn)換到同一模態(tài)，再利用傳統(tǒng)的人臉識(shí)別方法進(jìn)行識(shí)別。Lin等[7]提出了使用CDFE(common discriminant feature extraction)的方法，將兩類異質(zhì)人臉圖像投影到一個(gè)含有鑒別特征的公共子空間。CDFE方法能取得較高的識(shí)別率，但訓(xùn)練過程相對(duì)耗時(shí)，更適用于小樣本數(shù)的情況。Yi等人[3]提出一種方法，分別在近紅外和可見光人臉圖像空間建立PCA[8]或LDA[9]子空間模型，通過典型相關(guān)分析CCA(canonical correlation analysis)的方法學(xué)習(xí)子空間的線性變換以對(duì)不同模態(tài)圖像間的關(guān)系建模。Lei等[10]從圖形嵌入和光譜回歸的角度提出了耦合光譜回歸CSR(Coupled Spectral Regression)的方法，CSR方法較以往方法具有更好的泛化能力。

從學(xué)習(xí)的角度來說，上述淺層模型一方面在計(jì)算機(jī)視覺中只能從豐富的數(shù)據(jù)中提取一些簡(jiǎn)單的特征，不能提取復(fù)雜結(jié)構(gòu)的特征[11]；另一方面在人工智能的任務(wù)中用大量的參數(shù)來表示一個(gè)功能，進(jìn)而增加計(jì)算復(fù)雜度[12]。近年來在國際著名學(xué)者G. E. Hinton教授推動(dòng)下，深層學(xué)習(xí)成為一種強(qiáng)有力的穩(wěn)健分類方法，并且在語音識(shí)別[13,14]和圖像識(shí)別[15-17]等應(yīng)用領(lǐng)域獲得了巨大的成功。針對(duì)異質(zhì)人臉識(shí)別問題的特殊性、結(jié)合深層學(xué)習(xí)具有強(qiáng)大的數(shù)據(jù)特征學(xué)習(xí)能力的特點(diǎn)，本文提出了一種基于深度自編碼網(wǎng)絡(luò)的異質(zhì)人臉識(shí)別方法。針對(duì)兩類不同模態(tài)的數(shù)據(jù)，采用兩個(gè)并行的深度自編碼網(wǎng)絡(luò)對(duì)異質(zhì)圖像進(jìn)行監(jiān)督訓(xùn)練，得到接近于類別信息的特征表，將網(wǎng)絡(luò)的最終輸出作為分類器的特征輸入，完成異質(zhì)人臉匹配。如圖1所示，與原有方法相比，本文采用深層模型代替原有淺層學(xué)習(xí)模型，并且加入類別監(jiān)督信號(hào)，將異質(zhì)圖像投影到類別子空間，這類特征表示更具有分類能力。本方法有如下優(yōu)點(diǎn)：(1)從深層學(xué)習(xí)的角度解決異質(zhì)人臉識(shí)別中的特征表示問題，在訓(xùn)練集與測(cè)試集類別重復(fù)情況下表現(xiàn)了監(jiān)督訓(xùn)練的優(yōu)勢(shì)；(2)對(duì)旋轉(zhuǎn)圖像、真實(shí)環(huán)境圖像都有較好的處理能力；(3)模型直觀，可擴(kuò)展到處理多模態(tài)異質(zhì)圖像的識(shí)別問題。

圖1　兩類異質(zhì)人臉識(shí)別問題示例

1　基于深度自編碼網(wǎng)絡(luò)的異質(zhì)人臉識(shí)別

由于成像方式不同，同一個(gè)人的近紅外和可見光人臉圖像在表觀上存在著顯著差異。但是從認(rèn)知的角度講，它們?nèi)匀豢梢员蛔R(shí)別成為同一個(gè)人。這就意味著：1)近紅外和可見光圖像存在某種形式的關(guān)聯(lián)；2)存在可識(shí)別的不變特征。本模型是基于以降噪自動(dòng)編碼器為結(jié)構(gòu)單元的深度自編碼網(wǎng)絡(luò)，首先介紹降噪自動(dòng)編碼器與深度自編碼網(wǎng)絡(luò)。

1.1降噪自動(dòng)編碼器

自動(dòng)編碼器[18]就是一種盡可能復(fù)現(xiàn)輸入信號(hào)的神經(jīng)網(wǎng)絡(luò)，它假設(shè)自身的輸入與輸出是相同的，通過訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù)，得到每一層的訓(xùn)練權(quán)重，則隱含層就是原始輸入信號(hào)的近似表達(dá)，從而實(shí)現(xiàn)了無監(jiān)督的特征提取。降噪自動(dòng)編碼器[19]是自動(dòng)編碼器的一個(gè)變形，它對(duì)原始輸入加入噪聲得到一個(gè)受污染的輸入，降噪自動(dòng)編碼器必須學(xué)習(xí)去除這種噪聲而還原真正的沒有被噪聲污染過的輸入，這就迫使編碼器去學(xué)習(xí)輸入信號(hào)的更加魯棒的表達(dá)，這也是它的泛化能力比傳統(tǒng)編碼器強(qiáng)的原因。

(1)

(2)

其中θ′={W′,b′}，W′是d′×d的權(quán)重矩陣，W′可等于WT，此時(shí)稱網(wǎng)絡(luò)具有對(duì)稱權(quán)重，b′是偏移向量。

(3)

1.2深度自編碼器網(wǎng)絡(luò)

深度自編碼網(wǎng)絡(luò)[20]是由多個(gè)自動(dòng)編碼器或其變形模型堆疊而成的神經(jīng)網(wǎng)絡(luò)，前一層自動(dòng)編碼器的隱含層輸出作為后一層自動(dòng)編碼器的輸入，本文采用上述降噪自動(dòng)編碼器作為深度自編碼網(wǎng)絡(luò)的結(jié)構(gòu)單元。

類似于深度置信網(wǎng)絡(luò)[11]，深度自編碼網(wǎng)絡(luò)采用逐層貪婪算法初始化網(wǎng)絡(luò)：首先采用無監(jiān)督學(xué)習(xí)算法對(duì)低層的降噪自動(dòng)編碼器進(jìn)行訓(xùn)練，生成第一層深度自編碼網(wǎng)絡(luò)的初始參數(shù)值；然后將第一層的輸出作為下一層的輸入，同樣采用無監(jiān)督學(xué)習(xí)算法對(duì)該層參數(shù)進(jìn)行初始化。在對(duì)多層進(jìn)行初始化后，通常在頂層添加一個(gè)分類器，用監(jiān)督學(xué)習(xí)算法對(duì)整個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)。這里要指出的是，為了學(xué)習(xí)到更加魯棒的特征，逐層訓(xùn)練時(shí)每一層降噪自動(dòng)編碼器的輸入都需要加入噪聲。

由此，深度神經(jīng)網(wǎng)絡(luò)的精髓就是模擬人的視覺系統(tǒng)對(duì)信息的分級(jí)處理過程，這是一個(gè)不斷迭代、不斷抽象的過程。高層的特征是低層特征的組合，特征表示也更抽象，更能表現(xiàn)語義或者意圖。而抽象層面越高，存在的可能猜測(cè)就越少，就越利于分類。

1.3實(shí)現(xiàn)細(xì)節(jié)

異質(zhì)人臉識(shí)別的核心在于如何對(duì)不同模態(tài)數(shù)據(jù)的關(guān)系建模，同時(shí)保留其中具有鑒別能力的特征。顯然，類別信息是最具鑒別能力的特征之一?；诖讼敕?，本文以類別信號(hào)監(jiān)督訓(xùn)練兩個(gè)深度自編碼網(wǎng)絡(luò)，對(duì)兩類異質(zhì)圖像間的關(guān)系建模。

以近紅外與可見光人臉識(shí)別為例，模型結(jié)構(gòu)如圖2所示。深度自編碼網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為圖像數(shù)據(jù)維度，輸出層神經(jīng)元個(gè)數(shù)為目標(biāo)類別個(gè)數(shù)，根據(jù)實(shí)驗(yàn)效果調(diào)整網(wǎng)絡(luò)層數(shù)以及每個(gè)隱含層神經(jīng)元個(gè)數(shù)。在訓(xùn)練階段，采用深度自編碼網(wǎng)絡(luò)1對(duì)近紅外模態(tài)圖像進(jìn)行訓(xùn)練，深度自編碼網(wǎng)絡(luò)2對(duì)可見光模態(tài)圖像進(jìn)行訓(xùn)練，網(wǎng)絡(luò)的監(jiān)督信號(hào)為類別信息。在測(cè)試階段，兩類異質(zhì)圖像經(jīng)過深度自編碼網(wǎng)絡(luò)投影到公共的類別子空間，采用最近鄰分類器完成異質(zhì)人臉匹配。

圖2　模型示例

深度自編碼網(wǎng)絡(luò)可看作對(duì)異質(zhì)圖像的特征提取過程，由于加入了類別監(jiān)督，學(xué)習(xí)到的特征更具有分類能力。對(duì)輸出層特征采用最近鄰分類器即可完成異質(zhì)人臉圖像的匹配。需要指出的是，由于深層學(xué)習(xí)是從樣本自身去學(xué)習(xí)特征，模型對(duì)樣本數(shù)量有一定要求，并且本方法是基于監(jiān)督學(xué)習(xí)，因此它要求測(cè)試集的人都包含在訓(xùn)練集中。

2　實(shí)　驗(yàn)

為了驗(yàn)證上述模型的效果，本文在四個(gè)數(shù)據(jù)集上完成了三組實(shí)驗(yàn)，分別針對(duì)素描與照片人臉識(shí)別、近紅外與可見光人臉識(shí)別以及手寫數(shù)字與街景數(shù)字識(shí)別，同時(shí)將本方法與現(xiàn)有異質(zhì)人臉方法PCA+CCA[3]、LDA+CCA[3]、CDFE[7]、CSR[10]、DSR[21]進(jìn)行了比較。在匹配階段，本文采用余弦距離衡量樣本點(diǎn)間的相似度，其中余弦距離表示為：

(4)

2.1素描與照片人臉識(shí)別

針對(duì)素描與照片人臉識(shí)別問題，本文在CUFS數(shù)據(jù)集[2]中的CUHK數(shù)據(jù)集與AR數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。CUHK數(shù)據(jù)集取自188名香港中文學(xué)生，每人對(duì)應(yīng)一張照片圖像和一張素描圖像，共有376張人臉圖像。AR數(shù)據(jù)集包含123人，每人對(duì)應(yīng)一張照片圖像和一張素描圖像，共有246張人臉圖像。其中，照片為彩色圖像、素描為灰度圖像，圖像維度均為200×250。

如1.3節(jié)所述，原始CUHK和AR數(shù)據(jù)集中樣例過少，訓(xùn)練集與測(cè)試集的設(shè)置方案不符合本模型適用情況。為此本文對(duì)數(shù)據(jù)做如下處理：調(diào)整圖像大小，對(duì)每張圖像在-15度到+15度的范圍內(nèi)進(jìn)行旋轉(zhuǎn)，提取圖像中間20×20圖像塊作為實(shí)驗(yàn)使用數(shù)據(jù)。經(jīng)過上述處理，每人對(duì)應(yīng)20張素描圖像與20張照片圖像，每人10張素描與10張照片作為訓(xùn)練集，剩余圖像作為測(cè)試集，多次實(shí)驗(yàn)以得到平均識(shí)別率。測(cè)試時(shí)以素描圖像作為匹配圖像，在一組照片圖像中找到與之匹配的照片。

表2　CUHK和AR數(shù)據(jù)集上性能對(duì)比%

從表2可以看出，相比于PCA+CCA、LDA+CCA、CDFE、CSR和DSR，本文方法在素描與照片人臉識(shí)別上性能有了一定的提高。分析原因是由于訓(xùn)練集中已包含待驗(yàn)證人員的先驗(yàn)信息，通過引入監(jiān)督信號(hào)，深度自編碼網(wǎng)絡(luò)能夠?qū)W習(xí)到素描圖像與照片圖像的高階特征，使得素描與照片人臉識(shí)別達(dá)到更佳的效果。

2.2近紅外與可見光人臉識(shí)別

針對(duì)近紅外與可見光人臉識(shí)別問題，本文在CASIA HFB數(shù)據(jù)集上[22]進(jìn)行了實(shí)驗(yàn)。CASIA HFB數(shù)據(jù)集由來自202個(gè)人的3002張近紅外圖像和2095張可見光圖像組成。這202人中，有2人未提供可將光照片，本文選擇剩余200人近紅外與可見光圖像驗(yàn)證模型。在剩余200個(gè)人的2980張近紅外圖像和2095張可見光圖像中，2305張近紅外圖像與1678張可見光圖像作為訓(xùn)練集，余下675張近紅外圖像與417張可將光圖像構(gòu)成測(cè)試集，多次實(shí)驗(yàn)以得到平均識(shí)別率。其中，人臉圖像均經(jīng)過對(duì)齊、剪切處理，圖像維度為128×128，本文將圖像按比例縮減為32×32，并轉(zhuǎn)換成1024維列向量作為模型輸入。測(cè)試時(shí),在一組可見光圖像中,找到與近紅外圖像匹配的圖像。

表3　CASIA HFB數(shù)據(jù)集上性能對(duì)比

從表3可以看出，本方法在CASIA HFB數(shù)據(jù)集上識(shí)別效果較PCA+CCA、LDA+CCA、CDFE、DSR更好，但略低于CSR。圖3給出了測(cè)試集中五組匹配失敗示例，可以看出存在表情(閉眼、微笑)、眼鏡等干擾因素。本模型匹配效果依賴于兩個(gè)深度自編碼網(wǎng)絡(luò)的學(xué)習(xí)能力，在處理近紅外人臉圖像時(shí)，單獨(dú)的深度自編碼網(wǎng)絡(luò)不足以克服上述干擾因素，因此直接影響了近紅外與可見光人臉識(shí)別的效果。

圖3　CASIA HFB測(cè)試集匹配失敗示例

第一行為近紅外圖像，第二行為對(duì)應(yīng)的可將光圖像，第三行為按本方法匹配失敗得到的可見光圖像。

2.3手寫數(shù)字與街景數(shù)字識(shí)別

圖4　街景數(shù)字(左)與手寫數(shù)字(右)

手寫數(shù)字與街景數(shù)字同屬于異質(zhì)圖像，如圖4所示，并且這兩類圖像表示更加真實(shí)豐富。為了驗(yàn)證本方法解決真實(shí)環(huán)境下異質(zhì)圖像識(shí)別問題的能力，本文結(jié)合MNIST數(shù)據(jù)集[23]與SVHN數(shù)據(jù)集[24]，進(jìn)行了如下實(shí)驗(yàn)。

MNIST數(shù)據(jù)集是一個(gè)公共的手寫字體數(shù)據(jù)庫，它由類別號(hào)為0-9的60 000張訓(xùn)練圖像與10 000張測(cè)試圖像組成。SVHN數(shù)據(jù)集由谷歌公司針對(duì)街景地圖應(yīng)用采集而成，它包含大量更加真實(shí)、復(fù)雜的街景門牌號(hào)圖片。本文采用SVHN第二種格式數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，它由類別號(hào)為0-9的73 257張訓(xùn)練圖像與26 032張測(cè)試圖像構(gòu)成，其中圖像被分割成以單個(gè)字符為中心的32×32數(shù)據(jù)。針對(duì)手寫數(shù)字與街景數(shù)字識(shí)別問題，本文選擇MNIST中60 000張訓(xùn)練圖像與SVHN中73 257張訓(xùn)練圖像作為訓(xùn)練集，MNIST中10 000張測(cè)試圖像與SVHN中26 032張測(cè)試圖像為測(cè)試集，測(cè)試時(shí)，在一組手寫數(shù)字圖像中，找到與街景數(shù)字圖像匹配的圖像。如表4所示。

表4　MNIST-SVHN數(shù)據(jù)集上性能對(duì)比

由于SVHN數(shù)據(jù)集是將門牌號(hào)以單個(gè)數(shù)字切割成圖像的，很多圖像存在背景干擾與相鄰數(shù)字干擾，很大程度影響了街景數(shù)字的學(xué)習(xí)效果，因此手寫數(shù)字與街景數(shù)字識(shí)別效果沒有上述兩類識(shí)別問題正確率高。此外，PCA+CCA、LDA+CCA、CDFE、CSR和DSR方法必須基于對(duì)齊、規(guī)整的圖像，這類方法處理手寫數(shù)字與街景數(shù)字識(shí)別效果很差，在處理真實(shí)環(huán)境下異質(zhì)圖像識(shí)別問題時(shí)，本模型表現(xiàn)出了一定優(yōu)勢(shì)。

3　結(jié)　語

深度自編碼網(wǎng)絡(luò)具有強(qiáng)大的表達(dá)能力，它能夠?qū)W習(xí)到輸入數(shù)據(jù)更加有利于分類的高階特征。異質(zhì)人臉識(shí)別的核心是學(xué)得到一種特征表示，使同類樣本距離更小、不同類樣本距離更大?；谏鲜鏊枷?，本文提出一種基于深度自編碼網(wǎng)絡(luò)的異質(zhì)人臉識(shí)別方法，利用兩個(gè)并行的深度自編碼網(wǎng)絡(luò)對(duì)異質(zhì)圖像間的關(guān)系建模，在現(xiàn)有數(shù)據(jù)集上都取得了較好的識(shí)別效果。本模型為利用深層學(xué)習(xí)解決異質(zhì)人臉識(shí)別問題奠定了了基礎(chǔ)，同時(shí)也側(cè)面驗(yàn)證了本方法處理真實(shí)環(huán)境下異質(zhì)圖像識(shí)別的優(yōu)勢(shì)。但是也有一些問題將在今后的工作中繼續(xù)探討，例如，本文的異質(zhì)人臉識(shí)別情況只適合于內(nèi)部人員交叉注冊(cè)認(rèn)證的情況，如何不依賴于類別信息學(xué)習(xí)異質(zhì)圖像間的關(guān)系是今后研究的重點(diǎn)。

[1] Tang X, Wang X. Face photo recognition using sketch [C]//2002 International Conference on Image Processing, Rochester, NY, USA, 2002. Rochester: IEEE, 2002,1:257-260.

[2] Wang X, Tang X. Face photo-sketch synthesis and recognition [J]. IEEE Transactions on Pattern Analysis and Machine intelligence, 2009, 31(11):1955-1967.

[3] Yi D, Liu R, Chu R, et al. Face matching between near infrared and visible light images[C]//2nd International Conference on Biometrics (ICB2007), Seoul, Korea, 2007. Seoul: Springer, 2007:523-530.

[4] Tang X, Wang X. Face sketch synthesis and recognition[C]//9th IEEE International Conference on Computer Vision (ICCV 2003), Nice, France, 2003. Nice: IEEE, 2003, 1:687-694.

[5] Liu Q, Tang X, Jin H, et al. A nonlinear approach for face sketch synthesis and recognition[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2005), San Diego, CA, USA, 2005. San Diego: IEEE, 2005, 1:1005-1010.

[6] Wang R, Yang J, Yi D, et al. An analysis-by-synthesis method for heterogeneous face biometrics[C]//The 3rd IAPR/IEEE International Conference on Biometrics (ICB 2009), Alghero, Italy, 2009. Alghero: Springer, 2009:319-326.

[7] Lin D, Tang X. Inter-modality face recognition[C]//9th European Conference on Computer Vision (ECCV 2006), Graz, Austria, 2006. Graz: Springer, 2006:13-26.

[8] Turk M, Pentland A. Face recognition using eigenfaces[C]//1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 1991), Maui, HI, 1991. Hawaii: IEEE, 1991:586-591.

[9] Belhumeur P, Hespanha J, Kriegman D. Eigenfaces vs.f isherfaces: recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(7):711-720.

[10] Lei Z, Li S. Coupled spectral regression for matching heterogeneous faces[C]// 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009), Miami, Florida, USA, 2009. Miami: IEEE, 2009:1123-1128.

[11] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313:504-507.

[12] Bengio Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning, 2009, 2(1):1-127.

[13] Lee H, Pham P, Largman Y, et al. Unsupervised feature learning for audio classification using convolutional deep belief networks[C]//Advances in Neural Information Processing Systems 22 (NIPS 2009), Vancouver, British Columbia, Canada, 2009. Vancouver: MIT Press, 2009:1096-1104.

[14] Hamel P, Eck D. Learning features from music audio with deep belief networks[C]//11th International Society for Music Information Retrieval Conference (ISMIR 2010), Utrecht, Netherlands, 2010. Utrecht: International Society for Music Information Retrieval, 2010:339-344.

[15] Taylor G, Hinton G, Roweis S. Modeling human motion using binary latent variables[C]//Advances in Neural Information Processing Systems 19(NIPS 2006), Vancouver, British Columbia, Canada, 2006. Cambridge: MIT Press, 2007:1345-1352.

[16] Nair V, Hinton G. 3D object recognition with deep belief nets[C]//Advances in Neural Information Processing Systems 22 (NIPS 2009), Vancouver, British Columbia, Canada, 2009. Vancouver: MIT Press, 2009:1339-1347.

[17] Li J, Chang H, Yang J. Sparse Deep Stacking Network for Image Classification[C]//29th AAAI Conference on Artificial Intelligence (AAAI 2015), Austin, Texas, USA, 2015. Austin: AAAI Press, 2015:1-7.

[18] Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep networks[C]//Twenty-First Annual Conference on Neural Information Processing Systems(NIPS 2007), Vancouver, British Columbia, Canada, 2007. Cambridge: MIT Press, 2007:153-160.

[19] Vincent P, Larochelle H, Bengio Y, et al. Extracting and Composing Robust Features with Denosing Autoencoders[C]//25th International Conference on Machine Learning (ICML 2008), Helsinki, Finland, 2008. Helsinki: ACM, 2008:1096-1103.

[20] Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research, 2010, 11(3):3371-3408.

[21] Huang X, Lei Z, Fan M, et al. A regularized discriminative spectral regression method for heterogeneous face matching[J]. IEEE Transaction on Image Processing, 2013, 22(1):353-362.

[22] Li S, Lei Z, Ao M. The HFB face database for heterogeneous face biometrics research[C]//6th IEEE Workshop on Object Tracking and Classification Beyond and in the Visible Spectrum (OTCBVS, in conjunction with CVPR 2009), Miami, Florida, 2009. Miami: IEEE, 2009:1-8.

[23] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of The IEEE, 1998, 86(11):2278-2323.

[24] Netzer Y, Wang T, Coates A, et al. Reading Digits in Natural Images with Unsupervised Feature Learning[C]//NIPS 2011 workshop on deep learning and unsupervised feature learning, Granada, Spain, 2011. Granada: MIT Press, 2011(2):5.

HETEROGENEOUS FACE RECOGNITION BASED ON DEEP AUTO-ENCODER NETWORKS

Liu ChaoyingYang JianLi Jun

(SchoolofComputerScienceandEngineering,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Considering the problem of modelling the relation between different modalities data in heterogeneous face recognition, we proposed a heterogeneous face feature extraction and recognition method, which is based on deep auto-encoder networks. The method first extracts the high-order feature from two kinds of heterogeneous face image respectively using one deep denoising auto-encoder networks. Then, it fine-tunes the network through the objective function generated by category monitoring signals. Finally, it uses nearest neighbour classifier to classify the extracted features so as to complete the matching of heterogeneous face images. Results of experiments conducted on datasets of CUHK, AR, CASIA HFB, SVHN and MNIST showed that, compared with existing subspace learning-based heterogeneous face recognition methods, the proposed one reaches higher recognition rate, and exhibits certain advantage in heterogeneous image-based digital recognition.

Heterogeneous face recognitionDeep auto-encoder networkDeep learning

2015-08-17。國家杰出青年科學(xué)基金項(xiàng)目(611253 05)。劉超穎，碩士生，主研領(lǐng)域：異質(zhì)人臉識(shí)別，深度學(xué)習(xí)。楊健，教授。李俊，博士。

TP391.4

A

10.3969/j.issn.1000-386x.2016.10.039