多任務(wù)姿態(tài)不變的人臉識別

段龍云　方雅婷　吳潔。

摘要：在實際應(yīng)用中，人臉識別系統(tǒng)采集到的人臉圖像中人臉姿態(tài)變化范圍較大，這給識別過程帶來了較大的挑戰(zhàn)，大大降低了識別算法的準(zhǔn)確率。該文針對姿態(tài)問題對人臉識別的影響展開研究，提出了一種新的人臉識別算法，可以實現(xiàn)士90°范圍內(nèi)人臉的準(zhǔn)確識別。本文提出的算法將多任務(wù)學(xué)習(xí)概念引入對轉(zhuǎn)換字典的學(xué)習(xí)過程中，將不同姿態(tài)看成不同任務(wù)，對每一個姿態(tài)分別進(jìn)行轉(zhuǎn)換字典的學(xué)習(xí)。在FERET和CMU-PIE等數(shù)據(jù)庫中的大量實驗結(jié)果表明，該文提出的算法明顯優(yōu)于基于單任務(wù)學(xué)習(xí)的人臉識別算法，在非限定姿態(tài)下的人臉識別達(dá)到了較好的效果。

關(guān)鍵詞：人臉識別系統(tǒng)；算法；多任務(wù)學(xué)習(xí)

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）29-0178-03

1緒論

1.1研究背景及意義

近幾十年來，人臉識別在計算機(jī)視覺領(lǐng)域是最熱門的研究課題之一。早在1888年和1910年高爾頓就在《Nature》雜志發(fā)表了兩篇關(guān)于利用人臉進(jìn)行身份識別的文章，對人臉自身的人臉識別能力進(jìn)行了分析。但當(dāng)時還沒有條件研究人臉的自動識別問題。直到近幾十年才真正的研究了人臉自動識別，經(jīng)過幾十年的努力，現(xiàn)在已經(jīng)實現(xiàn)了自動的人臉識別。

人臉識別作為一種生物體征識別與其他較成熟的識別方法（如指紋、虹膜、DAN檢測等）相比有以下幾個優(yōu)點：無侵犯性；低成本、易安裝；無人工參與。由于具有以上優(yōu)點，近幾年來，人臉識別技術(shù)引起了越來越多科研人員的關(guān)注。

1.2研究現(xiàn)狀

人臉識別技術(shù)經(jīng)過幾十年的發(fā)展，也取得了很大的突破?，F(xiàn)階段自動人臉識別系統(tǒng)已經(jīng)投入到應(yīng)用中，主要應(yīng)用于考勤機(jī)等方面，在非限定姿態(tài)下進(jìn)行人臉識別還不能達(dá)到應(yīng)用的要求。人臉識別仍然受很多因素的影響，如姿態(tài)、光照和表情等。因為姿態(tài)變化在實際應(yīng)用中是最常見的情況，所以本文主要介紹了一種解決姿態(tài)問題的人臉識別算法，將自由姿態(tài)下的人臉與正臉進(jìn)行匹配，從而解決姿態(tài)變化對人臉識別準(zhǔn)確率的影響。

姿態(tài)變化導(dǎo)致人臉圖像產(chǎn)生很大變化，從本質(zhì)上來講，導(dǎo)致這一問題的原因主要是人頭3D幾何結(jié)構(gòu)很復(fù)雜。如圖1所示，人頭的旋轉(zhuǎn)導(dǎo)致正臉圖像產(chǎn)生封閉區(qū)域，也就是說一些臉部特征變得不可見，而且圖像中人臉的可視的區(qū)域的形狀和位置也是非線性變化的。這些問題給人臉識別帶來了很多問題，使很多識別算法的識別率大大下降。

2多任務(wù)姿態(tài)不變的人臉識別算法

2.1人臉特征表示法

現(xiàn)有的很多人臉表示法都是試圖在人臉圖像中提取出一些固定長度的特征，但是這是在人臉圖像都是在可見范圍內(nèi)的基礎(chǔ)上才能實現(xiàn)的。在實際應(yīng)用中，很難保證這一點，因為在側(cè)臉是很多人臉產(chǎn)生了自我封閉性，導(dǎo)致很多信息變得不可見。考慮到這個問題，本文提出基于塊的人臉表示法，并將人臉的表示與人臉姿態(tài)相聯(lián)系。因為正臉?biāo)男畔⒁欢ㄊ潜葌?cè)臉要多的，所以正臉需要更多數(shù)據(jù)來表示。本文所提出的基于塊的表示方法主要包括以下三個步驟：人臉姿態(tài)歸一化；非封閉人臉區(qū)域檢測；圖像塊的特征提取。

2.1.1人臉姿態(tài)歸一化

本文采用標(biāo)準(zhǔn)3D模型方法進(jìn)行人臉姿態(tài)歸一化，采用BFM算法得到3D模型。在姿態(tài)歸一化過程中，本文采用了人臉最穩(wěn)定的五個特征點（兩眼的中心點，鼻尖點，兩個嘴角點），利用正射投影法將3D模型映射到2D人臉圖像上，實現(xiàn)姿態(tài)的歸一化。結(jié)果如圖2所示。

2.1.2非封閉區(qū)域檢測

人臉姿態(tài)歸一化對由于姿態(tài)變化引起的人臉紋理的變形進(jìn)行了校正，但是并不能恢復(fù)出由于封閉性導(dǎo)致的信息丟失。受到人能直接識別出側(cè)臉圖像的人的身份的啟發(fā)，本文提出了一種充分利用可見區(qū)域進(jìn)行識別的方法。本文首先將3D模型旋轉(zhuǎn)到與2D人臉圖像姿態(tài)相近的角度，我們很容易就可以得到旋轉(zhuǎn)后的3D模型投影到2D圖像的邊緣，如圖3（a）所示。將含有邊緣的區(qū)域匹配到待識別人臉圖像中，得到了圖3（b）的結(jié)果。對得到的紅色框內(nèi)的區(qū)域進(jìn)行Canny算子的邊緣檢測，得到圖3（c）的效果。最后一步就是如何在上述得到的邊緣中找到我門需要的邊緣，本文采用了兩種辦法進(jìn)行檢測，首先利用水平梯度，將水平梯度為零的點全部刪除，再利用CPD（點漂移算法）得到最后的人臉邊緣線，即封閉區(qū)域與非封閉區(qū)域的分界線。

2.1.3基于塊的人臉表示法

首先將歸一化得到的人臉圖像分成M×N個小塊，用非封閉區(qū)域檢測得到的邊緣進(jìn)行分割，若一個塊中超過80%的像素在非封閉區(qū)域，將這個塊紀(jì)委有效塊，否則視為無效。然后將每個有效塊分成J×J個小塊，計算每個小塊的DCP特征，得到DCP直方圖。最后將J×J個小塊的DCP直方圖通過PCA（主成分分析法）降維，得到一個在子空間中的D維特征。

2.2多任務(wù)特征轉(zhuǎn)換學(xué)習(xí)

經(jīng)過以上步驟我們得到了用塊特征表示的人臉圖像，理論上可以直接進(jìn)行塊匹配來實現(xiàn)人臉識別。本文中進(jìn)一步提出了一種多任務(wù)特征學(xué)習(xí)轉(zhuǎn)換字典的方法，將正臉圖像中的塊和待識別圖像中的塊轉(zhuǎn)換到一個更有識別力的子空間進(jìn)行識別。每個塊分別進(jìn)行學(xué)習(xí)，得到M×N個轉(zhuǎn)換字典。

2.2.1特征轉(zhuǎn)換學(xué)習(xí)

在特征轉(zhuǎn)換學(xué)習(xí)過程中，我們需要考慮三個問題：姿態(tài)歸一化得到的圖像質(zhì)量差異較大；不同姿態(tài)之間的相關(guān)性；在實際應(yīng)用中，較難采集到大量樣本以供訓(xùn)練?？紤]到以上問題，我們引入多任務(wù)學(xué)習(xí)的概念，將每個姿態(tài)看成一個任務(wù)，進(jìn)行特征轉(zhuǎn)換學(xué)習(xí)，同時考慮到了不同姿態(tài)的相關(guān)性和差異性。多任務(wù)轉(zhuǎn)換學(xué)習(xí)法為所有任務(wù)學(xué)習(xí)得到一個轉(zhuǎn)換字典，通過不同的投影向量來選擇不同姿態(tài)的轉(zhuǎn)換矩陣。由此可以看出，多任務(wù)特征轉(zhuǎn)換學(xué)習(xí)法可以找到更多有識別力的特征。

首先介紹一些在學(xué)習(xí)轉(zhuǎn)化矩陣過程中用到的變量。集合{（X_t，Y_t）：1≤t≤Pl表示的是類內(nèi)和類間的訓(xùn)練數(shù)據(jù)。其中P表示可用于學(xué)習(xí)的任務(wù)數(shù)，即姿態(tài)數(shù)；X_t∈R^D×N表示的是類內(nèi)（即同一個人的不同姿態(tài)）的數(shù)據(jù)，X_t的第n列xⁿ_t是類內(nèi)任務(wù)t（側(cè)面）的第n塊的特征與任務(wù)0（正面）做差；Y∈R^D×N示的是類內(nèi)（即不同人的不同姿態(tài)）的數(shù)據(jù)，Y_t第n列yⁿ_t是類間任務(wù)t（側(cè)面）的第n塊的特征與任務(wù)0（正面）做差；U表示學(xué)習(xí)得到的轉(zhuǎn)換字典，α_t表示投影向量，矩陣A用來存儲投影向量，A_t是投影向量擴(kuò)展得到的對角矩陣；λ表示類間和類內(nèi)權(quán)重的正則化參數(shù)。

我們建立模型的理論依據(jù)就是類內(nèi)和類間數(shù)據(jù)的距離最大。定義損失函數(shù)T_U，t如下：

（1）

將上述問題轉(zhuǎn)換成最優(yōu)化問題

（2）

μ是另一個正則化參數(shù)。將α_t中的非零個數(shù)記為d，我們要得到的結(jié)果就是用α_t在U中最具識別力的d個最有識別力的投影向量。其中λ，μ，d是用交叉驗證的方法得到的最優(yōu)值。

2.3人臉圖像匹配

本部分主要介紹基于塊的人臉多任務(wù)學(xué)習(xí)的人臉圖像匹配問題。在上一部分，我們已經(jīng)得到了轉(zhuǎn)換字典U和投影矩陣A。

假設(shè)我們對一個第t中姿態(tài)的側(cè)臉圖像與庫中的正臉圖像進(jìn)行匹配。將待識別圖像分成K塊之后將每一塊的特征存儲在中，將正臉圖像中與之對應(yīng)的K塊的特征存儲在中。首先，將匹配塊的特征用得到的U^k和A^k投影到子空間中。

（3）

A^k_t？表示A^k的第t列擴(kuò)展得到的對角矩陣。

計算相似度：

（4）

s就是待識別圖像與庫內(nèi)圖像的相似度。最后，通過最近鄰分類法進(jìn)行分類，確定待識別人臉圖像的身份。

雖然本文采用了相對于文獻(xiàn)中更簡單的比對方法，但由于本文所提出的方法充分考慮了不同姿態(tài)之間的相關(guān)性，將提高人臉識別算法的魯棒性。

3實驗結(jié)果

本文實驗主要基于以下三大主流人臉姿態(tài)數(shù)據(jù)庫，CMU-PIE，F(xiàn)ERET和Multi-PIE。主要針對姿態(tài)變化問題進(jìn)行實驗。

待識別圖像多歸一化到156×130，圖像塊大小為26×24，重疊50%分塊，將每個小塊分成2×2個小塊。由實驗結(jié)果可以看出本文所提出的算法在姿態(tài)變化下的人臉識別有較高的識別率及較強(qiáng)的魯棒性。

由圖5可以看出本文提出的多任務(wù)學(xué)習(xí)的方法明顯好于傳統(tǒng)的單任務(wù)學(xué)習(xí)方法。

4總結(jié)

姿態(tài)變化在人臉識別過程中對傳統(tǒng)算法的魯棒性有較大影響。本文分兩個方面考慮了姿態(tài)問題。首先本文提出了一種基于塊的人臉表示方法，只利用人臉的非封閉區(qū)域進(jìn)行識別。之后，通過多任務(wù)特征轉(zhuǎn)換學(xué)習(xí)。充分考慮不同姿態(tài)間的相關(guān)性。實驗結(jié)果證明，本文所提出的多任務(wù)學(xué)習(xí)算法明顯好于現(xiàn)有的單任務(wù)學(xué)習(xí)算法。

本文主要講述了一種基于塊的多任務(wù)特征學(xué)習(xí)轉(zhuǎn)換方法的人臉識別，經(jīng)過大量實驗證明本文所提方法可行有效。