利用判別共同向量方法選取ROI的面部遮擋人臉識(shí)別

摘 要： 人臉識(shí)別中面部遮擋易影響識(shí)別性能，針對(duì)該問(wèn)題提出一種判別共同向量方法。該方法利用DWT對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理，利用DCVA提取特征以確定感興趣區(qū)域，計(jì)算測(cè)試圖像與訓(xùn)練圖像之間的多流形距離，并利用稀疏重建系數(shù)和最近鄰分類器完成識(shí)別。在AR及LFW人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，該方法的識(shí)別率可高達(dá)99%，相比其他幾種較新的面部遮擋識(shí)別方法取得了更高的識(shí)別率，同時(shí)減少了識(shí)別所耗的時(shí)間。

關(guān)鍵詞： 面部遮擋； 人臉識(shí)別； 判別共同向量方法； 稀疏重建系數(shù)； 感興趣區(qū)域

中圖分類號(hào)： TN911.73?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）03?0035?04

Face recognition to select covered face of ROI by DCVA

LIU Xiaowei1， HUANG Miao2

（1. Office of Scientific Research， Dongguan University of Technology， Dongguan 523808， China；

2. College of Software， Pingdingshan University， Pingdingshan 467000， China）

Abstract： Since the face covering may influence on the recognition performance in face recognition， a discriminative common vector approach （DCVA） is proposed. The DWT is used to pre?process the training images by the approach， and DCVA is used to extract the feature to determine the region of interest （ROI）. The multi?manifold distance between the testing image and training image is calculated， and then recognized with sparse reconstruction coefficient and nearest neighbor classifier. The experimental results for AR and LFW face database show that the recognition accuracy of the proposed method can reach up to 99%. Compared with other advanced recognition methods， this approach has higher recognition accuracy， and can reduce the recognition time.

Keywords： face covering； face recognition； discriminative common vector approach； sparse reconstruction coefficient； region of interest

0 引 言

人臉識(shí)別已在軍事、安全、醫(yī)學(xué)等領(lǐng)域得到廣泛應(yīng)用，許多方法在非限制條件下可取得不錯(cuò)的識(shí)別效果[1]。然而，在設(shè)計(jì)局部特征時(shí)容易忽略由太陽(yáng)鏡、圍巾等引起的人臉特定遮擋，高度非線性和不可預(yù)知變化使得人臉識(shí)別仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題[2?3]。

本文通過(guò)判別共同向量方法（Discriminative Common Vector Approach，DCVA）引入了一種有效的特征選取方法，將額外信息與DCVA算法進(jìn)行結(jié)合，選取感興趣區(qū)域（Region of Interest，ROI）[4]，將識(shí)別問(wèn)題轉(zhuǎn)化為求解測(cè)試圖像與訓(xùn)練圖像之間的多流形距離問(wèn)題。所有類別的共同向量均由投影矩陣組成，投影矩陣的列范數(shù)決定了像素點(diǎn)的重要性。一些像素點(diǎn)與含有最小范數(shù)的列相對(duì)應(yīng)，由于這些像素點(diǎn)的分布對(duì)于分類標(biāo)準(zhǔn)來(lái)說(shuō)微不足道，因此將其省略。其他像素點(diǎn)與含有最大范數(shù)的列相對(duì)應(yīng)，利用這些像素點(diǎn)構(gòu)建降維特征向量。實(shí)驗(yàn)結(jié)果表明，選取的特征點(diǎn)在識(shí)別過(guò)程中發(fā)揮了重要作用，本文方法明顯提高了分類精度，并減少了識(shí)別所耗的時(shí)間。

1 相關(guān)研究

針對(duì)面部遮擋人臉識(shí)別問(wèn)題，學(xué)者們提出了許多方法，例如，文獻(xiàn)[5]提出一種概率方法，可為不精確局部化、部分遮擋和表情變化人臉做出補(bǔ)償，為了處理局部遮擋問(wèn)題，將人臉圖像劃分成局部塊進(jìn)行分析，提高了識(shí)別率。文獻(xiàn)[6?7]利用LBP特征處理遮擋變化，通過(guò)使用支持向量機(jī)（Support Vector Machine，SVM）為檢測(cè)遮擋區(qū)域執(zhí)行一個(gè)單獨(dú)的訓(xùn)練過(guò)程，可檢測(cè)出被遮擋區(qū)域中的LBP特征，并將它們從識(shí)別階段排除出去。然而，檢測(cè)遮擋的訓(xùn)練模塊需要包含遮擋的訓(xùn)練數(shù)據(jù)，這對(duì)學(xué)習(xí)階段未表現(xiàn)出的各類局部變化具有魯棒性是很困難的。這些方法主要側(cè)重于局部遮擋并涉及一個(gè)專門為檢測(cè)和排除遮擋設(shè)計(jì)的模塊。文獻(xiàn)[8]提出一個(gè)合并的相似度度量，使用局部Gabor二值模式（Local Gabor Binary Pattem，LGBP）特征和遮擋的可能性，這些算法可在一定程度上解決面部遮擋人臉識(shí)別問(wèn)題，但是，很難兼顧魯棒性和保持原始圖像的核心信息。文獻(xiàn)[9]提出了DCVA，利用所有特征類含有的共同向量進(jìn)行人臉識(shí)別，提高了面部表情的識(shí)別率。為了更好地解決面部遮擋問(wèn)題，提出了一種基于DCVA的識(shí)別方法。

2 辨別共同向量方法

DCVA通過(guò)利用類內(nèi)樣本離散矩陣的和來(lái)獲取共同向量，設(shè)訓(xùn)練集由[C]個(gè)類構(gòu)成，包含于[SW]非零特征值的特征向量為[vi，i=1，2，…，C（m-1）]，該特征向量在訓(xùn)練集中貫穿于所有特征向量的不同子空間。與從屬于0特征值的特征向量[vi，i=C（m-1）+1，…，n]類似，該特征向量在相似的訓(xùn)練集中將貫穿于所有特征向量的無(wú)差異子空間。因此，無(wú)差異子空間上的投影矩陣可由特征向量構(gòu)成，具體過(guò)程如下：

無(wú)差異子空間上特征向量的投影利用該投影矩陣為每個(gè)類生成都有的共同向量[10]，具體過(guò)程如下：

構(gòu)建共同向量的不同子空間，該子空間的正交標(biāo)準(zhǔn)基既能在Gram?Schmidt正交化[11]過(guò)程中獲得，也可通過(guò)共同向量的離散矩陣獲得。若想使用離散矩陣方法，則必須先計(jì)算共同向量的離散矩陣：

式中：[μcom]表示共同向量均值。共同向量不同子空間上的投影矩陣為[W，]利用對(duì)應(yīng)于[Scom]零特征值的特征向量[wi，i=1，2，…，C-1，]可獲得[W=w1，w2，…，wC-1T，]利用最近鄰分類器實(shí)現(xiàn)分類，即按照下列準(zhǔn)則對(duì)[xtest]分類：

式中：[W]表示共同向量不同子空間上的[（C-1）×n]維投影矩陣；[Ωi]表示第[i]類的判別共同向量。

3 提出的方法

3.1 特征提取

利用DWT進(jìn)行預(yù)處理，利用DCVA提取特征，并確定感興趣區(qū)域。假設(shè)各個(gè)像素點(diǎn)的灰度值對(duì)識(shí)別起不同的作用，根據(jù)各個(gè)像素點(diǎn)的灰度值，部分特征或像素可從人臉圖像中消除，且消除后不會(huì)對(duì)識(shí)別率產(chǎn)生較大影響。為了實(shí)現(xiàn)該想法，使用轉(zhuǎn)換矩陣或投影矩陣[W，]因?yàn)橥队熬仃嚳蓪⒊跏糩n]維訓(xùn)練數(shù)據(jù)投影到共同向量的[C-1]維子空間，意味著可由共同向量[Scom]的類內(nèi)樣本離散矩陣得到投影矩陣[W。]

[W=wT1wT2?wTC-1] （6）

式中：[w]表示當(dāng)[i=1，2，…，C-1]時(shí)的基向量，貫穿于[Scom]的不同子空間；[W]是[（C-1）×n]維的矩陣，它的元素如下：

式（7）中，若將[W]的第[i]列表示為[zi，][zi]是一個(gè)[（C-1）×1]維向量，則[W]可用它的列向量表示，即[W=z1z2…zn]。使用[a=a1a2…anT]表示[n]維人臉圖像向量，其中，每一個(gè)[ai，i=1，2，…，n]對(duì)應(yīng)于人臉圖像中的像素灰度，表示人臉圖像向量的第[i]個(gè)特征。

將[W]與人臉圖像上的對(duì)應(yīng)像素點(diǎn)灰度值相乘：

由式（8），式（9）可以看出，任何人臉圖像向量在共同向量不同子空間上的投影均為[W]的列向量所有像素灰度乘積的總和，即[Wa]中的元素為人臉圖像向量特征[a]的線性組合。

[a]的第[i]個(gè)特征[ai]的重要性與[z]的第[i]個(gè)列向量有十分密切的聯(lián)系。若[zi]中的所有值都為0，則[ai]對(duì)被投影的人臉圖像向量發(fā)揮不了任何作用，進(jìn)一步可以消除第[i]個(gè)元素或特征。

使用[w1，w2，…，wC-1]和[v1，v2，…，vC-1]表示[Scom]范圍空間的不同標(biāo)準(zhǔn)正交基向量的集合，利用這兩個(gè)標(biāo)準(zhǔn)正交基集合分別得到各自的轉(zhuǎn)換矩陣[W，]可以發(fā)現(xiàn)，[W]列向量準(zhǔn)則級(jí)別的順序沒(méi)有發(fā)生變化。

由于子空間的基向量集并不惟一，因此，若選取不同的基向量，則會(huì)影響特征（或相對(duì)應(yīng)的像素點(diǎn)）的重要級(jí)別。因此，雖然構(gòu)成轉(zhuǎn)換矩陣[W]的基向量集并不惟一，但是列向量準(zhǔn)則級(jí)別的順序不會(huì)改變[12]。基于這個(gè)事實(shí)，像素點(diǎn)重要級(jí)別不會(huì)因?yàn)檫x取不同的基向量集而改變。

3.2 識(shí)別

給定一個(gè)測(cè)試樣本[T，]將其與訓(xùn)練樣本建模為流形[MT=[xT1，xT2，…，xTt]]，給[MT]分配一個(gè)標(biāo)記[c]：

若不充分利用所有樣本計(jì)算流形的距離，則會(huì)丟失一部分樣本的信息。

設(shè)[yi=WiTMi=[yi1，yi2，…，yit]]和[yT=WiTMT=[yT1，yT2，…，yTt]]是流形[Mi]和[MT]經(jīng)[Wi]投影后的低維子空間表示形式，流形距離可表示為：

式中：[Sk（yTj）]表示[yTj]在[yi]中的[k]近鄰，圖中[k]值取3，[d（yTj，Sk（yTj））]可通過(guò)解決下面的優(yōu)化問(wèn)題很容易地得到：

式中：[cs]為近鄰[Ssk（yTj）]對(duì)[yTj]的稀疏重建系數(shù)[13]，再利用最近鄰分類器進(jìn)行識(shí)別。

4 實(shí) 驗(yàn)

實(shí)驗(yàn)使用LFW[14]和AR[15]人臉數(shù)據(jù)庫(kù)對(duì)本文方法進(jìn)行評(píng)估，所有實(shí)驗(yàn)均在擁有3.00 GHz主頻、1 GB內(nèi)存、Windows XP SP3操作系統(tǒng)的個(gè)人PC機(jī)上完成，編程環(huán)境為Matlab 7.0。

4.1 數(shù)據(jù)庫(kù)

AR數(shù)據(jù)庫(kù)由126個(gè)人的正面人臉超過(guò)3 200幅彩色圖像組成：70個(gè)男性和56個(gè)女性，每個(gè)人有26幅不同的圖像，對(duì)于每個(gè)對(duì)象，間隔兩周在兩個(gè)不同會(huì)話采集圖像，每個(gè)會(huì)話由13幅圖像組成，臉部表情、光照和局部遮擋各有不同。通過(guò)預(yù)處理，獲得與眼睛位置手動(dòng)配準(zhǔn)的圖像，配準(zhǔn)之后，人臉圖像演變，然后調(diào)整大小為88[×]64像素，如圖1所示為AR人臉庫(kù)上三個(gè)對(duì)象的樣本圖像示例。

戶外標(biāo)記人臉（Labeled Face in Wild， LFW）數(shù)據(jù)集包含大街上光照不受約束的陌生人臉圖像的正面照，遮擋源包括眼鏡、帽子、頭發(fā)和放在臉上的手，除了遮擋，這些圖像也包含表情變化和姿勢(shì)變化，如圖2所示為L(zhǎng)FW人臉庫(kù)上的圖像示例。

4.2 識(shí)別結(jié)果

4.2.1 LFW人臉庫(kù)上的識(shí)別結(jié)果

在LFW人臉庫(kù)上選取每個(gè)對(duì)象不同遮擋源的5個(gè)圖像用于訓(xùn)練，剩下的圖像用于測(cè)試，并將其與幾種較為先進(jìn)的方法進(jìn)行比較，包括SIFT[2]，KLD?LGBP[8]，S?LNMF[3]和基于特征選擇的LBP（FS?LBP）[7]，各算法的參數(shù)設(shè)置分別參照各自所在的文獻(xiàn)。識(shí)別結(jié)果如表1所示。

從表1可以看出，利用各種遮擋源進(jìn)行訓(xùn)練，本文方法均取得了最高的識(shí)別率，表明本文方法選取的特征點(diǎn)在識(shí)別過(guò)程中發(fā)揮了重要作用。

4.2.2 AR人臉庫(kù)上的識(shí)別結(jié)果

實(shí)驗(yàn)在第一個(gè)會(huì)話中隨機(jī)選擇50個(gè)對(duì)象的中性和微笑表情（圖1（a）和（d））用于訓(xùn)練，分類器的圖庫(kù)集僅由中性圖像組成，代替使用整個(gè)訓(xùn)練集，將會(huì)話1和會(huì)話2中的兩類遮擋圖像（圖1（h）和（k））用于測(cè)試，將本文方法的識(shí)別結(jié)果與幾種較為先進(jìn)的方法進(jìn)行比較，包括SIFT[2]，KLD?LGBP[8]，S?LNMF[3]和FS?LBP[7]，各方法的參數(shù)設(shè)置分別參照各自所在的文獻(xiàn)，表2所示為會(huì)話1和會(huì)話2遮擋圖像的識(shí)別率。

從表2可以看出，所有方法都可以看出數(shù)據(jù)與會(huì)話變化的性能退化，本文方法性能退化可能是由于遮擋區(qū)域較大以及人臉輪廓有陰影，它們?cè)谳喞置鲌D像的人臉識(shí)別中對(duì)特征具有良好判別能力。然而，本文方法給出的結(jié)果較好，尤其對(duì)會(huì)話1的數(shù)據(jù)，最優(yōu)識(shí)別率可高達(dá)99%，平均識(shí)別率可高達(dá)92.5%，高出KLD?LGBP和S?LNMF方法2.5%。關(guān)于遮擋類型，本文方法、SF?LBP對(duì)太陽(yáng)鏡遮擋能表現(xiàn)出較好的性能，而S?LNMF和KLD?LGBP在圍巾遮擋的情況下給出的性能較好。

4.3 性能比較

實(shí)驗(yàn)記錄了幾種方法在AR庫(kù)上的執(zhí)行時(shí)間，包括訓(xùn)練總完成時(shí)間和測(cè)試單個(gè)樣本所耗時(shí)間，如表3所示。

從表3可以看出，相比其他幾種方法，本文方法的訓(xùn)練時(shí)間略高于SIFT及S?LNMF方法，因?yàn)镾IFT及S?LNMF方法特征分解矩陣的維度是[m×m，]在面部圖像中，面部特征的維度[n]通常遠(yuǎn)大于面部樣本的維度[m，]即[m?n，]由于這兩種方法無(wú)需對(duì)[n×n]維的密度矩陣進(jìn)行特征分解，所以可以在很大程度上降低訓(xùn)練階段的計(jì)算復(fù)雜度。本文方法識(shí)別一個(gè)樣本所耗時(shí)間明顯低于其他方法，通常情況下，訓(xùn)練過(guò)程是離線的，人們更關(guān)心在線的識(shí)別過(guò)程，由此可見(jiàn)本文方法在識(shí)別的實(shí)時(shí)性方面優(yōu)于其他幾種方法。

5 結(jié) 語(yǔ)

針對(duì)面部遮擋人臉識(shí)別問(wèn)題，本文提出了一種新穎的特征提取算法，利用共同向量范圍空間的投影矩陣進(jìn)行特征點(diǎn)的提取，像素點(diǎn)的重要性由投影矩陣列準(zhǔn)則決定，人臉圖像中的每個(gè)準(zhǔn)則對(duì)應(yīng)一個(gè)像素。從理論上說(shuō)明了像素點(diǎn)的重要性不會(huì)因?yàn)檫x取的基向量集合而改變。在AR和LFW人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，相比其他幾種較新的方法，本文方法不僅提升了識(shí)別率，并在一定程度上減少了識(shí)別所耗的時(shí)間，識(shí)別人臉時(shí)具有良好的實(shí)時(shí)性。

人臉識(shí)別不僅易受遮擋影響，還會(huì)受光照、姿態(tài)變化等影響，未來(lái)會(huì)將本文方法應(yīng)用于光照、姿態(tài)變化人臉數(shù)據(jù)庫(kù)上，如FERET、擴(kuò)展Yale B等，提高識(shí)別魯棒性。

參考文獻(xiàn)

[1] 皋軍，孫長(zhǎng)銀，王士同.具有模糊聚類功能的雙向二維無(wú)監(jiān)督特征提取方法[J].自動(dòng)化學(xué)報(bào)，2012，38（4）：549?562.

[2] 翟懿奎，甘俊英，李景文.基于彩色信息融合和同倫算法的遮擋魯棒人臉識(shí)別方法研究[J].信號(hào)處理，2012，27（11）：1762?1768.

[3] 史加榮，焦李成，尚凡華.不完全非負(fù)矩陣分解的加速算法[J].電子學(xué)報(bào)，2011，39（2）：291?295.

[4] YIN Q， TANG X， SUN J. An associate?predict model for face recognition [C]// Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2011： 497?504.

[5] CHEN W， GAO Y. Recognizing partially occluded faces from a single sample per class using string?based matching [C]// Proceedings of 2010 11th European Conference on Computer Vision. Greece： IEEE， 2010： 496?509.

[6] 蘇煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識(shí)別[J].軟件學(xué)報(bào)，2010，21（8）：1849?1862.

[7] MIN R， HADID A， DUGELAY J. Improving the recognition of faces occluded by facial accessories [C]// Proceedings of 2011 IEEE International Conference on Automatic Face Gesture Recognition and Workshops. Santa Barbara： IEEE， 2011： 442?447.

[8] ZHANG W， SHAN S， CHEN X， et al. Local gabor binary patterns based on Kullback?Leibler divergence for partially occluded face recognition [J]. IEEE Signal Processing Letters， 2007， 14（11）： 875?878.

[9] KATHIRVALAVAKUMAR T， VASANTHI J J B. Features reduction using wavelet and discriminative common vector and recognizing faces using RBF [J]. International Journal of Computer Applications， 2013， 74（5）： 40?46.

[10] WEN Y. An improved discriminative common vectors and support vector machine based face recognition approach [J]. Expert Systems with Applications， 2012， 39（4）： 4628?4632.

[11] CEVIKALP H. Semi?supervised discriminative common vector method for computer vision applications [J]. Neurocomputing， 2014， 12（9）： 289?297.

[12] YAN H， LU J， ZHOU X， et al. Multi?feature multi?manifold learning for single?sample face recognition [J]. Neurocomputing， 2014， 14（3）： 134?143.

[13] 丁繆，丁曉青，方馳.L_1 約束的三維人臉稀疏重建[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，52（5）：581?585.

[14] CHAN C H， TAHIR M A， KITTLER J， et al. Multiscale local phase quantization for robust component?based face recognition using kernel fusion of multiple descriptors [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（5）： 1164?1177.

[15] LU C Y， MIN H， GUI J， et al. Face recognition via weighted sparse representation [J]. Journal of Visual Communication and Image Representation， 2013， 24（2）： 111?116.

[16] BISWAS A， GHOSE M K. Expression invariant face recognition using DWT SIFT features [J]. International Journal of Computer Applications， 2014， 92（2）： 30?32.