基于自商圖像和隨機(jī)投影的人臉識(shí)別方法*

曹 潔, 朱晶晶, 李 偉, 王進(jìn)花

(1.蘭州理工大學(xué) 計(jì)算機(jī)與通信學(xué)院,甘肅 蘭州 730050；2.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院,甘肅 蘭州 730050)

0 引 言

近年來(lái)，人臉識(shí)別因其友好性、非接觸性成為最受人們關(guān)注的生物特征識(shí)別技術(shù)之一，在軍事、經(jīng)濟(jì)、生活等領(lǐng)域發(fā)揮了重要的作用。由于環(huán)境的復(fù)雜多變，人臉識(shí)別系統(tǒng)受到各種自然及人為因素的影響，包括光照變化、姿態(tài)、表情及遮擋等。在諸多的干擾中，光照變化對(duì)人臉識(shí)別的影響尤為顯著，為了解決光照問(wèn)題，研究學(xué)者提出了諸多處理方法，大致可以分為三類(lèi)[1]：光照歸一化法、光照建模法以及光照不變特征提取法。光照歸一化利用基本圖像處理和信號(hào)處理技術(shù)對(duì)光照?qǐng)D像預(yù)處理，如直方圖均衡化(histogram equalization，HE)[2]，伽馬校正，同態(tài)濾波等。盡管此類(lèi)方法可以消除一定程度的光照影響，但當(dāng)光照較為復(fù)雜時(shí)，處理效果難以令人滿(mǎn)意。光照建模法通過(guò)不同光照下的人臉圖像建立一個(gè)低維子空間來(lái)描述人臉，由于需要完備的訓(xùn)練樣本集以及計(jì)算復(fù)雜度較高，限制了該類(lèi)方法的應(yīng)用。光照不變特征提取是指從圖像中提取出受光照影響較小的特征表述人臉。目前光照人臉識(shí)別中的特征主要分為兩類(lèi)：一類(lèi)著重研究魯棒的視覺(jué)特征描述方法，如Gabor小波變換和LBP；另一類(lèi)基于Retinex模型，將人臉圖像視作光照分量和反射分量的乘積，通過(guò)去除處于低頻的光照成分來(lái)獲取人臉的內(nèi)在本質(zhì)，單尺度Retinex[3](single scale retinex，SSR)、多尺度Retinex(multi-scale retinex，MSR)、LTV(logarithmic total variation)[4]等均是基于此模型的。

自商圖像(self quotient image，SQI)[5]法通過(guò)將原圖像與平滑后的圖像作商來(lái)消除人臉圖像中的光照分量，因其簡(jiǎn)單及有效性成為光照人臉識(shí)別中的熱點(diǎn)，基于此方法的改進(jìn)也很多。文獻(xiàn)[6]提出了一種動(dòng)態(tài)形態(tài)學(xué)商圖像方法，采用數(shù)學(xué)形態(tài)學(xué)操作來(lái)平滑原始圖像以此估計(jì)光照亮度。但商圖像對(duì)訓(xùn)練樣本集的依賴(lài)很大，當(dāng)訓(xùn)練樣本較少時(shí)，識(shí)別性能隨之下降。文獻(xiàn)[7]將反銳化掩膜濾波與自商圖像結(jié)合，先將原圖像經(jīng)過(guò)反銳化濾波處理，然后用SQI分離反射系數(shù)和光照分量。文獻(xiàn)[8]通過(guò)多尺度下采樣方式生成SQI，在提取邊緣和細(xì)節(jié)的同時(shí)，降低計(jì)算復(fù)雜度。文獻(xiàn)[9]將離散小波變換與SQI結(jié)合，先使用小波分析將人臉圖像分成4個(gè)子帶，增強(qiáng)垂直、水平和對(duì)角線邊緣，然后利用直方圖截?cái)嗉夹g(shù)去除非常亮和非常暗的區(qū)域，提取SQI特征。文獻(xiàn)[10]利用SQI對(duì)人臉圖像進(jìn)行處理，提取多區(qū)域LBP特征進(jìn)行融合作為光照不變特征，來(lái)提高特征的魯棒性。文獻(xiàn)[11]設(shè)計(jì)了邊緣弱化引導(dǎo)濾波器，利用邊緣感知系數(shù)感知圖像的邊緣將圖像自適應(yīng)平滑，保留盡可能多的面部信息。上述所提到的方法均能在一定程度上去除光照影響，然而這些基于商圖像的方法，都以去除光照分量以提取光照不變特征為目的，忽略了對(duì)特征進(jìn)行選擇，無(wú)法提高類(lèi)別之間的鑒別性。

本文用SQI對(duì)圖像進(jìn)行預(yù)處理，利用線性判別分析構(gòu)建初始樣本空間，通過(guò)隨機(jī)投影將樣本投影至多個(gè)不同的子空間，以此豐富樣本特征的完備性和鑒別性，通過(guò)最近鄰分類(lèi)器對(duì)樣本進(jìn)行分類(lèi)，從而實(shí)現(xiàn)在光照變化情況下更加穩(wěn)定和魯棒的人臉識(shí)別。

1 算法的研究與實(shí)現(xiàn)

1.1 結(jié)合SQI和LDA的初始樣本空間構(gòu)造

Retinex模型將一幅圖像I分為光照分量L和反射分量R兩個(gè)部分，三者之間的關(guān)系可以表示為：I=L×R。其中，R對(duì)應(yīng)高頻分量(如邊緣和紋理)，為圖像的本質(zhì)特征，取決于物體的固有反射率和表面法向量；L對(duì)應(yīng)低頻分量，受外界環(huán)境影響。文獻(xiàn)[5]通過(guò)式(1)得到的自商圖像

(1)

圖1為不同光照下的人臉圖像與其對(duì)應(yīng)的自商圖像，對(duì)比可以發(fā)現(xiàn)，經(jīng)過(guò)SQI處理后，光照對(duì)人臉圖像的影響顯著消除，人臉圖像在不同光照下呈現(xiàn)出一定的穩(wěn)定性，但處理后的圖像整體亮度更加均勻。在去除光照分量時(shí)，SQI保留了相似度較高的陰影邊緣，導(dǎo)致處理后的圖像之間的相似度較高。

圖1 SQI處理前后的圖像

通過(guò)數(shù)據(jù)分析SQI方法處理后的不同個(gè)體圖像及其相似度，可以發(fā)現(xiàn)，不同類(lèi)樣本之間的相似度較高，均大于90 %?；赟QI的方法能夠很好地去除人臉圖像中的光照分量，與此同時(shí)也增加了圖像之間的相似性，這導(dǎo)致不同類(lèi)別之間的鑒別性減少，在一定程度上，給圖像的正確分類(lèi)帶來(lái)了不利影響。

作為分類(lèi)前的預(yù)處理，特征選擇不僅可以去除對(duì)識(shí)別作用不大的冗余信息，降低數(shù)據(jù)的維數(shù)，提高運(yùn)算效率，還能夠增加不同類(lèi)別間的鑒別性，從而實(shí)現(xiàn)更好的分類(lèi)。線性判別分析(linear discriminat analysis，LDA)[12]作為特征選擇的一種方法，通過(guò)最大化類(lèi)間散度和類(lèi)內(nèi)散度的比值來(lái)尋找最優(yōu)的投影平面，使得樣本在該空間具有更好的鑒別性和可分離性。LDA通過(guò)Fisher準(zhǔn)則找到最優(yōu)投影，F(xiàn)isher準(zhǔn)則函數(shù)為

(2)

式中Sb和Sw分別為類(lèi)間散度矩陣和類(lèi)內(nèi)散度矩陣

(3)

(4)

利用特征分解來(lái)求解最佳投影矩陣Wopt，當(dāng)類(lèi)內(nèi)散度矩陣Sw為非奇異時(shí)，Wopt滿(mǎn)足下式的解

SbWi=λiSwWi

(5)

因此，本文選擇利用LDA對(duì)自商圖像進(jìn)行特征選擇，通過(guò)尋找最優(yōu)投影矩陣，最大化類(lèi)間散度和類(lèi)內(nèi)散度之比，來(lái)構(gòu)建初始樣本空間。

經(jīng)過(guò)上述處理之后，得到的訓(xùn)練樣本特征用Xopt表示，Xopt=[X1,X2,…,Xc]∈Rp×l，其中，Xi=[xi,1,xi,2,…,xi,n]∈Rp×n為第ci類(lèi)樣本的特征，ci=1,2,…c，p為特征維數(shù)，訓(xùn)練樣本總數(shù)為l=c×n。

1.2 迭代隨機(jī)投影和最近鄰結(jié)合的分類(lèi)算法

為了充分挖掘樣本特征的潛在信息，采用迭代隨機(jī)投影的方法來(lái)生成不同的樣本子空間，并用最近鄰分類(lèi)器進(jìn)行分類(lèi)。隨機(jī)投影(random projection，RP)[13]在降低數(shù)據(jù)維數(shù)的同時(shí)，能夠保持?jǐn)?shù)據(jù)的結(jié)構(gòu)特性，而且投影矩陣隨機(jī)產(chǎn)生，獨(dú)立于原始數(shù)據(jù)樣本，是降維和特征提取的有效手段。隨機(jī)投影的理論基礎(chǔ)為JL(Johnson-Lindenstrauss)引理。

JL引理表示任意n的維樣本集可以通過(guò)隨機(jī)矩陣R∈Rd×n，映射至d維子空間。文獻(xiàn)[14]指出如果R是標(biāo)準(zhǔn)正交化矩陣，經(jīng)隨機(jī)投影變換后的數(shù)據(jù)可以保留原始數(shù)據(jù)的統(tǒng)計(jì)特性。將訓(xùn)練樣本特征投影到各個(gè)投影空間，由于隨機(jī)投影后的樣本能夠保持原始樣本間的關(guān)系，所以,仍然以歐氏距離作為分類(lèi)的標(biāo)準(zhǔn)。本文利用文獻(xiàn)[14]的方法構(gòu)造隨機(jī)投影矩陣。設(shè)置迭代次數(shù)的最大值為T(mén)m，Tm≥2，定義第T次投影的隨機(jī)矩陣為RT，訓(xùn)練樣本Xopt經(jīng)RT投影后對(duì)應(yīng)的特征為XT

XT=RTXopt=[1,2,…,c]

(6)

YT=RTYopt

(7)

計(jì)算測(cè)試樣本和訓(xùn)練樣本之間的歐氏距離，最小歐式距離對(duì)應(yīng)的類(lèi)別即為測(cè)試樣本所屬的類(lèi)。如兩次投影后，測(cè)試樣本所屬為同一類(lèi)，即判定測(cè)試樣本為此類(lèi)；否則將測(cè)試樣本劃分為與其歐氏距離最小的樣本所屬的類(lèi)。

1.3 算法實(shí)現(xiàn)

1)采用SQI對(duì)人臉圖像進(jìn)行光照歸一化處理，得到訓(xùn)練樣本X和測(cè)試樣本Y；

2)訓(xùn)練樣X(jué)本和測(cè)試樣本Y均由LDA最優(yōu)化得到Xopt和Yopt；

3)設(shè)置最大迭代次數(shù)Tm，初始迭代值T=1，類(lèi)別C0=0；

4)構(gòu)造隨機(jī)矩陣RT，訓(xùn)練樣本集和測(cè)試樣本集分別由式(6)和式(7)得到XT和YT；

5)定義第T次迭代投影時(shí)，測(cè)試樣本和訓(xùn)練樣本之間的歐氏距離為Di(YT,i)=‖YT-i‖2,i=1,2,…,c，定義DT為歐氏距離最小的值，為最小距離DT對(duì)應(yīng)的訓(xùn)練樣本的類(lèi)別；

6)如果CT=CT-1或者T=Tm，迭代結(jié)束，輸出樣本Y的類(lèi)別為CT；否則,T=T+1，返回步驟(4)，進(jìn)行下一次隨機(jī)投影。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 人臉庫(kù)說(shuō)明

Yale B[15]人臉庫(kù)包含10個(gè)人臉的圖像，每個(gè)人有9種不同的姿勢(shì)，每個(gè)姿勢(shì)下有64種不同的光照條件。根據(jù)光照和相機(jī)之間的角度θ，這些圖像可分為5個(gè)子集：子集1(0°<θ<12°)，子集2(13°<θ<25°)，子集3(26°<θ<50°)，子集4(51°<θ<77°)，子集5(78°<θ<90°)。在實(shí)驗(yàn)中選取正面人臉圖像作為實(shí)驗(yàn)集，每人64張包含光照變化的圖像，每張人臉圖像都被裁剪為192像素×168像素大小。

AR[16]人臉庫(kù)包含126個(gè)人，包含表情變化、光照變化以及遮擋等共4 000余張圖像。在實(shí)驗(yàn)中選取部分圖像作為實(shí)驗(yàn)集，共有100個(gè)人，每人14張包含表情及光照變化的圖像，每張人臉圖像都被裁剪為120像素×165像素大小。

實(shí)驗(yàn)中設(shè)置的最大迭代次數(shù)Tm=5。為了評(píng)估算法的性能，本文實(shí)驗(yàn)對(duì)比了基于Retinex理論的方法(SSR[3]，LTV[4])以及基于商圖像的方法(SQI[5]，MQI[6])。為了更好地評(píng)估算法性能，實(shí)驗(yàn)對(duì)比了兩種常見(jiàn)的光照處理方法(HE[2]和LT[17])，以下實(shí)驗(yàn)均選擇以歐氏距離為分類(lèi)標(biāo)準(zhǔn)的最近鄰分類(lèi)器進(jìn)行分類(lèi)。所有實(shí)驗(yàn)均在Intel Core I5，2.6 GHz CPU，4G RAM，Windows 7操作系統(tǒng)的計(jì)算機(jī)上進(jìn)行，采用MATLAB R2014a實(shí)現(xiàn)仿真測(cè)試。

2.2 Yale B庫(kù)上的實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中選取子集1作為訓(xùn)練樣本集，其余的幾個(gè)子集作為測(cè)試集。圖2為不同光照條件下的原始圖像與采用不同方法處理之后的圖像，從圖中可以看出，HE和LT在非極端光照下可以取得較好的效果，當(dāng)光照條件較為惡劣時(shí)，處理效果不佳；SSR和LTV可以處理極端光照，但處理后的圖片損失了很多細(xì)節(jié)信息；MQI，SQI對(duì)人臉細(xì)節(jié)信息保留較好，但處理后的圖片包含較多的陰影，容易對(duì)識(shí)別的準(zhǔn)確性產(chǎn)生不良的影響。

圖2 原始圖像及不同方法處理后結(jié)果

表1為不同算法在Yale B人臉庫(kù)中不同子集的識(shí)別率。在子集2中，由于光照相對(duì)均勻的，光照變化對(duì)人臉識(shí)別的影響不是很大，各個(gè)算法的識(shí)別率均很高。隨著光照惡劣程度的加劇，不同算法處理光照的能力顯示出差別，其中,HE和LT的識(shí)別率下降明顯高于其他幾種算法。

表1 Yale B庫(kù)上的識(shí)別率 %

基于商圖像的方法在極端光照下，識(shí)別準(zhǔn)確率能夠保持在90 %以上。本文算法結(jié)合LDA和SQI構(gòu)造初始樣本空間，將類(lèi)間散度和類(lèi)內(nèi)散度之比最大化，使樣本間的鑒別性增加，具有良好的可分離性，更易分類(lèi)。即使在光照最為惡劣的子集5中，本文算法的識(shí)別率高于SQI算法6.6 %，因此,在不同光照的子集下識(shí)別率均高于其他算法。

2.3 AR庫(kù)上的實(shí)驗(yàn)結(jié)果與分析

AR庫(kù)上，隨機(jī)選取每人2～7張圖片作為訓(xùn)練樣本，剩余圖片作為測(cè)試樣本進(jìn)行實(shí)驗(yàn)。AR人臉庫(kù)中樣本的類(lèi)數(shù)相對(duì)較多，如果特征之間的鑒別性不夠強(qiáng)，那么產(chǎn)生錯(cuò)誤分類(lèi)的概率會(huì)增大，這種情況下，選取具有鑒別性的特征對(duì)分類(lèi)的準(zhǔn)確性來(lái)說(shuō)尤為重要。

圖3為不同算法在AR子集上的識(shí)別率。本文方法通過(guò)LDA和隨機(jī)投影，樣本的鑒別性增加，從而使樣本分類(lèi)的準(zhǔn)確性提高。因此，在相同訓(xùn)練樣本數(shù)的前提下，本文算法的識(shí)別率高于其他對(duì)比算法。

在樣本分類(lèi)前，提取到完備的樣本特征對(duì)分類(lèi)的準(zhǔn)確率有重要的作用。隨著訓(xùn)練樣本數(shù)的增加，特征的完備性增加，各個(gè)算法的識(shí)別率均有上升的趨勢(shì)。在訓(xùn)練樣本較少時(shí)，由于不能充分提取具有足夠鑒別性的樣本特征，對(duì)比的幾種算法識(shí)別率均不高。而本文算法采用多次隨機(jī)投影，挖掘出樣本的潛在本質(zhì)特征，因此,當(dāng)訓(xùn)練樣本較少時(shí)，本文算法依然能取得較高的識(shí)別率。

圖3 AR人臉庫(kù)上的識(shí)別率

3 結(jié)束語(yǔ)

自商圖像算法能夠很好地處理光照，但處理后的圖像間相似性較高。本文采用自商圖像和隨機(jī)投影相結(jié)合的方法，利用多次隨機(jī)投影將特征樣本投影到各個(gè)不同的子空間，充分挖掘樣本的潛在信息，在提取光照不變量的用時(shí)，增加了樣本之間的鑒別性。實(shí)驗(yàn)結(jié)果表明：與其他經(jīng)典光照處理方法相比，本文方法在不同的人臉庫(kù)上均能取得不錯(cuò)的識(shí)別率。即使在訓(xùn)練樣本較少的情況下，經(jīng)過(guò)多次隨機(jī)投影，依然能選擇出具有鑒別性的特征，從而取得更高的識(shí)別率。