基于奇異熵和隨機(jī)森林的人臉識別

全雪峰

摘要：提出了一種基于奇異熵與隨機(jī)森林的人臉識別方法。該方法以奇異熵來描述人臉特征。首先在整個人臉圖上進(jìn)行奇異值分解，應(yīng)用整體奇異熵提取人臉全局特征。然后將人臉圖像分成均勻子塊，在各子塊中進(jìn)行奇異值分解，應(yīng)用局部奇異熵提取人臉局部特征。之后將整體奇異熵和局部奇異熵融合形成最終分類特征。最后通過隨機(jī)森林分類器對其進(jìn)行分類。在Yale人臉庫上的實(shí)驗(yàn)表明，該方法對表情、光照具有魯棒性，且有較高的識別率和較短的識別時間。

關(guān)鍵詞：人臉識別；奇異值分解；奇異熵；隨機(jī)森林

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A

DOI： 10.3969/j.issn.1003-6970.2016.02.009

引言

人臉識別是指利用各種技術(shù)手段獲取人臉圖像并從中提取有效的特征信息，進(jìn)而借助已有的知識或經(jīng)驗(yàn)來判斷圖像中人的身份的一種技術(shù)。人臉識別技術(shù)可廣泛應(yīng)用于金融、考勤、公共安防、證件制作等領(lǐng)域，已成為當(dāng)前模式識別領(lǐng)域的一個研究熱點(diǎn)。

由于在實(shí)際應(yīng)用中人臉圖像的采集往往是在非受控條件下進(jìn)行的，這樣所獲得的圖像在尺寸、表情、角度、光照、遮擋等方面都有很多不同，因而能否提取出好的人臉特征和設(shè)計(jì)一個好的分類器成為人臉識別技術(shù)的關(guān)鍵。1991年Hong將矩陣奇異值分解（Singular Value Decomposition，SVD）引入人臉識別中，利用奇異值作為人臉識別特征，并指出奇異值向量對圖像噪音、光照條件變化具有良好的穩(wěn)定性等，但錯誤識別率較高（42.67%）。王蘊(yùn)紅等提出了一種基于奇異值分解和數(shù)據(jù)融合的人臉識別方法，在ORL人臉數(shù)據(jù)庫上的正確識別率達(dá)96%，但識別過程較煩瑣。甘俊英等將奇異值分解和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合進(jìn)行人臉識別，正確識別率達(dá)到96.5%-98.5%。李曉東等在文獻(xiàn)的基礎(chǔ)上提出了一種基于奇異值分解和支持向量機(jī)（Support Vector Machine，SVM）的人臉識別方法，進(jìn)一步提高了正確識別率。理論和實(shí)踐已證明，矩陣奇異值可以對圖像作出客觀反映。由于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)等分類器都需要對所有數(shù)據(jù)做詳盡的分析，而基于奇異值分解所得的是個高維數(shù)、大數(shù)據(jù)處理過程，因而必然需要大量的處理時間。隨機(jī)森林是一種比較新的機(jī)器學(xué)習(xí)模型，它在沒有顯著提高運(yùn)算量的前提下提高了預(yù)測精度。在多分類問題上，隨機(jī)森林的泛化能力明顯優(yōu)于支持向量機(jī)。本文結(jié)合奇異熵理論，提出一種基于局部和整體相結(jié)合奇異熵構(gòu)成人臉特征，利用隨機(jī)森林進(jìn)行分類的人臉識別方法。通過在Yale人臉數(shù)據(jù)庫上的驗(yàn)證表明了該方法的有效性。

1 奇異值分解和奇異熵

1.1 奇異值分解 定理1（SVD）：若，則存在兩個正交矩陣U=[u1，

成立。此處p=min（m，n），σ1≥σ2≥…≥σp≥0，σi（i=l，2，…，p）稱為矩陣A的奇異值。

奇異值反映了矩陣分解后各子空間所含信息的多少，在一定程度上代表了該矩陣的特征。奇異值對于矩陣元素的擾動變化不敏感，具有相對穩(wěn)定性，同時具有位移不變性、旋轉(zhuǎn)變不變性和鏡像變化不變性等重要性質(zhì)。這些特性表明，當(dāng)人臉圖像存在噪聲或是在不同條件下獲得時，奇異值可以作為人臉圖像一種有效的代數(shù)特征。

1.2 奇異熵

圖像矩陣的奇異值可以對圖像的信息量作出客觀反映，不同圖像的奇異值存在差異。為定量衡量差異大小，本文引入奇異熵概念，其定義式如下：

2 隨機(jī)森林

隨機(jī)森林是一種集成樹形分類器，由多個決策樹（h（x，θi），i=l，2，…）組成。其中h（x，θi）是用分類回歸樹CART算法構(gòu)建的沒有剪枝的分類決策樹，θi是獨(dú)立同分布的隨機(jī)向量，決定單棵樹的生長速度。在給定輸入向量x的情況下，每個決策樹分類器通過投票來決定最優(yōu)分類結(jié)果。

隨機(jī)森林一般構(gòu)造過程如下：

（l）利用自助法（bootstrap）重抽樣技術(shù)從原始樣本集中有放回地隨機(jī)抽取k個新的白助樣本集，以此形成一個分類器。

（2）每個白助樣本集生成單棵決策樹。在樹的每個節(jié)點(diǎn)處M個特征中隨機(jī)抽取m（m

（3）重復(fù)步驟（2），構(gòu)建k棵決策樹，形成隨機(jī)森林。

（4）根據(jù)每棵決策樹的投票結(jié)果，選出票數(shù)最多的一個分類。

節(jié)點(diǎn)不純度的度量方法是Gini準(zhǔn)則。設(shè)P（ωi）是節(jié)點(diǎn)n上屬于ωi類樣本個數(shù)占訓(xùn)練樣本總數(shù)的頻率，則Gini不純度表示為：

3 算法設(shè)計(jì)

3.1 圖像預(yù)處理 人臉數(shù)據(jù)庫或者采集到的圖像其大小不一，為提高正確識別率，對圖像進(jìn)行幾何歸一化，使人臉圖像中人眼位置處于同一水平坐標(biāo)軸上，并將圖像歸一化為64x85。

3.2 特征提取

在基于奇異值分解提取人臉特征算法中，如果只對整體圖像進(jìn)行奇異值分解，這樣得到的奇異值反映的是圖像的整體特征，缺乏對對細(xì)節(jié)的描述。為此，本文提出了一種基于整體與局部奇異值分解相結(jié)合的人臉特征提取算法。具體步驟如下：

stepl對整幅圖像進(jìn)行奇異值分解，得到該圖像的一個奇異值向量，截取該向量的前9個奇異值組成一個新的向量，利用公式（2）計(jì)算該圖像的整體奇異熵Eall；

step2將64x85的人臉圖像分成劃分為4x5共20個子塊，如圖1所示。對每一個子塊進(jìn)行奇異值分解，得到相應(yīng)的奇異值向量，每個向量截取前6個較大的奇異值，分別利用公式（2）計(jì)算奇異熵作為相應(yīng)子塊的局部奇異熵Ei（i=l，2，…，20）；

step3將整體奇異熵與局部奇異熵組合，構(gòu)成一個包含21個奇異熵的奇異熵向量E=[Eall，E1，E2，…，E20]，這樣就完成了人臉特征提取。

3.3 分類器設(shè)計(jì)

在提取出人臉特征之后就可以利用分類器進(jìn)行識別了。本文采用Matlab2013a中隨機(jī)森林工具箱函數(shù)TreeBagger（）創(chuàng)建一個隨機(jī)森林分類器，利用predict（）函數(shù)對測試集數(shù)據(jù)進(jìn)行預(yù)測。

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)是在Dell Inspiron 570臺式機(jī)上進(jìn)行的，采用Matlab2013a作為仿真實(shí)驗(yàn)平臺，實(shí)驗(yàn)對象取白Yale人臉數(shù)據(jù)庫。該數(shù)據(jù)庫包含15人、每人II幅、大小為320x243像素、灰度級為256、共165幅人臉圖像。這些圖像是在不同光照條件、不同姿態(tài)和不同表情情況下拍攝的。實(shí)驗(yàn)之前按3.1節(jié)所述對圖像做歸一化預(yù)處理。經(jīng)過預(yù)處理后的部分圖像如圖2所示。

實(shí)驗(yàn)時取每人的前6幅圖像構(gòu)成構(gòu)成訓(xùn)練集，后5幅圖像構(gòu)成測試集，訓(xùn)練集和測試集中的樣本不重疊。經(jīng)過對每幅圖像進(jìn)行整體和局部奇異值分解、計(jì)算奇異熵、整體和局部奇異熵融合等步驟后構(gòu)成人臉特征庫，用于訓(xùn)練和測試。

表l是在選取不同奇異熵組合情況下的對比實(shí)驗(yàn)。方式l是選取整體奇異熵和全部20個子塊的奇異熵組成人臉特征；方式2是僅由20個子塊的奇異熵組成人臉特征；方式3是選取整體奇異熵和5、6、7、8、9、10、II、12、13、14、15、16子塊的奇異熵組成人臉特征；方式4是僅由5、6、7、8、9、10、II、12、13、14、15、16子塊的奇異熵組成人臉特征。

由表l可以看出，當(dāng)選取整體奇異熵和全部20個子塊的奇異熵組成人臉特征時的正確識別率最高，達(dá)到90.6%。其它方式的正確識別率訓(xùn)練時間雖然稍短，但它們的正確識別率顯著降低。這說明，在利用奇異值分解提取人瞼特征時，必須同時考慮整體和局部特征的提取。

圖3所示是在選取方式1情況下選取不同奇異值個數(shù)計(jì)算奇異熵時的正確識別率。

注：線1：整體和局部奇異值個數(shù)同時變化；線2：固定整體奇異值個數(shù)為9。

由圖3可以看出，隨著參與計(jì)算奇異值個數(shù)的增加，正確識別率也迅速增大，但隨后逐漸降低，趨于平緩。在整體奇異值個數(shù)取9，局部奇異值個數(shù)取6時，能達(dá)到最高識別率90.6%。本文以下實(shí)驗(yàn)均取特征選取方式1、整體奇異值個數(shù)9、局部奇異值個數(shù)6。

在隨機(jī)森林算法中，決策樹的個數(shù)K影響著分類器的性能。當(dāng)K值較小時，隨機(jī)森林的分類誤差大、性能也比較差。但是構(gòu)建隨機(jī)森林的復(fù)雜度與K值成正比，若K值過大，則需要花費(fèi)較多的時間來構(gòu)建隨機(jī)森林。圖4所示是不同決策樹個數(shù)對正確識別率的影響。

由圖4可以看出，在決策樹個數(shù)小于150時，正確識別率隨決策樹個數(shù)快速增大。當(dāng)決策樹個數(shù)增加到275個時，正確識別率達(dá)到最高值，繼續(xù)增加決策樹個數(shù)，正確識別率保持不變。本文選擇決策樹個數(shù)為300。

此外，本文還對不同算法的識別率進(jìn)行了比較，如表2所示。其中，算法1采用奇異熵做特征，利用SVM進(jìn)行分類；算法2直接用奇異值做特征，采用SVM進(jìn)行分類；算法3以奇異值做特征，用隨機(jī)森林進(jìn)行分類。

從表2可以看出，同等條件下，無論用SVM還是用隨機(jī)森林做分類器，基于奇異熵的人臉識別，識別率明顯高于基于奇異值的人臉識別。從分類器看，在以奇異熵做特征時，SVM和隨機(jī)森林的識別率相當(dāng)；而以奇異值做特征時，SVM的識別率高于隨機(jī)森林的識別率。

5 結(jié)束語

本文采用奇異值分解和奇異熵來提取人臉特征，并將整體奇異熵和局部奇異熵進(jìn)行融合形成最后分類特征，用隨機(jī)森林分類器對其進(jìn)行分類。在Yale人臉庫上的實(shí)驗(yàn)表明，本方法能夠快速有效提取人臉特征，對表情、光照等具有魯棒性且有較高的識別率。