基于特征加權(quán)模塊雙方向二維主成分分析的人臉識(shí)別

顧播宇，孫俊喜，李洪祚，劉紅喜，劉廣文

（長(zhǎng)春理工大學(xué)電子信息工程學(xué)院，長(zhǎng)春130022）

0 引 言

目前，基于學(xué)習(xí)的統(tǒng)計(jì)識(shí)別已成為人臉識(shí)別的主流方法，然而統(tǒng)計(jì)識(shí)別面對(duì)的特征維數(shù)往往較高，導(dǎo)致算法的時(shí)間復(fù)雜度和空間復(fù)雜度都大大增加，而且高維特征空間的參數(shù)估計(jì)也變得困難，因此，人們常常需要對(duì)原始高維特征集合進(jìn)行特征提取或特征變換以便獲得有效的人臉識(shí)別特征［1－2］。作為最小均方誤差意義上的數(shù)據(jù)最優(yōu)特征變換方法——主成分分析（Principal component analysis，PCA）被廣泛應(yīng)用于人臉識(shí)別領(lǐng)域［3－5］。但是，PCA對(duì)表情和姿態(tài)等條件變化缺乏穩(wěn)健性，為此，Gottumukkal等［6］提出模塊PCA（Modular PCA）人臉識(shí)別算法，該算法將圖像分為若干子圖像塊并分別進(jìn)行PCA特征提取，獲得了良好的效果。在特征提取過(guò)程中，PCA算法需要將圖像矩陣轉(zhuǎn)化成維數(shù)較高的圖像向量，計(jì)算量龐大，為此，Yang等［7］提出2DPCA（Twodimensional PCA）方法，該方法直接利用圖像矩陣，從而構(gòu)造出維數(shù)較低的協(xié)方差矩陣，降低了計(jì)算強(qiáng)度并提高了穩(wěn)健性，文獻(xiàn)［8］將其拓展，提出了模塊2DPCA，進(jìn)一步提高了識(shí)別率。

隨后，許多一維算法被擴(kuò)展至二維，目前，二維方法已成為研究的熱點(diǎn)。文獻(xiàn)［9］指出，2DPCA可看作按行（或列）分塊的模塊PCA，而為了進(jìn)一步降低圖像維數(shù)并加快識(shí)別速度，Zhang等［10］提出（2D）2PCA，該算法在行列兩個(gè)方向上對(duì)圖像進(jìn)行2DPCA特征提取。在此基礎(chǔ)上，針對(duì)單樣本條件下的人臉識(shí)別問(wèn)題，文獻(xiàn)［11］于2010年提出將加權(quán)和分塊與（2D）2PCA算法相結(jié)合的MW（2D）2PCA算法，該算法對(duì)各投影軸賦予不同權(quán)值，從而提高了穩(wěn)健性。然而，在模塊（2D）2PCA算法中，各子圖像塊對(duì)識(shí)別結(jié)果的貢獻(xiàn)程度被認(rèn)為是等價(jià)的?？紤]到人類(lèi)常常能夠根據(jù)某一具有代表性的物理特征（如眼睛、鼻子、嘴等）來(lái)進(jìn)一步辨識(shí)人臉［12］，對(duì)于同一人臉圖像，其不同的局部特征對(duì)最終識(shí)別結(jié)果的貢獻(xiàn)程度應(yīng)不相同。PCA的本質(zhì)是一種數(shù)據(jù)重組變換，而人臉圖像中對(duì)識(shí)別貢獻(xiàn)較大的物理空間特征，在變換過(guò)程中應(yīng)以某種抽象形式在特征空間中得到體現(xiàn)。因此，通過(guò)貢獻(xiàn)程度對(duì)不同子圖像塊分配不同權(quán)重應(yīng)是提升穩(wěn)健性的有效方法。

基于此，本文提出了基于特征加權(quán)模塊（2D）2PCA的人臉識(shí)別算法，該算法首先對(duì)圖像進(jìn)行分塊并提取模塊（2D）2PCA特征，再根據(jù)人臉圖像的各部分在特征空間中的信息比重進(jìn)行特征加權(quán)，最后通過(guò)加權(quán)距離完成人臉?lè)诸?lèi)。

1 模塊（2D）2 PCA人臉識(shí)別算法

1.1 訓(xùn)練過(guò)程

若訓(xùn)練樣本數(shù)為p個(gè)，將每個(gè)樣本分為m×n個(gè)子圖像塊，則樣本空間中的某一樣本可表示為：

樣本空間I中共含p×m×n個(gè)圖像矩陣，若圖像分辨率為M×N，則每個(gè)圖像矩陣大小為M／m×N／n。

樣本空間均值可表示為：

樣本空間中任意圖像矩陣Il（l＝ijk）及均值μ可分別表示為由列向量或行向量所構(gòu)成的形式：

通過(guò)樣本均值對(duì)所有圖像向量進(jìn)行中心化，并分別按行列兩個(gè)方向計(jì)算樣本空間的協(xié)方差矩陣：

計(jì)算列方向協(xié)方差矩陣Ccol的全部特征值λcol＝diag｛λcol，1，λcol，2，…，λcol，h｝，將特征值按降序排列，選取前σ個(gè)（σ≤h）大于零的特征值所對(duì)應(yīng)的單位正交特征向量構(gòu)成特征向量組Ecol＝｛Ecol，1，Ecol，2，…，Ecol，σ｝，θ確定如下：

式中：θ為預(yù)先設(shè)置的閾值，當(dāng)θ≈0.9時(shí)效果最佳。

同樣，選取Crow的δ（δ≤g）個(gè)特征值，得到特征向量組Erow＝｛Erow，1，Erow，2，…，Erow，δ｝。每個(gè)特征向量即為特征空間中的一個(gè)投影軸。通過(guò)Ecol和Erow，將第i個(gè)樣本的第jk塊向特征空間中投影：

1.2 分類(lèi)過(guò)程

任意測(cè)試樣本的第jk個(gè)子圖像塊，可由一圖像矩陣Itest，jk表示，將其由樣本空間向特征空間投影：

在特征空間中，計(jì)算測(cè)試樣本與第i個(gè)訓(xùn)練樣本的距離：

式中：‖·‖為Frobenius范數(shù)。

與測(cè)試樣本距離最小的訓(xùn)練樣本所屬類(lèi)別ρ即為識(shí)別結(jié)果：

2 特征加權(quán)模塊（2D）2 PCA

2.1 特征加權(quán)

首先對(duì)樣本空間中每一圖像矩陣進(jìn)行中心化：

將每個(gè)中心化圖像矩陣看作一個(gè)由r維隨機(jī)變量構(gòu)成的列向量，r＝M／m×N／n。所有中心化圖像向量構(gòu)成中心化樣本集Z，而每個(gè)隨機(jī)變量可看作一個(gè)p×m×n維行向量，因此Z可看作所有p ×m×n個(gè)圖像向量的集合，同時(shí)，也可將其看作所有r個(gè)隨機(jī)變量向量的集合：

式中：Zijk為第i個(gè)訓(xùn)練樣本中第jk個(gè)子圖像塊的中心化圖像向量；Yq為第q個(gè)隨機(jī)變量向量。

通過(guò)所有隨機(jī)變量的統(tǒng)計(jì)信息計(jì)算訓(xùn)練樣本集的協(xié)方差矩陣：

計(jì)算V的所有特征值ε＝｛ε1，ε2，…，εpmn｝及其對(duì)應(yīng)的特征向量組e＝｛e1，e2，…，epmn｝。

特征值表示特征空間中，圖像向量在其對(duì)應(yīng)特征向量方向上的形變程度（即能量大?。ㄟ^(guò)特征值可計(jì)算訓(xùn)練樣本集中第l個(gè)圖像向量在特征空間中的信息比重：

式中：etl為第t個(gè)特征向量的第l個(gè)元素；vll為協(xié)方差矩陣V對(duì)角線上的相應(yīng)元素。

在樣本空間中，人類(lèi)可根據(jù)人臉圖像某一部分具有代表性的物理特征進(jìn)行人臉辨識(shí)。而特征空間中，對(duì)于某一人臉圖像不同子圖像塊的投影，其抽象特征同樣體現(xiàn)出不同的信息比重，信息比重越大，則其對(duì)識(shí)別的貢獻(xiàn)程度越高。

特征加權(quán)分配是將每一子圖像塊在整個(gè)圖像中所占的信息比重量化為權(quán)重。在樣本i中，對(duì)m×n個(gè)子圖像塊進(jìn)行權(quán)重歸一化處理，使其滿(mǎn)足：

則第i個(gè)訓(xùn)練樣本中第jk塊的權(quán)重為

2.2 加權(quán)距離

將訓(xùn)練樣本和測(cè)試樣本分別向模塊2DPCA特征空間投影，并計(jì)算測(cè)試樣本與第i個(gè)訓(xùn)練樣本在第jk個(gè)子圖像塊上的距離：

將測(cè)試樣本與第i個(gè)訓(xùn)練樣本相應(yīng)各子圖像塊的權(quán)重與距離相乘，得到加權(quán)距離矩陣：

將加權(quán)距離矩陣各元素相加，可得測(cè)試樣本與該訓(xùn)練樣本的加權(quán)距離：

通過(guò)最近鄰分類(lèi)進(jìn)行識(shí)別，將測(cè)試樣本歸為與其加權(quán)距離最近的測(cè)試樣本所屬類(lèi)別ρ：

3 試驗(yàn)結(jié)果及分析

試驗(yàn)采用ORL人臉數(shù)據(jù)庫(kù)對(duì)本文算法性能進(jìn)行測(cè)試。圖1為該庫(kù)中來(lái)自某一對(duì)象的部分人臉圖像。ORL人臉庫(kù)包含400幅分辨率為92× 112的灰度圖像，來(lái)自40個(gè)具有不同性別、種族、年齡的對(duì)象，對(duì)每人采集10幅不同表情和姿態(tài)的人臉圖像，其人臉深度旋轉(zhuǎn)和平面旋轉(zhuǎn)達(dá)20%，尺度變化達(dá)10%。將該數(shù)據(jù)庫(kù)分為40類(lèi)，每類(lèi)訓(xùn)練及測(cè)試樣本總和為10幅。試驗(yàn)中未對(duì)圖像進(jìn)行任何預(yù)處理。

圖1 ORL人臉庫(kù)中部分圖像Fig.1 Images from ORL database

3.1 本文算法與模塊（2D）2 PCA算法性能對(duì)比

圖2為ORL人臉庫(kù)中的一幅測(cè)試樣本分別通過(guò)傳統(tǒng)模塊（2D）2PCA算法和本文算法的識(shí)別結(jié)果。試驗(yàn)中，將樣本分為2×2個(gè)46×56大小的子圖像塊，并由式（9）～（13）計(jì)算各子圖像塊的特征權(quán)重，圖2（c）為訓(xùn)練樣本；（d）中參數(shù)為訓(xùn)練樣本各子圖像塊所對(duì)應(yīng)的權(quán)重系數(shù)。

圖2 某一測(cè)試樣本的識(shí)別結(jié)果對(duì)比Fig.2 Result comparison of a test sample

如圖2所示，測(cè)試樣本的姿態(tài)變化以及圖2（b）和（c）中兩個(gè)對(duì)象較為相近的外貌特征，共同導(dǎo)致傳統(tǒng)模塊（2D）2PCA識(shí)別錯(cuò)誤。而本文算法通過(guò)細(xì)微調(diào)整各塊的特征權(quán)重，強(qiáng)調(diào)了圖像的局部差異，并降低形變?cè)斐傻母蓴_，縮小測(cè)試樣本與正確對(duì)象的距離，使其被正確分類(lèi)。

在ORL人臉庫(kù)中統(tǒng)計(jì)本文算法在選擇不同投影軸數(shù)量（1～12個(gè)）時(shí)的識(shí)別率，并與傳統(tǒng)模塊（2D）2PCA進(jìn)行對(duì)比，其結(jié)果如圖3所示，坐標(biāo)橫軸上的ALL表示選取全部大于零的特征值對(duì)應(yīng)的特征向量作為投影軸。試驗(yàn)中從每類(lèi)中隨機(jī)選擇6幅圖像構(gòu)成訓(xùn)練樣本集，其余用作測(cè)試，識(shí)別率為重復(fù)10次試驗(yàn)的平均結(jié)果。

圖3中，兩種算法的識(shí)別率均隨投影軸數(shù)量的增加呈上升趨勢(shì)，當(dāng)投影軸增加至4個(gè)以后，識(shí)別率趨于穩(wěn)定，在投影軸數(shù)量為6時(shí)識(shí)別率達(dá)到最高，此時(shí)，傳統(tǒng)模塊（2D）2PCA的識(shí)別率為96.06%，而本文算法可達(dá)96.82%，式（4）中的閾值θ＝0.904。

圖3 兩種算法的識(shí)別率對(duì)比Fig.3 Comparison of the two algorithms

試驗(yàn)結(jié)果表明，在投影軸數(shù)量達(dá)到4個(gè)后，本文算法始終有著更高的識(shí)別率（正確率提升了0.5%～0.94%），因此，與傳統(tǒng)模塊（2D）2PCA算法相比，本文算法表現(xiàn)出更強(qiáng)的穩(wěn)健性。

由圖3可知，當(dāng)投影軸超過(guò)10個(gè)后，識(shí)別率出現(xiàn)小幅下降，這是由于圖像中的某些冗余信息被引入特征空間。當(dāng)投影軸數(shù)量小于4時(shí)，本文算法識(shí)別率低于傳統(tǒng)模塊（2D）2PCA算法，其原因?yàn)椋涸谔卣魈崛∵^(guò)程中，特征空間的維數(shù)過(guò)低會(huì)使許多重要的圖像信息丟失，導(dǎo)致權(quán)重系數(shù)的置信度大幅降低?？梢?jiàn)，選擇適當(dāng)數(shù)量的投影軸能夠在完整的表示圖像信息的同時(shí)降低冗余。

3.2 單樣本條件下的性能對(duì)比

為了驗(yàn)證在模塊（2D）2PCA中，基于特征空間中的信息比重對(duì)各子圖像塊進(jìn)行特征加權(quán)的可靠性，以及本文算法針對(duì)單樣本問(wèn)題的有效性，在ORL人臉庫(kù)中將本文算法與（2D）2PCA算法、模塊（2D）2PCA算法及MW（2D）2PCA算法進(jìn)行對(duì)比，其結(jié)果如圖4所示。

試驗(yàn)中，每類(lèi)任取1幅圖像用作訓(xùn)練，構(gòu)成單樣本問(wèn)題，其余用作測(cè)試，識(shí)別率為10次試驗(yàn)的平均結(jié)果。在2×2分塊模式下時(shí)，投影軸數(shù)量取6，θ＝0.904；在4×4分塊模式下時(shí)，θ＝0.929，選擇4個(gè)投影軸進(jìn)行特征提取。

如圖4所示，（2D）2PCA算法的識(shí)別率為69.72%。在2×2分塊模式下，模塊（2D）2PCA算法的識(shí)別率為70.36%，MW（2D）2PCA算法的識(shí)別率達(dá)71.5%，本文算法識(shí)別率相對(duì)略高，為71.78%。在4×4分塊模式下，模塊（2D）2PCA算法的識(shí)別率為71.19%，MW（2D）2PCA算法的識(shí)別率可達(dá)74.14%，本文算法為74.22%。可見(jiàn)，在單樣本條件下，相對(duì)于（2D）2PCA和模塊（2D）2PCA算法，本文算法識(shí)別率有明顯提高，而本文算法與MW（2D）2PCA算法的識(shí)別率基本持平。雖然相對(duì)于MW（2D）2PCA算法，本文算法并沒(méi)有顯著地提升正確率，但其依然存在一個(gè)明顯的優(yōu)勢(shì)：在MW（2D）2PCA算法中，最佳權(quán)值系數(shù)是通過(guò)多次試驗(yàn)得出的，而本文算法的權(quán)重分配過(guò)程則完全是自適應(yīng)的。

圖4 單樣本條件下的識(shí)別率對(duì)比Fig.4 Comparison of single training sample

3.3 算法速度分析

在許多人臉識(shí)別的實(shí)際應(yīng)用中，算法的運(yùn)行速度直接影響其實(shí)用性。表1為本文算法與模塊（2D）2PCA算法在Matlab 7.6中的時(shí)間消耗對(duì)比，其測(cè)試環(huán)境為主頻2.6 GHz的AMD雙核PC機(jī)，時(shí)間消耗為10次測(cè)試的平均結(jié)果。

表1 時(shí)間消耗對(duì)比Table 1 Comparison of time consumption

如表1所示，在訓(xùn)練過(guò)程中，本文算法由于引入特征加權(quán)的計(jì)算，導(dǎo)致時(shí)間消耗略有上升（約為9.3%）。而分類(lèi)過(guò)程中，本文算法耗時(shí)與傳統(tǒng)模塊（2D）2PCA算法幾乎一致。在實(shí)際應(yīng)用中，訓(xùn)練過(guò)程并不對(duì)識(shí)別速率產(chǎn)生影響，因此本文算法在有效提升識(shí)別率的同時(shí)，其速度與傳統(tǒng)模塊（2D）2PCA算法保持一致，特征加權(quán)的引入并未造成識(shí)別速率和實(shí)用性的降低。

4 結(jié)束語(yǔ)

對(duì)模塊（2D）2PCA算法進(jìn)行擴(kuò)展，提出了一種基于特征加權(quán)模塊（2D）2PCA的人臉識(shí)別算法。在ORL人臉庫(kù)上進(jìn)行測(cè)試，結(jié)果表明：相對(duì)于傳統(tǒng)模塊（2D）2PCA算法，本文算法能夠有效提高人臉識(shí)別的正確率，并且在單樣本條件下同樣表現(xiàn)出較強(qiáng)的穩(wěn)健性。證實(shí)了基于各子圖像塊在特征空間中的信息比重進(jìn)行自適應(yīng)權(quán)重分配的可靠性。在特征權(quán)重分配的過(guò)程中，本文算法無(wú)需任何先驗(yàn)知識(shí)以及人為干預(yù)，以各子圖像的抽象特征為依據(jù)，在特征空間中計(jì)算權(quán)重系數(shù)，從而實(shí)現(xiàn)自適應(yīng)特征加權(quán)，并有效地強(qiáng)調(diào)對(duì)識(shí)別貢獻(xiàn)程度較高的圖像局部特征。本文通過(guò)加權(quán)描述圖像局部所包含的特征信息量，通過(guò)（2D）2PCA進(jìn)行人臉識(shí)別，文中所提出的局部特征加權(quán)方法同樣可與其他算法，如kernel-PCA、ICA等算法相結(jié)合使用。

［1］Jafri R，Arabnia H R.A survey of face recognition techniques［J］.Journal of Information Processing Systems，2009，5（2）：41-68.

［2］Tan X，Chen S，Zhou Z H，et al.Face recognition from a single image per person：A survey［J］.Pattern Recognition，2006，39（9）：1725-1745.

［3］Kirby M，Sirovich L.Application of the KL procedure for the characterization of human faces［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1990，12（1）：103-108.

［4］Turk M A，Pentland A P.Face recognition using eigenfaces［C］∥1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1991：586-591.

［5］宋懷波，史建強(qiáng).應(yīng)用PCA理論進(jìn)行多人臉姿態(tài)估計(jì)的方法［J］.吉林大學(xué)學(xué)報(bào)：工學(xué)版，2013，43（增刊1）：43-46.

Song Huai-bo，Shi Jian-qiang.Pose estimation of varied human faces based on PCA method［J］.Journal of Jilin University（Engineering and Technology Edition），2013，43（Sup.1）：43-46.

［6］Gottumukkal R，Asari V K.An improved face recognition technique based on modular PCA approach［J］.Pattern Recognition Letters，2004，25（4）：429-436.

［7］Yang J，Zhang D，F(xiàn)rangi A F，et al.Two-dimensional PCA：a new approach to appearance-based face representation and recognition［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26（1）：131-137.

［8］陳伏兵，陳秀宏，張生亮，等.基于模塊2DPCA的人臉識(shí)別方法［J］.中國(guó)圖象圖形學(xué)報(bào)，2006，11（4）：580-585.

Chen Fu-bing，Chen Xiu-hong，Zhang Sheng-liang，et al.A human face recognition method based on modular 2DPCA［J］.Journal of Image and Graphics，2006，11（4）：580-585.

［9］Gao Q.Is two-dimensional PCA equivalent to a special case of modular PCA？［J］.Pattern Recognition Letters，2007，28（10）：1250-1251.

［10］Zhang D，Zhou Z H.（2D）2PCA：Two-directional two-dimensional PCA for efficient face representation and recognition［J］.Nerocomputing，2005，69（1）：224-231.

［11］李欣，王科俊，賁晛燁.基于MW（2D）2PCA的單訓(xùn)練樣本人臉識(shí)別［J］.模式識(shí)別與人工智能，2010（1）：77-83.

Li Xin，Wang Ke-jun，Ben Xian-ye.MW（2D）2PCA Based face recognition with single training sample［J］.Pattern Recognition and Artificial Intelligence，2010（1）：77-83.

［12］張翠平，蘇光大.人臉識(shí)別技術(shù)綜述［J］.中國(guó)圖象圖形學(xué)報(bào)，2000，5（11）：885-894.

Zhang Cui-ping，Su Guang-da.Human face recognition：a survey［J］.Journal of Image and Graphics，2000，5（11）：885-894.