圖像預(yù)處理對(duì)人臉識(shí)別系統(tǒng)性能影響研究

金 欣，文成玉，杜 鴻

(成都信息工程學(xué)院通信工程學(xué)院，四川成都610225)

0 引言

從Lades等[1]首次提出將主成分分析法(Principal Component Analysis，PCA)應(yīng)用于人臉識(shí)別之后，子空間法就得到極大的關(guān)注，子空間法的優(yōu)勢(shì)在于它通過空間的變換，將線性的或者非線性的圖像特征進(jìn)行壓縮，從高維空間降維至低維的特征子空間，從而降低算法的復(fù)雜度。到目前為止，基于PCA的特征臉?biāo)惴?Eigenface)有了深遠(yuǎn)的發(fā)展且已經(jīng)趨于成熟，并延伸出其他的變種算法，最有代表性的就是 Belhumeur提出的 Fisherface算法[2]，是將線性鑒別分析理論[3](Linear Discriminant Analysis，LDA)與 PCA 相結(jié)合，將經(jīng)過PCA降維后的表觀特征的主成分，采用LDA進(jìn)行變換，使系統(tǒng)可以獲得盡量大的類間散度和盡量小的類內(nèi)散度。這兩種識(shí)別算法是目前較為主流的基于子空間的人臉識(shí)別算法[4]?，F(xiàn)今，多數(shù)可以實(shí)現(xiàn)工程化的人臉識(shí)別系統(tǒng)仍是基于子空間算法的，想要得到一個(gè)具有非常高識(shí)別率的系統(tǒng)，已經(jīng)不能單純的只改進(jìn)算法的原理，從獲取到的人臉圖像的源頭進(jìn)行預(yù)處理，才是提高一個(gè)識(shí)別系統(tǒng)識(shí)別率非常重要的環(huán)節(jié)。

根據(jù)山世光教授[5]提到的人臉識(shí)別系統(tǒng)中存在的若干問題，一個(gè)強(qiáng)壯的人臉識(shí)別系統(tǒng)對(duì)于人臉庫(kù)和輸入到系統(tǒng)的待識(shí)別圖像會(huì)有不同的要求，例如一個(gè)龐大的人臉庫(kù)會(huì)對(duì)識(shí)別的效率和算法復(fù)雜度產(chǎn)生高要求，有時(shí)為了降低識(shí)別計(jì)算的時(shí)間，在算法原理上無(wú)法得到改進(jìn)的情況下，就會(huì)在獲取圖像時(shí)就對(duì)圖像進(jìn)行像素和尺寸的降低，像素降低的優(yōu)勢(shì)在于可以同時(shí)減小人臉庫(kù)的存儲(chǔ)空間，在實(shí)際應(yīng)用中，有非常大的工程實(shí)用性。圖像預(yù)處理往往只有短短幾行代碼，卻能實(shí)現(xiàn)極大的改善一個(gè)系統(tǒng)的識(shí)別率，下面將從分析子空間算法的類間距離和類內(nèi)距離入手，通過加入預(yù)處理，使其作用于圖像的類，分析其類的變化加以判斷Eigenface和Fisherface所需要的預(yù)處理方法。

1 圖像預(yù)處理技術(shù)方法

人臉圖像的預(yù)處理的目的是使不同成像條件下拍攝的所有進(jìn)入識(shí)別系統(tǒng)的照片具有一致性。后續(xù)將重點(diǎn)介紹幾何歸一化中的圖像掩模技術(shù)[6]和圖像增強(qiáng)中的直方圖均衡[7]，并且加入可以去除噪聲的維納濾波法[8]。

1.1 圖像掩模

一般獲取的圖像都存在干擾信息，圖像掩模為了解決這種負(fù)面的影響，摳出主要的人臉部分。具體的基本步驟就是首先將人臉圖像進(jìn)行幾何校正處理，就是將人臉圖像實(shí)施人像扶正，根據(jù)標(biāo)定的人眼坐標(biāo)進(jìn)行圖像縮放和圖像切割等操作后，然后產(chǎn)生一個(gè)固定的矩形模板，該模板的中心有個(gè)與人臉大小大致相同的橢圓區(qū)域，其內(nèi)部的值都為1，橢圓區(qū)域以外的值都為0，模板的大小與人臉圖像大小相同，其次，人眼在校正過的人臉圖像中位置固定，且中心軸對(duì)稱，將兩個(gè)圖像矩陣相與計(jì)算，就會(huì)得到經(jīng)過掩模后的圖像。

1.2 直方圖均衡

由于子空間算法對(duì)于光照的魯棒性非常低，這也是解決影響子空間算法識(shí)別率一大問題的主要方法。在人臉識(shí)別的過程中，增加灰度對(duì)比度可以突出人臉重要的特征。

直方圖均衡化是通過改變每個(gè)灰度級(jí)上像素點(diǎn)分布，使其都具有相同的象素點(diǎn)數(shù)，目的是使圖像在整個(gè)灰度值動(dòng)態(tài)變化范圍內(nèi)分布均勻化，改善圖像的亮度分布狀態(tài)，增強(qiáng)圖像的視覺效果。均衡化的原理是根據(jù)熵理論[9]，可知當(dāng) H(0)，H(1)…，H(n－1)相等時(shí)，圖像信息量最大。

1.3 維納濾波

圖像在采集的過程中難免會(huì)產(chǎn)生噪聲，維納濾波的優(yōu)勢(shì)在于適應(yīng)面較廣，無(wú)論平穩(wěn)隨機(jī)過程是離散還是連續(xù)，標(biāo)量還是向量。在一個(gè)線性系統(tǒng)中，輸入的隨機(jī)信號(hào)x(n)，輸出為y(n)，在x(n)中包含信號(hào)s(n)和噪聲v(n)，當(dāng)x(n)通過線性系統(tǒng)h(n)后得到的y(n)盡量接近于s(n)，用^s(n)表示估計(jì)值，維納濾波是從過去的觀察值估計(jì)過去的信號(hào)值y()n=^s(n+N)(N≥1)。維納濾波常被稱為最佳線性過濾預(yù)測(cè)或線性最優(yōu)估計(jì)[10]，因其是以最小均方誤差為準(zhǔn)則的。

2 子空間算法的圖像差值模型

從最近鄰法分類[11](Nearest Neighbor，NN)的角度出發(fā)，人臉圖像差值分為兩類:人臉的類內(nèi)差值△I(intra-class difference)和人臉的類間差值△E(extraclass difference)。

2.1 Eigenface的類內(nèi)類間距離模型

設(shè)N個(gè)模式樣本{χl}分屬c類，記為ωi=，i=1，2，…，c，則ωi類模式的樣本均值矢量為各類模式的樣本總體均值矢量為

C 類的樣本均值矢量為m(i)，則類內(nèi)均方歐式距離[12]為

2.2 Fisherface的類內(nèi)類間散度模型

Fisherface對(duì)數(shù)據(jù)首先采用PCA進(jìn)行降維處理，計(jì)算PCA投影子空間WPCA，求出空間的類內(nèi)平均圖像mi及總的平均圖像m。隨后計(jì)算第i類的類內(nèi)散布矩陣Si和總的類內(nèi)散布矩陣Sw，公式如下

計(jì)算類間散布矩陣

通過降維可以保證類內(nèi)離散度矩陣的非奇異性[13]。然后根據(jù)散度差準(zhǔn)則求解目標(biāo)函數(shù)[14]。

其中，a為Sb－Sw的最大特征值對(duì)應(yīng)的單位特征矢量。

3 Matlab仿真實(shí)驗(yàn)

實(shí)驗(yàn)采用美國(guó)FERET人臉庫(kù)[15]，總共采集200人的人臉信息，每人7幅圖像，總共1400幅人臉圖像作實(shí)驗(yàn)人臉庫(kù)。原始人臉庫(kù)中的像素尺寸為80×80，在此基礎(chǔ)上將像素尺寸縮小成40×40的人臉庫(kù)，形成高像素人臉模型和低像素人臉模型。下面將深入研究圖像掩模、直方圖均衡和維納濾波對(duì)于類的差值影響。

圖1 圖像預(yù)處理效果圖

圖1展示了原始圖像經(jīng)過了不同預(yù)處理后的效果，圖1(a)是原始人臉圖像，圖1(b)、(c)、(d)三幅圖像依次是經(jīng)過圖像掩模、直方圖均衡和維納濾波后的效果圖，圖1(e)圖展示了直方圖均衡和維納濾波疊加效果，而圖1(f)圖像則是3種預(yù)處理方法疊加的真實(shí)效果圖。直觀上可以看出，直方圖均衡可以提高圖像對(duì)光照的魯棒性，維納濾波可以去除噪聲的干擾，而掩模則徹底排除了一切與背景無(wú)關(guān)信息量的干擾，這種對(duì)于圖像的改善從一定程度上提高了人臉識(shí)別系統(tǒng)對(duì)于光照和采集環(huán)境的魯棒性，從而在一定程度上提高了系統(tǒng)抗干擾能力。

3.1 Eigenface的仿真實(shí)驗(yàn)

根據(jù)Eigenface算法基于全局提取特征的特點(diǎn)，分別在高像素和低像素模型上進(jìn)行3種預(yù)處理的組合處理，然后從類間差值和類內(nèi)差值兩個(gè)方面考慮預(yù)處理方法對(duì)算法的影響。

3.1.1 Eigenface 的類間差值模型

圖2 80×80尺寸的類間歐式距離比較仿真圖

圖3 40×40尺寸的類間歐式距離比較仿真圖

圖2所取得的曲線是根據(jù)人臉庫(kù)中第一個(gè)人的首幅圖像與剩余所有人的1393張圖像的類間歐式距離的走勢(shì)圖。對(duì)比圖2的高像素模型和圖3的低像素模型，相同之處在于直方圖均衡后所得到的類間距離是最大的，形成對(duì)比的是掩模技術(shù)將背景的差值歸于零，經(jīng)過圖像掩模技術(shù)處理后的圖像的類間距離是最小的。為了減小噪聲對(duì)于類間差值的干擾，實(shí)驗(yàn)引入維納濾波，無(wú)論像素大小在原始圖像上進(jìn)行維納濾波，消除噪聲效果都不理想，而在進(jìn)行了直方圖均衡處理后的圖像上進(jìn)行維納濾波，類間距離下降明顯，圖2高像素中類間距離平均下降1×106，下降比例為4%;圖3中的低像素模型效果更加顯著，類間距離約也下降了1×106，下降比例為16%。經(jīng)過均衡和濾波后，加入圖像掩模獲得距離曲線位置適中，且仍高于原始圖像曲線的位置，低像素模型的曲線走勢(shì)更加平緩，高像素模型相對(duì)于原始圖像類間距離平均提升了6.94×106，約為79%的漲幅，低像素模型相對(duì)于原始距離平均提升1.93×106，約為89%的漲幅。

換句話說，經(jīng)過3種圖像預(yù)處理后的類間距離整體有顯著的提升，同時(shí)去除掉一些因噪聲和無(wú)關(guān)信息干擾所造成的類間距離突變，有利于Eigenface進(jìn)行識(shí)別，并且預(yù)處理對(duì)低像素圖像的類間差值處理效果較高像素圖像更加明顯。

3.1.2 Eigenface 的類內(nèi)差值模型

從圖4不難發(fā)現(xiàn)，圖像掩模是對(duì)類內(nèi)距離的降低是最有幫助的一種預(yù)處理方法，并沒有改變?cè)紙D像類內(nèi)距離的基本走勢(shì)和形態(tài)。直方圖均衡極大地突出了類內(nèi)特征，使得類內(nèi)距離起伏增大，但是造成類內(nèi)距離增加幅度較大，引入維納濾波來降低噪聲的干擾，雖然在原始圖像上沒有起到明顯的作用，但是引入到經(jīng)過直方圖均衡后的圖像中去，類內(nèi)差值降低的效果較為突出，在此基礎(chǔ)上再加入的圖像掩模處理使得類內(nèi)差值進(jìn)一步得到了降低。

圖4 80×80尺寸的類內(nèi)歐式距離比較仿真圖

圖5 40×40尺寸的類內(nèi)歐式距離比較仿真圖

與此相對(duì)比的圖5所示的低像素模型，差異之處在于低像素環(huán)境中的類內(nèi)差值的最大值下降明顯，高像素模型類內(nèi)距離下降1.83×107，幅度約為26%，低像素模型下降了6.13×106，降幅為33%。同時(shí)在低像素的環(huán)境中引入維納濾波，高像素模型在3種預(yù)處理方法下相較于原始圖像類內(nèi)距離增加1.172×107，增幅為61%，而低像素模型增加2.39×106，增幅為50%，低像素模型經(jīng)過預(yù)處理后增幅小于高像素模型，這對(duì)于識(shí)別更為有利。

為進(jìn)一步驗(yàn)證上述仿真結(jié)論和預(yù)處理實(shí)際應(yīng)用效果，在加入不同的預(yù)處理方法后形成多個(gè)人臉庫(kù)，在CUP為Intel Core2 Duo T7250(2.0 GHz)的計(jì)算機(jī)條件下下進(jìn)行識(shí)別率和效率測(cè)定，取200人的各2幅圖像共400幅圖像作為帶識(shí)別人臉庫(kù)，同其余1000幅圖像進(jìn)行識(shí)別率計(jì)算，得到了表1中的識(shí)別率和識(shí)別時(shí)間。

表1 Eigenface在高像素與低像素下不同預(yù)處理的識(shí)別率和識(shí)別時(shí)間

綜合Eigenface的類間差值模型和類內(nèi)差值模型的預(yù)處理實(shí)驗(yàn)，經(jīng)過了直方圖均衡、維納濾波和圖像掩模后的人臉識(shí)別率是最高的，并且低像素模型的識(shí)別率高于高像素模型，在表中另一項(xiàng)明顯的特點(diǎn)就是低像素模型在同等的預(yù)處理?xiàng)l件下，要顯著小于高像素模型。這就使低像素模型表現(xiàn)出高識(shí)別率和高識(shí)別效率的特點(diǎn)，這在工程上有一定的優(yōu)勢(shì)，兩種模型經(jīng)過預(yù)處理后的識(shí)別時(shí)間都有所下降，幫助算法從另外一個(gè)途徑上降低了復(fù)雜度，提高了運(yùn)行效率。

3.2 Fisherface的仿真實(shí)驗(yàn)

圖6和圖7分別展示了高像素模型和低像素模型的類的散度刻畫比較，圖中數(shù)據(jù)通過計(jì)算matlab仿真出的散度矩陣的跡而獲得的。

圖6 80*80尺寸類的散度刻畫比較

圖7 40*40尺寸類的散度刻畫比較

根據(jù)公式(6)，期待獲得較大的目標(biāo)函數(shù)Js(a)。高像素模型如圖6所示，圖像掩模技術(shù)雖然降低了類內(nèi)散度，但是降低的類間散度幅度過大，造成了目標(biāo)函數(shù)的值得下降。直方圖均衡技術(shù)在大幅度增加類間散度矩陣的同時(shí)，也極大地增加了類內(nèi)散度，所得目標(biāo)函數(shù)是最小的一個(gè)，在原始圖像上進(jìn)行的維納濾波對(duì)于3種矩陣的跡的影響都較為微弱，但在進(jìn)行直方圖均衡后引入維納濾波后，濾波的效果更為明顯，修正了單純直方圖均衡后類內(nèi)散度過大的缺陷，使目標(biāo)函數(shù)Js(a)有小幅度提升。但在此基礎(chǔ)上再引入圖像掩模技術(shù)，使類間散度下降過大，適得其反地造成了目標(biāo)函數(shù)的降低。圖7所示的各種預(yù)處理方法對(duì)于Sb和Sw的變化總體趨勢(shì)與圖6中類似，但是目標(biāo)函數(shù)Js(a)的跡的值的變化卻有很大的不同，如表2中所示低像素模型中單一的維納濾波后的目標(biāo)函數(shù)獲得最大值，加入圖像掩模后更是使目標(biāo)函數(shù)Js(a)在兩種模型下都有所降低。

表2 高像素與低像素下不同預(yù)處理的目標(biāo)函數(shù)矩陣的跡

表3 Fisherface在高像素與低像素下不同預(yù)處理的識(shí)別率和識(shí)別時(shí)間

在同樣硬件條件下用和Eigenface相同的人臉庫(kù)進(jìn)行識(shí)別率測(cè)定，得到Fisherface的識(shí)別率和識(shí)別時(shí)間如表3所示，從各種預(yù)處理對(duì)于目標(biāo)函數(shù)Js(a)的影響來看，圖像掩模并不適合Fisherface，先用直方圖均衡進(jìn)行圖像增強(qiáng)后，再引入維納濾波所獲得Js(a)最符合Fisherface準(zhǔn)則的要求，高像素下此時(shí)Js(a)值最大，而低像素在維納濾波下Js(a)提高的最多。同時(shí)從處理效果來看，高像素模型下類間散度矩陣的跡在直方圖均衡和維納濾波兩種預(yù)處理下相較于原始圖像提高了70%，而低像素模型之提升了62%，高像素模型的類內(nèi)散度矩陣的跡同低像素模型的變化相同，同時(shí)提升了3倍之多，目標(biāo)函數(shù)方面，高像素模型增加了5%，低像素模型減少了0.3%，而低像素模型在維納濾波處取得了最大的值，也只提升了3.6%。再結(jié)合表3中得到的識(shí)別率，高像素模型在直方圖均衡和維納濾波條件下得到的識(shí)別率高于其他情況，F(xiàn)isherface在高像素模型的情況下處理效果明顯優(yōu)于低像素模型的情況，但是低像素模型的識(shí)別時(shí)間卻明顯少于高像素模型。

4 結(jié)束語(yǔ)

經(jīng)過分析和比較，直方圖均衡、圖像掩模和維納濾波3種預(yù)處理方式的組合適合處理Eigenface算法的人臉庫(kù)，獲得的類間距離較大的同時(shí)得到較小的類內(nèi)歐式距離，與此同時(shí)，低像素模型也更加適合用于Eigenface算法，在獲取到的人臉圖像像素質(zhì)量不佳的情況下更適合選擇Eigenface算法。而Fisherface算法的預(yù)處理應(yīng)選擇直方圖均衡和維納濾波技術(shù)的組合，在這兩種方法的組合下獲得的目標(biāo)函數(shù)最大，得到了較高的識(shí)別率，同時(shí)Fisherface應(yīng)選擇像素較高的人臉庫(kù)進(jìn)行匹配識(shí)別，得到的識(shí)別效果會(huì)更好。Eigenface在3種預(yù)處理方法下，識(shí)別率提高了15.8%，識(shí)別效率增加了10.2%，F(xiàn)isherface識(shí)別率提高了13.5%，識(shí)別效率則提高了11.6%。識(shí)別率的提高，也從另一個(gè)側(cè)面驗(yàn)證了預(yù)處理技術(shù)對(duì)于人臉識(shí)別系統(tǒng)抗干擾能力的提升及系統(tǒng)強(qiáng)壯性的增加。

實(shí)驗(yàn)展現(xiàn)出了更多問題，例如高低像素對(duì)于不同算法的影響的原理性解釋，還有在識(shí)別過程中發(fā)現(xiàn)的識(shí)別率和效率不能兼得的問題，仍有待繼續(xù)深入的探索研究。

致謝:感謝成都信息工程學(xué)院基金項(xiàng)目(J201206)對(duì)本文的資助

[1] Lades M.Distortion invariant object recognition in the dynamic link architecture[J].IEEE Trans on Computer，1993，42(3):300－310.

[2] Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces vs.Fisherfaces:Recognition using class special linear projection[J].IEEE Transactions on Pattern Analysis and Maehine Intelligence，1997，19(7):711－720.

[3] 謝永林.LDA算法及其在人臉識(shí)別中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2010，46(19):189－192.

[4] 李曉東.基于自空間和流形學(xué)習(xí)的人臉識(shí)別算法研究[M].山東:山東人民出版社.2013:47－64.

[5] 山世光.人臉識(shí)別中若干關(guān)鍵問題的研究[D].北京:計(jì)算機(jī)研究所，2004.

[6] 徐琳俊.數(shù)字圖像分割算法研究[D].鎮(zhèn)江:江蘇科技大學(xué)，2011.22－36.

[7] 李慧元，姜心蕊，徐國(guó)賢，等.基于直方圖的圖像增強(qiáng)技術(shù)在圖像處理中的應(yīng)用[J].科技信息，2014，(11):83－84.

[8] 張然，湯全武，史崇升.基于遞推最小二乘自適應(yīng)濾波算法的圖像去噪[J].計(jì)算機(jī)應(yīng)用與軟件，2014，(4):194－196.

[9] 苑娟，萬(wàn)焱，褚意新.熵理論及其應(yīng)用[J].中國(guó)西部科技，2011，(5):42－44.

[10] 王志勝，甄子洋.非線性信息融合估計(jì)理論[J].宇航時(shí)報(bào)，2009，30(1):8－12.

[11] Wang X G，Tang X O.A unified framework for face recognition[J].IEEE Trans.PAMI，2004，26(9):1222－1228.

[12] 孫越泓，魏建香，夏德深.基于互信息與類距離測(cè)度最優(yōu)的圖像聚類[J].計(jì)算機(jī)工程與應(yīng)用，2011，(34):199－202.

[13] 郭微，孫玉祥.矩陣非奇異性的判定[J].北華大學(xué)學(xué)報(bào)(自然科學(xué)版)，2006，(3):93－96.

[14] 孫即祥.模式識(shí)別中的特征提取與計(jì)算機(jī)視覺不變量[M].北京:國(guó)防工業(yè)出版社，2001.

[15] Counterdrug Technology Transfer Program(CTTP).The FERET Database[EB/OL].http://www.itl.nist.gov/iad/huinanid/feret/feret－master.html.2001－2004.