混合樣本融合邊緣信息的單樣本人臉識別研究

向 洋，董林鷺，宋 弘，余坤鍵

(四川輕化工大學(xué) 自動化與信息工程學(xué)院，四川 自貢 643000)

0 引 言

人工智能開啟了新時代的紀(jì)元，讓人們感受到科技發(fā)展給生活方式帶來了巨大變化。其中，人工智能這個大課題中較為重要的一節(jié)就是機器對人臉的識別能力[1]，如目前最新奇的人臉支付，再到安裝了人臉識別系統(tǒng)的門禁[2]等等。如何讓機器像人一樣準(zhǔn)確地識別出人臉經(jīng)過了漫長的發(fā)展[3]。在獲得人臉的訓(xùn)練樣本時質(zhì)量并非都是理想的，其中有光照、姿態(tài)、是否有遮擋物等因素的影響[4-5]。在訓(xùn)練樣本較多時這樣的影響相對不明顯。訓(xùn)練樣本較少時將會嚴(yán)重影響機器對人臉識別的準(zhǔn)確度，出現(xiàn)小樣本問題[6]。一些學(xué)者提出了利用人臉的原始樣本圖像生成虛擬樣本增加訓(xùn)練樣本的數(shù)量。如Xu等人[7]提出利用原始人臉樣本生成鏡像人臉來提高識別率，Xu等人[8]利用原始人臉樣本生成對稱人臉來提高識別率，Wu等人[9]提出(PC)2A調(diào)節(jié)不同參數(shù)獲得虛擬人臉，楊明中等人將鏡像人臉、對稱人臉、原始人臉通過權(quán)值為1的融合算法提升識別率[10]。項曉麗[11]利用原始樣本與鏡像樣本權(quán)值融合，采用協(xié)同表示分類器識別取得了較好的識別率。徐艷[12]提出原始樣融合虛擬平均臉和虛擬對稱臉構(gòu)成新的訓(xùn)練樣本，利用模糊決策方法進(jìn)行分類。

在面對小樣本等問題時，不光對訓(xùn)練樣本進(jìn)行研究，對識別的算法也有研究，目前最常用的識別算法有兩種。第一種是稀疏表示分類器(sparse representation based classification，SRC)[13]，由Wright等于2009年提出的一種利用訓(xùn)練人臉的稀疏線性組合表示測試樣本人臉的算法，達(dá)到對人臉的識別能力。該算法識別率高，但是由于所需訓(xùn)練樣本數(shù)量較多，運算量較大，處理時間無法滿足實際工程的要求。第二種是協(xié)同表示分類器(collaborative representation based classification，CRC)[14]，由張磊等提出的一種利用正則化范數(shù)最小化技術(shù)。該方法具有運算時間快，所需樣本相對較少等優(yōu)點。這里利用該算法來驗證文中提出的方法對提高人臉識別率的有效性。

1 虛擬樣本的生成

在小樣本問題上，用原始人臉圖像生成虛擬樣本，是提高識別率的一種快捷且有效的方法。這里主要介紹利用原始人臉圖像生成水平鏡像圖像和左軸對稱圖像的原理。

水平鏡像圖生成原理：以人臉圖像的中軸線為中心，像素點的行位置保持不變，列位置從左到右相互交換，將原始人臉圖像中像素點位置定義為f(x1,y1)，用M、N分別表示該矩陣的行與列，f(x2,y2)表示鏡像處理后得到的像素點位置。表達(dá)式如下：

(1)

左軸對稱虛擬樣本的原理與水平鏡像的生成原理類似，區(qū)別在于將中軸線右半部分的像素值歸零得到f'(x1,y1)，再對f'(x1,y1)鏡像處理得到f'(x2,y2)，最后將f'(x1,y1)與f'(x2,y2)相加得到左軸對稱圖f(x3,y3)。

2 Canny算子的基本原理

對單樣本生成虛擬樣本加權(quán)混合后，利用Canny算子[15]提取混合樣本人臉輪廓的邊緣信息。具體步驟如下：

(1)對加權(quán)混合后的人臉進(jìn)行高斯濾波處理。減少高斯噪聲對邊緣信息提取過程中造成的影響。高斯濾波表達(dá)式如下所示：

(2)

其中，δ表示高斯曲線標(biāo)準(zhǔn)差。

(2)計算出圖像的梯度像素梯度幅值及其方向值，分別用M(x,y)、θ(x,y)表示，數(shù)學(xué)表達(dá)式如下所示：

(3)

(4)

其中，Gx、Gy的數(shù)學(xué)表達(dá)式如下所示：

Gx=

(5)

Gy=

(6)

其中，f(x,y)表示人臉圖像中某一點的像素值。

(3)對計算出的M(x,y)值做非極大值抑制處理，目的是細(xì)化邊緣上的像素點。邊緣提取的原理是對人臉圖像中相鄰兩個像素點的值變化較大的點作為輪廓的邊緣點，但這樣得到的邊緣點比較粗糙。

(4)針對步驟(3)中粗糙的邊緣點，設(shè)定高閾值K1和低閾值K2進(jìn)一步準(zhǔn)確判斷出邊緣點。當(dāng)步驟(3)中確定的邊緣點的像素值大于K1時，判斷該點為邊緣點。反之，小于K2時，判斷該點為非邊緣點。介于K1、K2之間時，再判斷該點周圍是否有確定的邊緣點，若有就認(rèn)為該點是為了保證邊緣連續(xù)的點確定為邊緣點，反之為非邊緣點。

3 混合樣本與邊緣信息融合處理

由于存儲技術(shù)的限制，將一幅人臉生成多幅虛擬樣本，再按不同比例的權(quán)重融合到一幅人臉圖像中組成混合樣本并提取其邊緣信息，再將混合樣本與邊緣信息融合，這樣處理既讓一幅人臉圖像盡可能地包含更多的特征信息，同時也節(jié)省了存儲空間。

用f(x1,y1)表示原始人臉圖像，f(x2,y2)表示水平鏡像人臉圖像，f(x3,y3)表示軸對稱人臉圖像，融合過程數(shù)學(xué)表達(dá)式如下：

H(x,y)=w1f(x1,y1)+w2f(x2,y2)+w3f(x3,y3)

(7)

其中，H(x,y)表示混合樣本，w1、w2、w3表示各自的權(quán)重，滿足以下情況：

(8)

得到混合樣本后提取其邊緣信息，將兩者相加融合到一幅人臉圖像中，數(shù)學(xué)表達(dá)式如下：

R(x,y)=H(x,y)+nC(x,y)

(9)

其中，C(x,y)表示混合樣本的邊緣提取圖像，n表示圖像的灰度值范圍0～255，文中n取0、20、60、255。R(x,y)表示混合樣本與其邊緣信息融合后的圖像，如圖1所示，其中第一行是原始人臉圖，第二行是虛擬樣本權(quán)值都為0.3的混合人臉圖，第三行是混合人臉圖融合了其邊緣信息并且邊緣信息圖的灰度值為60。

圖1 融合后的虛擬樣本

4 實驗結(jié)果與分析

為了驗證文中方法的有效性，采用協(xié)同表示分類器CRC來獲得不同權(quán)值情況下的人臉識別準(zhǔn)確率。以人臉庫ORL、FERET、AR作為實驗對象。其中ORL人臉庫是由劍橋大學(xué)AT& T實驗室創(chuàng)建，包含了40個不同人的人臉，每個人有10幅包含不同姿態(tài)的圖像共400幅，部分人臉如圖2所示。FERET人臉庫的特點是該人臉庫大多數(shù)為西方人且表情變化單一，包含了200個不同人的人臉，每個人有7幅圖像共1 400幅，部分人臉如圖3所示。

圖2 ORL人臉庫部分人臉

圖3 FERET人臉庫部分人臉

AR人臉圖包含了100個不同人的人臉，每個人有13幅包含不同表情、光照、遮擋的圖像共1 300幅，部分人臉如圖4所示，在實驗之前人臉庫全部轉(zhuǎn)換為深度為8 bit的灰度圖。以Matlab2013a為仿真軟件，處理器是英特爾i7-4770、頻率3.40 GHz，運行內(nèi)存為16 GB的平臺上得到實驗結(jié)果。

圖4 AR人臉庫部分人臉

實驗主要驗證了由原始單樣本和其生成的虛擬樣本(水平鏡像圖、左軸對稱圖)、虛擬樣本在權(quán)值之和等于1構(gòu)成的混合樣本、權(quán)值之和大于1構(gòu)成的混合樣本、權(quán)值之和小于1構(gòu)成的混合樣本，等幾種新構(gòu)成的不同樣本，分別融合不同灰度值(255、60、20)的邊緣信息，得到的單樣本下的人臉的識別率。其中ORL人臉庫與FERET人臉庫每類樣本選前三幅分別作為單樣本實驗對象研究，AR人臉庫分別選擇第1、7、8、11作為單樣本實驗對象研究。

分析實驗數(shù)據(jù)可知，生成的虛擬樣本單獨作為訓(xùn)練樣本時，會嚴(yán)重破壞原始人臉樣本的信息結(jié)構(gòu)，使得識別率下降，其中對鏡像虛擬樣本破壞最嚴(yán)重。對應(yīng)樣本與其提取的邊緣信息融合后相加的邊緣的灰度值為255時，在人臉有遮擋情況時識別率提升3%左右，但在無遮擋或遮擋部分較少時會使對應(yīng)樣本信息結(jié)果被破壞造成識別率下降。當(dāng)邊緣信息灰度值取60或20時能使對應(yīng)的樣本識別率提升1%～2%。

對于姿態(tài)變化豐富的ORL人臉庫，原始人臉圖像與虛擬樣本加權(quán)融合，從ORL人臉庫的實驗結(jié)果可得，當(dāng)權(quán)值之和為1時，識別率提升1%～7%。權(quán)值之和大于1時，識別率提升1%～9%。權(quán)值之和小于1時，識別率提升1%～6%。對于變化單一的FERET人臉庫，權(quán)值之和為1時，識別率提升2%～10%。而權(quán)值之和大于1時，識別率最高可提升2%～12%。權(quán)值之和小于1時，識別率提升1%～12%。

對于表情豐富、有遮擋和光照影響的AR人臉庫，將無遮擋物和光照影響的人臉生成虛擬樣本混合后權(quán)值之和大于1或等于1時加上其灰度值為20的邊緣信息，識別率提升3%左右。權(quán)值之和小于1時，會破壞人臉結(jié)構(gòu)信息造成識別率下降。將只受到光照影響的人臉生成虛擬樣本混合后權(quán)值之和小于1時識別率有略微提升，其他權(quán)值相加情況都會降低識別率。將受到小部分遮擋的人臉生成虛擬樣本混合后權(quán)值之和大于1時，識別率能提升2%左右，其他權(quán)值相加情況只能略微提升識別率，將遮擋大部分的人臉生成虛擬樣本混合后權(quán)值之和大于1加上其邊緣信息識別率能提升3%左右，其他權(quán)值相加情況會破壞人臉結(jié)構(gòu)信息造成識別率下降。

實驗結(jié)果表明，虛擬樣本混合的權(quán)值之和大于1時，提升識別率效果最優(yōu)。虛擬樣本混合的權(quán)值之和等于1時，提升識別率效果次之。虛擬樣本混合的權(quán)值之和小于1時，對識別率有提升效果，但是提升效果與前兩種情況相比最差。

5 結(jié)束語

在實際工程應(yīng)用當(dāng)中，采集到的人臉圖像質(zhì)量有好有壞，如在身份證、證件照等人臉圖像的采集質(zhì)量是無遮擋、表情等因素影響的，但是在監(jiān)控取證時獲得的人臉圖像，就會有各種不確定的因素影響。因此針對不同情況下單樣本人臉識別率的提升應(yīng)考慮不同的權(quán)值之和與不同的灰度值邊緣相加，融合得到新的訓(xùn)練單樣本來提升識別率。

實驗結(jié)果表明，權(quán)值之和大于1且與灰度值變化的邊緣信息相加對大部分小樣本問題的人臉識別率有提升效果。