應(yīng)用于小樣本的差異字典人臉識別

鄧佳璐，賈玉潔，衛(wèi) 祥，楊 波，閻 石+

(1.蘭州大學(xué) 信息科學(xué)與工程學(xué)院，甘肅 蘭州 730000；2.國網(wǎng)甘肅省電力公司 信息通信公司，甘肅 蘭州 730000)

0 引 言

在實際應(yīng)用中，人臉識別用于訓(xùn)練的樣本數(shù)量通常有限[1]。一是由于訓(xùn)練樣本存儲空間的有限性所致，二是因為在較短的時間內(nèi)難以取得大量的訓(xùn)練樣本。測試人臉具有難以預(yù)測的光照、面部表情和姿勢變換，使得人臉識別的準(zhǔn)確度仍需提高。因此，為了應(yīng)對這些挑戰(zhàn)，許多研究人員將注意力集中在小樣本問題上，并且設(shè)計了許多相應(yīng)的方法。其中大多數(shù)研究者使用生成虛擬樣本的方法以解決樣本不足的問題。如Hao Zhang等使用正臉和非正臉的角度變化來生成虛擬訓(xùn)練樣本[2]，Yong Xu等提出的生成鏡像臉以擴充訓(xùn)練樣本的算法[3]，和Ningbo Zhu等提出的對測試樣本生成虛擬樣本的方法[4]，這些方法雖然增加了樣本數(shù)量，但由于虛擬樣本生成方法的單一性問題，使其只能解決光照變換或姿態(tài)變換其中的一種問題，而不適用于同時具有光照、姿態(tài)變化的小樣本問題。于是Pengfei Zhu等提出了基于分塊思想的局部通用表示的單樣本識別方法(local generic representation，LGR)[5]用來解決同時具有光照、姿態(tài)變換的小樣本問題。但LGR的通用字典都具有局限性，其訓(xùn)練樣本只有為基準(zhǔn)樣本時才有較好的結(jié)果?；谝陨嫌懻?，本文提出了一種應(yīng)用于小樣本情況，使用基于表示分類的差異字典克服姿態(tài)、表情、光照變換的情況，并應(yīng)用灰度對稱臉使訓(xùn)練樣本中的非基準(zhǔn)臉轉(zhuǎn)換近似基準(zhǔn)臉的人臉識別方法。

1 基于表示分類的差異字典

1.1 基于表示的分類

在人臉識別分類方法中，基于表示的分類(RBC)方法由于其簡單性和較高的識別精度而受到了廣泛的關(guān)注。傳統(tǒng)的RBC方法也被稱為稀疏表示分類(sparse representation classification，SRC)方法[6]。包括SRC在內(nèi)的基本所有的RBC方法都假設(shè)測試樣本可由所有訓(xùn)練樣本的線性組合來表示。SRC利用1范數(shù)極小化約束求出它的解。換句話說，SRC是在稀疏條件下求解的，該約束即假定線性組合的多個稀疏系數(shù)等于或接近于零。因此，我們還可以認(rèn)為SRC使用了所有訓(xùn)練樣本的稀疏線性組合來表示測試樣本。除了SRC，RBC方法中還有利用2范數(shù)最小化約束來實現(xiàn)分類的方法[7]，該方法稱為協(xié)同表示分類(collaborative representation classification，CRC)。用2范數(shù)最小化約束的CRC算法比SRC更簡單、更易于實現(xiàn)、效率更高。

z=XB+e

(1)

B=(XTX+λI)-1×XTz

(2)

其中，λ為標(biāo)量，I為單位矩陣。根據(jù)求解出來的B與式(3)計算每類的殘差并確認(rèn)最終分類結(jié)果

(3)

其中，ei為第i類的殘差，k為測試樣本所屬類別。殘差越小則越接近正確的分類，當(dāng)殘差最小時所歸屬的類別為測試樣本所屬類別。

1.2 差異字典

在小樣本情況下，測試樣本與訓(xùn)練樣本會具有姿態(tài)、表情和光照等變化。訓(xùn)練樣本的有限使得基于表示的分類方法會產(chǎn)生較大的誤差。即訓(xùn)練樣本集的線性組合無法近似地表示測試樣本，殘差變大，識別率降低。所以提前用訓(xùn)練樣本無關(guān)類的基準(zhǔn)樣本(即無表情、光照適中、無姿態(tài)變化的正臉)與該類具有表情、姿態(tài)和光照變換的差異樣本，構(gòu)成差異字典。然后使用訓(xùn)練樣本與差異字典的線性組合，降低或抵消測試樣本的姿態(tài)表情變化，使測試樣本更加易于被訓(xùn)練樣本線性表示。換句話說，用差異字典填補訓(xùn)練樣本，使訓(xùn)練樣本具有與測試樣本相同的姿態(tài)表情變化，可增加分類的正確率。

現(xiàn)在，將差異字典代入基于表示的分類方法中，假設(shè)選取G個無關(guān)類，每類具有M個具有光照或姿態(tài)變換的差異樣本和1個該類的基準(zhǔn)樣本，使其構(gòu)成差異字典，即

(4)

(5)

其中，B為系數(shù)，A為差異字典系數(shù)，e為殘差?？赏ㄟ^以下式(6)求解式(5)中的B和A

[BA]=([XD]T[XD]+λI)-1×[XD]Tz

(6)

利用求解出來的B和A與式(7)可得到每類的殘差

(7)

如圖1所示的ORL人臉庫中的第1類的第1個樣本作為樣本集(圖1中第1行第1幅圖為樣本集)，第1類的第10個樣本作為測試樣本(圖1中第1行第2幅圖為測試樣本)，將其代入到基于表示的分類方法中。如圖2所示式(1)中的殘差e向量重構(gòu)為殘差矩陣的圖像，即測試樣本減去訓(xùn)練樣本集線性組合后重構(gòu)圖像的殘差。并用圖1所示的GT庫的第1類的第1個樣本為基準(zhǔn)樣本(圖1中第2行第1幅圖為基準(zhǔn)樣本)，第1類的第2、3、4、5、6、8個樣本為差異樣本(圖1中第2行除第一幅圖外的圖為差異樣本)。根據(jù)式(4)構(gòu)成差異字典，將差異字典加入到基于表示的分類方法中得到其殘差矩陣，即式(5)中的殘差e向量重構(gòu)為殘差矩陣的圖像，如圖3所示，即測試樣本減去訓(xùn)練樣本集與差異字典線性組合后重構(gòu)圖像的殘差。對比圖2與圖3，可以看出圖3中的殘差要比圖2小，圖3中部區(qū)域的有很多殘差數(shù)值趨近于0，而圖2中部區(qū)域的殘差數(shù)值仍然較大。由此可以得出基于表示的分類方法加入差異字典后的分類效果要比不加的效果要好很多。

圖1 ORL庫中部分樣本與GT庫中部分樣本

圖2 RBC殘差矩陣

圖3 RBC加入差異字典后的殘差矩陣

1.3 灰度對稱臉的提出

差異字典由于其可以彌補測試樣本與訓(xùn)練樣本之間的姿態(tài)、表情差距，所以對于小樣本人臉識別有較好的效果。根據(jù)式(4)可以看出差異字典是由差異樣本減去基準(zhǔn)樣本所構(gòu)成的，這導(dǎo)致只有當(dāng)訓(xùn)練樣本為基準(zhǔn)樣本時，才能使訓(xùn)練樣本與差異字典更好地線性表示測試樣本。即如果訓(xùn)練樣本不為基準(zhǔn)樣本，則分類結(jié)果將有較大的誤差。但是對于小樣本來說，一般使用1～3個訓(xùn)練樣本，難以保證所有的訓(xùn)練樣本全為基準(zhǔn)樣本。基準(zhǔn)樣本一般為無姿態(tài)無表情變換的正臉，正臉一般都具有對稱性。所以這里使用灰度對稱臉把不是基準(zhǔn)樣本的圖像轉(zhuǎn)變?yōu)榫哂袑ΨQ性的樣本，也就是所謂的近似基準(zhǔn)樣本。

人臉具有對稱性，根據(jù)人臉的對稱性提出了對稱臉[8]，即把原始人臉根據(jù)圖像中軸線及其對稱性生成新的虛擬樣本，生成的新虛擬樣本具有對稱性，即為近似基準(zhǔn)樣本。但這種對稱臉的生成方式，只考慮了圖像位置的對稱性，所以根據(jù)圖像中軸線生成的對稱臉并不一定是最好的方法。

圖4中的虛線是將人臉圖像的灰度值矩陣壓縮為一行(即圖像灰度值按列求平均值后得到的一行灰度值)所得到的數(shù)據(jù)圖像，由上圖可以看出數(shù)據(jù)的起伏與人臉的姿態(tài)與位置有很大的關(guān)系。灰度值均值的分布可以很明顯地看出具有近似對稱性?；叶戎档膶ΨQ軸(如圖4中的三角標(biāo)記線為灰度值的對稱軸)不一定為圖像的中軸線(如圖4中的方塊標(biāo)記線為圖像的中軸線)。當(dāng)人臉為正臉時，灰度值的對稱軸與圖像的中軸線重合。但是當(dāng)人臉為側(cè)臉時，灰度值的對稱軸與圖像的中軸線并不相同。根據(jù)灰度值均值具有的近似對稱性，我們提出了灰度對稱臉。

圖4 將人臉圖像壓縮為一行后的數(shù)據(jù)圖像

α=β*u

(8)

圖5 原始圖像與灰度對稱臉

根據(jù)圖5，可以看出灰度對稱臉可以把非基準(zhǔn)臉轉(zhuǎn)變?yōu)榻苹鶞?zhǔn)臉。

為了比較灰度對稱臉和對稱臉，誰對于差異字典有更好的提升。于是以圖6所示的ORL庫的第37類的10幅人臉圖像作為實驗對象，以第1～9幅人臉圖像中第n幅作為原始訓(xùn)練樣本，對其分別進行灰度對稱臉或?qū)ΨQ臉生成虛擬樣本組成訓(xùn)練樣本集，以第37類的第10幅圖像為測試樣本。以GT庫的前25類的第1個樣本為基準(zhǔn)樣本，前25類的第2、3、4、5、6、8個樣本為差異樣本構(gòu)成差異字典。最后代入到式(7)中求出殘差值ei。ei的數(shù)值如圖7所示，其中方塊標(biāo)記虛線表示用灰度對稱臉生成虛擬樣本組成訓(xùn)練樣本集代入到式(7)中的殘差值曲線，圓圈標(biāo)記虛線表示用對稱臉生成虛擬樣本組成訓(xùn)練樣本集代入到式(7)中的殘差值曲線。根據(jù)圖7，可以看出灰度對稱臉結(jié)合差異字典大多數(shù)情況下比對稱臉的殘差值更小，對于差異字典有更好的提升效果。于是本文提出了根據(jù)圖像灰度均值分布，用以確定對稱軸所在位置的灰度對稱臉生成方法。

圖6 ORL庫的第37類的人臉圖像

圖7 加入灰度對稱臉或?qū)ΨQ臉的差異字典殘差對比

1.4 算法流程

為了在小樣本情況下使人臉識別效果較好，我們加入差異字典的基于表示的分類方法。因為差異字典只有在訓(xùn)練樣本為基準(zhǔn)樣本時效果較好，于是又進一步加入了灰度對稱臉來提高識別率。本文所提出方法的具體步驟如下：

步驟1 每類取1、2或3個訓(xùn)練樣本初步構(gòu)建訓(xùn)練樣本集，并應(yīng)用灰度對稱臉方法生成左、右灰度對稱臉。并將訓(xùn)練樣本與左、右灰度對稱臉結(jié)合構(gòu)成新的訓(xùn)練樣本集X。之后選取與訓(xùn)練樣本無關(guān)的類用于生成差異字典，取無關(guān)類中的基準(zhǔn)樣本(基準(zhǔn)樣本一般為每類的第一個樣本)和差異樣本根據(jù)式(4)生成無關(guān)類的差異字典D；

步驟2 將訓(xùn)練樣本集X與差異字典D分別進行歸一化，即每列除以列平均值。將歸一化后的訓(xùn)練樣本集X與差異字典D代入到式(6)中，求出系數(shù)矩陣B與差異字典系數(shù)矩陣A；

本文算法的具體流程如圖8所示。

2 實驗數(shù)據(jù)及分析

我們在ORL、GT和FERET人臉庫分別進行了所提人臉識別算法的測試。根據(jù)測試數(shù)據(jù)，不僅可以驗證該算法在處理小樣本訓(xùn)練方面是否有效，而且還可以驗證該算法對姿態(tài)、表情變化是否具有魯棒性。此外，為了驗證我們提出算法的性能，這里將本文算法與多重表示和稀疏表示算法(multiple representations and sparse representation algorithm,MRSR)[9]，基于常規(guī)和逆表示的線性回歸分類(conventional and inverse representation-based linear regression classification，CIRLRC)[10]，基于無噪聲表示的分類(noise-free representation based classification，NFRBC)[11]，局部通用表示(LGR)，集成稀疏和協(xié)同表示分類(integrating sparse and collaborative representation classifications，ISCRC)[12]，判別稀疏表示法(discriminative sparse representation method，DSRM)[13]，以及原始對稱臉結(jié)合差異字典基于表示的分類算法和差異字典基于分類表示的算法進行了比對。

圖8 本文算法流程

2.1 ORL人臉庫

ORL庫共有400張人臉圖像，包含40名受試者的人臉圖像，每人各有10幅圖像。這些人臉圖像由不同的光照，不同的面部表情，以及不同的姿態(tài)組成。每幅圖像的大小為56×46的像素矩陣，為了方便后續(xù)差異字典的圖像提取，我們在實驗中將訓(xùn)練樣本、測試樣本以及差異樣本全都縮放為36×36的灰度像素矩陣。實驗中，以O(shè)RL庫每人前1、2、3幅圖像及其灰度對稱臉為訓(xùn)練樣本，ORL庫中除訓(xùn)練樣本以外的圖像為測試樣本。取GT庫的前25類構(gòu)成差異字典，每類的第1張圖像為差異字典的基準(zhǔn)樣本，第2、3、4、5、6、8張圖像為差異字典的差異樣本，λ=0.12，β=0.6。圖9展示了部分ORL庫和GT庫的圖像，第一行為ORL庫部分圖像，第二行為GT庫部分圖像。表1是對比算法和本文算法在ORL庫上的實驗結(jié)果，以錯誤率的形式表示。

圖9 ORL庫部分圖像與GT庫部分圖像

根據(jù)表1可看出與現(xiàn)有算法相比，所提算法在處理ORL數(shù)據(jù)庫小樣本情況中光照、姿態(tài)、表情變化方面具有更好的性能和更好的識別精度。對比差異字典和原始對稱臉差異字典的識別率，可得出灰度對稱臉可以更好發(fā)揮差異字典的作用，并改善訓(xùn)練樣本為非基準(zhǔn)臉情況的識別效果。

2.2 GT人臉庫

GT數(shù)據(jù)庫包含50個人的面部圖像，每個人都有15幅背景復(fù)雜的彩色圖像。圖像由不同表情、不同光照條件和不同角度的正面人臉構(gòu)成。我們移動每個圖像的背景，并將它們轉(zhuǎn)換成灰度圖像。為了方便后續(xù)差異字典的圖像提取，在實驗中將訓(xùn)練樣本、測試樣本以及差異樣本全都縮放為34×34的灰度像素矩陣。實驗中，以GT庫每人前1、2、3幅圖像及其灰度對稱臉為訓(xùn)練樣本，GT庫中除訓(xùn)練樣本以外的圖像為測試樣本。取ORL庫的前25類構(gòu)成差異字典，每類的第1張圖像為差異字典的基準(zhǔn)樣本，第2、4、5、8張圖像為差異字典的差異樣本，λ=0.3，β=0.5。表2是對比算法和本文算法在GT庫上的實驗結(jié)果，以錯誤率的形式表示。

表1 算法在ORL庫上的實驗結(jié)果(錯誤率/%)

根據(jù)表2可以看出，所提出的算法對于GT庫的表情變化、光照變化和角度偏轉(zhuǎn)等方面具有較好的魯棒性。因為GT數(shù)據(jù)庫中的人臉背景是復(fù)雜的，使其不利于基于表示的分類算法。但灰度對稱臉和差異字典對于基于表示分類的分類方法具有很好的提升效果。

表2 算法在GT庫上的實驗結(jié)果(錯誤率/%)

2.3 FERET人臉庫

我們使用FERET數(shù)據(jù)庫的一個子集來測試我們的方法。該子集由來自200個人的1400張圖像組成，每個人提供7幅圖像，圖像顯示了不同表情、和不同角度的人臉。我們使用其中前100類的第1、2、3幅圖像組成訓(xùn)練樣本集，每類的其余圖片作為測試樣本。取后100類的每類第1幅圖像作為差異字典的基準(zhǔn)樣本集，其余樣本為差異字典的差異樣本集，并將全部圖像的大小調(diào)整為40×40的灰度圖像。λ=0.04，β=0.56。其它對照算法也使用前100類做訓(xùn)練樣本集和測試樣本集，以便進行算法比較。圖10展示了部分FERET庫的部分圖像。表3是對比算法和本文算法在FERET庫上的實驗結(jié)果，以錯誤率的形式表示。

圖10 FERET庫部分圖像

表3 算法在FERET庫上的實驗結(jié)果(錯誤率/%)

根據(jù)表3可看出本文的算法在姿態(tài)以及表情變換的小樣本問題，得到了較好的實驗結(jié)果。雖然在第1張圖片作為訓(xùn)練樣本時，本文算法不如差異字典，是因為FERET庫的大多數(shù)類的第1張樣本具有左右臉不對稱性，例如左右眉毛的起伏不同，左右臉的表情不同，頭部的搖擺角度偏轉(zhuǎn)等。所以FERET庫的第1張樣本不適合做對稱變換。但本文算法在小樣本的大多數(shù)情況下，效果要比其它算法好。

3 結(jié)束語

為了應(yīng)對在小樣本情況下，測試樣本與訓(xùn)練樣本具有很大差異的情況，本文引入了差異字典，使其可以根據(jù)無關(guān)類的差異變化而縮小測試樣本與訓(xùn)練樣本之間的差異，改善分類結(jié)果。但差異字典只有在訓(xùn)練樣本為基準(zhǔn)樣本時，才能有較好的效果。于是本文提出灰度對稱臉，即根據(jù)人臉圖像灰度值均值分布具有對稱性而將非基準(zhǔn)臉轉(zhuǎn)換為近似基準(zhǔn)臉，以提高基于表示分類的差異字典的性能。實驗結(jié)果表明，灰度對稱臉與差異字典結(jié)合的基于表示的分類算法在小樣本情況下的人臉識別有很好的效果。