融合原始樣本和虛擬樣本的人臉識別算法

項(xiàng)曉麗，武　圣，龍　偉，武和雷

(1.南昌大學(xué) 信息工程學(xué)院，江西 南昌　330031；2.山東大學(xué) 軟件學(xué)院， 山東 濟(jì)南　250100)

?

融合原始樣本和虛擬樣本的人臉識別算法

項(xiàng)曉麗1，武圣2，龍偉1，武和雷1

(1.南昌大學(xué) 信息工程學(xué)院，江西 南昌330031；2.山東大學(xué) 軟件學(xué)院， 山東 濟(jì)南250100)

由于有限的存儲容量和捕獲圖片的時(shí)間，實(shí)際的人臉識別系統(tǒng)往往只能獲得少量的訓(xùn)練樣本，但是，在小訓(xùn)練樣本情況下大多數(shù)人臉識別算法都會(huì)遇到困難。因此，為了提高人臉識別的分類正確率，提出了一種融合原始樣本和虛擬樣本的人臉識別方法。該方法先利用人臉的對稱性來構(gòu)造虛擬訓(xùn)練樣本；然后，利用協(xié)同表示方法分別對原始訓(xùn)練樣本和虛擬訓(xùn)練樣本進(jìn)行分析，并且分別得到每一類訓(xùn)練樣本的重建誤差；最后，將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合并得到最終的分類結(jié)果。大量的實(shí)驗(yàn)結(jié)果比較分析表明，該方法可以獲得更好的識別效果。

人臉識別；小訓(xùn)練樣本；協(xié)同表示方法；虛擬樣本；加權(quán)融合；重建誤差

人臉識別是模式識別和圖像處理中的一項(xiàng)關(guān)鍵技術(shù)[1]，廣泛應(yīng)用于刑偵破案、視頻監(jiān)控、證件核對、姿態(tài)識別等方面[2]。在過去的幾十年里，研究者們已經(jīng)提出了許多人臉識別算法[3]。其中，比較經(jīng)典的是主成分分析(Principal Component Analysis，PCA)[4]方法和線性鑒別分析(Linear Discriminant Analysis，LDA)[5]方法。這兩種方法都是通過投影變換獲得原始圖像的低維特征，從而達(dá)到降維的目的。在獲取人臉特征以后，結(jié)合分類器即可完成識別分類。目前，應(yīng)用較廣泛的是最近鄰分類器(NNC)[6]。最近鄰分類器根據(jù)離測試樣本最近的一個(gè)訓(xùn)練樣本來進(jìn)行樣本的識別分類，但NNC的分類結(jié)果易受噪聲或異常樣本影響。

2009年，Wright等人將稀疏表示引入人臉識別問題中[7]，提出了稀疏表示分類器(Sparse Representation based Classification，SRC)，該方法的基本思想是首先將測試樣本表示為所有訓(xùn)練樣本的一個(gè)稀疏的線性組合，這里“稀疏”的意思指：在將測試樣本表示為所有訓(xùn)練樣本的一個(gè)線性組合時(shí)，一些訓(xùn)練樣本所對應(yīng)的系數(shù)的值為零或接近于零；然后SRC利用范數(shù)最小化技巧來獲得最稀疏的解；最后，根據(jù)每一類訓(xùn)練樣本對測試樣本的重建誤差做出分類決策。實(shí)驗(yàn)證明SRC可以獲得令人滿意的結(jié)果，且SRC對光照、噪聲、遮擋具有較強(qiáng)的魯棒性。隨后，人們對基于稀疏的人臉識別方法進(jìn)行了大量研究。盡管SRC可以在人臉識別中取得非常好的分類結(jié)果，但人們依然不清楚它的潛在理論基礎(chǔ)，因此，相關(guān)研究提出基于SRC的人臉識別中協(xié)同性比稀疏性更重要，例如，Shi等人提出基于范數(shù)的算法可以媲美于基于范數(shù)的算法[8]；Zhang等人提出了一種協(xié)同表示分類器(Collaborative representation based classification，CRC)[9]，CRC采用了正則化范數(shù)最小化技巧，實(shí)驗(yàn)證明CRC與SRC可以獲得相當(dāng)?shù)姆诸惤Y(jié)果，但CRC具有更高的運(yùn)算效率。

目前，大多數(shù)人臉識別算法非常依賴于訓(xùn)練樣本，這些算法進(jìn)行分類識別的前提之一就是假設(shè)有足夠多的訓(xùn)練樣本。如果沒有足夠多的訓(xùn)練樣本，那么這些算法的性能會(huì)受到嚴(yán)重影響，甚至無法進(jìn)行識別。然而，在實(shí)際的人臉識別系統(tǒng)中，由于有限的存儲容量和捕獲圖片的時(shí)間，往往只能獲得少量的訓(xùn)練樣本，即實(shí)際中的人臉識別更有可能是一個(gè)小樣本問題[10]。為了獲得更好的人臉識別結(jié)果，研究人員提出了合成虛擬樣本來擴(kuò)充訓(xùn)練樣本集，如Thian等人利用簡單的幾何變換來構(gòu)造虛擬樣本[11]；Tang等人通過在原始訓(xùn)練樣本上增加噪聲來構(gòu)造虛擬樣本[12]；Xu等人利用人臉的對稱性來構(gòu)造虛擬樣本[13]，這也是第一次在人臉識別中提出對稱臉的概念。

為了有效地解決小樣本情況下的人臉識別分類問題，本文提出一種融合原始樣本和虛擬樣本的人臉識別方法(Fusion of Original Sample and Virtual Sample Method，F(xiàn)OSVSM)。該方法先利用人臉的對稱性來構(gòu)造虛擬樣本；然后利用協(xié)同表示方法分別對原始訓(xùn)練樣本和虛擬訓(xùn)練樣本進(jìn)行分析，并且分別得到每一類訓(xùn)練樣本的重建誤差；最后，將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合并得到最終的分類結(jié)果。人臉具有對稱結(jié)構(gòu)，不僅面部結(jié)構(gòu)是對稱的，而且面部表情也是對稱的，因此，根據(jù)人臉的對稱性所構(gòu)造的虛擬樣本能夠反映某些情況下的可能的人臉變化，這也就是說，本文所提的方法能夠有效地解決小樣本問題。

1　融合原始樣本和虛擬樣本的方法(FOSVSM)

假設(shè)存在L個(gè)不同的模式類別，且每一類包含n個(gè)訓(xùn)練樣本，x1,x2,…,xN代表所有的N個(gè)訓(xùn)練樣本(N=n×L)，若某個(gè)訓(xùn)練樣本來自第i類，則它的類標(biāo)簽是i。FOSVSM主要包含三個(gè)階段。FOSVSM的第一階段是構(gòu)造原始訓(xùn)練樣本的左、右對稱臉并產(chǎn)生虛擬訓(xùn)練樣本集；FOSVSM的第二階段是利用協(xié)同表示方法分別對原始訓(xùn)練樣本和虛擬訓(xùn)練樣本進(jìn)行分析，并且分別得到每一類訓(xùn)練樣本的重建誤差；FOSVSM的第三階段是將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合并得到最終的分類結(jié)果。

1.1構(gòu)造虛擬訓(xùn)練樣本

(1)

(2)

1.2協(xié)同表示分類器(CRC)

FOSVSM的第二階段是利用協(xié)同表示方法分別對原始訓(xùn)練樣本和虛擬訓(xùn)練樣本進(jìn)行分析，并且分別得到每一類訓(xùn)練樣本的重建誤差。FOSVSM需要利用協(xié)同表示方法分別對原始訓(xùn)練樣本集和虛擬訓(xùn)練樣本集進(jìn)行分析，但為了方便介紹，這里只描述CRC在原始訓(xùn)練樣本集上的分析過程。

根據(jù)1.1節(jié)內(nèi)容，訓(xùn)練樣本集為X，現(xiàn)在給定某個(gè)測試樣本y，CRC首先假設(shè)存在下面的等式

y=Xα

(3)

然后，CRC利用正則化最小二乘方法對式(3)進(jìn)行求解，可以得到式(3)的解為α=(XTX+λI)-1XTy。其中，λ是一個(gè)很小的正數(shù)；I是一個(gè)單位矩陣。

在獲得系數(shù)解α之后，即可求得第i類訓(xùn)練樣本對測試樣本y的重建誤差

(4)

其中，Xi=[x(i-1)×n+1,…,xi×n]表示第i類原始訓(xùn)練樣本；αi表示第i類原始訓(xùn)練樣本對應(yīng)的解向量。

同樣地，可以按上述過程對虛擬訓(xùn)練樣本集進(jìn)行分析，則將虛擬訓(xùn)練樣本集的第i類訓(xùn)練樣本對測試樣本的重建誤差表示如

(5)

1.3加權(quán)融合

FOSVSM的第三階段是將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合并得到最終的分類結(jié)果。根據(jù)第1.2節(jié)的內(nèi)容可知，原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的第i類訓(xùn)練樣本的重建誤差分別為ri和vi，將它們進(jìn)行加權(quán)融合并作為第i類訓(xùn)練樣本對測試樣本的最終的重建誤差，表示為freci，則有

freci=w1ri+w2vi,i=1,2,…,L

(6)

其中，w1和w2表示進(jìn)行加權(quán)融合時(shí)的權(quán)值，且有w1+w2=1。

最后，根據(jù)每一類訓(xùn)練樣本對測試樣本的最終的重建誤差，將測試樣本分類給具有最小重建誤差的那類，即若frecl=minfreci，則測試樣本被分類識別為第l類。

總的來說，F(xiàn)OSVSM方法的主要算法步驟可表示如下：

1)由式(1)和(2)構(gòu)造原始訓(xùn)練樣本的左、右對稱臉并組成一個(gè)虛擬的訓(xùn)練樣本集；

2)根據(jù)式(4)和(5)分別計(jì)算原始訓(xùn)練樣本集和虛擬訓(xùn)練樣本集對測試樣本的第i類重建誤差；

3)將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合，即根據(jù)式(6)計(jì)算第i類訓(xùn)練樣本對測試樣本的最終的重建誤差；

4)根據(jù)每一類訓(xùn)練樣本對測試樣本的最終的重建誤差，將測試樣本分類給具有最小重建誤差的那類，即若frecl=minfreci，則測試樣本被分類識別為第l類。

2　實(shí)驗(yàn)結(jié)果及分析

為了測試本文算法的性能，利用ORL和AR人臉數(shù)據(jù)庫進(jìn)行人臉識別實(shí)驗(yàn)。ORL數(shù)據(jù)庫總共有400幅人臉圖像，分別來自40個(gè)人，即每一個(gè)人包含10幅圖像。這些人臉圖像分別是在不同的時(shí)期、不同表情(如笑與不笑)和不同細(xì)節(jié)(如戴眼鏡和不戴眼鏡)等條件下獲取的，圖1表示來自于ORL數(shù)據(jù)庫的一些人臉圖像及其對應(yīng)的左、右對稱臉。AR數(shù)據(jù)庫包含126個(gè)人共4 000多幅彩色圖像，其中有70名男性和56名女性。這些人臉圖像是分兩個(gè)批次采集完成的，包含不同的表情、不同的光照和遮擋物。本文選取AR數(shù)據(jù)庫的一部分圖像進(jìn)行實(shí)驗(yàn)，包括120個(gè)人，每人26幅圖像，共3 120幅圖像，且所有的圖像在實(shí)驗(yàn)前均被轉(zhuǎn)化成灰度圖像，圖2表示來自于AR數(shù)據(jù)庫的一些人臉圖像及其對應(yīng)的左、右對稱臉。

圖1　來自O(shè)RL數(shù)據(jù)庫的一些人臉圖像及其對應(yīng)的左、右對稱臉

圖2　來自AR數(shù)據(jù)庫的一些人臉圖像及其對應(yīng)的左、右對稱臉

2.1ORL數(shù)據(jù)庫實(shí)驗(yàn)

對于ORL數(shù)據(jù)庫，本文分別選取每人的前1，2，3幅圖像作為訓(xùn)練樣本，剩余的圖像作為測試樣本，因此，訓(xùn)練樣本總數(shù)分別為40，80，120，相應(yīng)的測試樣本總數(shù)分別為360，320，280。在實(shí)驗(yàn)前利用下采樣方法[14]將所有的圖像裁剪為56×46大小。為了驗(yàn)證FOSVSM算法的有效性，本文將FOSVSM算法的實(shí)驗(yàn)結(jié)果分別與CRC_OR，CRC_VI，SRC等方法的實(shí)驗(yàn)結(jié)果進(jìn)行對比，其中，CRC_OR表示協(xié)同表示方法在原始訓(xùn)練樣本集上進(jìn)行實(shí)驗(yàn)分析；CRC_VI表示協(xié)同表示方法在虛擬訓(xùn)練樣本集上進(jìn)行實(shí)驗(yàn)分析。對比結(jié)果如表1所示。

表1在ORL數(shù)據(jù)庫上的算法的識別率

%

算法每一類的訓(xùn)練樣本數(shù)123FOSVSM(w2=0.8)69.1783.1287.50FOSVSM(w2=0.7)69.4484.0686.79CRC_OR68.0683.4486.07CRC_VI65.8376.2580.00SRC69.5677.8183.93

從表1可以看出，F(xiàn)OSVSM算法總能獲得更高的識別率。例如，當(dāng)每一類的訓(xùn)練樣本數(shù)為2時(shí)，F(xiàn)OSVSM(w1=0.7)的識別率比CRC_OR，CRC_VI和SRC分別高了0.62%，7.81%和6.25%。比較CRC_OR和SRC的結(jié)果可知，CRC_OR能夠獲得與SRC相當(dāng)?shù)淖R別率，甚至更高的識別率，但CRC算法的運(yùn)算效率更高，這證明FOSVSM算法中利用CRC方法進(jìn)行實(shí)驗(yàn)分析能在一定程度上提高運(yùn)算效率。從表1可以得知：當(dāng)每一類的訓(xùn)練樣本數(shù)由1到3變化時(shí)，F(xiàn)OSVSM算法的識別率總是高于CRC_OR的識別率，這說明增加訓(xùn)練樣本數(shù)確實(shí)能夠提高分類識別率；同樣地，在不同的權(quán)值條件下，F(xiàn)OSVSM算法的識別率總是高于CRC_OR和CRC_VI的識別率，這說明FOSVSM算法將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合確實(shí)能夠提高識別率。

2.2AR數(shù)據(jù)庫實(shí)驗(yàn)

對于AR數(shù)據(jù)庫，本文分別選取每人的前13，14，15幅圖像作為訓(xùn)練樣本，剩余的圖像作為測試樣本，因此，訓(xùn)練樣本總數(shù)分別為1 560，1 680，1 800，相應(yīng)的測試樣本總數(shù)分別為1 560，1 440，1 320。同樣地，在實(shí)驗(yàn)前利用下采樣方法[14]將所有的圖像裁剪為50×40大小。實(shí)驗(yàn)結(jié)果如表2所示。

從表2可以看出，F(xiàn)OSVSM算法往往能獲得更高的識別率。例如，當(dāng)每一類的訓(xùn)練樣本數(shù)為13時(shí)，F(xiàn)OSVSM(w1=0.7)的識別率比CRC_OR、CRC_VI和SRC

表2在AR數(shù)據(jù)庫上的算法的識別率 %

算法每一類的訓(xùn)練樣本數(shù)131415FOSVSM(w2=0.8)71.9985.2188.41FOSVSM(w2=0.7)71.6785.0788.11CRC_OR71.0385.1488.18CRC_VI64.1772.8577.42SRC67.6383.2683.18

分別高了0.64%，7.50%和4.40%。從表2可知，CRC_OR的識別率總是高于SRC的識別率，這再次證明了FOSVSM算法中利用CRC方法進(jìn)行實(shí)驗(yàn)分析能在一定程度上提高運(yùn)算效率。同樣地，表2中的結(jié)果也再次證明了增加訓(xùn)練樣本數(shù)且對原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合確實(shí)能提高人臉識別率。

3　結(jié)束語

本文提出了一種融合原始樣本和虛擬樣本的人臉識別方法，該方法包含三個(gè)階段。第一階段通過構(gòu)造原始訓(xùn)練樣本的左、右對稱臉來產(chǎn)生虛擬訓(xùn)練樣本集；從圖1和圖2可以看出，對稱臉確實(shí)反映了某些情況下的可能的人臉變化，從表1和表2的結(jié)果可知，增加訓(xùn)練樣本數(shù)確實(shí)能提高算法的識別率。第二階段利用協(xié)同表示方法分別對原始訓(xùn)練樣本和虛擬訓(xùn)練樣本進(jìn)行分析，并且分別得到每一類訓(xùn)練樣本的重建誤差；從表1和表2的結(jié)果可知，CRC_OR總能獲得與SRC相當(dāng)?shù)淖R別率，甚至更高的識別率，但CRC算法具有更高的運(yùn)算效率，這就證明FOSVSM算法能在一定程度上提高運(yùn)算效率。第三階段是將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合并得到最終的分類結(jié)果；從表1和表2的結(jié)果可知，F(xiàn)OSVSM算法將原始訓(xùn)練樣本和虛擬訓(xùn)練樣本的同一類重建誤差進(jìn)行加權(quán)融合確實(shí)能夠提高識別率。上述實(shí)驗(yàn)結(jié)果表明，F(xiàn)OSVSM算法能有效地解決小樣本問題，且能獲得較好的識別結(jié)果。

[1]ZHUNB，LIST.Akernel-basedsparserepresentationmethodforfacerecognition[J].Neuralcomput&applic，2014(24)：845-852.

[2]朱明旱，李數(shù)濤，葉華. 稀疏表示分類中遮擋字典構(gòu)造方法的改進(jìn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26(11)：2064-2069

[3]周激流，張曄. 人臉識別理論研究進(jìn)展[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，1998，11(2)：180-184.

[4]TURKM，PENTLENDA.Eigenfacesforrecognition[J].Cognitiveneuroscience，1991，3(1)：7l-86.

[5]BELHUMEURPN，HESPANHAJP，KRIEGMANDJ.Eigenfacesvs.fisherfaces：recognitionusingclassspecificlinearprojection[J].IEEEtransactionsonpatternanalysis&machineintelligence，1997， 19(7)：711-720.

[6]COVERT，HARTP.Nearestneighborpatterclassification[J].IEEEtransactionsoninformationtheory，1967，13(1)：21-27.

[7]WRIGHTJ，YANGAY，GANESHA，etal.Robustfacerecognitionviasparserepresentation[J].IEEEtransactionsonpatternanalysis&machineintelligence，2008， 31(2)：210-227.

[8]SHIQ，ERIKSSONA，HENGELAVD，etal.IsfacerecognitionreallyaCompressiveSensingproblem?[C]//IEEEConferenceonComputerVision&PatternRecognition. [S.l.]：IEEE，2011：553-560.

[9]ZHANGL，YANGM，F(xiàn)ENGX.Sparserepresentationorcollaborativerepresentation：Whichhelpsfacerecognition[C]//Proc.IEEEInt.Conf.Comput.Vision. [S.l.]：IEEE，2011：471-478.

[10]QIAOL，CHENS，TANX.Sparsitypreservingdiscriminantanalysisforsingletrainingimagefacerecognition[J].Patternrecognit.lett.，2010，31 (5) ：422-429.

[11]THIANNPH，MARCELS，BENGIOS.Improvingfaceauthenticationusingvirtualsamples[C]//Proc.IEEEInternationalConferenceonAcoustics，Speech，andSignalProcessing. [S.l.]：IEEE，2003：6-10.

[12]TANGDY，ZHUNB，F(xiàn)UY，etal.Anovelsparserepresentationmethodbasedonvirtualsamplesforfacerecognition[J].Neuralcomputing&applications， 2014， 24(3)：513-519.

[13]XUY，ZHUX，LIZ，etal.Usingtheoriginaland‘symmetricalface’trainingsamplestoperformrepresentationbasedtwo-stepfacerecognition[J].Patternrecognition，2013，46 (4) ：1151-1158.

[14]XUY，JINZ.Down-samplingfaceimagesandlow-resolutionfacerecognition[C]//Proc.InternationalConferenceonInnovativeComputingInformationandControl. [S.l.]：IEEE，2008：392-392.

項(xiàng)曉麗(1988— )，女，碩士生，主研模式識別、圖像處理；

武圣(1996— )，本科生，主研模式識別與智能系統(tǒng)、信息安全技術(shù)；

龍偉(1952— )，教授，主要研究方向?yàn)槟Ｊ阶R別與智能系統(tǒng)；

武和雷(1965— )，教授，主要研究方向?yàn)槟Ｊ阶R別與圖像處理、智能機(jī)器人。

責(zé)任編輯：閆雯雯

Face recognition based on the fusion of original sample and virtual sample

XIANG Xiaoli1，WU Sheng2，LONG Wei1，WU Helei1

(1.SchoolofInformationEngineering，NanchangUniversity，Nanchang330031，China；2.SoftwareCollege，ShandongUniversity，Jinan250100，China)

A real face recognition system often can obtain only a small number of training samples because of the limited storage space and the limited time of capturing images. However， most face recognition algorithms will encounter difficulties in the case of small training samples. Therefore，a new face recognition method based on the fusion of original sample and virtual sample is proposed to improve the classification accuracy of face recognition. First， the proposed method exploit the symmetry of the face to generate virtual samples. Then， it use the collaborative representation method to perform the original and virtual training samples classification， respectively and it will obtain reconstruction error of every class. Finally， it combines the reconstruction error of the same class obtained by the original and virtual training samples to conduct weighted fusion and gets the ultimate classification result. A large number of experimental results show that the proposed method can obtain better recognition effect.

face recognition； small training samples； collaborative representation method； virtual samples； weighted fusion； reconstruction error

TP391

A

10.16280/j.videoe.2016.09.024

國家自然科學(xué)基金項(xiàng)目(61261011)

2015-11-21

文獻(xiàn)引用格式：項(xiàng)曉麗，武圣，龍偉，等. 融合原始樣本和虛擬樣本的人臉識別算法[J].電視技術(shù)，2016，40(9)：117-121.

XIANG X L，WU S，LONG W，et al. Face recognition based on the fusion of original sample and virtual sample[J]. Video engineering，2016，40(9)：117-121.