人臉相似性特征分析與提取方法

周雷雷, 蔣行國(guó), 李海鷗

(1.桂林電子科技大學(xué) 信息與通信學(xué)院,廣西 桂林 541004;2.四川輕化工大學(xué) 自動(dòng)化與信息工程學(xué)院,四川 宜賓 644000)

隨著計(jì)算機(jī)視覺的快速發(fā)展,人臉識(shí)別[1-2]這一非接觸性、具有可視化性特點(diǎn)的生物特征識(shí)別技術(shù)應(yīng)運(yùn)而生,并在人們生活中扮演著不可或缺的角色。人臉特征的提取是人臉識(shí)別技術(shù)中最關(guān)鍵的一步,特征提取及特征融合不但從原始模式信息中提取出最有利于模式分類的特征,而且極大地降低模式樣本的維數(shù)[3-5]。因此,如何選取并提取穩(wěn)定可靠的人臉特征是人臉識(shí)別技術(shù)中迫切需要解決的問(wèn)題[6]。

近年來(lái),一些基于組合特征的人臉識(shí)別方法相繼出現(xiàn),相對(duì)于單一的人臉特征,組合特征可以實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ),囊括更多的人臉信息,獲得更優(yōu)的人臉識(shí)別效果[7-8]。文獻(xiàn)[9]提出一種基于線性融合表示分類的人臉識(shí)別方法,將原始訓(xùn)練樣本與原始訓(xùn)練樣本圖像對(duì)應(yīng)的新獲得的鏡像用作線性回歸分類(LRC)的訓(xùn)練集,然后生成每個(gè)圖像的逆圖像,并將逆訓(xùn)練圖像用于執(zhí)行協(xié)作表示分類(CRC),最后采用分?jǐn)?shù)級(jí)融合特征完成人臉?lè)诸?經(jīng)實(shí)驗(yàn)表明,該方法具有非常有競(jìng)爭(zhēng)力的分類結(jié)果。文獻(xiàn)[10]提出一種新穎的多極特征融合模型(MFFM),MFFM 由兩部分組成,第一部分包含一系列功能模塊,是一種用于對(duì)一個(gè)高級(jí)功能進(jìn)行建模的體系結(jié)構(gòu),對(duì)其進(jìn)行訓(xùn)練可以提取每個(gè)輸入圖像的多個(gè)屬性部分中最具有辨別性的特征。第二部分是將手工設(shè)計(jì)特征與深度特征相融合,利用HOG和LBP 依次計(jì)算統(tǒng)計(jì)梯度和圖像各像素的LBP特征,該模型在數(shù)據(jù)集中進(jìn)行測(cè)試,獲得了很好的效果。文獻(xiàn)[11]提出一種針對(duì)卷積連接模型的特征和體系結(jié)構(gòu)優(yōu)化的集成方法,可選擇具有良好辨別能力的單個(gè)特征,并提取具有相同目標(biāo)特征的非線性組合,但無(wú)法提取不同特征之間的非線性相關(guān)關(guān)系。人臉圖像特征中,非線性的特征同樣是重要特征,文獻(xiàn)[12]利用核函數(shù)方法提取像素高階相關(guān)信息,并與線性SVM 相結(jié)合進(jìn)行人臉識(shí)別,實(shí)驗(yàn)結(jié)果表明,非線性特征的提取是有效的。文獻(xiàn)[13]利用局部線性嵌套(locally linear embedding,簡(jiǎn)稱LLE)[14-15]和線性判別分析(linear discriminant analysis,簡(jiǎn)稱LDA)[16-17],通過(guò)優(yōu)化核特征空間中的目標(biāo)函數(shù)提取非線性特征,充分利用了訓(xùn)練數(shù)據(jù)的非線性結(jié)構(gòu)和類特定信息。核函數(shù)方法提取的是像素的高階相關(guān)信息,提取的非線性特征不包含低階像素的信息,而LLE側(cè)重于保留局部領(lǐng)域結(jié)構(gòu)的信息。非線性特征不僅存在于單一人臉圖像上,文獻(xiàn)[18-19]在人臉圖像上運(yùn)用了ICA(independent component analysis)的2種不同架構(gòu),其中一種架構(gòu)是將像素視為隨機(jī)變量,將人臉圖片當(dāng)作觀察值,找到面部空間的基礎(chǔ)圖像,為面部圖像提供統(tǒng)計(jì)獨(dú)立的基礎(chǔ)集,可以將其視為一組獨(dú)立的面部特征圖像,該算法是PCA(principal component analysis)[20]算法的一種推廣,在找到一組基圖像并將面部表示為這組基圖像的自適應(yīng)加權(quán)系數(shù)融合方面優(yōu)于基于PCA的表示。ICA的這種架構(gòu)將單一人臉圖像上的特征擴(kuò)展到了人臉與人臉之間的特征的關(guān)系,且可以求出相互統(tǒng)計(jì)獨(dú)立的系數(shù),但對(duì)應(yīng)于相應(yīng)的基圖像則可能不是統(tǒng)計(jì)獨(dú)立的,冗余的基圖像增加了數(shù)據(jù)的復(fù)雜度。

鑒于此,提出一種人臉相似性特征的概念,并給出其提取方法,在面貌相似的雙胞胎或者不同年齡的同一個(gè)人的人臉圖像中分析提取一組統(tǒng)計(jì)獨(dú)立的相似性特征,通過(guò)用這組相似性特征進(jìn)行自適應(yīng)加權(quán)融合來(lái)描述其他的人臉圖像。

1 相似性特征的定義

盡管隨著時(shí)間或環(huán)境的改變,雙胞胎、多胞胎或者處在不同年齡階段的同一個(gè)人的面部圖像會(huì)發(fā)生部分改變,但他們的面部仍具有高度的相似性,這種相似是由于他們對(duì)應(yīng)部分的基因組成相似或相同。人類的基因是由相應(yīng)的基因片段按不同的排列順序組成的,他們的人臉中存在如人體基因一樣的某些特征,這些特征受外界因素的影響較小,具有很大的相似性和穩(wěn)定性,并在不同的人臉中有著不同的組成方式。將這些特征定義為相似性特征,相似性特征是由雙胞胎、多胞胎或者處在不同年齡階段的同一個(gè)人的人臉圖像中發(fā)生變化的像素組成的特征圖像。每張人臉都可看作是由很多個(gè)不同的相似性特征線性組合而成,并且在不同的人臉中相似性特征有著不同的組合方式。如圖1所示,人臉圖像由相似性特征的一個(gè)線性組合表示。人臉圖像可由相似性特征(c1,c2,…,c n)和系數(shù)(b1,b2,…,b n)的線性組合來(lái)表示,并且在不同的人臉圖像中相似性特征的組合系數(shù)(b1,b2,…,b n)也不盡相同。其中,單個(gè)相似性特征是從一組人臉圖像中訓(xùn)練提取得到,呈現(xiàn)一張人臉圖像的大致輪廓,每個(gè)相似性特征都融合了這一組訓(xùn)練樣本的大致人臉信息,相似性特征的融合是每個(gè)樣本類中人臉樣本信息的整合,能夠更好地表達(dá)待識(shí)別的人臉圖像。

圖1 人臉圖片表示為相似性特征的一個(gè)線性組合

相似性特征獨(dú)具代表性,相較于人臉其它的特征又具有較好的穩(wěn)定性。從訓(xùn)練圖像中得到一組相似性特征后,理論上可以將任何正面人臉圖像用這組相似性特征的線性組合進(jìn)行描述。

2 基于歐式距離的相似性特征提取

2.1 相似性特征分析

設(shè)數(shù)據(jù)集中共有c個(gè)樣本類,每個(gè)樣本類中包含k個(gè)大小為M×N的訓(xùn)練樣本,將各個(gè)樣本類中的訓(xùn)練樣本進(jìn)行標(biāo)準(zhǔn)化處理,計(jì)算式為

其中:x為每個(gè)樣本類中的訓(xùn)練樣本,μ、σ分別為訓(xùn)練樣本的樣本均值和樣本標(biāo)準(zhǔn)差,x*為標(biāo)準(zhǔn)化處理后的人臉圖像。

樣本類中的訓(xùn)練樣本進(jìn)行標(biāo)準(zhǔn)化處理后,依次得到k個(gè)圖像矩陣A1,A2,…,A k,依次提取每個(gè)圖像矩陣的同一位置的元素,組成一組向量u=[u1,u2,…,u k]。圖像矩陣及向量u的提取,如圖2所示。

圖2 圖像矩陣及向量u 的提取

計(jì)算向量u的均值和標(biāo)準(zhǔn)差:

其中u(i,j)r是由圖像矩陣A1,A2,…,A k第i行j列的元素組成的向量。

將圖像矩陣A1,A2,…,A k中每一位置計(jì)算的均值ˉx和標(biāo)準(zhǔn)差s重新組合,得到M×N階均值矩陣Aˉx和標(biāo)準(zhǔn)差矩陣A s(m,n),m、n表示標(biāo)準(zhǔn)差矩陣A s的第m行第n列的元素。標(biāo)準(zhǔn)差矩陣A s(m,n)中,每個(gè)元素表示圖像矩陣A1,A2,…,A k中相對(duì)應(yīng)位置的這一組元素的離散程度。標(biāo)準(zhǔn)差矩陣A s(m,n)的值越大,圖像矩陣A1,A2,…,A k中相對(duì)應(yīng)位置的元素大部分?jǐn)?shù)值與其平均值之間的差異越大,反之,A s(m,n)的值越小,圖像矩陣A1,A2,…,A k相對(duì)應(yīng)位置的元素大部分?jǐn)?shù)值比較接近平均值,即表示該組人臉圖像中相對(duì)應(yīng)位置的一組像素的相關(guān)性就較大。由于提取的是具有非相關(guān)特性的特征,保留圖像矩陣A1,A2,…,A k中元素值變化大的元素。標(biāo)準(zhǔn)差矩陣A s(m,n)值越大,則圖像矩陣A1,A2,…,A k和均值矩陣Aˉx之間的距離也越大,由此可提取相似性特征。

2.2 相似性特征提取

根據(jù)標(biāo)準(zhǔn)差矩陣A s(m,n)中元素值大小,定義一個(gè)閾值θ,其大小介于標(biāo)準(zhǔn)差矩陣A s中元素的最大值和最小值之間。標(biāo)準(zhǔn)差矩陣A s(m,n)的值大于θ時(shí),令圖像矩陣A1,A2,…,A k的值等于其本身;標(biāo)準(zhǔn)差矩陣A s(m,n)的值小于θ時(shí),令圖像矩陣A1,A2,…,A k的值等于零。隨著θ值的每次變化,依次計(jì)算圖像矩陣A1,A2,…,A k與均值矩陣Aˉx之間的歐式距離。

在機(jī)器學(xué)習(xí)中,一般通過(guò)衡量2個(gè)向量之間的距離來(lái)描述向量之間的相似度[21],而歐氏距離(Euclidean metric,即歐幾里得度量)是最常用的一種向量距離計(jì)算方法。歐氏距離表現(xiàn)更多的是個(gè)體之間的絕對(duì)差異,忽略了個(gè)體之間的不同屬性,將它們之間的差別等同看待。

以M×N階矩陣P和矩陣D為例,計(jì)算兩者間的歐式距離。記P i為矩陣P的第i行,D j為矩陣D的第j行,

其中:‖P i‖為向量P i的范數(shù);‖D j‖為向量D j的范數(shù);D j

T 為向量D j的轉(zhuǎn)置。將式(4)推廣至整個(gè)距離矩陣,則

隨閾值θ不斷變化,d(P,D)最大時(shí),保存圖像矩陣A1,A2,…,A k中的元素,并對(duì)每個(gè)樣本類中的圖像矩陣A1,A2,…,A k做均值處理,

得到C個(gè)相似性特征。

3 實(shí)驗(yàn)結(jié)果與分析

從AR[22]人臉庫(kù)中抽取不同時(shí)間段采集的80個(gè)人臉圖像,分成80個(gè)樣本類,每個(gè)樣本類包含8個(gè)訓(xùn)練樣本,像素大小均為120×165,共640個(gè)訓(xùn)練樣本。根據(jù)式(5),計(jì)算仿真得到圖像矩陣A1,A2,…,A k與均值矩陣Aˉx間的歐式距離d與閾值θ的關(guān)系,如圖3所示。從圖3可看出,當(dāng)θ的值取0.2～0.5時(shí),圖像矩陣A1,A2,…,A k與均值矩陣Aˉx之間的歐式距離存在極大值。當(dāng)圖像矩陣A1,A2,…,A k與均值矩陣Aˉx之間的歐式距離達(dá)到極大值時(shí),保存圖像矩陣A1,A2,…,A k中的元素值。

圖3 歐氏距離d 與閾值θ 的關(guān)系

實(shí)驗(yàn)中每個(gè)樣本類的8個(gè)訓(xùn)練樣本是同一個(gè)人的人臉圖像,如圖4所示。樣本類的訓(xùn)練樣本經(jīng)過(guò)相似性特征提取后得人臉圖像如圖5所示。

圖4 樣本類中的人臉圖像

圖5 經(jīng)過(guò)相似性特征提取后的人臉圖像

對(duì)每個(gè)類中經(jīng)過(guò)相似性特征提取后前5個(gè)樣本做均值處理,得到80個(gè)相似性特征。另外,為了使相似性特征盡可能相互統(tǒng)計(jì)獨(dú)立,計(jì)算實(shí)驗(yàn)提取到的80個(gè)相似性特征兩兩之間的歐式距離,歐式距離較小的取兩者均值。以此方式將80個(gè)相似性特征壓縮到50個(gè)。

在80個(gè)樣本類訓(xùn)練庫(kù)中,每個(gè)樣本類取前5個(gè)樣本做自適應(yīng)加權(quán)融合訓(xùn)練,以5個(gè)樣本所對(duì)應(yīng)的加權(quán)系數(shù)的均值為相似性特征的組合系數(shù),從每類剩下的3個(gè)訓(xùn)練樣本中隨機(jī)抽取1、2、3張用作測(cè)試。測(cè)試結(jié)果如圖6所示。從圖6可看出,人臉圖像可以用提取的相似性特征的線性組合進(jìn)行表示。此外,在相似性特征的個(gè)數(shù)不變時(shí),人臉識(shí)別率隨著測(cè)試人臉數(shù)量的增加而有所提高,在測(cè)試人臉數(shù)量一定時(shí),80個(gè)相似性特征時(shí)的人臉識(shí)別率比50 個(gè)相似性特征時(shí)高。

圖6 不同相似性特征個(gè)數(shù)時(shí)的人臉識(shí)別率

4 結(jié)束語(yǔ)

提出了人臉相似性特征的定義,并進(jìn)行了相應(yīng)的數(shù)學(xué)分析,給出了提取方法,即依據(jù)歐式距離分析提取相互統(tǒng)計(jì)獨(dú)立的相似性特征。其最大優(yōu)點(diǎn)是可以通過(guò)相似性特征的自適應(yīng)加權(quán)融合估計(jì)其他人臉圖像。在從AR數(shù)據(jù)庫(kù)中抽取的不同時(shí)間段采集的人臉數(shù)據(jù)集上進(jìn)行測(cè)試,取得了較高的識(shí)別率。