超分辨率重建結(jié)合正則化最小二乘的人臉識別方法

張春燕， 張瑩

(新疆警察學(xué)院 信息安全工程系，烏魯木齊 830000)

超分辨率重建結(jié)合正則化最小二乘的人臉識別方法

張春燕， 張瑩

(新疆警察學(xué)院 信息安全工程系，烏魯木齊 830000)

針對三維人臉重建模型精度和優(yōu)化方法準(zhǔn)確性問題，提出了一種基于單一圖像的無約束姿態(tài)不變?nèi)四樧R別方法。使用一個(gè)二維的正面圖像來重建三維人臉。創(chuàng)建人臉的三重協(xié)同字典矩陣，利用凸集投影進(jìn)行超分辨率重建。通過具有正則化最小二乘的協(xié)同表示完成分類。在LFW數(shù)據(jù)庫和視頻人臉數(shù)據(jù)庫上處理姿態(tài)變化取得了預(yù)期的結(jié)果，與多種方法比較表明，提出的方法具有更高的識別率。

人臉識別； 協(xié)同表示； 超分辨率重建； 正則化最小二乘法

0 引言

無約束的姿態(tài)不變?nèi)四樧R別是計(jì)算機(jī)視覺中最困難和最具有挑戰(zhàn)性的任務(wù)之一[1]。人臉姿態(tài)會(huì)有各種變化,在約束條件下經(jīng)典人臉識別方法效率較好[2,3]。然而，在有光照和表情變化的現(xiàn)實(shí)世界情況下進(jìn)行姿態(tài)不變?nèi)四樧R別是非常困難的。

許多學(xué)者已經(jīng)提出一些關(guān)于姿態(tài)不變?nèi)四樧R別方法。文獻(xiàn)[4]提出了一個(gè)基于三維模型生成的姿態(tài)矩陣的聯(lián)合動(dòng)態(tài)稀疏表示分類的人臉識別的現(xiàn)實(shí)世界框架。文獻(xiàn)[5]通過雙數(shù)復(fù)小波變換(DT-CWT)和采用支持向量機(jī)中的迭代得分分類提取了用于姿態(tài)不變?nèi)四樧R別的特征庫矩陣。文獻(xiàn)[6]通過局部二值模式和稀疏表示分類提出了用于姿態(tài)不變?nèi)四樧R別的稀疏字典矩陣框架。然而，大多數(shù)現(xiàn)有的方法識別時(shí)間無法達(dá)到實(shí)時(shí)性且識別率有進(jìn)一步提升空間。

提出了一種基于現(xiàn)實(shí)世界的人臉圖像快速建立三維人臉模型來識別人臉姿態(tài)的方法，生成了測試集圖像的三個(gè)角度協(xié)同字典矩陣(triplet collaborative dictionary matrix, TCDM)。最后，通過具有用于分類的規(guī)范化最小二乘(regularized least square, RLS)[7]的協(xié)同表示分類(collaborative representation classification, CRC)進(jìn)行人臉識別。在LFW人臉數(shù)據(jù)庫上進(jìn)行試驗(yàn)，在視頻數(shù)據(jù)庫上進(jìn)行實(shí)時(shí)試驗(yàn)。然后，在精度和速度方面與其他文獻(xiàn)提出的方法進(jìn)行對比。結(jié)果表明，提出的方法不僅更加準(zhǔn)確，而且更加快速。主要?jiǎng)?chuàng)新點(diǎn)如下：(1) 通過采用協(xié)同表示生成基于每個(gè)主體中人臉姿態(tài)的三個(gè)角度的TCDM。(2)在TCDM框架上通過聯(lián)合CRC和RLS進(jìn)行分類。(3)該方法提高了識別率。

1 提出的方法

1.1 人臉表示

(1)

式中，αi,j∈R為標(biāo)量，j=1,2,…,ni。因?yàn)闇y試樣本的強(qiáng)度未知的，定義一個(gè)新的矩陣A，它是所有類的訓(xùn)練樣本集合為式(2)。

(2)

(3)

(4)

文獻(xiàn)[8]提出了比稀疏表示更有效和更快速的協(xié)同表示，證明了CRC不僅比SRC更準(zhǔn)確，而且也非?？焖?。在快速人臉識別方法中，通常情況下特征維度將不會(huì)太短會(huì)有一個(gè)很好的識別率[9]?？赡懿恍枰褂胠1正則化來稀疏化x。因此，協(xié)同表示能夠解決以下問題為式(5)。

(5)

其中，λ是正則化參數(shù)。正則化項(xiàng)的好處：(1)它使最小二乘解穩(wěn)定，(2)它對解x引入了稀疏性的無限量，但這稀疏性是一個(gè)稍微弱于l1范數(shù)的大數(shù)。

式(5)中RLS的CR的解可以很容易地分析并推導(dǎo)出式(6)。

(6)

1.2 利用CR進(jìn)行特征提取

通過協(xié)同表示(CR)進(jìn)行特征提取[10,11]：

(1) 輸入：來自主體i的輸入圖像。

(2) 對于主體i，通過FE-GEM(Facial Expression Generic Elastic Model)方法進(jìn)行三維人臉重建。

(5) 輸出：生成具有

使用的是一個(gè)測試集的單一圖形和測試集的單一圖像。因?yàn)閷τ谏勺值銩，協(xié)同表示需要學(xué)習(xí)多個(gè)樣本，使用27個(gè)由子訓(xùn)練矩陣產(chǎn)生的TCDM的每個(gè)陣列的樣本。因此，通過合成子訓(xùn)練矩陣的姿態(tài)圖像選擇CRC需要的多個(gè)樣本，且不需要多個(gè)圖像用于訓(xùn)練。因?yàn)镃RC方法需要多個(gè)樣本用于生成字典A，生成子訓(xùn)練矩陣用于特定的姿態(tài)和來使用來自這些矩陣的27個(gè)合成圖像生成字典A以形成LFW數(shù)據(jù)庫的一個(gè)測試集圖像。因此，對于每個(gè)特定姿態(tài)生成的字典A保留在TCDM的每個(gè)姿態(tài)中，考慮到所有姿態(tài)重復(fù)這個(gè)過程最終生成TCDM。

1.3 超分辨率重建

1.4 識別

這一節(jié)介紹所提出的姿態(tài)不變?nèi)四樧R別系統(tǒng)。需要每個(gè)對象兩張圖像，一個(gè)測試集圖像和一個(gè)測試圖像。所提出的系統(tǒng)運(yùn)行在離線和在線兩個(gè)階段。在離線訓(xùn)練階段，注冊一個(gè)來自可用二維數(shù)據(jù)庫中每個(gè)人的單一正面人臉圖像。然后，對于每個(gè)注冊的圖像，通過GE-GEM進(jìn)行三維人臉重建, 接著進(jìn)行特征提取并為每個(gè)人創(chuàng)建TCDM。

算法1 CRC-RLS算法

2 實(shí)驗(yàn)

為了驗(yàn)證提出方法的性能，在LFW數(shù)據(jù)庫和視頻人臉數(shù)據(jù)庫上分別進(jìn)行實(shí)驗(yàn)。

2.1 LFW數(shù)據(jù)庫上的人臉識別

LFW數(shù)據(jù)庫是人臉識別中最具有挑戰(zhàn)性的數(shù)據(jù)庫之一，嚴(yán)格包括了現(xiàn)實(shí)世界場景中將表情、光照、姿態(tài)等等因素在內(nèi)的人臉圖像的所有變化。LFW包括不同性別、不同年齡等5 749種不同主體的13 233張人臉圖像。LFW數(shù)據(jù)庫準(zhǔn)備了兩個(gè)不相交的集合：分別用于測試集和用于測試。因此，為了評估所提出的方法在現(xiàn)實(shí)世界場景中姿態(tài)不變?nèi)四樧R別的性能，利用LFW數(shù)據(jù)庫除了姿態(tài)之外的無約束環(huán)境。

LFW數(shù)據(jù)庫上該方法的識別率如表1所示。

表1 LFW數(shù)據(jù)庫上不同方法的識別率和平均延遲時(shí)間

所提出的方法具有更好的性能。

2.2 視頻數(shù)據(jù)庫上的實(shí)驗(yàn)

為了評估所提出的方法，利用視頻數(shù)據(jù)庫的30個(gè)人的30個(gè)視頻進(jìn)行重復(fù)測試評估。在每個(gè)視頻中，主體存在超過1 000幀，視頻中頭部姿態(tài)俯仰方向覆蓋了±60度和偏向方向±75度。使用提出的方法進(jìn)行人臉識別，并與不同方法進(jìn)行對比評估性能。

由式(7)和式(9)得到TCFG和TSFG稀疏表示中最小表示誤差值，并分別跟蹤每幀所有渲染的姿態(tài)。30視頻中所有幀(超過25K幀)上整體識別率結(jié)果和平均延遲時(shí)間,如表2所示。

表2 視頻數(shù)據(jù)庫上整體識別率和平均延遲時(shí)間的對比

從表2可以看出，提出的方法的識別率和平均延遲時(shí)間優(yōu)于比較的其他方法。正則化項(xiàng)的益處在于：(1)它是最小二乘解穩(wěn)定；(2)它對解x引入了一個(gè)無限量。CRC中較弱的稀疏性不僅沒有更糟糕的結(jié)果，而且可能稍微改善了結(jié)果。CRC中正則化項(xiàng)使得實(shí)驗(yàn)結(jié)果更穩(wěn)定，它可以產(chǎn)生一個(gè)有限量的稀疏性來做出決定。因此，不僅有最稀疏性解，而且它通過計(jì)算表示誤差具有有限和穩(wěn)定的表示用于做出最終決定。提出的的方法正是由于加入了CRC，所以不僅降低了延遲時(shí)間而且還通過生成最稀疏的解做出決定而提高了識別率。

2.3 實(shí)驗(yàn)結(jié)果的討論和分析

提出的方法執(zhí)行速度較快，接近實(shí)時(shí)，且在處理現(xiàn)實(shí)世界場景中連續(xù)姿態(tài)和表情變化時(shí)是完全自動(dòng)的。所提出的方法優(yōu)于引言中描述的四類方法：(1)原因之一是CRC方法生成最稀疏和穩(wěn)定解的精度。(2)主要原因是TCDM方法的人臉識別不像以前的方法，執(zhí)行人臉識別系統(tǒng)的主要過程即特征提取，并在離線階段保存在TCDM中，選擇特征庫并與在線過程中的測試特征進(jìn)行對比。因此，所提出的方法對姿態(tài)不變?nèi)四樧R別是有效的，而以往的方法試圖合成測試集人臉圖像，并用測試圖像同時(shí)提取特征向量。因此，以往方法的缺點(diǎn)是速度問題，為了匹配一個(gè)人臉圖像需要幾分鐘。這些方法的性能非常依賴于三維重建模型和優(yōu)化方法的準(zhǔn)確性。為此，提出一個(gè)姿態(tài)不變?nèi)四樧R別系統(tǒng)，它不僅非?？欤也灰蕾嚾S重建模型的精度。

3 總結(jié)

該文提出了一種用于測試單一圖像的無約束姿態(tài)不變?nèi)四樧R別的新方法。首先從正面人臉圖像中重建一個(gè)三維模型。然后，基于所提出的框架創(chuàng)建TCDMs。最后，通過CRC-RLS方法進(jìn)行人臉識別。在LFW和視頻數(shù)據(jù)庫上評估所提出的方法以實(shí)現(xiàn)姿態(tài)不變?nèi)四樧R別，在處理現(xiàn)實(shí)世界場景的人臉姿態(tài)識別上取得了令人滿意的結(jié)果。未來會(huì)將提出的人臉識別方法擴(kuò)展到約束人臉識別。

[1] 初曉, 冷澤, 王艷玲,等. 基于多尺度MRF結(jié)合超級耦合變換的姿態(tài)變化人臉識別[J]. 計(jì)算機(jī)應(yīng)用研究, 2016, 33(8): 2519-2523.

[2] 唐守軍, 吳洪武. 基于Snake模型和協(xié)作表示分類的魯棒人臉識別方法[J]. 湘潭大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 38(2): 104-108.

[3] Moeini A, Faez K, Moeini H. Unconstrained pose-invariant face recognition by a triplet collaborative dictionary matrix [J]. Pattern Recognition Letters, 2015, 68(3): 83-89.

[4] 張佳宇, 彭力. 基于聯(lián)合動(dòng)態(tài)稀疏表示方法的多圖像人臉識別算法[J]. 江南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, 13(3): 287-291.

[5] 練秋生, 尚燕, 陳書貞,等. Texture classification algorithm based on DT-CWT and SVM [J]. 光電工程, 2016, 34(4):109-113.

[6] 唐恒亮, 孫艷豐, 朱杰,等. 融合LBP和局部稀疏表示的人臉表情識別[J]. 計(jì)算機(jī)工程與應(yīng)用, 2014, 50(15): 34-37.

[7] 劉春茂, 郝倩, 張?jiān)茘? 基于PSO-LSSVM的網(wǎng)絡(luò)流量預(yù)測[J]. 微型電腦應(yīng)用, 2016, 32(5): 27-30.

[8] Jing X Y, Wu F, Zhu X, et al. Multi-spectral low-rank structured dictionary learning for face recognition [J]. Pattern Recognition, 2016, 59(4): 14-25.

[9] 孫新領(lǐng), 譚志偉, 楊觀賜. 字典學(xué)習(xí)優(yōu)化結(jié)合HMAX模型的魯棒人臉識別[J]. 現(xiàn)代電子技術(shù), 2016, 39(15): 53-57.

[10] Cheng Y, Jin Z, Gao T, et al. An improved collaborative representation based classification with regularized least square (CRC-RLS) method for robust face recognition [J]. Neurocomputing, 2016, 34(2): 250-259.

[11] Lei Y, Guo Y, Hayat M, et al. A Two-Phase Weighted Collaborative Representation for 3D partial face recognition with single sample [J]. Pattern Recognition, 2016, 52(4): 218-237.

A Face Recognition Method Based on Super-resolution Reconstruction with Regularized Least Square Method

Zhang Chunyan, Zhang Ying

(Department of Information Security Engineering, Xinjiang Police College, Urumqi 830000, China)

In this paper, a novel method is proposed for unconstrained pose-invariant face recognition from only an image in a gallery. Firstly, a 3D face is initially reconstructed using only a 2D frontal image. Then, a triplet collaborative dictionary matrix is created, and projection onto convex sets is used to do super-resolution reconstruction. Finally, the classification is performed by collaborative representation classification with regularized least square method. Promising results are acquired to handle pose changes on the LFW and video face databases compared with state-of-the-art methods in pose-invariant face recognition.

Face recognition; Collaborative representation; Super-resolution reconstruction; Regularized least square method

2016年新疆維吾爾自治區(qū)高?？蒲杏?jì)劃項(xiàng)目青年教師科研培育基金(自然科學(xué)類)(No. XJEDU2016S090)

張春燕(1979-)，女(漢)，江蘇豐縣人，講師，碩士，研究領(lǐng)域：圖像處理等。 張瑩(1988-)，女(漢)，山東梁山人，講師，碩士，研究領(lǐng)域：圖像處理、計(jì)算機(jī)應(yīng)用等。

1007-757X(2017)08-0024-03

TP391

A

2017.03.08)