基于相位測量輪廓術的人臉識別

余 祥，劉 凱

?

基于相位測量輪廓術的人臉識別

余 祥，劉 凱

( 四川大學 電氣信息學院，成都 610065 )

為了解決二維人臉識別受環(huán)境光干擾，三維人臉識別依賴標定數(shù)據(jù)的問題，提出了一種基于相位測量輪廓術的人臉識別方法。首先使用相位測量輪廓術獲得人臉的相位和反射率數(shù)據(jù)，相位圖中暗含了人臉區(qū)域的三維信息，反射率圖也排除了環(huán)境光的干擾，它們經過規(guī)范化后均可以直接使用傳統(tǒng)二維識別方法進行人臉識別。在實驗中，使用了主成分分析法和最近鄰分類器進行人臉識別。實驗結果表明，這種方法對人臉識別是有效的，對比二維灰度圖和三維深度圖有更好的識別效果。

人臉識別；相位圖；反射率圖；環(huán)境光；標定數(shù)據(jù)

0 引 言

人臉識別是生物識別領域中的一個重要研究方向，經過最近幾十年的研究，已經獲得了較大的發(fā)展。這是一種利用電子設備進行人臉數(shù)據(jù)采集和識別的技術，具有非接觸、方便快捷和友好的優(yōu)點，現(xiàn)在已經在罪犯身份識別、出入境身份識別、大型活動安保以及門禁系統(tǒng)等安全領域獲得廣泛應用。

人臉識別技術的研究前期主要集中在二維人臉識別領域，很多識別方法相繼被提出。經典的二維人臉識別方法主要有基于幾何特征、基于代數(shù)特征和基于機器學習的方法[1]。其中，特征臉(Eigenface)方法是一種基于統(tǒng)計特征的、較為成功的人臉識別方法，最早是由M.Turk 和A.Pentland在1991年提出的[2]。Eigenface是由主成分分析(Principal Component Analysis, PCA)導出的一種人臉識別方法，它的核心步驟是對人臉圖像進行K-L變換以獲得特征臉矩陣數(shù)據(jù)，然后將原始人臉圖像投影到特征臉矩陣上以實現(xiàn)降維和特征提取，最后使用最近鄰分類器進行人臉的分類識別[2-3]。

二維人臉識別技術已經比較成熟，也進入了商業(yè)應用。但是二維人臉識別的發(fā)展仍然遇到了瓶頸，它容易受到環(huán)境光、姿態(tài)以及表情等因素的影響，識別效果很難再得到進一步提高[3]。最近十多年，隨著計算機技術和測量儀器的發(fā)展，三維數(shù)據(jù)越來越容易被獲得，很多的研究人員開始從二維人臉識別研究轉向了三維人臉識別研究[4]。機器視覺領域的三維數(shù)據(jù)測量目前主要有被動立體測量和主動立體測量兩種技術。其中相位測量輪廓術(Phase Measuring Profilometry, PMP)是一種結構光測量，屬于非常成功的三維測量技術，其數(shù)據(jù)精度高[5]?，F(xiàn)有的三維人臉識別方法主要有基于空域匹配、基于整體特征匹配和基于3D+2D雙模態(tài)的識別算法[6-8]。由于三維人臉數(shù)據(jù)相對于二維人臉數(shù)據(jù)受光照影響較小，因此獲得比二維人臉識別更好的識別效果。其中，利用深度圖的三維人臉識別方法屬于基于整體特征匹配的方法，它將三維人臉識別轉化為二維人臉識別，這樣大大簡化了算法[9-10]。不過在結構光測量中，三維數(shù)據(jù)的獲得需要依賴標定數(shù)據(jù)，而且在三維人臉識別之前需要進行三維點云的計算，計算量很大。針對以上三維人臉識別的不足，本文提出了利用相位測量輪廓術計算出的相位信息和反射率，使用主成分分析法和最近鄰分類器進行人臉識別，這樣識別結果不僅相對于二維人臉識別受環(huán)境光照影響更小，也具有比三維深度人臉識別有更好的識別效果。本文方法中用到的相位和反射率數(shù)據(jù)同樣可由其它結構光測量技術，比如線掃描和二進制圖案編碼掃描技術等獲得。

1 相位測量輪廓術

相位測量輪廓術是一種結構光三維測量技術，利用帶相移的正弦投影圖案，計算出相位信息，再結合標定數(shù)據(jù)來計算三維數(shù)據(jù)。PMP基本原理[11]如下：

首先投影機投出一組幀包含多次相移的正弦圖案到被測物體表面，投影機投出的圖像可以表示為

圖1 PMP圖案

在投影機投影正弦圖案的同時，攝像頭同步捕捉被物體表面調制的正弦圖案，并對捕獲的圖像進行計算得到相位和亮度調制[12]，相位和亮度調制的計算公式如下[5]：

2 基于PMP的人臉識別方法

本文使用了PCA算法(或者叫做特征臉算法[2])。PCA算法被廣泛用于數(shù)據(jù)降維以及人臉識別領域。設一張×的人臉圖像，將其每列依次相連構成一個=×維大小的列向量，就是數(shù)據(jù)空間的維數(shù)。設為訓練樣本的數(shù)目，表示第張人臉圖像對應的列向量，為訓練樣本的平均人臉圖像列向量，其計算式為

令=[1-,2-, …,-]，則樣本的協(xié)方差矩陣r=T，其維數(shù)為×。根據(jù)Karhunen-Loeve正交變換原理，特征臉空間由協(xié)方差矩陣r的正交特征向量組成，不過由于其維數(shù)太高，計算量太大，直接對它求解特征值和特征向量是非常困難的[13]。因此，減小計算量就很有必要，所以我們使用了奇異值分解(Singular Value Decomposition, SVD)方法。根據(jù)奇異值分解定理，可以通過求T的特征值和特征向量來獲得r的特征值和特征向量[13]。令k為T矩陣的個非零特征值，是T對應于k的特征向量，則T正交歸一特征向量為[13]

就是人臉圖像數(shù)據(jù)的特征向量，所以，奇異值分解原理就是通過計算×低維矩陣(遠小于)T的特征值以及特征向量而間接計算出T的特征值以及特征向量[13]。

接著，我們將k按從大到小順序排列，則其對應的特征向量為。為了進一步減少維數(shù)，可以僅選取前面最大個特征值對應的特征向量作為子空間，由此得到特征臉子空間為=(1,2,…,)。最后將訓練樣本投影到特征臉子空間，計算得到一組投影向量組成人臉數(shù)據(jù)庫[14]，投影向量的計算式如下：

識別過程中，先將每張待識別人臉圖像投影到特征人臉子空間中，再使用最近鄰分類器進行人臉識別。

本文方法使用的是經過PMP計算出的人臉相位圖以及反射率圖。在識別前，我們對相位圖數(shù)據(jù)進行了歸一化處理。具體歸一化步驟：

表示原相位圖中的最大值。這樣操作就可以使相位信息值歸一化到0到255區(qū)間內，而深度圖和灰度圖同樣依此進行歸一化處理。本文方法的步驟可總結如下：

1) 使用PMP方法對人臉進行掃描并計算出人臉的相位數(shù)據(jù)和反射率數(shù)據(jù)；

2) 對人臉區(qū)域的相位數(shù)據(jù)進行歸一化處理；

3) 使用PCA方法分別對人臉的相位圖和反射率圖進行降維處理，用最近鄰分類器對人臉進行分類識別。

3 實驗與分析

3.1 數(shù)據(jù)獲取

據(jù)我們所知，由于本文方法是首次利用相位圖和反射率圖進行識別，沒有公開數(shù)據(jù)庫，所以使用了自建數(shù)據(jù)庫。我們的數(shù)據(jù)庫包含20個人，每個人采集了15次不同表情、姿態(tài)和環(huán)境光的人臉數(shù)據(jù)，總計300張人臉圖。本文采用的是多頻PMP方法計算相位與反射率，所用到的PMP圖案頻率分別為1、4、8、16，各頻率相移數(shù)是16，先計算出四個不同頻率的包裹相位，再利用相位展開法算出未包裹的展開相位[5]。為了與傳統(tǒng)二維人臉識別及三維深度人臉識別相比較，本文同步采集了灰度圖、深度圖、反射率圖和相位圖，分別如圖2所示。

圖2 同一人臉的四種不同數(shù)據(jù)

其中，圖2(a)是攝像頭捕獲的灰度圖，圖2(b)是經過PMP方法進行三維重建計算出的深度圖(即三維坐標中的坐標)，圖2(c)是經過PMP方法計算出的反射率圖，圖2(d)是經過PMP方法計算出的相位圖。圖2中的所有數(shù)據(jù)都已經歸一化到了0到255之間。

3.2 實驗結果

實驗過程中，我們將數(shù)據(jù)庫中的數(shù)據(jù)分為訓練集和測試集，其中每個人依次取1到11張人臉圖為訓練集，剩下來的均為測試集。為了保證實驗結果的準確性，本文進行了多次實驗，每次實驗選取不同的訓練集，最后的結果是多次實驗的平均值。四種不同人臉數(shù)據(jù)識別實驗結果的比較如圖3所示。

圖3 四種不同人臉數(shù)據(jù)識別率比較

表1是四種人臉數(shù)據(jù)在不同訓練樣本數(shù)量下的識別率。

根據(jù)實驗結果，四種不同的人臉數(shù)據(jù)識別精度均隨著訓練集增大而增高，在訓練樣本數(shù)量較少時，反射率圖的識別率高于相位圖的識別率，訓練樣本數(shù)增多后相位圖的識別率又高于反射率的識別率。而不管訓練集數(shù)量多大，相位圖以及反射率圖的識別效果總是明顯好于灰度圖和深度圖。

結束語

本文提出了一種基于相位測量輪廓術的人臉識別方法，使用相位和反射率進行人臉識別，利用PMP算法分別計算出相位圖和反射率圖，再使用PCA算法進行降維，最后用最近鄰分類器進行人臉識別。由于相位圖以及反射率圖受環(huán)境光的影響更小，從而獲得了比二維灰度圖人臉識別更好的識別效果。而且本文方法不需要計算三維坐標，這樣就不用獲得標定數(shù)據(jù)，也獲得了比三維深度圖人臉識別更好的識別效果。實驗結果證明這種方法是有效的，而且本文方法還可以擴展到其它能夠計算出的相位數(shù)據(jù)和反射率的結構光測量技術，為人臉識別領域提供了新的思路。不過，相位圖和反射率圖人臉識別作為新的具有挑戰(zhàn)性的工作，在特征提取等方面都需要有更深一步的研究。

[1] Shyam R，Singh Y N. A Taxonomy of 2D and 3D Face Recognition Methods [C]// IEEE International Conference on Signal Processing & Integrated Networks，Noida，India，F(xiàn)eb 20-21，2014：749-754.

[2] Turk M，Pentland A. Eigenfaces for Recognition [J]. Journal of Cognitive Neuroscience(S0898-929X)，1991，3(1)：71-86.

[3] 葉長明，蔣建國，詹曙，等. 基于三維人臉成像系統(tǒng)的復數(shù)域人臉識別方法 [J]. 電子測量與儀器學報，2011，25(5)：420-426.

YE Changming，JIANG Jianguo，ZHAN Shu，F(xiàn)ace Recognition in Complex Domain Based on 3D Facial Imaging System [J]. Journal of Electronic Measurement and Instrument，2011，25(5)：420-426.

[4] 蘇顯渝，張啟燦，陳文靜. 結構光三維成像技術 [J]. 中國激光，2014，41(2)：1-10.

SU Xianyu，ZHANG Qican，CHEN Wenjing. Three-dimensional Imaging Based on Structured [J]. Chinese Journal of Lasers，2014，41(2)：1-10.

[5] Yalla V G，Hassebrook L G. Very High Resolution 3D Surface Scanning Using Multi-frequency Phase Measuring Profilometry [J]. Process of SPIE(S0277-786X)，2005，5798：44-53.

[6] Panchal K，Shah H. 3D Face Recognition Based on Pose Correction Using Euler Angle Method [C]// IEEE International Conference on Machine Intelligence and Research Advancement (ICMIRA)，Katra，India，Dec 21-23，2013：467-471.

[7] Mohammadzade H，Hatzinakos D. Iterative Closest Normal Point for 3D Face Recognition [J].IEEE Transactions on Software Engineering(S0162-8828)，2013，35(2)：381-397.

[8] TANG Hengliang，YIN Baocai，SUN Yanfeng，. 3D Face Recognition Using Local Binary Patterns [J]. Signal Processing(S0165-1684)，2013，93(8)：2190-2198.

[9] Hesher C，Srivastava A，Erlebacher G. A Novel Technique for Face Recognition Using Range Imaging [C]// IEEE International Symposium on Signal Processing & its Applications，Paris，F(xiàn)rance，Jul 4，2003：201-204.

[10] Abate A F，Nappi M，Riccio D，. 2D and 3D Face Recognition：A Survey [J]. Pattern Recognition Letters(S0167-8655)，2007，28(14)：1885-1906.

[11] 趙靜，吳煒，鄭曉軍，等. 一種校正相位測量輪廓術量化誤差的算法 [J]. 強激光與粒子束，2014，26(11)：22-26.

ZHAO Jing，WU Wei，ZHENG Xiaojun，. Algorithm for Correcting Quantization Error in Phase Measuring Profilometry [J]. High Power Laser and Particle Beams，2014，26(11)：22-26.

[12] LIU Kai，WANG Yongchang，LAU Daniel L，Dual-frequency Pattern Scheme for High-speed 3-D Shape Measurement [J]. Optics Express (S1094-4087)，2010，18(5)：5229-5244.

[13] 李冠楠，李強. 一種基于人臉核心特征的PCA人臉識別算法及應用 [J]. 電子器件，2012，35(5)：607-610.

LI Guannan，LI Qiang. Implementation and Application of One PCA Face Recognition Algorithm Based on the Core Features of the Face [J]. Chinese Journal of Electron Devices，2012，35(5)：607-610.

[14] 孔令釗，唐文靜. 基于PCA的人臉識別系統(tǒng)的研究與實現(xiàn) [J]. 計算機仿真，2012，29(6)：27-29.

KONG Lingzhao，TANG Wenjing. Research and Realization of Face Recognition Based on PCA [J]. Computer Simulation，2012，29(6)：27-29.

Face Recognition Based on Phase Measuring Profilometry

YU Xiang，LIU Kai

( School of Electrical Engineering and Information, Sichuan University, Chengdu 610065, China )

A new method of face recognition, which is based on phase measuring profilometry, is proposed to solve the problems of the ambient light influence in 2-D face recognition and the dependence on calibration data in 3-D face recognition. Firstly, the phase information and reflectivity information of face are obtained based on phase measuring profilometry. The phase image contains 3-D information and the reflectivity image is immune to the ambient light. Then the traditional 2-D face recognition approaches can be used after normalization. In experiments, principal component analysis and nearest neighbor method are used to classify the face. Experiment results show the effectiveness of the proposed method, which achieves higher recognition accuracy than that achieved by using grayscale image and range image.

face recognition; phase image; reflectivity image; ambient light; calibration data

1003-501X(2016)06-0039-05

TP391.4

A

10.3969/j.issn.1003-501X.2016.06.007

2015-10-10；

2015-12-14

國家自然科學基金 (61473198)；四川省科技廳支撐項目(2014GZ0005)

余祥(1991-)，男(漢族)，安徽安慶人。碩士研究生，主要研究工作是三維數(shù)據(jù)處理。E-mail: zgyx008@163.com。

劉凱(1973-)，男(漢族)，江蘇無錫人。博士，教授，主要研究工作是三維重建與三維數(shù)據(jù)處理。E-mail：kailiu@scu.edu.cn。