基于信息融合的三維人臉識別*

廖廣軍 曾瑋 劉嶼 李致富 胡躍明

(1.華南理工大學 自動化科學與工程學院，廣東 廣州 510640;2.華南理工大學 精密電子制造裝備教育部工程中心，廣東 廣州 510640;3.華南理工大學 機械與汽車工程學院，廣東 廣州 510640)

人臉識別技術相比其他生物特征識別技術(指紋識別，虹膜識別等)，具有使用者無心理障礙，易于用戶接受等優(yōu)點，受到了研究者的廣泛關注［1］.該技術的研究可以追溯到20 世紀60 年代，主要集中在對二維人臉識別的研究，經(jīng)常采用主成分分析(PCA)、線性判別分析(LDA)、局部二值匹配LBP等算法［2-5］，近年提出的局部判別嵌入(LDE)和利用馬爾科夫隨機場(MRF)對非正面人臉重構正面虛擬人臉等方法［6-7］，雖然能夠在一定程度上克服光照、姿態(tài)變化的影響，但所采集的信息單一，難以有效應付復雜環(huán)境下的人臉識別.

為突破二維人臉識別的限制，伴隨著三維信息采集設備的普及，國內外的研究者逐步將人臉識別研究從二維轉向三維，試圖利用更豐富的采集信息，突破二維人臉識別的約束.在三維人臉識別中，往往涉及三維點云數(shù)據(jù)處理，如文獻［8］利用迭代近鄰點(ICP)處理人臉點云數(shù)據(jù)，文獻［9］使用三維特征臉來表征人臉，同時結合人臉的3D 網(wǎng)格來完成人臉識別.上述情況不可避免存在計算量大、耗費時間、不利于自動識別的應用需求.人臉的三維信息包含大量的面部生理特征信息，有效應用這些信息將能極大地提高人臉識別魯棒性.

針對上述問題，同時考慮到設備成本及民用化需求，文中采用Kinect 設備，提出了一種融合彩色圖像和深度信息的三維人臉識別研究.為提高算法的實時性，引入動態(tài)規(guī)整(DTW)［10］的算法快速排除人臉輪廓，加速匹配過程.為提高識別的魯棒性，提出了一種分區(qū)域的改進LBP 算法用于人臉特征的提取和匹配，并在區(qū)域LBP 算法的權值的確定上有效融合了人臉彩色圖像信息和人臉生理特征信息.

1 三維人臉檢測方法

人臉檢測是指從動態(tài)場景或復雜的背景中檢測出人臉的存在并確定其位置，然后分離處理的過程.以往的研究中，往往以整張人臉作為檢測基礎［11-12］，受到環(huán)境干擾較大，算法速度上也受影響.為減少整張人臉的環(huán)境影響，并結合人臉固有生理特征信息，文中擬通過檢測人臉左右眼位置來確定人臉位置，然后利用區(qū)域膚色特征及深度信息特征實現(xiàn)人臉過濾.

1.1 人眼位置檢測

雙眼的位置是人臉的重要特征之一，相對于其他臉部特征，它在人臉姿態(tài)發(fā)生變化時也能保持相對穩(wěn)定.文中提出的人臉檢測主要依靠雙眼位置來完成，借用Paul 等［13］提出的級聯(lián)的Harr 分類器的思想，使用學習算法對人眼的左右眼數(shù)據(jù)庫訓練，得到對應的左右眼級聯(lián)分類器，然后根據(jù)人眼分布信息經(jīng)驗值來確認人臉的區(qū)域.記Pl(xl，yl)為左眼位置，Pr(xr，yr)為右眼位置.則人臉的區(qū)域可以表達為

其中l(wèi)=xl-xr.在具體實現(xiàn)中要注意左右眼的規(guī)定，因為捕獲圖像是實際圖像的水平翻轉.文中在程序實現(xiàn)上以圖像中x 坐標較大者為左眼，較小者為右眼.

1.2 人臉檢測膚色過濾

區(qū)域膚色特征是表征人臉的重要方面，選取膚色顏色空間和膚色模型進行有效的膚色過濾，能夠提高人臉檢測的準確率.文中選擇YCbCr 作為膚色分割的顏色空間，相對于其他諸如RGB、CMY、HIS等顏色空間，該顏色空間在膚色提取上更具表征能力［14］.在膚色模型方面，考慮到光照變化可能對模型造成的影響，選擇了混合高斯模型，并通過最大期望算法(EM)對膚色模型進行迭代估計.單個的膚色高斯模型為:

式中，c 為顏色向量，μ 為均矢量，E 為協(xié)方差矩陣.μ 和E 可以通過式(3)和式(4)得到:

式中，cj為第j 個顏色向量，n 代表皮膚顏色樣本c的總數(shù).顏色向量的膚色概率G 可以通過式(5)表示:

通過對檢測到的人臉區(qū)域進行膚色統(tǒng)計，可以得到當前區(qū)域中膚色像素點所占整個區(qū)域的百分比，利用所占比例的信息來對檢測區(qū)域進行膚色過濾.

1.3 人臉檢測深度信息過濾

上述檢測方法對于照片人臉或紋理特別豐富的區(qū)域還會出現(xiàn)誤檢現(xiàn)象.為避免誤檢情況，文中引入人臉深度信息以提高人臉檢測的準確性.通過對檢測的人臉區(qū)域深度信息進行統(tǒng)計分析，可以有效濾除照片人臉及紋理特征豐富區(qū)域.具體實現(xiàn)方法如下.記d(x，y)為圖像中像素點p(x，y)的深度信息，則人臉區(qū)域的平均深度N 可以表示為

深度信息的方差V 表示如下:

V 反應了檢測到人臉區(qū)域深度信息的變化情況，通過該值過濾人臉.

2 基于動態(tài)規(guī)整的人臉輪廓快速提取

2.1 人臉對齊

人臉對齊是人臉識別的重要前提，對齊效果直接影響后續(xù)的特征提取，進而影響識別結果.現(xiàn)有的三維人臉對齊的方法包括:①主成分分析(PCA)投影［15］;②通過迭代近鄰點(ICP)找對稱軸［16］;③建立姿態(tài)模型對人臉姿態(tài)估計，利用計算出的姿態(tài)參數(shù)對齊人臉.上述方法均存在計算量大的問題，文中結合前面已完成人眼定位的情況，基于人眼位置基本水平的客觀事實，通過左右眼位置完成人臉傾斜角度計算，實現(xiàn)對應人臉的角度矯正，完成人臉對齊.

2.2 基于動態(tài)規(guī)整的人臉輪廓比較

動態(tài)規(guī)整(DTW)算法的核心思想是利用動態(tài)規(guī)劃的方法實現(xiàn)不同長度特征之間的距離衡量，常用于解決語音識別過程中發(fā)音長短不一的模板匹配問題.該算法具有明顯的優(yōu)點:不需要提取訓練;DTW 計算時間短，高效.文中引入動態(tài)規(guī)整算法實現(xiàn)人臉輪廓匹配，以期在人臉識別第一步快速過濾人臉，減少后續(xù)人臉特征的提取和匹配計算，提升系統(tǒng)的處理能力和實時性.

人臉的3D 輪廓信息，特別是人臉中軸線是重要的特征信息.人臉中軸線是指以鼻尖為中心，將人臉分為對稱的兩部分的一條輪廓線，它包含了人臉額頭、鼻梁、嘴唇等的深度信息，以及相互間的深度位置關系.

在人臉深度信息上，鼻尖位置是人臉曲率變化最劇烈的區(qū)域，且穩(wěn)定性高.文中對人臉深度信息按式(8)進行ShapeIndex 計算，計算出每一個點p 的ShapeIndex 值:式中，k1(p)為最大曲率，k2(p)為最小曲率.根據(jù)鼻尖一般處于人臉中心的實際情況及計算出的ShapeIndex 值對鼻尖進行精確的定位.然后，融合鼻尖和眼睛的位置來提取出人臉中軸線的深度輪廓信息.如圖1(b)所示為提取出的人臉中軸輪廓線.

圖1 人臉中軸輪廓線Fig.1 Medial axis contour of face

3 基于信息融合的改進LBP 的多尺度人臉識別

3.1 改進的區(qū)域LBP 特征

圖像的LBP 具有很強的局部描述能力，最初多用于紋理匹配領域.LBP 特征的描述如圖2 所示.從圖中可以看出，LBP 特征的核心是將中心像素點的值與周圍像素點的值進行比較，大于中心點像素值的編碼為1，小于中心點像素值編碼為0，并規(guī)定一個起始方向得到一組編碼.如圖2 所示，采用左上角為起始方向，得到的編碼為11000111，對應的十進制數(shù)為199.基于這種編碼方法，對整個圖像進行歸一化的編碼，則可以得到一個256 維的直方圖.采用歐氏距離衡量兩張圖像256 維度的直方圖，實現(xiàn)兩張圖的匹配.

圖2 LBP 特征描述Fig.2 Feature description of LBP

上述采用單個像素點編碼的方法易于受到噪聲、旋轉等因素的干擾.為克服傳統(tǒng)LBP 算法基于單個像素值與中心值比較進行計算的缺陷，提高識別的魯棒性，文中提出一種基于區(qū)域像素值的改進LBP 算法.通過對中心像素區(qū)域與周圍區(qū)域進行比較確定編碼，獲得更具有描述能力和抗干擾能力的區(qū)域LBP 特征.區(qū)域LBP 特征提取方法如圖3 所示.改進后的區(qū)域LBP 特征的計算方式不再依賴單個像素點的像素值，而是通過計算一個區(qū)域的像素來決定LBP 的編碼.如對編號“7”區(qū)域的計算，在傳統(tǒng)的LBP 中是由一個像素點值決定的，而在擴展的LBP 特征中其是由4 個像素點值共同決定的.

圖3 區(qū)域LBP 模式Fig.3 Regional model of LBP

3.2 區(qū)域權值確定

人臉的表情和姿態(tài)會造成人臉區(qū)域的顏色和深度信息的變化，是困擾人臉識別的重要問題.結合人臉生理上的固有特征，對區(qū)域LBP 特征權值的分配進行了研究，使區(qū)域LBP 特征匹配具有更好的魯棒性.

3.2.1 彩色人臉圖權值分布

彩色人臉圖權值分布主要是根據(jù)人臉特征色彩空間的分布特點實現(xiàn)的，諸如眼睛、嘴唇等具有較豐富紋理信息的區(qū)域，賦予較高的權值，可以認為這些區(qū)域的信息對人臉的匹配起到主導作用.權值分布情況如圖4 所示.

圖4 人臉彩色圖像圖LBP 權值分布Fig.4 Weight value distribution of LBP for image

權值分布圖中白色區(qū)域的權值為4，灰色區(qū)域的權值設置為2，深灰色區(qū)域的權值設置為1，黑色區(qū)域的權值設置為0.這種權值分布符合人臉彩色圖的紋理變化分布，能夠有效地表征人臉的LBP 特征區(qū)域分布.

3.2.2 人臉生理特征信息分布

為更好地確定深度人臉LBP 特征權值分布，文中分析人臉的生理特征及肌肉分布信息，人臉肌肉信息分布如圖5 所示.

圖5 人臉肌肉分布和LBP 權值分布圖Fig.5 Muscle distribution of face and weight value distribution of LBP

通過對人臉肌肉分布信息研究后，確定人臉中的剛性區(qū)域.人臉剛性區(qū)域發(fā)生形變較小，深度LBP有較為穩(wěn)定的前提，應賦予較高的權值，得出圖5(b)所示的人臉深度權重信息分布圖.權值分布圖中白色區(qū)域權值設為4，灰色區(qū)域的權值設為2，深灰色區(qū)域的權值設為1，黑色區(qū)域的權值設為0.從深度圖的權值分布可以看出，人臉的中心區(qū)域，特別是鼻子區(qū)域有較高的權重，表示該部分在深度上形變較小，可以很好地表征人臉的個體信息.

3.3 LBP 特征匹配

分別對人臉彩色圖像和深度圖像進行區(qū)域LBP特征提取，得到兩個具有很強人臉描述能力的區(qū)域LBP 直方圖.為使人臉識別系統(tǒng)具有快速判別能力，采用式(9)的方法來衡量區(qū)域LBP 特征的相似度:

式中，F(xiàn)、D 分別為當前人臉的區(qū)域LBP 特征和保存在人臉數(shù)據(jù)庫的區(qū)域LBP 特征;wi，j代表了當前分塊區(qū)域的權值.通過式(10)判斷是否為同一張臉:

式中，δ 為判別識別是否成功的閾值，當T 為1 時表示識別成功，T 為0 時表示識別失敗，繼續(xù)尋找數(shù)據(jù)庫的人臉的LBP 特征進行匹配.

4 實驗結果及分析

系統(tǒng)在Xeon 3.07 Ghz 工作站上實現(xiàn)，使用Visual Studio 2010 開發(fā)，采集設備為Kinect，圖像處理方面使用OpenCV 圖像處理庫來完成圖像的基本操作.由5 個人在不同姿態(tài)、不同深度、不同光照下分別采集10 張人臉;將這50 張人臉作為訓練樣本數(shù)據(jù)，利用Kinect 采集的視頻圖像序列作為測試樣本.

4.1 人臉檢測分析

圖6 所示為通過Kinect 在不同姿態(tài)下采集的人臉RGB 圖像及深度圖.在獲取多組不同姿態(tài)下的人臉圖像，可以得到其對應的深度圖以及深度數(shù)據(jù).通過計算人臉區(qū)域的深度信息方差來得到深度閾值范圍，并作為人臉檢測的特征之一，這樣可以有效過濾掉人臉照片和紋理豐富的非人臉區(qū)域.過濾結果對比如圖7 所示.

圖6 不同姿態(tài)下人臉的RGB 圖像及其深度圖Fig.6 RGB image and depth image for face with different gesture

圖7(a)為文獻［13］的人臉檢測結果，圖7(b)則示出了文中提出的融合深度和彩色信息圖的人臉檢測結果.在Kinect 采集的視頻序列中挑選了場景變化較大的100 幀數(shù)據(jù)作為測試對象，具體的統(tǒng)計數(shù)據(jù)見表1.

圖7 人臉檢測結果Fig.7 Face detection results

表1 人臉檢測統(tǒng)計結果Table 1 Statistical results of face detection %

4.2 人臉對齊處理

文中采用的人臉對齊方法，使用了雙眼位置作為對齊的基本信息，通過計算雙眼的相對位置來實現(xiàn)快速的人臉對齊.通過實驗驗證，人臉在不同角度傾斜時，該方法在穩(wěn)定性和速度上都有良好表現(xiàn).不同傾斜人臉對齊情況如圖8 所示.

圖8 傾斜人臉對齊實驗結果Fig.8 Experimental results of inclined face alignment

4.3 人臉識別時間分析

文中根據(jù)人臉在深度圖和彩色圖上的生理信息分布確定了LBP 的權值分布，并通過快速的人臉輪廓排除算法對人臉識別過程進行加速，對比于傳統(tǒng)的3D 人臉識別方法，文中提出的方法在速度上獲得了可觀的提升，人臉識別處理時間分析見表2.

4.4 區(qū)域LBP 算法閾值確定及算法性能比較

文中多處涉及對算法閾值的確定，以彩色圖像LBP 特征閾值計算為例，描述文中閾值的確定方法.

表2 人臉識別處理時間分析Table 2 Analysis of face recognition time

圖9 示出了21 組數(shù)據(jù)的LBP 特征結果.“+”表示數(shù)據(jù)庫中21 個已存的不同人臉與當前檢測人臉進行分區(qū)域LBP 特征匹配的結果.“* ”表示21 個識別正確的結果所對應的分區(qū)域LBP 閾值匹配分布.從圖中可以清楚看到，彩色圖人臉LBP 特征匹配閾值合適的設置區(qū)間應為4000～5000.文中根據(jù)訓練數(shù)據(jù)和人工標定結果最終將彩色人臉LBP 的匹配閾值設置為4500.針對圖9 所示數(shù)據(jù)庫中LBP匹配值有多個小于彩色人臉LBP 匹配閾值的情況，即圖像中代表數(shù)據(jù)中的LBP 匹配值和代表識別正確結果LBP 匹配值的紅線有多個交點的情況，文中選擇最接近的結果作為最終匹配結果，即選擇最小的LBP 匹配值作為人臉最后的識別結果.

通過上述的方法確定了系統(tǒng)中所采用方法的閾值，識別結果如圖10 所示.

圖10 人臉識別系統(tǒng)識別結果Fig.10 Results of face recognition

使用Kinect 采集10 人人臉信息作為樣本庫，挑選其中3 人在不同場景下的750 幀視頻序列數(shù)據(jù)作為檢測數(shù)據(jù)，用傳統(tǒng)LBP 算法和改進的區(qū)域LBP 算法進行測試比較，測試結果見表3.

表3 兩種算法的成功匹配率Table 3 Successful matching rate of two algorithms %

從表3 中可以看出，使用改進區(qū)域LBP 特征匹配的方法能更好地適應環(huán)境的變化，更有效地去除圖像噪聲、光照變化等因素對匹配結果的影響.

5 結語

文中提出了一種融合Kinect 采集的彩色圖像和深度信息來完成人臉識別的方法.在人臉檢測部分，提出利用雙眼進行人臉定位，并結合膚色模型和人臉深度信息模型實現(xiàn)非人臉區(qū)域的濾除.在人臉對齊的基礎上，引入DTW 算法實現(xiàn)人臉輪廓的快速排除，提高了系統(tǒng)的實時性.在識別研究中，提出了一種改進的區(qū)域LBP 算法，在區(qū)域LBP 算法的權值選取方面融合人臉的彩色圖像信息和人臉生理特征信息，提高了識別的魯棒性.

文中雖然在人臉識別的實時性和魯棒性方面有所改進，但是系統(tǒng)應用還存在諸多不足.接下來將在以下幾個方面展開研究:①弱光條件下人臉的檢測及識別;②不同姿態(tài)下的人臉識別，特別是人臉有徑向轉動的情況;③大數(shù)據(jù)庫環(huán)境的測試.

［1］Li S Z，Jain A K.Handbook of face recognition［M］.New York:Springer，2011.

［2］Abdi H，Williams L J.Principal component analysis［J］.Wiley Interdisciplinary Reviews:Computational Statistics，2010，2(4):433-459.

［3］王建忠.高維數(shù)據(jù)幾何結構及降維［M］.北京:高等教育出版社，2012:95-114.

［4］Chan L H，Salleh S H，Ting C M，et al.PCA and LDAbased face verification using back-propagation neural network［C］∥Proceedings of the 10th International Conference on Information Sciences，Signal Processing and their Application.Kuala Lumpur:IEEE，2010:728-732.

［5］Yuan B H，Cao H G，Chu J L.Combining local binary pattern and local phase quantization for face recognition［C］∥Proceedings of 2012 International Symposium on Biometrics and Security Technologies.Taipei:IEEE，2012:51-53.

［6］Dornaika F，Bosaghzadeh A.Exponential local discriminant embedding and its application to face recognition［J］.IEEE Transactions on Cybernetics，2013，43(3):921-934.

［7］Ho Huy T，Chellappa R.Pose-invariant face recognition using Markov random fields ［J］.IEEE Transactions on Image Processing，2013，22(4):1537-1583.

［8］Smeets D，F(xiàn)abry T，Hermans J，et al.Fusion of an isometric deformation modeling approach using spectral decomposition and a region-based approach using ICP for expression-invariant 3D face recognition［C］∥Proceedings of 2010 International Conference on Pattern Recognition.Istanbul:IEEE，2010:1172-1175.

［9］Priya M V，Narayanan R，Sivaa M，et al.A combined approach for face detection with 3D mesh and eigen face［J］.Procedia Engineering，2012，38:298-305.

［10］梁亞玲，杜明輝.基于唇部灰度能量圖的唇讀方法［J］.華南理工大學學報:自然科學版，2011，39(7):88-94.Liang Ya-ling，Du Ming-hui.Lipreading based on lip gray energy image［J］.Journal of South China University of Technology:Natural Science Edition，2011，39(7):88-94.

［11］Berretti S，Del Bimbo A，Pala P.3D face recognition using iso-geodesic stripes ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(12):2162-2177.

［12］Paysan P，Knothe R，Amberg B，et al.A 3D face model for pose and illumination invariant face recognition［C］∥Proceedings of 2009 Advanced Video and Signal Based Surveillance.Genova:IEEE，2009:296-301.

［13］Paul V，Michael J J.Robust real-time face detection［J］.International Journal of Computer Vision，2004，57(2):137-154.

［14］Takiwaki H，Overgaard L，Serup J.Comparison of narrow-band reflectance spectrophotometric and tristimulus colorimetric measurements of skin color twenty-three anatomical sites evaluated by the Dermaspectrometer and the chroma meter CR-200［J］.Skin Phamacol，1994，7(4):217-225.

［15］Wehrens R.Chemometrics with R ［M］.Heidelberg:Springer，2011:43-66.

［16］李曉莉，達飛鵬.基于排除算法的快速三維人臉識別方法［J］.自動化學報，2010，36(1):153-158.Li Xiao-li，Da Fei-peng.A rapid method for 3D face recognition based on rejection algorithm［J］.Acta Automatica Sinica，2010，36(1):153-158.