基于深度數(shù)據(jù)的空間人臉旋轉(zhuǎn)角度估計(jì)

蔣建國(guó)， 胡珍珍， 詹 曙

（合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009）

人臉旋轉(zhuǎn)角度的估計(jì)是指確定輸入的人臉圖像在三維空間中對(duì)應(yīng)于x、y、z3個(gè)坐標(biāo)軸的旋轉(zhuǎn)角度。獲得準(zhǔn)確的人臉姿態(tài)參數(shù)是智能人機(jī)交互、基于模型的視頻會(huì)議編碼、虛擬現(xiàn)實(shí)、智能控制以及人臉識(shí)別的前提條件，因而具有廣闊的應(yīng)用前景。

近年來大部分人臉的姿態(tài)估計(jì)主要是基于二維人臉的灰度數(shù)據(jù)，對(duì)于姿態(tài)變化魯棒性較差。三維數(shù)據(jù)反映的人臉幾何信息，具有旋轉(zhuǎn)不變性，能夠克服姿態(tài)和光照變化的影響，因而受到越來越多的關(guān)注。當(dāng)前三維數(shù)據(jù)的捕獲技術(shù)主要有[1]：基于立體視覺、結(jié)構(gòu)光和激光掃描儀3種。基于立體視覺的捕獲技術(shù)是通過融合不同角度的二維圖像來合成三維人臉模型或三維圖像，通過各種光照模型，人臉表情模型和姿態(tài)估計(jì)消除光照條件，姿態(tài)和表情變化帶來的影響。結(jié)構(gòu)光技術(shù)是采用一組模式光，如光點(diǎn)、光條或光面，投影到人臉上，由模式光的形變可以得到人臉表面的深度信息。激光掃描儀獲取的3D數(shù)據(jù)較精確，但是儀器價(jià)格昂貴，采集速度較慢。國(guó)內(nèi)尹寶才、孫艷豐建立了目前國(guó)際上最大的中國(guó)人的三維人臉數(shù)據(jù)庫(kù)BJUT-3D，其中包括經(jīng)過預(yù)處理的1200名中國(guó)人的三維人臉數(shù)據(jù)，這一數(shù)據(jù)資源對(duì)于三維人臉識(shí)別與建模方面的研究有重要意義[2]。

目前國(guó)內(nèi)外對(duì)人臉旋轉(zhuǎn)角度估計(jì)的方法主要有兩類：基于表觀的方法和基于模型的方法?；诒碛^的方法是假設(shè)3D人臉姿態(tài)與人臉圖像的某些特性（圖像密度、顏色、圖像梯度值等）存在唯一的對(duì)應(yīng)關(guān)系，用大量已知3D人臉姿態(tài)的訓(xùn)練樣本，通過統(tǒng)計(jì)方法來建立這種關(guān)系。國(guó)內(nèi)馬丙鵬、山世光等利用了一維Gabor濾波器提取頭部圖像特征再用局部Fisher判別分析估計(jì)姿態(tài)[3]。但這種方法需要大量的訓(xùn)練樣本作為先驗(yàn)集，精確度大大受限于訓(xùn)練樣本的劃分策略數(shù)量。基于模型的方法利用某種幾何模型或結(jié)構(gòu)表示人臉的結(jié)構(gòu)和形狀，在模型和圖像之間建立起對(duì)應(yīng)關(guān)系，然后通過幾何或者其他方法實(shí)現(xiàn)姿態(tài)的估計(jì)。Mazumdar等人使用兩個(gè)外眉點(diǎn)和嘴的中心點(diǎn)，形成一個(gè)T字型人臉模型實(shí)現(xiàn)了人臉姿態(tài)的估計(jì)[4]。Xiao 等人利用圓柱表示三維的頭部，并根據(jù)透視投影來估計(jì)頭部的姿態(tài)[5]。Park等利用AAM（Active Appearance Models，主動(dòng)外觀模型）、期望最大化算法和3DMM（3D Morphable Model，3D形變模型）實(shí)現(xiàn)的單幅人臉圖像姿態(tài)預(yù)測(cè)[6]。Ebisawal以基于兩瞳孔和鼻孔的3D檢測(cè)來做人臉姿態(tài)估計(jì)[7]。國(guó)內(nèi)梁國(guó)遠(yuǎn)、查紅彬等人利用人臉的三維模型生成特征點(diǎn)正面平行投影，根據(jù)圓和橢圓之間的仿射對(duì)應(yīng)關(guān)系獲取人臉姿態(tài)[8]?；谀Ｐ头椒ǖ膬?yōu)點(diǎn)在于：人臉的幾何結(jié)構(gòu)通過投影模型清楚地揭示了3D人臉姿態(tài)和2D人臉圖像的關(guān)系。當(dāng)人臉特征點(diǎn)被精確定位后，這種方法簡(jiǎn)單易行，且具有高的精確度。但是這種方法的不足之處在于對(duì)于面部特征點(diǎn)的定位敏感。針對(duì)這一問題，本文利用相關(guān)型圖像傳感器所獲取的面部深度數(shù)據(jù)和一一對(duì)應(yīng)的灰度數(shù)據(jù)，對(duì)人臉面部特征點(diǎn)進(jìn)行精確定位，并利用定位的結(jié)果對(duì)人臉在三維空間的旋轉(zhuǎn)角度進(jìn)行估算。實(shí)驗(yàn)結(jié)果表明，該方法可以準(zhǔn)確的估計(jì)面部旋轉(zhuǎn)角度，并對(duì)姿態(tài)的變化有著較好的魯棒性。

1 三維人臉數(shù)據(jù)

實(shí)驗(yàn)所用三維數(shù)據(jù)采用基于圖像傳感器獲得的三維深度數(shù)據(jù)，以及與其一一對(duì)應(yīng)的灰度圖像數(shù)據(jù)，如圖1、圖2所示。

圖1 三維人臉圖像

圖2 三維深度圖像

2 基于曲率的特征點(diǎn)定位

物體表面曲率具有幾何不變性[9]。為了分析三維人臉的曲率，定義人臉曲面S[9]，S是由二次可微的實(shí)值函數(shù)f定義的，令則曲面S可表示為

對(duì)于曲面S上的每一點(diǎn)(x,y, （fx,y）)的平均曲率H和Gauss曲率K可用式(1)-(2)計(jì)算

根據(jù)GaussK和H的符號(hào)，可以將局部曲面的形狀分為9類[10]，如下表所示。

表1 根據(jù)K和H符號(hào)確定的局部曲面分類

由微分幾何的知識(shí)可知：在人臉曲面中鼻子頂點(diǎn)處為頂面部分Gauss曲率最大處，而兩眼之間的鞍點(diǎn)部分則為鞍脊面部分Gauss曲率最小處。定位結(jié)果如圖3所示。

3 基于灰度的特征定位

人臉眼睛部位常見的遮擋物為眼鏡，由于眼鏡的影響會(huì)造成基于曲率特征對(duì)眼睛的定位不準(zhǔn)確。而由CIS（Correlativn Image Sensor，相關(guān)類型圖像傳感器）所獲取的人臉深度數(shù)據(jù)和灰度數(shù)據(jù)是一一對(duì)應(yīng)的，因此可以根據(jù)由深度數(shù)據(jù)所提取的鼻尖和鞍點(diǎn)為基準(zhǔn)，再在灰度數(shù)據(jù)中提取出左右瞳孔的位置。人的瞳孔在亮度圖像中的灰度要明顯的小于人臉中其他部分，根據(jù)人臉的形態(tài)結(jié)構(gòu)知識(shí)，在鼻尖的上方、鞍點(diǎn)的左右區(qū)域設(shè)定搜索范圍，可以準(zhǔn)確的找出灰度值最小點(diǎn)，確定左右瞳孔的位置。圖4的實(shí)驗(yàn)結(jié)果表明，用亮度對(duì)眼睛的定位對(duì)于姿態(tài)變化和眼鏡遮擋的魯棒性較好，在光照不足的情況下也能夠?qū)?shí)現(xiàn)瞳孔準(zhǔn)確定位。

圖3 利用曲率特征定位鼻尖點(diǎn)和鞍點(diǎn)

圖4 利用曲率和灰度對(duì)人臉鼻尖點(diǎn)、鞍點(diǎn)和左右瞳孔點(diǎn)定位的結(jié)果

4 基于特征點(diǎn)人臉旋轉(zhuǎn)角度估計(jì)

首先建立三維的人臉坐標(biāo)系：水平方向?yàn)閄方向，垂直方向?yàn)閅方向，垂直紙面指向外的方向?yàn)閆方向，如圖5所示。

圖5 人臉空間旋轉(zhuǎn)的3個(gè)方向

人臉面部的旋轉(zhuǎn)通常分成3種類型：平面內(nèi)旋轉(zhuǎn)（XOY平面內(nèi)旋轉(zhuǎn)）、左右旋轉(zhuǎn)（XOZ平面內(nèi)旋轉(zhuǎn)）和上下旋轉(zhuǎn)（YOZ平面內(nèi)旋轉(zhuǎn)）。

文獻(xiàn)[11]采用提取出的眼睛和嘴部的特征點(diǎn)建立等腰三角形來估計(jì)空間人臉的姿態(tài)。而實(shí)際上在空間中，面部的各個(gè)特征點(diǎn)很少在同一深度平面上，特別是在姿態(tài)發(fā)生偏轉(zhuǎn)時(shí)。本文根據(jù)CIS所獲取的人臉深度數(shù)據(jù)和灰度數(shù)據(jù)是一一對(duì)應(yīng)的關(guān)系，在獲取特征點(diǎn)在灰度圖像中的位置的同時(shí)，也獲取了對(duì)應(yīng)特征點(diǎn)的深度信息，通過對(duì)左右瞳孔、鼻尖點(diǎn)和鞍點(diǎn)空間位置坐標(biāo)的計(jì)算，可以準(zhǔn)確估計(jì)人臉在空間的旋轉(zhuǎn)角度。

以α、β、γ作為人臉分別繞X、Y、Z旋轉(zhuǎn)形成的角度。人臉面部每一點(diǎn)在空間中的坐標(biāo)可表示為Xi,Yi,Zi。

γ的計(jì)算比較簡(jiǎn)單，可直接通過左右瞳孔在圖像中的坐標(biāo)計(jì)算出來，如圖6所示。令左右瞳孔的坐標(biāo)分別為x1,y1,z1、 x2, y2,z2，則旋轉(zhuǎn)角度可由式(3)算出。

當(dāng)人臉繞Y軸旋轉(zhuǎn)時(shí)，以鼻尖和鞍點(diǎn)的連線在空間中旋轉(zhuǎn)過的角度作為角度β。圖7中，saddle和nose點(diǎn)表示在中正面狀體下的鞍點(diǎn)和鼻尖點(diǎn)，saddle'和nose'則表示繞Y軸旋轉(zhuǎn)后的鞍點(diǎn)和鼻尖點(diǎn)。鼻尖的坐標(biāo)為xn,yy,zn，鞍點(diǎn)的坐標(biāo)為為xs,ys,zs。角度計(jì)算見式(4)。

圖6 旋轉(zhuǎn)角度γ

圖7 旋轉(zhuǎn)角度β

人臉繞X軸的旋轉(zhuǎn)角度α的計(jì)算也是通過鞍點(diǎn)和鼻尖點(diǎn)位置的變化來完成。圖8中，在中正面的狀態(tài)下，鼻尖與鞍點(diǎn)的連線與Y軸有一個(gè)夾角α0，當(dāng)人臉圍繞X軸旋轉(zhuǎn)時(shí)，這一夾角會(huì)變成α'，兩個(gè)角度之間的差值即為人臉繞X軸的旋轉(zhuǎn)角度α。中正面時(shí)鞍點(diǎn)的坐標(biāo)為xs,ys,zs，鼻尖點(diǎn)的坐標(biāo)為xn,yn,zn，并且考慮到左右旋轉(zhuǎn)對(duì)上下旋轉(zhuǎn)的影響，旋轉(zhuǎn)角度可由式(5)算出。

圖8 旋轉(zhuǎn)角度α

同理可以計(jì)算出α′，則α=α′-α0

5 實(shí) 驗(yàn)

實(shí)驗(yàn)采用CIS采集的圖像包括7個(gè)人115組數(shù)據(jù)，每組數(shù)據(jù)可生成一幅深度圖和一幅灰度圖像，共有230幅圖像。這些人臉圖像包括：抬頭/低頭、左右偏轉(zhuǎn)等姿態(tài)和是否戴眼鏡不等人臉細(xì)節(jié)。圖像尺寸為64×64（單位：像素）。實(shí)驗(yàn)中，令XOY平面內(nèi)逆時(shí)針旋轉(zhuǎn)為正，順時(shí)針旋轉(zhuǎn)為負(fù)；XOZ平面內(nèi)逆時(shí)針旋轉(zhuǎn)為正，順時(shí)針旋轉(zhuǎn)為負(fù)；YOZ平面內(nèi)逆時(shí)針旋轉(zhuǎn)為正，順時(shí)針旋轉(zhuǎn)為負(fù)。部分實(shí)驗(yàn)結(jié)果如表9所示。實(shí)驗(yàn)結(jié)果表明，本文的方法能夠?qū)Σ煌藨B(tài)人臉的旋轉(zhuǎn)角度作出正確估算。

6 結(jié) 論

本文提出了一種利用深度數(shù)據(jù)和灰度數(shù)據(jù)，通過特征點(diǎn)定位結(jié)果對(duì)人臉在空間里的旋轉(zhuǎn)角度進(jìn)行估算的方法。根據(jù)微分幾何的知識(shí)，利用曲率特征的旋轉(zhuǎn)不變性，結(jié)合灰度特征，對(duì)不同姿態(tài)和遮擋條件下的人臉特征進(jìn)行了定位，并根據(jù)定位的結(jié)果對(duì)人臉的旋轉(zhuǎn)角度進(jìn)行了計(jì)算。對(duì)于115幅人臉圖像的實(shí)驗(yàn)結(jié)果表明：本文的方法可以準(zhǔn)確定位鼻尖點(diǎn)、鞍點(diǎn)和左右瞳孔，并能實(shí)現(xiàn)人臉角度的精確計(jì)算。

人臉旋轉(zhuǎn)角度的計(jì)算對(duì)于后續(xù)的人臉識(shí)別及相關(guān)計(jì)算，是一個(gè)重要的前處理過程，可作為表情分析、五官分割等方向的預(yù)處理。三維的數(shù)據(jù)克服了二維數(shù)據(jù)信息不足的缺點(diǎn)，在以后的人臉處理中會(huì)有更加廣泛的應(yīng)用。

圖9 對(duì)不同人臉、不同姿態(tài)的實(shí)驗(yàn)結(jié)果

[1]詹 曙, 常 虹, 蔣建國(guó), 等. 基于相關(guān)型圖像傳感器三維人臉成像的三維AAMs人臉識(shí)別方法的研究[J]. 中國(guó)圖象圖形學(xué)報(bào), 2008, 13(10): 2059-2063.

[2]尹寶才, 孫艷豐, 王成章, 等. BJUT-3D三維人臉數(shù)據(jù)庫(kù)及其處理技術(shù)[J]. 計(jì)算機(jī)研究與發(fā)展, 2009,46(6): 1009-1018.

[3]馬丙鵬, 山世光, 陳熙霖, 等. 一種基于圖像表觀的魯棒姿態(tài)估計(jì)方法[J].軟件學(xué)報(bào), 2009, 20(6):1651- 1663.

[4]Mazumda D R, Dutta S, Mitra S. Automatic feature detection of a face and recovery of its pose [C]//Communicated to Journal of IETE, 2003: 505-511.

[5]Xiao J, Moriyama T, Kanade T, et al. Robust full-motion recovery of head by dynamic templates and registration techniques [J]. International Journal of Imaging Systems and Technology, 2003, 13: 85-94.

[6]Park S W, Heo J G, Savvides M. 3D face reconstruction from a single 2D face image [C]//Proceedins of Society Conference on Computer Vision and Pattern Recognition. Anchorage, 2008: 1-8.

[7]Ebisawal Y. Face pose estimation based on 3D detection of pupils and nostrils [C]//Proceedings of IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems, Giardini Naxos, Itay, 2005:92-97.

[8]梁國(guó)遠(yuǎn), 查紅彬, 劉 宏. 基于三維模型和仿射對(duì)應(yīng)原理的人臉姿態(tài)估計(jì)方法[J]. 計(jì)算機(jī)學(xué)報(bào), 2005,28(5): 792-800.

[9]Colombo A, Cusano C, Schettini R. 3D face detection using curvature analysis [J]. Pattern Recognition, 2006,39: 444 - 455.

[10]Besl P J, Jain R C. Invariant surface characteristics for 3-d object recognition in range images [J].Comput, Vision, Graphics Image Process, 1986, 33:33-80.

[11]Nikolaidis A, Pitas I. Facial feature extraction and pose determination [J]. Attern Recognition, 2000, 33:1783-1791.