基于矩-傅里葉描述子的不同姿態(tài)三維人臉識(shí)別

張玉明，高　杰，張海燕

(1.蕪湖職業(yè)技術(shù)學(xué)院　電氣學(xué)院，安徽　蕪湖　241001；2.合肥工業(yè)大學(xué)　計(jì)算機(jī)與信息學(xué)院，安徽　合肥　230009)

?

基于矩-傅里葉描述子的不同姿態(tài)三維人臉識(shí)別

張玉明1，高杰2，張海燕2

(1.蕪湖職業(yè)技術(shù)學(xué)院電氣學(xué)院，安徽蕪湖241001；2.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽合肥230009)

摘要：三維人臉相比二維人臉包含更豐富的信息，而且能夠克服姿態(tài)，表情，光照因素的影響，更好地表示人臉特征，從而逐漸受到廣泛的關(guān)注和重視。文中對(duì)不同姿態(tài)下的三維人臉深度圖，先用微分幾何相關(guān)知識(shí)把該圖校正到正中面，然后通過(guò)提取人臉面部的等高線特征，將三維人臉變成容易處理的二維曲線，針對(duì)如何能夠更好的描述該二維曲線，提出了一種把矩和傅里葉描述子相結(jié)合的新方法，最后利用提取的曲線特征進(jìn)行人臉識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法具有很好的實(shí)時(shí)性和更強(qiáng)大的形狀區(qū)分能力，魯棒性高，優(yōu)于傳統(tǒng)傅里葉描述子提取等高線特征的方法。

關(guān)鍵詞：深度圖；矩；傅里葉描述子；人臉識(shí)別

人臉識(shí)別和手紋識(shí)別，指紋識(shí)別，聲音識(shí)別等一樣，是一種基于生命個(gè)體特有的身份認(rèn)證技術(shù)，它通過(guò)提取分析人臉視覺(jué)特征信息進(jìn)行身份認(rèn)證，具有非接觸性，不侵犯隱私等特點(diǎn)，具有非常好的應(yīng)用前景，例如在電子商務(wù)，門(mén)禁系統(tǒng)中的應(yīng)用等。

最初的人臉識(shí)別主要是基于二維人臉特征，在條件適宜的情況下，可取得比較好的識(shí)別效果。但在實(shí)際應(yīng)用中，二維人臉識(shí)別方法無(wú)法克服多種因素的影響，識(shí)別效果不夠理想。三維人臉含有更加豐富的臉部特征信息，而且基于三維人臉的識(shí)別方法相比較二維人臉，對(duì)各種因素比如不同的光線或者不同的表情等因素有更強(qiáng)的魯棒性，近些年三維成像技術(shù)也逐漸走向成熟，這有益于人臉識(shí)別技術(shù)的研究，國(guó)內(nèi)外學(xué)者投入很大的精力和興趣在這個(gè)領(lǐng)域。

本文中提出的方法是先由三維實(shí)時(shí)成像系統(tǒng)獲取人臉深度圖，然后對(duì)不同特點(diǎn)的深度圖進(jìn)行校正，最后提取校正后的人臉深度圖的等高線，從而將三維深度圖轉(zhuǎn)變?yōu)橐子谔幚砗头治龅亩S曲線。本文主要研究如何更好更快地描述二維曲線特征，用于后面的人臉識(shí)別。傳統(tǒng)的形狀不變矩和傅里葉描述子是兩種經(jīng)典的形狀描述方法，在近幾十年已經(jīng)得到國(guó)內(nèi)外學(xué)者的深入研究。但是傳統(tǒng)的形狀不變矩方法計(jì)算量大而復(fù)雜，不適合不同姿態(tài)的三維人臉深度圖，人臉深度圖對(duì)實(shí)時(shí)應(yīng)用要求高。傳統(tǒng)的傅里葉描述法計(jì)算量小但穩(wěn)定性不高，魯棒性低。本文提出把矩特征和傅里葉描述子結(jié)合起來(lái)來(lái)描述人臉的等高線，其計(jì)算量小，區(qū)分形狀能力更強(qiáng)，把提取后的特征應(yīng)用在人臉識(shí)別后，識(shí)別效果更好，識(shí)別速度更快。

1不同姿態(tài)下的人臉深度圖校正

深度圖中每一點(diǎn)的像素值代表該點(diǎn)的深度，能體現(xiàn)出人臉在三維空間上內(nèi)在的結(jié)構(gòu)特征[1]，在實(shí)際拍攝過(guò)程中，攝像頭一般不是正對(duì)人臉，所以得到的三維深度圖或左或右或上或下有一些偏移，不是標(biāo)準(zhǔn)的“正中面”圖像[2-5]?？衫萌S人臉數(shù)據(jù)的幾何不變性對(duì)其進(jìn)行校正以便獲得更好的識(shí)別效果。校正后的人臉圖像可以用一種離散曲面表示。該曲面S:z=f(x,y)中任意一點(diǎn)(x,y,f(x,y))的高斯曲率可表示為：

把整個(gè)曲面根據(jù)高斯曲率和平均曲率大小分成不同的區(qū)域，若K>0，H<0，則是頂面區(qū)域， 若K<0,H<0則是鞍脊面區(qū)域等等，再找出一些關(guān)鍵點(diǎn)。由微分幾何相關(guān)知識(shí)和人的臉部特征可以推出，頂面區(qū)域內(nèi)高斯曲率最大處是鼻尖點(diǎn)，左右眼點(diǎn)也是另一個(gè)局部區(qū)域中高斯曲率最大處，而鞍脊點(diǎn)是鞍脊面區(qū)域內(nèi)高斯曲率最小處[6]。找到這些關(guān)鍵點(diǎn)，在關(guān)鍵點(diǎn)定位的基礎(chǔ)上，通過(guò)計(jì)算鼻尖點(diǎn)、鞍點(diǎn)和左右眼點(diǎn)在空間位置的坐標(biāo)，可以準(zhǔn)確估計(jì)人臉的偏轉(zhuǎn)角度。人臉繞橫向(x軸)偏轉(zhuǎn)的角度α表示為鼻尖點(diǎn)與三維坐標(biāo)原點(diǎn)連線在縱向(y軸)和深度(z軸)平面內(nèi)偏轉(zhuǎn)的角度，體現(xiàn)人臉俯仰情況。人臉繞y軸偏轉(zhuǎn)的角度可表示為鼻尖點(diǎn)繞軸偏轉(zhuǎn)的角度，體現(xiàn)人臉的扭轉(zhuǎn)情況。人臉繞z軸偏轉(zhuǎn)的角度γ表示為左右眼點(diǎn)與水平方向的夾角，體現(xiàn)人臉的偏轉(zhuǎn)情況。α、β 、γ角度的計(jì)算公式如下：

結(jié)合計(jì)算的三個(gè)方向上的旋轉(zhuǎn)角度，將人臉深度圖像校正到“正中面”，旋轉(zhuǎn)后的人臉部分區(qū)域會(huì)出現(xiàn)“空洞”，利用相鄰點(diǎn)的數(shù)據(jù)和對(duì)稱(chēng)區(qū)域的相關(guān)數(shù)據(jù)來(lái)填補(bǔ)這些“空洞”，從而得到完整的“正中面”的人臉深度圖像。

2矩-傅里葉描述子算法

將三維人臉視為一個(gè)曲面，提取校正后的三維人臉深度圖的等高線來(lái)描述人臉的幾何特征。每條等高線都是封閉的二維曲線，為了更好的描述曲線特征，提出把不變矩和傅里葉描述子方法結(jié)合起來(lái)，即矩-傅里葉描述子法。該算法的基本過(guò)程是首先把等高線看成是是由N個(gè)離散點(diǎn)組成的，將這些離散點(diǎn)用直線段相連，形成連續(xù)邊界曲線的封閉區(qū)域。計(jì)算區(qū)域的質(zhì)心，以質(zhì)心為中心，等角度的向外作N條射線，這N條射線和邊界直線段將區(qū)域分割成N個(gè)等角度的扇形區(qū)域，在每個(gè)扇形區(qū)域計(jì)算同一種矩，用計(jì)算出來(lái)的一系列矩值反映曲線的形狀特征，最后對(duì)這些矩特征值進(jìn)行離散傅里葉變換并歸一化，得到形狀特征描述子，用來(lái)表示人臉曲面的等高線。

圖1　扇形區(qū)域劃分示意圖

2.1確定閉合區(qū)域的質(zhì)心

數(shù)字圖像的(p+q)階的計(jì)算公式如下：

其中f(x,y)是圖像的密度函數(shù)，一般指的是像素點(diǎn)(i,j)灰度值函數(shù)。

圖像質(zhì)心(Cx,Cy)坐標(biāo)為：

2.2基于邊界點(diǎn)的矩特征值快速算法

由于等高線是二維的閉合曲線，由N個(gè)離散點(diǎn)組成，相鄰的邊界點(diǎn)和質(zhì)心之間用線連接，形成一個(gè)三角形，N個(gè)邊界點(diǎn)形成N個(gè)三角形，整個(gè)等高線的矩可以通過(guò)這些三角形的矩獲得。三角形劃分示意圖如下圖，分為三個(gè)區(qū)域，區(qū)域一是由點(diǎn)(a,b)和(a,0)構(gòu)成的三角形，區(qū)域二是由點(diǎn)(0,0),(a,b)和(c,0)構(gòu)成的梯形，區(qū)域三是由點(diǎn)(0,0),(c,d)和(c,0)構(gòu)成的三角形。下面給出3個(gè)區(qū)域的6個(gè)低階矩公式：

圖2　三角形示意圖

區(qū)域一：

m00,1=ab/2,m01,1=ab2/6,m10,1=a2b/3,m11,1=a2b2/8,m02,1=ab3/12,m20,1=a3b/4.

區(qū)域二：

m00,2=(c-a)(d+b)/2m10,2=(d-b)(c2+ac+a2)/3+(bc-ad)(c+a)/2

m01,2=(c-a)(d2+db+b2)/6,

m02,2=(c-a)(d3+bd2+b2d+b3)/12

m20,2=(d-b)(c3+ac2+a2c+a3)/4+(bc-ad)(c2+ac+a2)/3

區(qū)域三：

計(jì)算公式和區(qū)域一是一樣的，只需要將a換成c，b換成d。

三角形的(p+q)階矩為：

mpq=mpq,1+mpq,2-mpq,3

為了定義一個(gè)簡(jiǎn)單，運(yùn)算量小，同時(shí)又能夠識(shí)別形狀特征，我們選取Hu提出的七個(gè)不變矩中的第一個(gè)矩來(lái)作為扇形區(qū)域的矩特征值：

φ=u20+u02

其中u20,u02由幾何矩mpq根據(jù)下式可得：

以等高線所圍區(qū)域質(zhì)心坐標(biāo)為中心，向外等角度作出N條射線，該射線與輪廓相交，形成N個(gè)等角扇形區(qū)域，根據(jù)上面方法計(jì)算每個(gè)扇形區(qū)域的矩特征值，按照逆時(shí)針旋轉(zhuǎn)方向存放該值φ。

2.3傅里葉描述子及其歸一化

傅里葉描述子是物體形狀邊界曲線的傅里葉變換系數(shù)，他是物體形狀邊界曲線的頻域分析的結(jié)果[7]。三維人臉圖像的任何一條等高線可以作為離散點(diǎn)的坐標(biāo)序列：

z(n)=[x(n),y(n)]n=0,1,…,N-1

該條等高線可以經(jīng)過(guò)取樣為N個(gè)離散點(diǎn)，這些離散點(diǎn)可以用復(fù)數(shù)和二維直角坐標(biāo)系來(lái)表示：

z(n)=x(n)+jy(n)n=0,1,…,N-1

k=0,1,…,N-1

因?yàn)楦道锶~級(jí)數(shù)的能量大多主要集中在低頻分量，往往利用傅里葉描述子的前M個(gè)低頻分量可以近似恢復(fù)原始等高線的形狀。

上面的傅里葉描述子將邊界曲線等距離離散化，得到N個(gè)離散點(diǎn)，本文算法中計(jì)算的矩特征值序列已經(jīng)是對(duì)整個(gè)區(qū)域進(jìn)行等角度均勻分割后得到的，可以直接對(duì)得到的矩值序列作離散傅里葉變換。歸一化的傅里葉描述子定義為：

3相似度計(jì)算

取一幅校正后的人臉深度圖，隨意選取曲面中的n條等高線，每條等高線使用前m個(gè)的傅里葉描述子，傅里葉描述子使用復(fù)數(shù)形式，那么整幅人臉可以由個(gè)傅里葉描述子描述其特征，此特征可表示為：Ip(t)=xp(t)+i*yp(t)t=1,2,…,m×n

在人臉識(shí)別時(shí)，選取不同人臉圖像特征之間最近的距離為識(shí)別結(jié)果。不同人臉深度圖特征之間的距離定義為：

4實(shí)驗(yàn)與結(jié)果分析

下面通過(guò)一個(gè)實(shí)驗(yàn)，與傳統(tǒng)的傅里葉描述子相比較，來(lái)證明本文的矩-傅里葉描述子算法有更強(qiáng)的形狀區(qū)分能力。下圖7條魚(yú)屬于同一形狀，但是分別具有不同的旋轉(zhuǎn)角度和不同的尺寸。用本算法來(lái)計(jì)算圖3中同種形狀間的相似度差異，其類(lèi)內(nèi)平均差異度為0.02217。再計(jì)算圖4中所示的不同形狀間的差異度，其類(lèi)間平均差異度為0.45904。類(lèi)間的差異度和類(lèi)內(nèi)的差異度的比值為0.45904/0.02217=20.70545。若用傳統(tǒng)的傅里葉描述子來(lái)計(jì)算，則類(lèi)內(nèi)平均差異度為0.02315，類(lèi)間平均差異度為0.27042，比值為11.68120。實(shí)驗(yàn)表明矩傅里葉描述子比傳統(tǒng)的傅里葉描述子有更強(qiáng)的形狀區(qū)分能力。

圖3　7種同樣的形狀

圖4　7種不同的形狀

5結(jié)論

本文針對(duì)不同姿態(tài)的三維人臉識(shí)別，提出了一種快速有效的人臉識(shí)別方法。該方法利用微分幾何理論將不同姿態(tài)的三維人臉深度圖像校正到“正中面”，然后提取代表人臉曲面幾何性質(zhì)的等高線，把矩和傅里葉描述子結(jié)合起來(lái)提取人臉等高線特征，最后把提取的特征分類(lèi)，應(yīng)用在人臉識(shí)別中，獲得了比較高的識(shí)別率。

參考文獻(xiàn)：

[1]田文君．基于深度圖像的三維人臉特征提取[D]．北京：北京交通大學(xué)，2009．

[2]李茜，龔勛，王國(guó)胤．基于曲率和紋理信息的三維人臉特征提取[J]．重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版，2008，20(6)：729-732, 753．

[3]葉長(zhǎng)明，蔣建國(guó)，詹曙，等．不同姿態(tài)人臉深度圖識(shí)別的研究[J]．電子測(cè)量與儀器學(xué)報(bào)，2011，25(10)：870-878．

[4]胡珍珍．基于深度數(shù)據(jù)的人臉旋轉(zhuǎn)角度估計(jì)及三維人臉識(shí)別的研究[D]．合肥：合肥工業(yè)大學(xué)，2011．

[5]藍(lán)楊，王紫霏，吳楊，等. 一種基于等高線的三維人臉識(shí)別方法[P].中國(guó)，G06K9/00，2010-10-24.

[6]葉長(zhǎng)明，蔣建國(guó)，詹曙，等．基于曲面等高線特征的不同姿態(tài)三維人臉深度圖識(shí)別[J]．模式識(shí)別與人工智能，2013，26(2)：219-224．

[7]李剛，王蒙軍，林凌．視覺(jué)驅(qū)動(dòng)的語(yǔ)音合成系統(tǒng)中唇形輪廓的傅里葉描述[J]．儀器儀表學(xué)報(bào)，2007，28(8)：1464-1468．

(責(zé)任編輯：李孟良)

收稿日期：2016-01-18

基金項(xiàng)目：國(guó)家自然科學(xué)基金(61371156)；安徽省科技攻關(guān)計(jì)劃(140B042019)。

作者簡(jiǎn)介：張玉明(1968-)，男，安徽省蕪湖市人，碩士，副教授，主要從事圖像處理及保密通信研究。

中圖分類(lèi)號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1673-8772(2016)03-0055-05

3 D Face Recognition in Different Poses Based on Moment-Fourier Descriptors

ZHANG Yu-ming1，GAO Jie2,ZHANG Hai-yan2

(1.Department of Electrical Engineering，Wuhu Vocational Institute of Technology,Wuhu 241000,China;2. School of Computer & Information, Hefei University of Technology,Hefei 230009,China)

Abstract：Three-dimensional human face contains richer information compared to 2D face ,but also able to overcome gestures, facial expressions and lighting factors, a better representation of facial feature, which gradually widespreads concern and attention.In this paper, firstly, differential geometry theory correction is used in three-dimensional human face depth maps in different poses to the median plane, and then by extracting the contour characteristics of the human face portion,the three-dimensional human face into a two-dimensional curve is easy to handle , and for how better able to describe the two-dimensional curves, a new method combining the moments and Fourier descriptors is proposed.In the end, face recognition is performed using the extracted curve feature. Experimental results show that this method has good real-time performance and greater ability to distinguish between shapes, while having excellent robustness superior to the traditional Fourier method described in sub-extracting contour features.

Key words:Depth Map,Contour feature； Moment; Fourier descriptor, Face recognition