基于智能視覺的動態(tài)人臉跟蹤

摘 要： 傳統(tǒng)方法中對動態(tài)人臉識別采用的是單演局部主方向編碼識別，通過分塊子模式的加權(quán)融合進(jìn)行人臉特征提取，因為人臉表情和姿態(tài)變化會導(dǎo)致識別結(jié)果出現(xiàn)誤差。在智能視覺模式下，提出一種基于信息熵子模式主成分分析的動態(tài)人臉跟蹤識別方法?；谔卣鳡顟B(tài)空間重構(gòu)方法，將人臉圖像分成大小相等的子模塊，對子模塊進(jìn)行信息熵特征提取，采用主成分分析方法進(jìn)行人臉特征分類。仿真結(jié)果表明，采用該算法進(jìn)行動態(tài)人臉跟蹤識別，能有效實現(xiàn)人臉表情動態(tài)跟蹤，人臉識別性能較好、精度較高，性能優(yōu)于傳統(tǒng)算法。

關(guān)鍵詞： 人臉識別； 智能視覺； 主成分分析； 信息熵

中圖分類號： TN911?34； TP391 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2015）24?0012?04

Dynamic face tracking based on intelligent vision

HAO Junshou1， DING Yanhui2

（1. Office of Teaching Affairs， Inner Mongolia Electronic Information Vocational Technical College， Hohhot 010070， China；

2. Department of Digital Media and Art， Inner Mongolia Electronic Information Vocational Technical College， Hohhot 010070， China）

Abstract： The face recognition and dynamic monitoring are realized by dynamic face tracking. The coding recognition method of monogenic local principal direction is adopted to recognize the dynamic face in traditional method. Because the facial expression and pose variation can cause error existed in recognition result in the process of facial feature extraction by means of weight fusion to the block sub?mode. a recognition method of dynamic face tracking based on principal component analysis of comentropy sub?mode is proposed in the mode of intelligent vision. Based on the method of feature state space reconstruction， the face image is divided into sub?modules with equal size， and then the comentropy feature is extracted from sub?modules， finally the principal component analysis method is used to classify the face features. The simulation results show that using this algorithm to track and recognize the dynamic face can effectively realize dynamic tracking of facial expression， and this algorithm has exellent face recognition performance and high precision. The performance of the algorithm is better than that of traditional algorithm.

Keywords： face recognition； intelligent vision； principal component analysis； comentropy

0 引 言

隨著計算機(jī)智能視覺及圖像處理技術(shù)的發(fā)展，基于智能視覺的圖像處理技術(shù)廣泛應(yīng)用于模式識別、故障診斷和目標(biāo)檢測等領(lǐng)域。人臉識別作為圖像處理技術(shù)的一個重要分支，融合了數(shù)字圖像處理、模式識別、認(rèn)知科學(xué)、人工智能等相關(guān)知識，通過人臉識別實現(xiàn)動態(tài)人臉跟蹤，在生物特征鑒別、視頻檢測以及公安、民政、銀行以及保險公司的辦公處理等領(lǐng)域都具有極其重要的應(yīng)用價值。把動態(tài)人臉跟蹤識別技術(shù)同紋識別、虹膜檢測技術(shù)有機(jī)結(jié)合起來，將在國家和公共安全保衛(wèi)、刑事偵查和身份認(rèn)定等領(lǐng)域發(fā)揮著不可替代的作用。因此，研究基于智能視覺的動態(tài)人臉跟蹤識別技術(shù)具有重要意義，相關(guān)算法研究受到了專家的重視[1]。

人臉是人類最主要的形象特征，在表征人體的身份和個體信息中發(fā)揮著重要的價值和作用，人臉識別和動態(tài)跟蹤算法的基礎(chǔ)在于對人臉圖像的動態(tài)分割和特征提取，獲得圖像目標(biāo)的獨特性和顯著性特征，實現(xiàn)人臉的自動識別。傳統(tǒng)方法中，基于智能視覺的動態(tài)人臉識別和跟蹤算法主要有基于Gabor，LBP特征提取的人臉識別算法，基于小波分析的人臉識別動態(tài)跟蹤算法與LBP編碼的人臉分塊識別算法等[2]，其中，文獻(xiàn)[3]提出一種基于人臉圖像為單樣本特征分解和矢量空間重構(gòu)的人臉識別動態(tài)跟蹤算法，提取人臉的姿態(tài)動作特性，利用特征值作為各個主分量加權(quán)實現(xiàn)人臉動態(tài)跟蹤，該算法存在計算量大、特征維數(shù)較高的問題；文獻(xiàn)[4]提出一種基于積分投影和PCA組合的人臉識別算法，采用全局特征提取構(gòu)建虛擬人臉樣本狀態(tài)空間，提高了識別精度，但該算法對光照變化下的人臉動態(tài)跟蹤效果不好。近年來，基于面部表情的人臉識別算法得到了廣泛應(yīng)用，其中文獻(xiàn)[5]采用面部表情邊緣Fisher分析的人臉動態(tài)跟蹤算法，當(dāng)每個人只有一張訓(xùn)練樣本時，對特征向量的估計精度不高。文獻(xiàn)[6]中采用半監(jiān)督學(xué)習(xí)算法進(jìn)行動態(tài)人臉識別，采用單演局部主方向編碼識別方法，通過分塊子模式的加權(quán)融合進(jìn)行人臉特征提取，因為人臉表情和姿態(tài)變化會導(dǎo)致識別結(jié)果出現(xiàn)誤差[7?10]。針對上述問題，本文提出一種基于信息熵子模式主成分分析的動態(tài)人臉跟蹤識別方法。基于特征狀態(tài)空間重構(gòu)方法，將人臉圖像分成大小相等的子模塊，對子模塊進(jìn)行信息熵特征提取，采用主成分分析方法進(jìn)行人臉特征分類，計算兩個特征空間流形之間的距離，提高跟蹤精度。仿真實驗進(jìn)行了性能驗證，表明了本文算法在提高人臉識別精度和實現(xiàn)智能視覺動態(tài)人臉跟蹤方面的優(yōu)越性能。

1 人臉特征狀態(tài)空間及子模塊構(gòu)建

1.1 基于智能視覺的動態(tài)人臉識別的特征狀態(tài)空間

重構(gòu)

對動態(tài)的人臉樣本進(jìn)行跟蹤，首先是進(jìn)行人臉特征提取和識別，本文采用信息熵子模式主成分分析人臉動態(tài)跟蹤方法，整體流程圖如圖1所示。

圖1 信息熵子模式主成分分析人臉動態(tài)跟蹤整體流程圖

基于信息熵子模式主成分分析的人臉動態(tài)跟蹤分三個步驟：

（1） 獲取動態(tài)人臉樣本圖像信息，本文的動態(tài)人臉樣本圖像來自于人臉數(shù)據(jù)庫；

（2） 進(jìn)行人臉圖像樣本離散化處理和歸一化幅值分析，提取信息熵特征，進(jìn)行均勻子模式分塊；

（3） 對歸一化處理的數(shù)據(jù)進(jìn)行統(tǒng)計分析，建立信息熵子模式統(tǒng)計模型。

合成圖像的紋理逐步逼近目標(biāo)圖像，實現(xiàn)對人臉特征的形狀建模。在此利用形狀及紋理信息分別建立統(tǒng)計形狀和統(tǒng)計紋理模型，首先選擇一組合適的訓(xùn)練集，將人臉圖像分割成若干模塊，用手動標(biāo)記訓(xùn)練方法將人臉圖像數(shù)據(jù)庫中的[K]張動態(tài)人臉圖像進(jìn)行分類，每張人臉圖像分割成大小相等的[L=pq]塊，分割過程如圖2所示。

圖2 人臉圖像子模塊分割

假設(shè)[X={x1，x2，…，xN}]為單樣本人臉樣本集，其中[xi]為第[i]個人臉圖像像素大小為[m×n]的人臉圖像，[1≤i≤N，][N]為訓(xùn)練樣本中的人數(shù)。在鄰居像素集中，將每張人臉圖像[xi]分成[t]塊均勻大小為[a×b]的子模塊，[t=m×na×b]。每個子模塊的維度是[MNL]，待識別的動態(tài)人臉圖像表示為：

[I=I11I12…I1qI21I22…I2q……?…Ip1Ip2…Ipq] （1）

其中[j=1，2，…，L]。定義第[j]個子模塊的散度矩陣[Sj]為：

[Sj=1Ki=1K（Iij-Aj）（Iij-Aj）T] （2）

其中，[Aj=1Ki=1KIij]，表示所有第[j]個子模式的平均值。對于一個[M×N]大小的二維數(shù)字圖像[I]，第[j]個子模塊散度矩陣[Sj]表示對應(yīng)子模塊在時域上的頻移矢量，設(shè)人臉圖像前[M′]個特征向量為[?j]，即每張人臉圖像分割的訓(xùn)練子集為：

[Sj?j=?jλj] （3）

式中：[?j=[?j1，?j2，…，?jM′]]；[λj]是尺度平移平面矩陣上的前[M′]個特征值。由此實現(xiàn)了基于智能視覺的動態(tài)人臉識別的特征狀態(tài)空間重構(gòu)，為進(jìn)行人臉識別提供特征基礎(chǔ)。

1.2 人臉子模塊的三角剖分及輪廓特征提取

在上述實現(xiàn)基于智能視覺的動態(tài)人臉識別的特征狀態(tài)空間重構(gòu)的基礎(chǔ)上，進(jìn)行人臉特征提取，實現(xiàn)基于智能視覺的動態(tài)人臉跟蹤，假設(shè)第i張人臉樣本的動態(tài)調(diào)頻矢量為：

[Spi=[Spi1，Spi2，…，SpiL]] （4）

在有光照、表情的變化時，將人臉圖像的遮擋區(qū)域進(jìn)行線性統(tǒng)計分析，人臉圖像第[j]個分塊的基準(zhǔn)形狀網(wǎng)格向量為：

[Sptestj=?jT×（Itestj-Aj）] （5）

對每個表觀樣本通過己經(jīng)標(biāo)記好的形狀測試人臉樣本的三角剖分特征值為：

[Sptest=[Sptest1，Sptest2，…，SptestL]] （6）

最后，通過統(tǒng)一框架下的紋理映射，用最近鄰方法對歸一化后的紋理進(jìn)行PCA，即：

[Labeltest=argminSptest-Spi] （7）

其中[.]表示計算歐式距離。將模板圖像通過迭代方式輸入到人臉的表觀模型中，計算模板圖像與輸入圖像的像素差值，該差值表示為：

[x[I（W（x；p））-A0（x）]2] （8）

其中：[A0（x）]為訓(xùn)練集中的圖像紋理集合；[I（W（x；p））]為三角剖的人臉圖像紋理特征，由此實現(xiàn)人臉子模塊的三角剖分及輪廓特征提取，以數(shù)據(jù)庫中的Delaunay圖像為例，得到三角剖分及輪廓特征提取示意圖如圖3所示。

圖3 人臉圖像的三角剖分及

輪廓特征提取示意圖

2 信息熵子模式主成分分析的提出及算法

改進(jìn)實現(xiàn)

2.1 信息熵子模式主成分分析

在上述進(jìn)行了人臉子模塊的三角剖分及輪廓特征提取的基礎(chǔ)上，采用單演局部主方向編碼識別方法進(jìn)行人臉動態(tài)跟蹤識別，通過分塊子模式的加權(quán)融合進(jìn)行人臉特征提取。因為人臉表情和姿態(tài)變化會導(dǎo)致識別結(jié)果出現(xiàn)誤差，為了克服傳統(tǒng)方法的弊端，本文在智能視覺模式下，提出一種基于信息熵子模式主成分分析的動態(tài)人臉跟蹤識別方法。給出信息熵子模式主成分分析算法的設(shè)計，描述如下：利用Shannon熵作為信息熵，對于一個人臉圖像隨機(jī)特征變量序列[[x1，x2，…，xn]]，子模塊能夠反映人臉面部特征信息，實現(xiàn)準(zhǔn)確識別的概率為[[p（x1），p（x2），…，p（xn）]]；對于人臉圖像，圖像的信息熵表示了該圖像的信息量，因此人臉面部特征的隨機(jī)變量序列的信息熵為：

[H（x）=i=1spilog（1pi）=-i=1spilog pi] （9）

對于一個[M×N]大小的二維人臉圖像[I]，將圖像劃分為互不重疊的特征窗，得到圖像的信息熵主成分集為[S]，[pi]表示第[i]個主成分集出現(xiàn)的特征概率，每一個密集的特征窗的信息熵可以定義為：

[H（I（x，y））=i=1spilog（1pi）=-i=1spilog pi] （10）

對于上述信息熵特征提取結(jié)果，通過檢測灰度圖區(qū)域間邊緣梯度，得到相鄰像素間灰度級差異為：

[u（t）=1Trect（tT）exp-j[2πKln（1-tt0）]] （11）

式中：[rect（t）=1，|t|≤12]表示特征采樣間隔；[K]為訓(xùn)練集中第i個人的灰度值；[j]為序列長度；[T]為人臉目標(biāo)的尺寸大小。代入[t0]的定義式，得：

[Wuu（a，bm）=1aTT2+aT2-（1-a）f0TB =1aa+12-（1-a）f0B] （12）

式中：[f0]表示人臉特征分類的中心頻率；[bm]為尺度平移；[a]為像素點幅值。

對人臉圖像的信息熵進(jìn)行主成分特征提取，主成分特征分為外部特征區(qū)域和內(nèi)部特征區(qū)域，得到人臉圖像信息熵的主成分分析邊緣聚類函數(shù)為：

[Wuu（a，b）=ej2πKlna·Kaaej2πfmina（b-ba）fmin-ej2πfmax（b-ba）fmax+j2π（b-ba）·Ei（j2πfmax（b-ba））-Eij2πfmina（b-ba）] （13）

其中：[ba=（1-a）（1afmax-T2）]；[Ei]表示分塊子模式信息強(qiáng)度；[fmin]為最小分類區(qū)間閾值；[fmax]為最大分類區(qū)間閾值。由此可以計算出第j個分塊的投影向量，實現(xiàn)人臉圖像的信息熵子模式主成分分析。

2.2 基于智能視覺的動態(tài)人臉跟蹤算法實現(xiàn)

根據(jù)人臉圖像的信息熵子模式主成分分析結(jié)果，將人臉圖像分成大小相等的子模塊，對子模塊進(jìn)行信息熵特征提取，采用主成分分析方法進(jìn)行人臉特征分類，實現(xiàn)人臉識別，算法的實現(xiàn)過程描述為：人臉圖像的像素大小為[M×N]，通過圖像屬性特征分解方法計算各個子模塊的信息熵特征點，每幅圖像標(biāo)記[v]個特征點構(gòu)成形狀S，得：

[S=（x1，y1，…xi，yi，…xv，yv）T] （14）

利用目標(biāo)人臉圖像的邊緣模糊變化特性，對人臉圖像的信息熵特征進(jìn)行一階泰勒展開得到：

[x[I（W（x；p））-A0（W（x；0））-?A0?W?pΔp]2] （15）

其中：[A0（W（x；0））]是目標(biāo)對象與其他背景圖像的差分信息；[A0]為初始像素幅值；[Δp]為局部均值；[I（W（x；p））]為空間頻率。

對人臉跟蹤識別的過程可以轉(zhuǎn)換為對上式求解極值，這是一個最小二乘問題，采用求導(dǎo)的方式獲得在最小極值下變量的取值，得到變量[Δp]的表達(dá)式為：

[Δp=H-1x[?A0?W?p]T[I（W（x；p））-A0（x）]] （16）

其中H為Hessian矩陣：

[H=x[?A0?W?p]T[?A0?W?p]] （17）

通過上述方法實現(xiàn)了人臉識別，本文方法對人臉圖像進(jìn)行子模塊分割，可以著重突出人臉圖像中比較具有特征性的部位，例如人的眼睛、鼻子、嘴等，通過計算兩個特征點空間流形之間的距離，可以提高跟蹤精度。

3 仿真實驗與結(jié)果分析

為了驗證本文算法在實現(xiàn)動態(tài)人臉跟蹤中的性能，進(jìn)行仿真實驗。仿真實驗的硬件環(huán)境為：Windows XP， 32位雙處理器，內(nèi)存2.60 GHz，2 GB緩存。仿真軟件為：Matlab 7。實驗采用EURECOM Kinect人臉數(shù)據(jù)集和Texas 3DFR數(shù)據(jù)集作為動態(tài)人臉跟蹤識別的訓(xùn)練集和測試集，EURECOM Kinect人臉數(shù)據(jù)集包含35個人，他們的人臉姿態(tài)和面部表情各異，分別包括自然、微笑、遮眼、遮嘴、張嘴等面部特征，實驗中，信息熵子模式主成分分析參數(shù)設(shè)置為：[λmin=4，u=0.64，σ=2.0]。根據(jù)上述仿真環(huán)境的設(shè)定，進(jìn)行基于智能視覺的動態(tài)人臉跟蹤識別，采用本文算法利用信息熵子模式主成分分析建模，得到動態(tài)人臉跟蹤結(jié)果如圖4所示。

圖4 EURECOM Kinect人臉數(shù)據(jù)集表情動態(tài)跟蹤

從圖4可見，采用本文算法能有效實現(xiàn)人臉表情動態(tài)跟蹤，人臉識別性能較好，在不同分塊方式、區(qū)域大小下分析人臉識別率，得到的結(jié)果如圖5所示，從圖5可見，采用本文方法將人臉圖像分成大小相等的子模塊，對子模塊進(jìn)行信息熵特征提取，在3×3，5×5，7×7分塊方式下具有較高的識別率，展示了優(yōu)越的性能。

為了對比算法性能，通過定量分析，得到不同方法對不同人臉圖像識別的相似性對比，見表1。分析表1中的結(jié)果可見，采用本文算法，不同人臉圖像識別準(zhǔn)確度較高，能準(zhǔn)確實現(xiàn)對動態(tài)人臉的跟蹤識別。

圖5 不同子模塊劃分下的人臉識別率對比

表1 不同方法對不同人臉圖像識別相似性對比

4 結(jié) 語

人臉識別作為圖像處理技術(shù)的一個重要分支，融合了數(shù)字圖像處理、模式識別、認(rèn)知科學(xué)、人工智能等相關(guān)知識，通過人臉識別實現(xiàn)動態(tài)人臉跟蹤在身份認(rèn)定等領(lǐng)域發(fā)揮著不可替代的作用。

本文提出一種基于信息熵子模式主成分分析的動態(tài)人臉跟蹤識別方法。基于特征狀態(tài)空間重構(gòu)方法，將人臉圖像分成大小相等的子模塊，對子模塊進(jìn)行信息熵特征提取，采用主成分分析方法進(jìn)行人臉特征分類。仿真結(jié)果表明，采用本文算法進(jìn)行動態(tài)人臉跟蹤識別，能有效實現(xiàn)人臉表情動態(tài)跟蹤，人臉識別性能較好，精度較高。

參考文獻(xiàn)

[1] 杜輝.基于小波變換的彩色圖像中快速人臉檢測算法[J].科技通報，2012，28（12）：89?90.

[2] 張建明，房芳，陳立，等.基于優(yōu)選LBP與加權(quán) SVM 的年齡估計[J].計算機(jī)應(yīng)用研究，2010，27（1）：389?392.

[3] 趙海英，楊一帆，徐正光.基于多角度 LBP 特征的三維人臉性別分類[J].自動化學(xué)報，2012，38（9）：1544?1549.

[4] 王曉云，苑瑋琦，郭金玉.低分辨率人耳圖像識別算法研究[J].計算機(jī)應(yīng)用研究，2010，27（11）：4329?4334.

[5] 葉長明，蔣建國，詹曙.不同姿態(tài)人臉深度圖識別的研究[J].電子測量與儀器學(xué)報，2011，25（10）：870?878.

[6] 楊揚，曹其新，朱笑笑，等.面向機(jī)器人手眼協(xié)調(diào)抓取的三維建模算法[J].機(jī)器人，2013，35（2）：151?155.

[7] 劉偉鋒，李樹娟，王延江.人臉表情的LBP特征分析[J].計算機(jī)工程與應(yīng)用，2011，47（2）：149?152.

[8] 謝佩，吳小俊.基于Shearlet變換和均勻局部二值模式特征的協(xié)作表示人臉識別算法[J].計算機(jī)應(yīng)用，2015，35（7）：2056?2061.

[9] LIAN H C， LU B L. Multi?view gender classification using local binary patterns and support vector machines [M]// Advances in Neural Networks?ISNN. Berlin： Springer Berlin Heidelberg， 2006： 202?209.

[10] SANDBACH G， ZAFEIRIOU S， PANTIC M. Local normal binary patterns for 3D facial action unit detection [C]// Proceedings of 2012 the 19th IEEE International Conference on Image Processing. Orlando： IEEE， 2012： 1813?1816.

[11] 周全，魏昕，陳建新，等.一種基于稠密SIFT特征對齊的稀疏表達(dá)人臉識別算法[J].電子與信息學(xué)報，2015，37（8）：1913?1919.