基于姿態(tài)估計(jì)的正面人臉圖像合成

方三勇，周大可，曹元鵬，楊 欣

（南京航空航天大學(xué)自動(dòng)化學(xué)院，南京 210006）

基于姿態(tài)估計(jì)的正面人臉圖像合成

方三勇，周大可，曹元鵬，楊 欣

（南京航空航天大學(xué)自動(dòng)化學(xué)院，南京 210006）

為對(duì)不同姿態(tài)下的人臉圖像進(jìn)行處理，提出一種基于姿態(tài)估計(jì)的正面人臉圖像合成方法。利用統(tǒng)計(jì)建模的思想重構(gòu)缺失的人臉形狀和紋理。運(yùn)用平均三維模型估計(jì)測(cè)試圖像的姿態(tài)參數(shù)，結(jié)合壓縮感知理論構(gòu)建形變模型。應(yīng)用稀疏形變模型理論分別重構(gòu)測(cè)試人臉的三維形狀和紋理，根據(jù)測(cè)試圖像與重構(gòu)模型生成正面人臉圖像。實(shí)驗(yàn)結(jié)果表明，該方法能夠由一幅姿態(tài)人臉圖像合成出精確、自然的正臉圖像，并具有較高的識(shí)別率。

正面人臉圖像合成；平均三維模型；姿態(tài)估計(jì)；壓縮感知；形變模型

1 概述

人臉圖像處理技術(shù)作為計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)重要的研究方向之一，近年來(lái)成為研究的熱點(diǎn)。但人臉圖像在處理過(guò)程中普遍受到姿態(tài)、光照的限制，這給計(jì)算機(jī)理解圖像帶來(lái)困難。文獻(xiàn)［1］中指出，同一個(gè)人在不同姿態(tài)、不同光照下人臉圖像之間的差異，往往大于在相同姿態(tài)、相同光照下不同人的人臉圖像之間的差異。為了使計(jì)算機(jī)準(zhǔn)確地理解圖像，從一張任意姿態(tài)、任意光照的人臉圖像合成正常光照、正面人臉圖像是解決該類問(wèn)題的一個(gè)重要思路，其中以正面人臉圖像合成尤為典型［2］。

正面人臉圖像合成的一般思路［3］是將人臉圖像中可視區(qū)域重新繪制到正面人臉區(qū)域，同時(shí)對(duì)不可見(jiàn)區(qū)域進(jìn)行合成，再繪制到相應(yīng)的正面人臉區(qū)域，其研究的方法主要包括三維的方法和二維的方法。其中三維方法的思路是通過(guò)構(gòu)建三維人臉模型，對(duì)測(cè)試人臉圖像進(jìn)行模型參數(shù)的匹配，進(jìn)而獲得完整的三維人臉數(shù)據(jù)，獲得正面人臉圖像。最典型的方法是文獻(xiàn)［4］提出的3DMM（3D Morphable Model），該方法只需單幅人臉圖像就可以合成完備的三維人臉數(shù)據(jù)信息。3DMM方法雖然能夠達(dá)到很好的實(shí)驗(yàn)效果，但因其匹配過(guò)程十分耗時(shí)，所以后續(xù)學(xué)者對(duì)3DMM進(jìn)行改進(jìn)。文獻(xiàn)［5］采用2D+3D主動(dòng)表觀

模型的方法［5］，可以獲得較好的3D人臉形狀，但是正面的紋理信息無(wú)法像3DMM那樣求出。除此之外，采用二維的方法合成正面人臉圖像也取得了較好的研究成果。文獻(xiàn)［6］指出，同一人在不同視角下的人臉可以構(gòu)成一個(gè)平滑的流形，且在不同視角下合成系數(shù)在視角間是保持不變的。文獻(xiàn)［7-8］先采用CPCA-SVM技術(shù)，對(duì)測(cè)試人臉圖像進(jìn)行人臉姿態(tài)判定，然后根據(jù)判定的姿態(tài)信息選用對(duì)應(yīng)的訓(xùn)練樣本集進(jìn)行正面人臉合成。但該方法涉及大量的特征點(diǎn)標(biāo)定工作，且所能合成的人臉姿態(tài)也非常有限。文獻(xiàn)［9］采用局部線性回歸的方法，將人臉劃分為不同的矩形區(qū)域，通過(guò)局部人臉區(qū)域的線性逼近全局的非線性，合成的圖像與真實(shí)圖像較為相似，但其合成的正臉圖像只包含人臉中心區(qū)域。文獻(xiàn)［10］提出通過(guò)正側(cè)面人臉圖像訓(xùn)練樣本求解其對(duì)應(yīng)的旋轉(zhuǎn)矩陣，進(jìn)行逆向恢復(fù)的方法求解正臉圖像，但該方法只能對(duì)旋轉(zhuǎn)角度在30°以內(nèi)的圖像進(jìn)行恢復(fù)。

本文提出一種基于姿態(tài)估計(jì)的正面人臉圖像合成方法。該方法通過(guò)建立平均三維人臉模型進(jìn)行姿態(tài)估計(jì)，以避免3DMM方法中復(fù)雜的迭代計(jì)算；采用壓縮感知理論對(duì)原型樣本進(jìn)行篩選，以提高形變模型的精度；將原始紋理與重建紋理相結(jié)合構(gòu)建綜合紋理，以保留人臉圖像的細(xì)節(jié)信息。

2 基于平均三維模型的姿態(tài)估計(jì)

因?yàn)槿四槇D像是由三維信息投影得到的，所以采用三維模型對(duì)姿態(tài)進(jìn)行估計(jì)更加準(zhǔn)確。文獻(xiàn)［11］提出了基于三維重建的人臉姿態(tài)估計(jì)，該方法需要正面輸入人臉圖像進(jìn)行三維重建，利用重建的三維人臉模型對(duì)其姿態(tài)圖像進(jìn)行估計(jì)。筆者受該方法的啟發(fā)，利用三維人臉訓(xùn)練樣本建立平均三維人臉模型，建立二維圖像與平均三維模型特征點(diǎn)間的對(duì)應(yīng)關(guān)系，用最小二乘法對(duì)姿態(tài)角求解。利用建立特征點(diǎn)稠密對(duì)應(yīng)的三維人臉庫(kù)，得到平均三維人臉模型，將模型繞坐標(biāo)軸分別旋轉(zhuǎn) α，β，γ的角度，假設(shè)旋轉(zhuǎn)后的模型與測(cè)試圖像姿態(tài)相同，模型上特征點(diǎn)由 P變?yōu)镻r：Pr（χ′，y′，z′）=R*P（χ，y，z），其中，正交旋轉(zhuǎn)矩陣R為：

根據(jù)旋轉(zhuǎn)公式對(duì)三維模型進(jìn)行旋轉(zhuǎn)，投影后建立與輸入圖像的對(duì)應(yīng)關(guān)系，如圖1所示。

圖1 3D與2D圖像之間特征點(diǎn)的匹配

通過(guò)3D到2D的投影關(guān)系，對(duì)三維坐標(biāo)系進(jìn)行平移以及尺度變換，將旋轉(zhuǎn)后三維模型上的特征點(diǎn)投影到二維平面上，建立與輸入圖像標(biāo)定點(diǎn)的對(duì)應(yīng)關(guān)系。選取模型上明顯的7個(gè)特征點(diǎn)，經(jīng)過(guò)坐標(biāo)平移和尺度變換后，記為Pi（χi，yi，zi）T，給定一張測(cè)試圖像對(duì)其進(jìn)行特征點(diǎn)標(biāo)定，得到特征點(diǎn)坐標(biāo)為Ii（χ′i，y′i）T，由于人臉圖像上深度信息的缺失，通過(guò)模型到二維的投影與測(cè)試圖像特征點(diǎn)的對(duì)應(yīng)關(guān)系，得到如下超定方程：

其中，i=1，2…，7，方程寫(xiě)為矩陣的表達(dá)形式：A=（P1，P2，P3，P4，P5，P6，P7）T，B=（I1，I2，I3，I4，I5，I6，I7）T，采用最小二乘法進(jìn)行求解，求得一組向量 δ=（R11，R12，R13；R21，R22，R23）=（ATA）-1ATB，進(jìn)而求得旋轉(zhuǎn)的姿態(tài)角度 α，β，γ。

3 形變模型理論

3.1 形變模型及稀疏形變模型

形變模型的方法主要包括形變模型的建立和測(cè)試圖像與模型匹配2個(gè)部分。其中，涉及3維人臉數(shù)據(jù)歸一化［12］處理、組合模型的建立和測(cè)試圖像與模型匹配等主要步驟。規(guī)范化后包含m個(gè)頂點(diǎn)的三維人臉形狀和紋理向量表示為：

其中，（χik，yik，zik）和（rik，gik，bik）分別是第k點(diǎn)的三維坐標(biāo)和像素值。設(shè)包含n個(gè)3維人臉數(shù)據(jù)構(gòu)成的原型樣本集矩陣為：

那么給定任意一張新的三維人臉，可以通過(guò)原型樣本表示為：

量的目的。設(shè)矩陣 P=（P1，P2，…，Pn′），Q=（q1，q2，…，qn′）是前n′個(gè)最大特征值對(duì)應(yīng)的特征向量（主成分）構(gòu)成的特征向量矩陣，式（3）和式（4）可改寫(xiě)為：

將人臉重建的問(wèn)題轉(zhuǎn)化為求解目標(biāo)函數(shù)最小化的數(shù)學(xué)問(wèn)題，采用牛頓迭代法進(jìn)行求解的計(jì)算量很大。文獻(xiàn)［13］中提出了稀疏形變的方法，通過(guò)選取少數(shù)的特征點(diǎn)進(jìn)行匹配大大地簡(jiǎn)化了計(jì)算。對(duì)模型上選取的 k個(gè)特征點(diǎn)并進(jìn)行旋轉(zhuǎn)和投影變換，即：其中s—h，對(duì)ph進(jìn)行SVD分解，ph=UΛVT，采用貝葉斯最大后驗(yàn)概率求得最優(yōu)解得到：

根據(jù)求得的形狀組合系數(shù)，得到合成的正面人臉形狀：

采用類似的求解方法求得形變模型中紋理的組合系數(shù)β得到合成紋理：

3.2 基于壓縮感知的樣本篩選及形變模型

通過(guò)對(duì)原型樣本進(jìn)行篩選，可以構(gòu)建更加精準(zhǔn)的模型。對(duì)于足夠大的原型樣本數(shù)據(jù)S，將其分為與測(cè)試圖像比較相似的樣本子集S1和原型樣本S中余下的子集S2。分別記為：

且k=n。

測(cè)試圖像表達(dá)為：

其中，向量C=［c1，c2，…，ck，0，…，0］T∈Rn，可知測(cè)試圖像可以由原型樣本集稀疏表示。若能求得該稀疏解，就可對(duì)原型樣本集進(jìn)行篩選，為此，需要求解如下優(yōu)化問(wèn)題：

可以采用壓縮感知理論求解該優(yōu)化問(wèn)題，根據(jù)式（8）中的選點(diǎn)和變換操作，式（13）的優(yōu)化問(wèn)題等價(jià)于：

采用正交匹配追蹤算法［14］進(jìn)行求解。對(duì)于求得的稀疏解C，系數(shù)越大說(shuō)明測(cè)試圖像與原型樣本的相似性越大，反之越小。所以，按C的絕對(duì)值由大到小排列，選取前面m′個(gè)分量所對(duì)應(yīng)的樣本作為新的原型樣本。則經(jīng)過(guò)篩選之后新的原型樣本集為S1=（s1，s2，…，s′m）∈R3m×m′，則任一新的人臉可表示為：

其中，P=（si-s—，si+1-s—，…，sm′-s—）∈R3m×m′。為減少計(jì)算量，參照稀疏形變模型的方法的求解思路，選取少數(shù)特征點(diǎn)進(jìn)行匹配，由式（15）和式（8），直接得到，其中偽逆矩陣為了避免特征點(diǎn)過(guò)擬合造成嚴(yán)重的形變，對(duì)求得的解加入擾動(dòng)因子為：

3.3 形狀和紋理建模

對(duì)測(cè)試人臉圖像進(jìn)行簡(jiǎn)單的裁剪、對(duì)齊、統(tǒng)一坐標(biāo)系等預(yù)處理作，并對(duì)測(cè)試進(jìn)行眼睛、鼻子、嘴部附近特征點(diǎn)的標(biāo)定并根據(jù)上述形變模型理論對(duì)人臉形狀進(jìn)行合成。為了得到相同維數(shù)的人臉像素信息，必須建立圖像間像素的對(duì)應(yīng)關(guān)系。本文對(duì)人臉進(jìn)行三角剖分，將人臉Delaunay（德勞內(nèi)）三角化，經(jīng)三角剖分后，所有的人臉具有相同的拓?fù)浣Y(jié)構(gòu)，如圖2所示。

圖2 人臉的三角剖分結(jié)果

在每個(gè)三角片內(nèi)人臉的像素點(diǎn)數(shù)目是不同的，因此，將三角面片形變到平均人臉上，就實(shí)現(xiàn)了整個(gè)人臉到平均人臉的對(duì)應(yīng)。由三角面片T′形變到T的過(guò)程如圖3所示。

圖3 三角面片之間的映射關(guān)系

其中，P′1～P′3是樣本人臉中一個(gè)三角面片的3個(gè)頂點(diǎn)，在該三角面片內(nèi)的每一頂點(diǎn)P′都可以用該三角面片的3個(gè)頂點(diǎn)來(lái)進(jìn)行表達(dá)，如式（17）所示：

假設(shè)樣本三角面片頂點(diǎn)的坐標(biāo)為：

則：

求得s，t后，對(duì)齊到平均人臉三角面內(nèi)點(diǎn)為：

這樣即可建立人臉圖像間像素的對(duì)應(yīng)關(guān)系，利用形變模型理論合成正面人臉形狀和正面人臉紋理，便可合成正面人臉圖像。

3.4 綜合紋理生成

形變模型方法是基于統(tǒng)計(jì)學(xué)原理，有效保留了人臉共性特征，但不能夠保留測(cè)試的某些細(xì)節(jié)特征，所以提出利用測(cè)試紋理與合成紋理相結(jié)合，生成綜合紋理的方法。結(jié)合的方式如下：如果在正臉圖像中可見(jiàn)，而在測(cè)試圖像中不可見(jiàn)的紋理，則采用重建的紋理；如果在正臉圖像和測(cè)試圖像中均可見(jiàn)的部分，主要采用測(cè)試圖像的紋理。生成的綜合紋理可以通過(guò)式（20）進(jìn)行求解：

gi（χ，y）=wi（χ，y）ti（χ，y）+（1-wi（χ，y））t0（χ，y）（20）其中，ti（χ，y），t0（χ，y）分別代表在點(diǎn)（χ，y）處合成的像素值與測(cè)試圖像的像素值；wi代表合成紋理中點(diǎn)（χ，y）的權(quán)重；這樣合成的正面人臉圖像既保留了人臉共性的信息，又能使某些局部的信息得到有效的顯示。將三角剖分后的測(cè)試?yán)斓胶铣扇四樞螤顚?duì)應(yīng)的三角面上，假設(shè)測(cè)試上某一面積為Ari的三角形拉伸到對(duì)應(yīng)面積為Ai的正面三角形上，計(jì)算面積Ari與Ai間比值的大小以確定wi（χ，y）：

在三角形里點(diǎn)的綜合的灰度值便可以根據(jù)上述確定的權(quán)重得到。三角形從側(cè)面拉伸到正面時(shí)形變?cè)酱髣t采用合成紋理信息越多，反之采用原來(lái)的紋理信息越多。最后，將得到的綜合人臉紋理映射到正面人臉形狀上，得到最終的正面人臉圖像。

4 實(shí)驗(yàn)結(jié)果及評(píng)價(jià)

4.1 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)以北京工業(yè)大學(xué)BJUT-3D Face Database［15］（包含500張三維人臉的形狀和紋理數(shù)據(jù)，男女各250人）中部分?jǐn)?shù)據(jù)作為訓(xùn)練樣本。測(cè)試樣本為該庫(kù)其余樣本旋轉(zhuǎn)投影下的人臉及部分CAS-PEAL［16］二維姿態(tài)人臉圖像。實(shí)驗(yàn)分為2個(gè)部分：第1部分對(duì)測(cè)試進(jìn)行姿態(tài)估計(jì)；第2部分是對(duì)估計(jì)出姿態(tài)角的進(jìn)行正面人臉圖像合成。測(cè)試樣本分為庫(kù)內(nèi)樣本和庫(kù)外樣本。對(duì)三維人臉數(shù)據(jù)進(jìn)行歸一化處理后，得到規(guī)范化的三維人臉數(shù)據(jù)。從中篩選100張包含紋理信息的三維人臉作為訓(xùn)練樣本，其中男女各50張，建立平均三維人臉模型。對(duì)測(cè)試圖像進(jìn)行預(yù)處理之后標(biāo)定40個(gè)特征點(diǎn)，如圖4所示。采用其中的內(nèi)外眼角點(diǎn)、鼻尖點(diǎn)，和嘴角點(diǎn)與三位平均模型中對(duì)應(yīng)的特征點(diǎn)進(jìn)行姿態(tài)估計(jì)。在得到姿態(tài)角后，用這40個(gè)標(biāo)定點(diǎn)合成正面人臉形狀。為了獲得對(duì)應(yīng)的紋理信息，根據(jù)合成的形狀再標(biāo)定12個(gè)輪廓點(diǎn)，進(jìn)行正面人臉紋理的合成。

圖4 特征點(diǎn)標(biāo)定

采用BJUT-3D Face Database中測(cè)試樣本投影和CAS-PEAL庫(kù)里的進(jìn)行姿態(tài)估計(jì)和正面合成的聯(lián)合實(shí)驗(yàn)，結(jié)果如圖5～圖8所示，圖5和圖8的具體數(shù)據(jù)如表1和表2所示，在表中，圖像編號(hào)代表從左至右的圖像順序。

圖5 3D測(cè)試樣本投影圖像姿態(tài)估計(jì)結(jié)果

圖6 3D測(cè)試樣本投影圖像的正臉合成結(jié)果

圖7 2D測(cè)試樣本姿態(tài)估計(jì)結(jié)果

圖8 CAS-PEAL測(cè)試樣本的正臉合成結(jié)果

表1 3D測(cè)試樣本姿態(tài)估計(jì)的真實(shí)值/估計(jì)值

表2 2D測(cè)試樣本姿態(tài)估計(jì)的真實(shí)值/估計(jì)值

圖5和圖7是對(duì)測(cè)試樣本進(jìn)行姿態(tài)角估計(jì)的結(jié)果。圖6和圖8測(cè)試分別為采用BJUT-3D Face Database里任意一張三維人臉的投影圖，以及CASPEAL人臉庫(kù)里任意一張姿態(tài)圖像進(jìn)行合成的結(jié)果。

4.2 算法評(píng)價(jià)

為對(duì)算法進(jìn)一步進(jìn)行定量分析，本文將FRB［4］，ROF［8］，LLR［9］合成方法與本文方法進(jìn)行比較。人臉識(shí)別率雖然是反映正面人臉圖像合成算法性能的一個(gè)有利指標(biāo)，但其受到實(shí)驗(yàn)設(shè)置及識(shí)別方法等因素的影響，所以，本文還綜合了合成圖像的視角范圍及合成圖像質(zhì)量等指標(biāo)進(jìn)行綜合分析。其中人臉的識(shí)別實(shí)驗(yàn)是在CAS-PEAL人臉庫(kù)上進(jìn)行，選取其中POSE子集中30個(gè)人的6種不同姿態(tài)進(jìn)行正臉合成，通過(guò)提取合成人臉圖像的LBP特征進(jìn)行識(shí)別驗(yàn)證。圖像質(zhì)量是基于對(duì)不同合成方法所得到的正面人臉圖像主觀評(píng)價(jià)得到的，具體實(shí)施是將不同方法合成的正面人臉圖像混合在一起后，讓25個(gè)人對(duì)合成的圖像按照相似性及自然性從0.1，0.2，…，1這10個(gè)分?jǐn)?shù)值進(jìn)行打分。對(duì)算法性能定量評(píng)價(jià)的結(jié)果如表3所示。

表3 3種正面人臉圖像合成方法性能評(píng)估

5 結(jié)束語(yǔ)

本文提出一種高精度的正面人臉圖像合成方法。該方法利用三維人臉庫(kù)的信息，構(gòu)建不同姿態(tài)下的二維人臉樣本圖像，避免了二維姿態(tài)樣本不易獲得且需對(duì)樣本進(jìn)行標(biāo)點(diǎn)的問(wèn)題；采用壓縮感知理論對(duì)原型樣本篩選，構(gòu)建更精確的形變模型；將原始紋理與重建紋理相結(jié)合構(gòu)建綜合紋理，有效保留了人臉圖像的細(xì)節(jié)信息。但本文方法還存在以下不足：當(dāng)輸入圖像旋轉(zhuǎn)的角度過(guò)大（超過(guò)45°）時(shí)，合成的效果將會(huì)變差；沒(méi)有充分考慮光照變化對(duì)合成效果的影響。因此，解決大姿態(tài)角度的旋轉(zhuǎn)和光照問(wèn)題，是下一步研究工作的重點(diǎn)。

［1］ Zhao W，Chellappa R，Rosenfeld A，et al.Face Recognition：A Literature Survey［J］.ACM Computing Survey，2003，35（4）：399-458.

［2］ 趙 林，高新波，田春娜.正面人臉圖像合成方法綜述［J］.中國(guó)圖象圖形學(xué)報(bào)，2013，18（1）：1-10.

［3］ Vetter T.Synthesis of Novel Views from a Simple Face Image［J］.International Journal of Computer Vision，1998，28（2）：103-116.

［4］ Blanz V，Grother P，Philips P J，et al.Face Recognition Based on Frontal Views Generated from Non-frontal Image［C］//Proceed-ings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Los Alamitos，USA：IEEE Press，2005：454-461.［5］ Xiao Jing，Baker S.Real-time Combined 2D+3D Active Appearance Models［C］//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.New York，USA：IEEE Press，2004：535-542.

［6］ Huang Xinyu，Gao Jizhou，Cheung S S，et al.Manifold Estimation in View-based Feature Space for Face Synthesis Across Poses［C］//Proceedings of the 9th Asian Conference on Computer Vision.Heidelberg，Germ any：Springer-Verlag，2010：37-47.

［7］ Li Yingchun.Face Pose Estimation and Synthesis by 2D Morphable Model［C］//Proceedings of International Conference on Computational Intelligence and Security. Heidelberg，Germany：Springer-Verlag，2007：1001-1008.

［8］ 杜 成，蘇光大，林行剛，等.多姿態(tài)人臉圖像合成［J］.光電子·激光，2005，15（12）：1498-1501.

［9］ Chai Xiujuan.Locally Linear Regression for Poseinvariant Face Recogni-tion［J］.IEEE Transactions on Image Processing，2007，16（7）：1716-1725.

［10］ Li Xi，Takahashi T，Deguchi D，et al.Virtual View Generation Using Clustering Based Local View Transition Model［C］//Proceedings of the 11th International Conference on Computer Vision.Heidelberg，Germ any：Springer-Verlag，2013：260-271.

［11］ 熊黎麗，王國(guó)胤.基于三維重建的人臉姿態(tài)估計(jì)［J］.重慶郵電大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，22（3）：375-380.

［12］ 胡陽(yáng)明，周大可，鹿 樂(lè).基于改進(jìn)ASM的三維人臉自動(dòng)對(duì)齊算法［J］.計(jì)算機(jī)工程，2013，39（3）：250-253.

［13］ Blanz V.Reconstructing the Complete 3D Shape of Faces from Partial Information［J］.Informations Technikund Technische Informatik，2002，44（6）：295-302.

［14］ Donoho D L.Fast Solution of l1-norm Minimization Problems When the Solution May Be Sparse［J］.IEEE Transactions on Information Theory，2008，54（11）：4789-4812.

［15］ 尹寶才.BJUT-3D三維人臉數(shù)據(jù)庫(kù)及其處理技術(shù)［J］.計(jì)算機(jī)研究與發(fā)展，2009，46（6）：1009-1018.

［16］ 張曉華，山世光，曹 波，等.CAS-PEAL大規(guī)模中國(guó)人臉圖像數(shù)據(jù)庫(kù)及其基本評(píng)測(cè)介紹［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17（1）：9-17.

編輯 金胡考

Frontal Face Image Synthesis Based on Pose Estimation

FANG Sanyong，ZHOU Dake，CAO Yuanpeng，YANG Xin
（College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210006，China）

In order to process the face image in different poses，this paper proposes a frontal face image synthesis method based on pose estimation.The method is based on the idea of statistical modeling to reconstruct the missing face shape and texture.Firstly，3D average model is applied to estimate the pose parameters of the test face image.Compressed sensing theory is used to filter prototype samples and then a more accurate model of deformation is built up.Secondly，the test face image is separately expressed by texture vector and shape vector.The deformation model theory is used to reconstruct front texture and shape.Finally，synthesis texture is produced according to the original texture and reconstructed texture.Experimental result shows that this method can be used to synthesize natural frontal face image from non-frontal face image with effectiveness and higher recognition rate.

frontal face image synthesis；average 3D model；pose estimation；compressed sensing；deformable modelDO I：10.3969/j.issn.1000-3428.2015.10.045

方三勇，周大可，曹元鵬，等.基于姿態(tài)估計(jì)的正面人臉圖像合成［J］.計(jì)算機(jī)工程，2015，41（10）：240-244，249.

英文引用格式：Fang Sanyong，Zhou Dake，Cao Yuanpeng，et al.Frontal Face Image Synthesis Based on Pose Estimation［J］.Computer Engineering，2015，41（10）：240-244，249.

1000-3428（2015）10-0240-05

A

TP18

國(guó)家自然科學(xué)基金資助項(xiàng)目（61172135）；南京航空航天大學(xué)研究生創(chuàng)新基地（實(shí)驗(yàn)室）開(kāi)放基金資助項(xiàng)目（kfjj20130210）。

方三勇（1989-），男，碩士研究生，主研方向：圖像處理，模式識(shí)別；周大可，副教授、博士；曹元鵬，碩士研究生；楊 欣，副教授、博士。

2014-11-03

2014-11-28E-mail：fangsnyong@163.com