基于樣例的面部表情基生成

高婭莉,譚光華,郭松睿,范曉偉

(湖南大學(xué)信息科學(xué)與工程學(xué)院,長沙410082)

基于樣例的面部表情基生成

高婭莉,譚光華,郭松睿,范曉偉

(湖南大學(xué)信息科學(xué)與工程學(xué)院,長沙410082)

針對(duì)現(xiàn)有blendshape表情基的生成多依賴手工建模和微調(diào)的問題,提出一種基于樣例的表情基自動(dòng)生成方法。以一組通用的面部模型為先驗(yàn)?zāi)Ｐ?實(shí)現(xiàn)每個(gè)blendshape的表情語義逐步求精。通過該方法生成的blendshape表情基能夠?qū)⑼ㄓ媚Ｐ偷谋砬檎Z義和表情動(dòng)態(tài)映射到目標(biāo)模型上,從而實(shí)現(xiàn)模型在應(yīng)用上的可擴(kuò)展性,使用戶能夠按照自身需求逐步計(jì)算出更為豐富的面部表情模型。實(shí)驗(yàn)結(jié)果表明,在梯度空間建立形變約束,并將其轉(zhuǎn)化為一個(gè)關(guān)于blendshape的優(yōu)化問題,能更加有效地控制blendshape表情基的變化趨勢,并且計(jì)算時(shí)間更短,真實(shí)感更強(qiáng)。

blendshape表情基;基于樣例;迭代優(yōu)化;梯度空間;真實(shí)感;表情動(dòng)畫

1 概述

人臉模型參數(shù)化是特效電影和計(jì)算機(jī)游戲中構(gòu)建虛擬角色的一項(xiàng)重要工作?；赽lendshape的動(dòng)畫技術(shù)能夠逼真地創(chuàng)建出各種虛擬角色的表情動(dòng)畫。由于其直觀的控制方式,深受動(dòng)畫師們喜愛。然而,為了追求高度的真實(shí)感,動(dòng)畫師即使已經(jīng)最大限度地控制了一個(gè)特定面部的各種細(xì)微變化,也還需要調(diào)整數(shù)百個(gè)blendshape表情基。例如,電影《指環(huán)王》中的Gollum模型總共用了946個(gè)blendshapes［1］。因此,需要?jiǎng)赢嫀熂纫咝У亟⒁唤M個(gè)性化的面部表情基又能夠使其自動(dòng)調(diào)整以匹配表演者的面部表情。

文獻(xiàn)［2-5］使用多線性的主成份分析(Principal Component Analysis,PCA)模型,提出了面部表情基的自動(dòng)創(chuàng)建方法,然而最終的線性表情基對(duì)于表情動(dòng)畫的控制并沒有直觀上的意義,導(dǎo)致動(dòng)畫師無法直接使用。文獻(xiàn)［6］提出一種基于非線性聯(lián)合學(xué)習(xí)的三維人臉表情合成方法,該方法的表情重定向合成結(jié)果較好,但通過系數(shù)插值合成表情時(shí)可能產(chǎn)生由于過度變形導(dǎo)致的扭曲表情。文獻(xiàn)［7］提出了一種通用的面部表情模擬技術(shù),該方法能有效地對(duì)3D

模型或2D圖像進(jìn)行表情轉(zhuǎn)移,但該方法計(jì)算效率不高且真實(shí)感不夠好。

本文提出一種基于樣例的blendshape表情基自動(dòng)生成方法。該方法利用一組通用的面部模型作為先驗(yàn)?zāi)Ｐ?與新創(chuàng)建的目標(biāo)模型作為輸入,將模板模型的表情動(dòng)態(tài)映射到目標(biāo)網(wǎng)格上［8］,最終采用迭代優(yōu)化算法求解最優(yōu)blendshape表情基及對(duì)應(yīng)的混合權(quán)重。該方法摒棄了每一個(gè)blendshape必須與一個(gè)精確表情對(duì)應(yīng)的限制,而只需要一組數(shù)量較少的樣例模型及滿足粗略初始猜想的混合權(quán)重即可。

2 基于樣例的blendshape表情基自動(dòng)生成

2.1問題描述

基于樣例的表情基生成問題可描述為:給定已知樣例人臉模型S和S′,如何根據(jù)目標(biāo)人臉模型T生成T′。

創(chuàng)建新的目標(biāo)模型(其中包括自然表情和m個(gè)其他表情)作為輸入。根據(jù)非剛性匹配算法［10］將通用模型的自然表情S0與目標(biāo)模型對(duì)齊,產(chǎn)生一組網(wǎng)格集合T={T1,T2,…,Tm}作為訓(xùn)練表情。本文的目的是計(jì)算一組新的blendshape表情基B={B0,B1,…,Bn},使之能夠最大程度匹配表演者的面部外觀特征和運(yùn)動(dòng)特征。因此,需要求解出目標(biāo)blendshape表情基Bi以及對(duì)應(yīng)的權(quán)重xij,使得表情基的線性組合與訓(xùn)練表情的誤差最小,即:

該問題是一個(gè)雙線性問題,它的求解存在2個(gè)主要問題:(1)在訓(xùn)練表情很少(m＜n)的情況下,如何計(jì)算目標(biāo)表情基Bi;(2)在相同權(quán)重設(shè)置下,如何確保模板模型和目標(biāo)模型之間的表情語義距離最小。

為了解決上述問題,本文采用了如下迭代優(yōu)化方法交替迭代進(jìn)行求解,其步驟如下:(1)保持混合權(quán)重xij不變,優(yōu)化blendshape表情基;(2)保持blendshape表情基不變,優(yōu)化混合權(quán)重。為了提高計(jì)算速度,用戶需選擇適當(dāng)?shù)幕旌蠙?quán)重合成一個(gè)初略的表情Ej,使其與訓(xùn)練表情Tj大致對(duì)應(yīng),從而產(chǎn)生逼近的權(quán)重,為步驟(1)提供初始值,為步驟(2)提供表情的語義約束。開始訓(xùn)練表情基時(shí),只需設(shè)定幾個(gè)足夠表現(xiàn)力的表情的混合權(quán)重即可,通常不超過4個(gè),即m≤4。

2.2 目標(biāo)blendshape模型的重構(gòu)

在明確問題之后,首先需要將形式化的問題與實(shí)際網(wǎng)格模型建立起聯(lián)系,即:為了實(shí)現(xiàn)模板模型的表情能映射到目標(biāo)模型上,需要對(duì)各個(gè)模型的網(wǎng)格進(jìn)行操作,假設(shè)源模型和目標(biāo)模型都是由三角網(wǎng)格構(gòu)成,則可以針對(duì)網(wǎng)格中任意一個(gè)由頂點(diǎn)v1,v2,v3構(gòu)成的三角形r,定義一個(gè)3×3的矩陣Ar=［v3-v1,v2-v1,n］,n=(v3-v1)×(v2-v1)為三角形的法向量。這里將源三角形r到目標(biāo)三角形d的變形梯度定義為Hr→d=Ad·Ar-1。其次,在梯度空間建立約束形成優(yōu)化問題,求解這個(gè)優(yōu)化問題便能重構(gòu)出最終的blendshape表情基。

2.3 優(yōu)化混合權(quán)重

給定blendshape表情基集合B,就能求出最優(yōu)的混合權(quán)重xij,使用最小二乘擬合算法重構(gòu)訓(xùn)練表情Tj。定義如下公式求解xij:

3 實(shí)驗(yàn)結(jié)果與分析

首先,選用文獻(xiàn)［8］中的面部網(wǎng)格作為模板模型S。其次,創(chuàng)建目標(biāo)模型作為訓(xùn)練表情集合T。模板模型中包括10種基本表情,分別是自然表情、生氣、哭泣、暴怒、露齒笑、嘲笑、憤怒、悲傷、微笑、驚訝。

每次設(shè)置中,主要控制參數(shù)α和λ,便能調(diào)整輸出最優(yōu)的blendshape表情基。當(dāng)α?1時(shí),輸出的blendshape模型接近于直接進(jìn)行變形傳輸后產(chǎn)生的結(jié)果。在這種情況下,即便λ=0,實(shí)驗(yàn)中也觀察不到明顯的變化。當(dāng)α接近于0.1時(shí),輸出的blendshape有可能組合后逼近訓(xùn)練表情,但其變化可能比α?0.1時(shí)更敏感。所有的實(shí)驗(yàn)中,僅使用了10次交替迭代,其中第一次迭代時(shí)α=0.5,λ=100。最后一次迭代時(shí)權(quán)重逐漸減小到α=0.1,λ=10。

ij增加隨機(jī)變量x后對(duì)模型的影響。

圖1 初始混合權(quán)重的變化對(duì)模型擬合效果的影響

圖2顯示了參數(shù)α對(duì)式(4)中E的影響。它有效地控制了通用模型和目標(biāo)模型之間的映射。當(dāng)其減小到0.05時(shí)出現(xiàn)過擬合現(xiàn)象,在重構(gòu)blendshape表情基時(shí)導(dǎo)致失真。實(shí)驗(yàn)發(fā)現(xiàn)α=0.1時(shí)折中地滿足了精度和魯棒性的要求。

圖2 參數(shù)α對(duì)誤差E的影響

本文應(yīng)用的方法主要針對(duì)非標(biāo)記面部表情動(dòng)畫。實(shí)驗(yàn)表明很少的訓(xùn)練表情(4個(gè))便足以精確地表達(dá)一個(gè)密集的表情空間。如果沒有基于樣例進(jìn)行優(yōu)化,blendshape表情基模型將不具備足夠的表現(xiàn)力。

本文與3種具有代表性的方法:基于主成份分析(PCA)的方法［5］、面部表情模擬(Facial Expression Analogy,FEA)方法［6］和非線性協(xié)同學(xué)習(xí)(Nonlinear Co-learning,NCL)方法［7］進(jìn)行比較。不同表情基生成方法對(duì)比如圖3所示。從表1可以看出,對(duì)于4個(gè)訓(xùn)練表情,進(jìn)行優(yōu)化的實(shí)驗(yàn)大約需要81 s,約等于分別進(jìn)行blendshape優(yōu)化、重構(gòu)和參數(shù)優(yōu)化所用的時(shí)間總和。

圖3 不同表情基生成方法對(duì)比

表1 4種方法消耗時(shí)間比較s

本文方法假定訓(xùn)練樣例對(duì)應(yīng)有效的表情blendshape組合。例如,使用先驗(yàn)?zāi)Ｐ蜔o法表達(dá)鼓嘴吹氣的表情。然而,通過驗(yàn)證E是否超過某一閾值就可以檢測出模型中的表情是否丟失。因此,需增加語義不同的表情補(bǔ)充表情基空間。輸入其他模型產(chǎn)生的效果如圖4所示。目前,算法的交互速率還不夠快。算法的復(fù)雜度為O(a(m+N)),非線性求解部分的復(fù)雜度為O(n3)。

圖4 輸入其他模型產(chǎn)生的效果

4 結(jié)束語

本文從自動(dòng)生成個(gè)性化的blendshape表情基入手,根據(jù)樣例表情迭代地優(yōu)化表情基和混合權(quán)重,從而達(dá)到提高動(dòng)畫師工作效率,甚至讓非專業(yè)用戶也能很快地生成個(gè)性化的blendshape模型的目的。相較于單純依賴手工建模并微調(diào)每個(gè)blendshape模型的方式,本文方法更方便快捷且具有可擴(kuò)展性。從實(shí)驗(yàn)結(jié)果可以看出,本文方法是可行的,真實(shí)感高,能夠生成高質(zhì)量、個(gè)性化的blendshape模型。下一步工作將嘗試如何使用較少的樣例實(shí)現(xiàn)與更多的表情基自動(dòng)建立對(duì)應(yīng)關(guān)系,同時(shí),進(jìn)一步提高表情映射的精度。

［1]Lewis J P,Mooser J,Deng Zhigang,et al.Reducing Blendshape Interference by Selected Motion Attenuation［C］//Proceedings of Symposium on Interactive 3D Graphics and Games.Washington D.C.,USA:［s.n.］, 2005:25-29.

［2]Blanz V,Vetter T.A Morphable Model for the Synthesis of 3d Faces［C］//Proceedings of the 26th Annual ConferenceonComputerGraphicsandInteractive Techniques.NewYork,USA:ACMPress,1999: 187-194.

［3]Blanz V,Basso C,Poggio T,et al.Reanimating Faces in Images and Video［J］.Computer Graphics Forum,2003, 22(3):641-650.

［4]Vlasic D,Brand M,Pfister H,et al.Face Transfer with Multilinear Models［J］.ACM Transactions on Graphics, 2005,24(3):426-433.

［5]Weise T,Gool L V,Venue M P,et al.Face/off:Live Facial Puppetry［C］//Proceedings of Symposium on Computer Animation.［S.l.］:ACM Press,2009:7-16.

［6]Song Mingli,Zhao Dong,Theobalt C,et al.A Generic Framework for Efficient 2-D and 3-D Facial Expression Analogy［J］.IEEE Transactions on Multimedia,2007, 9(7):1384-1395.

［7]黃曉欽,林裕旭,宋明黎,等.非線性聯(lián)合學(xué)習(xí)的三維人臉表情合成方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2011,23(2):363-370.

［8]Sumner R W,Popovic'J.DeformationTransferfor Triangle Meshes［J］.ACM Transactions on Graphics, 2004,23(3):399-405.

［9]Liu Xuecheng,Mao Tianlu,Xia Shihong,et al.Facial Animation byOptimizedBlendshapesfromMotion Capture Data［J］.Computer Animation and Virtual Worlds,2008,19(3-4):235-245.

［10]Coleman T F,Li Yuying.An Interior Trust Region ApproachforNonlinearMinimizationSubjectto Bounds［J］.SIAMJournalonOptimization,1996, 6(2):418-445.

［11]Li Hao,Adams B,Guibas L J,et al.Robust Single-view GeometryandMotionReconstruction［J］.ACM Transactions on Graphics,2009,28(5).

［12]馬昌鳳.最優(yōu)化方法及其Matlab程序設(shè)計(jì)［M］.北京:科學(xué)出版社,2010:166-178.

編輯 顧逸斐

Facial Expression Radical Generation Based on Example

GAO Yali,TAN Guanghua,GUO Songrui,FAN Xiaowei
(College of Information Science and Engineering,Hunan University,Changsha 410082,China)

To solve the problem of blendshapes generation mostly depending on manual modeling and fine-tuning,this paper proposes an automatic generation method about example-based expression blendshapes.Using a set of generic face models as the prior,it makes each generated blendshapes approach to its real semantics.Expression blendshapes generated by this method can map semantics and expression dynamics from the generic model to the target model.The method achieves model’s scalability in application and enables users to gradually calculate more expression models according to their own needs.Experimental results show that the method,constructing a gradient space to optimize blendshapes, outperforms the state-of-the-art methods both in speed and reality.

blendshape expression radical;example-based;iterative optimization;gradient space;reality;facial animation

高婭莉,譚光華,郭松睿,等.基于樣例的面部表情基生成［J］.計(jì)算機(jī)工程,2015,41(3):258-261.

英文引用格式:Gao Yali,Tan Guanghua,Guo Songrui,et al.Facial Expression Radical Generation Based on Example［J］.Computer Engineering,2015,41(3):258-261.

1000-3428(2015)03-0258-04

:A

:TP391

10.3969/j.issn.1000-3428.2015.03.048

國家科技支撐計(jì)劃基金資助項(xiàng)目“文化旅游資源挖掘與體驗(yàn)式平臺(tái)研發(fā)與示范”(2014BAK08B00,2014BAK08B01)。

高婭莉(1988-),女,碩士研究生,主研方向:計(jì)算機(jī)動(dòng)畫,數(shù)字圖像處理;譚光華,助教、博士;郭松睿,博士研究生;范曉偉,本科生。

2014-04-02

:2014-05-09E-mail:gaoyali2007@163.com