基于單張人臉圖像的表情生成方法

馬禹騫 鐘寶江

(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,蘇州，215006)

基于單張人臉圖像的表情生成方法

馬禹騫 鐘寶江

(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,蘇州，215006)

人臉表情生成是人機(jī)情感交互的重要實(shí)現(xiàn)方式之一。通過研究人臉及表情特點(diǎn)，抽象具體的器官變化，歸納出針對人臉圖像的網(wǎng)格劃分法法則。在此基礎(chǔ)上提出了一種針對人臉表情生成的網(wǎng)格劃分技術(shù)。該技術(shù)通過簡單的定位，使用二次多項(xiàng)式曲線合理劃分了人臉主要器官,繼而將其參數(shù)化，實(shí)現(xiàn)對人臉各器官的獨(dú)立調(diào)整變動。簡化定義了6種基本表情的面部變化，使用新網(wǎng)格劃分技術(shù)實(shí)現(xiàn)不同的人臉器官變化，生成各種特定的表情。同時(shí)嘗試了皺紋等皮膚紋理的添加步驟。與已有的人臉表情生成方法相比，新方法具有網(wǎng)格劃分方式簡單、變動參數(shù)多樣、易于編碼實(shí)現(xiàn)和計(jì)算量小等優(yōu)點(diǎn)，最終生成的人臉表情在主觀評測中評價(jià)良好。

情感計(jì)算；人臉變形；表情生成；網(wǎng)格

引 言

人臉表情生成是人工智能領(lǐng)域的一項(xiàng)有趣挑戰(zhàn)，要求計(jì)算機(jī)能理解、分析和模擬人類情感，最終與人類進(jìn)行情感交互。相關(guān)研究工作的一般關(guān)注點(diǎn)主要在人臉識別上，對人臉部分特征的計(jì)算機(jī)識別率甚至已經(jīng)高過人類本身。而隨著計(jì)算機(jī)及相關(guān)學(xué)科不斷的發(fā)展，人們對人工智能提出了更高的要求。其中，情感計(jì)算是近年來越來越熱門的研究方向[1]，它要求計(jì)算機(jī)不僅能識別人類情感，還能理解并作出反應(yīng)，從而像人與人一樣進(jìn)行情感交流。以現(xiàn)有的技術(shù)來說，人與機(jī)器的交流必須通過屏幕等設(shè)備進(jìn)行，但是機(jī)器沒有人類多樣的表達(dá)器官?，F(xiàn)在大多數(shù)的交互還是以機(jī)器為中心的生硬方式。因而，模擬仿生代理就成實(shí)現(xiàn)情感交互的重要媒介。

圖1 一種表情生成方法的結(jié)果示例Fig．1 A sample result of one expression synthesis method

研究表情及其生成方法，是實(shí)現(xiàn)仿生代理、進(jìn)行情感交互不可或缺的工作。表情生成問題可分為兩個(gè)部分：人臉建模與表情生成。傳統(tǒng)的人臉建模可分為2D網(wǎng)格與3D網(wǎng)格兩種方式。2D 網(wǎng)格建模方法將人臉表情生成問題化歸為對圖像的變形操作，其基本思想與有限元網(wǎng)格劃分類似。比如Matthews等[2]使用復(fù)雜網(wǎng)格，并運(yùn)用基于統(tǒng)計(jì)的方法實(shí)現(xiàn)2D人臉建模。MPEG-4標(biāo)準(zhǔn)中也提出了一個(gè)不同人臉的動畫框架，需要84個(gè)點(diǎn)劃分，這方面Raouzaiou等[3]做了很多工作。3D建模需要額外的設(shè)備支持，如Zhang等[4]要求應(yīng)用一個(gè)三維掃描儀，而Kahler等[5]的方法需要進(jìn)行大量手工編輯。由于人臉并不規(guī)則，通用的建模方式要么劃分十分復(fù)雜，要么數(shù)據(jù)獲取不便,其余表情生成方法也有相似的困擾。比如Lee等[6]從生物力學(xué)出發(fā)，把人臉模型分成5層進(jìn)行變換，使用者需要相當(dāng)?shù)慕?jīng)驗(yàn)來操縱以獲得目標(biāo)表情；Sifakis等[7]從解剖角度進(jìn)行表情變換，實(shí)際模擬使用了370 000個(gè)變換單位；Vlasic[8]與Chai等[9]分別從視頻角度出發(fā)，需要一個(gè)包含人臉的視頻源輸入進(jìn)行變換；Zhang等[4]使用一組表情源圖片，建模后采用線性插值生成表情；Zhang等[10]則直接在圖像層面進(jìn)行插值。這些表情生成方法均需要大量的計(jì)算資源或數(shù)據(jù)，而且常常只能從已有表情出發(fā)生成相應(yīng)表情。近年來, 國內(nèi)學(xué)者也廣泛開展了關(guān)于人臉表情生成及相關(guān)研究[11-14]。圖1示例了一種比較成功的表情生成結(jié)果。

現(xiàn)有的表情生成技術(shù)，要么數(shù)據(jù)獲取方式十分復(fù)雜，要么生成過程復(fù)雜，需要大量計(jì)算。同時(shí)最終效果直接受制于輸入表情的豐富程度，總體效果不夠自然。特別是在單張人臉圖像生成表情方面，相關(guān)研究還非常欠缺。本文提出了一種基于單張人臉圖像生成表情的方法，該方法針對二維人臉圖像，依照人臉及表情變換特征，使用一種新的網(wǎng)格劃分方式進(jìn)行建模。在只有特定對象單張圖像的情況下，新方法以較為簡單的方式和較小的計(jì)算量，取得了良好的表情仿真效果。

1 局部表情變化規(guī)律

1.1 局部器官變化

在局部人臉器官變化的研究方面，Ekman和Friesen[15]于1978年提出了人臉運(yùn)動編碼系統(tǒng)(Facial action coding system, FACS)。該系統(tǒng)基于人臉解剖學(xué)理論，依照臉部變化對相關(guān)肌肉分組，其中與表情相關(guān)的肌肉有46組。這項(xiàng)工作本身并不對表情做出識別，而是定義了各種面部動作，因此成為后繼人臉表情生成方面研究工作的基礎(chǔ)。然而，F(xiàn)ACS系統(tǒng)依照的是人臉實(shí)際變動方式，描述過程較為復(fù)雜。對于單張圖片的表情變換，直接使用該系統(tǒng)會顯著增加計(jì)算量。為此，本文首先借鑒FACS系統(tǒng)的基本思想，依照表情特征來簡化變換的分組。

與人臉皮膚光澤等紋理變化相比，人眼對形狀變化更為敏感。某些表情變化時(shí)，雖然調(diào)動的肌肉較多，但反應(yīng)在人臉圖像上，特別是表情圖像的變化上并不明顯。在人臉各部分器官中，眉毛、嘴和眼睛變動相對更為顯著，因此表情變換單位主要依據(jù)這些器官的變換來量化。為了突出形狀變化規(guī)律，一方面，需要用一定的方式描述其形狀輪廓；另一方面，需要描述其形狀變化過程。

以下使用日本女性人臉表情數(shù)據(jù)庫(Japanese female facial expressions, JAFFE)作為樣本數(shù)據(jù)。眉毛、嘴和眼睛都可以用貝塞爾曲線勾勒輪廓。為了簡化工作，使用較簡單的二次曲線進(jìn)行輪廓勾勒。

圖2 擬合示例Fig.2 Fitting examples

如圖2所示，在JAFFE數(shù)據(jù)庫中隨機(jī)選取一些人臉圖像，截取出的各類器官都能使用二次曲線進(jìn)行擬合，這說明使用二次曲線來描述輪廓是合理可行的。在形狀變化規(guī)律上，眉毛一般以眉心為中心線軸對稱呈現(xiàn)為不同程度的拱橋狀曲線。不過在表情變化時(shí)也會呈現(xiàn)出不對稱形狀：直線水平或略接近“八”字的形狀；眉心處向上抬起，彎曲，呈現(xiàn)出橢圓的部分形狀；直線倒“八”字形狀。嘴的變動主要呈現(xiàn)為角度與厚度的變化，如厭惡時(shí)嘴角向一側(cè)傾斜，悲傷時(shí)嘴唇厚度變小。眼睛的變化則主要為眼皮的開合，高興、悲傷時(shí)略微合起；驚訝時(shí)張大。

1.2 人臉網(wǎng)格劃分原則

由于本文研究針對單張圖像的人臉表情，為了盡量減少不必要的工作，需要依照人臉及表情的變化特點(diǎn)來進(jìn)行更明確的人臉網(wǎng)絡(luò)劃分。劃分的主要原則如下：

(1) 對稱性

一般情況下人臉可以看作一個(gè)對稱的曲面，因此只需針對一邊人臉對象的網(wǎng)格劃分，然后對稱地運(yùn)用到另一邊。

(2) 網(wǎng)格密度與變化程度的正相關(guān)性

根據(jù)一般網(wǎng)格劃分法則，需要對曲率大的部分進(jìn)行細(xì)致劃分。但是在觀察二維人臉圖像時(shí)，主要對其形狀變化差異敏感。因此針對人臉進(jìn)行網(wǎng)格劃分的依據(jù)便是各器官部位可能的變動程度：變動程度較大的部分進(jìn)行細(xì)化分，反之進(jìn)行粗略劃分。

(3) 依據(jù)五官特性設(shè)計(jì)單元網(wǎng)格

人臉各個(gè)器官有其各自的特點(diǎn)，應(yīng)該按照其本身的形狀規(guī)律和變化可能，進(jìn)行不同單元的網(wǎng)格形狀構(gòu)造。

(4) 基于知識進(jìn)行網(wǎng)格劃分

針對個(gè)體來說，部分人臉表情的變化是特有的，為此應(yīng)該進(jìn)行特殊的網(wǎng)格劃分，獲得足夠恰當(dāng)?shù)闹R經(jīng)驗(yàn)來劃分網(wǎng)格以獲得特別的變化。

對人臉進(jìn)行網(wǎng)格劃分可以在每個(gè)部分上進(jìn)行簡單的仿射變換或投影變換，反映一類相似或相關(guān)的位移、變換，使網(wǎng)格變換更加自然、平滑。為此，從便于編碼和計(jì)算的角度以比較簡單的方式，將人臉從物理世界映射到笛卡爾坐標(biāo)系，實(shí)施后繼的操作。

圖3 本文所使用的網(wǎng)格劃分法示意圖 Fig.3 Demonstration of the mesh partition technique used in the paper

2 針對表情的人臉網(wǎng)格劃分

文獻(xiàn)中已有的劃分方式主要從不同角度對人臉做出了細(xì)致的描述，需要相當(dāng)數(shù)量的參照或定位點(diǎn)。對于人臉圖像來說，沒有將主要器官變化與周圍皮膚變化區(qū)分開來，從而難以實(shí)現(xiàn)針對單張人臉圖像的多表情生成。為此，本節(jié)提出一種新的網(wǎng)格劃分方式，即把器官與周圍皮膚區(qū)分開來，分別對待。如圖3所示，在處理人臉圖像時(shí)，器官部分的圖像應(yīng)該能做更細(xì)致、靈活的變化，周圍皮膚的變化則簡單處理以節(jié)省計(jì)算量。

根據(jù)圖2所示的依據(jù)，可以使用簡單的曲線(如二次函數(shù))來描述器官輪廓。眉毛、嘴和眼睛這些關(guān)鍵器官，都可以看作是一個(gè)紡錘體或紡錘體的變體，以兩條曲線劃分出來。為了統(tǒng)一，需要變換的皮膚區(qū)域也用二次曲線劃分網(wǎng)格。

本文定義，“上皮膚”指皮膚上界與主要器官上界中間的條狀區(qū)域；“變換對象”指主要器官上界與主要器官下界形成的紡錘形區(qū)域；“下皮膚”指主要器官下界，與皮膚下界中間的條狀區(qū)域。這樣，可以將區(qū)域劃分為上皮膚、變換對象和下皮膚3部分。依照以上劃分的曲線，把區(qū)域再劃分成一個(gè)個(gè)四邊形。雖然四邊形由直線構(gòu)成，但是適當(dāng)?shù)膭澐謹(jǐn)?shù)量就能夠滿足近似曲線的效果。以上的劃分將人臉各器官區(qū)域劃分為上皮膚、變換源區(qū)域(變換目標(biāo)區(qū)域)和下皮膚3部分。具體地說，每條曲線在橫向上做均等分隔。如圖4所示，從左往右開始，皮膚邊界曲線上的點(diǎn)與對象區(qū)域邊界曲線的上點(diǎn)一一對應(yīng)，形成多個(gè)四邊形分隔區(qū)域。特別地，圖4中點(diǎn)1，4，8；3，7，10；1，11，8；3，13，10形成三角形。為了區(qū)域的統(tǒng)一，可以取4，7，11，13這4個(gè)點(diǎn)所在y軸方向上的一小段直線，使這4個(gè)區(qū)域的劃分仍然為四邊形。

圖4 針對表情的人臉網(wǎng)格劃分Fig.4 Facial mesh partition for expression

圖5 不合理的參數(shù)設(shè)置效果 (d=2)Fig.5 Result of unsuitable parameter setting (d=2)

同時(shí)，定義d為劃分密度；r為比例系數(shù)。由此得到“上皮膚”區(qū)域、“變換對象”區(qū)域和“下皮膚”區(qū)域各d小塊區(qū)域，加上左右兩個(gè)區(qū)域，一共需要變換3d+ 2個(gè)四邊形小塊區(qū)域。記H為主要部分原始高度，h為變換后目標(biāo)區(qū)域高度。如圖4所示，變換后目標(biāo)只有方向趨勢定義(點(diǎn)11，12，13)，其本身沒有高度。變換后的高度取決于原高度與比例系數(shù)，即h=rH。這樣對于每個(gè)小分塊，已知源圖像與目標(biāo)圖像4個(gè)點(diǎn)，只要對應(yīng)區(qū)域，進(jìn)行投影變換即可。使用以上變換方式，在一張中性人臉圖像嘴部進(jìn)行變換。為減少計(jì)算量，參數(shù)d一般取值較小。具體地,由于劃分成四邊形的投影變換，劃分的數(shù)量即d的設(shè)置關(guān)系到變換效果的平滑程度。如果劃分得太少，其效果就會如圖5所示，所生成的人臉表情很不自然；而劃分得過多會加大計(jì)算量。在多次試驗(yàn)后發(fā)現(xiàn)一般d≥5 的劃分可以取得良好的效果。

以下列出各部分人臉器官可能發(fā)生的變化。

眉毛 眉毛部位可以分成3類變換方式：內(nèi)眉抬起、內(nèi)眉下垂和眉毛抬起。

圖6 局部人臉變化示例Fig.6 Demonstration of partial facial changes

嘴 嘴部可以主要分成3類變換方式：嘴角上揚(yáng)、嘴角下垂和嘴不對稱彎曲。其他表情如抿嘴等可以通過調(diào)節(jié)嘴的厚度，即關(guān)鍵區(qū)域的高度來實(shí)現(xiàn)。

眼睛 眼睛部位的可能變動比較細(xì)微，特別是眼球的角度。這里只考慮眼皮的變化，即其高度。

通過上述分析，可以對人臉主要表情相關(guān)部分，即眉毛、嘴和眼睛進(jìn)行獨(dú)立的調(diào)整、控制，見圖6所示。但表情是人臉的一個(gè)綜合表現(xiàn)，上述這些變化只是局部的、無感情的器官變化。

3 多表情生成

3.1 基本表情生成

Ekman和Friesen[16]在1971年研究了不同種族與文化的人群間表情的情況，提出人類具有6種基本表情：高興、悲傷、憤怒、驚訝、厭惡和恐懼。這些表情在不同種族或文化間都有相似的表達(dá)，可以說是人類共有的表情。但是因?yàn)楸砬楸旧砭哂兄饔^性，同樣的面部表情對不同的人，在不同的情景下可能有不同的語義。所以從表情的基礎(chǔ)即臉部變化開始研究，這樣只要能表現(xiàn)足夠的臉部變化類型，就能生成多種豐富的表情。其中關(guān)鍵的難點(diǎn)在于使用哪些基本模塊生成所需要的表情。

依照表情一般規(guī)律，以及對JAFFE數(shù)據(jù)庫的觀察，針對6種基本表情，可以做出如表1所示的定義。在前面工作的基礎(chǔ)上，可以組合這些變動形成一個(gè)完整的表情。以“高興”表情嘴部變化為例(如圖7所示)，白色輪廓為勾勒的源區(qū)域，黑色部分為經(jīng)過參數(shù)計(jì)算后的目標(biāo)區(qū)域。因?yàn)槠つw區(qū)域紋理較為一致，主要變換嘴唇區(qū)域，在視覺上即能達(dá)到明顯效果，同時(shí)皮膚區(qū)域無扭曲感。

表1 6種基本表情定義

Tab.1 Definition of six kinds of basic expressions

#表情文字說明1高興眉毛放松。嘴角往耳朵處拉伸。2悲傷內(nèi)眉毛彎曲向上。眼睛輕微合上。嘴角下垂。3憤怒內(nèi)眉毛向下拉伸聚攏。眼睛張大。4恐懼眉毛抬起聚攏。內(nèi)眉毛彎曲向上。5厭惡眉毛和眼皮放松。上嘴唇抬起、彎曲,通常不對稱。6驚訝眉毛抬起。眼皮張開。

圖7 “高興”嘴部變化Fig.7 Transformation of mouth in happiness

同樣地，通過組合每一個(gè)器官的變化，就能生成其他表情，其生成效果如圖8所示。通過不同的組合，也能生成更為復(fù)雜細(xì)致的表情。

圖8 6種基本表情的生成Fig.8 Generation of six kinds of basic expressions

圖9 皺眉紋理Fig.9 Wrinkle texture

圖10 添加紋理后憤怒表情比較 Fig.10 Comparison of the anger expression before and after adding texture

3.2 皮膚紋理的添加

計(jì)算機(jī)生成的人臉圖像之所以常常給人以虛假的感覺，是因?yàn)槠浔砻婕y理不如真實(shí)世界當(dāng)中的細(xì)節(jié)豐富。一些變化，如憤怒時(shí)眉毛的聚攏，通過簡單的移動眉毛，即仿射變換，難以做出真實(shí)的效果。但是紋理的自然生成一直是圖形圖像方面的難點(diǎn)。因?yàn)槠涫芄庹找蛩赜绊懞艽?，需要考慮的因素很多?？梢葬槍螐埲四樀那闆r，提取一些褶皺圖像。圖9為皺眉紋理圖像。通過在“憤怒”表情上添加皺眉效果，可以得到更加真實(shí)的表情，結(jié)果如圖10所示。

4 表情生成的主觀評測結(jié)果

因?yàn)楸砬闆]有一個(gè)客觀的、普適的計(jì)算量化標(biāo)準(zhǔn)，難以確定生成的表情圖片是否達(dá)到了一定水平。為此，針對表情生成結(jié)果，進(jìn)行了人眼主觀性測評即問卷調(diào)查。問卷分為兩個(gè)問題，給調(diào)查對象6幅圖片，進(jìn)行如下測評：(1) 請求其找到對應(yīng)的表情；(2) 評價(jià)表情自然程度，表情自然程度分為5級，1為粗糙，5為自然。統(tǒng)計(jì)結(jié)果如表2所示。

表2 針對新方法的問卷結(jié)果

從表2可看出，針對新方法所生成的表情整體識別率都達(dá)到了60%以上。部分表情，如“高興”和“憤怒”，識別的正確率達(dá)到100%。在自然度方面的結(jié)果與識別正確率不完全對應(yīng)，如“厭惡”的識別正確率較高，達(dá)到了85.7%，而自然度評分卻是幾個(gè)表情中最低的。另外值得注意的是，添加了皺紋的“憤怒”得到了最高的自然度與識別率，顯示了所采用的皮膚褶皺添加方法的必要性。以上測評結(jié)果說明新方法具備良好的表情生成效果。

5 結(jié)束語

人臉多表情生成是人工智能領(lǐng)域一個(gè)復(fù)雜問題。因?yàn)槿祟愐曈X對于人臉特別敏感，因此提高生成表情的自然程度非常困難?，F(xiàn)有的研究方式多集中在通過昂貴的采集設(shè)備，以復(fù)雜的計(jì)算方式生成人臉多種表情，存在數(shù)據(jù)獲取困難、生成方式復(fù)雜、資源消耗量大和生成表情有限等限制。針對人臉具體可調(diào)整的參數(shù)也十分有限。本文首先提出一種人臉網(wǎng)格劃分方式，能夠有效量化不同的表情變化，并且討論了關(guān)鍵變量的一般取值范圍，具有數(shù)據(jù)獲取簡單，計(jì)算量小，生成圖片自然等優(yōu)點(diǎn)。然后研究局部器官變化方法，新方法不受制于已有表情定義，理論上可生成任意表情。在此基礎(chǔ)上，通過定義具體表情的變化參數(shù)，實(shí)現(xiàn)多種表情的生成。同時(shí)嘗試添加褶皺紋理，最終取得了良好的表情生成效果。主觀評測結(jié)果顯示新方法生成的人臉表情比較自然和真實(shí)，具有一定的應(yīng)用前景。

[1] Picard R W. Affective computing[M]. Cambridge: The MIT Press, 2000.

[2] Matthews I, Baker S. Active appearance models revisited[J]. International Journal of Computer Vision, 2004, 60(2): 135-164.

[3] Raouzaiou A, Tsapatsoulis N, Karpouzis K, et al. Parameterized facial expression synthesis based on MPEG-4[J]. EURASIP Journal on Applied Signal Processing, 2002, 2002(1): 1021-1038.

[4] Zhang L, Snavely N, Curless B, et al. Spacetime faces: High-resolution capture for modeling and animation[C]∥Data-Driven 3D Facial Animation. London: Springer, 2008: 248-276.

[5] K?hler K, Haber J, Seidel H P. Geometry-based muscle modeling for facial animation[C]∥Proceedings of the Graphics Interface 2001 Conference. Ottawa, Ontario, Canada: Canadian Human-Computer Communications Society, 2001: 37-46.

[6] Lee Y, Terzopoulos D, Waters K. Realistic modeling for facial animation[C]∥Proceedings of the 22nd Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM, 1995: 55-62.

[7] Sifakis E, Neverov I, Fedkiw R. Automatic determination of facial muscle activations from sparse motion capture marker data[C]∥ACM Transactions on Graphics (TOG). New York: ACM, 2005, 24(3): 417-425.

[8] Vlasic D, Brand M, Pfister H, et al. Face transfer with multilinear models[C]∥ACM Transactions on Graphics (TOG). New York: ACM, 2005, 24(3): 426-433.

[9] Chai J, Xiao J, Hodgins J. Vision-based control of 3d facial animation[C]∥Proceedings of the 2003 ACM SIGGRAPH/Eurographics symposium on Computer animation. San Diego: Eurographics Association, 2003: 193-206.

[10]Zhang Q, Liu Z, Quo G, et al. Geometry-driven photorealistic facial expression synthesis[J]. Visualization and Computer Graphics, IEEE Transactions on, 2006, 12(1): 48-60.

[11]宋紅, 黃小川, 王樹良. 多表情人臉肖像的自動生成[J]. 電子學(xué)報(bào), 2013, 41(8): 1494-1499.

Song Hong, Huang Xiaochuan, Wang Shuliang. Automatic generation of portraits with multiple expressions[J]. Chinese Journal of Electronics, 2013, 41(8): 1494-1499.

[12]談國新, 孫傳明. 一種真實(shí)感三維人臉交互式生成方法[J]. 武漢大學(xué)學(xué)報(bào)：信息科學(xué)版, 2014, 39(8): 992-997.

Tan Guoxin, Sun Chuanming. An interactive approach to generate realistic 3D face[J]. Geomatics and Information Science of Wuhan University, 2014, 39(8): 992-997.

[13]蔣斌, 賈克斌. 一種用于表情識別的局部判別分量分析算法[J]. 電子學(xué)報(bào), 2014, 42(1): 155-159.

Jiang Bin, Jia Kebin. A local discriminative component analysis algorithm for facial expression recognition[J]. Chinese Journal of Electronics, 2014, 42(1): 155-159.

[14]段紅帥, 朱振峰, 趙耀. 一種基于雙子空間的人臉美感分析方法[J]. 數(shù)據(jù)采集與處理, 2012, 27(1):105-110.

Duan Hongshuai, Zhu Zhenfeng, Zhao Yao. A dual subspace algorithm for facial attractiveness analysis[J]. Journal of Data Acquisition and Processing, 2012, 27(1):105-110.

[15]Ekman P, Friesen W V. Manual for the facial action coding system[M]. California: Consulting Psychologists Press, 1978.

[16]Ekman P, Friesen W V. Constants across cultures in the face and emotion[J]. Journal of Personality and Social Psychology, 1971, 17(2): 124.

Expression Synthesis Method Based on Single Facial Image

Ma Yuqian, Zhong Baojiang

(School of Computer Science and Technology, Soochow University, Suzhou, 215006, China)

Facial expression synthesis is important for affective computing. Here, we investigate various facial and expressions features. By abstracting specific organ changes, several principles for the mesh partition of a human face are provided. A new mesh partition technique is then introduced for the synthesis of human expression. By simply positioning, the new technique divides organs of the human faces with polynomial curves. In consequence, every facial organ can be adjusted separately. The existing definition of six basic facial expressions are simplified. With this mesh generation technique, a new method to generate facial expression is obtained. At the same time, we try a step to add skin texture so that the generated expression can be enhanced. Compared with the existing facial expression synthesis methods, the proposed method is simpler in mesh partition, more flexible in parameter setting, and easier to be coded with less computational cost. Subjective evaluation shows that the generated facial expressions have a good visual effect.

affective computing; face morphing; expression synthesis; meshes

國家自然科學(xué)基金(61572341)資助項(xiàng)目；江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金(BY2012114)資助項(xiàng)目；蘇州大學(xué)"東吳學(xué)者計(jì)劃"資助項(xiàng)目。

2015-06-16；

2016-06-20

TP301

A

馬禹騫(1992-)，男，工程師，研究方向：計(jì)算機(jī)視覺和圖像分析。

鐘寶江(1972-)，男，博士，教授，研究方向：計(jì)算機(jī)視覺、圖像分析與理解，E-mail: bjzhong@suda.edu.cn。