基于文本驅(qū)動的人臉表情動畫系統(tǒng)

摘要：人臉表情動畫是計算機(jī)圖形學(xué)的重要研究領(lǐng)域之一，在影視和游戲中的虛擬人的應(yīng)用促進(jìn)了它的發(fā)展，它主要研究若干種典型表情的產(chǎn)生以及利用已有表情產(chǎn)生中間過渡表情。本文主要介紹了表情動畫的研究現(xiàn)狀，并且設(shè)計實(shí)現(xiàn)了基于文本驅(qū)動的人臉表情變化系統(tǒng)。

關(guān)鍵詞：表情；文本驅(qū)動；人臉動畫

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9599 （2012） 15-0000-02

1 人臉動畫的研究背景

隨著信息技術(shù)的高速發(fā)展，人們己不滿足于過去的人機(jī)交互方式，尋求高度人性化的、對人友好的人機(jī)交互技術(shù)并將其實(shí)用化的呼聲越來越高。人與人的信息交流是多種信息同時傳遞的過程，因此，多模態(tài)的交互方式是一種發(fā)展趨勢。人們交談時，不但會傾聽對方的聲音，還通過觀察對方的面部活動（諸如嘴唇運(yùn)動和面部表情等），來更加準(zhǔn)確、全面地掌握對方所傳遞的信息，并據(jù)此來輔助獲得對方的心理活動、情緒變化等潛在的信息。

正由于人臉在信息傳遞中的重要作用，人們從古至今一直在探求各種表達(dá)人臉的方法。隨著計算機(jī)技術(shù)和先進(jìn)設(shè)備的發(fā)展，人們開始利用信息技術(shù)對人臉進(jìn)行數(shù)字化建模，并開始關(guān)注于合成富有真實(shí)感的人臉。隨著信息化的日益加快和人臉語音動畫技術(shù)的不斷發(fā)展，語音同步的人臉動畫在視聽覺信息處理、醫(yī)學(xué)輔助系統(tǒng)、教學(xué)輔助系統(tǒng)、感知學(xué)實(shí)驗研究、多媒體和數(shù)字娛樂等領(lǐng)域表現(xiàn)出越來越大的潛在應(yīng)用價值[1]。類似于應(yīng)用在聽覺障礙患者的聽覺輔助系統(tǒng)，輔助其完成語音識別過程；應(yīng)用于發(fā)聲障礙患者的發(fā)聲訓(xùn)練，通過虛擬口腔的發(fā)音動作幫助矯正發(fā)聲；應(yīng)用于心理學(xué)或者感知學(xué)方面；應(yīng)用于游戲或者電影中的虛擬角色等等。

2 系統(tǒng)功能分析

2.1 TTS中相關(guān)事件的解釋

TTS 引擎通過 Events結(jié)構(gòu)來把事件信息傳遞給應(yīng)用程序。應(yīng)用程序可以調(diào)用ISpEventSource：：SetInterest 來設(shè)置感興趣的事件。這個函數(shù)也可以通過ISpVoice來調(diào)用，因為它是繼承ISpEventSource的。程序還可以調(diào)用ISpEventSource：：GetEvents來獲得事件的詳細(xì)信息。

以下是與TTS引擎相關(guān)的事件，它是SPEVENTENUM的子集。

typedef enum SPEVENTENUM

{

//--- TTS engine

SPEI_START_INPUT_STREAM = 1，

SPEI_END_INPUT_STREAM = 2，

SPEI_VOICE_CHANGE = 3， // LPARAM_IS_TOKEN

SPEI_TTS_BOOKMARK = 4， // LPARAM_IS_STRING

SPEI_WORD_BOUNDARY = 5，

SPEI_PHONEME = 6，

SPEI_SENTENCE_BOUNDARY = 7，

SPEI_VISEME = 8，

SPEI_TTS_AUDIO_LEVEL = 9

} SPEVENTENUM；

SPEVENT結(jié)構(gòu)包含了不同的事件各種信息。應(yīng)用程序可以根據(jù)不同的事件類型來分析這些信息。結(jié)構(gòu)體中，ulStreamNum是對應(yīng)于ISpVoice：：Speak 或者 ISpVoice：：SpeakStream 的返回值。

SPEI_START_INPUT_STREAM ：當(dāng)輸出對象開始從一個某個流中獲取輸出內(nèi)容時發(fā)生此事件，eEventId域等于SPEI_START_INPUT_STREAM，其他的域無意義。

SPEI_END_INPUT_STREAM：當(dāng)輸出對象從某個流中取得最后的輸出內(nèi)容時，發(fā)生此事件。其它域無意義。

SPEI_VOICE_CHANGE：當(dāng)輸入的文本或流被XML標(biāo)簽改變其相關(guān)屬性時發(fā)生此事件；每次調(diào)用Speak函數(shù)時也會發(fā)生此事件。

SPEI_TTS_BOOKMARK：表示獲得一個書簽標(biāo)簽事件?？梢栽谳斎氲奈谋局胁迦霑炛噶?bookmark>.

SPEI_WORD_BOUNDARY： 當(dāng)?shù)竭_(dá)一個新單詞時發(fā)生，即表明一個新單詞開始

SPEI_PHONEME：一個音素的邊界

SPEI_SENTENCE_BOUNDARY：一個新句子的邊界。

SPEI_VISEME：表示到達(dá)了一個新的嘴形。（每個單詞的發(fā)音都需要不同的嘴形配合）。

SPEI_TTS_AUDIO_LEVEL：表示音頻到達(dá)了一個指定的合成量級。

2.2 人臉技術(shù)的三角剖分

（1）三角剖分：假設(shè)V是二維實(shí)數(shù)域上的有限點(diǎn)集，邊e是由點(diǎn)集中的點(diǎn)作為端點(diǎn)構(gòu)成的封閉線段，E為e的集合。那么該點(diǎn)集V的一個三角剖分T=（V，E）是一個平面圖G，該平面圖滿足條件：

1）除了端點(diǎn)，平面圖中的邊不包含點(diǎn)集中的任何點(diǎn)。

2）沒有相交邊。

3）平面圖中所有面都是三角面，且所有三角面的合集是散點(diǎn)集V的凸包。

（2）Delaunay三角剖分的定義

在實(shí)際中運(yùn)用的最多的三角剖分是Delaunay三角剖分，它是一種特殊的三角剖分。先從Delaunay邊說起：

Delaunay邊：假設(shè)E中的一條邊e（兩個端點(diǎn)為a，b），e若滿足下列條件，則稱之為Delaunay邊：存在一個圓經(jīng)過a，b兩點(diǎn)，圓內(nèi)（注意是圓內(nèi)，圓上最多三點(diǎn)共圓）不含點(diǎn)集V中任何其他的點(diǎn)，這一特性又稱空圓特性。

Delaunay三角剖分：如果點(diǎn)集V的一個三角剖分T只包含Delaunay邊，那么該三角剖分稱為Delaunay三角剖分。

（3）三角剖分的特性

以下是三角剖分所具備的優(yōu)異特性：

1）最接近：以最近臨的三點(diǎn)形成三角形，且各線段（三角形的邊）皆不相交。

2）唯一性：不論從區(qū)域何處開始構(gòu)建，最終都將得到一致的結(jié)果。

3）最優(yōu)性：任意兩個相鄰三角形形成的凸四邊形的對角線如果可以互換的話，那么兩個三角形六個內(nèi)角中最小的角度不會變大。

4）最規(guī)則：如果將三角網(wǎng)中的每個三角形的最小角進(jìn)行升序排列，則三角網(wǎng)的排列得到的數(shù)值最大。

5）區(qū)域性：新增、刪除、移動某一個頂點(diǎn)時只會影響臨近的三角形。

6）具有凸多邊形的外殼：三角網(wǎng)最外層的邊界形成一個凸多邊形的外殼。

理論上為了構(gòu)造三角網(wǎng)，Lawson提出的局部優(yōu)化過程LOP（Local Optimization Procedure），一般三角網(wǎng)經(jīng)過LOP處理，即可確保成為三角網(wǎng)，其基本做法如下所示：

1）將兩個具有共同邊的三角形合成一個多邊形。

2）以最大空圓準(zhǔn)則作檢查，看其第四個頂點(diǎn)是否在三角形的外接圓之內(nèi)。

3）如果在，修正對角線即將對角線對調(diào)，即完成局部優(yōu)化過程的處理。

LOP處理過程如下圖所示：

上述基于散點(diǎn)的構(gòu)網(wǎng)算法理論嚴(yán)密、唯一性好，網(wǎng)格滿足空圓特性，較為理想。由其逐點(diǎn)插入的構(gòu)網(wǎng)過程可知，遇到非Delaunay邊時，通過刪除調(diào)整，可以構(gòu)造形成新的Delaunay邊。在完成構(gòu)網(wǎng)后，增加新點(diǎn)時，無需對所有的點(diǎn)進(jìn)行重新構(gòu)網(wǎng)，只需對新點(diǎn)的影響三角形范圍進(jìn)行局部聯(lián)網(wǎng)，且局部聯(lián)網(wǎng)的方法簡單易行。同樣，點(diǎn)的刪除、移動也可快速動態(tài)地進(jìn)行。但在實(shí)際應(yīng)用當(dāng)中，這種構(gòu)網(wǎng)算法當(dāng)點(diǎn)集較大時構(gòu)網(wǎng)速度也較慢，如果點(diǎn)集范圍是非凸區(qū)域或者存在內(nèi)環(huán)，則會產(chǎn)生非法三角形。

人臉模型采用預(yù)先設(shè)計好的三維點(diǎn)，實(shí)現(xiàn)一個簡單的人臉模型。共75個三維點(diǎn)。

2.3 紋理映射

在三維圖形中，紋理映射（Texture Mapping）的方法運(yùn)用得最廣，尤其描述具有真實(shí)感的物體。比如繪制一面磚墻，就可以使用一幅具有真實(shí)感的圖像或者照片作為紋理貼到一個矩形上，這樣，一面逼真的磚墻就畫好了。如果不用紋理映射的方法，這墻上的每一塊磚都要作為一個獨(dú)立的多邊形來繪制。另外，紋理映射能夠保證在變換多邊形時，多邊形上的紋理也會隨之變化。例如，用透視投影模式觀察墻面時，離視點(diǎn)遠(yuǎn)的墻壁的磚塊的尺寸就會縮小，而離視點(diǎn)近的就會大些，這些是符合視覺規(guī)律的。紋理對象通過一個單獨(dú)的數(shù)字來標(biāo)識。這允許OpenGL硬件能夠在內(nèi)存中保存多個紋理，而不是每次使用的時候再加載它們，從而減少了運(yùn)算量，提高了速度。

紋理映射是真實(shí)感圖像制作的一個重要部分，運(yùn)用它可以方便的制作出極具真實(shí)感的圖形而不必花過多時間來考慮物體的表面細(xì)節(jié)。與顯示列表一樣，紋理對象通過一個單獨(dú)的數(shù)字來標(biāo)識。這允許OpenGL硬件能夠在內(nèi)存中保存多個紋理，而不是每次使用的時候再加載它們，從而減少了運(yùn)算量，提高了速度。

2.4 人臉表情變化

在對基本表情的調(diào)節(jié)中，只需要調(diào)節(jié)基本變化數(shù)組（矩陣），基本的表情的參數(shù)預(yù)先已經(jīng)定義好，它們的初值都是0.0f ，這代表中性，也就是說開始的表情顯示為中性。表情的變化其實(shí)是實(shí)現(xiàn)每個三維點(diǎn)的微變，這些都是通過變化矩陣來實(shí)現(xiàn)的。三維點(diǎn)的微變導(dǎo)致整個三角網(wǎng)也要變化，三角索引變化直接影響紋理圖像的各個部位，通過調(diào)節(jié)眼睛、眉毛、還有嘴巴這些部位對應(yīng)的三維信息，就可以實(shí)現(xiàn)表情的變化。詳細(xì)的參數(shù)信息可以見InitVertexOrder（）這個函數(shù)中的初始化信息。如初始化中有：m_iFrom[1] = 0； m_iTo[1] = 11；表示的就是第一個三維點(diǎn)的位置偏移范圍從0到11，這樣整個三維點(diǎn)在空間中的位置就有了明顯的變化，可以實(shí)現(xiàn)表情的調(diào)節(jié)。如以下代碼：

glBegin（GL_LINES）；

glVertex3f（m_iX[m_iFrom[i]]，

m_iY[m_iFrom[i]]，

m_iZ[m_iFrom[i]]）；

glVertex3f（m_iX[m_iTo[i]]，

m_iY[m_iTo[i]]，

m_iZ[m_iTo[i]]）；

glEnd（）；

通過改變m_iFrom[i] 表示每個點(diǎn)對應(yīng)的三個坐標(biāo)的初始位置標(biāo)號，m_iTo[i]表示每個點(diǎn)三個坐標(biāo)的最終坐標(biāo)的標(biāo)號，在這個m_iFrom[i]到m_iTo[i]的過程，是一個位置變化的過程。其中g(shù)lBegin（GL_LINES）代表的是連接兩個點(diǎn)，即在視圖中看到的一條線，到glEnd（）表示劃線結(jié)束。

參考文獻(xiàn)：

[1]周維.漢語語音同步的真實(shí)感三維人臉動畫研究：學(xué)位論文，中國科學(xué)技術(shù)大學(xué)，模式識別與智能系統(tǒng)，2008