張子旋
(北京工業(yè)大學 計算機學院,北京 100124)
手機3D動畫基于事件的情節(jié)規(guī)劃①
張子旋
(北京工業(yè)大學 計算機學院,北京 100124)
情節(jié)規(guī)劃是手機3D動畫自動生成系統(tǒng)中至關(guān)重要的一部分,對于呈現(xiàn)出來的動畫有著重要的指導作用.采用語義網(wǎng)技術(shù),通過建立事件本體庫,根據(jù)信息抽取中的關(guān)鍵信息,將難以表現(xiàn)的事件通過一系列具體的動作進行表示,從而能夠表達出一個完整的動畫內(nèi)容,不僅僅使得動畫具有一定情節(jié)內(nèi)容,而且使生成的動畫效果更加豐富.
動畫自動生成;情節(jié)規(guī)劃;語義網(wǎng);事件;本體庫
全過程計算機輔助動畫自動生成技術(shù)是20世紀90年代由中國科學院數(shù)學所陸汝鈐院士提出的[1-2],它以人工智能技術(shù)為基礎(chǔ),結(jié)合計算機圖形學和電影藝術(shù)來完成動畫的制作.此技術(shù)是將適當?shù)墓适乱允芟薜淖匀徽Z言方式輸入到計算機中,經(jīng)過故事理解、動畫定性規(guī)劃、導演規(guī)劃、攝影規(guī)劃、動畫定量規(guī)劃直到動畫的最終生成,過程中的每一步都是在計算機輔助下完成的.動畫自動生成技術(shù)是人工智能領(lǐng)域一個嶄新的研究方向,在動畫、游戲等領(lǐng)域具有很大的應(yīng)用潛力.手機3D動畫自動生成系統(tǒng)是由中科院張松懋研究員審視了當前手機短信和通信技術(shù)的發(fā)展現(xiàn)狀提出將動畫自動生成技術(shù)應(yīng)用到手機短信中的一個應(yīng)用,該系統(tǒng)將發(fā)送的短信內(nèi)容經(jīng)過計算機分析處理后生成與之對應(yīng)的3D動畫并發(fā)送給接收方.這個過程主要分為四部分,如圖1所示.
圖1 手機短信動畫自動生成系統(tǒng)流程圖
情節(jié)規(guī)劃是動畫自動生成系統(tǒng)中的重要組成部分,因為在一部動畫中劇情的發(fā)展牽動著觀眾的心,劇情中的情節(jié)是最重要的一部分[3].情節(jié)是敘事類作品中基本要素之一,指敘事作品中表現(xiàn)人物之間相互關(guān)系的一系列生活事件的發(fā)展過程.它是由一系列展示人物性格、表現(xiàn)人物與人物、人物與環(huán)境之間相互關(guān)系的具體事件構(gòu)成,合理的情節(jié)是一部作品成功的基礎(chǔ),為動畫設(shè)計一個比較合理的情節(jié),會使得動畫內(nèi)容更加豐富,畫面更具有想象力,這樣才能給觀眾留下比較深刻的印象,所以,情節(jié)的設(shè)計會影響著整個動畫效果.因此,情節(jié)規(guī)劃是動畫自動生成系統(tǒng)中的重要組成部分,它的主要任務(wù)就是將無法表現(xiàn)的事件展開成 一系列具體的動作,使得能夠完整的描述一個故事內(nèi)容.到目前為止,情節(jié)規(guī)劃主要采用兩種方法[4]:
第一種方法是以故事為中心的方法.通過對作者的創(chuàng)作過程進行建模,定義故事的情節(jié)表達片段,構(gòu)造常識知識庫,由作者的意圖來決定故事人物的動作和故事發(fā)展的最終結(jié)果.
第二種方法是以人物為中心的方法.它采用了智能主體理論,用多主體系統(tǒng)對故事中的人物進行建模,利用主體交互的機制,自動生成故事內(nèi)容.主體為了達到預定的目標,對所處的環(huán)境做出反應(yīng),并與其它主體進行交互.
現(xiàn)有的情節(jié)規(guī)劃方法主要用于故事生成中,它根據(jù)已有的故事內(nèi)容進行情節(jié)安排,使得最終展示的故事或者動畫能夠符合人物的需求.Pablo GervAas和Bel'en Diaz-Agud等人研究出了自動生成故事系統(tǒng)[5],該系統(tǒng)是在Ontology中構(gòu)建已有的故事腳本,依據(jù)用戶給定的問題通過基于事例推理的方法在知識網(wǎng)絡(luò)中獲得基本的情節(jié)結(jié)構(gòu),并通過自然語言方式將產(chǎn)生的新的情節(jié)內(nèi)容表達出來.Yunju Shim和Minkoo kim提出基于自動Agents的短故事生成技術(shù)[6],為角色Agent設(shè)定了三個不同的層次目標——觀察者目標、情節(jié)目標和特征目標.觀察者目標表示的是情緒狀態(tài),特征目標表示的是角色的生理或者心理狀態(tài),所有的角色Agents根據(jù)情緒和性格選擇匹配的動作,將選擇的動作按照順序排列生成連續(xù)的情節(jié)故事.英國Teesside University的 Marc C-avazza領(lǐng)導開發(fā)的 Interactive Storytelling系統(tǒng)[7]是根據(jù)美國電視劇《Friends》中“Ross請Rachel出去吃飯”內(nèi)容定義故事主線,并且包含四個故事人物的行為規(guī)劃,以此來控制人物的自動交互,人物的行為規(guī)劃是事先使用與或圖的方法定義的,故事生成的過程就是在與或圖上搜索一條能使人物目標實現(xiàn)的路徑,同時用戶可以隨時與系統(tǒng)進行交互指導故事的發(fā)展.
在動畫自動生成系統(tǒng)中,我們延續(xù)了一直使用的語義網(wǎng)技術(shù),它為我們提供了良好的知識表示和推理機制,不但能夠理解詞語和概念,而且還能夠理解它們之間的邏輯關(guān)系,它的實現(xiàn)是基于XML語言、資源描述框架(RDF)和本體(Ontology)等諸多元素來完成,其中本體作為一種能在知識層提供知識共享和重用的工具在語義網(wǎng)中起著關(guān)鍵的作用[8].本體的理論研究包括概念和概念的分類,通過對概念的嚴格定義和概念之間的關(guān)系來確定概念的精確含義,用來表示共同認可的、可共享的知識,是當前人工智能領(lǐng)域使用較為廣泛的一門語義網(wǎng)技術(shù).
在手機3D動畫自動生成系統(tǒng)中,生成的動畫人物動作單一,動作與場景模型、動作所要表現(xiàn)的事件與場景關(guān)聯(lián)性差,導致動畫情節(jié)表現(xiàn)不明確,無法將短信信息準確地表示出來,使得生成的動畫情節(jié)枯燥乏味[9-11].本文提出了基于事件的情節(jié)規(guī)劃,該方法的實現(xiàn)會使得生成的動畫中人物的動作不再僅僅局限于一個動作,通過連續(xù)的動作片段來展現(xiàn)不同的事件,使其能夠滿足短信中的主題內(nèi)容,并且會使生成的動畫效果更加豐富.
基于事件的情節(jié)規(guī)劃是以語義網(wǎng)技術(shù)為指導,通過建立事件本體庫和動作本體庫作為情節(jié)規(guī)劃的基礎(chǔ),不同事件的組合,不同動作的搭配,展現(xiàn)出不一樣的情節(jié),使得動畫內(nèi)容更加地符合短信文本.
情節(jié)規(guī)劃主要工作是以信息抽取的結(jié)果為輸入,以現(xiàn)有的本體庫為基礎(chǔ),通過對主題、模板原子進行分析,從知識庫中選擇與之對應(yīng)的場景和模型,使得最終生成的動畫內(nèi)容符合短信信息.
眾所周知,短信內(nèi)容的主要特點就是短小精悍、包羅萬象,發(fā)送的內(nèi)容往往在敘事,而情節(jié)在敘事性作品中是一個關(guān)鍵的部分.所謂情節(jié)就是指有因果關(guān)系所串聯(lián)并推動、由角色發(fā)出的行動所組成的事件或故事的節(jié)點,是一個時間范疇[12],因此可以說明多個事件組合可以構(gòu)成一個情節(jié),而動作是事件節(jié)點不可拆分的原子節(jié)點,任何事件只有通過動作的展現(xiàn)才能表現(xiàn)出它特有的意義.因此,我們將按照“情節(jié)-事件-動作”關(guān)聯(lián)關(guān)系來規(guī)劃短信情節(jié).
在手機3D動畫自動生成系統(tǒng)的情節(jié)規(guī)劃過程中,需要動作庫和事件庫來做支撐,根據(jù)信息抽取的結(jié)果和已有的事件本體庫和動作本體庫來選擇情節(jié),所選擇的情節(jié)必須最大程度上滿足短信所要表達的內(nèi)容,包括人物、動作、情緒等.在本體庫中事件之間的通過不同的對象屬性進行關(guān)聯(lián),從而能夠形成一個比較完整的事件鏈,通過不同的事件組合,并且每個動作類有多個候選者,從而使得最終組合的情節(jié)多種多樣.
情節(jié)的多樣性體現(xiàn)在:
(1)一個主題可以對應(yīng)多個事件,而一個事件同樣可以對應(yīng)多個主題.例如:當主題為“打球”時,它對應(yīng)的事件可以有“打籃球”、“打棒球”、“打網(wǎng)球”等,那“打籃球”這個事件不僅可以表現(xiàn)“打球”的主題,還可以表現(xiàn)“高興”或者“傷心”的主題;
(2)一個事件可以有多個動作來表現(xiàn).例如:“高興”的事件可以用一個大笑的動作來表示,此外,我們還可以用跳躍的動作來展現(xiàn);
(3)一個動作類是由不同的具體動作集合而成.例如:“吃飯”事件類可以由“吃漢堡”或者“喝湯”的具體動作組成;
(4)不同的事件組合可以構(gòu)成不同的情節(jié).
基于事件的情節(jié)規(guī)劃是以本體庫為基礎(chǔ)來支持整個規(guī)劃過程,需要建立事件本體庫,而事件與動作是緊密相關(guān)的,因此動作本體庫同樣是必不可少的.接下來從事件本體庫和動作本體庫兩個方面介紹情節(jié)規(guī)劃本體庫的.
2.1 事件本體庫設(shè)計
事件(Event)是在特定時間和環(huán)境下發(fā)生的、由若干角色參與的、表現(xiàn)出一些動作特征的一件事情,在形式上用一個六元組表示,E={O,A,T,V,P,L},事件六元組中的元素稱為事件要素,分別表示對象、動作、時間、環(huán)境、斷言和語言表現(xiàn).其中,動作要素是最重要的要素,它描述了事件變化過程及其特征.
在現(xiàn)實世界中,每一個事件都不是孤立存在的,把具有相同特征的事件集合統(tǒng)稱為事件類.一個事件的發(fā)生都或多或少引發(fā)另一個事件的發(fā)生,它們之間是緊密聯(lián)系的,那么事件關(guān)系主要分為:組合關(guān)系、因果關(guān)系、跟隨關(guān)系、并列關(guān)系、條件關(guān)系、條件關(guān)系[13].
2.2 事件本體庫
事件本體庫是以動作庫為基礎(chǔ),根據(jù)已有的動作劃分不同的事件類,并在本體庫中建立相應(yīng)的事件類.比如:當前動作庫中制作走的動作時都賦予了它一定的感情,高興地走不僅能表示走這個事件,而且還能表示高興這個情緒事件.對于高興事件,不僅可以通過高興地走這個運動的動作來表示,還可以通過靜止的動作來表示,比如:大笑的動作,因此,我們可以將情緒類事件—MoodEvent分為DynamicMoodEvent和StaticMoodEvent.圖2展示了事件本體庫的具體內(nèi)容.
圖2 事件本體庫
在事件本體庫中類與類之間的關(guān)系主要包括:
(1)事件與主題之間的關(guān)系:通過對象屬性hasSuitTopic把事件與主題進行關(guān)聯(lián),表明事件能夠表達的主題;
(2)事件與模板之間的關(guān)系:通過對象屬性hasSuitTemplate把事件與模板進行管理,通過事件來表現(xiàn)信息抽取到的模板信息;
(3)事件與動作之間的關(guān)系:通過對象屬性hasSuitAction進行關(guān)聯(lián),表示事件發(fā)生時人物所要執(zhí)行的動作;
(4)事件與事件之間的關(guān)系:①hasPreEvent:事件的前驅(qū)事件;②hasNextEvent:事件的后繼事件;③hasResult:事件的結(jié)果,即事件發(fā)生后給人物帶來的情感反應(yīng);④hasEffect:事件的原因,主要用來表示情緒事件的原因;
(5)事件與參照物之間的關(guān)系:通過對象屬性hasReference進行關(guān)聯(lián);
(6)人物與參照物的距離關(guān)系:通過對象屬性hasDistence進行關(guān)聯(lián),表示人物執(zhí)行動作時與參照物之間的距離.
圖3展示的是“吃飯”事件的類定義和類與類之間的關(guān)系.“吃飯”事件的前驅(qū)事件是“走”,它的結(jié)果是情緒事件,比如:“哭”,能夠表現(xiàn)“吃飯”的動作是“吃”和“喝”,適合的主題是“吃飯”(EatingActionTopic),適合的模板是“日常吃飯”的模板.在具體的實例中定義了人物執(zhí)行吃飯動作時的參照物及其距離,它的參照物是桌子,距離為Near,表示人物吃飯的時候應(yīng)該站在桌子旁邊,如圖4所示.
圖3 事件本體庫類定義
圖4 事件本體庫實例定義
圖5 運動類動作層級關(guān)系
2.3 動作本體庫
動作庫是情節(jié)規(guī)劃的基礎(chǔ)本體庫,根據(jù)動作類型的不同,將動作分為了四類,分別是:動物模仿類、日常動作類、情緒類、運動類.
圖5展示的是運動類動作的類及其層級關(guān)系,運動類動作主要包括打籃球、踢足球、跳躍、跳舞、健身、沖浪等動作,這些動作需要與相應(yīng)的模型進行交互,比如:打籃球的動作需要有籃球,沖浪的動作需要有滑板,如果沒有交互物體的存在會使得人物執(zhí)行動作時顯得不真實.
2.4 事件本體庫和動作庫的聯(lián)系
構(gòu)建本體庫的目的是為了實現(xiàn)某種程度的知識共享和重用,它既統(tǒng)一了術(shù)語和概念,同時避免了重復的領(lǐng)域知識.我們的本體庫采用的是sumo上層本體,它是由多個領(lǐng)域本體組合而成,實現(xiàn)了數(shù)據(jù)的互操作、信息檢索、自動推理和自然語言處理,概念完全公理化,與wordnet簡歷映射關(guān)系.
事件本體庫和動作本體庫都是在sumo上層本體基礎(chǔ)上建立的,由于sumo已經(jīng)包含了各領(lǐng)域高度抽象的概念,所以只需在sumo上進行擴充和精煉.
首先,根據(jù)上文提到的事件分類規(guī)則和動作分類規(guī)則建立事件類和動作類,以及各自的子孫類.比如: Event是事件類的根節(jié)點,EatingEvent是其子節(jié)點.
然后,建立對象屬性.通過構(gòu)建對象屬性來描述不同類之間的關(guān)系,對象屬性也描述類實例的內(nèi)部屬性或自身性質(zhì),在創(chuàng)建對象屬性時要指定其的定義域和值域,約束它可控的范圍.事件庫和本體庫之間的溝通橋梁就是通過對象屬性來連接的.hasSuitAction將事件類和動作類聯(lián)系到一起,其定義域為Event,值域為Action.
在圖3事件本體庫類定義中,EatingEventí?hasSuitAction(EatAction or DrinkAction),在類定義中定義的公理屬于宏觀定義,限定了吃飯事件動作范圍,而并沒有指定到底是使用哪一個動作,具體動作則需要在實例中定義.但是最終選定的具體動作是根據(jù)信息抽取結(jié)果的信息來選定的,從宏觀公理中得到動作的存儲位置,為其動態(tài)地安排具體動作.在圖4事件實例定義中,并沒有將為吃飯的實例約束具體動作,否則,生成的動畫情節(jié)就顯得單調(diào),無法體現(xiàn)出多樣的情節(jié)特性.
我們以短信為“我餓了,去吃飯吧”為例,詳細介紹圖6展示的情節(jié)規(guī)劃流程圖.將短信輸入到系統(tǒng)中,得到如圖7所示的信息抽取結(jié)果.
圖6 情節(jié)規(guī)劃流程圖
由信息抽取的結(jié)果可知短信的主題為“吃飯”,由主題可以明確動畫的主要內(nèi)容,根據(jù)主題從事件本體庫中選擇與之對應(yīng)的情節(jié)表達,吃飯的主題需要有吃飯的動作來表現(xiàn),所以選擇吃飯的事件,當主要事件選定后,選擇輔助事件.輔助事件的確定是根據(jù)信息抽取結(jié)果中的信息來進行選擇,如果信息抽取結(jié)果中能夠抽到輔助動作,同時動作符合事件-動作的關(guān)系定義,我們即可選定該事件動作,否則,根據(jù)事件-事件的關(guān)系定義來選擇與主要事件相關(guān)的輔助事件.信息抽取結(jié)果中包含了動作—“走:去”,動作庫中存在與“走”對應(yīng)的動作,同時“吃飯”事件定義處存在與“走”相對應(yīng)的關(guān)系,所以將動作“走:去”作為吃飯事件的前驅(qū)事件,通過兩個事件的組合即可作為一個動畫情節(jié)來展現(xiàn).情節(jié)明確后,就可以根據(jù)本體庫中事件與動作之間的關(guān)系來選擇最終的原子動作.
圖7 信息抽取結(jié)果
當主要事件確定后,選擇的輔助事件可以是多樣的,不同的關(guān)系定義可以確定不一樣的情節(jié).根據(jù)圖3事件本體庫的定義,對于“吃飯”事件,我們可以看到還有RunEvent、PhoneEvent、WaitEvent等與之關(guān)聯(lián),從中可以隨機選擇一個或者多個與主事件進行組合,使其能夠表現(xiàn)出一個連貫并且合理的情節(jié),根據(jù)既定的事件組合,選擇與之匹配的動作,一個事件可能對應(yīng)多個動作,通過不同的組合,不同的動作展示,我們可以呈現(xiàn)出不一樣的動畫情節(jié).
圖8 情節(jié)規(guī)劃輸出結(jié)果
圖8 是根據(jù)圖7信息抽取結(jié)果得到的情節(jié)規(guī)劃結(jié)果,場景中添加了人物—M_boy.ma和參照物—M_night_table.ma,為人物添加的動作是“走”+“吃飯”,“走”表示人物到桌子前的一個行為方式,“吃飯”是主要的動作.
圖9 動畫片段
圖9展示的是“我餓了,去吃飯吧”這條短信的動畫片段.對于主題為“吃飯”的短信,為人物添加情緒來展現(xiàn)人物對食物的態(tài)度,由人物的情緒推動動畫情節(jié)的發(fā)展,使得產(chǎn)生的動畫更加生動.比如:為人物添加一個“高興”的情緒作為“吃飯”這個動作的后繼事件,表示人物對剛才所吃的食物的一個態(tài)度,“高興”可以表明剛才的食物很好吃或者吃飽了露出了高興的笑容.情緒動作不僅僅可以添加到主要人物身上,還可以通過為旁觀者添加情緒動作,從另一個角度來評價吃飯動作的表現(xiàn)力,可以理解為旁觀者對主要人物吃飯這件事件是比較贊同的,持有一種欣慰的態(tài)度.通過不同人物的展示,動畫呈現(xiàn)出的效果不同.
圖10 情節(jié)規(guī)劃輸出結(jié)果
從圖10結(jié)果中可以看到場景中添加了人物—M_girl.ma和參照物M_table.ma,為人物添加的動作是“吃飯”動作和情緒動作“高興地笑”,通過情緒動作反應(yīng)人物對剛才吃飯的過程或者是食物的感受.圖11是根據(jù)圖10的情節(jié)規(guī)劃結(jié)果生成的動畫片段.
圖11 動畫片段
人物的情緒表現(xiàn)方式有兩種,第一種是通過人物的某一動作來展現(xiàn),第二種是通過人物臉部表情來表現(xiàn).第一種情況通過人物動作來表現(xiàn),就比如“走”這個動作,可以是高興地走、傷心地走、害怕地走等,此時,“走”這個動作不單單只是一種行為動作,它還可以表現(xiàn)出人物的某一種情緒.第二種通過人物表情來展現(xiàn)人物情緒,人物的面部表情是最能夠表現(xiàn)出人物內(nèi)心感受的,比如吃飯這個主題,開始的時候小女孩吃的非常開心,臉上一直露出笑容,但是過了一會兒,可能由于想家或者其他原因小女孩的臉上出現(xiàn)了傷心的表情,直到后來大哭起來,通過表情的轉(zhuǎn)換,和一些未知的表情改變的原因會使得觀眾能夠身臨其境地去感受動畫帶給自己的感受.圖12展示的是通過表情變化生成的情節(jié)動畫.
圖12 動畫片段
基于事件的情節(jié)規(guī)劃是手機3D動畫自動生成系統(tǒng)中的重要部分,影響著動畫質(zhì)量的好壞.當前系統(tǒng)已實現(xiàn)了基本功能,正處于短信測試階段,根據(jù)短信測試結(jié)果不斷修正系統(tǒng)內(nèi)容.系統(tǒng)按照情節(jié)規(guī)劃的流程進行規(guī)劃,對于不同的短信,情節(jié)規(guī)劃的結(jié)果將以一個腳本語言呈現(xiàn)出來,基于事件的情節(jié)規(guī)劃的腳本主要包含動作ID、動作名字、人物、參照物、是否有交互物等.
為了驗證基于事件的情節(jié)規(guī)劃方法在手機3D動畫自動生成系統(tǒng)中的有效性,本次實驗針對短信內(nèi)容為“打籃球是一個很好的運動”連續(xù)測試了50條,其中,經(jīng)過系統(tǒng)整體流程生成的動畫的短信數(shù)目為50條,由于場景中沒有人物無法添加相應(yīng)的動作導致無情節(jié)內(nèi)容的動畫有5條,剩余的45條短信中生成的動畫具有一定的情節(jié),45個動畫中共包含了6種不同的情節(jié),28中不同的動作組合.對于短信生成的動畫是否與短信內(nèi)容相符合,動畫內(nèi)容是否具有一定的情節(jié),這個問題具有很強的主觀性,本文采取多人驗證方式,邀請2名課題組成員和3個課題組外的同學對這一條短信生成的45個動畫進行測評,共收到了225條測評結(jié)果,情節(jié)統(tǒng)計結(jié)果如表1所示.
表1 情節(jié)測評結(jié)果表
由表1可以得到,認為動畫內(nèi)容具有一定的情節(jié),并且能夠良好的展現(xiàn)出短信內(nèi)容的票數(shù)共有150票,占總票數(shù)的66.7%,雖然概率值有點偏低,但超過了一半的概率,可以說明本文所采用的基于事件的情節(jié)規(guī)劃方法能夠良好制作出符合短信內(nèi)容的情節(jié)并且生成的動畫能夠得到人們的肯定,說明基于事件的情節(jié)規(guī)劃方法能夠有效地使用在手機3D動畫自動生成系統(tǒng)中.圖13展示的是系統(tǒng)測試短信“打籃球是一個很好的運動”生成的兩組動畫片段.第一組動畫的情節(jié)是由“走”事件和“打籃球”事件組合到一起的,第二組動畫的情節(jié)是由“打籃球”事件和“高興”事件組合在一起,通過不同事件組合來展現(xiàn)不一樣的動畫情節(jié).
為了證明基于事件的情節(jié)規(guī)劃方法能夠普遍適應(yīng)動畫系統(tǒng)所測試的短信,現(xiàn)統(tǒng)計了從2016年5月到2016年8月系統(tǒng)所測試的短信共526條短信,其中能夠應(yīng)用基于事件的情節(jié)規(guī)劃方法的短信共有268條,剩余沒有使用該方法是因為:場景無法添加人物或者信息抽取結(jié)果沒有匹配到對應(yīng)的事件.針對應(yīng)用該方法的268條短信請5名同學進行測評,如果3名或以上的人認為動畫情節(jié)能夠表現(xiàn)短信內(nèi)容,則認為該方法能夠適應(yīng)動畫測試短信.測評結(jié)果如表2所示.
表2 短信測評表
從表2可以得到,該方法能夠普遍適用于該系統(tǒng)的比例是77.61%,可以說明基于事件的情節(jié)規(guī)劃方法在一定程度上能普遍適用于動畫系統(tǒng),并且能夠表達出完整的動畫情節(jié).
手機3D動畫自動生成系統(tǒng)是面向開放的中文短信,短信的內(nèi)容千變?nèi)f化,涉及到了領(lǐng)域非常廣闊,當前的人工智能技術(shù)在機器學習和數(shù)據(jù)挖掘等方面應(yīng)用的十分廣泛,對于常識知識的獲取和分析是其所不擅長的,處理效率非常低.同時,一部良好的動畫往往是具有一個比較完整的故事,并且動畫故事戲劇性效果能夠吸引著受眾主體,人工智能技術(shù)對于動畫故事內(nèi)容的呈現(xiàn)和動畫戲劇性的表現(xiàn)是非常欠缺的.
為了使得手機3D動畫自動生成系統(tǒng)產(chǎn)生的動畫能夠具有一個良好的故事情節(jié)和戲劇性表現(xiàn),本文提出了基于事件的情節(jié)規(guī)劃方法,嘗試從事件入手,從“情節(jié)-事件-動作”三個方面來進行規(guī)劃,以語義網(wǎng)知識為基礎(chǔ)構(gòu)建事件本體庫,通過不同關(guān)系的事件組合來構(gòu)建多樣的情節(jié),根據(jù)短信抽取結(jié)果中的主題選擇與之對應(yīng)的主題,產(chǎn)生的情節(jié)不再局限于一個動作,通過多個動作串聯(lián)執(zhí)行使得呈現(xiàn)出的動畫內(nèi)容更加合理,畫面更加豐富,通過不同的情緒表現(xiàn),也會使得動畫呈現(xiàn)的效果不同,能夠從多個層面來反映動畫內(nèi)容,從生成的動畫效果來看,能夠使得動畫內(nèi)容比較豐富.
但是,當前的本體庫是依托于課題組人員的基本常識建立,對開放型的中文短信來說覆蓋率比較低,所以接下來的工作需要進一步擴充事件本體庫,不僅要增加事件概念的定義,還要擴充概念與概念之間的關(guān)聯(lián)關(guān)系,這就需要使用機器學習和統(tǒng)計學的方法來獲取事件和事件與事件之間的關(guān)系,提高事件本體庫的覆蓋率,使生成的動畫情節(jié)更加完善,更加多樣.
1 Lu RQ,Zhang SM,Wei ZC.Generation computer from natural language stories.Proc.of Pacific Asian Conference on Expert Systems.LosAngeles,USA.1999.
2陸汝鈐,張松懋.從故事到動畫片從故事到動畫片—全過程計算機輔助動畫自動生成.自動化學報,2002,28(15):321–348.
3諸峰,曹存根.敘事生成方法研究綜述.中文信息學報,2013, 27(3):33–40.
4王海濤,岳小莉.敘事與動畫自動生成技術(shù)研究.信息技術(shù)快報,2006,4(5):5–15.
5 Gervás P,Díaz-Agudo B,Peinado F,Hervás R.Story plot generation based on CBR.Knowledage-Baed Systems,2005, 18(4-5):235–242.
6 Shim Y,Kim M.Automatic short story generator based on autonomous agents.Pacific Rim International Workshop on Multi-Agents.Springer Berlin Heidelberg.2002.151–162.
7 Cavazza M,Charles F,Mead SJ.Character-based interactive storytelling.IEEE Intelligent Systems and Their Applications, 2002,17(4):17–24.
8 Lee B,Hendler T,Lassila J.The semantic Web.Scientific American,2001,284(5):34–45.
9張岳.面向中文短信的三維動畫情節(jié)規(guī)劃.計算機工程與應(yīng)用,2012,48(10):187–193.
10聶俊蓮.基于語義網(wǎng)的手機短信3D動畫情節(jié)規(guī)劃[碩士學位論文].北京:北京工業(yè)大學,2012.
11王金娟.基于本體的手機3D動畫情節(jié)自動生成[碩士學位論文].北京:北京工業(yè)大學,2015.
12馮雪勤,王晶.“動作—情節(jié)”:動畫劇本創(chuàng)作的核心要素.“思想的旅行:從文本到圖像,從圖像到文本”國際學術(shù)研討會,2013:28–30.
13張旭潔,劉宗田,劉煒,等.事件與事件本體模型研究綜述.計算機工程,2013,(9):303–307.
Plot Planning of 3DAnimation Based on Event
ZHANG Zi-Xuan
(Computer College,Beijing University of Technology,Beijing 100124,China)
Plot plan is a vital part of 3D mobile phone animation automatic generation system,and plays an important guiding role for the presentation of the animation.In this paper,we apply the Semantic Web technologies to build event ontology.Based on the key information extraction,the events which are hard to be expressed can be represented through a series of specific actions.It is possible to express a complete animation content,so that not only makes the animation with certain scenarios,but also creates a richer animation effects.
animation automatic generation;plot planning;semantic Web technologies;event;ontology
2016-08-28;收到修改稿時間:2016-10-19
10.15888/j.cnki.csa.005781