基于動作捕捉技術的梨園戲虛擬現(xiàn)實數(shù)字化保護

王鴻偉,劉清彬 ,謝叻,3,陳明玉,吳伊萍

(1.泉州師范學院 數(shù)學與計算機科學學院，福建 泉州 362000；2.福建省大數(shù)據(jù)管理新技術與知識工程重點實驗室，福建 泉州 362000；3.上海交通大學 國家數(shù)字化制造技術中心，上海 200030)

泉州梨園戲始于宋元，興盛于明清，是我國宋元南戲的遺存劇種，被戲曲藝術界稱為“古南戲的活化石”.梨園戲發(fā)源于泉州，是泉州特有的劇種，是閩南語系區(qū)域的一種泉腔古南戲，并跨海傳播到臺灣、琉球地區(qū)，南達東南亞華僑聚居地.泉州梨園戲的發(fā)展歷史悠久，明代初期梨園戲的頂峰之作《陳三五娘》(即《荔鏡記》)的重刊本就早于昆曲的第一個劇本《浣紗記》[1].泉州梨園戲于2002年作為我國“口頭和非物質文化遺產(chǎn)”的典型代表，被亞太文化中心列入民間表演藝術數(shù)據(jù)庫[1].它也是2006年5月國務院公布的第一批國家級非物質文化遺產(chǎn)名錄中的項目之一[2].本研究運用慣性動作捕捉技術獲取梨園戲老藝人表演數(shù)據(jù)，將梨園戲表演在Unity平臺上還原成虛擬現(xiàn)實動漫，并在HTC VIVE平臺上實現(xiàn)沉浸式瀏覽.

1 非物質文化遺產(chǎn)的數(shù)字化保護

1.1 非物質文化遺產(chǎn)的界定和分類

非物質文化遺產(chǎn)的定義還未形成共識性的固定版本，目前更多的是引用聯(lián)合國教科文組織“保護非物質文化遺產(chǎn)公約”中的定義[3].文[3]將聯(lián)合國教科文組織“保護非物質文化遺產(chǎn)公約”中關于非物質文化遺產(chǎn)的解釋為：“被各社區(qū),群體,有時為個人,視為其文化遺產(chǎn)組成部分的各種社會實踐、觀念表述、表現(xiàn)形式、知識、技能及相關的工具、實物、手工藝品和文化場所”，并將非遺分為5類,分別是:口頭傳統(tǒng)和表現(xiàn)形式,表演藝術,社會實踐、儀式、節(jié)日活動,有關自然界和宇宙的知識和實踐,傳統(tǒng)手工藝.文[3-4]提出了對非物質文化遺產(chǎn)按“動態(tài)藝術”(口頭傳統(tǒng)與表演藝術)、靜態(tài)藝術(工藝，技術)以及“時空藝術”(節(jié)慶儀式)的分類方法.

1.2 國外非物質文化遺產(chǎn)數(shù)字化保護現(xiàn)狀

1992年，為了便于永久性地保存和最大限度地為公眾公平地享有文化遺產(chǎn)，聯(lián)合國教科文組織(UNESCO)開始推動“世界的記憶”(Memory of the World)項目，在世界范圍內推動文化遺產(chǎn)數(shù)字化[3-5].歐美發(fā)達國家的非物質文化遺產(chǎn)數(shù)字化保護開始時間比較早，一開始主要是從各個博物館的館藏非物質文化遺產(chǎn)資源的數(shù)字化開發(fā)利用著手.早期的非物質文化遺產(chǎn)保護，更多的是基于文獻、音樂、圖像等的數(shù)字化采集[3].隨著新技術的不斷涌現(xiàn)，也出現(xiàn)了更多新的非物質文化遺產(chǎn)保護的案例.文[6]中利用動作捕捉技術和三維重建技術來保護日本傳統(tǒng)的戲劇.文[7]通過建立標準的泰式舞蹈動作數(shù)據(jù)庫，并使用Kinect動作傳感器來幫助用戶判斷其舞蹈動作的準確性和連貫性，對泰式舞蹈的傳承提供新的方法和手段.

1.3 國內非物質文化遺產(chǎn)數(shù)字化保護現(xiàn)狀

我國1996年啟動的國家數(shù)字圖書館工程，開始了文化資源的數(shù)字化進程.浙江大學CAD&CG國家重點實驗室，從1997年就開始進行敦煌藝術的數(shù)字化保護技術[8].

隨著技術的不斷迭代和發(fā)展，特別是動作捕捉技術的發(fā)展，該技術在表演藝術類的非物質文化遺產(chǎn)保護上發(fā)揮越來越重要的作用.

基于動作捕捉技術，已有學者嘗試將該技術應用于非物質文化遺產(chǎn)的數(shù)字化保護中.如，邵未等[9]于2003年該技術應用于編鐘樂舞數(shù)字化研究；吳志峰等[10]于2009年將該技術應用于傳統(tǒng)木偶戲的數(shù)字化研究；蔡群等[11]于2009年展開對貴州少數(shù)民族舞蹈數(shù)字化保護的研究；呂德生等[12]于2011年對祭孔儀式展開復原和研究；王廣軍等[13]于2016年開展黃梅戲動作數(shù)字化保護研究；朱宇翔[14]于2018年開展土家族擺手舞的數(shù)字化保護研究；王濤等[15]于2018年進行云南民俗舞蹈類非物質文化遺產(chǎn)的保護研究.

2 動作捕捉技術

動作捕捉技術是一種在時域上跟蹤一些關鍵點的運動來記錄生物運動，然后將其轉化為可用的數(shù)學表達并合稱一個單獨的3D運動的過程[16].

按照動作捕捉技術的工作原理，可以將動作捕捉技術分為：機械式動作捕捉、電磁式動作捕捉、聲學式動作捕捉、光學式動作捕捉、基于視頻的動作捕捉和慣性動作捕捉等類型[16-17].文[16-17]總結了國內外動作捕捉技術在多個領域的研究，這些研究多數(shù)使用光學式動作捕捉方式.但光學式動作捕捉存在設備價格昂貴、對場地要求較高、系統(tǒng)安裝繁瑣、后期處理工作量大的問題[16].慣性動作捕捉系統(tǒng)使用慣性傳感器，一般使用穿戴式的方式，在人體的頭部、軀干的主要關節(jié)、手部等位置配置相應的傳感器，并通過無線技術實時獲取各個關節(jié)的運動數(shù)據(jù)并保存到電腦中，從而記錄整個人體的運動過程.

隨著技術的成熟，特別是價格的下降，慣性動作捕捉系統(tǒng)逐漸被采用.文[13-15]在其研究過程中所采用的就是慣性動作捕捉方式.由于慣性動作捕捉系統(tǒng)采用的是可穿戴式慣性傳感器，并且支持無線連接.不用搭建特定的場景、又可以避免光學式動作捕捉設備存在的演員自身動作的自遮擋，而造成的動作捕捉不準確的問題.

為了獲得更好的動作捕捉數(shù)據(jù)，在準備階段選擇合適的場地并對動作捕捉設備進行調試.在獲取動作捕捉數(shù)據(jù)階段：先讓老藝人穿戴動作捕捉設備并將其表演動作轉化為數(shù)字化的動作捕捉數(shù)據(jù)，然后再對于獲得的原始數(shù)據(jù)要進行必要的后期優(yōu)化和調整；在虛擬現(xiàn)實還原階段：將動作捕捉數(shù)據(jù)與三維人物模型進行結合，并配合上具有閩南特色的三維建筑模型，最終在Unity平臺上實現(xiàn)梨園戲表演的三維再現(xiàn).在配合使用HTC Vive虛擬現(xiàn)實頭盔后，實現(xiàn)對梨園戲表演的虛擬現(xiàn)實沉浸式瀏覽.具體的技術路線如圖1所示.

3 梨園戲動作捕捉數(shù)據(jù)獲取過程

本研究所使用的慣性動作捕捉設備，最多可以同時采集32個節(jié)點的數(shù)據(jù)，節(jié)點數(shù)量可以自由搭配.除了能夠采集到人體頭部、軀干和四肢的動作數(shù)據(jù)外，還可以搭配數(shù)據(jù)手套采集到手指數(shù)據(jù).整套慣性動作捕捉設備的穿戴效果，如圖2所示.

3.1 動作捕捉數(shù)據(jù)的獲取

(1)讓老藝人穿戴好慣性動作捕捉設備，通過調整節(jié)點的位置、松緊帶的貼合度，保證所要采集的關節(jié)點都有穿戴上對應的傳感器節(jié)點；(2)將傳感器之間通過專用數(shù)據(jù)線連接，將數(shù)據(jù)線連接到Hub上；(3)調試各個傳感器節(jié)點使其能正常工作，并啟動無線數(shù)據(jù)接收模式；(4)按照系統(tǒng)要求完成3個姿勢校正，讓傳感器能有效識別周圍空間的基本信息.如圖3所示，老藝人穿戴好設備后進行T姿勢矯正.至此，整個慣性動作捕捉系統(tǒng)穿戴完畢，可以開始采集數(shù)據(jù).

圖1 技術路線圖 圖2 慣性動作捕捉設備穿戴 Fig.1 Technical route Fig.2 Wearing inertial motion capture equipment

圖4為老藝人穿戴慣性動作捕捉設備采集表演數(shù)據(jù)的示意圖.采集的是梨園戲十八步科母中經(jīng)典動作“相公摩科”的動作.

圖3 老藝人T姿勢校正 圖4 表演數(shù)據(jù)的采集 Fig.3 Old artist T-pose calibration Fig.4 Collection of performance data

由于慣性動作捕捉設備的傳感器，在使用過程中可能遇到磁場影響而被磁化,以及慣性動作捕捉系統(tǒng)經(jīng)過一定時間的數(shù)據(jù)采集，會有累計誤差.

為了提高動作捕捉數(shù)據(jù)的質量,我們可以采用如下措施降低誤差提高精度：(1)數(shù)據(jù)采集之前對設備進行校準；(2)數(shù)據(jù)采集的場地，會選擇沒有強磁場干擾的場地.在每次數(shù)據(jù)采集后，都會對設備進行消磁處理，并存放到防磁的專用盒子內；(3)為避免設備連續(xù)使用而造成的累計誤差，在數(shù)據(jù)采集前會根據(jù)戲曲片段的特點將戲曲動作進行分段，然后逐段進行數(shù)據(jù)采集.經(jīng)實驗驗證，通過以上三個步驟，可以提高動作捕捉數(shù)據(jù)的質量.

3.2 動作捕捉數(shù)據(jù)的優(yōu)化和處理

慣性動作捕捉設備采集到的原始動作數(shù)據(jù)，以FBX(FBX是Filmbox的縮寫，是一種用于描述和保存對象及其運動數(shù)據(jù)，是一種可靠的三維動畫數(shù)據(jù)交換格式)的格式進行存儲.FBX格式的動作捕捉數(shù)據(jù)完整保留了人體各個骨骼的動作數(shù)據(jù)，并具備較好的通用性，可以在多種后期處理軟件上使用.這樣既方便后期對動作捕捉數(shù)據(jù)進行優(yōu)化和調整，也便于動作捕捉數(shù)據(jù)在Unity平臺上的使用.

采集到老藝人的動作捕捉數(shù)據(jù)，需要經(jīng)過后期的優(yōu)化和處理才能使用.本項目使用的是3DS Max軟件，對動作捕捉獲得的FBX數(shù)據(jù)進行后期修改.在3DS Max中可以從不同的視角逐幀觀察動作捕捉數(shù)據(jù)，并對特定的骨骼進行調整.

慣性動作捕捉設備獲取的原始動作捕捉數(shù)據(jù)，需要進行誤差調整和優(yōu)化.具體過程如下：

(1)在數(shù)據(jù)采集過程中，由于開始和結束的時間與演員的實際表演有時間差，需要在3DS Max中將多余的數(shù)據(jù)剪切掉.(2)對動作捕捉數(shù)據(jù)可能出現(xiàn)的一些數(shù)據(jù)上的抖動，可以利用3DS Max工具對數(shù)據(jù)幀進行平滑.(3)針對有動作不到位的地方，可以調整特定數(shù)據(jù)幀中的骨骼，使之符合戲劇表演的要求.

以在3DS Max中對某個原始動作捕捉數(shù)據(jù)的左手手腕與腰部位置的修改為例進行說明.如圖5所示，修改前左手的手腕離腰部較遠.選擇該動作對應的LeftArm骨骼，經(jīng)過對左手相關骨骼的位置進行調整，使左手的手腕與腰部的距離變近.修改后的結果，如圖6所示.

圖5 左手手腕修改前的位置 圖6 左手手腕修改后的位置 Fig.5 Position of left wrist before modification Fig.6 Position of left wrist after modification

4 梨園戲三維重現(xiàn)

4.1 梨園戲表演動作的三維數(shù)字化

將優(yōu)化和調整過的FBX格式的動作捕捉數(shù)據(jù)以及人物模型，分別導入到Unity平臺下.將人物模型與動作數(shù)據(jù)進行結合，最終效果如圖7所示.

對多個戲劇片段，通過Unity平臺上提供的Animator Controller工具，可以將不同的FBX格式的動作片段創(chuàng)建成一個狀態(tài)機，通過控制每個FBX文件的播放順序，最終實現(xiàn)將多個動作捕捉片段串聯(lián)成一個完整的表演片段.

4.2 梨園戲表演動作虛擬現(xiàn)實再現(xiàn)

為了使得最終的效果更真實，本項目利用三維建模技術，使用Maya、3DS Max等建模工具，對泉州天后宮古戲臺進行了三維仿真還原.將泉州天后宮古戲臺作為本項目梨園戲的表演舞臺，并在Unity中設置光影效果，讓場景更加具有真實感.同時，還導入梨園戲的戲曲背景音樂，讓觀眾有一個身臨其境的體驗.最終還原出來梨園戲虛擬三維動畫效果，如圖8所示.

5.3 梨園戲在HTC Vive下實現(xiàn)360度沉浸式瀏覽

為了讓觀眾能以沉浸式的方式、360度來觀看梨園戲三維動畫.在項目中使用當前市場上比較成熟的HTC Vive虛擬現(xiàn)實頭盔式顯示器與Unity平臺結合，讓觀看者可以沉浸式的方式，以不同的方式來感受梨園戲.從側面觀看梨園戲三維動畫的效果，如圖9所示.

圖7 動作捕捉數(shù)據(jù)與人物模型結合的效果Fig.7 Effect of combination of motion capture data and character model

圖8 梨園戲三維動畫效果 圖9 側面觀看效果 Fig.8 Three dimensional animation effect of Liyuan Opera Fig.9 Side view effect

5 實驗結果

本項目使用32節(jié)點的慣性動作捕捉設備，顯卡使用的是HTC Vive 官方推薦的GXT系列的顯卡(型號GXT1080)，計算機工作站配備64 G內存.該工作站的配置可以實現(xiàn)整個項目的流暢運行.

項目中梨園戲老藝人穿戴好慣性動作捕捉設備，采集其表演數(shù)據(jù).之后對動作捕捉數(shù)據(jù)進行優(yōu)化和調整，再將表演數(shù)據(jù)與任務模型導入Unity3D：通過將表演數(shù)據(jù)與三維人物模型綁定，將老藝人的表演轉化為三維動畫.通過創(chuàng)建仿真戲臺、設置燈光和音樂效果，讓整個梨園戲動畫表演更加逼真.最后，使用HTC Vive來實現(xiàn)梨園戲三維動畫的360度沉浸式體驗.

該實驗的結果表明：利用慣性動作捕捉設備獲取梨園戲老藝人的表演動作數(shù)據(jù)，在對數(shù)據(jù)的優(yōu)化和調整后，可以將動作捕捉數(shù)據(jù)應用于三維動漫上，最終實現(xiàn)對梨園戲的數(shù)字化保護.

總之，與使用照片和影像資料等傳統(tǒng)手段來記錄和保存非物質文化遺產(chǎn)的方式不同,本研究使用慣性動作捕捉技術，結合計算機虛擬現(xiàn)實技術，探索了對歷史悠久的泉州梨園戲進行三維動畫還原的方法.并結合HTC Vive虛擬現(xiàn)實頭盔，讓觀眾能以沉浸式的方式，從任意的角度來觀看梨園戲表演.

梨園戲表演的虛擬現(xiàn)實三維動畫展示，可以幫助梨園戲這個古老的劇種在當今的網(wǎng)絡時代以青年人喜歡的方式呈現(xiàn)和傳播，為古老梨園戲在新時代的發(fā)展探索了一條新的途徑，也為梨園戲表演數(shù)據(jù)的保存提供了一個除照片和錄像之外的數(shù)字化保存方案.為今后的有研究者能更好地研究、保護和利用梨園戲提供了數(shù)字化的動作捕捉數(shù)據(jù).因此，本項目的開展對梨園戲這一非物質文化遺產(chǎn)的數(shù)字化保護具有積極的意義.此外，利用慣性動作捕捉設備獲得的梨園戲表演數(shù)據(jù)，也可以用于梨園戲新演員的培訓、梨園戲相關游戲的開發(fā)上，這也是我們今后可以去完善的內容.