舞蹈的動作捕捉與圖像還原研究與設(shè)計

鐘祎洵，許 偉，姚日暉，寧洪龍

（華南理工大學(xué) 藝術(shù)學(xué)院，廣東 廣州510640）

動作捕捉技術(shù)主要通過對表演對象身體的主要關(guān)節(jié)的長度、關(guān)節(jié)運動角度等信息，進行數(shù)據(jù)收集，并利用虛擬顯示等展示技術(shù)，將這些數(shù)據(jù)重新轉(zhuǎn)化為可以直觀認(rèn)識的畫面［1］.在舞蹈類非物質(zhì)文化遺產(chǎn)保護方面引入動作捕捉技術(shù)，已圍繞不同類型的非遺舞蹈或儀式進行了如精確保存與分析舞蹈動作或儀式、捕捉方式、教學(xué)手段運用化等不同側(cè)重的研究［2-6］.但這些逐步成熟并愈加精細(xì)的動作捕捉技術(shù)的現(xiàn)實途徑化過程中，也存在一些問題.例如：第一，對表演載體——身體的內(nèi)在關(guān)注不夠充分.僅限于在三維空間里機械收集動作基本構(gòu)成、線條軌跡走向的信息收集，以及在此基礎(chǔ)上實現(xiàn)交互多媒體設(shè)計中實現(xiàn)虛擬記錄式還原，并未有對舞者在動作進行過程中，形成這些軌跡線條的身體狀態(tài)變化有所關(guān)注；第二，對運動數(shù)據(jù)的研究尚不足.運動數(shù)據(jù)作為單純文化資源采集中對動作構(gòu)成的分辨依據(jù)，還未運用至對該類別舞蹈內(nèi)在特征的深入分析；第三，動畫形象的動畫建模仍不足以真實化.真實舞者，應(yīng)以體征數(shù)據(jù)變化輔以動畫形象的舞蹈動作進行，增強直觀理解；第四，目前的動作捕捉技術(shù)中傳感設(shè)備基本以光點反射技術(shù)為主，而柔性傳感器可通過佩戴在舞者身上，保證最佳捕捉效果.

舞蹈動作不同于普通游戲、影視的形象肢體動作，因而需要更高效、高精的姿態(tài)識別需求，來形成切實有效的方法，提供穩(wěn)定精確的分析，形成良好的理論支撐［7］.比起傳統(tǒng)動作捕捉技術(shù)，基于柔性傳感器的動作捕捉和還原系統(tǒng)在傳感設(shè)備、信號傳輸設(shè)備、數(shù)據(jù)處理設(shè)備的整體統(tǒng)一、高效性方面等方面具有相當(dāng)優(yōu)勢［8］.本研究基于此種動作捕捉和還原系統(tǒng)方式的設(shè)計與運用，對非遺舞蹈“醉龍舞”進行研究.其意義在于對體征數(shù)據(jù)的搜集利用、與多重角度動態(tài)影像捕捉復(fù)原相結(jié)合，深入真實地對其本真風(fēng)格進行把握，增強研習(xí)者對舞蹈動作要素的形象性認(rèn)識，加深對動作形態(tài)和文化背景的認(rèn)識和理解，而避免在收集整理舞蹈體系時，形成刻板化系統(tǒng)規(guī)范性，并相應(yīng)激發(fā)傳承過程中逐漸消亡的原型舞蹈活力.本研究通過在現(xiàn)有動作捕捉技術(shù)，到三維影像測量中運用中，引入真實體征生理數(shù)據(jù)的收集轉(zhuǎn)化，擴大動作捕捉技術(shù)的運用范圍，促進動作捕捉技術(shù)的發(fā)展，并結(jié)合運動學(xué)角度，細(xì)化非遺舞蹈的傳承研究的方向和內(nèi)容，提高傳承研習(xí)水平，進一步實現(xiàn)傳統(tǒng)文化的活性保存，同時促進舞蹈和三維顯示等交叉學(xué)科的發(fā)展.

1 基于柔性傳感器的系統(tǒng)設(shè)計

柔性傳感器的動作捕捉和還原系統(tǒng)包括圖像捕捉系統(tǒng)、AGPS總系統(tǒng)、AGPS分系統(tǒng)、同步模塊、柔性傳感器、數(shù)據(jù)分析模塊以及圖像還原和數(shù)據(jù)輸出系統(tǒng).在進行過程中，同步模塊與圖像捕捉系統(tǒng)、AGPS總系統(tǒng)、以及圖像還原和數(shù)據(jù)輸出系統(tǒng)相連接；數(shù)據(jù)分析模塊以及圖像還原和數(shù)據(jù)輸出系統(tǒng)；AGPS分系統(tǒng)分設(shè)實驗空間四角；柔性傳感器由表演者佩戴在身體上，通過壓力式柔性傳感器以獲取運動幅度、關(guān)節(jié)彎曲度等微觀體征數(shù)據(jù)，從而可深入分析表演者的肢體動作技巧［9-10］；柔性傳感器與AGPS定位結(jié)合，獲取表演者的實時運動信息，再由同步模塊將捕捉到的影像與實時運動信息進行同步，同時通過數(shù)據(jù)分析模塊分析表演者的體征信息，最后將圖像還原和輸出數(shù)據(jù)（見圖1）.

圖1 系統(tǒng)構(gòu)成示意圖

2 系統(tǒng)優(yōu)化

2.1 個體及群體動作多角度重構(gòu)

目前的動作技術(shù)很難實現(xiàn)對表演者在舞臺或劇場的動作進行多角度重構(gòu)，由于常規(guī)的立體動作捕捉攝錄系統(tǒng)為雙鏡頭，如果要提高捕捉系統(tǒng)的效果，則需要昂貴的多鏡頭陣列組（見圖2），立體化圖像和動作捕捉多鏡頭陣列系統(tǒng)對表演者的動作和距離捕捉精度取決于光學(xué)系統(tǒng)的測距和不同鏡頭的精確定位關(guān)系（特別是多鏡頭陣列），但出于運輸和裝配的原因，鏡頭之間的間距一般較緊湊，當(dāng)捕捉大范圍和廣視角場景的動作時將有較大的系統(tǒng)誤差［11-12］.

圖2 常規(guī)多鏡頭陣列照片

此外，在常規(guī)的動態(tài)影像捕捉和還原系統(tǒng)依靠光學(xué)系統(tǒng)的精度等決定捕捉和還原動作的質(zhì)量，但由于鏡頭角度和數(shù)量限制，對于大范圍和多人表演的信息，會存在系統(tǒng)性缺陷的數(shù)據(jù)丟失，導(dǎo)致舞蹈動作還原的失真.本系統(tǒng)利用可穿戴柔性傳感器、基座標(biāo)定系統(tǒng)與雙鏡頭捕捉相結(jié)合的方式，提升表演者動態(tài)影像捕捉的視角和身體方位的還原精度，輔助攝像機更好地捕捉攝影機盲區(qū)內(nèi)的身體方位與動作，產(chǎn)生立體感更強的3D影像，解決了傳統(tǒng)攝像視角較窄的問題，使拍攝范圍更廣，反饋信息更豐富，也達(dá)到更好的還原效果（見圖3）.其具體進行步驟主要有：

第一，雙鏡頭攝像機捕捉其鏡頭范圍內(nèi)的影像，同時柔性傳感器將表演者身體不同部位的信息發(fā)送到AGPS分系統(tǒng)，再經(jīng)AGPS總系統(tǒng)匯總，發(fā)送至同步模塊；

第二，將雙鏡頭攝影機捕捉的影像和AGPS數(shù)據(jù)發(fā)送至同步模塊后，利用幀同步算法，對影像和數(shù)據(jù)進行同步：首先同步隨機數(shù)種子；然后，通過客戶端上傳當(dāng)前動作畫面的操作和當(dāng)前幀索引以及實時數(shù)據(jù)的指令；經(jīng)過客戶端指令操作，驅(qū)動畫面幀前進；為實現(xiàn)畫面回放，客戶端請求到操作文件再執(zhí)行一次服務(wù)器記錄所有的操作；以上步驟操作完成后，將處理后的數(shù)據(jù)發(fā)送至圖像還原與數(shù)據(jù)輸出系統(tǒng)，對拍攝動作片段進行多角度重構(gòu).

圖3 改進前后系統(tǒng)對比

2.2 生物體征的結(jié)合

目前的動作捕捉技術(shù)重在“形”的捕捉，將較為精準(zhǔn)的、完整連續(xù)的動作信息，形成完整的舞段數(shù)據(jù)并復(fù)原.舞蹈藝術(shù)的表現(xiàn)以身體為載體進行呈現(xiàn)，但舞蹈的表現(xiàn)性與表演者身體內(nèi)在狀態(tài)、情緒狀態(tài)緊密關(guān)聯(lián).因此，對“形”捕捉收集數(shù)據(jù)的同時，也需要把握表演者運動生理數(shù)值與情緒數(shù)值，實現(xiàn)全面的舞蹈傳承復(fù)原.

現(xiàn)有動作捕捉技術(shù)系統(tǒng)無法反饋表演者的身體狀況和情緒調(diào)控問題，特別是無法考慮多表演者的動作一致和重復(fù)性.本系統(tǒng)利用可穿戴柔性傳感器和基座標(biāo)定系統(tǒng)相結(jié)合的方式，利用柔性傳感器獲取表演者的生物學(xué)體征信息，并發(fā)送至數(shù)據(jù)分析模塊，輔以EQ-Radio情緒檢測儀和SPSS軟件等，著眼于表演者的身體運動狀態(tài)變化（如體能、舞姿變化角度、力量投入、速度等）與心理狀態(tài)（完成動作或舞段所對應(yīng)）的波動，為表演者和研習(xí)者分析動作進行以及完成的內(nèi)在表現(xiàn)、合理程度以及情緒變化等方面提供幫助.并且，對采集的所有數(shù)值信號在后期的數(shù)據(jù)處理中，模型的骨骼結(jié)構(gòu)與蒙皮結(jié)合的同時，匹配相應(yīng)的運動或情緒數(shù)據(jù)并加以顯示，實現(xiàn)精細(xì)化的模型驅(qū)動（見圖4）.

圖4 系統(tǒng)內(nèi)在關(guān)系結(jié)構(gòu)圖

3 “醉龍舞”的研究

“醉龍舞”等非遺舞蹈的表演多以民間藝人為中心進行［13-14］.因藝人的自由表現(xiàn)性以及非遺舞蹈特殊文化背景的影響，非遺舞蹈類別的特定風(fēng)格，并沒有統(tǒng)一的系統(tǒng)規(guī)范與客觀的標(biāo)準(zhǔn)去衡量對照，故不能以學(xué)院派民族民間舞蹈體系所建立的規(guī)范嚴(yán)謹(jǐn)標(biāo)準(zhǔn)進行［15-17］.但風(fēng)格傳承的核心在于對此個性化獨特風(fēng)格的研習(xí)掌握，實現(xiàn)對傳人表演風(fēng)格或流派風(fēng)格的深入把握.”醉龍舞”等非遺舞蹈風(fēng)格作為特定舞蹈的藝術(shù)特色，既有文化背景的思想觀念基礎(chǔ)，又離不開舞蹈形式的表達(dá)；既有時代歷史累積的傳統(tǒng)，同時也存在非遺舞蹈藝人個性的凸顯.傳承以語言進行解釋概括，較為抽象；而單純的示范或跟隨性摹仿方式，不僅需要靠個人的領(lǐng)悟力以及時間的打磨，在精確度上并無確保.本研究基于柔性傳感器動作捕捉還原系統(tǒng)，從動作形態(tài)構(gòu)成出發(fā)，加上運動狀態(tài)、心理狀態(tài)的研究可以進行整體風(fēng)格把握.

3.1 外在風(fēng)格

“醉龍舞”的風(fēng)格構(gòu)成主要重在3個因素：源自武術(shù)氣質(zhì)的男性舞動的陽剛矯健氣勢、持道具的動作姿態(tài)，以及動作中伴隨而來的“醉態(tài)”.本研究將運用多角度重構(gòu)方式，對基本動作從靜態(tài)、動態(tài)及整體形態(tài)方面，對“醉龍舞”的3個風(fēng)格構(gòu)成因素逐一進行分析.

首先，在多角度重構(gòu)靜態(tài)舞姿的研究中，通過對不同角度靜態(tài)舞姿的捕捉成像到數(shù)據(jù)合成.根據(jù)靜態(tài)動作所處的空間高度（高、中、低）、截面（橫截面、豎截面、矢狀面）和其他需要方向，安置對應(yīng)攝像頭，并通過柔性傳感器，經(jīng)AGPS分系統(tǒng)同步模塊，收集即時后期圖像還原的數(shù)據(jù)，對表演者的軀干、四肢以及頭部動作構(gòu)成局部細(xì)節(jié)綜合分析，把握代表性靜態(tài)舞姿造型的肢體位置、角度，以及男性氣勢在動作中的表現(xiàn)，掌握風(fēng)格性要點.

其次，在多角度重構(gòu)動態(tài)舞姿連接研究中，通過空間、界面和方向?qū)o態(tài)舞姿進行解析，重點突出肢體伸展空間和“醉”態(tài)的視頻信息.因“醉龍舞”動作與南拳馬步及對打招式有關(guān)聯(lián)，如一些基本步伐如“馬步”“撗襠步”“虛步”和“金雞獨立”等動作無不滲透著“武道”氣息與氣勢.因而，其軀干體態(tài)以及肢體伸展空間與學(xué)院派體系化的民間舞動作空間，以及以“醉龍舞”為素材進行的創(chuàng)作型作品中動作空間存在區(qū)別.通過前期對動作的捕捉圖像、后期圖像還原數(shù)據(jù)中，通過“醉龍舞”的各式動作路線軌跡、動態(tài)連接變化和動律等進行本體分析，累積動態(tài)舞姿基礎(chǔ)數(shù)據(jù)；同時為了加強研習(xí)效果，設(shè)計采用對照組的形式，同時錄入相似舞龍或創(chuàng)作型動作的軌跡形態(tài)，加以對比，突出“醉龍舞”風(fēng)格所在.“醉龍舞”風(fēng)格表現(xiàn)的動態(tài)動律的關(guān)鍵點在于“醉”.表演者從清醒到微醺的變化過程，體現(xiàn)于下半身的踉蹌舞步與蹣跚步態(tài)、以及上半身保持協(xié)同和連貫的表現(xiàn).例如“游龍醉步”“騰云躍?！钡葎幼髦?，既有表演者對動作本體“醉”形態(tài)構(gòu)成、“醉”步態(tài)表形的熟練掌握與表現(xiàn)，同時也具有“醉”意識的即興發(fā)揮.對其動態(tài)風(fēng)格的研習(xí)把握，并無固定范本可參考，增加傳承難度.針對此，可以利用柔性傳感器與AGPS定位結(jié)合，收集表演者同一動作多次表演的信息，并通過多角度重構(gòu)動作空間要素，分析每個動作在每次完成中的數(shù)據(jù)，獲取動作矩陣的特征值；同時，對動作位移過程中出現(xiàn)的位置變化而呈現(xiàn)的空間轉(zhuǎn)化，進行多次圖像捕捉與數(shù)據(jù)搜集，進行綜合分析并對舞蹈動作建模.

再次，在多角度重構(gòu)的整體風(fēng)格把握中，既需要著重分析單一動作的道具性特點和動作術(shù)語的運用，同時也需要關(guān)注整體表演氣勢及套路.“醉龍舞”中的動作都需手持檀香木而雕成的小巧龍形道具.整個動作構(gòu)成除了肢體動作本體，更包括與道具合成之后的整體空間.而道具的運用與徒手姿態(tài)的分合狀態(tài)，既可以借助多角度重構(gòu)通過動作軌跡進行區(qū)分，同時更應(yīng)該作為整體化的空間構(gòu)成進行把握.整體舞姿風(fēng)格另一個所需關(guān)注的研究點是多人表演動作信息獲取.”醉龍舞”作為群體性表演的祭祀舞蹈，既有雙人對配，同時也有眾多表演者的同時參與的場面——同樣是構(gòu)成風(fēng)格表現(xiàn)的重要要素.借助本研究所設(shè)計的系統(tǒng)，把握不同舞者的上下、左右、前后等動態(tài)信息，既可以完整地了解多動態(tài)舞姿，也能夠把握男性群體動態(tài)舞姿在氣勢上的動作軌跡空間表現(xiàn).對套路記錄的技術(shù)基礎(chǔ)也在于此.

3.2 內(nèi)在風(fēng)格

內(nèi)在的風(fēng)格展現(xiàn)和內(nèi)在身體機能控制與調(diào)節(jié)有關(guān).傳統(tǒng)舞蹈學(xué)習(xí)中對動作力度、速度、頻率的了解與把握，是一種模糊的意識理解，缺乏精準(zhǔn)數(shù)據(jù)的給出.而基于柔性傳感器可貼身佩戴特點，可以有效收集表演者在表演過程中體征數(shù)據(jù)的變化，輔助加強多角度重構(gòu)下靜、動、整體姿態(tài)等風(fēng)格特點的理解.“醉龍舞”中如“高擎低穿”“前后絞蹲”等單一動作幅度大，變化強，而拳、掌、手臂等身體部位的力度要求高，因而在單一動作中隨發(fā)力、位置空間變化而產(chǎn)生的體征數(shù)值尤為有價值.而單一動作之間的連接過程中的體征數(shù)值的變化，更是連續(xù)進行的動作及風(fēng)格體現(xiàn)的具體化呈現(xiàn)；并且，可以將研習(xí)者的體征數(shù)據(jù)變化與表演者的體征數(shù)據(jù)變化進行對比分析，深化風(fēng)格化的掌握.

3.3 表現(xiàn)風(fēng)格

“醉龍舞”作為“浴佛節(jié)”祭祀儀式中的組成部分，舞蹈本體并不以動作姿態(tài)的美感取勝，也不以具體的情節(jié)吸睛，而是重在祭祀儀式進行過程中敬神祈福的虔誠意念［18］.舞者既有如普通祭神者拜叩求神的崇敬渴望，又包括作為儀式舞者的莊嚴(yán)肅穆，以及隨舞動過程不斷累積的熱情.加上飲酒而醉舞的習(xí)俗，隨著侯王廟內(nèi)的席間舞龍、謝龍、開光和巡游等儀式過程的進行，表演者的表演情緒進一步被激發(fā)，在不同階段的情緒發(fā)展也存在相對的轉(zhuǎn)變.因此，通過本研究設(shè)計系統(tǒng)以及相應(yīng)軟件所測定的信息，探求表演者心理狀態(tài)的變化，不僅可以作為風(fēng)格把握的數(shù)據(jù)標(biāo)識之一，也可以作為傳承中對照數(shù)據(jù)進行參考（見圖5）.

圖5 “醉龍舞”研究架構(gòu)示意圖

4 結(jié)語

本研究主要針對既有動作捕捉技術(shù)的不足，依據(jù)柔性傳感器工作原理，結(jié)合AGPS分系統(tǒng)、總系統(tǒng)和同步模塊，實現(xiàn)即時數(shù)據(jù)處理，設(shè)計出設(shè)備成本低和效果強的捕捉還原系統(tǒng)，最大限度地提高捕捉還原的效率以及節(jié)省研究成本；并基于此，對“醉龍舞”風(fēng)格從外在、內(nèi)在及表現(xiàn)3個方面進行技術(shù)性量化把握；將非遺舞蹈“醉龍舞”的風(fēng)格把握與捕捉構(gòu)型與生物機體、情緒數(shù)值相關(guān)聯(lián)，擺脫以往研究中片面追求動作軌跡空間構(gòu)成的單一性，以及后期動畫模型真實性的刻板技術(shù)化發(fā)展.從而避免簡單的傳統(tǒng)舞蹈傳承中跟隨式、觀察式模糊學(xué)習(xí)，也避免捕捉還原系統(tǒng)中對動作軌跡進行單一捕捉和數(shù)據(jù)處理，將藝術(shù)特性與科學(xué)方法更恰如其分地進行結(jié)合.通過技術(shù)性分析，分別從靜態(tài)、動態(tài)以及整體動作進行量化把握，增強傳承發(fā)展的精細(xì)度，加強傳承研習(xí)的效率和效果.尤其是對表演者的生物體征數(shù)據(jù)以及情緒數(shù)據(jù)的測定分析，引入動作研習(xí)過程，有助于對表演者身體的內(nèi)面性認(rèn)識，有助于學(xué)習(xí)以及表演水平的提高，為舞蹈動作及其他藝術(shù)表演的定性和定量分析提供了新的思路.