結(jié)合動作捕捉和虛擬現(xiàn)實的舞蹈訓(xùn)練系統(tǒng)研究

陳京東

(集美大學(xué) 誠毅學(xué)院，福建 廈門 361021)

人們學(xué)習(xí)舞蹈一般有兩種方法.第一種方法是參加一個舞蹈培訓(xùn)班，學(xué)生可以模仿老師的動作，并在舞蹈老師的指導(dǎo)下，修正自己的動作，從而提高自己的舞蹈技巧.雖然這是最有效的方法，但并不是所有人都有時間去上課.第二種是通過觀看視頻中的示范來自學(xué)，學(xué)生自己觀察動作并進(jìn)行練習(xí).但是，學(xué)生可能無法正確模仿舞蹈動作，當(dāng)動作不標(biāo)準(zhǔn)或者錯誤時，學(xué)生也得不到指導(dǎo).

舞蹈動作可以在3D虛擬環(huán)境中可視化[1-2]，但是，這種觀看視頻具有相同的缺點(即缺少反饋信息).本文提出了一種結(jié)合運動捕捉(Motion Capture，MC)和虛擬現(xiàn)實(Virtual Reality，VR)[3]的舞蹈訓(xùn)練應(yīng)用系統(tǒng).學(xué)生在身上安裝能夠捕捉動作的傳感器，然后跟隨著虛擬老師的動作進(jìn)行舞蹈訓(xùn)練.系統(tǒng)處理和分析傳感器所收集的動作信息，將反饋信息提供給學(xué)生.動作捕捉系統(tǒng)可以收集足夠的數(shù)據(jù)，這對于評估學(xué)生和虛擬教師動作之間的差異是有用的.

1 舞蹈訓(xùn)練系統(tǒng)設(shè)計

1.1 系統(tǒng)體系結(jié)構(gòu)

本系統(tǒng)的體系結(jié)構(gòu)包括四個模塊：3D圖形引擎、動作匹配、動作數(shù)據(jù)庫和動作捕捉模塊.圖1顯示了每個模塊之間的聯(lián)系.動作捕捉系統(tǒng)收集了用戶的動作信息后，通過動作匹配組件與動作數(shù)據(jù)庫中的動作進(jìn)行比較.3D圖形引擎組件實現(xiàn)動作可視化，即將學(xué)生和虛擬教師的動作顯示出來.

圖1 舞蹈訓(xùn)練系統(tǒng)組成部件

1.2 動作追蹤

學(xué)生通過模仿顯示器上的虛擬老師來學(xué)習(xí)舞蹈動作.虛擬老師是通過使用OpenGL[4]渲染3D動畫形成的.虛擬老師的速度和視角可以根據(jù)學(xué)生的學(xué)習(xí)需要進(jìn)行調(diào)節(jié).虛擬老師在學(xué)生進(jìn)行舞蹈練習(xí)時會出現(xiàn)，學(xué)生能夠?qū)φ兆约号c老師的動作，第一時間調(diào)整自己的錯誤.

為了在整個訓(xùn)練過程中提供合適的反饋，系統(tǒng)會通過學(xué)生身上的傳感器[5]捕捉和跟蹤舞蹈動作.動作捕捉技術(shù)可用于動畫、電影制作、運動性能分析和醫(yī)療等領(lǐng)域.本系統(tǒng)采用了一種光學(xué)運動捕捉系統(tǒng)，具有較高的精度和較短的響應(yīng)時間，提高實時反饋的性能.

1.3 反饋類型

實時的反饋可以提高學(xué)生的學(xué)習(xí)效率，本系統(tǒng)提供了幾種反饋方式.第一種反饋稱為即時反饋.即當(dāng)學(xué)生練習(xí)時，學(xué)生的動作會被實時捕捉并且以虛擬人像的方式呈現(xiàn)在顯示器上.學(xué)生的虛擬人像顯示在虛擬老師旁邊.其中，動作錯誤的身體部位會以紅色標(biāo)記，動作正確的部位則是黃色的.通過這種可視化的及時反饋，學(xué)生可以快速地注意到錯誤并及時糾正動作.第二種反饋是評分反饋.當(dāng)學(xué)生完成了舞蹈訓(xùn)練后，系統(tǒng)會顯示一個綜合報告.綜合報告顯示了該學(xué)生身體各部位的評分以及總評分.學(xué)生從評分就可以得知自己那個部位需要改善.第三種反饋是慢動作回放.學(xué)生可以通過慢動作回放獲悉錯誤發(fā)生的方式和身體部位.通過回放，學(xué)生可以觀察虛擬人像的顏色來了解動作的錯誤.肢體部位的錯誤程度由顏色的深淺表示：顏色越深(紅色)則動作越不正確.當(dāng)虛擬人像的某肢體部位變紅，學(xué)生可以參考虛擬老師的正確動作，從而糾正自己的舞蹈動作.

這三種反饋都涉及兩個動作之間的比較.一個動作可以用一系列的姿勢來表示，因此兩個動作的比較就轉(zhuǎn)化成了姿勢之間的比較.為了比較兩種姿勢，首先要進(jìn)行歸一化，使姿勢的根部和朝向相同.由于學(xué)生和教師可能有不同的身型，所以在計算兩種姿勢之間的差異時也要進(jìn)行標(biāo)準(zhǔn)化.在計算中將關(guān)節(jié)的位置除以身體段的總長度.姿勢由15個關(guān)節(jié)表示：左/右肩，左/右肘，左/右手腕，左/右大腿，左/右膝蓋，左/右腳踝，頭部，頸部和軀干.在及時反饋中，顏色取決于每個關(guān)節(jié)的姿勢的準(zhǔn)確程度.準(zhǔn)確程度是通過動作數(shù)據(jù)庫中的姿勢和學(xué)生姿勢之間的歐氏距離來計算的.在評分反饋中，根據(jù)動作數(shù)據(jù)庫的動作與學(xué)生的姿勢在所有幀上平均的關(guān)節(jié)位置的歐氏距離計算每個關(guān)節(jié)的得分.在慢動作回放反饋中，色彩方案與中間反饋中的相似.事實上，當(dāng)歐幾里德距離為零時，顏色是白色的，即動作是正確的.當(dāng)歐幾里德距離越來越大時，顏色逐漸加深，即動作錯誤程度增加.

2 系統(tǒng)評估

我們對系統(tǒng)進(jìn)行兩方面的評估：一是對評估函數(shù)的性能進(jìn)行評估；二是對系統(tǒng)進(jìn)行用戶體驗測試.

2.1 特征選擇

兩個動作之間差異的可以用關(guān)節(jié)位置、速率和角度三種特征來描述.因此，我們比較這三種不同的特征，以找出最適合評價舞蹈動作的特征.我們使用兩組數(shù)據(jù)來評估特征的合適性：第一組數(shù)據(jù)包含兩個相似的動作的運動對；第二組包含兩個不相似的動作對.對于第一組數(shù)據(jù)，相似的動作對是由相同或不同的人做出的相同動作；對于第二組，不相似的動作對是由相同或不同的人做出不同的動作.利用不同的特征對每一個動作對進(jìn)行量化，當(dāng)使用某一特征對兩組數(shù)據(jù)進(jìn)行量化后的結(jié)果有很大的差別，則該特征是最適合的.在這三種特征中，我們進(jìn)行了實驗來測試他們在相似和不相似舞蹈動作之間的區(qū)分能力.為了判斷兩組差異是否存在顯著差異，我們使用右側(cè)T檢驗(right-tailed T-test)，結(jié)果如表1所示.由于P值非常小(P<0.01)，所以這三種特征都能區(qū)分兩種運動是相似或不相似.

表1 三種特征的右側(cè)T檢驗結(jié)果

2.2 對比實驗

為了證實學(xué)生使用本系統(tǒng)進(jìn)行舞蹈學(xué)習(xí)比自學(xué)有效，對照組中的四名學(xué)生是通過自學(xué)來學(xué)習(xí)舞蹈動作，而實驗組的學(xué)生則使用本系統(tǒng)進(jìn)行舞蹈學(xué)習(xí).兩組的學(xué)生均沒有進(jìn)行過任何舞蹈以及相關(guān)的訓(xùn)練，學(xué)生的基本信息如表2所示.

表2 學(xué)生基本信息

在進(jìn)行訓(xùn)練前，使用T檢驗對實驗組和對照組進(jìn)行評分，以獲得實驗的基線(baseline).結(jié)果是：P值是0.211 6，由于P>0.01，表明兩組基線并沒有顯著性差異.基線和訓(xùn)練后分?jǐn)?shù)之間的變化使用成對T檢驗(paired T-test)進(jìn)行分析，結(jié)果如表3所示.

表3 訓(xùn)練前和訓(xùn)練后的差異

由表3可知，P>0.01，結(jié)果表明訓(xùn)練前后差異不顯著.這是因為在學(xué)習(xí)過程中，學(xué)生可能沒有掌握動作的技巧.接下來是對實驗組和對照組學(xué)生的動作改善情況通過另一項T檢驗進(jìn)行分析，改善情況使用訓(xùn)練后分?jǐn)?shù)減去基線分?jǐn)?shù)計算，結(jié)果如表4所示.

表4 實驗組和對照組舞蹈動作改善情況

由表5可知，由于P<0.01，表明兩組改進(jìn)存在顯著差異.由于實驗組的改善程度高于對照組，說明學(xué)生使用本系統(tǒng)訓(xùn)練后有明顯的改善.與對照組相比，我們的系統(tǒng)能夠引導(dǎo)學(xué)生提高學(xué)習(xí)過程的效率.分別對實驗組和對照組的學(xué)生進(jìn)行問卷調(diào)查，結(jié)果如圖2所示.

圖2 問卷調(diào)查結(jié)果

其中，問題1是“你是否會向其他學(xué)生推薦本系統(tǒng)？”，問題2是“通過這次舞蹈訓(xùn)練，你是否對舞蹈產(chǎn)生更濃厚的興趣？”，問題3是“你認(rèn)為舞蹈動作是否難學(xué)？”，問題4是“你覺得本課程是否有趣？”，答案分別是：是(5分)、一般(3分)以及否(1分).與實驗組相比，對照組的學(xué)生在舞蹈動作學(xué)習(xí)過程中遇到更多的困難.然而，實驗組的結(jié)果只比對照組的稍好一些.一些學(xué)生認(rèn)為本舞蹈系統(tǒng)會使得舞蹈訓(xùn)練課程更有趣.總的來說，研究結(jié)果說明了本系統(tǒng)可以幫助學(xué)生更好地進(jìn)行舞蹈訓(xùn)練，可以通過反饋及時地糾正學(xué)生的錯誤動作，并激發(fā)學(xué)生的學(xué)習(xí)興趣，提高學(xué)習(xí)效率.

3 結(jié)語

本文提出了一種結(jié)合運動捕捉和虛擬現(xiàn)實的舞蹈訓(xùn)練系統(tǒng)，在一個虛擬的環(huán)境中模擬真實的舞蹈訓(xùn)練課程提供給學(xué)生.本系統(tǒng)捕捉學(xué)生的實時動作，將學(xué)生的形象虛擬化到系統(tǒng)中.虛擬老師可以演示不同的舞蹈動作，當(dāng)學(xué)生跟隨虛擬老師跳舞時，系統(tǒng)可以在分析所捕捉的動作之后向?qū)W生提供及時的反饋，反饋可以指出學(xué)生所犯的錯誤.實驗結(jié)果說明了本系統(tǒng)具有如下的優(yōu)點：首先，系統(tǒng)可以評估兩個運動之間的相似性；其次，問卷調(diào)查表明，使用本系統(tǒng)的實驗組的學(xué)習(xí)表現(xiàn)優(yōu)于對照組；最后，學(xué)生認(rèn)為本系統(tǒng)具有趣味性，能激發(fā)學(xué)習(xí)興趣.