基于體感的大型編舞輔助系統(tǒng)

李啟華 古棟笙 邱金波 周俊杰 林偉豪

摘 要：針對大型舞蹈中存在的排練效率低、動作不協(xié)調(diào)等問題，提出基于體感交互的大型編舞輔助系統(tǒng)。系統(tǒng)基于Kinect體感交互攝像頭實現(xiàn)舞者身體軌跡的實時捕獲，并結(jié)合Unity3D實時匹配舞者的三維模型和軀體數(shù)據(jù)，從而達(dá)到輔助編舞的效果。錄制少數(shù)舞者的舞蹈進(jìn)行仿真實驗，并與當(dāng)前具有較好視覺沖擊的大型舞蹈相比，所提出的系統(tǒng)有效地提高了編排效率，避免了編排過程中出現(xiàn)站位錯誤、默契不足等問題。

關(guān)鍵詞：編舞;Kinect體感攝像頭;Unity3D

Abstract：Aiming at the problems of low rehearsal efficiency and uncoordinated movement in large-scale dance，a large-scale choreography assistant system based on somatosensory interaction is proposed.The system realizes the real-time capture of the dancers body trajectory based on the Kinect somatosensory interactive camera，and combines Unity3D to match the dancers 3D model and body data in real time to achieve the effect of assisting the choreography.Recording a few dancers dances for simulation experiments，and compared with the current large-scale dances with better visual impact，the proposed system effectively improves the programming efficiency and avoids problems such as station errors and tacit understanding during the arrangement process.

Key words：choreographer;Kinect somatosensory camera;Unity3D

0 引言

大型舞蹈是一種結(jié)合各種表演因素而成的表演藝術(shù)，然而一個大型舞蹈的編排需要付出大量精力、時間去提前做好方案，排練時還要保證下達(dá)的口令無誤，才能完成舞蹈編排的工作。為提高舞蹈編排效率，本團隊開發(fā)出了一款在應(yīng)用在大型舞蹈編排的舞蹈編排輔助系統(tǒng)，編舞老師可以在虛擬環(huán)境中修改編排效果，舞蹈演員則可以通過預(yù)覽三維動畫了解自身動作和走位等等。這使得編舞老師不再需要反復(fù)編排人員動作和走位，舞者不再身心疲累的彩排，對商業(yè)藝術(shù)行業(yè)甚至高校教學(xué)都有積極的意義。

1 基于體感交互的大型編舞輔助系統(tǒng)

1.1基本思路

系統(tǒng)利用開源的kinect體感攝像頭（以下簡稱kinect）實時捕捉鏡頭前一名舞者的身體運動軌跡，并將kinect與Unity3D游戲引擎通過中間插件kinect with MS-SDK連接，將人體軀體關(guān)鍵點運動軌跡的位置變化數(shù)據(jù)實時上傳到上位機，人物軀體數(shù)據(jù)經(jīng)過Unity3D的處理呈現(xiàn)在可視化的虛擬場景中，再于3D max建模軟件中構(gòu)建舞蹈人物、舞蹈專用場景等模型，將模型導(dǎo)入Unity3D中，使人物的三維模型與捕捉到的軀體數(shù)據(jù)進(jìn)行實時匹配，在自定義的場景中實現(xiàn)舞蹈動作的三維重現(xiàn)。在Unity 3D引擎中不斷進(jìn)行舞者人數(shù)的增減、一名或多名舞者舞姿的調(diào)整、整體隊形或舞者形象的變換、背景音樂和環(huán)境的變化等一系列操作后，達(dá)到只需要一名舞者，一個攝像頭，一臺PC機便可實現(xiàn)大型舞蹈編排的預(yù)覽效果。系統(tǒng)功能實現(xiàn)圖如下圖圖1所示：

1.2 功能實現(xiàn)

1）Kinect深度信息獲取算法[1]和軀體運動軌跡的捕捉。

從復(fù)雜的圖像中提取具有價值的數(shù)據(jù)一直被認(rèn)為是非常具有挑戰(zhàn)性的問題，通過不同的方法實現(xiàn)圖像的分割提取具有重大的意義。本文對Kinect提取的深度數(shù)據(jù)做不同的處理，為了進(jìn)一步提高細(xì)化算法的求解質(zhì)量，采用二值化的方式對得到的人體目標(biāo)進(jìn)行處理，從而去除帶干擾的背景。細(xì)化算法是骨架提取中的主流算法，在滿足骨架的連通性和單像素，以及經(jīng)過二值化處理得到較好邊緣二值圖像的基礎(chǔ)上，采用經(jīng)典的細(xì)化算法，從邊界連續(xù)、均勻地向內(nèi)腐蝕直到得到骨架。最后經(jīng)過細(xì)化得到的骨架如圖2所示：

在Kinect體感設(shè)備中，我們獲取到20多個骨骼關(guān)鍵關(guān)節(jié)點的位置數(shù)據(jù)，這些數(shù)據(jù)以三維坐標(biāo)的形式被Unity3D游戲引擎中的骨骼跟蹤腳本所記錄。當(dāng)用戶在裝置上進(jìn)行運動時，主要選擇了動作幅度較大的幾個關(guān)節(jié)點進(jìn)行采集，對這些關(guān)節(jié)點的位置信息可以以向量p的方式表示：

式中：為一個用戶姿態(tài)所包含的特征向量總和。

2）在Unity3D中導(dǎo)入軀體運動軌跡數(shù)據(jù)、相應(yīng)的模型、骨骼等，將軌跡數(shù)據(jù)與骨骼進(jìn)行匹配結(jié)合，并使用開源游戲引擎 Unity3D[2]進(jìn)行圖形顯示。

3）在 Unity3D 的主要框架及場景管理器基礎(chǔ)上實現(xiàn)舞蹈動作的調(diào)整，舞者運動路徑的建立，舞者人數(shù)的增減，整體隊形和舞者形象的變換、背景音樂和環(huán)境的變化等一系列腳本操作，初步實現(xiàn)大型舞蹈的預(yù)覽效果。

舞臺場景和舞蹈角色等模型導(dǎo)入到Unity3D中是靜態(tài)的，要想使這些資源能夠在 Unity3D中附有動態(tài)行為，我們還需要編寫相應(yīng)的腳本程序，并附加到相應(yīng)的三維模型多模塊虛擬系統(tǒng)中，系統(tǒng)建立了如下幾個主要腳本程序。

其中，ComputerUIControl主要負(fù)責(zé)虛擬場景中電腦端UI界面的交互行為;EventControl主要負(fù)責(zé)場景中對象的鼠標(biāo)單擊、雙擊、右擊事件的處理;ProcessControl的功能類似于C言的main函數(shù)，用戶可以通過該腳本查看整個系統(tǒng)的執(zhí)行步驟;RoadContral復(fù)制人物的隊列功能;ShowTip主要負(fù)責(zé)場景對象的標(biāo)簽顯示。

2 結(jié)語

系統(tǒng)將Kinect和Unity3D等技術(shù)結(jié)合起來實現(xiàn)了虛擬環(huán)境的快速教學(xué)，經(jīng)過試用編舞輔助系統(tǒng)的舞蹈編排比傳統(tǒng)的舞蹈編排具有以下優(yōu)點：1、降低了大型舞蹈編排的時間，極高了提大了編舞效率;2、實現(xiàn)虛擬教學(xué)，新奇的系統(tǒng)受到廣大學(xué)生的歡迎，提高練舞者的熱情。本系統(tǒng)的研發(fā)對商業(yè)藝術(shù)行業(yè)甚至高校教學(xué)都有積極的意義。系統(tǒng)將會一直完善，調(diào)研使用人員的不同需求，逐步的實現(xiàn)更多功能。本項目受到廣東石油化工學(xué)院創(chuàng)新創(chuàng)業(yè)學(xué)院-大學(xué)生創(chuàng)新培育項目支助，在此表示感謝。

參考文獻(xiàn)

[1]劉飛.基于Kinect骨架信息的人體動作識別[D].東華大學(xué)，2014.（132）：12-16.

[2]王同娟.基于Unity3D的教育游戲開發(fā)研究[J].電腦編程技巧與維護(hù)，2018（11）：7-8+27.

作者簡介

李啟華（1997-03）、男、漢族、廣東云浮、本科在讀生、研究方向為：電子信息工程;

古棟笙（1998-3）、男、漢族、廣東廣州、本科在讀生、研究方向為：測控技術(shù)與儀器;

邱金波（1982-2）、男、漢族、廣東茂名、本科在讀生、研究方向為：計算機科學(xué)與技術(shù);

周俊杰（1998-6）、男、漢族、廣東湛江、本科在讀生、研究方向為：計算機科學(xué)與技術(shù);

林偉豪（1997-9）、男、漢族、廣東普寧、本科在讀生、研究方向為：計算機科學(xué)與技術(shù);