虛擬人自動編舞系統(tǒng)研究

陳節(jié)省

摘要：在音樂驅(qū)動生成舞蹈上，現(xiàn)有方法是根據(jù)音樂的數(shù)字化特征生成舞蹈動作，但是沒有考慮音樂的節(jié)拍、風(fēng)格、結(jié)構(gòu)等，所以生成的舞蹈動作未能和音樂內(nèi)容很好匹配。文章提出了一種新型的方法，先分析音樂的風(fēng)格、節(jié)拍、結(jié)構(gòu)、藝術(shù)性，形成更加細(xì)分的舞蹈動作數(shù)據(jù)庫，然后使用動態(tài)規(guī)劃算法填充每段舞蹈，再對舞蹈銜接段做插值過渡。產(chǎn)品發(fā)布1年來，全國有100多萬人次使用，文章所述方法得到了有效的驗(yàn)證。

關(guān)鍵詞：虛擬人;自動編舞;舞蹈動作合成;音樂驅(qū)動;動態(tài)規(guī)劃

中圖分類號：TP391? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2022）16-0072-02

1 概述

音樂和舞蹈都是人類最古老的藝術(shù)，也是密不可分的藝術(shù)。音樂是舞蹈的靈魂，舞蹈是音樂的回聲。舞蹈動作常常以音樂旋律的節(jié)奏為基礎(chǔ)，通過有組織、有節(jié)奏的人體動作，來表達(dá)情感和塑造藝術(shù)形象[1]。一般由專業(yè)的編舞人員來設(shè)計(jì)和編排舞蹈動作，比較有專業(yè)性，比較難以大規(guī)模地生產(chǎn)。隨著元宇宙的興起，虛擬人越來越多地融入娛樂生活中，例如初音未來、洛天依、《堡壘之夜》演唱會，都是虛擬人和歌、樂、舞三者合為一體的藝術(shù)作品。同時，也產(chǎn)生了大量的編舞需求，全部手動編舞耗時耗力，因此可以借助計(jì)算機(jī)的自動化、智能化來降低成本，實(shí)現(xiàn)音樂編舞[2]。例如，樊儒昆基于音樂和舞蹈動作的節(jié)奏特征建立動作與音樂片段的匹配模型， 并利用動態(tài)時間規(guī)整（DTW） 算法來度量動作與音樂片段的節(jié)奏匹配程度[3]。方丹芳提出了先目標(biāo)音頻分段，然后對音樂片段和動作數(shù)據(jù)庫中已有的動作片段進(jìn)行特征匹配分析，最后對目標(biāo)音樂片段特征匹配的動作片段進(jìn)行過渡幀插值銜接[4]。以上算法主要是基于音樂的節(jié)奏特征和強(qiáng)度特征，忽視了音樂的風(fēng)格和結(jié)構(gòu)特征[5]。

本文提出了一種新型的方法，整體框架圖如圖1所示。首先分析音樂的風(fēng)格、節(jié)拍、節(jié)奏、結(jié)構(gòu)和藝術(shù)性，通過動作捕捉，建立風(fēng)格多樣的舞蹈動作數(shù)據(jù)庫。對于一首新的歌曲，先分析歌曲風(fēng)格、節(jié)拍、節(jié)奏，然后標(biāo)記歌曲組織結(jié)構(gòu)和每個段落的首尾時間戳。對于每一個歌曲片段，應(yīng)用動態(tài)規(guī)劃算法填充舞蹈動作。最后再對舞蹈銜接段做插值過渡，輸出完整動作序列。

2 構(gòu)建舞蹈動作數(shù)據(jù)庫

本文所研究的主要是KTV里的流行歌曲。如表1所示，經(jīng)統(tǒng)計(jì)3萬首KTV曲庫歌曲，絕大部分是4/4拍、3/4拍、3/8拍的歌曲。按照用戶演唱的情緒，分為抒情、勁歌、柔情、搖滾、RAP等五種風(fēng)格類型。

流行歌曲一般由前奏（Intro）、副歌（Chorus）、主歌（Verse）、間奏（Inter）、尾奏（Outro）等段落組成，如圖2所示。每個段落對舞蹈的要求也不同，前奏是舞蹈入場和氣氛的鋪墊，副歌是整首歌的高潮部分也需要舞蹈的充分表達(dá)[6]。以《小蘋果》歌曲為例，這首歌是4/4拍，編曲采用了復(fù)古“迪斯科”的風(fēng)格，歌詞簡單朗朗上口，舞蹈以“伊甸園蛇舞”舞步為主，前奏部分和主歌部分每拍節(jié)奏的強(qiáng)度均衡，舞蹈為熱身運(yùn)動和身體小幅擺動，副歌部分的節(jié)奏呈現(xiàn)出“強(qiáng)-弱-次強(qiáng)-次弱”的特點(diǎn)并逐漸將全曲推向高潮，舞蹈以多人的大開大合的動作來烘托愛情的幸福美好，間奏部分的舞蹈通過拍手來延續(xù)熱烈的氛圍，尾奏部分以雙手上下擺動的整理動作結(jié)束歌曲[7]。整首歌的舞蹈動作和音樂節(jié)奏、風(fēng)格十分匹配，動作簡單易學(xué)，用戶聽著音樂就會情不自禁地隨之搖擺，使該曲常年在KTV和廣場舞中廣受歡迎。

在相同的節(jié)拍、風(fēng)格、段落特征的情況下，通過動作捕捉，制作了20秒、15秒、10秒、5秒、2秒、1秒等時長不等的舞蹈動作。為便于匹配時的拼接連貫性判斷，也記錄了每個動作第一幀和最后一幀與標(biāo)準(zhǔn)動作的歐氏距離。因此，舞蹈動作數(shù)據(jù)庫以“節(jié)拍_風(fēng)格_段落_時長_編號”的動作編碼作為主鍵進(jìn)行記錄和查詢，對應(yīng)的動作記錄文件內(nèi)容包含：時長、藝術(shù)性分值、第一幀和標(biāo)準(zhǔn)動作歐氏距離、最后一幀和標(biāo)準(zhǔn)動作歐氏距離、動作數(shù)據(jù)。

3 生成舞蹈動作

通過手動和自動化結(jié)合的方式分析每首歌的歌曲特征，標(biāo)記好歌曲的段落的時間段、風(fēng)格、節(jié)奏和節(jié)拍[8]。生成舞蹈動作分為2個步驟，第一個步驟是從舞蹈動作庫中選擇匹配的舞蹈動作，第二個步驟是將不同的動作間做動作銜接。

一首歌的完整動作可以分解為生成各個歌曲段落的動作來完成，即從“節(jié)拍_風(fēng)格_段落_時長_編號”的舞蹈數(shù)據(jù)庫中挑選合適的舞蹈動作來填充到歌曲段落。假設(shè)某個段落的歌曲時長為[T]（秒），[X]為此段落對應(yīng)的[n]個候選舞蹈動作的集合，第[i]個動作[xi]對應(yīng)的時長為[wi]，即求解需要最少幾個[xi]可以接近填充滿時長[T]。

形式化描述如下：

解向量? ? ? ? ? ? [S]：[xi∈{0，1}，1≤i≤n]

目標(biāo)函數(shù) [mini=1nxi]

約束條件 [T-1≤i=1nwixi≤T]

此問題是一個典型的動態(tài)規(guī)劃問題，通過貪心算法或者動態(tài)規(guī)劃算法均可求解[9]。本文選用貪心算法求解，用算法1表述如下：即優(yōu)先選擇當(dāng)前可選擇的時長最大的動作，在同樣時長的動作中優(yōu)先選擇和上個動作的歐氏距離最小的動作，最終求解得到每個段落的匹配的舞蹈動作集合[S][10]。

算法1. 貪心算法求解匹配的動作集合

[S={}]，初始解集合為空

Sort（[X]），將候選動作集按照時長從大到小排序

while（[S]總時長未接近段落時長[T]）

從[X]取出一個時長最長且和上個動作歐氏距離最小的候選動作[xi]，其時長為[wi]

if? （[S]總時長+[wi]） ≤ T

[S=S+xi]，[xi]加入解集合S

[X=X-xi]，將動作[xi]從X中移除

end

end

return S

假設(shè)解集合[S]包含[m]個動作，總時長為[L]，按每秒含30幀的動作，則將有[（T-L）×30]幀的數(shù)據(jù)需要通過插值算法來合成銜接動作。[S]中相鄰2個動作[xj]和[xj+1]需要合成的動作幀數(shù)為：[vj=xj+1第一幀和xj最后一幀的歐氏距離i=0mxi+1第一幀和xi最后一幀的歐氏距離×T-L×30]

相鄰2個動作的歐氏距離越大，分配得到的插值幀數(shù)權(quán)重就越大。如圖3所示，本文采用雙圓弧插值算法來合成[xj]和[xj+1]中間的插值銜接動作。

4 結(jié)論與展望

本文通過分析音樂的風(fēng)格、節(jié)拍、結(jié)構(gòu)、藝術(shù)性，形成更加細(xì)分的舞蹈動作數(shù)據(jù)庫，然后使用動態(tài)規(guī)劃算法填充每段舞蹈，再對舞蹈銜接段做插值過渡，實(shí)現(xiàn)了流行音樂自動編舞系統(tǒng)。如圖4所示，在產(chǎn)品中共生成了8653段，合110869秒的舞蹈動作庫，在3萬首流行歌曲上完成了虛擬人自動編舞，成功推廣應(yīng)用到全國7000多家KTV中，總計(jì)約100萬用戶點(diǎn)唱過，經(jīng)實(shí)際驗(yàn)證具有較低的實(shí)現(xiàn)成本和較好的舞蹈效果。

但是，自動編舞系統(tǒng)仍舊是一個復(fù)雜和需要持續(xù)深入研究的課題。后續(xù)可以增加更多的舞蹈風(fēng)格，引入深度學(xué)習(xí)算法來生成更多的舞蹈動作，以期進(jìn)一步完善系統(tǒng)。

參考文獻(xiàn)：

[1] 張雅琳，趙麗璐.淺談音樂與舞蹈的關(guān)系[J].音樂時空，2016（1）：122-123.

[2] 彭文耀，吳瑞琪，晁飛，等.一種基于姿態(tài)關(guān)系特征的機(jī)器人舞蹈生成方法[J].廈門大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，58（5）：774-780.

[3] 樊儒昆，傅晶，程司雷，等.動作與音樂的節(jié)奏特征匹配模型[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（6）：990-996.

[4] 方丹芳，李學(xué)明，柳楊，等.基于過渡幀插值的音樂驅(qū)動舞蹈動作合成[J].復(fù)旦學(xué)報(bào)（自然科學(xué)版），2018，57（3）：358-365.

[5] 王丹.論音樂編舞法中主題動作的選擇[J].新鄉(xiāng)學(xué)院學(xué)報(bào)（社會科學(xué)版），2009，23（3）：179-181.

[6] 王奇.舞蹈音樂結(jié)構(gòu)與舞蹈表演關(guān)系探究[J].北方音樂，2014（12）：50-51.

[7] 鄒宇，穎徐湘.淺談歌曲《小蘋果》藝術(shù)創(chuàng)演特征[J].黃河之聲，2015（24）：77-78.

[8] 劉旺.卡拉OK評分系統(tǒng)的應(yīng)用研究[J].電腦知識與技術(shù)，2017，13（11）：181-182，192.

[9] 董軍軍.動態(tài)規(guī)劃算法和貪心算法的比較與分析[J].教育技術(shù)導(dǎo)刊，2008，7（2）：129-130.

[10] 吳平，方歡.帶偏好的貪心算法應(yīng)用[J].電腦知識與技術(shù)（學(xué)術(shù)版），2020（3）：96-97.

【通聯(lián)編輯：唐一東】