三維動畫與虛擬樂器（VSTi）的聯(lián)動系統(tǒng)的設(shè)計與應(yīng)用
——以中國傳統(tǒng)樂器二胡為例

（韓國祥明大學(xué) 03016）

在第四次文化產(chǎn)業(yè)革命的背景下，5G技術(shù)也正在全球范圍迅速的普及。全球的各個領(lǐng)域的都在結(jié)合的新媒體技術(shù)共同發(fā)展，以便更好地讓大眾傳播與應(yīng)用。音樂產(chǎn)品是一個既融合了科學(xué)技術(shù)又具有大眾娛樂性質(zhì)的藝術(shù)領(lǐng)域的代表之一。如何更好的讓音樂產(chǎn)品既能滿足大眾音樂消費者的感官需求，又能通過技術(shù)手段讓音樂產(chǎn)品制作者更方便地制作好適應(yīng)市場的音樂產(chǎn)品的雙向問題，是我們需要研究和發(fā)展的方向。三維動畫是介于二維平面設(shè)計和真實場景之間的應(yīng)用產(chǎn)物，三維動畫的不僅有優(yōu)于二維平面動畫的真實感，又相較與真實場景存在更多的便捷行和可變性?，F(xiàn)代社會，不僅把三維動畫應(yīng)用在地圖，家具選購等軟件上，2018年起也有很多在音樂演奏會上應(yīng)用成功的案例。

一、三維動畫與虛擬樂器的聯(lián)動設(shè)計與應(yīng)用的發(fā)展趨勢與應(yīng)用價值

（一）促進音樂產(chǎn)品的多元化

大眾音樂的音樂產(chǎn)品占有絕大多數(shù)的消費群體，而對傳統(tǒng)文化和音樂的關(guān)注度還是需要更多的提高和保護，如果可以使用三維動畫人物來演奏傳統(tǒng)音樂的形式，就更能夠通過新型的年輕人更容易接受的音樂產(chǎn)品形式，引起他們對傳統(tǒng)音樂和傳統(tǒng)樂器的興趣，這不僅可以促進傳統(tǒng)音樂文化的產(chǎn)品的消費，也可以讓傳統(tǒng)音樂文化更好的傳播和保護。

（二）增強音樂教育軟件的交互性

以前的音樂教育軟件，更多的是利用錄制好的視頻和講解來傳播音樂知識和演奏技巧，但是在現(xiàn)代的多媒體環(huán)境下的音樂教育軟件更側(cè)重交互體驗，不僅可以可以通過三維的動畫視頻來360度觀察演奏的動作形態(tài)，也可以讓學(xué)習(xí)者輸入旋律與和弦來生成學(xué)習(xí)者即時所需要的三維動畫的演奏表演。這些都是傳統(tǒng)式的真人錄像的音樂教育軟件不能完成的。

（三）更廣泛地應(yīng)用在舞臺藝術(shù)中

把三維動畫視頻來應(yīng)用在舞臺藝術(shù)上是一種新型的舞臺形式，從2018年開始逐漸有通過增強現(xiàn)實技術(shù)把三維動畫應(yīng)用在演唱會上的成功案例，更好的吸引了年輕人對音樂舞臺的興趣。不僅是流行音樂演唱會上，也可以使用在更具藝術(shù)性的交互式音樂的演奏會上，通過即時的MIDI（樂器數(shù)字接口）或感應(yīng)控制器來同時演奏音頻與視頻。

（四）加強音樂制作人對虛擬樂器使用時的真實體驗感

音樂學(xué)者或者音樂制作人中也不乏對某一些樂器的認知不足的情況。能夠通過本論文的系統(tǒng)來在數(shù)字音頻工作站（DAW）中更有效率更正確的去使用虛擬樂器，是對音樂工作者提高效率的很有幫助的方法。音樂工作人若能更快更準(zhǔn)的使用虛擬樂器，這對生產(chǎn)這樣樂器的相關(guān)的音樂產(chǎn)品的產(chǎn)量一定是有促進作用的，相關(guān)樂器和音樂文化的音樂產(chǎn)品增多，也當(dāng)然更有利于音樂消費者更廣泛的去接觸到此類的音樂文化產(chǎn)品，從而更好的傳播此類音樂文化。

二、使用三維動畫結(jié)合虛擬樂器的優(yōu)勢

（一）三維動畫在制作視頻采樣時能具有更好的統(tǒng)一性

真人的視頻采樣的過程中更容易存在表情或肢體動作的差異性，這些差異會讓視頻動作連接存在更多的不連貫和不一致性。三維動畫可以更好的保持三維動畫人物的一貫肢體動作和表情。讓人覺得更加的美觀與自然連接。

（二）針對不同的使用人群，三維動畫的形象具有更多的可選擇性

如果使用真人的視頻采樣，雖然可以更方便的獲取和錄制，但這樣不僅存在人物肖像版權(quán)問題，而且很難改變?nèi)宋镄蜗?，一旦錄制之后將無法改變。而三維動畫可以更容易的保留演奏動作的同時，更方便的改變?nèi)宋镄蜗?。這樣可以讓更好的應(yīng)用在不同的人物形象的音樂產(chǎn)品中。例如，年輕人喜歡的二次元文化中的小說人物、動畫人物、歷史文化人物和游戲人物等等。

三、三維動畫與虛擬樂器的聯(lián)動系統(tǒng)的設(shè)計與實現(xiàn)

（一）確定樂器的類型

無論是西洋樂器還是中國民族樂器都分別根據(jù)演奏特征與鳴響特征有著細致的分類。為了設(shè)計好三維動畫與虛擬樂器的統(tǒng)一與連接，主要需要根據(jù)演奏特征對其進行分類。不同的演奏特征的樂器由于發(fā)音的演奏形式不同左手與右手的設(shè)計也會產(chǎn)生不同。三維動畫的采樣的排列組合的數(shù)量也會產(chǎn)生很大區(qū)別。依據(jù)演奏特征，現(xiàn)代樂器主要分為吹奏類、拉弦類、彈撥類和打擊類這四種類型。吹奏類的樂器主要是由口部吹氣使樂器產(chǎn)生震動，從而控制聲音的音量與音長，左右手配合控制音高。拉弦類樂器主要是依靠右手的弓對弦進行摩擦產(chǎn)生震動，從而控制聲音的音量與音長，左手通過按弦改別弦的長短是音高發(fā)生改變。彈撥類樂器主要是依靠右手的手指對弦的施壓與釋放產(chǎn)生震動，左手也是通過按弦改別弦的長短是音高發(fā)生改變。打擊類樂器也分為有音高打擊樂器與無音高打擊樂器，根據(jù)不同的樂器的材質(zhì)材料和材質(zhì)長短產(chǎn)生擊打時產(chǎn)生的音高與音色的區(qū)別。

（二）樂器的演奏技法的分類

本文以拉弦類樂器中的中國傳統(tǒng)樂器二胡作為的研究對象，二胡是中國傳統(tǒng)樂器中最具有代表性的傳統(tǒng)樂器之一，因為他演奏技法全面，音色高亢明亮，所以二胡在各類風(fēng)格的音樂中都有很好的表現(xiàn)性。EWQL公司的虛擬樂器產(chǎn)品“SILK”中的二胡樂器采樣了非常全面的二胡技法，并且具有相較于同類型虛擬樂器而言最為理想的音質(zhì)效果。SILK當(dāng)中采樣的二胡樂器技法包括長弓、短弓、快弓、頓弓、顫弓和擊弓等演奏技法的分類，在SILK操作界面當(dāng)中也可以通過鍵位切換的方式來改變演奏技法。雖然在虛擬樂器中聽不出左手指法的差異性，但是在三維動畫的視頻采樣中必須要考慮到左手把位與指法的特征才能夠更準(zhǔn)確地在三維動畫中表現(xiàn)出更接近真實演奏的形態(tài)。由此，需要把左手歸類為空弦、食指、中指、無名指和小拇指五種指法來進行三維動畫視頻設(shè)計。

（三）分析虛擬樂器的各技法的音頻采樣特征

首先需要通過MIDI對不同的技法和音高出發(fā)來導(dǎo)出樂器中的采樣音頻，然后需要對其音頻的包絡(luò)進行分析。對音頻的的音量包絡(luò)分析時，具體根據(jù)音量包絡(luò)的起建（Attack）、衰減（Decay）、 保持（Sustain） 和釋放（Release）的各個數(shù)據(jù)可以更準(zhǔn)確地制作弓在演奏時的形態(tài)，包括運弓的速度和長音的換弓點。跳弓與頓弓這類短促型的弓法可以根據(jù)音頻的總長度來設(shè)計運弓的時間。顫弓可以根據(jù)音頻中波形峰值到谷值之間浮動的次數(shù)來判斷音頻采樣時在固定時間單位內(nèi)右手顫弓的次數(shù)。

（四）針對音頻采樣特征設(shè)計演奏技法的視頻采樣

三維建模與視頻采樣設(shè)計時，根據(jù)上述需要把右手上下弓與左手的空弦、食指、中指、無名指和小拇全部進行視頻設(shè)計。由于二胡的內(nèi)外弦并不能在視頻中準(zhǔn)確的體現(xiàn)出區(qū)別，所以在三維動畫設(shè)計中可以忽略掉著一部分。SILK中的二胡虛擬樂器的音頻采樣是對每一個演奏技法都進行了28個音的進行了采樣，也就是從小字組c1至小字組e3。雖然實際二胡中常用的定弦是內(nèi)弦d1與外弦a1的定弦方法，但是考慮到某些演奏曲目中定弦存在特殊性，所以需要對c1至e3進行全部三維視頻采樣。由此，需要對c1至d1進行空弦的三維視頻采樣，并且對#c1至e1進行食指、中指、無名指和小拇的采樣。如此能保證演奏時的隨機性，更能貼近實際演奏時的指法形態(tài)。

（五）在DAW中三維動畫視頻采樣與MIDI音頻采樣的聯(lián)動系統(tǒng)設(shè)計

使用數(shù)字音頻工作站Ableton live與Max for live兩個軟件的結(jié)合，在Ableton live中用MIDI控制器出發(fā)虛擬樂器音頻，同時使用Max for live觸發(fā)三維動畫的演奏采樣。在Max for live中對上述的視頻采樣庫需要進行像SILK的二胡虛擬樂器的一樣進行分類，并使用虛擬樂器相同的鍵位切換，才能保持觸發(fā)時的一致。并且虛擬樂器的音頻中并不能判斷采樣時是上弓還是下弓，但是視頻演奏必須要考慮到上弓與下弓的問題，所以需要在Max for live中多設(shè)計出一個組上下弓的鍵位切換，這樣三維動畫視頻才可以滿足實際演奏時上下弓的真實性。

（六）對比與校正

利用上述設(shè)計的三維動畫與虛擬樂器聯(lián)動的設(shè)計系統(tǒng)，以MIDI文件同時觸發(fā)視頻與音頻采樣，來實現(xiàn)音視同步的表演形式。為了更好的驗證與對比三維動畫和虛擬樂器聯(lián)動系統(tǒng)與實際真人演奏者的真實性差異性和一致性。需要通過相同一段樂章的演奏來進行對比分析。樂章的要求不僅要滿足一定的時長要求，并且要使用到全部的演奏技法，以此來準(zhǔn)確且完整校正左手指法、右手運功、三維動畫視頻采樣與音頻采樣的時間差這三個重點差異性問題。

四、結(jié)論

總而言之，中國傳統(tǒng)音樂文化一直在發(fā)展與傳承，而三維動畫與虛擬樂器的結(jié)合，作為新型的媒體形式的傳播方式和載體，已在不同音樂類型與產(chǎn)品中得到了廣泛應(yīng)用，所以，要想促進傳統(tǒng)音樂文化的傳播，非常有必要與新型媒體技術(shù)相結(jié)合。借助新型媒體技術(shù)在音樂舞臺和音樂教育方面的應(yīng)用的形式，不僅可以年輕人的對傳統(tǒng)音樂文化的興趣，而且對于發(fā)揮傳統(tǒng)音樂藝術(shù)的魅力也具有很大的幫助，使傳統(tǒng)音樂藝術(shù)更具藝術(shù)氣息和現(xiàn)代科技感。