基于虛擬現(xiàn)實技術的曾侯乙編鐘虛擬演奏平臺設計

張昕怡,丁長河,張海營

(1.武漢音樂學院 音樂學系,湖北 武漢 430060;2.湖北文理學院,湖北 襄陽 441053)

0 引言

隨著元宇宙和虛擬現(xiàn)實技術的發(fā)展與成熟,運用數(shù)字化虛擬技術合成并重構世界,讓觀眾沉浸在特定空間內,通過藝術情景的融合與重現(xiàn),為觀眾創(chuàng)造出一個全新的文化體驗場域,已經(jīng)成為當前傳統(tǒng)文化傳播與傳承最為流行的一種模式[1]。曾侯乙編鐘被稱為是“稀世珍寶”,代表著中國傳統(tǒng)音樂文化的巔峰成就。但是,由于編鐘原件仿制品數(shù)量有限,曾侯乙編鐘專業(yè)的現(xiàn)場演奏活動只能在少量特定的場館開展,對大多數(shù)人而言,現(xiàn)場欣賞或演奏編鐘的機會極少。因此,如何結合虛擬現(xiàn)實技術,對曾侯乙編鐘演奏場景進行虛擬化模擬與轉化,實現(xiàn)曾侯乙編鐘的沉浸式虛擬化演奏,成為國內外學者研究的前沿課題。

1 虛擬現(xiàn)實技術原理

虛擬現(xiàn)實是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真技術,它利用計算機生成一種模擬環(huán)境,是一種多源信息融合的、交互式的三維動態(tài)視景和實體行為的仿真系統(tǒng)[2]。在虛擬現(xiàn)實的3D場景開發(fā)中,Java 3D提供了3D圖形應用編程接口,程序員可以輕松完成3D場景控制組件的編寫。Java 3D實際上是Java語言在三維圖形領域的擴展,在Java 3D所描述的虛擬世界中,各種三維元素按照特定規(guī)則被有序地組織起來,構成Java 3D虛擬架構系統(tǒng)。也可以這樣理解Java 3D程序的工作原理:在3D場景中有許多模型,例如房子、演員、道具等,而最終顯示的畫面是由某個觀察者所觀察到的圖像[3]。除模型與觀察者外,3D場景中還需要有照明光源,否則三維世界將是一片漆黑。此外,聲效也是虛擬現(xiàn)實不可缺少的一部分,是虛擬現(xiàn)實場景設計的關鍵。在交互式虛擬體驗中,這些元素共同組成虛擬現(xiàn)實3D場域。

2 曾侯乙編鐘虛擬演奏平臺的設計思路

隨著互聯(lián)網(wǎng)的發(fā)展與成熟,虛擬現(xiàn)實技術的空間仿真功能開辟了人類交流的新場域。為實現(xiàn)曾侯乙編鐘虛擬演奏仿真體驗的目標,在曾侯乙編鐘虛擬演奏平臺開發(fā)中,首先,需要借助3D MAX建模工具完成曾侯乙編鐘原始演奏廳的等比例建模;其次,借助Java 3D編程技術,開發(fā)虛擬世界中編鐘演奏的三維互動控制組件,并從視覺、聽覺和交互設計等多方面完成曾侯乙編鐘沉浸式虛擬體驗場景的設計。同時,根據(jù)編鐘音樂文化傳承和演奏體驗的需求特征,曾侯乙編鐘沉浸式虛擬體驗演奏平臺設計包括:編鐘沉浸式虛擬演奏系統(tǒng)、編鐘歷史文化講解系統(tǒng)、編鐘研究文獻閱覽系統(tǒng)和編鐘音樂網(wǎng)上點播系統(tǒng)4個模塊。

3 曾侯乙編鐘虛擬演奏平臺的模塊設計

3.1 編鐘沉浸式虛擬演奏系統(tǒng)

曾侯乙編鐘虛擬演奏系統(tǒng)是將3D建模和Java 3D編程技術相結合,根據(jù)真實的編鐘演奏場景和樣式搭建的曾侯乙編鐘虛擬演奏廳。該系統(tǒng)不僅可以還原編鐘演奏帶來的視覺與聽覺特征,還可以讓訪客在虛擬場景中體驗敲擊演奏編鐘音樂的效果[4]。系統(tǒng)設計關鍵內容如下。

(1)3D場景建模。曾侯乙編鐘的建模工作是從編鐘音樂廳陳列的編鐘原型復制品中,獲取到每類編鐘的三視圖,然后借助三維軟件3D MAX進行編鐘樂器建模,制作出鈕鐘、甬鐘、鍵鐘以及曾侯乙編鐘三維模型。為了使3D場景設計更加便捷高效,本設計選擇杭州先臨三維科技公司開發(fā)的可變分辨率彩色3D掃描儀,對編鐘等樂器貼圖并添加材質,搭建編鐘演奏三維場景,實現(xiàn)虛擬場景與現(xiàn)場場景的等比例復制。

(2)音源采集。編鐘具有一鐘雙音的特性,為了實現(xiàn)編鐘虛擬場景下敲擊音效的互動體驗感知,設計者需要對64件編鐘(曾侯乙編鐘共有65件單體鐘,其中,64件具有音律屬性,大镈鐘沒有音律屬性)的每一件鐘體的正音和側音進行逐一編號采集,完成編鐘音源的原聲采集,并按照音律的高低和屬性分布存儲。在后續(xù)演奏互動中,當訪客敲擊編鐘鐘體時,系統(tǒng)會將本次采集的原音作為發(fā)聲音源,進行系統(tǒng)化控制,以編鐘原音音符呈現(xiàn)給訪客[5]。

(3)虛擬演奏互動的編程控制。設計者借助Java 3D編程技術和Python編程軟件,通過軟件程序的智能控制,讓體驗者能身臨其境感知虛擬空間中敲擊編鐘的演奏體驗,實現(xiàn)虛擬環(huán)境下演奏(敲擊)編鐘音樂的設計目標。

3.2 編鐘歷史文化講解系統(tǒng)

曾侯乙編鐘代表著古代人民的高度智慧和精湛技術,為了讓訪客完整了解編鐘文化內涵和價值,本課題設計了編鐘歷史文化講解系統(tǒng)。該系統(tǒng)嵌入編鐘發(fā)掘過程、編鐘制作工藝、編鐘音律特征、編鐘歷史考古發(fā)現(xiàn)等視頻內容。訪客通過編鐘虛擬演奏平臺的顯示觸摸屏,可以全面觀閱編鐘歷史發(fā)展進程,深度了解中國編鐘文化知識內涵,實現(xiàn)編鐘文化知識普及與推廣。

3.3 編鐘研究文獻閱覽系統(tǒng)

當前,編鐘文化已經(jīng)成為考古界、音樂界學者關注的焦點。借助知網(wǎng)數(shù)據(jù)庫進行文獻檢索,編鐘方面的文獻研究共742篇,尤其自1978年曾侯乙編鐘發(fā)掘以來,編鐘研究文獻呈現(xiàn)指數(shù)級增長。為了更好地傳承傳播編鐘文化,引發(fā)更多人參與編鐘文化的傳承之中,本平臺在編鐘虛擬演奏廳內建立了編鐘研究文獻閱覽系統(tǒng),精選出編鐘研究的經(jīng)典文獻供訪客線上翻閱,在訪客游玩的過程中,更好地傳播編鐘文化專業(yè)知識。

3.4 編鐘音樂網(wǎng)上點播系統(tǒng)

為了讓進入虛擬展廳的訪客更便捷地聆聽編鐘音樂,系統(tǒng)收集整理了編鐘演奏的視頻與音頻等數(shù)字化資源,建立編鐘音樂曲目庫,設計編鐘音樂網(wǎng)上點播系統(tǒng)。系統(tǒng)將編鐘演奏名曲,如《東方紅》《茉莉花》《春節(jié)序曲》《我的祖國》《中國功夫》等發(fā)布至編鐘音樂點播平臺,線上免費分享。該系統(tǒng)的開發(fā)不僅可以提高民眾對編鐘樂曲的認識,擴大編鐘音樂的社會影響,還可以彰顯編鐘音律的魅力,促進編鐘文化的傳播與推廣。

4 曾侯乙編鐘虛擬演奏系統(tǒng)的控制程序設計

4.1 在網(wǎng)頁上展示虛擬演奏3D場景的方法

Java 3D最大特性是可以使用Applet作為顯示容器。以下代碼顯示了如何在Applet中顯示虛擬演奏3D互動場景。

Public class HelloUniverse extends Applet {

private SimpleUniverse u=null;

public BranchGroup createSceneGraph(){//創(chuàng)建虛擬演奏場景圖

BranchGroup objRoot=new BranchGroup();

......//設置虛擬演奏場景圖的代碼略

return objRoot;

}

public void init( ) {

....../虛擬演奏系統(tǒng)顯示配置代碼略

Canvas3D c=new Canvas3D(config);

add("Center",c);

universe=new Simple Universe(c);

;//創(chuàng)建簡化的虛擬演奏系統(tǒng)空間

u.addBranchGraph(createSceneGraph();

//向虛擬空間中添加虛擬演奏場景圖

4.2 編鐘虛擬演奏互動中編鐘音節(jié)音高的控制方法

為了實現(xiàn)虛擬場景下曾侯乙編鐘虛擬演奏體驗,平臺在完成編鐘虛擬場景設計之后,借助編程方式,對虛擬場景中編鐘敲擊后的音源響應進行智能化控制。本課題借助Python編程技術創(chuàng)建發(fā)聲觸發(fā)點,訪客在編鐘虛擬場景中觸碰某一編鐘鐘體后,即觸發(fā)給鐘體預先錄制的音源?？刂瞥绦蛉缦?

from playsound import playsound

def play_sound(note):

sound_file = "編鐘鐘體對應的編鐘音源文件路徑"

playsound(sound_file)

觸發(fā)編鐘音符播放的觸發(fā)點后,系統(tǒng)需要對音符播放的音高和延音時長進行控制。為此,可以借助Python的pygame模塊實現(xiàn)音頻播放音高的調解,配合time庫可以實現(xiàn)編鐘音符延續(xù)時長的智能化控制。編碼如下:

from pygame import mixer

pygame.mixer.music.play()

time.sleep(10)

pygame.mixer.music.stop()

借助以上編程控制方法,可以實現(xiàn)多個音節(jié)之間切換開啟與中止的控制,借助Python的fadeout(time)模塊可以實現(xiàn)音節(jié)的淡出處理,解決演奏過程中的爆音問題。

與此類似,其他3個模塊也可以借助Python網(wǎng)絡編程和MYSQL數(shù)據(jù)庫實現(xiàn)。

5 結語

本課題借助3D場景建模技術、Java 3D技術和Python編程技術,根據(jù)現(xiàn)實曾侯乙編鐘演奏場景,完成了曾侯乙編鐘虛擬演奏平臺的搭建。該平臺不僅還原了編鐘的視覺感知和原聲音符,讓體驗者可以在虛擬場景中近距離欣賞編鐘的外形特征,還可以讓訪客體驗敲擊編鐘的聲音音效,實現(xiàn)在虛擬場景中演奏編鐘的愿望。本課題設計的曾侯乙編鐘虛擬演奏平臺,可以更好地推進我國編鐘樂器與現(xiàn)代科技的融合,最大限度地激發(fā)廣大音樂愛好者對編鐘音樂的熱情,拓展編鐘音樂文化傳播的深度和廣度。