虛擬現(xiàn)實技術(shù)在電子音樂創(chuàng)作中的應用及其前景

■李 可

（中國傳媒大學，北京，100024）

近年來，虛擬現(xiàn)實（VR）技術(shù)飛速發(fā)展，并開始被各行各業(yè)的普通消費者應用，廣泛進入市場。虛擬現(xiàn)實技術(shù)（后文亦簡稱為“VR技術(shù)”）在音樂行業(yè)中的應用，自然也隨之在藝術(shù)界掀起了有一定強度的浪潮，例如：將電子音樂與光影藝術(shù)相結(jié)合，利用VR技術(shù)產(chǎn)生與以往不同的視聽效果；利用VR技術(shù)生成虛擬歌手，并結(jié)合電子聲音庫里的語音合成虛擬人聲，使之具備歌唱能力；在VR頭盔中配有虛擬鋼琴等樂器，以發(fā)揮學習和練習樂器的功能。但是，像這樣的與電子音樂相關(guān)的各式VR應用，整體上仍然處于開發(fā)、摸索階段，許多具體技術(shù)仍需改進，同時，VR技術(shù)在電子音樂行業(yè)中的應用的理論模式也還有待建構(gòu)。因此，針對VR在電子音樂創(chuàng)作中的應用進行梳理和思考，是提出其應用模式的過程中一個必不可少的環(huán)節(jié)，也有助于我們進一步提出VR在電子音樂創(chuàng)作實踐中的應用設(shè)想及要求。

一、虛擬現(xiàn)實技術(shù)在電子音樂創(chuàng)作中的應用現(xiàn)狀分析

筆者搜集到了VR在電子音樂創(chuàng)作中的幾種應用實例 ，它 們 就 是 Soundstage、Electronauts、The Wave、Block Rocking Beats、The Music Room等幾種電子音樂創(chuàng)作的VR環(huán)境。這幾種VR音樂創(chuàng)作平臺具有一定的代表性，彼此有一些相似之處，但也有明顯的不同。下面，筆者將分別詳析這幾種工具的特點、功能，然后以之為出發(fā)點，嘗試探討將來VR應用于電子音樂創(chuàng)作的相關(guān)設(shè)想及要求。

（一）虛擬音樂工作室應用：Soundstage

Soundstage是基于VR技術(shù)的一款虛擬音樂制作工作室平臺，具有虛擬樂器演奏、錄音以及混音制作等功能，可以模仿音樂人所需的專業(yè)音樂工作室。比如，在這里可以隨手取用MIDI鍵盤、Roland808和一系列合成器等音樂器材。該平臺于2016年7月開始通過Steam Early Access發(fā)售，HTC Vive和Steam VR（目前市面上很常見的兩款VR產(chǎn)品）用戶均可下載使用。

筆者看到，Soundstage的當前版本有三種演示模式：節(jié)奏、合成器和音序器（均提供了范例）。這三種模式下有分別預設(shè)的聲音樣本，在其中同樣可以使用交互控制器去修改或添加新的音軌，也有刪除的功能，如同在真實世界中操作一樣。這款應用的空間容量足夠大，所以幾乎可以隨心所欲地放置器件，彌補某些實體音樂工作室空間不足的缺憾。

在這款應用里也可以選擇使用各種樂器，例如鼓、電子琴等，同時可以體驗在虛擬世界中用發(fā)光的虛擬連接線將這些樂器搭配、連接起來的感覺，這樣的體驗在過去的制作軟件中是找不到的。筆者認為，在虛擬世界中可以毫無顧慮地真切體會器件、樂器、連接線的物理屬性，以及擊打樂器時的真實感，這對過去的軟件中那些太強的電子化、信息化、工程化色彩是一種補充。

在Soundstage提供的每款范例中，都會出現(xiàn)8種不同的工具菜單，菜單操作可以通過手柄控制器上的控制按鈕進行。菜單包括鍵盤、音序器、沙槌、特雷門電子琴、錄音帶（樣本庫）、分割器、振蕩器、揚聲器、采樣、錄音、混合器（4通道）和鼓等。在使用這些工具時，可以用虛擬的發(fā)光連接線把它們接在已經(jīng)設(shè)置好的虛擬插孔上。

圖1 Soundstage用戶選取不同音色聲音樣本

圖1是真實照片和VR環(huán)境的合成圖。用戶正戴著VR頭盔和耳機，手拿帶手柄的控制器，觸碰虛擬世界中的聲音樣本庫，選擇軟件自帶的各種音色。①本文引用互聯(lián)網(wǎng)圖片較多，茲直接列出各圖來源網(wǎng)址，后不贅標。圖1為https://www.ithome.com/html/vr/241261.htm圖2至5為http://www.yxdown.com/vrnews/297237.html圖6至7為https://www.midifan.com/modulenews-detailview-28727.htm圖8至10為http://www.sohu.com/a/225351429_484765圖11為http://www.sohu.com/a/72398111_381245圖12為http://www.paopaoche.net/article/106864.html圖13至15為https://store.steampowered.com/app/425400/Block_Rocking_Beats/

圖2是用戶在VR中連接完成的架子鼓。這里，它們還連接了三個音箱，所以能發(fā)出聲音。每個鼓下面都連接著一個聲音樣本帶，作為其音色。

圖2 Soundstage世界中的架子鼓

在這個空間中，像這樣的設(shè)備連接是相當便捷的。該應用的研發(fā)者將其定義為一種“巢”，還表示過去的技術(shù)雖然逐步發(fā)達，卻讓很多人缺少了對設(shè)備的真實感受。

圖3 Soundstage世界中的沙槌

圖3比較特別，虛擬世界中的沙槌（圖中右側(cè)）也是一個“無線”的裝置。

圖4 Soundstage世界中的音序器

圖4則是一個步進音序器，正在使用三種音色演奏一段簡短的音樂。

圖5 Soundstage巨大的音序器

而在圖5中可以非常明確地看出Soundstage中龐大的音序器。不難數(shù)出，圖中已使用了10種音色。它們正在演奏一段比較復雜的音樂——在音序器中，可以將選取好的音色放在小格子里，亮著的格子表示已經(jīng)放置了聲音樣本，而最亮的那一列是音樂播放進度的標志線。在Soundstage中，可以創(chuàng)建的步進音序器規(guī)模最大為21乘22，算是一個相當大的陣勢了。

（二）虛擬音樂創(chuàng)作工具應用：Electronauts

Electronauts是一款基于VR的虛擬音樂創(chuàng)作工具，可以用來作曲和混音，是Survios公司和獲過格萊美獎的制作人組合Stargate合作而成的，其造型設(shè)計用當代青年的眼光看來很“炫”。要說這個應用的最大特色，應該是其游戲性。

圖6 Electronauts的體驗效果圖

圖6是Electronauts的效果圖，可見該應用的畫面風格十分精美，無論是為用戶設(shè)計的人物造型還是虛擬世界中的設(shè)備，都刻意體現(xiàn)了科幻感。

圖7也是效果圖，有兩名用戶正在敲擊著面前的圓球，并且身處一個類似飛行器的物體上，兩側(cè)還有長著椰子樹的道路，情景化風格相當突出。這無疑可以打動許多熱衷“追夢”的青少年。而如圖8，其“DJ臺”的造型同樣追求“炫酷”，用戶可以在這里選擇各種素材，并控制音量、調(diào)節(jié)音效。

圖7 Electronauts雙人效果圖

圖8 Electronauts兩人站在虛擬DJ桌前

在Electronauts中可以實現(xiàn)“演出模式”（用戶在“DJ臺”前操作控制器，進行樂器的演奏，也可以用手柄控制器擊打虛擬鼓面形成互動），還可以實現(xiàn)播放音樂以及編輯樂曲的功能。在之前提到的“飛行器”的設(shè)置中，用戶可以調(diào)整“飛行器”的滑動速度和周圍顏色。

圖9 Electronauts采樣觸發(fā)模式下的藍色球體

圖10 Electronauts在6個音軌中選擇

通過擊打藍色球體去寫入旋律，是Electronauts中獨具特色的操作。這種具有游戲性、科幻性的設(shè)計打破了常規(guī)音樂制作應用中的音符輸入規(guī)則。

（三）集創(chuàng)演于一體的平臺應用：The Wave平臺和The Music Room平臺

這是兩款應用。先來看The Wave，它最大的特色或許是給DJ帶來一個“炫酷”的表演空間，讓用戶可以盡情地“打碟”，提供非常強烈的沉浸感。當然，比作為一個“表演空間”更重要的是，The Wave平臺也為用戶們帶來了音樂創(chuàng)作上的更多自由。它是2016年在美國硅谷的虛擬現(xiàn)實博覽會上發(fā)布的，當時作為一個電子音樂創(chuàng)作平臺顯得十分“亮眼”。它的創(chuàng)作界面非常直觀，這與出品方對它的定位分不開：面向?qū)I(yè)“電音藝術(shù)家”的VR音樂創(chuàng)作平臺和演出平臺。設(shè)計者希望它能給演奏者們提供一種隨時隨地為來自世界各地的“粉絲”展現(xiàn)精美“音樂秀”的手段。因此，這款應用最有特點的功能大概要算通過互聯(lián)網(wǎng)實時與觀眾互動演出了。當然，網(wǎng)上的用戶也可以自由切換“頻道”，作為觀眾去選擇自己喜歡的VR音樂表演。另外，The Wave還有一個特別之處——其音樂共享的理念：在這個應用平臺上，共享作品非常容易，這是目前其他類似的應用沒有涉及的。不過，The Wave也還有待進一步開發(fā)。

圖11 The Wave效果圖

圖12 The Music Room效果圖

與之近似的一個應用是由Chroma Coda工作室發(fā)布的The Music Room，這款應用著重開發(fā)藝術(shù)家在虛擬空間中使用手勢的功能，利用手勢追蹤技術(shù)去實現(xiàn)樂器演奏。它在有著大量虛擬樂器的基礎(chǔ)上，還擁有完整的Bitwig錄音棚，具有數(shù)字音頻工作站（DAW）的能力，以供用戶進行專業(yè)化的音樂創(chuàng)作。

（四）多人創(chuàng)作實時溝通平臺應用：Block Rocking Beats

2017年7月初，VR音樂應用程序Block Rocking Beats登陸HTC Vive平臺。適配Oculus Rift和HTC Vive頭戴式顯示器的Block Rocking Beats其實是一款VR游戲，但具有音樂創(chuàng)作功能。在這款應用中，用戶可以運用鼓、吉他等樂器創(chuàng)作音樂，還能進行混音等后期制作，但它最特別的地方是支持多人同時創(chuàng)作，并讓這些人進行實時、有效的溝通，分享自己在電子音樂創(chuàng)作中的想法。另外，這款應用也支持用戶在建立音軌的時候在可視化的音頻時間軸下完成。而在創(chuàng)作模式之外，它也能用來進行單純的用戶互動，也就是“音樂主播”模式，而且其舞美燈光的設(shè)計也很精美。

圖13 Block Rocking Beats效果圖

圖14 Block Rocking Beats操作界面

在這款應用中創(chuàng)作完成的音樂作品，可以保存并下載到其他平臺上繼續(xù)使用，這個設(shè)計是十分合理的。當然，它也有多項功能有待完善，開發(fā)者表示后續(xù)版本還將支持把自己創(chuàng)作的音樂分享給其他用戶。

圖15 Block Rocking Beats音樂創(chuàng)作

二、虛擬現(xiàn)實技術(shù)應用于電子音樂創(chuàng)作的未來設(shè)想及要求

目前的VR虛擬技術(shù)在電子音樂創(chuàng)作中的應用還處于初級階段，有些應用甚至不比一個簡單的音樂創(chuàng)作游戲多出太多內(nèi)容。要想擁有真正專業(yè)的、全面的VR電子音樂創(chuàng)作平臺，需要有整體的規(guī)劃。筆者謹此闡述一些關(guān)于VR進一步應用于電子音樂創(chuàng)作的設(shè)想。

（一）全方位虛擬音樂工作室：集成創(chuàng)、制、錄、演

前述的各種VR音樂創(chuàng)作平臺，在技術(shù)方面大都已基本成熟，然而每款的功能都不夠全面，從而沒有完全達到電子音樂創(chuàng)作界的專業(yè)水準。理想狀態(tài)下的虛擬音樂工作室，應該集創(chuàng)作、制作、錄音、演奏于一體，而且是可以多人操作、遠程聯(lián)機的全方位虛擬工作室。

在這樣的音樂工作室中，創(chuàng)作者可以選取各種虛擬樂器及其音色，并在虛擬音軌和音序器中輸入音符或者電子聲音樣本，或錄制虛擬樂器的演奏，以進行創(chuàng)作。基本的電子音樂創(chuàng)作原則在這里不會有太大的改變。在這個基礎(chǔ)上，針對不同樂器的不同演奏方式，需要研發(fā)人員進行進一步的代碼細節(jié)處理，這一步驟顯然也是可行的。

比如，要實現(xiàn)在虛擬世界中拉奏小提琴，其中涉及的技術(shù)就有拿弓、運弓、手指按弦等，而目前HTC Vive中的一款以打保齡球為主題的游戲已經(jīng)實現(xiàn)了這類操作。在該游戲中，用手柄控制器去拿起放在虛擬世界中的地面上的保齡球這一動作，在代碼層面與用手柄控制器拿起琴弓幾乎是一樣的；拿到保齡球后，手臂先后擺再前揮最后投擲的動作，也和小提琴運弓的動作十分相似，只不過在保齡球上要使用拋物線方面的設(shè)計，而拉小提琴則要考慮運弓角度的變化。筆者建議，在虛擬世界的詳細程序開發(fā)中，可以針對不會演奏該種樂器的創(chuàng)作人創(chuàng)建一個特殊演奏模式，即不需要擁有真實演奏的基本功，也能演奏出品質(zhì)可以接受的效果，例如用戶不需要使用真實演奏的按弦力度即可實現(xiàn)該力度下的音響效果。工程師甚至可以開發(fā)出一種對演奏者所奏的每個音符自動做出力度等方面的技術(shù)處理的功能，當然這可能要使用一些人工智能方面的成果。

我們很自然地會有一種疑問：為什么需要做出這樣的設(shè)計？或者說，既然可以用人工智能去處理音樂，我們還需要音樂創(chuàng)作者嗎？筆者認為，答案是顯而易見的。人類在創(chuàng)作音樂的過程中是要遵循一定的規(guī)律的，而創(chuàng)作人對一段旋律的力度處理——哪些地方重一點、哪些地方輕一點——也是遵循音樂欣賞審美規(guī)律，即樂器本身演奏的聽覺審美標準的。我們知道，在基于傳統(tǒng)意義上的個人計算機的電子音樂創(chuàng)作中，即便利用MIDI鍵盤，也不一定能把所有的音源音色準確、完美地呈現(xiàn)出來，仍然需要在計算機上進行一些特殊處理去達到想要的聽覺效果。只不過，現(xiàn)在這些煩瑣的操作都將由人工智能代替，音樂創(chuàng)作者要做的是學會如何使用這些虛擬樂器和虛擬音源去體現(xiàn)自己的靈感，在可預知的未來之內(nèi)，這是技術(shù)無法代替人類的一點。應該指出，即使人工智能可以實現(xiàn)自動作曲，但也不說明它剝奪了人類進行音樂創(chuàng)作活動的權(quán)利和必要性。人類可以利用這些技術(shù)去達成一些目的，但是音樂創(chuàng)作仍然是屬于人類的活動。至于人類寫出的樂曲和人工智能寫出的樂曲各有什么優(yōu)劣，完全是另一個問題。電子音樂創(chuàng)作更是不同于傳統(tǒng)音樂作曲，因為其中的某些音樂結(jié)構(gòu)不同于傳統(tǒng)樂器能夠演奏出的音樂。所以，在VR中需要設(shè)計更多的技巧處理方面的功能，也就是說，VR世界里的音樂創(chuàng)作在技術(shù)上仍然需要得到進一步的提高，而且是大膽的提高。

至于錄音技術(shù)方面，當前可以實現(xiàn)在VR中錄制虛擬樂器演奏的聲音，包括虛擬人聲。不過，如果說到在虛擬世界中進行真實世界中的聲音元素的錄制，目前還是沒有實現(xiàn)，所以在VR世界中為一個真實的歌手錄制演唱現(xiàn)在還是難點，目前的技術(shù)水平可以實現(xiàn)的是在虛擬世界中語音聊天。這就說明我們還需要研發(fā)人員做進一步的研究，開發(fā)一種類似于手柄控制器的、能夠拾取真實環(huán)境中的聲音并且將之與虛擬世界建立聯(lián)系的硬件。這項個任務對技術(shù)有著進一步的要求，但這些技術(shù)并非不可實現(xiàn)：拾取聲音的技術(shù)目前已很成熟，在硬件與虛擬世界之間建立聯(lián)系的技術(shù)也已存在。如果在不久的將來，把這兩種技術(shù)適當?shù)厝诤系酵粋€硬件當中，也就更好地體現(xiàn)出了真實世界與虛擬世界之間的交互。

在演奏方面，因為樂器演奏具有一定的表演性、審美性，所以目前VR中實現(xiàn)的樂器演奏只能說還停留在比較基本的模式上，其觀賞價值并不太高。而要想提高VR演奏的觀賞價值，就得對多個方面提出更高的要求，例如虛擬樂器的音色的質(zhì)量、演奏操作的靈敏度、演奏環(huán)境的美觀程度，等等。這里，筆者想就舞美的設(shè)計多說兩句：在虛擬世界中實踐舞美，是一件讓人心動的事情——在無限大的虛擬環(huán)境中，無須擔心投入過多的資金，就可以接軌并提升演唱會、演奏會、文藝演出等一切需要舞臺的場所的環(huán)境，甚至最終取代之。舞美設(shè)計的精美化雖然有難度，但也是非常重要、富有意義的。

綜上所述，在技術(shù)實現(xiàn)的基礎(chǔ)上，如果擁有全方位的虛擬音樂創(chuàng)作工作室，將為電子音樂事業(yè)提供巨大的便利。

（二）全新創(chuàng)作聽覺感受：三維空間

目前的VR技術(shù)已經(jīng)可以產(chǎn)生一個逼真的三維虛擬空間，讓使用者如同身臨其境一般及時地、無限制地觀察這個空間內(nèi)的事物。在這里，可以任意擺放虛擬揚聲器的位置，呈現(xiàn)出動態(tài)的聲音效果。虛擬環(huán)繞聲技術(shù)可以利用雙聲道立體聲的硬件，在不增加聲道和音響素材的前提下通過被電路處理過的聲場信號使聆聽者感到聲音來自多個方位，從而產(chǎn)生仿真的立體聲場。VR虛擬音響則可以利用其獨有的全景聲場模擬算法，在將環(huán)境聲和虛擬聲源精確地還原在三維空間里的同時，支持聆聽者頭部旋轉(zhuǎn)和移動情況下的聲場重建。

綜合起來說，基于雙聲道的虛擬環(huán)繞聲技術(shù)的VR系統(tǒng)使聆聽者獲取更優(yōu)質(zhì)的聽覺體驗，根本原因在于利用一些聲學效應產(chǎn)生來自不同方位的聲像，由此不再局限于僅僅處在水平方向上的聲像。①具體來看，虛擬環(huán)繞聲原理應用了人耳聽音的幾種效應，分別是雙耳效應、耳廓效應、人耳的頻率濾波效應以及頭部相關(guān)傳輸函數(shù)等。雙耳效應指出，同一聲源到達兩耳有細微的時間差，同時還具有強度差和相位差。而耳廓效應主要是說耳廓在人的聽覺系統(tǒng)對外部聲源的定位過程中能發(fā)揮非常重要的作用。人耳的頻率濾波效應主要是說人耳對不同頻段的聲波有著不同的定位判定方法，比如相位差可以定位20至200赫茲的低音，強度差可以定位300至4000赫茲的中音，而時間差主要用來定位高音。頭部相關(guān)傳輸函數(shù)則主要是關(guān)于不同方位的聲音在人的聽覺系統(tǒng)中產(chǎn)生相對不同的頻譜的。把虛擬環(huán)繞聲技術(shù)用到電子音樂的創(chuàng)作中去，就可以利用“三維聲像”生產(chǎn)出不同于以往的電子音樂效果，甚至可以通過創(chuàng)作者在虛擬世界中的位移而不斷引發(fā)“三維聲像”的重建，碰撞出更新穎的音樂效果。這將催生實時交互式電子音樂作品的新突破，甚至有助于將舞蹈與電子音樂創(chuàng)作相結(jié)合，產(chǎn)生實時交互的電子音樂舞蹈作品。

概言之，VR環(huán)繞聲的出現(xiàn)使得電子音樂創(chuàng)作的探索空間大大拓寬。在虛擬世界中，創(chuàng)作者可以隨意擺放不同樂器的“三維聲像”，追求自己滿意的結(jié)果。當然，這也需要研發(fā)人員在虛擬世界中再建一個小的虛擬世界，即“三維聲像”世界，以方便創(chuàng)作者去擺放。通過不斷進行大量的這方面的創(chuàng)作嘗試，就會逐漸探究出一些創(chuàng)作規(guī)律。而或許比這更加令人興奮的是，我們可以利用VR環(huán)繞聲在電子音樂的創(chuàng)作中實現(xiàn)“用戶位移感”，讓人的位置的移動帶來“三維聲像”的改變。從藝術(shù)功能角度來說，VR環(huán)繞聲在電子音樂創(chuàng)作中如果廣泛應用，不僅可以為傳統(tǒng)的電子音樂的創(chuàng)作添加新思維，還可以培養(yǎng)一種全新的聽覺審美?；谔摂M音響的“不設(shè)限”，有望突破過去的電子音樂創(chuàng)作中的意象空間與音響空間，誕生新的創(chuàng)作技法體系。

綜上所述，隨著VR建模技術(shù)、虛擬環(huán)繞聲技術(shù)、VR硬件等方面的不斷成熟，VR應用于電子音樂創(chuàng)作的前景越發(fā)良好。筆者大膽設(shè)想，VR的普及將會對未來的電子音樂作品的聽覺效果產(chǎn)生比較明顯的影響，并推動電子音樂創(chuàng)作技法的創(chuàng)新和發(fā)展。而借力VR的實時交互式電子音樂創(chuàng)作，甚至可以參與到催生新的藝術(shù)創(chuàng)作方式的歷史進程中去。