以Wii Remote為控制手段的交互音樂創(chuàng)作探索

李云鵬

摘要：作為電子音樂的一種類型，交互音樂，特別是以計(jì)算機(jī)為創(chuàng)作平臺，基于外部控制器的交互音樂的發(fā)展方興未艾。無論是從創(chuàng)作手段，還是從音響效果來看，這種音樂與科技相結(jié)合的模式都代表了一種新的音樂創(chuàng)作思路，具有其獨(dú)特的藝術(shù)魅力和研究價(jià)值。在本文中，筆者試圖以 Wii Remote為控制器，結(jié)合古箏音源Chinese Zheng作為載體，在Max/MSP平臺上來探索這種音樂的創(chuàng)作。

關(guān)鍵詞：交互音樂 Wii Remote Max/MSP

交互音樂，是一種使用傳統(tǒng)聲學(xué)樂器、計(jì)算機(jī)系統(tǒng)及現(xiàn)代音響等設(shè)備，由表演者以“人機(jī)交互”的形式，與預(yù)制程序協(xié)作完成音響的音樂類型。

交互音樂的創(chuàng)作，包括“作品設(shè)計(jì)”和“演奏設(shè)計(jì)”兩方面內(nèi)容?！皠?chuàng)作”是制定相應(yīng)的規(guī)則，確立音樂內(nèi)容，觸發(fā)方式及整體架構(gòu)，讓交互的結(jié)果具有一定的預(yù)見性，并以程序、樂譜的形式體現(xiàn)?！氨硌荨眲t是在這種規(guī)則和架構(gòu)的約束下完成具體的音響。因?yàn)樵诿看伪硌輹r(shí)控制器產(chǎn)生的具體參數(shù)值都是在一定范圍內(nèi)波動的，所以每次實(shí)現(xiàn)的音響結(jié)果也不同，最后就實(shí)現(xiàn)了“有控制的隨機(jī)”音響效果。

一、作品設(shè)計(jì)

（一）人機(jī)交互平臺的設(shè)計(jì)

“交互”，本意是“交流和互動”。作為一種現(xiàn)象，“交互”發(fā)生在至少兩個(gè)個(gè)體之間。在交互音樂的概念中，“交互”實(shí)質(zhì)上代表的是“人機(jī)交互”，它是實(shí)現(xiàn)音樂創(chuàng)作和表演的核心。人機(jī)交互，是一門研究系統(tǒng)與用戶之間的互動關(guān)系的技術(shù)。利用這種技術(shù)，可以讓計(jì)算機(jī)或各種機(jī)器與人交流。交互音樂的實(shí)現(xiàn)，正是依靠建立在人機(jī)交互平臺下的設(shè)計(jì)和表演行為。其中，前期只有解決了交互平臺和方式的問題，才能為實(shí)現(xiàn)相應(yīng)的音響結(jié)果提供可能。具體而言，可從以下幾個(gè)方面來著手：

1.控制器

從本質(zhì)上看，使用任何控制器，其控制流程及目的均無區(qū)別。作品的交互平臺是在計(jì)算機(jī)上構(gòu)建的，所以這個(gè)流程是：外部控制器產(chǎn)生數(shù)據(jù)→計(jì)算機(jī)處理→觸發(fā)音響。理論上，只要能和計(jì)算機(jī)相連接的輸入設(shè)備，如鍵盤、鼠標(biāo)等均能實(shí)現(xiàn)控制功能。但這些計(jì)算機(jī)傳統(tǒng)輸入設(shè)備用作控制器時(shí)有它們自身的局限性，如設(shè)定鍵盤的某些動作，可能會與操作系統(tǒng)或別的程序的快捷鍵相沖突；設(shè)定鼠標(biāo)的某些動作，也可能會做出某些干擾程序運(yùn)行的點(diǎn)選操作。所以，最好的途徑是使用專用的外部控制器，如游戲機(jī)Wii的控制器Wii Remote。

Wii Remote是用于任天堂游戲機(jī)Wii上的控制器，這種控制器的標(biāo)準(zhǔn)配置是由Core和Nunchuk兩部分組成的，具有新穎的控制手段和豐富的功能。如3軸加速度傳感器可以檢測使用者的運(yùn)動方向及加速度大?。患t外感應(yīng)頭具有矩陣的功能，可檢測外部控制點(diǎn)的平面坐標(biāo)位置；類比搖桿可以產(chǎn)生一系列二維數(shù)組；各類按鍵可以實(shí)現(xiàn)基本的觸發(fā)功能；LED燈可顯示游戲主機(jī)或計(jì)算機(jī)發(fā)回的信息等。

另一方面，控制器采用通用的藍(lán)牙方式與游戲主機(jī)連接，這就為后面的交互控制提供了可能。同時(shí)，通過對Wii Remote各種控制模式的研究，可得出如下結(jié)論：基本功能按鈕以及十字方向控制按鈕會產(chǎn)生瞬時(shí)性的整點(diǎn)數(shù)據(jù)，而類比搖桿、紅外感應(yīng)頭、3軸加速度傳感器則會產(chǎn)生持續(xù)性的浮點(diǎn)數(shù)組數(shù)據(jù)。

2.軟件平臺

軟件平臺是形成人機(jī)交互界面的基礎(chǔ)。人機(jī)交互界面能夠?qū)崿F(xiàn)人的行為與計(jì)算機(jī)之間的互通。在創(chuàng)作過程中，人機(jī)交互界面主要實(shí)現(xiàn)載入音源、效果器、反饋音樂結(jié)構(gòu)信息等功能。這個(gè)平臺又可細(xì)分為宿主軟件和構(gòu)件兩部分。

作為宿主軟件，Cycling 74公司出品的Max/MSP是一個(gè)強(qiáng)大的圖形化音樂程序編輯系統(tǒng)，也是常用的交互作曲創(chuàng)作工具之一。這個(gè)軟件擁有一個(gè)圖形化的友好編程環(huán)境，編程時(shí)只需將不同功能的構(gòu)件（object）加以連接，而不用鍵入大量文本語句。這些構(gòu)件都具有強(qiáng)大的擴(kuò)展能力，可以根據(jù)需要編寫，與不同的軟硬件相連接。

構(gòu)件方面，則可使用名為tk.wii的第三方構(gòu)件，這個(gè)構(gòu)件通過計(jì)算機(jī)的藍(lán)牙適配器與Wii Remote傳遞信息，從而與宿主程序?qū)?，最終實(shí)現(xiàn)交互目的。它能實(shí)現(xiàn)與Wii Remote的雙向通訊，既可將動作信息接收到宿主軟件中，又可將產(chǎn)生的信息反饋到Wii Remote上的振動馬達(dá)或LED燈上。

（二）音樂材料設(shè)計(jì)

在傳統(tǒng)音樂的創(chuàng)作過程中，音樂材料的構(gòu)建是不受限的。作曲者可以按自己的想法和需要，訂立相應(yīng)的音色、演奏法、音列等音樂材料諸要素。而在交互音樂中，音樂材料各要素的實(shí)現(xiàn)，還受制于交互平臺的控制方式和數(shù)據(jù)生成方式。只有適合交互平臺本身特點(diǎn)的音樂材料，才能夠通過人機(jī)交互獲得發(fā)展。否則，材料不可控，也就失去了交互音樂設(shè)計(jì)和表演的意義。音樂材料的構(gòu)建可從以下幾個(gè)方面進(jìn)行考慮：

1.音色

音色的選擇是需要首先解決的問題。在Wii Remote與Max/MSP構(gòu)建的交互平臺上，聲音的觸發(fā)是以數(shù)據(jù)觸及臨界點(diǎn)為條件的。根據(jù)這一特性，音色形態(tài)最為符合的就是點(diǎn)狀音色。從演奏法分類來看，這種形態(tài)的音色主要包括打擊樂器音色、彈撥樂器音色等。本文擬選擇Kong Audio公司的古箏音源Chinese Zheng作為實(shí)驗(yàn)對象，原因是古箏音色的音頭非常突出，各類數(shù)據(jù)能比較容易和及時(shí)地觸發(fā)出音響。

2.音列

鑒于該音色所代表的中國民族音樂風(fēng)格特征，音列的設(shè)計(jì)也可與之對應(yīng)，如可將其設(shè)定為民族音樂中的母體三音列形式，即大2度加小3度的結(jié)構(gòu)，首音可從符合樂器音域的任意音高開始。在音樂其后的發(fā)展過程中，則根據(jù)需要，通過表演者對按鍵的控制，將原始三音列進(jìn)行“移調(diào)”處理，以實(shí)現(xiàn)音高的運(yùn)動和發(fā)展。同樣，基于音列和風(fēng)格相對應(yīng)的考慮，每次移調(diào)后的音列仍在新調(diào)上的自然音級上構(gòu)成。同時(shí)，當(dāng)兩組三音列相連接時(shí)，通過相應(yīng)的技術(shù)手段，排除相鄰音之間產(chǎn)生大二、小七度，增四、減五音程的可能性。

（三）特效處理設(shè)計(jì)

嚴(yán)格地說，特效處理，其目的也在于得到一些特定的音色，即屬于音色設(shè)計(jì)的內(nèi)容，但這與前述“音色”又有區(qū)別。前述的音色，對應(yīng)真實(shí)樂器本身發(fā)出的聲音。而經(jīng)過特效處理生成的聲音，是聲學(xué)樂器不可能發(fā)出的，是經(jīng)過計(jì)算機(jī)效果器處理之后的聲音。真實(shí)聲音和經(jīng)過處理之后的電子音響的結(jié)果，也是電子音樂典型的音響形態(tài)。在設(shè)計(jì)過程中，可使用效果器插件進(jìn)行實(shí)時(shí)處理，如可選擇Lexicon Pantheon II混響器插件和GRM Band Pass Stereo帶通濾波器插件。將Nunchuk上的類比搖桿對應(yīng)Pantheon II混響器的混響時(shí)間和干濕聲比例控制器，可以方便地控制聲音的空間屬性。在演奏時(shí)，通過控制兩者的比例，可實(shí)現(xiàn)聲音在不同的“空間”中穿梭的效果。同時(shí)，這個(gè)類比搖桿還可被分配到類似GRM Band Pass Stereo這樣的濾波器上。通過類比搖桿的不同方位控制，可以實(shí)現(xiàn)諸如帶寬、頻率截止點(diǎn)等參數(shù)的變化，從而產(chǎn)生實(shí)時(shí)濾波的音響效果。

（四）織體及結(jié)構(gòu)的設(shè)計(jì)

設(shè)計(jì)織體時(shí)，必須充分考慮控制器自身的特點(diǎn)，及其觸發(fā)音響的方式。Wii Remote的Core部分最具特色的控制方式在于加速度感應(yīng)。這種感應(yīng)只檢測當(dāng)前動作的加速度，并不反映絕對速度信息（如勻速運(yùn)動在Core上無任何數(shù)據(jù)反應(yīng)），這就決定了控制器在觸發(fā)音響時(shí)是以“點(diǎn)”的方式進(jìn)行的，“線狀”織體也是由若干個(gè)“點(diǎn)”連綴而產(chǎn)生。Nunchuk上的類比搖桿，則適合對已生成的織體做實(shí)時(shí)效果處理的控制，這種音樂并非調(diào)性音樂，音高、調(diào)式、和聲等要素對結(jié)構(gòu)的影響已經(jīng)退居到非常次要的位置，音高材料中的“三音列”特性也只是決定作品的風(fēng)格歸屬。然而，在創(chuàng)作的探索過程中，各個(gè)段落不同的寫法會帶來作品織體形態(tài)的明顯變化，這種織體形態(tài)的變化就決定了作品的宏觀結(jié)構(gòu)。

捕捉此次創(chuàng)作探索所實(shí)現(xiàn)的作品音響，還可以發(fā)現(xiàn)織體的變化，也影響振幅的變化，最終體現(xiàn)出這種宏觀結(jié)構(gòu)的設(shè)計(jì)結(jié)果。將振幅進(jìn)行相對定量分析后，借用音樂表情術(shù)語的表示方式，可將其大致的變化脈絡(luò)歸納為p→mf→f→mp。同時(shí)，可將音響、振幅特征，音響實(shí)現(xiàn)形式與宏觀結(jié)構(gòu)特征的關(guān)系歸納如下：

1.段落I（p）：呈示段落，以樂音作為音響形態(tài)，以單音構(gòu)成點(diǎn)狀織體，通過甩動Core，使用Nunchuk上的類比搖桿控制混響器參數(shù)來實(shí)現(xiàn)音響。

2.段落II（mf）：發(fā)展階段1，以“先樂音，后噪音”作為音響形態(tài)，以長音模擬“搖指”演奏法帶來線狀織體，通過甩動Core，使用①、②鍵控制織體厚度，使用Nunchuk上的類比搖桿控制濾波器參數(shù)來實(shí)現(xiàn)音響。

3.段落III（f）：發(fā)展階段2與高潮段落，以樂音和噪音的對置作為音響形態(tài)，通過拍琴體的噪音音響帶來塊狀織體，以甩動Core來實(shí)現(xiàn)音響。

4.段落IV（mp）：動力再現(xiàn)段落，以樂音作為音響形態(tài)，以雙音構(gòu)成點(diǎn)狀織體，使用和段落I同樣的方式來實(shí)現(xiàn)音響。

作品結(jié)構(gòu)的設(shè)計(jì)，除包括作曲者事先完成的“宏觀結(jié)構(gòu)”設(shè)計(jì)外，還包括演奏過程中完成的“微觀結(jié)構(gòu)”設(shè)計(jì)。這種設(shè)計(jì)主要體現(xiàn)在演奏員按照一定的邏輯，有控制地完成節(jié)奏、音區(qū)的發(fā)展，以及音色調(diào)制變化軌跡等具體內(nèi)容，并與“宏觀結(jié)構(gòu)”相對應(yīng)，共同實(shí)現(xiàn)音響。

（五）樂譜設(shè)計(jì)

傳統(tǒng)音樂的記譜法因其表現(xiàn)的是聲學(xué)樂器的演奏法，所以在交互音樂中，顯得捉襟見肘。在這種交互音樂中，我們需要將控制器視為一種新的樂器，結(jié)合傳統(tǒng)音樂的記譜法，擴(kuò)充其中的符號集合，使其既能符合控制器的要求，又能表現(xiàn)一些交互音樂的演奏特征。

傳統(tǒng)音樂由于其演奏結(jié)果基本已經(jīng)提前預(yù)知，所以其生成的樂譜也就相對固定。但交互音樂的樂譜設(shè)計(jì)只能也只需體現(xiàn)出設(shè)計(jì)的基本意圖，所以樂譜并非完全固定，只是在音樂的大致發(fā)展方向上有所提示。在這種樂譜中，有些已經(jīng)設(shè)計(jì)好的音樂材料（如音高等）是不需記錄的，只需要將控制器正確的“演奏法”傳達(dá)給演奏者，具體的音樂材料將會被恰當(dāng)?shù)赜|發(fā)到。在樂譜設(shè)計(jì)的探索過程中，通過TrueType造字程序的輔助，可以得到一套適用于Wii Remote控制器的樂譜符號集，并可將這套符號集在Sibelius 軟件中，生成特定的樂譜。（如下圖所示，譜表中的C指Core，N指Nunchuk。）

二、演奏設(shè)計(jì)

（一）交互音樂中的演奏

演奏，是利用相應(yīng)“樂器”（可以是以物理方式存在的，也可以是以虛擬方式存在于某些宿主中的）通過演奏主體的操作，最終實(shí)現(xiàn)音響結(jié)果的行為。它是音樂成形的最終環(huán)節(jié)。

在音樂的實(shí)現(xiàn)過程中，作曲者從事的創(chuàng)作活動實(shí)際為“首度創(chuàng)作”，即將基本的音響意圖通過樂譜的形式去體現(xiàn)。演奏者從事的演奏活動，則是根據(jù)樂譜塑造音響結(jié)果。在這個(gè)過程中，演奏者會實(shí)現(xiàn)自己的“二度創(chuàng)作”，即在遵循“首度創(chuàng)作”原則的基礎(chǔ)上加入自己的處理。在傳統(tǒng)音樂中，作曲者基本預(yù)知了演奏結(jié)果，音響意圖已經(jīng)非常明顯和具體。所以，演奏所能實(shí)現(xiàn)的“二度創(chuàng)作”空間較小，對于音響輪廓的改變程度也非常小。但在交互音樂中，作曲者前期所設(shè)計(jì)的只是音樂的音列、基本結(jié)構(gòu)、材料的發(fā)展方向等要素，并未預(yù)知具體的演奏結(jié)果。于是，“二度創(chuàng)作”的空間顯得非常廣闊。在這種狀態(tài)下的演奏，時(shí)刻伴隨著“即興作曲”的動作，演奏的過程實(shí)質(zhì)上成了邊創(chuàng)作邊演奏的過程。

另外，在交互音樂演奏的過程中，每次演奏所實(shí)現(xiàn)的音響輪廓都會有一定的差異。演奏者在演奏過程中，需根據(jù)當(dāng)時(shí)聽到的音響即刻做出判斷，操作控制器生成下一步音響。在以古箏為音色載體的創(chuàng)作探索過程中，表演者所面臨就是一個(gè)規(guī)定了基本運(yùn)行框架的“虛擬古箏系統(tǒng)”，演奏者一邊演奏，一邊根據(jù)當(dāng)前所聽到的音響去設(shè)計(jì)和生成其后的音響。

在此次創(chuàng)作探索所實(shí)現(xiàn)的音響中，控制鍵在每個(gè)段落中起到的作用如下：

A鍵在所有段落中均起到初始化數(shù)據(jù)的作用，也即“歸零”；B鍵在I和IV段落中起到切換泛音音色的作用；C鍵在I和IV段落中起到音列移位的作用，而在II段落中起到關(guān)閉所有音符發(fā)聲的作用；Z鍵在所有段落中均起到音區(qū)歸位的作用；H鍵在I-III段落中均起到“進(jìn)入段落”的作用；1鍵、2健分別起到切換為單音模式、雙音模式的作用；類比搖桿則可用來在I、IV段落中控制混響器，II、III段落中控制濾波器。

（二）演奏過程中的人機(jī)交互設(shè)計(jì)

在演奏過程中，演奏員與計(jì)算機(jī)始終是演奏主體密不可分的組成部分。演奏員根據(jù)計(jì)算機(jī)生成的隨機(jī)音響決定下一步的行為，同時(shí)根據(jù)控制器相應(yīng)功能的設(shè)置將這種決定變成音響效果并實(shí)現(xiàn)，以規(guī)范作品的結(jié)構(gòu)和音響的發(fā)展方向。例如，設(shè)定甩動Core，縱向上便會得到不同音高上的搖指音響。但當(dāng)這種音響發(fā)展到一定的階段，便需要將這種織體打薄。演奏員需根據(jù)當(dāng)時(shí)的音響效果，循環(huán)地觸發(fā)Core上的1、2號鍵去輪流消除之前產(chǎn)生的音，以達(dá)到消減音響厚度的效果。此外，計(jì)算機(jī)信息的實(shí)時(shí)反饋也是交互的一個(gè)重要環(huán)節(jié)，它不僅可以起到段落提示的作用，還可以幫助演奏者規(guī)范作品結(jié)構(gòu)，提高演出的成功率。Core下方的四個(gè)LED燈可標(biāo)記出當(dāng)前音樂所處的段落信息，如可將第1 個(gè)LED燈對應(yīng)作品的第一部分，第2個(gè)LED燈對應(yīng)作品的第二部分，等等。同時(shí)，每個(gè)段落音數(shù)達(dá)到限制值時(shí)，會給出一個(gè)震動提示，以方便演奏員處理好音樂段落的“進(jìn)”和“出”。

三、結(jié)語

交互音樂是在信息技術(shù)高度發(fā)展的大環(huán)境下產(chǎn)生的，它綜合了最前沿的控制科技與新音樂作曲手段，能夠提供給我們一種全新的創(chuàng)作及表演方式，具有很大的發(fā)展?jié)摿?。本文針對一個(gè)比較常見的控制器，結(jié)合相應(yīng)的軟件平臺，進(jìn)行了創(chuàng)作探索。實(shí)際上，可以實(shí)施交互控制的方式還有很多，如常見的iPhone、LeapMotion，以及更加高端的GPS、腦電波等。從創(chuàng)作的結(jié)果上來看，交互音樂的創(chuàng)作和表演形式也大量地應(yīng)用在音響裝置、劇場音樂（?。┲?，正是通過這種方式，可以使得表演者與音樂產(chǎn)生高度的關(guān)聯(lián)性，使音響效果具有豐富的色彩，也使得電子音樂的表現(xiàn)形式向著不同維度進(jìn)行更加深入的發(fā)展。

參考文獻(xiàn)：

[1]劉健.關(guān)于電子音樂記譜法的思考[J].黃鐘，1997，（01）.