交互式電子音樂的構(gòu)成解析

范翎

【摘 要】 以羅伯特·羅以及托德·溫科勒的觀點為參照，提出了交互式電子音樂的信號處理流程的實時表演數(shù)據(jù)化、數(shù)據(jù) 接收與分析、數(shù)據(jù)處理、內(nèi)容輸出等四個步驟，并簡要介紹目前常用的兩款交互音樂軟件。

【關(guān)鍵詞】 交互式電子音樂；交互過程；數(shù)字化；交互音樂軟件；硬件加速器

文章編號： 10.3969/j.issn.1674-8239.2017.12.009

對于音樂藝術(shù)而言，實時化的舞臺表演是其最為重要的傳播途徑?，F(xiàn)場表演所具有的個體差異、即興化程度以及不確定性等都是構(gòu)成舞臺表演獨特魅力的重要方面，而表演過程中的視覺信息傳達(dá)也是音樂審美體系構(gòu)成中不可或缺的重要組成部分。

交互式電子音樂的發(fā)展始終依靠科技所給予的強大生命力而不斷前行，從某種程度上說，其歷史進程既可以被看作是舞臺呈現(xiàn)不斷多元化與科技化的過程，也可以被看作是人的實時化主觀行為對作品構(gòu)架影響不斷加深的過程。隨著數(shù)字時代的到來，計算機所提供的數(shù)字化環(huán)境為藝術(shù)媒體的存在方式提供了無限的可能，同時，以數(shù)字為媒介所構(gòu)建的信息通信平臺使各類藝術(shù)媒體的融合與轉(zhuǎn)化變得極為便捷。交互式電子音樂不斷融合多種藝術(shù)媒體，并形成了具有高度設(shè)計感和不確定性的藝術(shù)形式，其發(fā)展的源動力在于不斷涌現(xiàn)的各類多運算邏輯、設(shè)計方法、控制手段、媒體關(guān)系以及舞臺呈現(xiàn)形式。

當(dāng)代交互式電子音樂盡管形式多樣、姿態(tài)萬千，但其交互過程的基本構(gòu)成則雷同。筆者參照羅伯特·羅（Robert Rowe）（美）以及托德·溫科勒（Todd Winkler）（美）對交互式電子音樂的交互過程解析，提出了交互式電子音樂的信號處理流程的“實時表演數(shù)據(jù)化、數(shù)據(jù)接收與分析、數(shù)據(jù)處理、內(nèi)容輸出”四個步驟，并簡要介紹目前常用的兩款交互音樂軟件。

1 構(gòu)成要素的全面數(shù)字化

在優(yōu)質(zhì)的程序設(shè)計的前提下，表演者能夠利用不同的表演途徑，通過主觀化的行為動作盡情表達(dá)對作品的獨特理解與感悟，而在此過程中，交互程序作為構(gòu)建作品結(jié)構(gòu)的基礎(chǔ)與保障，其不僅體現(xiàn)了作曲家對于音樂要素體系構(gòu)架的觀念，也蘊含了多種藝術(shù)媒體間交匯融合方法與手段，因此，交互程序設(shè)計中所涉及的信號分析、信息流程、邏輯運算、數(shù)據(jù)轉(zhuǎn)換以及數(shù)據(jù)映射的方法都將直接影響到作品最終的呈現(xiàn)效果。

建立在計算機技術(shù)之上的媒體數(shù)字化是電子音樂實現(xiàn)多元化交互前提。正如古希臘哲學(xué)家畢達(dá)哥拉斯所信奉 “萬物皆數(shù)”的思想一樣，當(dāng)計算機能夠?qū)⒁磺修D(zhuǎn)化為數(shù)的時候，萬物便歸于統(tǒng)一，物質(zhì)世界便也能夠通過虛擬環(huán)境實現(xiàn)能量，甚至實物的相互轉(zhuǎn)化。交互式電子音樂的構(gòu)成極為復(fù)雜，不僅體現(xiàn)在外化的形式以及媒體構(gòu)成等方面，也體現(xiàn)在內(nèi)在的數(shù)據(jù)處理以及運算邏輯等步驟。當(dāng)人的行為、聽覺媒體、視覺媒體的構(gòu)成要素能夠轉(zhuǎn)化為相應(yīng)的數(shù)據(jù)體系時，數(shù)字環(huán)境下的交互表演與交互創(chuàng)作便成為現(xiàn)實。通過數(shù)據(jù)映射，不同媒體間能夠建立起復(fù)雜的參數(shù)鏈接關(guān)系，人的舉手投足、樂器音高的上下起伏、畫面結(jié)構(gòu)的除舊布新都能夠引起其他藝術(shù)媒體的實時改變，從而在其相互作用的過程中完成作品的多元化呈現(xiàn)。

2 交互過程的解析

盡管交互式電子音樂的外化形式千變?nèi)f化，但其數(shù)字化交互過程中的技術(shù)構(gòu)成卻具有一定的規(guī)律。加拿大的馬塞洛·莫特森·萬德烈（Marcelo Mortensen Wanderley）和意大利的尼古拉·奧利奧（Nicola Orio）認(rèn)為：“在音樂中，最顯著的交互行為表現(xiàn)為演奏者對樂器的操控……一旦將計算機視作一件樂器，（這一觀點）將會為音樂文獻(xiàn)研究以及傳統(tǒng)的（音樂）控制評價體系提供巨大的可研究資源范圍，即使許多現(xiàn)存的應(yīng)用程序僅僅再現(xiàn)了一種近似于指揮和樂團之間的交互關(guān)系。”[1]面對如此復(fù)雜的研究對象，許多交互音樂領(lǐng)域的專家學(xué)者都曾對交互式電子音樂的系統(tǒng)構(gòu)架進行過分析與解構(gòu)。

作為交互音樂研究領(lǐng)域的先驅(qū)，羅伯特·羅非常關(guān)注音樂數(shù)據(jù)的通信及處理，他認(rèn)為交互音樂的實時化呈現(xiàn)系統(tǒng)實現(xiàn)了形式化的音樂生成過程，并將交互音樂系統(tǒng)分為三個組成部分。

（1）樂譜驅(qū)動/表演驅(qū)動。紙面寫作與演奏行為的作為信號來源。

（2）變形/生成/音序。通過電子技術(shù)對音樂素材進行處理，從而產(chǎn)生新的結(jié)構(gòu)方式。

（3）樂器/回放。由設(shè)備生成電子音響，并作為現(xiàn)場表演的拓展以及獨立音響而存在。

羅伯特·羅的觀點具有較強的廣義性，其兼具了模擬技術(shù)與數(shù)字技術(shù)在交互系統(tǒng)中的功能特質(zhì)。時至今日，數(shù)字技術(shù)憑借其多個層面的綜合優(yōu)勢，業(yè)已成為媒介交互的核心技術(shù)，而“交互技術(shù)”幾乎等同于“數(shù)字交互技術(shù)”。

托德·溫克勒在《交互音樂創(chuàng)作—Max應(yīng)用技術(shù)和理念》一書中將交互音樂的流程分為行為輸入（Human input）、計算機接收與分析（Computer listening，performance analysis）、編譯（Interpretation）、計算機作曲（Computer composition）以及聲音輸出與表演（Sound generation and output，performance）等五個步驟。

由于現(xiàn)有的交互程序大都將“分析”與“編譯”合并于同一物件中，同時，交互式電子音樂所涉及的研究對象較為紛繁復(fù)雜，并且都統(tǒng)一于數(shù)字形式，因此，筆者以羅伯特·羅以及托德·溫科勒的觀點為參照，將交互式電子音樂的信號處理流程分為以下四個步驟，如圖1所示。

（1）實時表演數(shù)據(jù)化。將人的各類實時表演行為及其所產(chǎn)生的結(jié)果轉(zhuǎn)化為數(shù)據(jù)過程，其中包括聽覺信息與視覺信息的數(shù)字化，以及通過各類偵測系統(tǒng)將表演行為轉(zhuǎn)化為數(shù)據(jù)形式。

（2）數(shù)據(jù)接收與分析。計算機接收由行為轉(zhuǎn)化所形成數(shù)據(jù)的過程，一方面將音頻與視頻數(shù)據(jù)作為待使用的媒體內(nèi)容輸入緩存，另一方面對音頻與視頻數(shù)據(jù)進行分析，將由此形成的控制源數(shù)據(jù)輸入緩存，或直接將由偵測系統(tǒng)所生成的控制源數(shù)據(jù)輸入緩存。endprint

（3）數(shù)據(jù)處理。通過對各類數(shù)據(jù)進行路徑分配、邏輯運算、值域轉(zhuǎn)換以及關(guān)聯(lián)映射等處理，實現(xiàn)對目標(biāo)物件的有效控制，并生成全新的媒體數(shù)據(jù)。

（4）內(nèi)容輸出。依靠不同樣式的媒體呈現(xiàn)方式完成作品的最終形態(tài)。

在利用計算機處理交互關(guān)系的過程中，人的行為、媒體內(nèi)容、控制信息等都被轉(zhuǎn)化為數(shù)字形式，并按照作曲家所設(shè)計的信號流程與運算邏輯進行處理，因此，從某種程度上說，“人機交互”從本質(zhì)上說依然是“人人交互”。作曲家通過交互程序設(shè)計記錄創(chuàng)作意圖，這一過程類似于傳統(tǒng)音樂創(chuàng)作中的樂譜寫作，而計算機則成為了將“樂譜”轉(zhuǎn)化為現(xiàn)實的工具。由于這一過程建立在人的實時控制行為的基礎(chǔ)之上，因此，便形成了具有高度不確定性的，表現(xiàn)為“人機交互”的呈現(xiàn)過程。

3 交互音樂軟件

計算機程序或多或少都存在一定的交互性，而交互的程度則取決于它們?nèi)绾螌Σ僮鬟M行響應(yīng)，以及由此引發(fā)的操作主體的反應(yīng)。例如，視頻播放軟件的交互性較弱，用戶除了能夠選擇播放片源、調(diào)整音量、改變清晰度或在線發(fā)表評論以外，無法對所播放的視頻內(nèi)容進行任何修改。而網(wǎng)絡(luò)游戲的交互性較強，用戶能夠通過預(yù)先設(shè)定的虛擬行為任意地改變所處的虛擬環(huán)境，甚至通過網(wǎng)絡(luò)建立虛擬的人際關(guān)系，從而完成一定的虛擬任務(wù)。

對數(shù)字技術(shù)平臺支持下的多媒體交互而言，其實質(zhì)是在人的行為控制下的數(shù)據(jù)轉(zhuǎn)換與映射。作為數(shù)據(jù)運算的核心，計算機需要結(jié)合一定的交互軟件實現(xiàn)數(shù)據(jù)的接收、處理及輸出等功能，同時，為保證交互的實時性，數(shù)據(jù)處理的響應(yīng)時間需控制在人所能感知到的延遲范圍內(nèi)。除了硬件限制所導(dǎo)致的延遲問題以外，大部分的實時處理與分析需要建立在對聲音采樣、存儲基礎(chǔ)之上，無論是延遲回放或是音頻分析，都會產(chǎn)生在原始信號與轉(zhuǎn)換信號之間的延遲。因此，為了解決實時響應(yīng)的問題，除需計算機擁有強大的運算能力、高效的數(shù)據(jù)存儲與讀取能力以外，還需要結(jié)合科學(xué)而高效的算法以應(yīng)對復(fù)雜的數(shù)據(jù)構(gòu)成。

目前，交互音樂或交互媒體藝術(shù)相關(guān)的計算機軟件平臺的開發(fā)呈現(xiàn)出多元化、綜合化以及開源化等特點。憑借現(xiàn)有的硬件運算能力，通過在筆記本電腦上安裝Ableton Live、Traktor或Reason等軟件便能輕松地實現(xiàn)實時交互音樂表演。但這一類軟件的開發(fā)者出于提高易用性的考慮，往往會將多數(shù)細(xì)節(jié)功能進行封裝，因此很難完成極富創(chuàng)意的個性化交互設(shè)計。

相對而言，Reaktor、Max、Pure Data（PD）等軟件則能夠提供更為底層化編程環(huán)境，這些可實現(xiàn)個性定制的專業(yè)型軟件近年來也迅速發(fā)展，并在專業(yè)電子音樂與計算機音樂領(lǐng)域成為主流的創(chuàng)作與展演工具。依靠這些軟件平臺，藝術(shù)家們通過可視化的圖形界面，以眾多基礎(chǔ)性的功能模塊搭建屬于個人的交互程序，其中所包含的算法、合成手段以及信號流程等設(shè)計構(gòu)架均具有高度的個性化特征。此外，專業(yè)的交互軟件平臺除支持一般的MIDI控制設(shè)備以外，也能夠通過OSC協(xié)議接受Joysticks、Kinect、Leap Motion等設(shè)備的控制信息，因此，其對于動作行為控制的接受度是極為寬泛的，從而能夠?qū)⒍喾N形態(tài)的表演行為作用于聲音或其他媒體的控制。Csound、SuperCollider、ChucK等專門為音頻所開發(fā)的程序語言能夠為聲音的交互提供強大的創(chuàng)作環(huán)境，通過底層化和開源化的程序語言，設(shè)計的自由度得到了最大程度的釋放。目前，使用最為普遍的專業(yè)交互音樂軟件包括Max、Kyma、PD、Openmusic等。

3.1 Max＼MSP＼Jitter

Max＼MSP＼Jitter是目前運用最為廣泛的圖形化多媒體交互編程環(huán)境，由Max、MSP和Jitter三部分組成，專門為音樂等藝術(shù)媒體開發(fā)。在其20多年的發(fā)展歷程中，已被眾多作曲家、演奏家、軟件設(shè)計人員、研究人員和藝術(shù)家用于藝術(shù)創(chuàng)作、展演以及工程設(shè)計等眾多領(lǐng)域。

Max程序是模塊化的，其擁有一個由眾多被稱為“物件”的例行程序所構(gòu)成的共享數(shù)據(jù)庫，同時，其所擁有的開放式的應(yīng)用程序編程接口（API）能夠接收由第三方所開發(fā)的全新外部物件。開放式程序所提供的寬松設(shè)計環(huán)境為Max軟件使其有更寬泛的應(yīng)用空間，獨具個性的物件和程序，并通過各類在線社交媒體進行發(fā)布和交流，從而使Max成為在商業(yè)與非商業(yè)領(lǐng)域都具有拓展可能性的軟件平臺。除此以外，Max軟件所提供的圖形用戶界面能夠清晰地呈現(xiàn)出程序運行結(jié)構(gòu)，同時也能夠為用戶提供便捷的圖形化操作模式。

設(shè)計完成的Max程序可以被打包成能夠獨立運行的應(yīng)用程序，也能夠打包成為時下主流音頻制作軟件系統(tǒng)的處理插件。同時，隨著筆記本電腦被越來越多地應(yīng)用于現(xiàn)場音樂表演，Max/MSP/Jitter憑借其靈活的個性化設(shè)計空間、較低的系統(tǒng)資源占用以及多媒體整合化優(yōu)勢，因此，被更多的聲音藝術(shù)家以及視覺藝術(shù)家所關(guān)注，成為大多數(shù)跨界藝術(shù)現(xiàn)場表演的核心平臺，是目前擁有最多用戶數(shù)量的交互音樂設(shè)計軟件，其在某種程度上也成為了交互式音樂表演通用化編程語言的代名詞。

3.2 Kyma

Kyma也是一種由“物件”所構(gòu)成的操作平臺，它基于“Smalltalk”語言編寫，這種語言區(qū)別于C、C++、Java或Pascal，專門以開發(fā)聲音為目標(biāo)，能夠為作曲家提供創(chuàng)造和掌控聲音的各類可視化物件，并通過軟件平臺實現(xiàn)對聲音的實時創(chuàng)造和控制。與Max相似，Kyma中的物件也通過連線連接，作曲家能夠清晰地看到信號流程的走向，并通過物件的圖表迅速判斷其功能。

Kyma是一種用于聲音控制、合成，并使其擁有一定特性的語言。與其稱作“圖形化語言”，不如稱為“提供了多種分析和控制數(shù)據(jù)方式的語言”更準(zhǔn)確[2] 。Kyma是一種數(shù)據(jù)驅(qū)動的語言，從根本上來說就是關(guān)于數(shù)據(jù)變形的語言。這種語言通過觀察數(shù)據(jù)、獲取數(shù)據(jù)、變形數(shù)據(jù)來創(chuàng)造想要的多種音樂效果，揭示出數(shù)據(jù)的多方面特性。它是專門為處理聲音合成以及變形、聲音的探索和構(gòu)建、音樂作品的演奏和創(chuàng)作提供優(yōu)化幫助的語言[3]。endprint

相對于Max所采用的更為底層化的語言架構(gòu)方式，Kyma為用戶提供了更多功能整合化程度較高的物件，為用戶的使用提供了便利。與此同時，當(dāng)需要進行更為復(fù)雜或更個性化的參數(shù)設(shè)定時，Kyma則能夠通過在可變參數(shù)區(qū)域輸入CapyTalk，使用邏輯運算、數(shù)據(jù)提取、產(chǎn)生動態(tài)數(shù)據(jù)流、分析和測量聲音參數(shù)等方式實現(xiàn)無限的聲音可能，而CapyTalk本身便是一種編程語言。

Kyma系統(tǒng)由軟件和硬件部分組成，作曲家通過計算機軟件進行聲音編程，而各類參數(shù)的運算則通過專門的硬件部分完成。目前，Symbolic Sound公司能夠提供的硬件音頻加速器包括Pacarana和Paca兩種（見圖2），并且可以通過鏈接多臺Pacarana或Paca實現(xiàn)更為強大的運算能力。專門的硬件加速器代替計算機CPU完成復(fù)雜的聲音運算，這保證了Kyma能夠高效而穩(wěn)定地完成大數(shù)據(jù)量的數(shù)據(jù)運算和處理。

相對于Max而言，Kyma更專注于對聲音本身的合成、變形與表演，因此，其所提供的部分操作界面與Pro tools、Logic等商業(yè)軟件相似，能夠提供更為便捷的編輯和混音功能。

為實現(xiàn)電子音樂的現(xiàn)場交互式表演，Kyma為用戶提供了能夠接受多種外部控制器實時控制數(shù)據(jù)的功能。一方面，硬件加速器為實時響應(yīng)提供了更高級別的穩(wěn)定性與可靠性，另一方面，通過虛擬控制界面編輯器（VCS）中對外部控制器的選擇，用戶能夠?qū)⒖刂破鞯目刂菩畔⑴cVCS中的推子、旋鈕、開關(guān)同步關(guān)聯(lián)，從而實現(xiàn)對物件中各項參數(shù)的實時控制。目前，Kyma所支持的外部控制器包括Wacom、Joysticks、Gametrak、Wii等。除此以外，Kyma也能夠方便地接收外部MIDI、高精度MIDI以及OSC等信息。因此，其對于外部設(shè)備控制信息的接受程度是相當(dāng)寬泛的。

4 結(jié)語

電子音樂的交互程序設(shè)計看似與音樂創(chuàng)作本身相去甚遠(yuǎn)，然而，良好的交互設(shè)計不僅體現(xiàn)了作曲家對舞臺表演行為與音樂之間錯綜關(guān)系的規(guī)劃與設(shè)計，也凝結(jié)了作曲家對于聲音素材的選擇、音高與節(jié)奏的組織甚至不同媒體間建構(gòu)關(guān)系的訴求。雖然與傳統(tǒng)音樂，甚至幻聽電子音樂的創(chuàng)作方式大相徑庭，但對于以交互為原點構(gòu)架媒體內(nèi)容的電子音樂而言，程序設(shè)計本身便是建構(gòu)音樂或其他媒體內(nèi)在結(jié)構(gòu)的基本手段，而與“實時表演數(shù)據(jù)化、數(shù)據(jù)接收與分析、數(shù)據(jù)處理、內(nèi)容輸出”等四個階段的不同設(shè)計，則體現(xiàn)了不同作曲家多元化的創(chuàng)作手段以及創(chuàng)作觀念。

參考文獻(xiàn)：

[1] Marcelo Mortensen Wanderley， Nicola Orio. Evaluation of input devices for musical expression： Borrowing tools from hci[J]. Computer Music Journal， 2002.

[2] Scaletti， C.. Computer Music Languages， Kyma， and the Future[J]. Computer Music Journal， Vol.26（4）， 2002.

[3] Stolet， J.. Kyma and the Sum of Sines Disco Club[M]. lulu.com， 2012.endprint