聲音設(shè)計(jì)與傳感器技術(shù)應(yīng)用探究
——以Alexander Schubert的作品Weapon of choice為例

陳夢(mèng)璐

一、作品簡介與創(chuàng)作背景

（一）作品簡介

Weapon of choice 該作品通過使用傳感器捕捉演奏者的動(dòng)作，并對(duì)其動(dòng)作進(jìn)行數(shù)據(jù)化處理后，從而得到音頻與視頻的實(shí)時(shí)呈現(xiàn)，以多種方式擴(kuò)展了小提琴演奏者表現(xiàn)的可能性。一種新的音樂表演方式被創(chuàng)造出來，使演奏者的整個(gè)身體成為復(fù)雜樂器的一部分，在一個(gè)場景化的、可直觀感知的場域中，基于現(xiàn)場處理的方式來完成的一件作品。

（二）創(chuàng)作背景

這個(gè)作品是在MAX/MSP 平臺(tái)制作完成。交互方式是通過一個(gè)連接在演奏者手腕上的傳感器來實(shí)現(xiàn)的，它可以感知琴弓的方向、速度、力度。在演奏者面前放置了一個(gè)攝像頭，讓他可以通過紅外線感應(yīng)，根據(jù)演奏者的動(dòng)作實(shí)時(shí)創(chuàng)造音頻、視頻，這樣就形成音頻、視頻與演奏者間的互動(dòng)。

在手腕上連接一個(gè)傳感器，使演奏者能夠?qū)崟r(shí)處理演奏的音頻材料。相對(duì)于由作曲家或固定的時(shí)間線來控制音頻處理，這為演奏者提供了很大的自由度和靈活性。此外，作品的結(jié)構(gòu)也試圖拓寬演奏者弓子、手和上半身動(dòng)作相關(guān)的表達(dá)方式。將手勢(shì)融入到場景中，形成了作品的一個(gè)重要部分，在這個(gè)作品中，現(xiàn)場電子和感知到的身體運(yùn)動(dòng)是相輔相成的。通過伸展的弓臂及其動(dòng)作來保持聲音和重新觸發(fā)演奏材料的可能性，將傳統(tǒng)用小提琴創(chuàng)造聲音的方式轉(zhuǎn)變?yōu)橐环N新的形式?，F(xiàn)場視頻完全是通過演奏者的動(dòng)作來創(chuàng)造的。因此，音樂、視頻和動(dòng)作之間的相互作用可以創(chuàng)造出不同形式的同步和對(duì)位。

這個(gè)作品所要表達(dá)的是一種武士精神，它使用較大的動(dòng)作和強(qiáng)大處理播放的材料來詮釋這種武士精神。

二、Wii 傳感器

此作品運(yùn)用到的是Wii 傳感器。我們需要知道的是Wii 傳感器是什么？為什么可以通過傳感器去設(shè)計(jì)聲音？它是怎么實(shí)現(xiàn)聲音的設(shè)計(jì)？

Wii 是任天堂公司于2006 年11 月19 日所推出的家用游戲主機(jī)，Wii 是家用游戲機(jī)的第七代。Wii 的基本硬件包括有主機(jī)、動(dòng)作識(shí)別傳感器、主遙控器和梭形控制器（因兩控制器有線連接而被稱為“雙節(jié)棍”）。

Wii 設(shè)計(jì)里最獨(dú)特的“體感操作方法”，體驗(yàn)者將遙控手柄綁在手上，通過手位置的變化來控制面板的光標(biāo)，從而有效的提取出相應(yīng)的數(shù)據(jù)。也就是說，在作品Weapon of choice 中，演奏者把手持遙控器幫在手上，揮弓力度和速度等數(shù)據(jù)都會(huì)被全記錄，這些數(shù)據(jù)早在之前就設(shè)計(jì)好了對(duì)應(yīng)的音頻、視頻效果的呈現(xiàn)。這樣就可以實(shí)現(xiàn)實(shí)時(shí)交互。演奏者現(xiàn)場產(chǎn)生的聲音效果以及視頻效果就是根據(jù)這些數(shù)據(jù)反饋來的。當(dāng)然這種實(shí)時(shí)交互的每一場都是不一樣的，雖然數(shù)據(jù)是一樣的，但是我們無法保證演奏者每一場都是百分之百完全一樣，在專業(yè)的演奏人員都無法保證演奏同一首，每次都是百分之一百一樣。我們所有的呈現(xiàn)都是根據(jù)演奏者當(dāng)時(shí)演奏情況而來，也就是說，同樣的演奏員揮弓的力度大了一點(diǎn)點(diǎn)；或者快了0.1m；或者演奏人員對(duì)這句的情緒理解產(chǎn)生了新的變化等等，最后導(dǎo)致的音頻、視頻的呈現(xiàn)都是不一樣的。所以實(shí)時(shí)互動(dòng)音樂，每一場都是獨(dú)一無二的。

Wii 有如此靈活出眾的操控方式，歸功于遙控器內(nèi)部的三維加速度傳感器芯片，加速度傳感器芯片負(fù)責(zé)將三維位置的力度和移動(dòng)速度記錄下來，并通過主機(jī)映射到屏幕上。三維加速度傳感器芯片屬于集成電路芯片，可以記錄下物體移動(dòng)速度和位置變化情況。

梭形控制器里面就有三維加速度傳感器芯片，梭形控制器的移動(dòng)速度、方向、力度都被記錄在芯片中，所以演奏者的一舉一動(dòng)都能通過梭形控制器被詳細(xì)的記錄下來，通過藍(lán)牙發(fā)送到主機(jī)，主機(jī)接受到數(shù)據(jù)后通過與之前的位置數(shù)據(jù)進(jìn)行比較和運(yùn)算而得到當(dāng)前的位置，這樣就能實(shí)現(xiàn)屏幕游標(biāo)的改變，演奏員揮桿動(dòng)作相應(yīng)就形成了聲音的變形、音量大小的變化、效果器的變化等。這些聲音設(shè)計(jì)的方法都是來自Wii 在游戲設(shè)計(jì)中的體驗(yàn)。

三、聲音與傳感器之間交互設(shè)計(jì)的實(shí)現(xiàn)

（一）交互設(shè)計(jì)

交互設(shè)計(jì)，又名互動(dòng)設(shè)計(jì)，是定義、設(shè)計(jì)人造系統(tǒng)行為的設(shè)計(jì)領(lǐng)域。它概括了兩個(gè)及兩個(gè)以上個(gè)體之間交流互動(dòng)的結(jié)構(gòu)和內(nèi)容，讓其互相配合，為達(dá)到某種共同的目的。在人機(jī)交互中，交互的三個(gè)要素：機(jī)器/系統(tǒng)、人、界面。交互的方式：輸入和輸出的過程即為交互過程，以人機(jī)界面為媒介向計(jì)算機(jī)輸入指令，經(jīng)過處理后計(jì)算機(jī)把輸出結(jié)果呈現(xiàn)給用戶。交互的形式：交互的形式呈多樣化，是由于這種輸入和輸出的形式是多種多樣的。

（二）聲音與傳感器之間的三重思維設(shè)計(jì)

交互電子音樂設(shè)計(jì)思維是基于抽象藝術(shù)、音樂和作曲技術(shù)理論以及計(jì)算機(jī)之上的一種思維模式，其與以上三門學(xué)科的合作關(guān)系是多維的。交互的不同部分決定了作曲家必須選擇不同的思維模式?！敖换ァ焙汀半娮右魳贰笔菢?gòu)成交互電子音樂的兩大部分，作曲家在演出前完成前期的互動(dòng)流程設(shè)計(jì)，演出過程中則只需扮演演奏者，在計(jì)算機(jī)旁或其他互動(dòng)設(shè)備前進(jìn)行操作。

從技術(shù)和理念的角度看，電子音樂、磁帶音樂和具體音樂呈現(xiàn)的是一種音樂的“結(jié)果”，而交互式電子音樂在追求“結(jié)果”的同時(shí)還追求音樂的“過程”。撇開創(chuàng)作過程不談，交互音樂表演本身就完全顛覆了過去任何一種音樂風(fēng)格的表演方式。身兼數(shù)職的交互電子音樂創(chuàng)作者面臨的最大的挑戰(zhàn)之一就是創(chuàng)作聲音、程序編寫、實(shí)時(shí)演奏的三重設(shè)計(jì)思維。

（三）聲音與傳感器之間的系統(tǒng)設(shè)計(jì)

通常，交互電子音樂系統(tǒng)分為輸入、反饋和輸出三個(gè)組成部分。托德·溫克勒將交互音樂系統(tǒng)的建立總結(jié)為五個(gè)步驟：

步驟一、人為和樂器輸入：通過控制器、傳感器拾取舞臺(tái)表演者的動(dòng)作信息來收集數(shù)據(jù)，轉(zhuǎn)換成數(shù)字信號(hào)輸送到計(jì)算機(jī)。

步驟二、計(jì)算機(jī)讀取與分析：計(jì)算機(jī)讀取信息后，對(duì)音樂元素（如速度、節(jié)奏、音高、音量等）和數(shù)據(jù)信息進(jìn)行翻譯和分析。

步驟三、傳譯：軟件對(duì)計(jì)算機(jī)接收的信息進(jìn)行解釋，生成可以用來制作的數(shù)據(jù)。

步驟四、計(jì)算機(jī)作曲：計(jì)算機(jī)程序?qū)ι鲜錾梢魳返母鱾€(gè)方面做出反饋，進(jìn)入創(chuàng)作過程。

步驟五、聲音生成和輸出、表演：計(jì)算機(jī)創(chuàng)建聲音，通過自身和一系列發(fā)生裝置共同實(shí)現(xiàn)聲音的輸出。

其中，步驟一、二需要傳感器對(duì)弓子的揮動(dòng)力度、速度、方向做出快速、準(zhǔn)確的分析，計(jì)算機(jī)負(fù)責(zé)接收信息。后三個(gè)步驟則由作曲家發(fā)揮其作曲技術(shù)和藝術(shù)想象空間，用弓子的揮動(dòng)力度、速度、方向等給到計(jì)算機(jī)指令，從而使計(jì)算機(jī)得出最后的音樂效果，并使其表現(xiàn)出來。這些表演信息可以用計(jì)算機(jī)程序得出成千上萬種算法表達(dá)，也可以將原始的聲音通過這些算法做出無數(shù)種處理和變形。因此，為創(chuàng)建某種交互電子音樂系統(tǒng)，作曲家不光需要充分發(fā)揮創(chuàng)造能力去創(chuàng)作、設(shè)計(jì)、選擇、調(diào)整，還要設(shè)計(jì)出程序中每一個(gè)具體步驟的具體實(shí)施方案。

在Weapon of choice 曲子中，需要用到外部獨(dú)立軟件OSCulator 運(yùn)行，在OSCulator 中打開OSCulatorpatch，按下“press Pairing”按鈕，這樣程序就會(huì)尋找控制器，之后在按下Wii 控制器里面的紅色按鈕，它就會(huì)創(chuàng)建一個(gè)連接。

交互電子音樂在技術(shù)特征上分為實(shí)時(shí)處理聲音和實(shí)時(shí)控制聲音兩種類型，作品Weapon of choice 使用實(shí)時(shí)處理聲音。這種類型在系統(tǒng)上的設(shè)計(jì)流程是原始采樣聲音——傳感器——計(jì)算機(jī)程序——實(shí)時(shí)合成實(shí)時(shí)變形——聲音輸出。形成演奏者通過樂器與計(jì)算機(jī)系統(tǒng)進(jìn)行實(shí)時(shí)的交互演奏，利用設(shè)計(jì)好的程序?qū)β曇暨M(jìn)行實(shí)時(shí)的合成、變形，在反饋出來，與演奏者進(jìn)行互動(dòng)。作品Weapon of choice 還使用了實(shí)時(shí)控制預(yù)制聲音，這種類型在系統(tǒng)上的設(shè)計(jì)流程是與之聲音數(shù)據(jù)MIDI 信號(hào)——傳感器——計(jì)算機(jī)程序——數(shù)據(jù)映射實(shí)時(shí)處理——聲音輸出。這種交互方式類似于MIDI 技術(shù)的概念，預(yù)先完成音樂的框架，將某種主題聲部和即興聲部之間形成并完成互動(dòng)。觸發(fā)預(yù)制好的聲音數(shù)據(jù)，通過傳感器、數(shù)據(jù)驅(qū)動(dòng)控制器或其他媒介。計(jì)算機(jī)通過對(duì)現(xiàn)場演奏進(jìn)行實(shí)時(shí)映射、處理和改變信號(hào)，完成即興演奏互動(dòng)。

四、作品Weapon of choice 中的聲音設(shè)計(jì)

（一）聲音設(shè)計(jì)的概念

聲音是表達(dá)電子音樂藝術(shù)的核心所在?？梢栽O(shè)計(jì)出屬于自己的聲音對(duì)于創(chuàng)作電子音樂來說十分重要，大多數(shù)作曲家在創(chuàng)作電子音樂時(shí)找尋新的音色、新的方法，使得聲音進(jìn)行合成、組織、變形，讓聲音成為變化參數(shù)，從而可以對(duì)音色進(jìn)行重新塑造。聲音合成，采樣和信息處理算法等都可以實(shí)現(xiàn)音色的重塑。

（二）實(shí)現(xiàn)聲音設(shè)計(jì)的方式

1、采樣與合成

在聲音的選擇方面，作品Weapon of choice 中運(yùn)用了采樣小提琴聲音、合成器聲音。音色重塑的過程，作曲家非常注重聲音品質(zhì)的處理和把握，他所使用的技術(shù)主要包括：分析與再合成、粒子合成、減法合成、梳狀濾波等手段。

2、聲音的預(yù)制

得到合成聲音之后，將這些聲音有理化放置，根據(jù)時(shí)間軸對(duì)聲音的預(yù)制部分進(jìn)行排列。在Max/MSP 里面以羅馬數(shù)字排列聲音模塊的發(fā)聲順序。對(duì)于預(yù)制部分的聲音發(fā)展，Alexander Schubert 在傳統(tǒng)作曲思維基礎(chǔ)上，從設(shè)計(jì)音樂結(jié)構(gòu)到音樂內(nèi)部層次構(gòu)思。一個(gè)音樂形式為發(fā)展中心，通過作曲技巧、各種效果器、合成技術(shù)等方式對(duì)音樂進(jìn)行發(fā)展，這種方法類似傳統(tǒng)音樂寫作中的動(dòng)機(jī)發(fā)展手法。

3、聲音的實(shí)時(shí)

做出整體音樂框架設(shè)計(jì)之后，作曲家通過設(shè)計(jì)好的程序來控制聲音的觸發(fā)、速度及空間效果等。作品Weapon of choice 中對(duì)聲音最基本的控制就是源于弓子的移動(dòng)。從弓子的速度、力度、方向等控制整個(gè)音樂的發(fā)展脈絡(luò)。對(duì)于聲音的實(shí)時(shí)部分，作曲家運(yùn)用Max/MSP做出各種效果器，以弓子的速度、力度、方向等以及音頻工程師，來共同控制著效果器的開關(guān)，強(qiáng)弱。最后呈現(xiàn)的聲音都是根據(jù)現(xiàn)場演奏者的演奏表現(xiàn)出來，具有一定的未知性，這部分主要依靠演奏者的把控、對(duì)音樂的理解等。值得探討的是，全曲沒有固定音高，依靠小提琴演奏者的積累、對(duì)音響、音色、音樂的理解。

4、演奏的感性化理解

在這首曲子里，沒有五線譜、沒有具體的音高關(guān)系。作曲家把譜子圖像化，文字化。所有的演奏都是來自作曲家與演奏人員的溝通，以及演奏者自身的理解。這對(duì)演奏者來說即是一種考驗(yàn)，又是一種對(duì)音樂的新的體驗(yàn)。

圖1

如圖1 傳感器（弓子）與聲音設(shè)計(jì)的應(yīng)用：在這里弓子也就是傳感器，弓子一個(gè)強(qiáng)烈的運(yùn)動(dòng)會(huì)觸發(fā)前100毫秒的記錄，形成時(shí)間上的緩沖區(qū)，這個(gè)緩沖區(qū)然后作為一個(gè)循環(huán)播放，其中弓的音高和方向決定了緩沖區(qū)中循環(huán)的起點(diǎn)和終點(diǎn)(根據(jù)位置不同，它的變化范圍在5到100 毫秒之間)。

這里有‘三名演奏者’分別是小提琴、實(shí)時(shí)電子音樂、預(yù)置聲音（在這里我想強(qiáng)調(diào)的是在我的理解里，以及在我創(chuàng)作混合類電子音樂時(shí)，聲樂樂器是一個(gè)演奏者，雖然實(shí)時(shí)電子音樂是依著于聲樂樂器的產(chǎn)生而產(chǎn)生，但它不是聲樂樂器的附屬與伴奏，而是同等地位的存在。預(yù)置聲音同是。）：第一行Geige 表示小提琴演奏者，這里音樂呈點(diǎn)狀，是要小提琴演奏類似打擊樂聲音，并且保持節(jié)奏循環(huán)；第二行Elektronik 表示實(shí)時(shí)電子音樂，這里作曲家設(shè)置一種聲音效果，由演奏者通過傳感器將實(shí)時(shí)演奏的聲音變形而得到。在這里傳感器是演奏者與電子音樂的媒介。第三行tape 表示預(yù)置聲音，已經(jīng)做好的聲音在這一個(gè)點(diǎn)被觸發(fā)播放出來，這是一種提前做好的音頻素材，只需播放，不需要復(fù)雜的計(jì)算機(jī)演算。最后‘三個(gè)演奏者’一起演奏把這種素材推到一個(gè)高點(diǎn)。這是第一部分。整首作品都是由這‘三名演奏者’完成，就像一個(gè)三重奏的室內(nèi)樂作品。

圖2

如圖2，傳感器（弓子）與聲音設(shè)計(jì)的應(yīng)用：弓子的強(qiáng)烈的運(yùn)動(dòng)觸發(fā)播放之前的材料。這里主要是電子音樂密集的侵蝕入小提琴音樂，與小提琴音樂疊加、交織在一起。這里相應(yīng)了主題：武器。將電子音樂與小提琴音樂看成兩件武器，并相互斗爭著。預(yù)置音樂將這種斗爭升華，使其更加激烈。這在傳統(tǒng)作曲中可以看成復(fù)調(diào)音樂。這是作品的第三部分。

如圖3，傳感器（弓子）與聲音設(shè)計(jì)的應(yīng)用：運(yùn)用弓子來觸發(fā)低音磁帶的循環(huán)播放、觸發(fā)暫停。每次新的強(qiáng)移動(dòng)觸發(fā)16 個(gè)預(yù)置聲音，每次移動(dòng)觸發(fā)循環(huán)播放器開始新的循環(huán)，最后一個(gè)強(qiáng)烈的動(dòng)作觸發(fā)下一個(gè)動(dòng)作。

圖3

作品的第四部分，主要的材料有：直接響亮的聲音、沒有聲音的運(yùn)動(dòng)、直接響亮的聲音、沒有聲音的運(yùn)動(dòng)。這種相互的交錯(cuò)，直至最后‘三個(gè)演奏者’的快速強(qiáng)烈的聲音運(yùn)動(dòng)。

結(jié) 語

本文通過對(duì)傳感器、聲音設(shè)計(jì)相關(guān)問題、創(chuàng)作背景、思維，對(duì)交互電子音樂的概念和特點(diǎn)以及交互中聲音設(shè)計(jì)思維進(jìn)行了梳理?？梢匀齻€(gè)層面挖掘出電子音樂創(chuàng)作中聲音設(shè)計(jì)的整體特征：1、交互電子音樂創(chuàng)作中聲音的三個(gè)特點(diǎn)：控制性、即興性、不確定性。2、交互電子音樂主要研究聲學(xué)樂器與計(jì)算機(jī)之間的互動(dòng)形式，從而開拓音樂創(chuàng)作的邊界。3、交互電子音樂創(chuàng)作的實(shí)現(xiàn)需三種創(chuàng)作思維：創(chuàng)造聲音、編寫程序，實(shí)時(shí)演奏，交互電子音樂實(shí)現(xiàn)的過程需要作曲家思考到每一個(gè)程序、每一步音樂發(fā)展。通過上述研究，希望可以為下一步深入研究交互電子音樂創(chuàng)作的技術(shù)特征和藝術(shù)特征做出鋪墊并提供理論支持。