淺析多媒體音樂(lè)中交互式多聲道實(shí)時(shí)處理平臺(tái)的特征

陳佳

（中國(guó)美術(shù)學(xué)院，浙江 杭州 310000）

淺析多媒體音樂(lè)中交互式多聲道實(shí)時(shí)處理平臺(tái)的特征

陳佳

（中國(guó)美術(shù)學(xué)院，浙江 杭州 310000）

交互式多聲道實(shí)時(shí)處理平臺(tái)是隨著近年來(lái)交互多媒體技術(shù)的興起與音樂(lè)音響科學(xué)的發(fā)展而誕生的運(yùn)用于音樂(lè)創(chuàng)作，特別是電子音樂(lè)創(chuàng)作及現(xiàn)場(chǎng)表演的一種實(shí)時(shí)處理程序，該技術(shù)在未來(lái)作品創(chuàng)作與演出中具有應(yīng)用的廣泛可能，本文對(duì)不同交互式實(shí)時(shí)處理平臺(tái)的基本特征進(jìn)行梳理，意圖通過(guò)本文涉及的內(nèi)容，為將此技術(shù)運(yùn)用于音樂(lè)創(chuàng)作與表演領(lǐng)域的藝術(shù)工作者提供些許經(jīng)驗(yàn)。

交互式 多聲道 實(shí)時(shí)處理 平臺(tái) Max/MSP

1.交互式多聲道實(shí)時(shí)處理平臺(tái)的定義

交互式多聲道實(shí)時(shí)處理技術(shù)是依托近年來(lái)計(jì)算機(jī)軟硬件水平和性能不斷提升而得以快速發(fā)展的并運(yùn)用于多媒體領(lǐng)域的一種技術(shù)手段。該種技術(shù)就其根本而言是交互方式、多聲道技術(shù)及計(jì)算機(jī)高效實(shí)時(shí)處理能力的結(jié)合。以交互式多聲道實(shí)時(shí)處理技術(shù)為核心的平臺(tái)則是一系列互相關(guān)聯(lián)的具有對(duì)外交互屬性，實(shí)時(shí)運(yùn)算能力及多聲道輸出功能且具有外部兼容性的多個(gè)程序的集合。本文研究的交互式多聲道實(shí)時(shí)處理平臺(tái)以音頻處理為首要目標(biāo)，其他多媒體表現(xiàn)方式為輔助手段的目的而進(jìn)行設(shè)計(jì)，故主要關(guān)注不同程序在音頻處理及交互實(shí)現(xiàn)方面的思路及各自特點(diǎn)。

在實(shí)際運(yùn)用中以該類(lèi)平臺(tái)運(yùn)行的邏輯步驟及輸入輸出方式定義，交互式多聲道實(shí)時(shí)處理平臺(tái)能對(duì)一個(gè)或多個(gè)輸入的信號(hào)變量進(jìn)行捕捉并解析為系統(tǒng)可處理數(shù)據(jù)格式 （常為midi數(shù)據(jù)），將數(shù)據(jù)通過(guò)預(yù)置程式轉(zhuǎn)化為各控制器信號(hào)或數(shù)據(jù)，作用于預(yù)置或?qū)崟r(shí)采錄的各種媒體信號(hào)流或各預(yù)置程式上，處理結(jié)果輸出為視頻、音頻信號(hào)及數(shù)據(jù)等形式，并支持多聲道音頻信號(hào)輸出的實(shí)時(shí)處理平臺(tái)。

2.交互式多聲道實(shí)時(shí)處理平臺(tái)的特征

由上文交互式多聲道實(shí)時(shí)處理平臺(tái)的定義不難發(fā)現(xiàn)相較于傳統(tǒng)音頻后期制作平臺(tái)等具有鮮明的特征。交互式多聲道實(shí)時(shí)處理平臺(tái)最為重要的特征屬性有四：最為核心的實(shí)時(shí)交互特性；最為基礎(chǔ)的實(shí)時(shí)高處理特性；最有特色的多聲道特性；最有廣泛代表意義的平臺(tái)特性。

2.1實(shí)時(shí)交互特性

廣義的交互（Interaction）被定義為“發(fā)生于兩個(gè)及兩個(gè)以上的參與者之間的相互影響及交流信息的一系列動(dòng)作及行為”。相對(duì)于傳統(tǒng)的某一事物對(duì)另一事物單傳遞向的成因果關(guān)系的影響，交互行為雙向性的相互影響關(guān)系是其最大特點(diǎn)。

新媒體中特指的交互針對(duì)兩組不同參與對(duì)象關(guān)系含義有所區(qū)別。其一，針對(duì)表演者與觀眾的對(duì)象關(guān)系，交互指使觀眾得以參與現(xiàn)場(chǎng)表演，影響表演進(jìn)程與結(jié)果的一種互動(dòng)形式。其二，針對(duì)預(yù)置程式與現(xiàn)場(chǎng)表演的對(duì)象關(guān)系，交互指現(xiàn)場(chǎng)即興表演通過(guò)某種途徑影響預(yù)置效果，又由預(yù)置效果反作用與表演本身的一種循環(huán)方式。

由于表演者與觀眾之間的交互方式較為多樣且本文又針對(duì)具有交互特性的某一預(yù)置平臺(tái)進(jìn)行研究，故下文闡述的交互特性主要是圍繞預(yù)置程式及現(xiàn)場(chǎng)表演之間的相互關(guān)系這一層次相應(yīng)展開(kāi)。

交互程序無(wú)論其內(nèi)部設(shè)計(jì)如何復(fù)雜，對(duì)外的雙向信息傳遞是必需的。作為程序與用戶或系統(tǒng)外部的溝通連接部件，輸入輸出端自然成為交互設(shè)計(jì)的核心。交互式多聲道實(shí)時(shí)處理平臺(tái)實(shí)時(shí)交互特性主要體現(xiàn)在輸入輸出端與現(xiàn)場(chǎng)表演間的雙向影響與交互：程序能通過(guò)輸入端口實(shí)時(shí)接收多重信號(hào)，經(jīng)由實(shí)時(shí)處理后發(fā)送信號(hào)影響表演者行為及表演進(jìn)程從而進(jìn)行交互。

2.1.1輸入端交互方式

平臺(tái)輸入端口接受一個(gè)或多個(gè)來(lái)源于不同信號(hào)源的信號(hào)變量并進(jìn)行解碼，將信號(hào)譯為系統(tǒng)可理解信號(hào)并作用于程式，由不同變量產(chǎn)生相應(yīng)變化的結(jié)果。

信號(hào)來(lái)源按類(lèi)可分為界面操作（Physical manipulation）、鍵盤(pán)代碼操作（Input using code）、鼠標(biāo)操作（Mouse manipulation）、位置及影像感應(yīng)（Location and Image）、壓力觸發(fā)及多點(diǎn)觸碰感應(yīng) （Haptic interfaces and multi-touch）、勢(shì)態(tài)辨別（Gesture）與聲音，語(yǔ)言識(shí)別（Voice recognition）七大類(lèi)。

以Max/MSP為例，其操作界面內(nèi)滑竿、按鈕及觸發(fā)物件的使用可歸類(lèi)為界面操作；電腦鍵盤(pán)輸入的熱鍵及midi鍵盤(pán)輸入等系統(tǒng)可識(shí)別代碼輸入歸類(lèi)為鍵盤(pán)代碼操作；鼠標(biāo)滑動(dòng)及點(diǎn)擊歸類(lèi)鼠標(biāo)操作；通過(guò)攝影機(jī)及紅外設(shè)備等捕捉物體移動(dòng)及位置輸入信號(hào)的方式可歸為位置及影像感應(yīng)；經(jīng)壓力傳感器，踏板所得信號(hào)歸類(lèi)為壓力觸發(fā)及多點(diǎn)觸碰感應(yīng)；由光學(xué)設(shè)備捕捉后比對(duì)預(yù)設(shè)姿態(tài)而觸發(fā)感應(yīng)歸為勢(shì)態(tài)識(shí)別；而音樂(lè)工程中最為常見(jiàn)的話筒輸入用以傳感及對(duì)信號(hào)的相應(yīng)識(shí)別歸為聲音、語(yǔ)言識(shí)別感應(yīng)。

2.1.2 輸出端交互方式

在多種輸入信號(hào)經(jīng)由系統(tǒng)進(jìn)行相應(yīng)處理后將結(jié)果以音

頻、視頻、數(shù)據(jù)等多種形式實(shí)時(shí)輸出給予表演者、操作者及觀眾時(shí)即可認(rèn)為是輸出端交互的開(kāi)始。輸出端的交互特性并不表現(xiàn)在程序本身，程序輸出信號(hào)的過(guò)程作為程序一次運(yùn)行的終了也是新一輪交互的起始點(diǎn)。對(duì)于輸出的信號(hào)需要表演者、操作者及觀眾給予相應(yīng)反饋或調(diào)整，改變感應(yīng)器或固有信號(hào)的數(shù)據(jù)啟動(dòng)下一輪程序，觸發(fā)下一個(gè)循環(huán)。

交互程序在這樣一個(gè)輸入信號(hào)、輸出信號(hào)互相影響、不斷循環(huán)的狀態(tài)下，在不斷接收并發(fā)送信息的過(guò)程中將原先預(yù)置好的演出效果及結(jié)果進(jìn)行可控制地改變體現(xiàn)其交互的特性。

2.2 實(shí)時(shí)處理特性

隨著計(jì)算機(jī)軟硬件水平的快速發(fā)展，計(jì)算機(jī)的高運(yùn)算效率使得交互程序要求的實(shí)時(shí)處理能力得到很大加強(qiáng)。實(shí)時(shí)處理系統(tǒng)（Real-time processing system）一般指一類(lèi)要求計(jì)算機(jī)對(duì)采集的多路信息分輕重緩急分別在若干秒，若干毫秒，甚至若干微秒內(nèi)完成處理并做出恰當(dāng)反應(yīng)的時(shí)間性要求很強(qiáng)的應(yīng)用系統(tǒng)。

實(shí)時(shí)處理特性也是交互式多聲道實(shí)時(shí)處理平臺(tái)最基本也是最核心的特征。本文中定義的實(shí)時(shí)處理所指的是對(duì)于大量輸入的多路信號(hào)按設(shè)計(jì)的方案進(jìn)行快速且準(zhǔn)確的即時(shí)信息分析、運(yùn)算、整合等方式的處理再分配至多個(gè)輸出端進(jìn)行多信號(hào)發(fā)送。而在此基本處理功能基礎(chǔ)上，交互多聲道實(shí)時(shí)處理平臺(tái)最大的特點(diǎn)與優(yōu)勢(shì)在于對(duì)來(lái)此控制方的指令和命令能實(shí)時(shí)獲取和快速反應(yīng)。

實(shí)時(shí)處理是程序機(jī)動(dòng)性與靈活性的有效保證。優(yōu)勢(shì)具體體現(xiàn)在以下兩個(gè)方面。

其一，程序的實(shí)時(shí)處理功能能對(duì)現(xiàn)場(chǎng)獲得的信號(hào)進(jìn)行快速采錄、改變及再次呈現(xiàn)，使作品的現(xiàn)場(chǎng)效果及演出真實(shí)感得以加強(qiáng)。以最為熟悉的音頻處理為例，音頻處理平臺(tái)，如Nuendo，Cubase及SoundForge等，其常見(jiàn)的樣本音高、長(zhǎng)度改變和樣本反向等手段一般都會(huì)經(jīng)由一段時(shí)間的再次運(yùn)算處理形成一個(gè)新的樣本進(jìn)行播放。而具有實(shí)時(shí)處理能力的程式可以在采錄完樣本后即時(shí)對(duì)材料進(jìn)行多種方式的直接改變且較快地反映在音頻輸出信號(hào)中。基本實(shí)現(xiàn)與原樣本的前后無(wú)縫連接。

其二，實(shí)時(shí)處理的優(yōu)勢(shì)體現(xiàn)在對(duì)現(xiàn)場(chǎng)演出的及時(shí)應(yīng)變能力的很大增強(qiáng)，對(duì)于指令的實(shí)時(shí)監(jiān)聽(tīng)與獲取可以使控制方對(duì)現(xiàn)場(chǎng)情況實(shí)時(shí)調(diào)整數(shù)據(jù)，甚至在短時(shí)間內(nèi)改寫(xiě)程式進(jìn)行快速補(bǔ)救。在演出突然遇到緊急情況，如控制器失靈、感應(yīng)裝置未及時(shí)觸發(fā)或觸發(fā)過(guò)量時(shí)可以切換到備用程式進(jìn)行過(guò)渡，同時(shí)修改程式尋找合適機(jī)會(huì)切回原程式繼續(xù)演出以此保證演出的連貫性及安全性。

2.3 多聲道特性

多聲道技術(shù)以1947年杜比實(shí)驗(yàn)室與EMI錄音室開(kāi)發(fā)Dolby Stereo Film Sound標(biāo)志著進(jìn)入立體聲時(shí)代；1977年杜比實(shí)驗(yàn)室研發(fā)出多聲道環(huán)繞系統(tǒng)Dolby Stereo標(biāo)志著進(jìn)入多聲道環(huán)繞時(shí)代為起點(diǎn)，在二者基礎(chǔ)上發(fā)展而來(lái)的將信號(hào)以建立好的某種模型分配到成某一規(guī)則分布的多個(gè)聲道的一種音頻信號(hào)分配技術(shù)。

交互多聲道實(shí)時(shí)處理平臺(tái)的多聲道部分是平臺(tái)音頻輸出端的核心組成部分。多聲道處理部分是在實(shí)時(shí)處理環(huán)境下通過(guò)程序的編寫(xiě)將本需要通過(guò)音頻后期制作平臺(tái)處理的環(huán)繞多聲道系統(tǒng)嵌入到平臺(tái)中使用。

交互多聲道實(shí)時(shí)處理平臺(tái)多聲道輸出模塊能將實(shí)時(shí)輸入的信號(hào)進(jìn)行處理并立刻使多個(gè)直接輸入或間接變化的變量同時(shí)作用于多聲道輸出信號(hào)，往往這項(xiàng)實(shí)時(shí)改變能力后期制作音頻處理平臺(tái)在非預(yù)先設(shè)置多音軌聲像運(yùn)動(dòng)位置的情況下是不容易達(dá)到的。同時(shí)，多聲道實(shí)時(shí)設(shè)置具有靈活性。與音頻處理平臺(tái)同樣能預(yù)設(shè)軌道路徑，也可實(shí)時(shí)記錄路徑及任意設(shè)置互相關(guān)聯(lián)修改后即立即生效。為適應(yīng)不同聲學(xué)要求和擴(kuò)應(yīng)環(huán)境的場(chǎng)地需要，預(yù)先為立體聲、四聲道、5.1、7.1、八聲道設(shè)置相應(yīng)模板提高系統(tǒng)面對(duì)不同聲學(xué)環(huán)境時(shí)的兼容性。

在Max/MSP軟件中，不同機(jī)構(gòu)及組織根據(jù)對(duì)多聲道方式的理解和側(cè)重方向建立了多套多聲道程式，有Max/MSP軟件自帶的Spatialization，CNMAT設(shè)計(jì)的Panhandler，以及ICST的Ambisonic等，其中以Ambisonic程序功能最為全面。Ambisonic 2.2提供Furse-Malham，Normalized 3D及Semi-Normalized 3D三種多聲道編碼解碼方法為核心分別是全經(jīng)驗(yàn)、全理論及半經(jīng)驗(yàn)理論為指導(dǎo)思路的三套多聲道處理方式。同時(shí)，具有聲相運(yùn)行軌跡設(shè)置及不同聲道模式切換等功能，在Max/MSP設(shè)計(jì)的程序中可以單獨(dú)作為音頻輸出端口使用，與其他程式的兼容程度很高。

2.4 平臺(tái)特征

交互多聲道實(shí)時(shí)處理平臺(tái)與交互多聲道實(shí)時(shí)處理程序的區(qū)別之處在于平臺(tái)需要在程序的基礎(chǔ)上體現(xiàn)其對(duì)于不同情況及需要的適應(yīng)能力。平臺(tái)并非僅為一次演出或某一作品而單獨(dú)設(shè)計(jì)，而是應(yīng)該能應(yīng)用于多個(gè)作品及演出之中。個(gè)人可以根據(jù)自身對(duì)于交互程式、預(yù)置音頻回放程式、實(shí)時(shí)運(yùn)算程式、效果器程式、多聲道輸出及應(yīng)急啟動(dòng)等方面的需要，量身定制個(gè)人操作平臺(tái)為創(chuàng)作、制作及演出服務(wù)。所以一個(gè)交互多聲道實(shí)時(shí)處理平臺(tái)在應(yīng)用上必須具有適用于多個(gè)情況的廣泛性特征。

為具有廣泛的平臺(tái)特征交互多聲道實(shí)時(shí)處理平臺(tái)的各組件應(yīng)具有模塊化的特點(diǎn)。模塊化程序能有效地解決由于程序的過(guò)度復(fù)雜而產(chǎn)生平臺(tái)構(gòu)建上的混亂。各模塊的明確作用能使平臺(tái)搭建的思路脈絡(luò)清晰，對(duì)于初學(xué)者或非專(zhuān)業(yè)編程人員使用已有的專(zhuān)業(yè)機(jī)構(gòu)編寫(xiě)的模塊搭建個(gè)人操作平臺(tái)可以有效避免編程上的邏輯漏洞，對(duì)于較為熟悉編程平臺(tái)的編寫(xiě)者搭建自己的各個(gè)模塊可以更好地適應(yīng)自身的需求，加強(qiáng)整合的效率。

可見(jiàn)相較于交互式多聲道實(shí)時(shí)處理平臺(tái)其他三項(xiàng)特性而言，平臺(tái)性是建立在前三者基礎(chǔ)之上較高一層的特征屬性，將具有前三者能力的各個(gè)環(huán)節(jié)的程序優(yōu)化整合至一個(gè)總體之中，發(fā)揮各個(gè)環(huán)節(jié)功用的過(guò)程即為平臺(tái)構(gòu)建過(guò)程。構(gòu)建一個(gè)能被廣泛應(yīng)用的平臺(tái)是程序設(shè)計(jì)者的最高目標(biāo)。

［1］［美］Josbia Noble.Programming：Interactivity，2006：25-32.

［2］周小東.錄音工程師手冊(cè)［M］.北京：中國(guó)廣播電視出版社，2003：167-216.