交互計(jì)算機(jī)聲音藝術(shù)作品《光》的技術(shù)分析

王春明

作品簡介

杰弗瑞·斯托萊特是美國俄勒岡大學(xué)音樂學(xué)院的教授、院長，1984年畢業(yè)于美國德克薩斯大學(xué)，獲得音樂理論博士學(xué)位。是著名的電子音樂家，音樂家，致力于交互式電子音樂的創(chuàng)作與研究。

《光》創(chuàng)作于2008年，又名《汶川》。這首作品的原意是杰弗瑞在2008年在準(zhǔn)備到四川講學(xué)時(shí)，準(zhǔn)備的一個(gè)范例，內(nèi)容是交互式電子音樂的作品創(chuàng)作中的一些技術(shù)問題。演奏者用兩只微型LED燈來照射電腦屏幕的不同部分，相關(guān)軟件對亮度的偵測會形成數(shù)據(jù)流，而這些數(shù)據(jù)流會作為觸發(fā)音樂的手段?！豆狻肥潜唤芨ト鸱Q為“以數(shù)據(jù)分析為基礎(chǔ)的音樂表演” （data-based musical performance）類型的作品。

使用平臺

微型LED燈、攝像頭和Kyma系統(tǒng)。

Kyma X是為一種軟件和硬件結(jié)合的聲音設(shè)計(jì)系統(tǒng)。

Osculator

OSC是一種軟件，它能夠被應(yīng)用在許多不同的硬件設(shè)備和軟件項(xiàng)目。它允許通過一種設(shè)備產(chǎn)生數(shù)據(jù)流，更新映射為不同類型信息。許多數(shù)據(jù)流能夠按時(shí)接收，重新映射為不同數(shù)據(jù)，然后導(dǎo)出。

在OSC支持的硬件設(shè)備有：

Iphone（使用Touch osc）、wii、Guitar Hero、3D Navigator、Wacom Tablets。

這些數(shù)據(jù)能夠被發(fā)送至許多虛擬midi軟件，如Max、Live，也還有識別OSC信息的系統(tǒng)，如KYMA系統(tǒng)。

OSc也能識別TUIO數(shù)據(jù)，數(shù)據(jù)源自CCV，能夠被OSC接收，然后更新映射和更新。

CCV （Community Core Vision）

CCV的輸出數(shù)據(jù)像OSC（Open Sound Control）信息，發(fā)出一個(gè)特別的本地端口（127.0.0.1 port3333）

使用CCV去創(chuàng)造一種“do-it-yourself”的多觸發(fā)的環(huán)境是可能的，它可以表演音樂或者控制實(shí)時(shí)圖像。

多觸發(fā)界面的出現(xiàn)，可以產(chǎn)生很迷幻效果的可能，好像直覺，多用戶的計(jì)算環(huán)境。CCV使用TUIO草案（Table-TopUserInterfaces Objects）。

TUIO（Table-top User interfaces Objects）

TUIO是一個(gè)開放的框架，定義為常規(guī)的協(xié)議和API（應(yīng)用程序界面）和有形的多元觸控界面。TUIO協(xié)議允許傳輸交互界面的抽象類型，包括接觸事件和有型的對象狀態(tài)。

這個(gè)協(xié)議編碼的控制數(shù)據(jù)來源于一個(gè)跟蹤應(yīng)用程序，傳送至任何客戶端應(yīng)用，能夠?qū)崿F(xiàn)協(xié)議的解碼。

此協(xié)議也使用其他幾個(gè)項(xiàng)目，連結(jié)有形用戶界面和多觸交互界面。API是被一個(gè)軟件程序連結(jié)交互于其他軟件的實(shí)現(xiàn)界面，API應(yīng)用交互于兩個(gè)類似的不同軟件項(xiàng)目之間，這個(gè)途徑為人機(jī)之間的用戶多功能交互界面。

API通過應(yīng)用軟件，數(shù)據(jù)庫和開放系統(tǒng)，去限制他們的詞匯和稱呼以方便性實(shí)現(xiàn)。用來實(shí)現(xiàn)它們的服務(wù)，它包括常規(guī)的說明數(shù)據(jù)結(jié)構(gòu)，項(xiàng)目類何在用戶和API制定者之間的協(xié)議應(yīng)用。

有人可能認(rèn)為周圍環(huán)境的影響是一個(gè)純技術(shù)問題，但是，本人認(rèn)為這些對于燈的影響是一個(gè)挑戰(zhàn)和機(jī)會，是為去產(chǎn)生音樂獨(dú)特的方式。

去設(shè)計(jì)一個(gè)方式解決這個(gè)問題，一邊能夠調(diào)整閾值，是所謂的音符能夠待以觸發(fā)。

每一幀畫面被分成32個(gè)矩形分散在空間內(nèi)，為三列8—16—8。有時(shí)，只是緊緊這32個(gè)位置之一被照亮，這個(gè)發(fā)亮區(qū)域?qū)⒂|發(fā)一個(gè)單音。在另一方面，當(dāng)超過一個(gè)區(qū)域被照亮，這被同時(shí)照亮的多重區(qū)域自然會產(chǎn)生一個(gè)和弦結(jié)構(gòu)的音響。

如果，當(dāng)旋轉(zhuǎn)改變燈的方向，不管是照亮一個(gè)區(qū)域，還是多個(gè)區(qū)域，被照亮的多個(gè)區(qū)域，就不是一個(gè)問題，而是一個(gè)獨(dú)特的創(chuàng)作方式。CCV、NUI、127.0.0.1、port為3333.

使用CCV符合多觸環(huán)境，創(chuàng)作只限于自己的作品，多觸界面的出現(xiàn)，使直觀、多用戶、計(jì)算環(huán)境有很強(qiáng)的潛力。CCV使用TUIO協(xié)議。

此外，杰弗瑞還有利用光線的明暗度操控聲音參數(shù)的作品。

作品分析

1、技術(shù)分析

在《光》中，使用Kyma進(jìn)行聲音處理，用Osculator映射數(shù)據(jù)，用CCV Community Core Vision）來視頻捕捉與分析。

《光》使用的攝像頭以大約每秒60幀的速率來捕捉視頻，將視頻轉(zhuǎn)成數(shù)據(jù)后，再傳給分析軟件，輸出范圍為0-255。分析軟件把捕捉到的視頻分割為長方形的范圍內(nèi)，分為三行，每行分別為8，16，8部分，共32個(gè)。

當(dāng)某部分被LED燈照亮?xí)r，就會觸發(fā)一個(gè)音，如果有多部分同時(shí)被照亮?xí)r，就會發(fā)出和聲音響。演奏者通過旋轉(zhuǎn)LED燈的方向控制照亮的范圍，使聲音發(fā)聲得到控制。為了控制亮度與音高的關(guān)系，杰弗瑞還進(jìn)行了相應(yīng)的設(shè)置，如設(shè)置亮度閾值，使亮度達(dá)到某種數(shù)值時(shí)，才能觸發(fā)某種音高，并且規(guī)定兩個(gè)相鄰音間的距離不大于0.25秒。

另外，演出環(huán)境中的亮度也對聲音變化產(chǎn)生影響，如：電腦屏幕亮度、劇場音樂廳的燈光甚至表演者衣服的顏色和反光度等等。針對這種情況，杰弗瑞設(shè)計(jì)了一種解決方案，就是對于閾值根據(jù)演出場地的燈光情況，來隨時(shí)調(diào)整，非常靈活。

具體實(shí)例：這個(gè)是在《光》的開始部分，矩陣中各個(gè)部分所對應(yīng)的MIDI音高（音高排列為常規(guī)順序，而且均為鋼琴白鍵自然音，音樂效果近似泛調(diào)性）：

以上為MIDI音高編號，實(shí)際音高為：

在此矩陣中，被照亮的部分（MIDI編號為31，36，72，81，86， 91）會產(chǎn)生出和弦效果，（實(shí)際音高為G2，C2，c2，a2，d3，g3），杰弗瑞認(rèn)為這是一個(gè)非常和諧的音響音響。

再舉一例：endprint

變化前的排列：

變化后的排列：

實(shí)際音高為：

此矩陣中音的排列順序和音高較前都發(fā)生了變化，這樣即使LED燈只照射同一區(qū)域，但是音響也發(fā)生變化，使音樂效果的變化更加多樣性。

2、結(jié)構(gòu)分析

《光》時(shí)長為6分45秒左右，本作品可以分為三部分。本作品的聲音部分主要分為以下幾種：鈴聲、類似木琴低聲區(qū)的聲音。操控LED燈的動作有單手單燈、雙手雙燈（急速和慢速）、雙手雙燈（左手劃半圓狀、右手下行）。

第一部分，時(shí)長大約為30秒左右。動作為雙手雙燈，速度為快速，聲音為高頻特點(diǎn)的鈴聲，大部分為雙手的交替照射，也有雙燈的照射，形成音塊和弦的效果。

第二部分，時(shí)長大約為4分58秒，是本作品的主體部分。聲音部分包括全部素材，鈴聲和類似木琴的低聲區(qū)，包括單音和復(fù)音。本段落可以分為三個(gè)次級部分，類似于傳統(tǒng)曲式的ABA*結(jié)構(gòu)。速度為慢快慢。在A部分，不密集的單音鈴聲，速度為慢速，然后為雙手持等，左手在上方劃半圓狀，右手在下方下行。在B部分，速度為快速，雙手雙燈交替照射屏幕，音色變?yōu)轭愃颇厩俚鸵魠^(qū)的效果，是全曲的高潮部分。在A*部分為A的反復(fù)，速度為慢速，先是右手單燈照射，然后是雙手照射，左手在上劃半圓狀，右手在下方下行，音色變化頻繁。

第三部分，時(shí)長大約為1分14秒。速度為慢速漸慢，結(jié)束為淡出，與樂曲開始時(shí)的淡入首尾呼應(yīng)，起到統(tǒng)一全曲的作用。聲音為鈴聲，動作為單手單燈照射，雙手左手在上劃半圓狀右手在下下行。

參考文獻(xiàn)：

[1]張一兵：“超現(xiàn)實(shí)主義視域中的達(dá)利與拉康”，《江蘇行政學(xué)院報(bào)》，2005年第三期.

[2]郭優(yōu)：“中國新媒體藝術(shù)發(fā)展的現(xiàn)狀及趨勢”，《新聞愛好者》，2012.5 （下半月）.

[3]陸敏捷：“互動音樂在中國”，《科技文匯》（上月刊），2010年05期.

[4]楊親民，肖瑞蕓：“傳感器的分類與傳感器技術(shù)的特點(diǎn)”，《傳感器世界月刊》，97年第3期.

[5]范翎：“論計(jì)算機(jī)音樂中的音樂表現(xiàn)力”，《南京藝術(shù)學(xué)院學(xué)報(bào)》，2006年.

[6]朱詩家：聲音空間控制的藝術(shù)_擴(kuò)散作為電子音樂創(chuàng)作及現(xiàn)場演出的手段及理念，《樂器》，2011年第四期.

[7]王鉉：藝術(shù)與技術(shù)的交互_之一_互動音樂創(chuàng)作中的藝術(shù)表現(xiàn)與技術(shù)實(shí)現(xiàn)_《樂府新聲》，2010年第二期.endprint