基于遠(yuǎn)程通信網(wǎng)絡(luò)的多媒體交互式演出

于 航

（國家大劇院 影視節(jié)目制作部，北京 100031）

1 遠(yuǎn)程通信背景介紹

“Telematics”（遠(yuǎn)程通信）一詞最早由西蒙·諾拉（Simon Nora）和艾里恩·米克（Alain Minc）在1978年向法國總統(tǒng)所作題為《計(jì)算機(jī)化協(xié)會：給法國總統(tǒng)的報告》（The Computerization of Society: A report to the President of France）中提出，“遠(yuǎn)程通信”是“遠(yuǎn)距離通信”和“信息科學(xué)”的混合詞，指的是以計(jì)算機(jī)為媒介在不同地點(diǎn)間進(jìn)行的網(wǎng)絡(luò)通信交互關(guān)系。隨著計(jì)算機(jī)網(wǎng)絡(luò)科技的迅猛發(fā)展，遠(yuǎn)程通信技術(shù)正逐步被各個領(lǐng)域的研究學(xué)者所關(guān)注，其中也包括表演藝術(shù)家。

來自英國的羅伊·阿斯科特（Roy Ascott）是新媒體藝術(shù)的先驅(qū)，他最早預(yù)見到藝術(shù)的網(wǎng)絡(luò)化將會出現(xiàn)，并創(chuàng)造性地把遠(yuǎn)程通信學(xué)引用到多媒體領(lǐng)域應(yīng)用，借助網(wǎng)絡(luò)來支撐藝術(shù)創(chuàng)作，使得分布在世界各地的藝術(shù)家可以進(jìn)行異地舞臺互動表演、信息數(shù)據(jù)的同步傳輸和共享等。

目前，北美洲、歐洲乃至亞洲的一些不同背景的藝術(shù)家正在探索開發(fā)遠(yuǎn)程通信網(wǎng)絡(luò)技術(shù)在藝術(shù)領(lǐng)域的應(yīng)用。在美國，已有多所知名學(xué)校及科研機(jī)構(gòu)設(shè)立了利用遠(yuǎn)程通信進(jìn)行藝術(shù)表演等方面的學(xué)科，并且正逐步實(shí)踐遠(yuǎn)程通信網(wǎng)絡(luò)的交互式演出項(xiàng)目，例如，斯坦福大學(xué)、紐約大學(xué)、佛羅里達(dá)大學(xué)等，如圖1所示。在亞洲，這種基于遠(yuǎn)程通信網(wǎng)絡(luò)的舞臺演出合作項(xiàng)目已經(jīng)在新加坡、韓國、中國的北京和上海等地悄然興起。

2 基于遠(yuǎn)程通信網(wǎng)絡(luò)的多媒體交互式演出的特色

2.1 遠(yuǎn)程通信多媒體交互式演出的概念

基于遠(yuǎn)程通信網(wǎng)絡(luò)的多媒體交互式演出，是以高速網(wǎng)絡(luò)環(huán)境為平臺，利用傳統(tǒng)藝術(shù)與遠(yuǎn)程通信網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)相結(jié)合的方式，呈現(xiàn)給觀眾的一種創(chuàng)新型的演出體驗(yàn)。一場豐富的遠(yuǎn)程多媒體交互式演出的內(nèi)容一般包括：現(xiàn)場音樂表演、視覺效果、歌劇、戲劇、舞蹈以及3D動畫展示等。這種演出最大的特色是探索跨越不同網(wǎng)絡(luò)之間連接的可能性，通過網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)群體互動，讓在地理位置上相距甚遠(yuǎn)的藝術(shù)家們通過網(wǎng)絡(luò)虛擬連接在一起，打破空間與時間的界限，實(shí)現(xiàn)聽覺與視覺的雙向互動。

圖1 2011年在美國圣地亞哥與紐約基于遠(yuǎn)程通信舉辦的爵士樂演出“Inspiraling 2011: Telematic Jazz Explorations”

2.2 遠(yuǎn)程通信多媒體交互式演出的舞臺環(huán)境

現(xiàn)階段，最理想且常見的遠(yuǎn)程多媒體交互式演出環(huán)境為小型劇場、黑匣子劇場或大學(xué)科研實(shí)驗(yàn)室。進(jìn)行遠(yuǎn)程通信項(xiàng)目需基于高速網(wǎng)絡(luò)環(huán)境，最理想的網(wǎng)絡(luò)帶寬要達(dá)到100 Mb/s左右，才可減少音視頻同步中的延遲現(xiàn)象。在北美，參與遠(yuǎn)程通信合作表演的大學(xué)、劇場及一些科研教育機(jī)構(gòu)，都擁有Internet2極速網(wǎng)絡(luò)環(huán)境，這種超高帶寬的網(wǎng)絡(luò)可以保證遠(yuǎn)程通信交互的無障礙連接。美國新世界交響樂團(tuán)在2011年建立了Internet2網(wǎng)絡(luò)，樂團(tuán)指揮和作曲家可在不同的地點(diǎn)間通過遠(yuǎn)程通信終端參與排練和演出。在不久的將來，像Internet2這種極速網(wǎng)還會逐步在更多的劇場和藝術(shù)展覽館等場地普及應(yīng)用。

除了上面提到的幾種舞臺演出場地，“虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境”（CAVE，Cave Automatic Virtual Environment）常作為遠(yuǎn)程網(wǎng)絡(luò)通信演出的介質(zhì)。2006年，美國阿拉斯加州費(fèi)爾班克斯大學(xué)與北極地區(qū)超級計(jì)算機(jī)中心（ARSC）共同合作了一個遠(yuǎn)程通信多媒體演出項(xiàng)目《聲之音》，舞臺搭建模式即為帶投影的虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境，如圖2所示。虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境由圍繞表演者的四個投影墻面組成，四個投影面構(gòu)成一個立方體機(jī)構(gòu)，其中三個墻面采用背投方式，地面采用正投方式，整個系統(tǒng)構(gòu)成立體投影。參與《聲之音》交互演出的網(wǎng)絡(luò)站點(diǎn)有美國的阿拉斯加、舊金山和伊利諾伊。互動過程的參與者有音樂家、舞蹈家等藝術(shù)家和IT技術(shù)人員，演出的網(wǎng)絡(luò)環(huán)境為極速網(wǎng)絡(luò)?！堵曋簟讽?xiàng)目可以說是一個比較成功的遠(yuǎn)程通信多媒體演出項(xiàng)目，立體投影的變化與音樂緊密結(jié)合，它將科技與藝術(shù)完美地融合在一起，為多媒體交互式演出做出了探索性的貢獻(xiàn)。演出除了有現(xiàn)場的音樂表演，還應(yīng)用了3D技術(shù)。Virtual Reality（虛擬現(xiàn)實(shí)，簡稱VR）技術(shù)，是近年來興起的新型3D技術(shù)，它利用電腦模擬三維空間，讓觀眾的視覺、聽覺以及觸覺等感官如身臨其境，感受虛擬與現(xiàn)實(shí)的角色轉(zhuǎn)換。VR技術(shù)在多媒體舞臺表演中比較多見，利用虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境呈現(xiàn)的3D視覺效果極具沖擊力，大大增強(qiáng)了觀眾的臨場參與感。觀眾在虛擬現(xiàn)實(shí)環(huán)境周圍佩戴3D眼鏡即可體驗(yàn)VR演出帶來的震撼。

3 遠(yuǎn)程通信網(wǎng)絡(luò)技術(shù)在多媒體演出中的瓶頸問題及應(yīng)用軟件介紹

在過去的10年里，遠(yuǎn)程通信研究者們一直在探索遠(yuǎn)程通信終端交互中音視頻傳輸同步的解決辦法。南加州大學(xué)的布萊恩· 謝潑德教授（Dr. Brian Shepard）開發(fā)了一種可以替換傳統(tǒng)調(diào)音臺、傳聲器和揚(yáng)聲器的產(chǎn)品，來消除兩個遠(yuǎn)程站點(diǎn)間的回聲問題；斯坦福大學(xué)的講師克里斯·柴夫（Chris Chafe）、倫斯勒理工學(xué)院的合作者波林· 漾（Pauline Oliveros）、紐約音樂家薩拉·維瓦（Sara Weaver），還有加州舊金山分校的作曲家馬克·卓瑟（Mark Dresser）等人，利用高質(zhì)量無損壓縮音頻系統(tǒng)Jacktrip結(jié)合蘋果視頻軟件iChatAV使用，用來降低遠(yuǎn)程音視頻網(wǎng)絡(luò)傳輸?shù)淖畹脱舆t，為實(shí)時多媒體交互演出奠定了基礎(chǔ)。然而，延遲現(xiàn)象是目前遠(yuǎn)程通信多媒體演出中不可避免的，由于Jacktrip處理音頻速度比iChat處理視頻速度快，因此，視頻的返送時間慢于音頻，也就是雙向的遠(yuǎn)程終端在數(shù)據(jù)傳送上會有延遲。然而，參與者和觀眾其實(shí)可以忽略這個問題，因?yàn)檫@并不會影響演出的整體效果：第一，極速網(wǎng)絡(luò)環(huán)境相對穩(wěn)定，網(wǎng)絡(luò)終端互連不會中斷；第二，作曲家在為遠(yuǎn)程通信項(xiàng)目創(chuàng)作音樂時會考慮延遲問題，所以作品內(nèi)容會相對有規(guī)律，且容易用不同樂器在一起即興合奏；第三，遠(yuǎn)程通信交互演出的真正意義是為了進(jìn)行遠(yuǎn)程交互實(shí)踐而不是追求完美的演出。

圖2 虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境（CAVE）

目前，北美的一些遠(yuǎn)程通信多媒體演出項(xiàng)目已經(jīng)開始利用高質(zhì)量無損壓縮音頻系統(tǒng)Jacktrip（或Artsmesh）結(jié)合iChatAV視頻軟件的使用來降低遠(yuǎn)程音視頻的網(wǎng)絡(luò)傳輸延遲，同時利用遠(yuǎn)程視頻互動系統(tǒng)可以讓本地與異地遠(yuǎn)程終端之間的互動更加流暢。遠(yuǎn)程通信多媒體演出項(xiàng)目應(yīng)用到的周邊系統(tǒng)軟件還包括Cisco Tandberg、ConferenceXP、Common-clock、Max/MSP和Jitter等。Cisco Tandberg或ConferenceXP作為視頻核心軟件，各個遠(yuǎn)程站點(diǎn)通過它進(jìn)行高清視頻會議和視頻信息共享等；Max/MSP軟件用于多媒體視覺效果的制作展示及音效處理；Common-clock指同步公共時鐘，是嵌入在Max/MSP里的軟件，各個遠(yuǎn)程站點(diǎn)的參與人員利用電腦或移動設(shè)備登錄此軟件后即可獲得同步時鐘，無論是彩排還是正式演出，同步公共時鐘對減少實(shí)時同步遠(yuǎn)程演出中的延遲起到重要作用；Jitter軟件一般作為遠(yuǎn)程項(xiàng)目的數(shù)據(jù)資料或采訪紀(jì)實(shí)視頻的展示平臺，MAX/MSP最終對這些素材進(jìn)行編程處理，利用它制作出來的視覺效果相當(dāng)有視覺沖擊力，觀眾可在欣賞音樂的同時感受科技與藝術(shù)結(jié)合的奇妙之處。此類演出彩排如圖3所示。

4 遠(yuǎn)程通信多媒體交互式演出案例

4.1 美國《Auksalaq》

4.1.1 《Auksalaq》項(xiàng)目概況

“Auksalaq”一詞是美國阿拉斯加北部語言，意為“融化的冰雪”。歌劇《Auksalaq》是2007年由美國印第安納大學(xué)與普渡大學(xué)印第安納波里斯聯(lián)合分校（Indiana University-Purdue University Indianapolis，IUPUI）音樂與藝術(shù)科技學(xué)院斯哥特·迪爾教授（Scott Deal）與弗吉尼亞大學(xué)（The University of Virginia，UVa）電腦音樂中心的美國現(xiàn)代作曲家馬修·博特納（Matthew Burtner）共同創(chuàng)立的一個遠(yuǎn)程通信歌劇項(xiàng)目，作品內(nèi)容是向觀眾揭示北極地區(qū)嚴(yán)重的冰川融化現(xiàn)象，和全球氣候變暖趨勢對人類環(huán)境及文化產(chǎn)生的巨大影響，如圖4所示。

《Auksalaq》并不是傳統(tǒng)的歌劇，它的演出形式整合了遠(yuǎn)程通信網(wǎng)絡(luò)技術(shù)、現(xiàn)場音樂表演、舞蹈、歌劇演唱、音效處理、視覺藝術(shù)、科學(xué)家的采訪紀(jì)實(shí)、社會評論數(shù)據(jù)和觀眾互動等。參與此項(xiàng)目的網(wǎng)絡(luò)站點(diǎn)包括美國的紐約、阿拉斯加、印第安納波利斯、弗吉尼亞及加拿大。每個參與站點(diǎn)會根據(jù)設(shè)計(jì)好的音樂主題和視覺效果進(jìn)行實(shí)時同步互動表演。各個站點(diǎn)的觀眾不僅能觀看到本地演出，還可以通過大屏幕實(shí)時看到其他參與站點(diǎn)的現(xiàn)場演出情況，體驗(yàn)不同的表演內(nèi)容。IUPUI大學(xué)的迪爾教授介紹說，《Auksalaq》歌劇現(xiàn)在仍處在不斷改進(jìn)中，會跟隨全球氣候變暖現(xiàn)象而不斷更新演出內(nèi)容，不同地區(qū)的參與站點(diǎn)，每年都會進(jìn)行遠(yuǎn)程音視頻同步測試及現(xiàn)場同步演出。

《Auksalaq》遠(yuǎn)程通信歌劇項(xiàng)目要求的平均網(wǎng)絡(luò)速度為100 Mb/s左右，表演場地利用了虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境、科研實(shí)驗(yàn)室和小型戲劇場。遠(yuǎn)程交互演出中涉及音視頻同步、延遲回聲、線路搭建、測試信號、舞臺燈光及網(wǎng)絡(luò)等問題。所以，正式演出前，提前測試各個站點(diǎn)間的網(wǎng)絡(luò)連接信號是很必要的。

圖3 遠(yuǎn)程通信交互式演出彩排現(xiàn)場

圖4 《Auksalaq》遠(yuǎn)程歌劇紐約站點(diǎn)的管弦樂團(tuán)彩排現(xiàn)場

4.1.2 互動軟件NOMADS

NOMADS是一款可免費(fèi)下載的移動數(shù)字應(yīng)用系統(tǒng)，由美國弗吉尼亞大學(xué)互動多媒體組織（IMRG）發(fā)明，這款軟件是專為遠(yuǎn)程多媒體演出中的觀眾互動而設(shè)計(jì)的。2012年5月，美國IUPUI大學(xué)Tavel藝術(shù)與科技中心在與邁阿密新世紀(jì)交響樂團(tuán)合作的Auksalaq項(xiàng)目中就曾成功應(yīng)用此軟件。各個站點(diǎn)的觀眾可在演出過程中，利用攜帶的iPad或iPhone等蘋果移動設(shè)備登錄NOMADS軟件發(fā)布對演出的感受，還可以控制視頻屏幕上的燈光及地理展示圖，并與異地觀眾進(jìn)行實(shí)時互動，見圖5。在演出結(jié)束后，所有的本地觀眾可以通過屏幕墻看到不同站點(diǎn)的觀眾發(fā)出的評論，舞臺上的演唱家還會把觀眾發(fā)布的感受和想法即興地演唱出來，作為演出的一部分。無論觀眾的評論內(nèi)容如何，演出延遲問題是否嚴(yán)重，這些無疑都是遠(yuǎn)程通信交互式演出的特色——科技與藝術(shù)相結(jié)合，創(chuàng)新與實(shí)踐相結(jié)合，虛擬與現(xiàn)實(shí)相結(jié)合，演出與觀眾相結(jié)合。

4.2 遠(yuǎn)程通信交互式演出在大型劇院的初步應(yīng)用

4.2.1 美國大都會歌劇院推行的“高清歌劇”

遠(yuǎn)程通信交互式演出項(xiàng)目在舞臺上的應(yīng)用有很好的前景，因?yàn)檫@種創(chuàng)新的演出形式打破了時間和地理上的界限，可以讓世界上不同國家的劇院、藝術(shù)機(jī)構(gòu)以及藝術(shù)家建立更多的互動聯(lián)系，拓展國際演出市場。2006年，美國大都會歌劇院新上任的CEO彼得·蓋爾博（Peter Gelb）首次提出“高清歌劇”（HD Live）的創(chuàng)意設(shè)想。“高清歌劇”是指利用高清攝錄技術(shù)，將大都會的歌劇通過衛(wèi)星同步轉(zhuǎn)播給其他不同國家的電影院進(jìn)行同步播放，截至2011年底，已有46個國家和地區(qū)的1 500個影劇院進(jìn)行播映。據(jù)悉，每年到“大都會”現(xiàn)場觀看歌劇以及收看“高清轉(zhuǎn)播系列”的觀眾人數(shù)，超過了300萬。2011年，“高清歌劇”首次進(jìn)入中國內(nèi)地，進(jìn)駐上海大劇院。推行“高清歌劇”演出，擁有133年歷史的美國大都會歌劇院以革新科技而暫時領(lǐng)先于世界上其他的大型劇院。

4.2.2 中國國家大劇院應(yīng)用現(xiàn)狀及設(shè)想

在每年7月，中國國家大劇院都會邀請英國BBC廣播電臺合作舉辦“漫步經(jīng)典音樂會”，此音樂會的亮點(diǎn)是演出期間在北京不同街道上設(shè)立的七塊液晶屏幕同步直播演出情況，也就是說，屏幕下的人們可以在大街小巷免費(fèi)駐足享受“漫步經(jīng)典音樂會”。現(xiàn)階段，“漫步經(jīng)典音樂會”還未能實(shí)現(xiàn)讓英國的本地觀眾實(shí)時觀看到演出。在英國，每年BBC舉辦的“逍遙音樂會”也只是為英國本土人士提供的在公園或音樂廳欣賞的開放式音樂會。

假設(shè)，中國國家大劇院與英國BBC廣播電臺之間建立遠(yuǎn)程通信網(wǎng)絡(luò)聯(lián)系，那么：通過網(wǎng)絡(luò)互聯(lián)和設(shè)立一些戶外投影屏幕，即可實(shí)現(xiàn)國家大劇院“漫步經(jīng)典音樂會”演出現(xiàn)場與“逍遙音樂會”演出現(xiàn)場的實(shí)時同步互動演出，還可以同時在直播屏幕上實(shí)時錄播彼此國家的人文風(fēng)景畫面，進(jìn)行雙向視頻互動報道和觀眾參與等互動環(huán)節(jié)；同時，利用遠(yuǎn)程通信可實(shí)現(xiàn)中英兩地管弦樂團(tuán)間的同步彩排和互動交流，雙方共同創(chuàng)作演繹彼此國家的作品。可以說，這種創(chuàng)新的演出不僅可以增加中英兩地觀眾的臨場參與感，而且演出現(xiàn)場的情況還可以通過遠(yuǎn)程網(wǎng)絡(luò)或衛(wèi)星傳送在網(wǎng)站和電視上直播給世界上不同國家的觀眾收看，使得更多的藝術(shù)家和觀眾參與到演出的創(chuàng)作和表演中。例如，這種遠(yuǎn)程通信交互式演出不同站點(diǎn)的彩排現(xiàn)場和音樂會直播現(xiàn)場情況可以采取網(wǎng)絡(luò)直播的方式，在國家大劇院的古典音樂頻道網(wǎng)站和英國BBC官方網(wǎng)站上同步播放或轉(zhuǎn)播給其他國家的觀眾觀看。相信在科技與藝術(shù)不斷融合發(fā)展的情況下，會有越來越多的遠(yuǎn)程終端參與到遠(yuǎn)程通信交互式演出中。

圖5 NOMADS現(xiàn)場觀眾互動展示

如今，大多數(shù)劇場仍將重心放在運(yùn)營推廣古典音樂和歌劇上，見圖6；然而，在高技術(shù)迅猛發(fā)展的今天，中國的劇場也應(yīng)當(dāng)大膽探索創(chuàng)新演出形式，利用網(wǎng)絡(luò)平臺來拓展劇場的國際演出市場及對外文化交流，嘗試運(yùn)用遠(yuǎn)程通信與世界各地的劇場進(jìn)行音視頻連接，讓更多的外國作曲家和演奏家參與到中國劇場的演出中，讓中國的傳統(tǒng)藝術(shù)走向世界，同時也讓西方的科技藝術(shù)走進(jìn)來。

5 結(jié)語

羅伊·阿斯科特曾說過，“計(jì)算機(jī)多媒體應(yīng)用和遠(yuǎn)程通信技術(shù)已不再被作為復(fù)雜的工具，而是將領(lǐng)域拓展到了音樂表演、文學(xué)藝術(shù)、繪畫雕塑等?！雹倌壳埃覈牟糠志W(wǎng)絡(luò)環(huán)境已經(jīng)完全可以滿足遠(yuǎn)程通信交互式演出的要求。例如，中央音樂學(xué)院普及的高速互聯(lián)網(wǎng)環(huán)境（IPv6），即可實(shí)現(xiàn)讓中國的遠(yuǎn)程站點(diǎn)與國外的遠(yuǎn)程站點(diǎn)進(jìn)行無障礙終端互聯(lián)和互動演出合作等。希望在不遠(yuǎn)的未來，中國拓展遠(yuǎn)程通信技術(shù)在多媒體演出的市場，大膽邁向國際科技藝術(shù)領(lǐng)域的最前沿。

藝術(shù)與科技相結(jié)合是未來藝術(shù)發(fā)展的必然趨勢，但是也不能盲目地僅采用先進(jìn)的設(shè)備及技術(shù)進(jìn)行藝術(shù)呈現(xiàn)。因?yàn)?，?chuàng)作才是藝術(shù)的根本，科技手段如果最終沒有為藝術(shù)服務(wù)，那么，它只會變?yōu)榉ξ兜墓ぞ摺＿h(yuǎn)程通信技術(shù)在藝術(shù)領(lǐng)域的應(yīng)用正是基于利用創(chuàng)新探索意識來拓展藝術(shù)領(lǐng)域。

注釋：

①Ascott, Roy. Telematic Embrace:Visionary Theories of Art, Technology,and Consciousness. University of California Press. LTD. 2003：245.

1. Ascott, Roy. Is there love in the telematic embrace? Art Journal 49 (3),1990：41-247.

2. Scott, Deal. Climate Change as Telematic Art. 2010. 2.

3. Nora Simon & Minc Alain. The Computerisation of Society. Cambridge:The MIT Press.1980.