新媒體技術(shù)在舞臺演出中的應用及呈現(xiàn)形式

吳振

【摘要】投影、游戲引擎、實時渲染、VR及AR等新媒體技術(shù)的發(fā)展及在舞臺演出中的應用，呈現(xiàn)出演出的互動性，VJ式的實時操控開始流行，使舞臺視覺效果更加豐富立體、富有變化，也出現(xiàn)了新媒體觀念劇。

【關(guān)鍵詞】舞臺演出；新媒體觀念??；視覺呈現(xiàn)；三維投影；游戲引擎；實時渲染；VJ；光影雕塑

近年來，隨著新科技的不斷發(fā)展，新媒體技術(shù)在舞臺演出中的應用也是日新月異。有哪些新變化、新趨勢呢？筆者歸納了2017年中有影響的舞臺演出新媒體技術(shù)應用，并結(jié)合自己的創(chuàng)作實踐認為：投影技術(shù)的進步和創(chuàng)作理念的更新使舞臺視覺效果更加豐富立體、富有變化；游戲引擎、實時渲染技術(shù)的發(fā)展及其與媒體的結(jié)合互動使得新媒體藝術(shù)更好地融入即興和實驗表演藝術(shù)中，VJ（Visual Jockey，影像騎師）式的實時操控開始流行；一些前衛(wèi)藝術(shù)家大膽嘗試，將VR、AR（虛擬現(xiàn)實、增強現(xiàn)實）技術(shù)融入舞臺表演，探索舞臺視覺呈現(xiàn)的新形式；新媒體藝術(shù)家將創(chuàng)意編程、新媒體交互裝置介入舞臺創(chuàng)作，創(chuàng)作出令人耳目一新的新媒體觀念劇。

1投影技術(shù)的進步及其對創(chuàng)作觀念的影響

投影技術(shù)的進步突出體現(xiàn)在三維投影和亮度的提升，視頻服務(wù)器投影貼圖矯正功能的出現(xiàn)，使設(shè)計制作的影像能夠完整、準確、快捷地投射在三維介質(zhì)上；而高流明激光投影機的普及極大地提升了投影畫面的亮度，削弱了傳統(tǒng)舞臺燈光對其的影響。

在運用投影的創(chuàng)作理念上，從之前舞臺繪景式的2D平面發(fā)展到“3D Mapping”?！?D Mapping”國內(nèi)又稱為“光影雕塑”，可以將動畫影像完整、準確地投射到戶外建筑、汽車車身甚至鋼琴、人的面部等任何可以投射的介質(zhì)上。設(shè)計師通過巧妙的創(chuàng)意構(gòu)思，可以實現(xiàn)更加豐富、立體、富有變化的視覺效果，使觀眾的視覺、思維突破二維的限制，拓展出第三個維度的想象空間。

例如，2017年9月在鳥巢舉辦的汪峰演唱會上，創(chuàng)作團隊采用10臺投影機（頭部2臺、胸部2臺、腹部2臺、左右兩臂各2臺）將影像投射在19 m高、兩臂展開61 m的“X Man”人形模型上；同時，使用Disguise服務(wù)器的模型拉點模式功能對投射在“X Man”上的各部分的影像進行調(diào)制，實現(xiàn)完美無縫的疊加。服務(wù)器通過四路實時采集，將不同機位攝像機的信號傳到LED大屏，現(xiàn)場實時編輯，無縫切換不同角度的鏡頭畫面，如圖1所示。

而室內(nèi)劇場的演出，投影介質(zhì)由傳統(tǒng)的天幕、臺口紗幕擴展延伸到整個舞臺甚至觀演區(qū)的地面和頂部，為演出平添了沉浸感及震撼的效果：視覺影像創(chuàng)作的內(nèi)容開始擺脫舞臺繪景式的具象畫面，而開始用簡潔抽象的畫面表現(xiàn)人物內(nèi)心世界。

筆者在2017年12月北京舞蹈學院舞劇《“話說”南泥灣》的多媒體創(chuàng)作中，嘗試運用“3D Mapping”的創(chuàng)作理念，設(shè)計了在天幕、地面和側(cè)幕條的立體投射影像方案，使其成為相互關(guān)聯(lián)的有機整體。演出使用4臺三萬流明的激光投影機，其中2臺掛在頂部投射舞臺地面，還有2臺分別放置在后方左右兩側(cè)投射天幕和側(cè)幕條。運用Disguise服務(wù)器調(diào)整投影貼圖的疊加和融合功能，使臺下觀眾能夠從銀幕上看到各種瓜果蔬菜從天而落（見圖2中的3，圖3中的2、6），配合歡快的舞蹈表現(xiàn)豐收的喜悅；巨大的黑色石塊從天空落下的影像（見圖2中的6），給人壓抑感；拉石塊的麻繩從左往右延伸，相互交織、又斷開散去的視覺效果（見圖3中的5），配合演員左右拉伸的舞蹈動作，表現(xiàn)開墾南泥灣與惡劣的自然環(huán)境作斗爭的艱難；地面凹陷，幾何狀的磨盤在窯洞前旋轉(zhuǎn)升起的視覺沖擊（見圖2中的2），與演員圍繞拉磨的動作相呼應；表現(xiàn)地面起伏運動的抽象三維方塊陣列從左往右運動一直延伸到天幕（見圖2中的1），抽象的幾何圖形動畫與舞蹈動作產(chǎn)生互動，表現(xiàn)了鋤地翻土，人對大自然的改造，使整體視覺效果有真實感，同時還具有環(huán)境與表演的統(tǒng)一。

這些創(chuàng)作觀念和手法的運用改變了傳統(tǒng)2D多媒體影像的創(chuàng)作模式，同時前期創(chuàng)作還運用了Disguise服務(wù)器的預演效果的功能，使得設(shè)計時就能直觀地看到舞臺影像合成后的整體視覺效果，并及時做出調(diào)整。而在這之前只能通過經(jīng)驗設(shè)計、預判，看到的是割裂的各部分空間單獨創(chuàng)作的視頻影像，因此舞臺合成時需要大量的時間進行調(diào)整。

又如，為紀念南京大屠殺80周年在2017年12月上演的舞劇《記憶深處》中，設(shè)計者胡天驥將影像投射在舞臺頂部，通過外化的影像來表現(xiàn)人物的內(nèi)心世界。取自日本佛教般若的巨大模糊的人臉給人壓迫感（見圖4中的1），而抽象極簡的幾何造型影像營造出冷酷的氣氛（見圖4中的2、3）。

2017年，舞臺劇《摸金塊》也是運用3D Mapping的多媒體設(shè)計理念，將影像前后錯開投射在天幕和地面（見圖5），營造魔幻的視覺效果。

2游戲引擎、實時渲染技術(shù)的發(fā)展及其在舞臺上的運用

從1998年的電影《羅拉快跑》開始，游戲行業(yè)就潛移默化地影響并滲透到影視、舞臺演出行業(yè)，甚至改變了觀眾的審美習慣，使現(xiàn)代人習慣于游戲式的快節(jié)奏和主觀運動鏡頭。主流游戲引擎（ Unity、Unreal等）的開發(fā)者也野心勃勃地進軍游戲行業(yè)之外的動畫電影、演出行業(yè)。

計算機GPU（Graphics Processing Unit，圖形處理器）等硬件的發(fā)展，也使得游戲引擎實時渲染的優(yōu)勢得以充分發(fā)揮，省去了視頻制作所需的大量渲染時間，極大地提高了創(chuàng)作效率，使其跨界應用到影視、現(xiàn)場表演成為可能。隨著這一技術(shù)的發(fā)展，在實時渲染和媒體互動的基礎(chǔ)上，開始融入各項即興和實驗表演藝術(shù)中，VJ式的實時操控開始流行（VJ與DJ的概念類似，將影像、動畫等視覺元素做即時剪接，最重要的就是剪接，并添加效果）。

最近出現(xiàn)的“Audio Visual Show”（音樂視覺秀）就是將游戲引擎做好的游戲場景文件通過交互軟件（如Touch Design等）與MIDI調(diào)音臺相連接，視覺設(shè)計師和音樂設(shè)計一起即興操控視覺、音樂的變化，而不是演出前一幀一幀渲染好視頻文件，既方便快捷又具有很強的帶入感。

例如，2017年6月，在今日美術(shù)館“.ZIP未來的狂想”展覽閉幕式上的“Audio Visual Show”演出即是如此。視覺設(shè)計師使用了正在開發(fā)的游戲場景（見圖6），現(xiàn)場實時調(diào)整百萬粒子的流動效果，使其與音樂互動。

同樣，2017年6月，鯨魚馬戲團（XWhale Circus）樂隊的巡回演出也是如此。視覺設(shè)計師為每一首歌開發(fā)了一個游戲場景，現(xiàn)場樂隊演出時實時調(diào)整場景里的元素，使其與音樂相配合（見圖7）。

一些多媒體播放控制系統(tǒng)也與時俱進，在保持原有視頻播放功能外也加入了編程和實時渲染功能。例如，播控系統(tǒng)Isadora就加入了Javascript語言和GLSL Shader實時渲染API語言，使其也具備一定的實時渲染能力，并具備與Leap motion、Kine ct等體感識別系統(tǒng)相結(jié)合進行交互表演的功能（見圖8）。

3 VR、AR技術(shù)應用及視覺呈現(xiàn)

一些前衛(wèi)的藝術(shù)家將還處于發(fā)展階段的VR、AR技術(shù)應用于舞臺演出，帶有很強的實驗性。例如，2017年12月萬瑪尖措導演的VR概念實驗舞臺劇《狼》就融合了VR拍攝、無線傳輸、無線頭顯等新技術(shù)及設(shè)備（見圖9）。

在2017年，美國卡耐基梅隆教授拉里（ Larry）在上?；铀囆g(shù)節(jié)上帶來了他和團隊創(chuàng)作的AR戲?。ㄒ妶D10），通過游戲引擎制作AR動畫，演出時觀眾需要通過手機下載專門的應用程序才能觀看。

4新媒體觀念劇

新媒體觀念劇是通過軟件（如創(chuàng)意編程軟件Processing、Max/M SP等）進行創(chuàng)意編程，創(chuàng)造抽象的影像構(gòu)建虛擬世界，并通過具有體感識別的交互系統(tǒng)（如Kinect）與演員的表演形成互動，還可加入無人機、機械臂、激光等工業(yè)化產(chǎn)品，為其賦予藝術(shù)屬性，變身為舞臺“演員”，與真人演員共同表演。這種新媒體交互裝置介入舞臺創(chuàng)作，形成了新的表演體系和形式，令人耳目一新；甚至使得新媒體藝術(shù)家能夠走出美術(shù)館，將交互新媒體裝置作品搬上舞臺。

2017年6月，由張藝謀執(zhí)導的全新觀念劇《對話·寓言2047》在國家大劇院首演，正如導演所說： “這部作品在古老文化與現(xiàn)代科技的對話寓言中，描述了人類在飛速發(fā)展的科技面前經(jīng)歷的困惑，并帶來一種思考——科技與人的關(guān)系將往何處去？”

這場演出匯聚了七個國家的二十支團隊參與，既有內(nèi)蒙古的長調(diào)、北京的京劇、陜西的碗碗腔、泉州的木偶劇等各類中國傳統(tǒng)的藝術(shù)表演形式，也融人了德國的激光團隊、瑞士的無人機技術(shù)團隊、英國的Musion 3D全息團隊等帶來的各種科技載體及其呈現(xiàn)形式。

演出中新媒體視覺呈現(xiàn)形式多樣，如《古琴-光劍》中變化的激光與表演者互動（見圖11中的1），《小戲·掌間》中數(shù)十個變化的IPAD影像與演員融為一體（見圖11中的2），《偶戲·冷臂》中運動變化的機械臂與人共舞（見圖11中的3），《碗碗腔·矩舍》中美輪美奐的全息投影將人物沉浸于場景之中（見圖11中的4），《笙·如影》中隨著表演變換隊形的無人機將觀眾帶入魔幻般的世界（見圖11中的5），《織機·精靈》中運動的小球矩陣、視頻投影與演員的舞姿形成完整的視覺畫面（見圖11中的6）。這些節(jié)目都是通過創(chuàng)意編程來實現(xiàn)與表演的無縫銜接。

2017年12月，首演的新概念馬戲《山海經(jīng)4.0》（見圖12），運用了無人機編程和運動捕捉技術(shù)，通過高新影像制作，將先鋒、流行舞蹈與傳統(tǒng)馬戲、雜技融合，探索馬戲、雜技表演的新形式，賦予冷冰冰的影的變幻如同神來的點睛之筆，精巧而精致，簡約而婉約，在含蓄蘊藉間就達到了“剎那即是永恒”的藝術(shù)效果。對室外寫實性舞臺而言，光影的變幻需要“大處借景”和“小處借影”，因觀眾的視覺容易被太多的因素干擾而分散，所以光影的變化要格外注意整體、層次、空間，要讓光影的“寫意”被觀眾捕捉和感知，讓創(chuàng)作者的主觀動機和觀賞者的審美體驗同步呼應。

北宋畫家郭熙在《林泉高致》中提出，山水畫創(chuàng)作和鑒賞中有“可行可望”與“可居可游”兩種層次，指出“意”才是山水畫的靈魂所在。而光影之于舞臺，更像寫意山水之于水墨畫，優(yōu)雅意境之于現(xiàn)實生活。對于現(xiàn)代舞臺而言，燈光的作用早已遠遠超出了當初簡單照明的手段。觀眾首先入于視覺體驗，之后因視覺反應產(chǎn)生感情，再通過思維評判形成想象與審美。作為舞美設(shè)計人員，這種由感官體驗而情感認同，由情感認同而審美判斷的過程，無疑具有相當?shù)恼軐W意義。雖然，演出舞臺的視覺轉(zhuǎn)換過程有時可能是瞬間完成的，但是燈光師一定要認真思考，如何把握運用舞臺的每個細節(jié)，如何讓光影于無形中完成對表演風格的配合，滿足演出內(nèi)在意義的需要，而不顯唐突或孱弱。這就要合理分配光與影的強弱，合理安排其明示與暗示效果，掌握斷、續(xù)、曲、直等復雜的表現(xiàn)手法，從而使光影表現(xiàn)出獨特的功能和韻昧，進而達到“紗窗日落漸黃昏”和“猶有清風借四鄰”的詩意和意境。（編輯張冠華）（上接第39頁）數(shù)字編程、工業(yè)產(chǎn)品以溫暖美好的幻覺。

演出中，采用Kinect體感識別系統(tǒng)來捕捉人體運動數(shù)據(jù)，將捕捉到的數(shù)據(jù)通過Processing軟件進行編程處理，使影像中的虛擬人體作為舞臺演員動作的模擬者，與皮條、吊環(huán)、滾環(huán)等多個雜技道具結(jié)合；同時，除了利用代碼編寫其人機互動影像，還特意訂做了可編程的LED滾環(huán)作為道具，其編程基于類似Java語言的IDE集成開發(fā)環(huán)境，連接LED輸出裝置，控制LED的多種發(fā)光方式，并可添加任意圖片通過“pixelstarter”傳送至滾環(huán)，使其在滾動時呈現(xiàn)多種夢幻效果。演出綜合軟件、裝置等各種科技手段，發(fā)展出更為復雜的環(huán)境式人機交互，實現(xiàn)迷人的投影視覺畫面。

5結(jié)語

這些新媒體技術(shù)的發(fā)展給舞臺演出帶來的新變化使人更加期待，未來新媒體在舞臺演出中的應用會更廣泛，能夠帶給觀眾更強的視覺效果和交互體驗。但同時也不能迷信技術(shù)，過于追求技術(shù)的先進、絢爛的視覺效果，而忽視演出作品本身內(nèi)容的創(chuàng)作。對于各種新媒體技術(shù)，只有恰當?shù)倪\用，才能為演出作品錦上添花，更好地實現(xiàn)技術(shù)與藝術(shù)的融合。