真鍋大度往返于真實(shí)與虛幻之間

鐘和晏

還是2016年8月里約熱內(nèi)盧奧運(yùn)會(huì)閉幕式上，令人炫目的“東京八分鐘”讓日本交互設(shè)計(jì)師真鍋大度（Daito Manabe）和他的Rhizomatiks公司獲得了一次受世界矚目的機(jī)會(huì)。隨著打扮成超級(jí)馬里奧的日本首相安倍晉三手捧紅球出現(xiàn)在交接臺(tái)上，CG動(dòng)畫視頻和AR技術(shù)呈現(xiàn)的一系列虛擬形象從空中翩然落下，也就是2020東京夏季奧運(yùn)會(huì)上舉行的33個(gè)競(jìng)技項(xiàng)目。

日本狂言師野村萬(wàn)齋與真鍋大度在狂言劇《三番叟》中的合作，將千年技藝與新技術(shù)融合在一起

在之后的立方體裝置與50名舞者的光影互動(dòng)表演中，真鍋和他的團(tuán)隊(duì)通過(guò)實(shí)時(shí)感應(yīng)，把AR與舞蹈編排和閃爍的三維框架結(jié)合在一起。為了同步這些元素，他需要一個(gè)精確模擬的系統(tǒng)架構(gòu)。畢竟，奧運(yùn)會(huì)這樣的場(chǎng)合不允許失敗。

“奧運(yùn)閉幕式是世界各地人們都在觀看的事件，我對(duì)只是播放一些已經(jīng)制作好的CG視頻不感興趣。”他事后這樣解釋他的初衷，“為了創(chuàng)造我們所需的氛圍，它必須實(shí)時(shí)完成。這不僅僅是關(guān)于使用新技術(shù)，我想呈現(xiàn)的是能夠打動(dòng)人心的現(xiàn)場(chǎng)演出感。”

與“東京八分鐘”或者真鍋大度的其他炫酷作品不同，正在杭州舉行的“九個(gè)明天”國(guó)際科技藝術(shù)展上，他展出了一件相對(duì)低技術(shù)的互動(dòng)激光裝置《時(shí)光褪色》。封閉的全黑空間一側(cè)擺放著安裝了紅外照相機(jī)的控制臺(tái)，你站在控制臺(tái)前，從不同風(fēng)格的濾鏡中選定一種模式，然后按下圓紐拍下一張你的肖像。慢慢地，肖像以綠色光點(diǎn)的形式被繪制在對(duì)面幾米遠(yuǎn)的墻面上，又在幾分鐘內(nèi)逐漸褪色消失。

封閉空間里安裝著三臺(tái)激光機(jī)，從原理上說(shuō)，被投射的激光點(diǎn)是無(wú)法持續(xù)保留下來(lái)的。這件作品的奇妙之處在于光點(diǎn)會(huì)持續(xù)一段時(shí)間，最終完整地合成你的照片。看著自己的形象以非同尋常的方式出現(xiàn)和消隱是一種難以描述的感覺(jué)，像是進(jìn)入了存在與非存在的中間狀態(tài)。

真鍋大度 “魔術(shù)”的秘密，其實(shí)在于對(duì)面墻上懸掛的帶磷光涂層的屏幕。由于磷光漆的物理特性，激光通過(guò)逐點(diǎn)曝光描繪出圖像，它的投射點(diǎn)被延長(zhǎng)了很短的時(shí)間。所以，轉(zhuǎn)瞬即逝的肖像必須在光點(diǎn)消失之前完成，只有仔細(xì)計(jì)算光束的照射時(shí)間和方向才能成功。

真鍋大度出現(xiàn)在杭州寶龍藝術(shù)中心的展廳里，他還是一頂卷邊針織帽加運(yùn)動(dòng)帽衫的慣常打扮。雖然他集合了富有才華的媒體藝術(shù)家、軟件工程師、作曲家、DJ等多重身份，他的外表卻是普通到不起眼的程度。

“如果涉及到藝術(shù)，你需要考慮它如何成為一種表達(dá)形式，從技術(shù)的角度來(lái)看，你不一定需要做一些很難的事情。《時(shí)光褪色》是使用從拍賣網(wǎng)站購(gòu)買的激光器，以相對(duì)低成本創(chuàng)建的。它背后的想法并不復(fù)雜，困難的部分在于提出別人未曾想到的想法，然后實(shí)現(xiàn)它們?！痹谒f(shuō)話時(shí)，臉上幾乎沒(méi)有什么表情。

“九個(gè)明天”的策展人姚大鈞也是中國(guó)美術(shù)學(xué)院跨媒體學(xué)院開放媒體系主任，去年4月，中國(guó)美院象山校區(qū)建成了科技藝術(shù)實(shí)驗(yàn)中心，VR、AR、未來(lái)書法、科幻用戶界面等都是實(shí)驗(yàn)中心長(zhǎng)期研究的內(nèi)容。同為媒體藝術(shù)家，他對(duì)這件耐人尋味的作品顯然偏愛(ài)有加。在他與真鍋大度的對(duì)談中，他提出自己的疑問(wèn)：“你是先想到了這樣的概念，再去尋找磷光紙，還是因?yàn)橄日业搅瞬牧?？?/p>

“我是先有了這個(gè)創(chuàng)意，然后用兩個(gè)月時(shí)間去嘗試各種材料，慢慢實(shí)現(xiàn)的。”真鍋大度回答說(shuō)，“不知從什么時(shí)候開始，媒體藝術(shù)的互動(dòng)表現(xiàn)方式變得很相似，大多數(shù)是快速反應(yīng)過(guò)程。這一次我做了一種反向選擇，觀眾在拍照之后，需要等待3分鐘來(lái)等畫面出現(xiàn)。也可以說(shuō)，這是一件反社交媒體的作品?！?/p>

真鍋大度1976年出生于東京，高中時(shí)開始組建樂(lè)隊(duì)、做DJ。他從東京科技大學(xué)數(shù)學(xué)系畢業(yè)后，進(jìn)入國(guó)際情報(bào)科學(xué)藝術(shù)學(xué)院（IAMAS）學(xué)習(xí)數(shù)字信號(hào)處理課程。這是一所自由而有趣的學(xué)校，像巖井俊雄（Toshio Iwai）這樣的著名媒體藝術(shù)家也參與其中。

也是在IAMAS，他結(jié)識(shí)了他的長(zhǎng)期合作者石橋素（Motoi Ishibashi），兩人合作的第一部作品是在東京一家百貨商店入口處安裝的交互式視頻。屏幕向進(jìn)出商店的人們展示了他們7秒鐘之前的樣子，這是基于認(rèn)知科學(xué)的觀點(diǎn)，即人們對(duì)“當(dāng)前時(shí)刻”的認(rèn)識(shí)包括之前和之后的7秒鐘。那是2004年，7年之后，他與石橋合作的《粒子》在奧地利電子藝術(shù)大獎(jiǎng)（Prix Ars Electronica）互動(dòng)藝術(shù)類別中獲得了優(yōu)異獎(jiǎng)。

2006年，兩人合作創(chuàng)建了Rhizomatiks公司，向客戶提供軟件編程、硬件架構(gòu)以及互動(dòng)項(xiàng)目設(shè)計(jì)等服務(wù)，如今發(fā)展為50人左右的公司。從2015年開始，真鍋大度本人專注于大約20人的創(chuàng)意研發(fā)部門Rhizomatiks Research，從激光器、無(wú)人機(jī)、投影映射到動(dòng)態(tài)感官編程，著重在媒體領(lǐng)域探索技術(shù)的各種藝術(shù)可能性。

事實(shí)上，奧運(yùn)閉幕式之前，Rhizomatiks公司已經(jīng)為娛樂(lè)界貢獻(xiàn)了不少引人注目的事件。他們?yōu)楸鶏u歌手Bj？rk的世界首個(gè)實(shí)時(shí)播放360o虛擬現(xiàn)實(shí)音樂(lè)會(huì)提供技術(shù)指導(dǎo)，負(fù)責(zé)視頻工程、照明系統(tǒng)和視覺(jué)設(shè)計(jì)等。作為日本電音組合Perfume背后的技術(shù)操縱者，Perfume的演唱會(huì)上經(jīng)常會(huì)出現(xiàn)全息影像、激光裝置、虛擬影像與真人互動(dòng)的現(xiàn)場(chǎng)表演等頗具未來(lái)感的技術(shù)展示。

Rhizomatiks在Perfume演唱會(huì)中使用的全息影像技術(shù)往往不是靜態(tài)的，而是在立體物上投影動(dòng)態(tài)影像。在第60屆戛納國(guó)際創(chuàng)意節(jié)上，參與表演的Perfume三位女歌手身上出現(xiàn)了動(dòng)態(tài)的幾何形狀影像，影像隨著她們的舞蹈動(dòng)作而變化。紅外線相機(jī)和測(cè)距相機(jī)在現(xiàn)場(chǎng)捕捉著三人的細(xì)微動(dòng)作，后臺(tái)程序自動(dòng)生成實(shí)時(shí)投影，形成魔法般的幻影。

編舞家Mikilo一直擔(dān)任Perfume的編舞指導(dǎo)，她還擁有一個(gè)全女性舞蹈團(tuán)Elevenplay。近些年來(lái)，真鍋個(gè)人以及Rhizomatiks公司與Elevenplay頻繁合作，進(jìn)行結(jié)合視覺(jué)與聲音、軟件編程與人體本身的實(shí)驗(yàn)，無(wú)人機(jī)、機(jī)械臂等被轉(zhuǎn)換成新的身體表達(dá)形式。

用傳感器追蹤記錄舞蹈者的動(dòng)作，然后再用一系列無(wú)人機(jī)重現(xiàn)這些動(dòng)作，一場(chǎng)名為《飛行》的表演是從站立在舞臺(tái)上的三位白衣舞者開始的，她們面前飄浮著三個(gè)帶白色金字塔尖頂?shù)臒o(wú)人機(jī)。隨著她們轉(zhuǎn)動(dòng)身體、伸出手臂，無(wú)人機(jī)也開始向上飛升，跟隨著音樂(lè)節(jié)拍和舞者的動(dòng)作變化飛行角度。

很快，無(wú)人機(jī)似乎對(duì)和諧一致的人機(jī)共舞感到厭倦了，想要獲得更多的獨(dú)立性。一度平靜的配樂(lè)變得激越起來(lái)，舞者紛紛散開，無(wú)人機(jī)開始與投射在舞臺(tái)屏幕上的幾何圖形編程影像一起，進(jìn)行自己的編舞表演。無(wú)人機(jī)的飛行與影像的變化配合得絲絲入扣。不得不承認(rèn)，這段極具韻律感的表演遠(yuǎn)比人機(jī)共舞要有魅力。

“一開始我們只能控制3臺(tái)無(wú)人機(jī)，現(xiàn)在已經(jīng)可以同時(shí)控制24臺(tái)了。”真鍋大度說(shuō)。

SonarPLANTA是始于2014年巴塞羅那的全球音樂(lè)和創(chuàng)意盛會(huì)，每年都會(huì)邀請(qǐng)有影響力的藝術(shù)家創(chuàng)作大型項(xiàng)目，目的是推動(dòng)新媒體技術(shù)和藝術(shù)創(chuàng)意領(lǐng)域的研究和實(shí)驗(yàn)。 去年6月份，入選2017 SonarPLANTA首映的就是真鍋大度的互動(dòng)設(shè)計(jì)作品《幻閃》，其中同步鏡、煙霧機(jī)、聚光燈以及多達(dá)24臺(tái)視頻投影儀結(jié)合在一起，構(gòu)建出一個(gè)由光線來(lái)定義空間變化的沉浸式裝置。

“我對(duì)光所創(chuàng)造的三維空間概念很感興趣，在研究礦石的自然形狀和結(jié)晶過(guò)程之后，我們決定把人體運(yùn)動(dòng)和技術(shù)創(chuàng)造的幾何空間結(jié)合在一起?！闭驽伌蠖日f(shuō)。他在同一個(gè)平面上結(jié)合了兩個(gè)不同的空間——真實(shí)的物理空間和另一個(gè)由數(shù)字生成的空間，從所有元素的移動(dòng)中產(chǎn)生新的視覺(jué)體驗(yàn)。

一開始，3名男女舞者走入其中，撿起地上發(fā)出藍(lán)色熒光的5個(gè)光球。投影的眾多光束聚集在光球上，他們的每個(gè)身體動(dòng)作都在操縱著這些交錯(cuò)的光束。最后，舞臺(tái)上只剩下了一名女性舞者，她身后的一團(tuán)光球隨著音樂(lè)呼應(yīng)著她的動(dòng)作，像是在與之共舞，通過(guò)多個(gè)視頻投影儀、鏡子和精細(xì)的光學(xué)計(jì)算，兩者被同步了。最后，真實(shí)的舞者離開了舞臺(tái)，光球代替了她，變化出既清晰又虛幻的影子，將舞蹈繼續(xù)下去。

“我制作藝術(shù)的原因是為了聚焦新技術(shù)帶來(lái)的可能性和危險(xiǎn)，并推動(dòng)社會(huì)層面對(duì)這些問(wèn)題的討論。一些開始是純粹的藝術(shù)項(xiàng)目，隨著技術(shù)進(jìn)步，在5到10年后被全世界普遍使用，比如在觸摸屏上玩游戲。但是，只依賴于新奇技術(shù)的媒體藝術(shù)注定會(huì)被迅速消費(fèi)，并在新奇消失之后落入過(guò)時(shí)的狀態(tài)?！痹谡驽伌蠖瓤磥?lái)，無(wú)論計(jì)算機(jī)和演算法如何進(jìn)步，你都需要?jiǎng)?chuàng)造性地重新激發(fā)它們，為新的想法服務(wù)。與像工匠一樣的產(chǎn)出相比，未來(lái)人們對(duì)輸入信息的判斷能力會(huì)變得更加重要。

對(duì)于藝術(shù)與技術(shù)之間的關(guān)系，姚大鈞持有和真鍋大度相似的觀點(diǎn)，他說(shuō)：“我認(rèn)為科技與藝術(shù)其實(shí)是一種煉金術(shù)的轉(zhuǎn)化關(guān)系，只有經(jīng)過(guò)高度原創(chuàng)的藝術(shù)理念，才能把沒(méi)有藝術(shù)性的技術(shù)轉(zhuǎn)化為藝術(shù)。它是煉金的技術(shù)，而不是材料的技術(shù)?！?/p>

“科技與藝術(shù)結(jié)合的創(chuàng)作已經(jīng)進(jìn)行了六七十年，過(guò)去一度被稱為新媒體藝術(shù)，到了一定時(shí)間，發(fā)現(xiàn)強(qiáng)調(diào)這個(gè)新字沒(méi)有太大意義，過(guò)去的新媒體很快變成了舊媒體。像奧地利Ars Electronica電子藝術(shù)中心過(guò)去40年來(lái)所匯整和記錄的，就是科技與藝術(shù)融合創(chuàng)作的當(dāng)代藝術(shù)發(fā)展史。”姚大鈞進(jìn)一步解釋說(shuō)。

過(guò)去幾年里，真鍋大度一直追求的是讓人們無(wú)法確定現(xiàn)實(shí)和虛擬之間的界限，盡管他的作品不斷獲得公眾認(rèn)可。最近，他開始想再次回到當(dāng)初的藝術(shù)根源。早在2008年，他有一件上傳到Y(jié)ouTube的實(shí)驗(yàn)作品《對(duì)臉部的電刺激》，他將醫(yī)用電極貼在自己的臉上，用電刺激面部肌肉，允許別人通過(guò)傳感器和電流刺激來(lái)控制他的面部表情。今年，他在慶應(yīng)義塾大學(xué)舉辦的研習(xí)班上，使用了可掃描大腦的功能性磁共振成像醫(yī)療設(shè)備，掃描和收集圖像來(lái)制作作品。

他還在進(jìn)行一個(gè)可能被稱為“最終游擊隊(duì)藝術(shù)作品”的實(shí)驗(yàn)：“我很高興地說(shuō)，我們終于開始嘗試一個(gè)我一直感興趣的概念：讓電通過(guò)我的大腦。在醫(yī)生的幫助下，我希望使用經(jīng)顱磁刺激（TMS）來(lái)阻止大腦皮層語(yǔ)言中心的活動(dòng)，觀察它對(duì)言語(yǔ)會(huì)產(chǎn)生什么樣的影響。某種程度上，我還想嘗試將電子微芯片安裝在我的大腦中?！边@時(shí)候，他的臉上終于流露出一絲興奮的表情。

天體頻率/Celestial Frequencies，2017年

“《天體頻率》是一件新數(shù)據(jù)驅(qū)動(dòng)的視聽(tīng)作品，為英國(guó)柴郡焦德雷班克天文臺(tái)（Jodrell Bank Observatory）標(biāo)志性的洛弗爾望遠(yuǎn)鏡創(chuàng)作的。像所有人一樣，我對(duì)有關(guān)宇宙的數(shù)據(jù)非常感興趣，在焦德雷班克與天體物理學(xué)研究人員一起工作期間，我們討論了如何實(shí)時(shí)接收脈沖星數(shù)據(jù)，如何轉(zhuǎn)換從望遠(yuǎn)鏡獲得的觀測(cè)數(shù)據(jù)，以及如何以吸引人的方式使用大量現(xiàn)存數(shù)據(jù)等。

洛弗爾望遠(yuǎn)鏡史詩(shī)般的結(jié)構(gòu)為我們提供了獨(dú)特的畫布，碟形天線指向太空，在地球轉(zhuǎn)動(dòng)時(shí)接收無(wú)線電信號(hào)。除了現(xiàn)場(chǎng)采集的實(shí)時(shí)外太空數(shù)據(jù)，我們還用到過(guò)去從更遠(yuǎn)望遠(yuǎn)鏡收集的數(shù)據(jù)，包括普朗克（Planck）太空船的微波觀測(cè)數(shù)據(jù)，它們被轉(zhuǎn)換為聲景和視覺(jué)表現(xiàn)形式，投射到望遠(yuǎn)鏡上。”

感知無(wú)形無(wú)聲的電磁波

Sensing Streams–invisible，inaudible，2015年

“近些年來(lái)，坂本龍一把從環(huán)境中提取數(shù)據(jù)的傾聽(tīng)過(guò)程作為他的主要關(guān)注點(diǎn)，《感知電磁波》是我們的第一個(gè)合作作品，試圖收集從手機(jī)等電子設(shè)備發(fā)出的電磁波，并讓它們變得可視化，它的概念源于我們渴望看到實(shí)際的生活環(huán)境。

我們?cè)诠珗@安裝了一個(gè)7.2米×3.9米的高分辨率顯示器，用于可視化和可聽(tīng)見(jiàn)的80MHz～5.2GHz之間的電磁波，設(shè)置在現(xiàn)場(chǎng)不同位置的天線實(shí)時(shí)捕捉著手機(jī)、Wi-Fi、數(shù)字地面廣播和FM收音機(jī)的信號(hào)。當(dāng)觀眾在屏幕前方轉(zhuǎn)動(dòng)界面來(lái)改變頻率時(shí)，可以在屏幕上看見(jiàn)不同的電磁波。如果在現(xiàn)場(chǎng)使用手機(jī)，聲音和圖像也隨之發(fā)生改變，反映出周圍空間變化的電磁。

在使用無(wú)人機(jī)等無(wú)線技術(shù)處理藝術(shù)作品時(shí)，我們得到了《感知電磁波》的靈感。大量的電磁波正在我們身邊飛舞，已經(jīng)成為日常生活中的重要基礎(chǔ)設(shè)施。它們是當(dāng)代技術(shù)中不可或缺的一部分，尤其在移動(dòng)技術(shù)中。雖然人的感官無(wú)法察覺(jué)到電磁波的存在，但人們?cè)跓o(wú)意識(shí)中嚴(yán)重地依賴著它們?！?h3>邊界/Border，2015年

“《邊界》是使用頭戴式顯示器的舞蹈表演，它同時(shí)是AR和VR的作品，在真實(shí)世界和虛擬世界之間來(lái)回移動(dòng)。我選擇這個(gè)名字，是想混淆觀眾與舞臺(tái)之間以及真實(shí)與虛擬之間的界限。

一開始，我只是出于創(chuàng)建一種AR設(shè)備體驗(yàn)的好奇心，從而避免VR中固有的抑制因素和不完整性。但是，如果觀眾自由地四處走動(dòng)，表演就不可能成立，恰巧我們遇到了Whill電動(dòng)輪椅公司的人，使用可以向任意方向移動(dòng)的Omniwheel，我們就能夠自由地改變位置，也能遠(yuǎn)程控制舞臺(tái)設(shè)置。

觀眾戴著顯示器，坐在電腦控制的輪椅里，因此他們對(duì)作品的體驗(yàn)完全由系統(tǒng)控制。這種體驗(yàn)不僅包括圖像和聲音，還包括地板的震動(dòng)、香水的氣味、被舞者觸摸等等，觀眾與表演者、現(xiàn)實(shí)與虛擬世界之間的界限變得模糊。在這件作品的制作過(guò)程中，概念始終是第一位的。當(dāng)然你可以產(chǎn)生很多分支想法，采用一些想要使用的技術(shù)，但是概念必須保持不變，所有的創(chuàng)作動(dòng)機(jī)都來(lái)自于此。”