基于數(shù)字媒體的虛擬角色融景投射實(shí)踐

一 背景、意義及現(xiàn)狀

隨著數(shù)字技術(shù)的飛速發(fā)展，使得舞臺(tái)表演的形式和內(nèi)容極大地?cái)[脫了現(xiàn)實(shí)的束縛。舞臺(tái)表演空間呈現(xiàn)的技術(shù)和材料變得越來越豐富，借助 AR、MR、Mapping 等技術(shù)可以讓不同時(shí)代，不同空間的場景無縫鏈接。由于總是給觀者帶來一些比較新的前所未有的深刻體驗(yàn)。越來越多的導(dǎo)演和設(shè)計(jì)師開始大量使用基于數(shù)字媒體內(nèi)容的融景方式，這類投射方式在舞臺(tái)表現(xiàn)中的比重越來越大。

不過這些投射的內(nèi)容以舞臺(tái)背景居多，就算是有角色內(nèi)容也都是設(shè)定好的影像。但是數(shù)字藝術(shù)不僅可以混合原先獨(dú)立分割的介質(zhì)和材料，突破現(xiàn)實(shí)，也可以突破人體機(jī)能的限制，更重要的是可以把觀者的反應(yīng)、動(dòng)作、做為數(shù)據(jù)傳入作品中，時(shí)時(shí)衍變出新的作品式樣。借助技術(shù)的加持，如何使角色利用數(shù)字特性與融景投射結(jié)合擺脫現(xiàn)實(shí)的束縛，并創(chuàng)造一些未有的視覺及交互體驗(yàn)，還鮮有人嘗試。筆者在 2017年浙江省大學(xué)生雙創(chuàng)大賽閉幕式和 2019年杭州師范大學(xué)錢江學(xué)院 20 周年院慶晚會(huì)上兩次嘗試將智能 AI 卡通吉祥物搬上舞臺(tái)，制作成虛擬角色與真實(shí)主持人同臺(tái)主持表演。在這樣的一個(gè)過程中，如何利用新的手段和材料制作？是否僅僅只是一個(gè)技術(shù)的升級(jí)？融景投射的虛擬角色結(jié)合數(shù)字手段是否有一些新的審美策略成了我們在設(shè)計(jì)中關(guān)心的問題。

二 基于數(shù)字媒體的融景投射概述

1.融景投射介紹、原理

融景投射方式是指利用 AR、MR、Mapping、全息等一系列技術(shù)手段制作出的使虛擬影像可以貼合在現(xiàn)實(shí)空間中活動(dòng)運(yùn)行的投射方式。這一類投射中，虛擬影像不僅不受限于現(xiàn)實(shí)空間，甚至可以利用現(xiàn)實(shí)空間的不規(guī)則性而產(chǎn)生更加有張力的現(xiàn)場視覺作品。目前使用較多的就是擴(kuò)展現(xiàn)實(shí)和全息投影兩種方式。

擴(kuò)展現(xiàn)實(shí)是 AR、VR、MR 的統(tǒng)稱。AR 和 MR 其實(shí)采用的是 SLAM 技術(shù)（也叫空間定位與地圖構(gòu)建）。通過計(jì)算機(jī)對(duì)空間的掃描（圖1），獲得場景的空間特征點(diǎn)的數(shù)據(jù)，然后根據(jù)位移時(shí)，每個(gè)特征點(diǎn)的路徑數(shù)據(jù)構(gòu)建出場景并反求出場景中的虛擬攝像機(jī)。這樣添加的虛擬內(nèi)容就能利用虛擬攝像機(jī)獲得和場景一樣的視角和移動(dòng)距離。利用這種手段產(chǎn)生的虛擬內(nèi)容，借現(xiàn)實(shí)環(huán)境的真實(shí)性引觀者入境，再配合虛擬內(nèi)容進(jìn)行拓展。使得觀者有一種神奇的感受。

全息投影1引自維基百科https://zh.wikipedia.org/wiki/%E5%85%A8%E6%81%AF%E6%91%84%E5%BD%B，2020年11月1日。，是一種記錄被攝物體反射光波中全部信息（振幅、相位）的照相技術(shù)，物體反射或者透射的光線可以通過記錄膠片完全重建，仿佛物體就在那里一樣。通過不同的方位和角度觀察照片，可以看到被拍攝物體的不同角度，因此記錄得到的像可以使人產(chǎn)生立體視覺。

說的通俗點(diǎn)，就是使用全息投影將虛擬內(nèi)容投射到舞臺(tái)特制的半透半反幕上，投射幕一邊通過截留投射過來的影像，在舞臺(tái)空間中形成虛擬的角色形象，一邊又因?yàn)槠浒胪该鞯慕橘|(zhì)可以將幕后的現(xiàn)實(shí)空間顯示出來，于是形成了虛擬影像與現(xiàn)實(shí)世界融合的效果。在市場上的全息影像的投射主要分為投影幕投射，和45 度角投射。（圖2）

圖1 空間特征點(diǎn)掃描

圖2 全息影像裝置結(jié)構(gòu)

2.融景投射的現(xiàn)實(shí)應(yīng)用

國外在2007年貓王的紀(jì)念演唱會(huì)使用融景投射復(fù)活了“貓王”引起了轟動(dòng)。日本在2017年電視節(jié)目《金 SIM》中使用融景投射復(fù)活了鄧麗君。2016年張藝謀導(dǎo)演為 G20 峰會(huì)所導(dǎo)演的《印象西湖》更是融景投射的一次完美呈現(xiàn)。用全息方式投射出來的動(dòng)態(tài)折扇在美麗的西湖上娓娓打開，在西湖水上形成倒影，梁山伯與祝英臺(tái)在這樣的背景前演繹自己的愛恨情愁，將他們倆的愛情故事推向了前所未有的高潮。

這些使用融景投射的作品，都在當(dāng)時(shí)引起了不小地轟動(dòng)。不過這些作品也都受到當(dāng)時(shí)一些技術(shù)的限制。首先融景投射的數(shù)字內(nèi)容都受拍攝時(shí)的設(shè)定內(nèi)容的限制。拍攝的設(shè)定內(nèi)容的質(zhì)量和角度在后期很大程度決定了現(xiàn)場融景投射的質(zhì)量，限制了融景投射的式樣體驗(yàn)。其次這些內(nèi)容受限于當(dāng)時(shí)的數(shù)字技術(shù)，沒有形成與觀者互動(dòng)，更不可以完成一些現(xiàn)實(shí)中不能完成的事。這樣由真實(shí)舞臺(tái)引人入境與數(shù)字制作內(nèi)容所形成的張力就大打折扣。

由于數(shù)字媒體中游戲技術(shù)的快速發(fā)展，很多 CG 制作的手段有了很大進(jìn)步。特別是實(shí)時(shí)渲染 CG 的發(fā)展為實(shí)時(shí)虛擬角色互動(dòng)打下了很好的基礎(chǔ)。通過 2017年的虛擬角色“創(chuàng)創(chuàng)”和 2019年的虛擬角色“潮潮”兩次實(shí)踐制作的總結(jié)，可以發(fā)現(xiàn)一些融景投射虛擬角色的式樣特征。

三 虛擬角色融景投射設(shè)計(jì)特征歸納

1.數(shù)字媒體內(nèi)容變化維度大

我們所說的數(shù)字媒體內(nèi)容，通常指的是用計(jì)算機(jī)計(jì)算或模擬出來的圖像內(nèi)容。常規(guī)的舞臺(tái)表演，真實(shí)角色受到很多條件限制，比如舞臺(tái)的大小，手中的道具，演員自身身體的機(jī)能。但虛擬角色的活動(dòng)不像真人般受限制，位置變化維度大：可以移動(dòng)到舞臺(tái)任何位置，例如可以從舞臺(tái)底部跳至舞臺(tái)的高處，再從舞臺(tái)高處蹦下來；甚至在空中轉(zhuǎn)體三周半這種動(dòng)作都毫不費(fèi)力，手中的道具也是信手拈來。在筆者設(shè)計(jì)的虛擬角色在表演的過程中，一邊快速變大到三倍于真人的大小，充滿整個(gè)舞臺(tái)，一邊又悠然自得地變回到正常大小，給人一種阿拉神燈般奇遇的感受。

除了角色，特殊效果 VFX 的表演更受場地的限制，在真實(shí)舞臺(tái)上安排一次爆炸先不論效果如何，單單安全就沒有保障。數(shù)字性代表著混合，可以將各種素材、各種本領(lǐng)數(shù)字化混合在一起，做出驚人的視覺效果。自然，基于數(shù)字 CG 手段的特效變化維度也就很大：如冰霜雨雪，爆炸煙霧等效果。例如，表演伊始“潮潮”伴隨著冰與火而閃現(xiàn)，給觀眾一種靈光乍現(xiàn)的感覺。

因此融景投射中使用基于數(shù)字媒體的內(nèi)容制作空間較大，限制較小，可以塑造自然現(xiàn)實(shí)中無法企及的部分。為整體特殊的式樣特征打下基礎(chǔ)。

2.全息投射角色的融景性

所謂“融景性”就是虛擬角色不僅能和真實(shí)環(huán)境同時(shí)出現(xiàn)，還能和真實(shí)環(huán)境相協(xié)調(diào)。不管是通過空間定位技術(shù)，定位到真實(shí)空間的虛擬角色，還是通過特制的半透半反幕形成的舞臺(tái)空間中的虛擬角色，都能夠與背景及真實(shí)主持人融合在一起。例如我們制作的虛擬角色“潮潮”可以和舞臺(tái)中的背景融合。當(dāng)時(shí)舞臺(tái)的背景設(shè)定為繁星點(diǎn)點(diǎn)的星空，我們可以看到舞臺(tái)上“潮潮”和主持人并排站著，并和背景中的星空形成一定的遮擋。無論觀者的位置和視角如何移動(dòng)，在空間、顏色、等各個(gè)方面，基于數(shù)字制作的角色與內(nèi)容都可以和舞臺(tái)上的其他物件以及真實(shí)主持人融合，虛擬角色在真實(shí)空間中的位置和真實(shí)空間的關(guān)系也不會(huì)扭曲，讓觀者感受到他們在同一空間也不覺得違和。

3.交互角色的真實(shí)性

這里的真實(shí)性是指在真實(shí)空間中角色外表渲染中，物理光線計(jì)算的真實(shí)性。不管使用哪一類材質(zhì)，都可以搭配真實(shí)世界的光線反射處理，獲得有真實(shí)世界物理光照的效果，哪怕使用動(dòng)畫卡通材質(zhì)。隨著游戲技術(shù)的發(fā)展，現(xiàn)在實(shí)時(shí)渲染的 CG 角色在場景運(yùn)行過程中不僅可以獲得較貼合物理現(xiàn)實(shí)的渲染效果，做到與靜幀渲染質(zhì)量相差不大的效果，并且還可以獲得較高的幀率。

例如兩次實(shí)踐中，從虛擬角色的次反射材質(zhì)皮膚，到角色身上的襯衫和馬甲布料，在實(shí)時(shí)渲染的情況下都獲得了和現(xiàn)場較貼合的效果。不僅在外觀上具有了物理光線的真實(shí)性特征，還抽離出真人的社交特征，像真人一樣可以與觀者互動(dòng)。

基于 AI 的虛擬角色2如筆者2017年為浙江省大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽頒獎(jiǎng)典禮制作的“創(chuàng)創(chuàng)”和2019年為杭州師范大學(xué)錢江學(xué)院院慶晚會(huì)制作的“潮潮”。，可以對(duì)觀者的提問給予實(shí)時(shí)的互動(dòng)回應(yīng)。數(shù)字制作往往給人的感覺都是設(shè)定好的，但是基于 AI 的設(shè)定，這個(gè)角色有自己的喜怒哀樂，可以和觀者做隨機(jī)地交流。再匹配上夸張的視效與上天入地神奇的表演，更能吸引觀者的視覺神經(jīng)，形成一種張力。我們在節(jié)目中就設(shè)定了臺(tái)下觀眾與虛擬角色的隨機(jī)問答環(huán)節(jié)來突出虛擬角色的真實(shí)性。

總結(jié)兩次的內(nèi)容都使用真實(shí)的視覺特征，融合到現(xiàn)實(shí)環(huán)境中，輔以超越現(xiàn)實(shí)的表演。通過這些視覺特性的總結(jié)，我們也可以發(fā)現(xiàn)融景投射的數(shù)字角色遵循以上這些原則可以獲得更好的效果。

四 虛擬角色融景投射的審美策略

1.抽離真實(shí)，超越真實(shí)的原則

什么是數(shù)字媒體的真實(shí)？有人會(huì)說，現(xiàn)在的軟件工具和機(jī)器允許上千萬面的細(xì)節(jié)雕刻，可以大大增強(qiáng)虛擬角色的真實(shí)性。這里說的真實(shí)不是對(duì)客觀事物的原版照抄。格式塔心理學(xué)認(rèn)為：任何形都是知覺進(jìn)行了積極組織或建構(gòu)的結(jié)果或功能，而不是客觀本身就有的。3[美]魯?shù)婪颉垡驖h姆著，滕守堯譯，《視覺思維》，四川人民出版社，1998年，第 3 頁。形是一種具有高度知覺水平的知覺整體，它從其他物體中清晰地分離出來，自身有著獨(dú)立于其構(gòu)成成分的獨(dú)特性質(zhì)。這里所說的真實(shí)不僅抽取了客觀特征，又包含了主觀的組織?？ㄍ槲锛葋碓从诂F(xiàn)實(shí)世界，又有基于的真實(shí)和客觀想象。例如：吉祥物“潮潮”的材質(zhì)表達(dá)，在制作過程中既需要模擬真實(shí)的皮膚質(zhì)感、光照物理效果，制作無異于真實(shí)世界的布料材質(zhì)，如棉馬甲，襯衫等，又在形、色、造型方面又不等同于現(xiàn)實(shí)生活中真實(shí)的動(dòng)物兔。但沒有一個(gè)觀者會(huì)否認(rèn)這是一只在眼前現(xiàn)實(shí)空間活動(dòng)的真實(shí)的兔子（圖3）。也沒有一個(gè)觀者會(huì)認(rèn)為這是一只我們在花鳥市場常見的動(dòng)物兔。

當(dāng)然抽離一些特征進(jìn)行混合編排僅僅只能使得這個(gè)形象活立起來。事實(shí)上，在表演情節(jié)設(shè)定中，超越這些抽離的特征才能激起觀者獲得更深刻的體驗(yàn)。舉例說，使得虛擬卡通角色完成現(xiàn)實(shí)生活中無法企及的事，例如使用“魔法”。在造型和人物設(shè)定上這種抽離真實(shí)特征又出現(xiàn)在現(xiàn)實(shí)中的矛盾構(gòu)成了這種式樣的張力基礎(chǔ)。

圖3 “潮潮”現(xiàn)場示意圖

2.表達(dá)人物內(nèi)心演繹的原則

不管是哪種新的技術(shù)或是新的形式，如果沒有介入情感表現(xiàn)，生命體驗(yàn)，那始終還是一種物理科技。融景投射技術(shù)如果使用不當(dāng)往往給人的感覺就是技術(shù)新鮮感。電影一般以通過故事塑造角色，通過對(duì)角色鮮明性格的體驗(yàn)來引導(dǎo)觀者共情。那么融景數(shù)字角色不僅適用于此原則，更不僅限于此原則。數(shù)字角色通過運(yùn)用話語，細(xì)微的肢體語言，甚至超現(xiàn)實(shí)的表演技巧，利用類人般的物理真實(shí)和心理真實(shí)與超現(xiàn)實(shí)的表演來制造一種強(qiáng)大的張力。試想一下，一個(gè)類似于蜘蛛俠般的科幻劇里的科幻人物一邊只是在眼前的現(xiàn)實(shí)舞臺(tái)上做了幾個(gè)夸張的動(dòng)作，上下亂蹦跶了一番，一邊是出現(xiàn)在觀者眼前的現(xiàn)實(shí)空間，并向他們表達(dá)他的真實(shí)想法，這兩種體驗(yàn)?zāi)囊环N更能感染觀者。很明顯這種對(duì)超現(xiàn)實(shí)的人物內(nèi)心的臨場體驗(yàn)與審美張力所造成的感受才是這種形式的關(guān)鍵。所以，融景投射角色不能僅僅是一種新顯示方式，還是合乎藝術(shù)的規(guī)律并生動(dòng)演繹了角色的內(nèi)心感受，才能創(chuàng)造出超凡的藝術(shù)體驗(yàn)。

3.與觀眾互動(dòng)的原則

數(shù)字媒體的本質(zhì)是交融混合，不僅消融了各種材料的界限，也消融物質(zhì)和虛擬的界限，更消融了觀者和作品的界限。首先觀者對(duì)現(xiàn)實(shí)中出現(xiàn)這樣的一個(gè)亦真亦幻的角色，心理上還是有一些懷疑，但是當(dāng)這樣一個(gè)角色可以與觀者互動(dòng)，與真人一問一答，特別是在舞臺(tái)上出現(xiàn)一些隨機(jī)發(fā)生的互動(dòng)，就會(huì)讓觀者完全沉浸在數(shù)字角色的場域中。其次在節(jié)目的過程中，觀者的舉動(dòng)（包括不限于喝彩、起哄）、觀者的提問都會(huì)被轉(zhuǎn)化為作品的數(shù)據(jù)直接影響角色的表現(xiàn)和表演深度，從而時(shí)時(shí)變換角色的形象塑造。因此交互推動(dòng)了這種式樣的張力，使得這種式樣的矛盾更加穩(wěn)固，也使得這種矛盾張力更加多變。

五 全息實(shí)景劇的一些新嘗試和體驗(yàn)

在兩次的融景投射制作中都使用數(shù)字角色與真實(shí)主持人同臺(tái)主持，并引入AI，與動(dòng)態(tài)捕捉的虛擬角色進(jìn)行融合切換。與 2017年在室內(nèi)的融景投射虛擬角色“創(chuàng)創(chuàng)”實(shí)踐相比，2019年更是在戶外使用融景投射裝置制作了“潮潮”。雖然在技術(shù)上遇到了很多難題，也因?yàn)槭彝獾淖匀画h(huán)境因素增加了很多不確定性，但是室外的增強(qiáng)效果要遠(yuǎn)遠(yuǎn)大于室內(nèi)的效果。在制作過程中，“潮潮”能夠不斷地產(chǎn)生張力來持續(xù)地吸引觀者，如：“潮潮”穿著和真人相同材質(zhì)的服裝出現(xiàn)在現(xiàn)實(shí)世界中產(chǎn)生張力；和真人相似的“潮潮”可以通過完成真人所不能完成的動(dòng)作和特效產(chǎn)生張力；能上天入地的“潮潮”又可以和真人觀者進(jìn)行實(shí)時(shí)隨機(jī)地互動(dòng)更將張力矛盾推向高潮；“潮潮”消失前最后的回眸一笑更將這種張力定格在觀者的心中，久久揮之不去。

在實(shí)踐中可以看到，融景投射的虛擬角色結(jié)合數(shù)字并非只是手段升級(jí)。不同于使用數(shù)字筆在平板上模擬各畫種，其可以模擬不同畫筆工具及不同類型紙張的效果。雖然方式得到了一定的擴(kuò)展，但只是將線下工具數(shù)據(jù)轉(zhuǎn)化到線上。工具的特性及畫面結(jié)構(gòu)等一些審美特征本質(zhì)性問題并沒有改變。而使用 AI 數(shù)字工具并結(jié)合融景投射的手段并非簡單地將在屏幕中的影像換種展示方式，在這個(gè)過程中，虛擬角色從出場到最后消失，審美張力矛盾連續(xù)不斷地產(chǎn)生，并逐漸增強(qiáng)?？傊?，把依靠理性創(chuàng)造能力調(diào)動(dòng)的數(shù)字科技與技術(shù)手段和依靠生命體驗(yàn)感性創(chuàng)造力調(diào)動(dòng)的視覺藝術(shù)相結(jié)合的方式創(chuàng)造出了一種新的充滿意外和能量的審美式樣。