虛擬空間設計中的關鍵技術分析

薄一航

(北京電影學院美術學院,北京 100088)

1 虛擬空間

空間作為一種蘊含各種元素結構的場域,與人的生存、行為之間具有不可分割的存在關系。在數字技術革命之前,人們所討論的“空間”,主要涉及以可見的物理世界為主要參照的各種空間場景,諸如自然空間、文化空間、社會空間,甚至是心理空間等。雖然分類模式不同,但在觀念與認知層面,諸如此類的空間模式,都被稱為是真實環(huán)境下的空間存在。

數字技術、人工智能技術以及電影虛擬制作技術日益成熟的今天,電影中的空間場景設計也逐漸從全實景搭建,經由實景加虛擬制作,向著純虛擬制作的方向邁進。從某種意義而言,人類幾千年文明的發(fā)展歷史,正是以這種“真實環(huán)境”為依托,不斷推進和發(fā)展的。而進入數字技術文明之后,數字技術有效地僭越了真實世界的邊界,創(chuàng)造出一種與真實環(huán)境相對的虛擬空間,或可稱之為數字化的虛擬世界。就虛擬空間本身而言,它與真實環(huán)境既具有存在模式的差異性,同時也在屬性和特征上具有一定的相似性。它可以是對真實空間的重構,也可以是超出現實、完全虛構和想象出來的。理想狀態(tài)下,人們在虛擬空間中所感受和感知到的一切與在真實環(huán)境中完全一致。隨著觀影形式越來越多樣化,觀眾對沉浸式、互動式觀影體驗需求的不斷提升,勢必對電影中虛擬空間的設計提出更多、更高的要求。

圖1 虛擬空間構成示意圖

總的來講,完整的虛擬空間構成較為簡單,主要包括計算機、輸入/輸出系統(tǒng)、網絡連接、相關數據庫和人等幾個組成部分(圖1)。其中,計算機可以說是虛擬空間的“大腦”和中樞系統(tǒng),控制和管理著虛擬世界中各類數據的輸入、輸出和處理工作,同時也是人與虛擬空間之間進行溝通和互動的橋梁。輸入系統(tǒng)負責將現實空間中的數據輸入至虛擬空間,模擬人與現實世界的感知互動過程和形式,虛擬空間的輸入主要包括攝像頭等視覺輸入設備、麥克風等聽覺輸入設備,以及不同類型的感應器等觸覺或嗅覺輸入設備等;輸出系統(tǒng)則是負責將計算機處理后的結果反饋給人們,比如通過投影、顯示器等視覺顯示設備將視覺反饋結果輸出,通過音箱等設備將聽覺反饋結果輸出等。當然,各種感官之間并非獨立,比如聲音的輸入可以通過視覺形式反饋輸出,觸覺的輸入可以通過聲音等聽覺形式反饋輸出等。除了上述物理構成部分之外,虛擬空間中還有兩個無形的組成部分:網絡連接和相關數據庫。其中,網絡連接是溝通一切數據連接的基礎,而相關數據庫則包含了所構造的虛擬空間中各種物理模型、幾何模型等數據,以及實時從外界接收的各種感官數據等,時刻為整個虛擬空間補充亟需的各種能量。人作為虛擬空間存在的“靈魂”,將現實空間與虛擬空間有機地融為一體,失去了人,虛擬空間也便失去了其存在的意義和價值。

圖2 虛擬空間的特征示意圖

與現實空間相比,虛擬空間有其特有的特征,主要包括存在性、交互性、沉浸性和自適應性四種(圖2)。

(1)存在性:心理學家馬斯洛曾經提出,當一個人產生了“高峰體驗”時,他便會用全部身心感知到一個不同尋常的世界,原本平庸的一切都變得神圣與美好了,馬斯洛稱這種行為和現象為“存在性認知”。當人們置身于虛擬空間當中時便會產生一種不一樣的體驗,人們可以用心去感知虛擬空間中的一切,去體味它如同真實空間一般的存在。理想狀態(tài)下,處在虛擬空間中的主體能夠自主按照自己的意愿行事,自由表達自己的意志,做出獨立的決定,并可以自行地推進事物的發(fā)展進程。

(2)交互性:虛擬空間的理想狀態(tài)就是讓人們與虛擬空間的互動如同在現實空間中一樣,人們可以通過視覺、聽覺、觸覺、嗅覺甚至味覺等不同感官形式與虛擬空間中的萬物進行交流與互動。人與虛擬空間之間并非獨立的個體,二者之間存在信息反饋的回路。當然,更多的時候指的是人機交互,也包括人與人的交互、人與物的交互。近幾年人工智能技術突破瓶頸式的發(fā)展使虛擬空間的交互性越來越智能化和人性化,因此也再次拉近了人與虛擬空間的距離。未來,人們與虛擬空間的交互不再是冷冰冰的互動,虛擬世界中的事物同樣能夠感受到人世間的冷暖,感知到我們的喜怒哀樂。當然,虛擬空間情感性的研究還不夠成熟,處于比較初級的階段,這也是未來虛擬空間所要著重發(fā)展的方向和目標之一。

(3)沉浸性:沉浸性指的是當人們作為主體存在于虛擬環(huán)境中時所感受到的真實程度。虛擬環(huán)境越逼真,越接近于現實,人們所體驗到的沉浸性就越強。虛擬空間交互性的強弱直接影響著其沉浸感的程度。

(4)自適應性:與真實空間不同的是,虛擬空間中的一切事物都會隨著與人的互動與想象而無限地延伸和擴展,進而不斷地更新虛擬空間自身的性能與形態(tài),讓人們始終置身于一個變幻莫測、存在無限可能性的空間當中。自適應性可以說是虛擬空間比真實空間更具吸引力的主要因素。

2 虛擬空間設計中的關鍵技術

虛擬空間設計是以新技術變革下的電影為核心,拓展到視聽未來形態(tài)的藝術與科技范疇,著力于視聽敘事表達的前瞻性、技術和理念的前沿性、思維和手段跨學科的交叉性。這里,虛擬空間并不是特指虛擬現實,而是泛指虛擬現實、增強現實、混合現實、人機接口、人工智能、大數據、超強計算等新技術手段構建的非傳統(tǒng)的視聽體感交互空間。因此,在未來電影虛擬空間藝術設計中會涉及到各種相關的新興技術和理念。

按照虛擬空間的構成與特性,主要涉及三個方面的技術問題:虛擬環(huán)境設計、虛擬空間的交互設計以及虛擬空間中的大數據與云計算。

2.1 虛擬空間的環(huán)境設計

虛擬空間中的環(huán)境可以是虛擬現實環(huán)境,即完全由計算機生成的數字化環(huán)境,也可以是現實場景與虛擬場景相融合的混合現實環(huán)境。其中完全虛擬的環(huán)境可以是對真實環(huán)境的仿真,也可以是完全虛構出來的;混合現實環(huán)境將真實世界中不存在的事物以數字的形式呈現出來,并將其通過傳感技術融入到真實場景當中,從而形成一種新的虛擬環(huán)境。電影《阿凡達》中使用了大量混合現實的虛擬場景,如圖3所示,不僅極大豐富了鏡頭的表現形式,增強了鏡頭的真實感,還提升了觀眾的沉浸感。

圖3 電影《阿凡達》虛擬場景示例圖

虛擬空間的沉浸性給全景技術提出了更高的要求。通常,我們所講的全景指的是360°全景。虛擬空間的全景技術將全景范圍擴展到720°,甚至360°+360°全景,將人們完全置身于一個完整的虛擬環(huán)境當中。一般情況下,全景的實現主要是通過圖像拼接技術實現對場景的環(huán)視以及對其中物體的三維拖動顯示,通過鼠標、鍵盤或者其它輸入設備對該物體進行放大、縮小以及變換觀看角度等操作。不僅具有較強的動感和透視效果,而且還能極大地提升虛擬空間的沉浸感。

圖4 電影《星球大戰(zhàn)》全息技術示例圖

虛擬空間環(huán)境的顯示中還涉及一個必要的技術,即三維顯示技術。從原理上講,三維顯示是模擬人類雙眼的視覺功能與特征,通過人腦對于從左眼和右眼分別接收的視差圖像進行處理之后所形成的立體圖像。尤其是近幾年全息技術的出現和廣泛應用,為虛擬空間的建設提供了新的可能性。全息技術早在電影《星球大戰(zhàn)》中就曾經出現過,全息的萊婭公主通過虛構的機器人被投射到光場當中(圖4)。該技術利用干涉和衍射原理,記錄并再現真實物體的三維影像,將虛擬物體立體地投射在現實空間當中。我們依舊可以通過交互技術與立體的虛擬物體進行溝通和互動。全息顯示技術將會成為未來虛擬空間的主要顯示技術之一。

2.2 虛擬空間的交互設計

要想讓人們在虛擬空間中找到在真實空間中的沉浸感和融入感,如何讓人們與虛擬空間產生更加自然、更加人性化的互動過程,增強交互體驗尤為重要。當然,前面我們提到,關于虛擬空間中的交互包括人機交互、人人交互以及人物交互等,本文所討論的主要是人機交互技術。虛擬空間中的交互設計已跨越手工作業(yè)、命令行交互界面,甚至圖形交互界面,朝著更加自然和多樣的交互界面發(fā)展。這其中,涉及到人機接口、認知復雜性理論、數據輸入、數據顯示、接口檢索以及接口控制等諸多方面的技術內容。

深度學習等機器學習算法的出現和發(fā)展讓人工智能各個領域逐漸突破曾經的瓶頸向著更加廣闊的方向前進。在虛擬空間交互設計中,也已經不再局限于通過鼠標、鍵盤以及手柄等輸入設備與虛擬空間進行互動,而是通過各種不同的、更為自然的感官形式去感知虛擬世界中的一切。對于視覺交互形式來說,普通攝像頭、深度攝像頭、紅外攝像頭等均可以作為視覺輸入設備,而投影、LED 屏以及全息影像等則可以作為視覺互動反饋的輸出設備。計算機視覺方法為視覺交互提供了極大的支持,比如,表情識別方法可以幫助虛擬空間識別出人們的表情和情緒狀態(tài);目標跟蹤方法讓虛擬空間可以實時跟蹤定位到人們及其具體肢體部位在空間中的位置;姿勢識別則可以通過不同的姿勢信息給虛擬空間發(fā)出不同的交互命令等。對于聽覺交互形式來說,麥克風和音響可以作為虛擬空間聽覺的輸入輸出設備,語音識別、自然語言處理等方法可以幫助虛擬空間聽懂人們的語言,用聲音與人進行互動。另外,計算美學、美學計算以及情感計算等技術還可以賦予虛擬空間審美能力,以及情感的判斷與理解的能力。

2.3 大數據與云計算

各種感官形式的交互數據勢必決定了虛擬空間輸入數據形式的多樣化和復雜化,大數據可視化技術為這些海量且結構復雜的數據之間的轉化和表達提供了堅實的基礎。而面對海量結構復雜的數據,我們根本無法通過單臺計算機進行管理、分析和處理,必須采用分布式的架構對其進行計算,即云計算。大數據與云計算之間的關系密不可分,對于大數據的處理必須依托云計算的云存儲、分布式數據庫、分布式處理以及虛擬化技術等。從技術角度講,云計算屬于分布式計算的一種,也就是說將整個計算過程分成若干個小的運算,分別交由不同的處理器處理,然后再將這些小的運算結果綜合在一起得到最終的反饋計算結果。我們可以把“云”看作是一個虛擬的、資源可以共享的網絡,每個虛擬空間中的人都可以根據自己的需要向“云”中申請可用資源。在虛擬空間的交互過程當中,無論是單人的還是多人的,都會實時產生大量不同結構、不同類型的輸入/輸出數據,比如,圖像、視頻、聲音、語音、文本等。面對這些復雜、海量的數據,數據可視化以及云計算技術直接影響著虛擬空間能否快速、準確地完成交互數據的分析與處理,進而影響著整個虛擬空間的交互性、沉浸性以及智能性和構想性。

3 新技術對未來虛擬空間設計影響

技術的進步、新技術的出現無疑給虛擬空間的設計帶來了各種新的可能性,同時,虛擬空間的未來走向也極大程度地取決于新技術的發(fā)展。尤其是在人工智能技術蓬勃發(fā)展的今天,虛擬空間的形態(tài)和互動方式正在突破原有的設計瓶頸,發(fā)生著革命性的變化。

20世紀80年代以來,世界上與人工智能密切相關的有兩件大事:一是日本第五代計算機計劃,另一個是中國的863智能計算機計劃。對此,錢學森先生提出了人機結合的重要性,并提出應該開始研究人機結合的智能系統(tǒng)。他曾經說到:“智能系統(tǒng)是非常重要的,是國家大事,關系到下一世紀我們國家的地位。如果在這個問題上有所突破,將有深遠的影響。我們要研究的問題不是智能機,而是人與機器相結合的智能系統(tǒng)。不能把人排出在外,應該是一個人-機智能系統(tǒng)?！贝魅隇樵菏吭谥锌圃旱谄叽卧菏看髸险教岢觥爸悄芸茖W與工程(人-機結合)”為一個新的科學技術研究領域。從某種角度講,虛擬空間也是一個人-機共存的體系,在人與虛擬空間互動的過程中,將人的作用引入到虛擬空間智能系統(tǒng)的計算回路當中,使得人與計算機可以協(xié)同工作,讓人的感知與認知能力同計算機強大的計算與存儲能力相結合,從而形成“1+1＞2”的增強智能的形態(tài)。目前,人機協(xié)同技術已經應用在人機共駕當中。未來融入了人的認知與智能的虛擬空間可以更進一步地增進人與虛擬空間之間的距離,大大提升虛擬空間的智能性和交互性。

目前的人工智能水平還停留在弱人工智能階段,盡管深度學習方法的出現讓人工智能技術發(fā)生了質的飛躍,但與人的智能相比,尤其是在藝術創(chuàng)作方面,人工智能距離人類的情感、創(chuàng)造力以及想象力等還相距甚遠。近幾年來,情感逐漸成為人工智能領域關注的重點。著名的人工智能哲學家瑪格麗特·博登(Margaret A.Boden)認為情感與創(chuàng)造力對實現強人工智能是不可缺少的。虛擬空間設計中,在智能空間實現的同時,對增進虛擬空間與人的友好關系的情感設計也提出了新的要求和更高的要求。人工智能的創(chuàng)始人之一麻省理工學院的明斯基(Minsky)教授最先提出讓計算機擁有人工情感(Artificial Emotion)的問題,Minsky教授指出我們的問題不在于智能機器是否能夠擁有情感,而在于當機器實現智能的同時又怎么可能保持沒有情感。同樣的道理,能夠讀懂、分析和理解人的情感狀態(tài)的虛擬空間勢必是未來智能虛擬空間的發(fā)展趨勢,與情感計算(Affective Computing)、感性工學(Kansei Engineering)等人工情感的研究領域密切相關。

另外,人們與虛擬空間的互動還存在一個問題,人們往往只通過單一的交互形式與虛擬空間進行互動。單一的交互形式會在一定程度上影響智能體對交互內容的認知與理解。比如,僅僅通過人們的手勢和姿勢,智能體很難判斷人們當前所要表達的內容,手勢配合上語音信息會能夠更完整地表達人們的意圖。因此,單通道的交互形式存在很大的局限性。近年來,人機交互技術正朝著將文字、語音、圖像、體感觸覺以及情緒等多種通道深度融合的方向發(fā)展。中科院自動化所的陶建華研究員等人提出了面向自然交互的多通道人機對話系統(tǒng)和多通道人機交互信息融合的智能方法;路璐等人提出了融合觸覺、聽覺和視覺的多通道認知和交互模型等。另外,在具體應用方面,多通道人機交互方法已經成功地應用到了駕駛當中。虛擬空間交互性的優(yōu)劣在游戲領域都直接影響著游戲的體驗感和沉浸感;在電影虛擬制作方面,影響著電影虛擬拍攝和虛擬制作過程的智能化、人性化程度。以往單一的交互模式通常無法很好地讓計算機準確全面地理解人們的意圖,多種通道的融合,使得各個通道的信息可以互補、互促,從而讓計算機能夠更加直觀、精準、全方位地理解人們的想法和需求,同時也能夠讓人們可以更加自如、自然地沉浸到更為智能化和人性化的虛擬空間當中。

未來虛擬空間設計的發(fā)展方向與各種相關新技術的出現和發(fā)展有著密不可分的關系。從某種意義上來講,相關新技術的發(fā)展直接影響和制約著未來虛擬空間設計的各種可能性和可行性。