具身感知與洞穴故事：混合現(xiàn)實(shí)空間的符號(hào)系統(tǒng)及敘事法則

摘"要：科技創(chuàng)新是發(fā)展新質(zhì)文化生產(chǎn)力的核心要素，以“洞穴”為代表的混合現(xiàn)實(shí)技術(shù)迭代至今，已深入應(yīng)用至各類文化展演場(chǎng)景，成為強(qiáng)化參與者感知、倚重機(jī)器生產(chǎn)內(nèi)容的新型敘事媒體。引入并發(fā)展符號(hào)概念，在這種強(qiáng)調(diào)可“進(jìn)入”的混合現(xiàn)實(shí)空間結(jié)構(gòu)中，討論其符號(hào)系統(tǒng)的啟動(dòng)與作用機(jī)制、敘事立方體的堆疊關(guān)系及內(nèi)外部編碼，并進(jìn)一步結(jié)合WOz（Wizard of Oz）原型測(cè)試，確定跨模態(tài)交互的感官主導(dǎo)優(yōu)勢(shì)、敘事流走向以及心流視野下的游戲引擎，從而嘗試總結(jié)出一套“混合現(xiàn)實(shí)符號(hào)學(xué)”的表達(dá)規(guī)律與敘事語(yǔ)法，加快前沿虛擬現(xiàn)實(shí)技術(shù)由實(shí)驗(yàn)室水平升級(jí)至文化生產(chǎn)水平。

關(guān)鍵詞：混合現(xiàn)實(shí)符號(hào)學(xué)；混合現(xiàn)實(shí)敘事法則；WOz原型測(cè)試

中圖分類號(hào)：G206文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-8418（2024）06-0023-07

虛擬現(xiàn)實(shí)發(fā)展至今，業(yè)已形成一種泛化的文化展演形態(tài)，不斷重塑著大眾獲知與傳播信息的方式與習(xí)慣。在數(shù)字敦煌、云端博物館、VR主題樂園等早期探索中，藝術(shù)裝置及文化行為的數(shù)字化資源構(gòu)成了線上空間，其本質(zhì)處于一種物理材料朝著電子數(shù)據(jù)遷移、儲(chǔ)存，并倚重于網(wǎng)絡(luò)展開傳播的由實(shí)向虛階段。在其后版本的更新迭代中，虛擬現(xiàn)實(shí)被逐漸視為一種更多感體驗(yàn)與使用數(shù)據(jù)、更生動(dòng)展現(xiàn)與傳承人類文明的新介質(zhì)。在如何去虛向?qū)嵉淖钚掠懻撝校鳛楝F(xiàn)實(shí)虛擬連續(xù)體（Reality-Virtuality Continuum）最終智能形態(tài)的混合現(xiàn)實(shí)（Mixed Reality， MR），成為創(chuàng)新文化生產(chǎn)力的重要技術(shù)路徑。

眼下，各類以沉浸展、光影展為名的混合現(xiàn)實(shí)空間已是愈來(lái)愈多文化展演所探索的新載體，而設(shè)計(jì)這些場(chǎng)景的根本任務(wù)在于編寫一部可“進(jìn)入”的空間敘事文本，那么引入符號(hào)概念，厘清混合現(xiàn)實(shí)空間中各種視覺與非視覺符號(hào)的功能與意義，總結(jié)出一整套“混合現(xiàn)實(shí)符號(hào)學(xué)”的表達(dá)規(guī)律與敘事語(yǔ)法，從而強(qiáng)化感知與認(rèn)知的文化展演多元形態(tài)，成為一個(gè)亟待解決的命題。與此同時(shí)，這也是計(jì)算機(jī)圖形學(xué)、認(rèn)知學(xué)、人因?qū)W、藝術(shù)學(xué)進(jìn)入“新符號(hào)學(xué)運(yùn)動(dòng)”后，展開跨學(xué)科聯(lián)動(dòng)的一種必然方向。

一、洞穴的基本結(jié)構(gòu)與技術(shù)演進(jìn)

掌握混合現(xiàn)實(shí)的技術(shù)屬性是推演新環(huán)境中符號(hào)學(xué)演化的前提?；旌犀F(xiàn)實(shí)作為虛擬現(xiàn)實(shí)（Virtual Reality， VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality， AR）的延伸，更強(qiáng)調(diào)構(gòu)建一種物理對(duì)象與數(shù)字對(duì)象空間互嵌、相互感知的虛實(shí)連續(xù)體。在目前的混合現(xiàn)實(shí)展演中，洞穴系統(tǒng)（Cave）是最為常用的空間結(jié)構(gòu)，其在20世紀(jì)90年代確立的結(jié)構(gòu)雛形沿用至今：由多立面顯示屏組成的立方體將參與者包圍，整個(gè)影音環(huán)繞系統(tǒng)類似于穹幕電影或是飛行模擬器。^［1］這種相對(duì)封閉的信息傳遞結(jié)構(gòu)，被發(fā)明者卡羅萊納·克魯茲-內(nèi)拉（Carolina Cruz-Neira）稱為虛擬現(xiàn)實(shí)的第四種視覺范式，并指向了柏拉圖（Plato）的“洞穴之喻”。^［2］

發(fā)展階段的洞穴技術(shù)，重點(diǎn)在于利用離軸透視等投影技術(shù)，營(yíng)造高分辨率、高色彩還原、低閃爍的立體影像環(huán)境，同時(shí)在用戶佩戴頭部及三維位置跟蹤器的情況下，提升位置精度與反饋速度、縮減系統(tǒng)延遲，力求在真實(shí)的透視關(guān)系下，為用戶的各類頭顯設(shè)備（HMD）實(shí)時(shí)推送影像信息。^［3］當(dāng)下的洞穴技術(shù)主要集中于三方面展開探索：（1）以多通道投影、3D投影、全息投影等方式，打造裸眼可辨的三維數(shù)字資產(chǎn)，以及覆蓋不規(guī)則投影介質(zhì)兼具高沉浸感的可進(jìn)入空間。（2）突出更具“對(duì)話性”的視覺環(huán)境，如在互動(dòng)投影系統(tǒng)中引入流體模擬與剛性體碰撞的算法，使得參與者在洞穴內(nèi)移動(dòng)時(shí)，可以有效“攪動(dòng)”虛擬影像流體，或是拋擲三維對(duì)象并產(chǎn)生互相間的碰撞與變形，從而對(duì)參與者的自由動(dòng)作做出即時(shí)回應(yīng)。^［4］（3）自解析性的用戶界面，指向一種低體力與低認(rèn)知負(fù)荷、高容錯(cuò)度的人機(jī)自然交互，包括：整合裸手手勢(shì)、凝視及語(yǔ)音的“多通道交互”，以取代頭顯與數(shù)據(jù)手套，并最大限度消除混合現(xiàn)實(shí)環(huán)境中的交互二義性，^［5］或運(yùn)用神經(jīng)網(wǎng)絡(luò)對(duì)人體姿態(tài)進(jìn)行自主學(xué)習(xí)^［6］等。

上述技術(shù)演進(jìn)，使得洞穴逐步成熟為數(shù)字文旅中的重要應(yīng)用場(chǎng)景，也為總結(jié)一套在混合現(xiàn)實(shí)環(huán)境中，基于綜合感官、促發(fā)虛實(shí)交互的符號(hào)學(xué)，奠定了技術(shù)基礎(chǔ)。

二、混合現(xiàn)實(shí)符號(hào)學(xué)的系統(tǒng)結(jié)構(gòu)

既有的“虛擬現(xiàn)實(shí)符號(hào)學(xué)”，大都在虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)環(huán)境下展開討論。在借道電影符號(hào)學(xué)展開的過(guò)往研究中，可以看到結(jié)構(gòu)主義將文本關(guān)系置于參與者解釋之上，參與者反應(yīng)被電影形式定位成導(dǎo)演編碼的特定解讀，因而電影符號(hào)學(xué)在“能指所指”的二元關(guān)系中通常弱化甚至忽略了參與者，而虛擬現(xiàn)實(shí)符號(hào)學(xué)則突破結(jié)構(gòu)主義視野、構(gòu)成了包括參與者的三元框架。^［7］

沿用上述研究路徑進(jìn)入洞穴環(huán)境，參與者的認(rèn)識(shí)成為一切討論的起點(diǎn)，亦是混合現(xiàn)實(shí)符號(hào)學(xué)的核心問題。約翰·洛克（John Locke）打破勒內(nèi)·笛卡爾（René Descartes）主張的“天賦觀念”，提出植根于感覺與經(jīng)驗(yàn)的認(rèn)識(shí)論：參與者在看時(shí)、聽時(shí)、思時(shí)、覺時(shí)，自身接受印象后所經(jīng)驗(yàn)到的，才能發(fā)生知覺，而知覺成為知識(shí)的一切材料的進(jìn)口。^［8］洞穴的最獨(dú)特之處便在于編織了一張足以浸潤(rùn)并刺激參與者全身感官的知覺對(duì)象網(wǎng)，一切物理裝置或虛擬資產(chǎn)，本質(zhì)作用在于幫助參與者實(shí)現(xiàn)施于知覺對(duì)象之上的知覺判斷，進(jìn)而形成知覺對(duì)象與知覺判斷的統(tǒng)一體，即查爾斯·皮爾斯（Charles S.Peirce）所稱的“知覺統(tǒng)”。

值得注意的是：洞穴有別于過(guò)往符號(hào)系統(tǒng)之處在于，其是真正意義上包含時(shí)間與空間的四維表意體。在類比物穹幕電影中，穹幕影像始終鎖定在遠(yuǎn)離參與者的幕布之上，而虛實(shí)連續(xù)體的特征令知覺對(duì)象充盈于整個(gè)空間之中，這就使得洞穴由此打破過(guò)往的紙張、銀幕、智能屏等二維界面，將解讀符號(hào)的形式由閱讀、點(diǎn)擊、觀看，轉(zhuǎn)換為全面利用身體去感知?；谶@種自下而上的知覺加工，洞穴亦可以進(jìn)一步被理解為履行“進(jìn)入—刺激—判斷—反饋”機(jī)制的符號(hào)系統(tǒng)。這種“進(jìn)入”的前提意義重大，確立了具身體驗(yàn)與認(rèn)知加工的緊密聯(lián)系，整套符號(hào)系統(tǒng)也因此在且僅在參與者到達(dá)并進(jìn)入現(xiàn)場(chǎng)的那一瞬間開始啟動(dòng)。

具體而言，參與者進(jìn)入封裝知覺材料的立體容器后，意味著全身感官的平衡延伸，媒介即人體延伸的概念就此在洞穴環(huán)境達(dá)到前所未有的理想狀態(tài)：一方面，在隔絕外部信息干擾的情況下，參與者如同迅速完成電影放映前的滅燈、就座等規(guī)范性儀式，開始實(shí)現(xiàn)意識(shí)退行；另一方面，參與者通過(guò)代入主動(dòng)解釋者及意義共創(chuàng)者的角色，與洞穴取得不可分割的聯(lián)系。這種聯(lián)系令洞穴動(dòng)態(tài)的三元表意結(jié)構(gòu)得以確立并發(fā)揮作用。換言之，參與者積極參與符號(hào)解釋的行為，可以引發(fā)實(shí)時(shí)的機(jī)器生產(chǎn)內(nèi)容，隨即推動(dòng)新一輪的刺激與反應(yīng)活動(dòng)，幕墻上被不同參與者“攪動(dòng)”后產(chǎn)生形態(tài)各異的影像流就是一個(gè)最基本的例子。

在上述刺激與反饋過(guò)程中，再現(xiàn)體于程序框架內(nèi)的有序化、持續(xù)性生成，是混合現(xiàn)實(shí)符號(hào)系統(tǒng)的又一獨(dú)特屬性，亦是虛實(shí)交互技術(shù)的核心賦能。與此同時(shí)，這種機(jī)器介入的即時(shí)交互環(huán)境，對(duì)于參與者心理認(rèn)同產(chǎn)生了根本性的影響。

較之電影這一參考物，在洞穴中我們同樣可以看到兩道“光束”，一道以知覺對(duì)象的負(fù)載體為終點(diǎn)，它可以是任何投影界面或是激發(fā)互動(dòng)行為的虛擬資產(chǎn)；而另一道光則更為復(fù)雜，它以上述負(fù)載體為起點(diǎn)，投射于視覺、嗅覺、觸覺等器官，附著在參與者的知覺中，形成參與者與洞穴認(rèn)同的第二條路徑。問題在于，就狀態(tài)的邏輯化與交互的能動(dòng)性而言，洞穴的二次化程度遠(yuǎn)高于電影，顯然是一種超越白日夢(mèng)、要求參與者在意識(shí)減退與前行間取得平衡的游樂園體系。這種游樂狀態(tài)較之凝視，不僅要求在進(jìn)入狀態(tài)中通過(guò)觀察與感知，成像于大腦，還須憑借活躍的有機(jī)體，通過(guò)情感解釋項(xiàng)和能量解釋項(xiàng)的運(yùn)作而內(nèi)化。^［7］需要指出的是：混合現(xiàn)實(shí)與其他類型的虛擬現(xiàn)實(shí)環(huán)境相比，調(diào)動(dòng)個(gè)人心智、能量與過(guò)往經(jīng)驗(yàn)的程度更高。在收集參與者的反饋數(shù)據(jù)時(shí)發(fā)現(xiàn)：雖然通過(guò)移除頭顯等輔助設(shè)備，以降低眩暈、頸痛等生理不適，同時(shí)引入手勢(shì)等自然交互通道，以提升認(rèn)知效率，但初次體驗(yàn)洞穴的參與者，半數(shù)以上無(wú)法推行先驗(yàn)演繹，對(duì)復(fù)雜感性材料的有效加工程度遠(yuǎn)遠(yuǎn)不及電影。這一結(jié)論在缺乏游戲經(jīng)驗(yàn)者中更為明顯。雖然多次進(jìn)入的后驗(yàn)?zāi)軌虼蠓岣邊⑴c者的理解，但營(yíng)造對(duì)于初驗(yàn)者更為友好的環(huán)境一方面有待于交互技術(shù)進(jìn)一步降低認(rèn)知門檻，另一方面則有待于洞穴符號(hào)表達(dá)以及系統(tǒng)敘事功能的提升。

三、堆疊系統(tǒng)的基本敘事法則

為準(zhǔn)確把握混合現(xiàn)實(shí)符號(hào)系統(tǒng)的敘事語(yǔ)法，本研究設(shè)計(jì)、建造了一套不包含頂面投影的四折洞穴，開展為期一年的WOz原型測(cè)試。本次實(shí)驗(yàn)中，單體洞穴空間控制在5*5*3米（長(zhǎng)*寬*高）的中小型規(guī)模，并以復(fù)合投影技術(shù)配合實(shí)體布景，部署了改編、擴(kuò)寫自詩(shī)詞《相思》的《紅豆》故事場(chǎng)景。打造原型體進(jìn)行測(cè)試的目的是在更可控的實(shí)驗(yàn)環(huán)境中，快捷、系統(tǒng)地收集人機(jī)數(shù)據(jù)，深入觀察及獲知參與者的沉浸狀態(tài)、認(rèn)知狀態(tài)及交互狀態(tài)，從而解決感官主導(dǎo)優(yōu)勢(shì)、敘事要素組合、敘事數(shù)據(jù)走向等一系列關(guān)鍵問題。

首要解決的一個(gè)特性問題是核定洞穴系統(tǒng)中知覺符號(hào)所能構(gòu)成的最小敘事單位，即幫助參與者產(chǎn)生故事意念的最基本模塊，這是理解混合現(xiàn)實(shí)空間敘事機(jī)制、展開語(yǔ)法分析的必要條件?？疾祀娪爸械摹扮R頭”、語(yǔ)言中的“詞”，這些通常被視為產(chǎn)生意義的最小單位，至少由一個(gè)畫面、音素構(gòu)成獨(dú)立表述，并通過(guò)前后緊密關(guān)聯(lián)實(shí)現(xiàn)更復(fù)雜的敘事線，但這樣一套二維的縫合系統(tǒng)進(jìn)入洞穴后，將轉(zhuǎn)換為三維的堆疊系統(tǒng)。

不妨將洞穴想象成由一個(gè)個(gè)色塊立方砌成的魔方結(jié)構(gòu)，每個(gè)可拆解細(xì)分的敘事立方都是歸于同一場(chǎng)景下的知覺符號(hào)的總和，對(duì)于其中單個(gè)符號(hào)而言，表現(xiàn)形態(tài)、時(shí)間位置與空間坐標(biāo)均構(gòu)成其義素，而符號(hào)之間的聚合關(guān)系，構(gòu)成了單個(gè)立方的敘事能力，同時(shí)也決定了人機(jī)交互的豐裕程度。以敘事立方塊定義最小意義單位，根本原因在于洞悉異質(zhì)空間的整體性：一方面，不同類別的知覺符號(hào)通過(guò)相互堆疊，才能完整表達(dá)創(chuàng)作者的意圖，單個(gè)符號(hào)只能類比為特定“鏡頭”中的某一區(qū)塊。以《紅豆》為例，全息成像的紅豆枝位于前景，必須與背景幕墻上的過(guò)場(chǎng)動(dòng)畫重合觀看，才能理解告別、思念等敘事點(diǎn)；另一方面，部分符號(hào)如串聯(lián)整個(gè)洞穴的虛擬形象、標(biāo)記最佳觀測(cè)位的地面紅點(diǎn)，主要承擔(dān)著索引與指示功能，基本不參與敘事。這種電影本體中所沒有的輔助系統(tǒng)，卻是洞穴中幫助參與者理解敘事、參與交互不可或缺的組成部分。

在確認(rèn)洞穴為敘事立方的堆疊體后，敘事法則的討論便可以集中于立方體的內(nèi)外部編碼機(jī)制。這種機(jī)制的根本任務(wù)在于歸納總結(jié)混合現(xiàn)實(shí)空間中各種視覺與非視覺符號(hào)的解釋功能，從而在身體可進(jìn)入的空間中，基于“解釋項(xiàng)”的統(tǒng)一，剔除冗余要素，組織起清晰高效的立體敘事界面。

此類創(chuàng)作者對(duì)界面的控制首先需要遵從一定的技術(shù)原則，其核心問題指向跨模態(tài)交互中感官主導(dǎo)的優(yōu)勢(shì)與方向。參考節(jié)奏敲擊（Rhythmic Tapping）等神經(jīng)學(xué)與心理學(xué)的基本實(shí)驗(yàn)，^［9］"^［10］本研究采用跨模態(tài)“噪音”測(cè)試，以觸覺、氣味等各類信號(hào)的觸發(fā)，類比聲音敲擊，得出較為統(tǒng)一的跨模態(tài)刺激結(jié)果：視覺于認(rèn)知加工的反應(yīng)前階段（Pre-response Level）占據(jù)主導(dǎo)，當(dāng)非視覺刺激與視覺刺激匹配時(shí)，對(duì)非視覺刺激的感知敏感性顯著降低，但反應(yīng)模態(tài)沒有改變；而進(jìn)入認(rèn)知成型的后期反應(yīng)階段（Response Level），當(dāng)非視覺刺激背離視覺刺激的情況發(fā)生時(shí)，實(shí)驗(yàn)者對(duì)非視覺刺激較之早期敏感性上升，更易達(dá)成“干擾”效果。因而視覺與非視覺符號(hào)的空間對(duì)應(yīng)關(guān)系，結(jié)合刺激的強(qiáng)弱對(duì)比及變化，成為調(diào)度、編排各類要素的基本方法。在混合現(xiàn)實(shí)敘事的空間維度先于時(shí)間維度的重要轉(zhuǎn)化中，高效的界面控制可以起到認(rèn)知加工與注意力引導(dǎo)的作用，包括：空間語(yǔ)境的塑造、敘事視角的變化、數(shù)字與物理資產(chǎn)的轉(zhuǎn)移、場(chǎng)景的切換過(guò)渡等。

其中，空間語(yǔ)境塑造是敘事立方編碼的核心內(nèi)容，這里沿襲了虛擬敘事中“語(yǔ)境提供”的既有概念，明確語(yǔ)境的搭建本身具有生產(chǎn)性，在體驗(yàn)與交互的過(guò)程中，語(yǔ)境與內(nèi)容存在難分彼此、相互轉(zhuǎn)化的密切關(guān)系。^［11］具體到混合現(xiàn)實(shí)語(yǔ)境的分類營(yíng)建，可以大致分為導(dǎo)入、單體、集合三種語(yǔ)境。

最初的導(dǎo)入階段，對(duì)于參與者尤其是初驗(yàn)者尤為重要。對(duì)于包括指示、索引、警示等符號(hào)在內(nèi)的輔助系統(tǒng)，創(chuàng)作者應(yīng)該落實(shí)符號(hào)解讀的示范性工作。這種示范通常由音頻廣播或短視頻完成，以求迅速將界面控制的掌握權(quán)授予參與者。

導(dǎo)入階段后的單個(gè)語(yǔ)境，指向同一場(chǎng)景下的符號(hào)堆疊，其中視覺與非視覺符號(hào)的敘事組合，依據(jù)空間對(duì)應(yīng)關(guān)系是否成立，可以劃分為統(tǒng)一時(shí)序、平行并序、移位插入三種組合段。

在認(rèn)知加工的早期階段，應(yīng)由多感統(tǒng)一的順時(shí)序性符號(hào)表達(dá)，完成背景交代等基礎(chǔ)語(yǔ)境的營(yíng)造。此時(shí)在視覺及各類非視覺符號(hào)的傳播過(guò)程中，跨模態(tài)信息不應(yīng)出現(xiàn)互相矛盾，使得同一時(shí)序下的敘事立方熵值最低，參與者可在自由視角下獲取最主要的視覺信息。次要信息可以通過(guò)統(tǒng)一表達(dá)的非視覺符號(hào)補(bǔ)齊，從而實(shí)現(xiàn)對(duì)空間的整體認(rèn)識(shí)。參與者的心理波動(dòng)與行動(dòng)意圖也將被控制在創(chuàng)作者的預(yù)期范圍內(nèi)。

認(rèn)知加工得到強(qiáng)化的中后期階段，在敘事空間，尤其是大體量空間中推進(jìn)平行并序的敘事組合成為必需。一方面，并序結(jié)構(gòu)能夠有效減少信息空白的物理空間冗余，拓展空間敘事能力；另一方面，參與者對(duì)于多敘事線的自主選擇權(quán)在并序結(jié)構(gòu)中真正得以落實(shí)，成為生理與心理兩個(gè)層面順利進(jìn)入游樂園狀態(tài)的必要前提。

游樂園狀態(tài)的深入與推進(jìn)，依賴于有效的敘事策略。立方體可與不同方位、由不同人物視角鋪開時(shí)間線，這是在平行時(shí)序中完成的、基于空間堆疊的語(yǔ)境分列式展陳。再以《紅豆》為例，整體故事線為主人公與數(shù)位發(fā)小，少時(shí)各自離鄉(xiāng)、在外漂泊，中年異鄉(xiāng)重逢。若選擇空間堆疊的分列展陳，則可在立方體的四個(gè)成像面上，展現(xiàn)別離后不同人物在不同地點(diǎn)的故事狀態(tài)，但眾人所處的時(shí)間點(diǎn)保持一致。

另一種方法便是圍繞核心人物，于不同成像面上，展陳故事線中的不同時(shí)間切片，并在各個(gè)切片中顯現(xiàn)核心人物的狀態(tài)及與他人的關(guān)聯(lián)。如《紅豆》中將稚童嬉戲、年少別離、多年思念、中年重聚等不同時(shí)間點(diǎn)的場(chǎng)景分置于立方體四面，同一成像面上以平行蒙太奇形式，包含這一時(shí)間段內(nèi)所有人物的情節(jié)線索。

這里有兩個(gè)秩序值得注意，即創(chuàng)作者的初設(shè)秩序與參與者的游樂秩序。參與者的注意力轉(zhuǎn)移與焦點(diǎn)停留、行進(jìn)規(guī)劃與隨機(jī)路徑、交互激活與終止等一系列時(shí)間、空間維度上的行動(dòng)規(guī)律，與初設(shè)秩序重合度越高，對(duì)創(chuàng)作者設(shè)定傳達(dá)的信息接收將越完整。如《紅豆》中對(duì)時(shí)間切片的選擇，能否依從年少至年長(zhǎng)的正向時(shí)間順序完成，對(duì)于理解人物成長(zhǎng)的一生至關(guān)重要。因而在實(shí)際操作中，不同立面的影像及附帶的非視覺要素，常以循環(huán)播放的形式展現(xiàn)，而立面間的路徑轉(zhuǎn)移，除了設(shè)置視覺引導(dǎo)要素外，便回到“噪音”實(shí)驗(yàn)所證實(shí)的認(rèn)知后期注意力引導(dǎo)，以聽、觸、嗅覺為主。如《紅豆》中安排了飛鳥、落葉等影像符號(hào)作為穿越立面的視覺引導(dǎo)，同時(shí)風(fēng)鈴聲、集市中的叫賣聲與食物氣味，都對(duì)參與者的注意力轉(zhuǎn)移起到了積極的干預(yù)及重新導(dǎo)向作用。

上述做法適用于單體語(yǔ)境的立面間引導(dǎo)，同樣適用于集合語(yǔ)境間的大空間轉(zhuǎn)移。集合語(yǔ)境相當(dāng)于多個(gè)單立方體的組接，以實(shí)現(xiàn)單個(gè)洞穴無(wú)法完成的復(fù)雜敘事。集合語(yǔ)境敘事的核心事項(xiàng)，在于整體敘事框架下設(shè)定敘事數(shù)據(jù)的輸入與輸出序列，即不同單體間的敘事流串聯(lián)與空間堆疊關(guān)系。

這里有影響參與者感知的兩個(gè)重要因素：一是串聯(lián)起單體語(yǔ)境的故事線不可斷裂，以保證人物關(guān)聯(lián)、線索關(guān)聯(lián)、邏輯關(guān)聯(lián)；二是空間轉(zhuǎn)移要求參與者重建對(duì)語(yǔ)境的認(rèn)知，因此對(duì)于空間切換需要給出足夠的理由，并清晰指出不同單體語(yǔ)境間的區(qū)別與聯(lián)系。如《紅豆》中，試驗(yàn)了一個(gè)三洞穴組接的整體框架，并以插敘的形式將中間洞穴設(shè)置為童年語(yǔ)境，將前置的別離及后置的重逢聯(lián)結(jié)起來(lái)。為確立中間洞穴敘事流中轉(zhuǎn)站的地位，洞穴中央特別安置了紅豆樹的實(shí)體模型，并以3D投影形式投射幾位主要人物的嬉戲場(chǎng)景，與四周立面的視聽呈現(xiàn)形成呼應(yīng)。因而在整體游歷中，參與者可將帶有地標(biāo)物的中間洞穴視為一次“閃回”，這種承上啟下的結(jié)構(gòu)，有助于參與者定下理解場(chǎng)景與故事的錨點(diǎn)，并為洞穴間多次往返提供地理位置與故事線上的定位依據(jù)。

上述過(guò)程中，參與者都在掌握自由視角與自選路徑的前提下，體驗(yàn)語(yǔ)境堆疊中的故事脈絡(luò)，因而洞穴敘事的完整概念，進(jìn)一步指向了對(duì)參與者與洞穴系統(tǒng)交互關(guān)系的討論。

四、心流視野下的游戲互動(dòng)法則

與電影一樣，洞穴是創(chuàng)作者對(duì)敘事展開編碼的中間物，而洞穴充分將參與者容納至敘事體系，并賦予積極的解釋權(quán)與創(chuàng)作權(quán)，這種交互敘事機(jī)制，無(wú)論是生理上抑或心理上，都向一種限定空間與預(yù)設(shè)條件下的游戲靠攏。本研究嘗試在心流視野下展開洞穴游戲機(jī)制的討論。

心流自提出以來(lái)，在測(cè)量和分析方法上不斷完善，已成為理解導(dǎo)航體驗(yàn)（Navigation Experience）的重要規(guī)律之一，^［12］其核心概念在于創(chuàng)造一種沉浸式體驗(yàn)，令參與者的自我意識(shí)收縮到活動(dòng)本身，感受到對(duì)好奇心、內(nèi)在興趣以及控制環(huán)境的滿足。^［13］在洞穴環(huán)境中，敘事理解、時(shí)空轉(zhuǎn)換、語(yǔ)境重構(gòu)，都會(huì)對(duì)參與者的控制感帶來(lái)極大挑戰(zhàn)。因而在互動(dòng)中穩(wěn)定心流的首要原則便是設(shè)立一組明確的目標(biāo)，當(dāng)參與者的認(rèn)知與技能，完全融入這個(gè)具有挑戰(zhàn)但可控的目標(biāo)中，便會(huì)進(jìn)入心流的最佳狀態(tài)即自主體驗(yàn)（Autotelic Experience）的階段。^［14］

在這套行為心理學(xué)指導(dǎo)下，洞穴的游戲互動(dòng)常以分層任務(wù)（Hierarchical Task）進(jìn)行規(guī)劃，一套標(biāo)準(zhǔn)的規(guī)劃路徑為：總?cè)蝿?wù)下達(dá)—單體立方任務(wù)拆解—立方間任務(wù)傳遞交疊—總?cè)蝿?wù)完成—洞穴經(jīng)驗(yàn)積累。上述設(shè)置很容易與關(guān)卡制的角色扮演游戲（Role-playing Game，RPG）聯(lián)系在一起，但洞穴、實(shí)景劇本殺等依賴線下空間的具身游戲系統(tǒng)，最大難點(diǎn)在于調(diào)動(dòng)參與者感知與身體的高適配性交互，其中具體指向兩個(gè)層面。

一是技術(shù)層面，以身體為信息接受載體的交互界面，如何實(shí)現(xiàn)低負(fù)荷、高感知的交互控制。在目前實(shí)踐中，互動(dòng)投影在物理資產(chǎn)上疊加可操控的數(shù)字資產(chǎn)，已是技術(shù)相當(dāng)成熟的可觸控虛實(shí)融合界面，其設(shè)計(jì)的關(guān)鍵在于平衡技能與挑戰(zhàn)間的關(guān)系，從而深化人機(jī)協(xié)作性。如《紅豆》中的大樹模型，立體投射了兒童嬉戲場(chǎng)景，并設(shè)置了一個(gè)虛擬的光球作為開啟互動(dòng)的開關(guān)。當(dāng)參與者用手撥動(dòng)圓球時(shí)，將帶動(dòng)所有虛擬資產(chǎn)運(yùn)動(dòng)，引發(fā)整個(gè)球賽場(chǎng)景的情節(jié)推進(jìn)?！鞍悼ā钡脑O(shè)立，令洞穴的游樂園路線開始“分叉”，提升了交互的多元性與趣味性，但能否順利激活各類開關(guān)，對(duì)于參與者的游戲能力提出了一定要求。除了在導(dǎo)入場(chǎng)景中完成示范指引外，開關(guān)的空間形態(tài)與開啟機(jī)制，必須貼合人們的日常習(xí)慣與認(rèn)知常態(tài)。從按鈕、把手類物理開關(guān)，到依靠動(dòng)靜、明暗等視覺反差形成知覺對(duì)象的虛擬開關(guān)，交互線索的可辨性與可控性，在幫助參與者完成目標(biāo)、維持心流中起到關(guān)鍵作用。

語(yǔ)音與手勢(shì)交互則是下一階段多通道界面升級(jí)的重點(diǎn)。自然語(yǔ)言、日常動(dòng)作顯然是體力與智力上負(fù)荷程度最低的交互手段，但其困難在于不同文化、習(xí)慣背景下個(gè)體語(yǔ)義及手勢(shì)的不確定性。目前較為成熟的解決辦法是：通過(guò)語(yǔ)音識(shí)別與分析技術(shù)，將非結(jié)構(gòu)化信息轉(zhuǎn)換為結(jié)構(gòu)化索引；通過(guò)顏色與深度數(shù)據(jù)，實(shí)現(xiàn)手勢(shì)分割，從而獲得較為精準(zhǔn)的手勢(shì)空間特征。

另一層面指向游戲引擎與敘事引擎的緊密咬合、一體傳動(dòng)，從而確保心流與敘事流的同步前行。因而游戲引擎被進(jìn)一步細(xì)分為人物引擎、對(duì)話引擎及旁述引擎，^［15］當(dāng)然在高交互性的洞穴環(huán)境中，還應(yīng)補(bǔ)充一個(gè)動(dòng)作引擎。四大引擎的運(yùn)行方式，與前述討論的敘事法則與技術(shù)實(shí)現(xiàn)緊緊呼應(yīng)。交互泛濫或低質(zhì)量的游戲環(huán)節(jié)，是擾亂參與者心流的重要原因。所以必須明確游戲引擎的任意一次啟動(dòng)都在于幫助參與者集中注意力、喚醒好奇心，并在挑戰(zhàn)中實(shí)現(xiàn)對(duì)環(huán)境的控制。如《紅豆》設(shè)計(jì)了整體的氣味地圖，并在不同場(chǎng)景中，通過(guò)參與者對(duì)樹干的撫摸、對(duì)集市小食的抓取等行動(dòng)釋放對(duì)應(yīng)的氣味模塊，經(jīng)由嗅覺這一最原始的感知通道快速引發(fā)參與者的記憶與情緒反應(yīng)。

就目前而言，人機(jī)交互的最大難點(diǎn)在于由始至終準(zhǔn)確探查、預(yù)判參與者的心理變化與行動(dòng)路徑，以控制交互節(jié)奏與效果，保證心流維持高位。洞穴研究今后的突破方向，將聚焦于借助AI工具，對(duì)參與者的語(yǔ)音語(yǔ)氣、肢體姿態(tài)展開實(shí)時(shí)監(jiān)察分析，以大幅提升交互的準(zhǔn)確性。AI驅(qū)動(dòng)的數(shù)字人等虛擬資產(chǎn)，無(wú)論在模型建立、紋理質(zhì)感還是即時(shí)反饋方面，都越來(lái)越逼近虛實(shí)邊界線，而AI幻覺、數(shù)據(jù)偏差、黑箱效應(yīng)等負(fù)面風(fēng)險(xiǎn)，都在顯著收窄，AI有望成為洞穴中人機(jī)交互的主要?jiǎng)恿?，從而輸出更符合參與者期待的實(shí)時(shí)演算與內(nèi)容生成。

五、結(jié)"語(yǔ)

總的來(lái)說(shuō)，本研究展開了理論與實(shí)踐雙軌并進(jìn)的探索。一方面，以跨學(xué)科視角，總結(jié)了現(xiàn)實(shí)虛擬連續(xù)體中異質(zhì)要素的表達(dá)規(guī)律與敘事方法，建立起混合現(xiàn)實(shí)符號(hào)學(xué)雛形，以期形成與媒體技術(shù)、信息技術(shù)同步更新的數(shù)字藝術(shù)理論脈流。另一方面，為洞穴在文博場(chǎng)館、演藝劇場(chǎng)等典型應(yīng)用場(chǎng)景中的加速落地，提供了一些有益的思路，尤其對(duì)于中小型場(chǎng)館中，如何設(shè)計(jì)更具敘事性、邏輯性、交互性的混合現(xiàn)實(shí)空間，提供了一套可借鑒的方案。

參考文獻(xiàn)：

［1］ Schachter， B.J.（1983）.Computer image generation.New York： Wiley.

［2］ Cruz-Neira， C.， Sandin， D.J.， DeFanti， T.A.， Kenyon， R.V.amp; Hart， J.C.（1992）.The cave：Audio visual experience automatic virtual environment.Communications of the ACM，35（6）：64-72.

［3］ Cruz-Neira， C.， Sandin， D.J."amp; DeFanti， T.A.（1993）."Surround-screen projection-based virtual reality： The design and implementation of the cave."In Whitton， M.C.（eds.）."Proceedings of the 20th annual conference on Computer graphics and interactive techniques."New York： Association for Computing Machinery， 135-142.

［4］ 安德魯·布拉夫，安德魯·約翰遜，劉海平.《造物：交互》：一個(gè)混合現(xiàn)實(shí)的社交玩?？臻g［J］.世界美術(shù)，2020（1）：23-27.

［5］ Irawati， S.， Green， S.， Billinghurst， M.， Duenser， A."amp; Ko， H.（2006）."Move the couch where？： Developing an augmented reality multimodal interface."In Rutledge， C."amp; Schoenfeld， R.（eds.）."Proceedings of the 5th IEEE and ACM International Symposium on Mixed and Augmented Reality."Washington： IEEE Computer Society， 183-186.

［6］ Nguyen， T.N.， Huynh， H.H.amp; Meunier， J.（2013）.Static hand gesture recognition using artificial neural network.Journal of Image and Graphics， 1（1）：34-38.

［7］ 柯巖·托瑪瑟利，達(dá)米安·托瑪瑟利，尹倩.電影符號(hào)學(xué)、時(shí)空理論和虛擬現(xiàn)實(shí)符號(hào)學(xué)［J］.上海交通大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2022（4）：146-159.

［8］ ［英］洛克.人類理解論［M］.關(guān)文運(yùn)，譯.北京：商務(wù)印書館，2017：109+115.

［9］ Kato， M.amp; Konishi， Y.（2006）.Auditory dominance in the error correction process：A synchronized tapping study.Brain Res， 1084：115-122.

［10］ Chen， Q.amp; Zhou， X.L.（2013）.Vision dominates at the preresponse level and audition dominates at the response level in cross-modal interaction： Behavioral and neural evidence.Journal of Neuroscience， 33 （17）： 7109-7121.

［11］ 譚彬.混合現(xiàn)實(shí)下的空間敘事［J］.藝術(shù)當(dāng)代，2020（6）：58-61.

［12］ Hoffman， D.L.amp; Novak， T.P.（1996）.Marketing in hypermedia computer-mediated environments： Conceptual foundations.Journal of Marketing， 60（3）： 50-68.

［13］ Hsu， C.L.amp; Lu， H.P.（2004）.Why do people play on-line games？ An extended TAM with social influences and flow experience.Information amp; Management， 41（7）： 853-868.

［14］ Csikszentmihalyi， M.（2000）.The costs and benefits of consuming.Journal of Consumer Research， 27（2）： 267-272.

［15］ Ketchell， S.， Chinthammit， W."amp; Engelke， U.（2019）."Situated storytelling with SLAM enabled augmented reality."In Spencer， S.N.（eds.）."Proceedings of the 17th International Conference on Virtual-Reality Continuum and Its Applications in Industry."New York： Association for Computing Machinery， 1-9.

［責(zé)任編輯：華曉紅］