多模態(tài)視閾下博物館互動(dòng)體驗(yàn)設(shè)計(jì)研究

摘要：多模態(tài)是指人通過(guò)將不同模態(tài)通道所獲取的信息進(jìn)行整合，從而感知與周圍物體環(huán)境交互的行為，強(qiáng)調(diào)兩種及以上感官的融合，逐漸發(fā)展為了解與學(xué)習(xí)外界信息的主要方式，能夠?yàn)椴┪镳^交互體驗(yàn)的創(chuàng)新設(shè)計(jì)研究提供理論參考。文章對(duì)多模態(tài)理論原理及應(yīng)用范圍進(jìn)行梳理，通過(guò)文獻(xiàn)研究、案例分析、實(shí)踐設(shè)計(jì)等綜合方式，探索多模態(tài)理論與博物館交互體驗(yàn)設(shè)計(jì)的內(nèi)在聯(lián)系，依據(jù)參觀者層層遞進(jìn)的認(rèn)知過(guò)程，得出博物館交互體驗(yàn)設(shè)計(jì)的層級(jí)模型。最終借助案例研究系統(tǒng)剖析該模型在博物館中的應(yīng)用形式，從交互形式、互動(dòng)性質(zhì)和感知體驗(yàn)3個(gè)方面提出多模態(tài)視閾下博物館互動(dòng)體驗(yàn)的設(shè)計(jì)策略；同時(shí)也指出博物館的互動(dòng)體驗(yàn)設(shè)計(jì)不應(yīng)僅以技術(shù)革新為主導(dǎo)，而是要將技術(shù)與人的需求行為、場(chǎng)景等巧妙結(jié)合，使參觀者的觀展過(guò)程從客觀轉(zhuǎn)為主觀、從外在轉(zhuǎn)為內(nèi)化，從而提升參觀者的感官體驗(yàn)、激發(fā)其情感共鳴并擴(kuò)大展覽的表現(xiàn)形式，可為博物館交互體驗(yàn)設(shè)計(jì)提供新思路與參考。

關(guān)鍵詞：多模態(tài)；博物館；互動(dòng)體驗(yàn)；展示設(shè)計(jì)；感官

中圖分類號(hào)：TU242.5 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1003-0069（2024）04-0061-03

Abstract：Multimodality refers to the behavior of human perceiving the interaction with the surrounding object environment by integrating the information obtained from different modal channels，emphasizing the integration of two or more senses，and gradually developing into the main way to understand and learn the external information，which can provide theoretical reference for the innovative design research of museum interactive experience. The article compares the principles and application scope of multimodal theory，explores the intrinsic connection between multimodal theory and museum interactive experience design through literature research，case study and practical design，and derives a hierarchical model of museum interactive experience design based on the cognitive process of visitors’ progression. Finally，we analyze the application of this model in museums with the help of case studies，and propose design strategies for museum interactive experience in three aspects：interaction form，interaction nature and perceptual experience；at the same time，we also point out that the design of interactive experience in museums should not be dominated by technological innovation only，but should skillfully combine technology with human needs，behaviors and scenarios，so that the visitors’ viewing process can be changed from objective to subjective，from external to It also points out that the design of interactive experience in museums should not only be dominated by technological innovation，but also by the clever combination of technology and human needs，behaviors and scenes，so that the visitor’s viewing process can be changed from objective to subjective and from external to internalized，thus enhancing the sensory experience of visitors，stimulating their emotional resonance and expanding the expression of the exhibition.

Keywords：Multimodal；Museum；Interactive experience；Display design；Sensory

引言

人類與世界的互動(dòng)本質(zhì)上是多模式的[1-2]。我們依次和并行地使用多種感官來(lái)被動(dòng)和主動(dòng)地探索我們的環(huán)境，確認(rèn)對(duì)世界的期望并感知新信息。體驗(yàn)經(jīng)濟(jì)浪潮下，博物館作為展現(xiàn)人類傳統(tǒng)文化的主要場(chǎng)所，已不再只滿足簡(jiǎn)單的收藏與科普功能，其設(shè)計(jì)趨勢(shì)逐漸從“以展品為中心”向“以參觀者體驗(yàn)為中心”不斷轉(zhuǎn)變，繼而成為現(xiàn)代城市生活中公眾信息來(lái)源、提升藝術(shù)素養(yǎng)，甚至是休閑娛樂的主要場(chǎng)所?；?dòng)則是通過(guò)多種媒介，將體驗(yàn)設(shè)計(jì)、科學(xué)技術(shù)、美學(xué)等多種方式融合在一起，重構(gòu)形成的一種全新的藝術(shù)形式，能夠使藝術(shù)表達(dá)更加豐富。用于博物館中，通過(guò)多種新興的技術(shù)和形式能夠提高參觀者在體驗(yàn)過(guò)程中的感受質(zhì)量，大致可以分為視覺交互式、觸碰交互式、體感交互式與增強(qiáng)或虛擬現(xiàn)實(shí)等多種技術(shù)形式[3]。多元的博物館的互動(dòng)體驗(yàn)設(shè)計(jì)能夠進(jìn)一步引發(fā)參觀者更深層次的思考，強(qiáng)化人們對(duì)信息的感知，使感知覺效果更加趨近于真實(shí)感受。

目前，博物館互動(dòng)體驗(yàn)設(shè)計(jì)相關(guān)研究已具備了一定規(guī)模，也取得了一些結(jié)果，但總的來(lái)說(shuō)，對(duì)于博物館互動(dòng)體驗(yàn)研究大部分都聚焦在博物館的互動(dòng)裝置、空間敘事、空間形態(tài)布局和新興技術(shù)的運(yùn)用上[4-7]，部分學(xué)者開始關(guān)注感知覺的應(yīng)用[8-9]。未來(lái)博物館的互動(dòng)體驗(yàn)是技術(shù)、感知、藝術(shù)綜合應(yīng)用的結(jié)果，無(wú)論單獨(dú)研究任意一方面都是片面的。參觀者在博物館中非正式學(xué)習(xí)與體驗(yàn)的過(guò)程離不開人們自身的多種感官通道，或許多模態(tài)視閾下的互動(dòng)體驗(yàn)設(shè)計(jì)能夠加強(qiáng)參觀者對(duì)信息的感知，進(jìn)一步引發(fā)更深層次的思考，從而獲得生理與精神的全新多維體驗(yàn)，為后續(xù)探索博物館交互體驗(yàn)設(shè)計(jì)提供一個(gè)新視角和新途徑。

一、多模態(tài)及應(yīng)用概述

多模態(tài)下的互動(dòng)體驗(yàn)設(shè)計(jì)不再是僅滿足傳統(tǒng)的博物館受眾需求，而是在此基礎(chǔ)上通過(guò)多媒體化、數(shù)字化的技術(shù)提升參觀者在體驗(yàn)中的感受，并通過(guò)多種感官聯(lián)合的交互方式，在多種感官共同作用下進(jìn)行信息的傳遞與交流，從而給予參觀者多維度的精神享受與生理體驗(yàn)。

（一）多模態(tài)概念

針對(duì)人體來(lái)講，模態(tài)通俗意義上是指人的感官，即視、聽、味、嗅、觸覺五感，是人與外界接觸的主要途徑[10]。同時(shí)，人們?cè)诟兄饨缥矬w與周圍環(huán)境的過(guò)程中離不開運(yùn)用多種符號(hào)來(lái)建構(gòu)意義[11]，因而出現(xiàn)了“多模態(tài)”的概念，“多模態(tài)”是指人通過(guò)將不同模態(tài)通道所獲取的信息進(jìn)行整合，從而感知與周圍物體環(huán)境交互的行為，強(qiáng)調(diào)兩種及以上感官的融合，逐漸發(fā)展為了解與學(xué)習(xí)外界信息的主要方式。

科學(xué)研究表明，在接受信息的過(guò)程中調(diào)動(dòng)的感官越多，心理對(duì)該事物的認(rèn)知就會(huì)越透徹、形象越趨近于真實(shí)，記憶越深刻。在感官體驗(yàn)最大化的同時(shí)，信息傳播的效用也逐漸增強(qiáng)[12]。所以通過(guò)多模態(tài)去研究感官主體與感官環(huán)境之間的交互關(guān)系，能夠有針對(duì)性地提升主體的體驗(yàn)感受：改變博物館傳統(tǒng)的單一視覺傳播信息的形式，從不同的認(rèn)知層級(jí)拓寬展覽表現(xiàn)形式，將參觀者的感官?gòu)亩喾矫孢M(jìn)行調(diào)動(dòng)，從而使參觀者主動(dòng)地去接收所散發(fā)的信息，整個(gè)過(guò)程的趣味性以及互動(dòng)性得到了很大提升。

（二）多模態(tài)應(yīng)用范疇

多模態(tài)概念最早在認(rèn)知語(yǔ)言學(xué)領(lǐng)域出現(xiàn)，該領(lǐng)域?qū)＜以谘芯康倪^(guò)程中基于Halliday創(chuàng)立的系統(tǒng)功能語(yǔ)言學(xué)，發(fā)現(xiàn)一種嶄新的話語(yǔ)分析形式—多模態(tài)話語(yǔ)分析，即人們?cè)谑褂迷捳Z(yǔ)進(jìn)行交流溝通時(shí)，也有其他非語(yǔ)言模態(tài)的參與，例如人臉表情、聲音音調(diào)、肢體動(dòng)作及道具設(shè)備等，在多種模態(tài)的共同作用下完成信息的交換。近年來(lái)，多模態(tài)概念逐漸出現(xiàn)在設(shè)計(jì)學(xué)、工程學(xué)、醫(yī)學(xué)、自然科學(xué)等領(lǐng)域并成為研究熱點(diǎn)。德國(guó)國(guó)家科學(xué)與工程院院士張建偉表示：人機(jī)交互的未來(lái)是多形態(tài)共享模式；計(jì)算機(jī)視覺方向著名專家賈佳亞則提出“多模態(tài)是人工智能的未來(lái)”的觀點(diǎn)；日本知名設(shè)計(jì)大師原研哉在《設(shè)計(jì)中的設(shè)計(jì)》一書中對(duì)“五感設(shè)計(jì)”進(jìn)行了探討與闡釋：了解人的感受形式，然后通過(guò)設(shè)計(jì)使人得到并了解信息，是二十一世紀(jì)設(shè)計(jì)發(fā)展的新方向。實(shí)踐方面，原研哉在對(duì)梅田醫(yī)院的標(biāo)識(shí)系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)，選擇白色的棉布為設(shè)計(jì)的主要使用材料，來(lái)映射該醫(yī)院環(huán)境的新鮮舒適，通過(guò)結(jié)合視覺、觸覺、聯(lián)覺有效地穿搭了醫(yī)院的形象。這些研究均可對(duì)博物館如何通過(guò)交互體驗(yàn)設(shè)計(jì)與參觀者進(jìn)行溝通提供一定意義上的理論借鑒。

二、博物館中互動(dòng)體驗(yàn)的必要性

（一）博物館互動(dòng)體驗(yàn)設(shè)計(jì)的必要性

隨著計(jì)算機(jī)技術(shù)及網(wǎng)絡(luò)的發(fā)展，交互設(shè)計(jì)逐漸成為一種趨勢(shì)，尤其在博物館文化空間中應(yīng)用廣泛，包括展覽展示、參觀導(dǎo)覽、信息服務(wù)及輔助設(shè)施等方面，交互活動(dòng)幾乎能夠貫穿整個(gè)參觀過(guò)程，打造全新的用戶體驗(yàn)。從本質(zhì)上講，博物館的互動(dòng)體驗(yàn)就是讓參觀者通過(guò)各種方式參與到其中，并最終實(shí)現(xiàn)自身價(jià)值的過(guò)程。交互不僅發(fā)生在人與人之間，同樣也可以發(fā)生在人與事物中，而博物館的互動(dòng)體驗(yàn)設(shè)計(jì)也應(yīng)當(dāng)注重觀者感受，滿足受眾的物質(zhì)與精神需求。

如今博物館的交互性建設(shè)已經(jīng)成為一個(gè)重要課題，博物館有必要在多模態(tài)相關(guān)理論的幫助下，結(jié)合現(xiàn)代博物館展覽設(shè)計(jì)中已經(jīng)包含的成熟的情境化、智能化、故事化、知識(shí)化、智能化的互動(dòng)體驗(yàn)設(shè)計(jì)[13]，帶給觀眾飽滿、輕松、有活力的觀展體驗(yàn)。使每個(gè)參觀者都能參與到傳遞信息所講述的故事當(dāng)中去，并通過(guò)自由選擇的方式了解展覽背后的深層意義。

（二）多模態(tài)交互的優(yōu)勢(shì)

目前，多模態(tài)應(yīng)用相關(guān)的文獻(xiàn)較少，但各種研究表明，多模態(tài)方案往往更受用戶青睞，可以提供更好的靈活性和可靠性，更好地滿足具有各種使用模式和偏好的不同用戶的需求[14]。當(dāng)信息以多種模式呈現(xiàn)時(shí)，人類可以更快、更好地處理信息[15]。事實(shí)證明，多模態(tài)有幾個(gè)特定的優(yōu)點(diǎn)[16]：

允許靈活選擇和使用不同交互模式。

提高效率，尤其是在操作圖形信息時(shí)。

與僅視覺或僅聽覺相比，多模態(tài)可以減少不流暢性，并提高人體識(shí)別功能。

可以精確地傳遞空間信息。

適用于更廣泛的用戶、任務(wù)和環(huán)境情況。

適應(yīng)個(gè)體差異，例如永久或暫時(shí)的殘疾。

界面、任務(wù)、用戶和環(huán)境的每種組合都是不同的，因此很難對(duì)整個(gè)類別得出一般結(jié)論，但現(xiàn)有研究的趨勢(shì)已指出了追求多模態(tài)對(duì)用戶有利的廣泛原因。

三、博物館互動(dòng)體驗(yàn)設(shè)計(jì)中多模態(tài)層級(jí)構(gòu)建

隨著新興技術(shù)的不斷發(fā)展，博物館的互動(dòng)體驗(yàn)同時(shí)也擁有了更多的可能性，多模態(tài)被應(yīng)用的頻率也逐漸升高。博物館早期的傳統(tǒng)硬件設(shè)備慢慢被智能交互裝置所替代，從而在傳遞信息的過(guò)程中激發(fā)參觀者更多種類的感官參與，為體驗(yàn)過(guò)程提供更為豐富的情感價(jià)值。

人對(duì)外界事物的認(rèn)知過(guò)程在多模態(tài)交互體驗(yàn)過(guò)程中可分為3個(gè)階段：首先，感官受到外界刺激后做出反應(yīng)直接影響認(rèn)知過(guò)程；其次對(duì)已有的感覺信息做出區(qū)分，并通過(guò)運(yùn)動(dòng)系統(tǒng)對(duì)其做出解釋；最終在自身、環(huán)境與腦神經(jīng)的多重作用下，對(duì)事物的本質(zhì)進(jìn)行個(gè)性化認(rèn)知，激發(fā)情感共鳴。3個(gè)階段的目的都是通過(guò)交互體驗(yàn)，在多種模態(tài)相互疊加的情況下接受外界的信息并產(chǎn)生獨(dú)特認(rèn)知。根據(jù)多模態(tài)，提出基于多模態(tài)的博物館交互裝置設(shè)計(jì)層級(jí)模型，分為基礎(chǔ)感知、行為交互與思想建構(gòu)3個(gè)層次。

（一）基礎(chǔ)感知層

基礎(chǔ)感知階段是體驗(yàn)過(guò)程中的基礎(chǔ)層級(jí)，即參觀者對(duì)自己身體的感知和通過(guò)身體對(duì)外界的感知。身體是人來(lái)到世間接觸到的第一個(gè)三維實(shí)體，人們對(duì)周圍環(huán)境的感知及做出的行為都以自己的身體為參照系[17]，比如通過(guò)身體的輪廓、中心、位置與平衡來(lái)感知與博物館營(yíng)造出的虛擬世界之間的關(guān)聯(lián)，或是通過(guò)自身肢體的動(dòng)作反饋，感知?jiǎng)幼髋c虛擬空間或角色的關(guān)聯(lián)，從而感受自身在虛擬世界中的存在以及關(guān)聯(lián)。同時(shí)，設(shè)計(jì)師可以賦予環(huán)境不同屬性來(lái)向參觀者傳遞重要信息，使其能夠通過(guò)自己的身體來(lái)感知與物體環(huán)境交互的可能性。在交互體驗(yàn)的過(guò)程中可以發(fā)現(xiàn)，信息是人的感官主動(dòng)去接收和發(fā)現(xiàn)的，同時(shí)證明了主動(dòng)接收信息是人的本能，在外界的刺激下，最先接收到信息的感官能夠刺激其他不同的感官共同參與體驗(yàn)，從而形成多模態(tài)的新形勢(shì)。這種多感官互相作用而形成的體驗(yàn)形式能夠使信息被收取、與自身以外的交互變得更加具有趣味性。在設(shè)計(jì)的過(guò)程中要注意，并不是將所有的模態(tài)融入其中，而是應(yīng)有主有次，根據(jù)不同模態(tài)的重要程度有針對(duì)性地進(jìn)行設(shè)計(jì)。

（二）行為探索層

行為探索層是體驗(yàn)過(guò)程中的中間層級(jí)，即在基礎(chǔ)感知的基礎(chǔ)上激發(fā)參觀者對(duì)交互體驗(yàn)的好奇心，并進(jìn)行一些有目的性的干預(yù)、引導(dǎo)，從而使其依據(jù)聯(lián)想與想象產(chǎn)生探索式的行為，滿足精神上的體驗(yàn)。在設(shè)計(jì)過(guò)程中要注意選擇符合人基本認(rèn)知，即容易理解的行為任務(wù)作為基礎(chǔ)，行動(dòng)流程盡量采取直線式，減少隱藏信息，有助于參觀者在短時(shí)間內(nèi)掌握，通過(guò)直覺進(jìn)行互動(dòng)。

行為探索是人與事物相遇時(shí)在動(dòng)態(tài)、連續(xù)的相互作用下自然而然產(chǎn)生的結(jié)果。在交互的過(guò)程中，該層級(jí)中不同個(gè)體通過(guò)對(duì)體驗(yàn)過(guò)程的不同認(rèn)知，能夠在基礎(chǔ)感知層的基礎(chǔ)上融入自身的想法，并產(chǎn)生不同的行為，達(dá)到融入情感的目的。

（三）思想建構(gòu)層

思想建構(gòu)層是體驗(yàn)過(guò)程中的最高層級(jí)，也是最終導(dǎo)向，參觀者在前兩個(gè)層級(jí)的基礎(chǔ)上產(chǎn)生有意義的認(rèn)知與體驗(yàn)。多模態(tài)下的互動(dòng)體驗(yàn)最終目的是同時(shí)滿足參觀者的心理需求、生理需求以及對(duì)精神層次的追求，使感知的效果更加真實(shí)，使體驗(yàn)者身臨其境，感受到近乎現(xiàn)實(shí)的體驗(yàn)。然而當(dāng)前大多數(shù)的人機(jī)互動(dòng)過(guò)程都在參與互動(dòng)主體的關(guān)注下進(jìn)行，很難讓參觀者本身與周圍環(huán)境融為一體，而此層級(jí)就是為了讓參觀者聚焦于情感體驗(yàn)，讓交互過(guò)程中所使用技術(shù)工具在體驗(yàn)過(guò)程中“消失”。理想情況下，參觀者在博物館的真實(shí)場(chǎng)景中的身體能夠與虛擬場(chǎng)景中的身體相互融合，形成一個(gè) “共同整體”，從而能夠自由地控制周圍環(huán)境中的事物，而其中包含的故事情節(jié)也可以讓參觀者與設(shè)計(jì)師產(chǎn)生共鳴，喚醒自己的情感和思緒，從而達(dá)到傳播和教育的目的。在此層級(jí)中，設(shè)計(jì)師應(yīng)更加注重如何通過(guò)多模態(tài)的交互體驗(yàn)傳遞給參觀者想要表達(dá)的思想，使其在感官體驗(yàn)的基礎(chǔ)上有更深層次的思想方面的理解，將情感共鳴貫穿整個(gè)交互體驗(yàn)過(guò)程中。

四、多模態(tài)視閾下博物館互動(dòng)體驗(yàn)設(shè)計(jì)策略

根據(jù)上述研究結(jié)果，將多模態(tài)層級(jí)模型與博物館互動(dòng)體驗(yàn)設(shè)計(jì)實(shí)踐相結(jié)合，

能夠?qū)Σ┪镳^的自身價(jià)值與文化價(jià)值進(jìn)行提升，促進(jìn)傳統(tǒng)文化與現(xiàn)代技術(shù)之間的融合和流通，同時(shí)在設(shè)計(jì)過(guò)程中讓參觀者從中獲得更好的體驗(yàn)。

（一）集成技術(shù)共創(chuàng)多元場(chǎng)景體驗(yàn)

隨著技術(shù)進(jìn)步與多維展覽形式的出現(xiàn)，博物館已摒棄之前傳統(tǒng)的展陳方式。依據(jù)多模態(tài)層級(jí)，整合不同種類的數(shù)字設(shè)備，避免單一的技術(shù)堆砌所造成的淺薄和沉悶的互動(dòng)設(shè)計(jì)，巧妙整合各種數(shù)字技術(shù)和方法，加強(qiáng)博物館空間與參觀者之間的交流，幫助其產(chǎn)生并保留更多關(guān)于博物館所展示文化的相關(guān)記憶。例如，在博物館序廳或是尾廳處可設(shè)置立體環(huán)幕投影播放動(dòng)畫影片，結(jié)合運(yùn)用一些綜合聲、光、電的多元裝置，來(lái)作為博物館展覽的開篇或結(jié)尾，綜合多種技術(shù)呈現(xiàn)展覽背景、內(nèi)容與過(guò)程。在設(shè)計(jì)博物館展覽的背景故事時(shí)，可多考慮界面層面的照明渲染，比如使用地面的特殊照明投影裝置來(lái)投射文字或圖像，巧妙納入不同的文化資源，以增強(qiáng)空間的氛圍。如圖1，南京溧水秦淮源博物館利用立體環(huán)幕投影展現(xiàn)秦淮河，對(duì)歷史場(chǎng)景進(jìn)行數(shù)字化重現(xiàn)，同時(shí)地面使用投影裝置對(duì)環(huán)幕動(dòng)畫進(jìn)行補(bǔ)充說(shuō)明，并通過(guò)數(shù)字語(yǔ)音結(jié)合圖像做互動(dòng)解說(shuō)，整個(gè)空間集展示與互動(dòng)功能為一體，參觀者能夠根據(jù)博物館創(chuàng)建的開放式數(shù)據(jù)源探索秦淮河的歷史。第三展區(qū)中運(yùn)用聲光電技術(shù)手段，如圖2，再現(xiàn)藝術(shù)景觀，配合動(dòng)態(tài)影像畫面，營(yíng)造出秦淮河的真實(shí)景象，以模擬游覽的方式在視覺、聽覺，體感的共同作用下為參觀者營(yíng)造出印象深刻的互動(dòng)體驗(yàn)。

近年來(lái)，浙江理工大學(xué)的虛擬現(xiàn)實(shí)實(shí)驗(yàn)室已在研究數(shù)字氣味技術(shù)，并明確表示在博物館的交互設(shè)計(jì)中應(yīng)注重多模態(tài)的融合，使參觀者在通過(guò)視覺、觸覺去感受到文物的同時(shí)也能調(diào)動(dòng)在以往的參觀體驗(yàn)中使用頻率較低的嗅覺，從而全方位地感知文物與其背后的故事，感受更加真切。

（二）多維組合打造啟發(fā)式探索

啟發(fā)式共創(chuàng)的互動(dòng)體驗(yàn)主要在于其結(jié)果的不確定性，充分激發(fā)參觀者的主觀能動(dòng)性。旨在將博物館的文化教育作用從“強(qiáng)制灌輸”轉(zhuǎn)變?yōu)椤耙龑?dǎo)主動(dòng)”，豐富博物館參觀者的體驗(yàn)，參觀者能夠依據(jù)參觀前期所接收到的信息結(jié)合自身的知識(shí)儲(chǔ)備創(chuàng)造出獨(dú)一無(wú)二的作品，通過(guò)此看到對(duì)當(dāng)代及未來(lái)的價(jià)值，從而更加有效地實(shí)現(xiàn)在大眾中弘揚(yáng)與傳播文化的目的。

博物館的互動(dòng)體驗(yàn)區(qū)可以通過(guò)傳感器、多點(diǎn)觸摸互動(dòng)屏、互動(dòng)墻等多媒體技術(shù)來(lái)代替以往通過(guò)靜態(tài)實(shí)體的傳遞方式，以便在互動(dòng)區(qū)提供更有吸引力的體驗(yàn)。參觀者可以通過(guò)使用VR技術(shù)將自身代入虛擬現(xiàn)實(shí)技術(shù)所產(chǎn)生的三維環(huán)境中，來(lái)感知并增強(qiáng)對(duì)空間的體驗(yàn)。如圖3，克利夫蘭藝術(shù)博物館一樓展廳中有一面用來(lái)展示藝術(shù)品，長(zhǎng)約12.2米的多點(diǎn)觸控互動(dòng)墻，其互動(dòng)系統(tǒng)主要包括界面屏幕、感應(yīng)器、服務(wù)器。界面下端區(qū)域集中呈現(xiàn)了與交互操作相關(guān)的主要提示信息，主要互動(dòng)步驟采用易于理解的直線流程，參觀者被引導(dǎo)創(chuàng)建自己的博物館收藏墻——將墻上的藝術(shù)品保存到自己移動(dòng)設(shè)備上的收藏夾，并可以通過(guò)社交媒體進(jìn)行分享，在起到宣傳作用的同時(shí)也增強(qiáng)了參觀者的個(gè)性化體驗(yàn)。展覽中還運(yùn)用了人臉識(shí)別系統(tǒng)，將參觀者的面部表情進(jìn)行記錄并與博物館中的其中一件藏品進(jìn)行計(jì)算匹配，增強(qiáng)參觀者與藏品之間的聯(lián)系，使參觀體驗(yàn)具有高度的互動(dòng)性。

設(shè)計(jì)師在設(shè)計(jì)過(guò)程中可將上述的二維互動(dòng)墻拓展到三維當(dāng)中，通過(guò)增加空間紅外感應(yīng)系統(tǒng)，讓參觀者感知自身與虛擬世界的關(guān)聯(lián)，使參觀者處在空間中任意一處都可以進(jìn)行虛擬互動(dòng)，例如翻書、閱讀等，從而打破時(shí)空限制，打造更為生動(dòng)的呈現(xiàn)效果。

（三）沉浸式傳遞空間意向

以多模態(tài)層級(jí)模型為主導(dǎo)建立空間情景框架，確定空間意向，塑造展陳空間，創(chuàng)造出一種沉浸式的體驗(yàn)，使參觀者從被動(dòng)的信息攝入轉(zhuǎn)為主動(dòng)地探索和學(xué)習(xí)。設(shè)計(jì)師在設(shè)計(jì)過(guò)程中要通過(guò)受眾調(diào)研總結(jié)反思，并融合新興技術(shù)進(jìn)行迭代更新，以減少參觀者與設(shè)計(jì)師之間的認(rèn)知摩擦。例如，在博物館特定文化主題空間中可以運(yùn)用裸眼3D，利用人眼“視覺誤差”創(chuàng)造立體虛擬影像，營(yíng)造沉浸式文化氛圍，達(dá)到引人入勝的效果，刺激參觀者的感官?gòu)亩鰪?qiáng)參觀者的記憶和感受，通過(guò)個(gè)體之間、個(gè)體與空間之間、個(gè)體與數(shù)字技術(shù)之間的互動(dòng)，創(chuàng)造出一種高效的體驗(yàn)。如圖4，佛教文化博物館中前來(lái)正定廳的拜佛者到湖面中央禪坐互動(dòng)區(qū)時(shí)，跪拜墊界面會(huì)呈現(xiàn)出與參觀者位置相對(duì)應(yīng)的人體輪廓，引導(dǎo)參觀者進(jìn)行跪拜，同時(shí)3D裸眼、服務(wù)器、重力感應(yīng)器共同作用下參觀者正前方呈現(xiàn)出三維立體“跪拜”環(huán)節(jié)的示范動(dòng)畫，使參觀者能自然地通過(guò)自己的身體與周圍環(huán)境產(chǎn)生互動(dòng)，切身體驗(yàn)拜佛禮儀，融入虔誠(chéng)拜佛的情景。

在博物館空間中需要利用恰當(dāng)?shù)脑O(shè)計(jì)刺激觀眾的感官與認(rèn)知。通過(guò)多模態(tài)與博物館空間的結(jié)合充分調(diào)動(dòng)參觀者的興趣，使參觀者在參觀博物館的過(guò)程中充分發(fā)揮自己的感知機(jī)能，使人與博物館空間融合成一個(gè)完整的整體，從而達(dá)到真實(shí)的情感體驗(yàn)與文化宣傳輸出的效果。豐富的互動(dòng)以及真實(shí)的情感體驗(yàn)可加深參觀者對(duì)博物館所承載的文化的理解力與文化認(rèn)同感，獲得一次刻骨銘心的體驗(yàn)。

總結(jié)

多模態(tài)是以人的五感與大腦認(rèn)知為基礎(chǔ)的，對(duì)增強(qiáng)互動(dòng)體驗(yàn)起著重要作用，新興生態(tài)環(huán)境下博物館文化空間的設(shè)計(jì)離不開技術(shù)、感知與藝術(shù)的同步發(fā)展，三者缺一不可。文章通過(guò)對(duì)多模態(tài)理論的梳理，構(gòu)建了博物館空間中互動(dòng)體驗(yàn)設(shè)計(jì)的層級(jí)模型，其中包括基礎(chǔ)感知層、行為探索層與思想建構(gòu)層，3種層次相互關(guān)聯(lián)，相互推進(jìn)而并非獨(dú)立運(yùn)行。在多模態(tài)視域下，設(shè)計(jì)師通過(guò)綜合應(yīng)用多種數(shù)字技術(shù)，共創(chuàng)多元場(chǎng)景體驗(yàn)、打造啟發(fā)式探索互動(dòng)、沉浸式傳遞空間意向，以實(shí)現(xiàn)博物館展陳信息的高效傳播，對(duì)未來(lái)持續(xù)深入地探究博物館互動(dòng)體驗(yàn)設(shè)計(jì)具有積極意義。

基金項(xiàng)目：國(guó)家社科基金藝術(shù)學(xué)項(xiàng)目（22BG117）

參考文獻(xiàn)

[1]Multimodal human-computer communication：systems，techniques，and experiments[M].Springer Science Business Media，1998.

[2]Quek F，McNeill D，Bryll R，et al. Multimodal human discourse：gesture and speech[J]. ACM Transactions on Computer-Human Interaction（TOCHI），2002，9（3）：171-193.

[3]陶雪瓊. 基于普適計(jì)算的無(wú)界面交互設(shè)計(jì)研究[J]. 設(shè)計(jì)，2020，33（13）：100-103.

[4]管家慶，劉永晟.張之洞與武漢博物館中空間敘事與互動(dòng)體驗(yàn)設(shè)計(jì)研究實(shí)踐[J].美術(shù)教育研究，2023（01）：71-75.

[5]鐘言欣.新媒體藝術(shù)視角下的博物館互動(dòng)體驗(yàn)研究[J].藝術(shù)家，2022（09）：135-137.

[6]孫穎.數(shù)字化互動(dòng)體驗(yàn)與地域文化博物館展示設(shè)計(jì)[J].百科知識(shí)，2022（21）：73-75.

[7]劉高飛. 基于環(huán)境心理學(xué)下的展陳空間互動(dòng)體驗(yàn)應(yīng)用研究[D].南昌大學(xué)，2022.

[8]劉美君，余逍.感知與交互：博物館互動(dòng)體驗(yàn)的提升[J].家具與室內(nèi)裝飾，2022，29（03）：61-65.

[9]杜宇靜.探究博物館空間中“真實(shí)感”的互動(dòng)體驗(yàn)設(shè)計(jì)[J].今傳媒，2022，30（01）：97-100.

[10]羅保權(quán)，邢亞龍.多模態(tài)理論在數(shù)據(jù)可視化交互裝置設(shè)計(jì)中的應(yīng)用研究[J].設(shè)計(jì)，2022，35（01）：48-51.

[11]楊帆，溫曉婷. 多模態(tài)話語(yǔ)分析理論在產(chǎn)品設(shè)計(jì)中應(yīng)用的可行性研究[J]. 設(shè)計(jì)，2019，32（10）：99-101.

[12]徐威，徐夢(mèng)陶. 多模態(tài)交互在數(shù)字體驗(yàn)設(shè)計(jì)中的策略探究[J]. 藝術(shù)與設(shè)計(jì)（理論），2021，2（04）：72-74.

[13]朱衛(wèi)華.博物館展覽陳列中智能交互體驗(yàn)的設(shè)計(jì)探討[J].文物鑒定與鑒賞，2022（18）：85-88.

[14]Bohus D，Horvitz E. Facilitating multiparty dialog with gaze，gesture，and speech[C]//International Conference on Multimodal Interfaces and the Workshop on Machine Learning for Multimodal Interaction. 2010：1-8.

[15]Van Wassenhove V，Grant K W，Poeppel D. Visual speech speeds up the neural processing of auditory speech[J]. Proceedings of the National Academy of Sciences，2005，102（4）：1181-1186.

[16]Oviatt S. Multimodal interfaces[J]. The human-computer interaction handbook，2007：439-458.

[17]孔翠婷，潘滬生，張烈. 具身認(rèn)知視角下的博物館體感交互設(shè)計(jì)研究[J]. 裝飾，2020，（03）：90-93.