多模態(tài)交互在數(shù)字體驗設(shè)計中的策略探究

徐威，徐夢陶

（大連理工大學(xué) 建筑與藝術(shù)學(xué)院，遼寧 大連 116024）

一、多模態(tài)的理論

在數(shù)字化時代的趨勢下，科技的發(fā)展為用戶的產(chǎn)品體驗帶來不一樣的全新形式。多模態(tài)下的數(shù)字體驗設(shè)計不僅僅是傳統(tǒng)的滿足用戶的需求，還能通過數(shù)字化、多媒體化的技術(shù)和形式提升用戶在體驗中的感受質(zhì)量，并且通過聯(lián)合多種感官的交互方式，調(diào)動用戶的整體感官機能，使用戶獲得多重維度的生理體驗與精神滿足。

（一）多模態(tài)概述

“模態(tài)”俗稱感官，單模態(tài)指單個感官，“多模態(tài)”即兩個以上感官的融合，多模態(tài)交互指人通過不同模態(tài)通道內(nèi)的信息合并統(tǒng)一，感知與物體（包括人、機器、動物等）進行交互的行為。人們對于世界的認知是從“感知”開始的，我們所聽、所視、所嗅、所觸、所品味到的都是感知的結(jié)果，模態(tài)是人體與外部接觸的主要途徑，通過神經(jīng)傳輸系統(tǒng)將感知到的刺激傳輸給大腦，從而感受到事物屬性的信息。錢鐘書先生曾說過：“在日常經(jīng)驗里，視覺、聽覺、觸覺、嗅覺、味覺往往可以彼此打通或交通，眼、耳、舌、鼻、身各個官能的領(lǐng)域，可以不分界線。”說明人體的感官是一個相互融合、相輔相成的整體，對接收到的信息是由一種感覺體驗的刺激引起另一種感覺體驗形式，從而產(chǎn)生感官之間的互通現(xiàn)象，同時由原研哉提出的“五感設(shè)計”，即沒有像視覺一樣帶來的沖擊力，卻具有內(nèi)心喚醒般的吸引力，加強對人方便性和情感性的追求，使感知效果能更加趨向于真實的感受，也為多模態(tài)理論提供了理論依據(jù)和實踐基礎(chǔ)。

（二）多模態(tài)應(yīng)用范圍

對于多模態(tài)的應(yīng)用范圍，根據(jù)日本博報堂生活綜合研究所在《五感的時代——視、聽、嗅、味、觸覺的消費社會學(xué)》中進行的總結(jié)概述，其主要體現(xiàn)在四個方面。第一是文化體驗追求方面，傳統(tǒng)的文化交流方式主要是視覺、聽覺這兩個最直觀的表現(xiàn)方式，成熟的文化追求需要多種感官的融合，比如5D影院、多感互動游戲、公共藝術(shù)展覽中的三維立體形態(tài)等。第二是電子科技應(yīng)用方面，隨著科技的不斷進步，虛擬現(xiàn)實技術(shù)、增強現(xiàn)實技術(shù)、混合現(xiàn)實技術(shù)都使多模態(tài)的應(yīng)用范圍不斷擴張，使我們的感官對世界的信息接收更趨于真實。第三是恢復(fù)感官認知方面，隨著屏幕化的日益流行、大數(shù)據(jù)時代的逐漸來臨，使得智能手機占據(jù)了人們生活中的一大部分，用戶日常接觸到的多為視覺和聽覺，所以通過為用戶提供超越這二者的各種感官元素，將人體二十多種感官調(diào)動起來恢復(fù)漸漸喪失的多模態(tài)認知。最后是掌握人性的整體化方面，在社會的發(fā)展中更多地注意到了人的多模態(tài)交互，將人的整體作為研究對象，從理性開始轉(zhuǎn)變?yōu)橛酶行院透杏X作為分析重點來探討社會。

二、數(shù)字體驗設(shè)計中的多模態(tài)體驗層級

隨著體驗經(jīng)濟時代的來臨，以及感官傳感、人體識別與跟蹤技術(shù)的不斷發(fā)展，多模態(tài)交互被運用在數(shù)字體驗設(shè)計創(chuàng)作中的頻率逐漸提高，傳統(tǒng)的物理體驗裝置已經(jīng)逐步被數(shù)字體驗裝置取代，給用戶帶來由多種感官元素組成的、能接受多種外部信息傳達的多模態(tài)交互體驗過程以及更深刻的情感價值。

>圖1 體驗階段層級圖

>圖2 《Fan Mirror》

>圖3 大英博物館VR體驗

>圖4 一號畫廊

>圖5 ValoClimb攀巖墻

在多模態(tài)數(shù)字體驗設(shè)計中，包含著感覺、知覺、思維這三部分內(nèi)容（圖1），感覺是指當用戶的感官受到外部刺激后做出的反應(yīng)，知覺是利用已知的感覺來區(qū)分，是對感覺信息解釋的過程。思維則是一種用推理或判斷間接地反映事物本質(zhì)的認識活動。這三者的最終目的是通過數(shù)字化的體驗、多種感官的重疊達到對世界的信息接收的認知，從而意識到人體對客觀物體的認知并不是一蹴而就的，是具有從淺層次到深層次的不斷深化的過程，深層活動通常由一系列的淺層活動構(gòu)成并由多種模態(tài)共同完成，通過提升淺層次的感官體驗達到更深層次的與體驗者的交互體驗。通過總結(jié)現(xiàn)有的數(shù)字體驗裝置，歸納出三種不同層級的體驗階段，探討設(shè)計師在面對數(shù)字體驗設(shè)計時如何能夠使體驗不斷深化進行思考和策略制定。

（一）基礎(chǔ)感知階段

基礎(chǔ)感知階段是體驗階段的最初層級，也是指在體驗過程中的“感覺”與“認知”。在數(shù)字體驗的過程中用戶會發(fā)現(xiàn)人的感官接受信息是具有本能的特征，具有主動接收信息的意識，在一種感官的刺激下會引領(lǐng)另一不同感官的體驗，觸發(fā)多模態(tài)的新形式。這種感官與感官的結(jié)合使得信息的接收、與物體的交互變得更加有趣。藝術(shù)家Daniel Rozin熱衷于使用不同的材料制作“魔鏡”系列的互動體驗裝置，例如他的作品《Fan Mirror》（圖2）。當體驗者站于鏡前擺出各種不同的姿勢時，魔鏡就會通過傳感器自動捕捉體驗者的身體形態(tài)，并通過不同材料的鏡面呈現(xiàn)出不一樣的剪影，視覺、觸覺協(xié)同工作增強了數(shù)字體驗的豐富性。在公共藝術(shù)的數(shù)字體驗裝置方面，大英博物館走在了領(lǐng)先的位置，通過VR虛擬現(xiàn)實技術(shù)將游客帶到了青銅時代（圖3），讓游客通過燈光、氛圍來更為真實地體驗青銅器時代的生活，參與古人包括祭祀太陽在內(nèi)的各種儀式，并且游客可以通過虛擬現(xiàn)實深刻體會青銅時代的歷史與文化，不再只是單純地參觀擺放在玻璃后面的文物。除此之外，浙江理工大學(xué)虛擬現(xiàn)實實驗室致力于研究虛擬嗅覺技術(shù)，他們在博物館研究方面認為博物館的應(yīng)用要注重多種模態(tài)的融合，使得參觀者在視覺、觸覺接觸到文物的同時使用到平時在參觀體驗中使用頻率較低的嗅覺，這樣能夠更全面、更自然地感知文物，獲得更強烈的存在感和真實感。

對于設(shè)計師來講，在數(shù)字體驗設(shè)計中營造多模態(tài)交互的受眾體驗，規(guī)避傳統(tǒng)單一的展現(xiàn)方式，將多種感官融入設(shè)計創(chuàng)作中，可使體驗者的感受得到大幅提高，讓數(shù)字體驗裝置傳達的信息更具說服力。但是也并不意味著需要將人體的二十多種感官都進行融合，在設(shè)計時要注重模態(tài)的重要程度，有主有次，相輔相成，更利于之后的設(shè)計研究。

（二）行為交互階段

行為交互階段是體驗階段的中等層級。是指在多模態(tài)交互的基礎(chǔ)上，將多模態(tài)的理性認知與感性認知進行融合，從而構(gòu)成一個多維的多模態(tài)體驗整體。在交互過程中用戶對數(shù)字體驗裝置的好奇心增強，根據(jù)想象、聯(lián)想等方式對數(shù)字體驗裝置進行探索，在體驗中進行有意識的干預(yù)，滿足精神上體驗的過程?？死蛱m藝術(shù)博物館的創(chuàng)意互動裝置1號畫廊（圖4）在數(shù)字體驗設(shè)計中同樣使用了創(chuàng)新的方式來讓觀眾搜索博物館的一系列藝術(shù)品。允許用戶簡單地繪制線條和形狀，讓游客得以從具有相似幾何形狀的集合中調(diào)出相對應(yīng)的藝術(shù)品，并且當游客在屏幕上做一張面部表情的圖片時，畫廊將展示具有相同面部表情的系列中的藝術(shù)品。與此同時，Valomotion公司推出的增強攀巖墻 ValoClimb（圖5），在這個室內(nèi)攀巖墻上能夠投影交互式圖像，在訓(xùn)練過程中加入競技游戲的因素，在相對緊湊的空間內(nèi)，用戶可以參與多種即時的互動體驗，使數(shù)字體驗的過程變得有聲、有色、有趣，讓用戶達到全身心融入的狀態(tài)，幫助用戶找到運動的快樂。除此之外，以色列設(shè)計師Oren Geva為盲人研發(fā)出一款獨特的名叫2C3D的相機（圖6），它可以實時地將鏡頭影像變成三維觸覺數(shù)據(jù)，供盲人觸摸，其精度甚至可以描繪出人臉的細節(jié)，這些體驗都融合了多種模態(tài)，同時又增加了用戶的交互探索。

對于設(shè)計師來講，體驗既不是用戶的主觀認知和感受，也不是一般意義上的客觀存在，不能夠生硬地照搬現(xiàn)實世界，它是人與環(huán)境相遇時動態(tài)的、連續(xù)的相互作用所產(chǎn)生的結(jié)果，在行為探索階段這個過程中通過不同個體對于體驗的認知，在交互的過程中能夠使用戶在基礎(chǔ)感知層次之上進行自身思想與行為探索的體驗，達到融入情感產(chǎn)生共鳴的目的。

（三）思維聯(lián)通階段

思維聯(lián)通階段是體驗階段的最高層級，是在感知與探索基礎(chǔ)上的抽象的情感體驗，數(shù)字體驗需要人的介入和參與，體驗也是藝術(shù)創(chuàng)作者通過引導(dǎo)觀眾參與互動的方式。多模態(tài)下的數(shù)字體驗設(shè)計的根本目的是加強對人方便性和情感性的追求，也是一個人實現(xiàn)包括內(nèi)心情感在內(nèi)的心理需求、生理需求和精神層次上的途徑，使感知效果更加地趨向于真實的感受。在數(shù)字體驗過程中通過多模態(tài)的感官互動體會到了豐富的體驗方式與樂趣，通過感官與聯(lián)想融合的行為探索階段，融入了感情的共鳴，在思維聯(lián)通階段是對數(shù)字體驗的反思，還可以把觀眾的思緒帶到不同的時間和空間，激發(fā)埋藏在深處的記憶，傳遞給用戶此項設(shè)計想要表達的思想。

針對數(shù)字體驗中的思維聯(lián)通階段，有以下幾個例子能夠更好地對其進行解釋，Michelle Oui團隊為了紀念莎士比亞逝世400周年而制作的體驗裝置《Life Scape》，裝置有六個不同的影盒，每個影盒代表著人生不同階段。當人們靠近時裝置點亮，影盒開始變化，戴上耳機傾聽不同的韻律。它讓觀眾以不一樣的方式經(jīng)歷人生的各個階段，在一瞬間激起部分體驗者內(nèi)心深處的記憶，不同的人在體驗中可能會獲得不一樣的感悟，聯(lián)想到相似的經(jīng)歷可能演變成不同的故事，鼓勵觀眾以獨特的視角看待人生，感悟到每個人的珍貴之處，這正是數(shù)字體驗中的最高層次的作用。除此之外。在2019年Local Projects公司設(shè)計的時尚體驗博物館（Fashion for Good Experience Museum），博物館通過數(shù)字體驗裝置向人們講述衣服背后的故事，改變參觀者原有的看法，使人們通過時尚體驗博物館意識到衣服可持續(xù)發(fā)展的重要性。每位參觀者進館前會分發(fā)智能手環(huán)，通過手環(huán)的個性化數(shù)字旅程，觀眾可以通過視覺觀看設(shè)計者的創(chuàng)新故事，通過觸覺接觸到從織物線到棉布的各個部分，轉(zhuǎn)換身份成為服裝設(shè)計師，從一系列以可持續(xù)性為靈感的圖像中選擇并定制屬于自己的專屬服裝。設(shè)計師以傳播可持續(xù)發(fā)展為目標，使用多模態(tài)的設(shè)計理念使參觀者體會到不一樣的感悟，成為可持續(xù)發(fā)展的并肩作戰(zhàn)者。數(shù)字體驗中的思維聯(lián)通迎合了參觀者在體驗時進行情感交流和互動時產(chǎn)生的一種不可言狀的微妙感受，充滿了與心靈的私密溝通所產(chǎn)生的服帖感，這種內(nèi)心感觸的欣喜是單純的基礎(chǔ)感知階段所不能實現(xiàn)的，是感官、探索的升華。

>圖6 2C3D的相機

>圖7 《Life Scape》

>圖8 時尚體驗博物館

對設(shè)計師來講，在數(shù)字體驗設(shè)計的過程中，體驗者與裝置進行互動不應(yīng)該僅僅注重交互行為，更應(yīng)該注重在體驗的過程中傳遞給用戶設(shè)計想要表達的思想，使得數(shù)字體驗在滿足用戶行為感官體驗的同時在思想上得以有更深的理解。做到“以人為本”，引導(dǎo)淺層次基礎(chǔ)體驗，通過不同個體對體驗的認知與探索形成各自獨特的感受，在整個數(shù)字體驗中融入情感共鳴。

三、多模態(tài)交互下數(shù)字體驗設(shè)計的應(yīng)用意義

（一）提升感官體驗

新興的科學(xué)技術(shù)為當代人們的生活帶來了翻天覆地的變化，數(shù)字體驗裝置的發(fā)展是傳統(tǒng)體驗方式的變革，改變了傳統(tǒng)體驗多以視聽為主的信息傳遞方式，通過科技的運用更新了用戶在接收信息、使用產(chǎn)品時的形式，使其不再滿足于單一的感官所帶來的體驗，而更傾向于“一加一大于二”的多模態(tài)體驗。在數(shù)字體驗過程中通過多種感官的融合與疊加，能充分調(diào)動體驗者的身體機能，使信息的接受更加有趣，使體驗的認知更趨向于真實。典型的多模態(tài)數(shù)字體驗有虛擬現(xiàn)實技術(shù)，創(chuàng)造虛擬的體驗環(huán)境給人腦以真實的認知，它可以通過敘事性的設(shè)計法則，用故事的形式，設(shè)計營造虛擬場景、真實或虛擬角色、引人入勝的情節(jié)、沉浸式的體驗、真實的氣氛等基本元素，直接調(diào)動參與者的情緒模態(tài)的融合，使體驗在抽象與具象之間反復(fù)橫跨，并且通過多模態(tài)交互對虛擬環(huán)境做出反饋，提升整體的感官體驗，讓趣味性、直觀性貫穿數(shù)字體驗的始末。

（二）擴寬表現(xiàn)形式

藝術(shù)家們利用多模態(tài)交互這個能夠觸發(fā)多種感官融合交錯、影響人體生理與心理的特質(zhì)，將藝術(shù)與科技互聯(lián)，使用當今發(fā)展得如火如荼的傳感技術(shù)以及增強現(xiàn)實、混合現(xiàn)實等技術(shù)，將數(shù)字信息世界與真實的世界建立起互通的橋梁，將自己的作品融入到數(shù)字體驗當中，在各行各業(yè)都能看到他們的身影。在公共藝術(shù)場所，博物館中的數(shù)字體驗裝置加深觀眾對于文物的理解，在視覺觸覺乃至嗅覺方面都能與受眾進行情感交流和互動，帶動參與者的感官穿越到不同的時間和空間中。在互動娛樂場所、商業(yè)運營場所的數(shù)字體驗裝置通過強化我們的感知，將以往單一的體驗延伸至多維模態(tài)體驗，例如耐克在上海的首家概念創(chuàng)新店，在試穿新產(chǎn)品之前需要經(jīng)過短暫練習(xí)，然后體驗者就能輕松掌握游戲規(guī)則、開啟挑戰(zhàn)?；赢嬅婧土Ⅲw音效的結(jié)合能夠擴寬體驗的表現(xiàn)形式，使信息能夠更好地傳遞。

（三）加深情感共鳴

不同的顏色、聲音、味道都給人以不同的感官體驗，例如紅色讓人有熱情與激昂的感覺，藍色讓人聯(lián)想到冷靜與理智的感覺，舒緩與緊張的樂曲給人的感覺也截然不同，我們對家、對媽媽身上的味道、對那些充滿記憶的事情都可以通過嗅聞來進行記憶的提取。多模態(tài)的數(shù)字體驗設(shè)計聯(lián)合多種感官，當體驗者通過聽、視、嗅、觸、味不同的模態(tài)進行體驗時，由低層次的基礎(chǔ)感知體驗上升轉(zhuǎn)移到行為探索階段，最后到達思想聯(lián)通的階段，三個階段層層遞進，進一步激發(fā)起體驗者更深層次的思考，從而引起情感共鳴，最終讓體驗者能夠真正理解設(shè)計者的想法，同時也融入了其自身對數(shù)字體驗的理解，產(chǎn)生全新的感悟。

四、總結(jié)

多模態(tài)交互以人五感及大腦認知為基礎(chǔ)，在數(shù)字體驗設(shè)計中起著重要的作用，多模態(tài)的融入給新興生態(tài)發(fā)展下的數(shù)字體驗設(shè)計指明了新的方向，契合了數(shù)字體驗的特性并順應(yīng)了發(fā)展趨勢。未來的體驗設(shè)計，必將是技術(shù)與感知、藝術(shù)的合力傳遞，無論單獨討論哪一方，都是片面的。數(shù)字體驗設(shè)計為用戶的體驗提供了新的交互方式與表現(xiàn)形式，進一步激發(fā)起體驗者更深層次的思考。多模態(tài)交互下數(shù)字體驗設(shè)計的目的是加強人對信息的感知，對方便性和情感性的追求，使感知效果更加趨向于真實的感受，但是如果為了數(shù)字化而數(shù)字化，單純地追求技術(shù)帶來的樂趣，就不能算達到多模態(tài)思想聯(lián)通的深層次。科技與藝術(shù)同步發(fā)展，設(shè)計者清楚地意識到精神和文化的重要性，數(shù)字體驗設(shè)計才能真正地做到“以人為本”。