多模態(tài)理論在數(shù)字媒體交互藝術(shù)中的探索與研究

李 敏

（作者單位：廣州美術(shù)學(xué)院）

1 多模態(tài)概述

隨著數(shù)字媒體的興起與發(fā)展，傳統(tǒng)的視覺傳達(dá)設(shè)計(jì)從單純的視覺符號(hào)信息傳達(dá)逐漸增添了聽覺、觸覺、嗅覺等多方式的多模態(tài)交互體驗(yàn)，給用戶帶來(lái)了更豐富的綜合體驗(yàn)。數(shù)字交互的出現(xiàn)，讓作品有了更多的藝術(shù)表現(xiàn)形式。

1.1 多模態(tài)理論

“多模態(tài)”俗稱“多感官融合”，“模態(tài)”則為“感官”，是德國(guó)生理學(xué)家赫爾姆霍茨提出的一種生物學(xué)概念，即生物憑借感知器官與經(jīng)驗(yàn)來(lái)接收信息的通道。例如，人類有視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)、嗅覺模態(tài)、味覺模態(tài)，而多種模態(tài)交互融合是指人通過聲音、肢體語(yǔ)言、環(huán)境、信息載體（文字、圖片、音頻、視頻）等多個(gè)通道與計(jì)算機(jī)交流，充分模擬人與人之間的交流方式。模態(tài)是人們通過感官與外部世界接觸的主要方式，感官通過神經(jīng)系統(tǒng)向大腦傳遞刺激信息，從而讓我們感知事物的屬性和特征。麥克盧漢的著名理論“媒介是人的延伸”，不僅是在詮釋在技術(shù)的影響下人們對(duì)多模態(tài)功能融合的發(fā)展與延伸，而且指向了媒介對(duì)人的感知比率與感知模式的改造。比如，印刷術(shù)的出現(xiàn)強(qiáng)化了人的視覺習(xí)慣，使人逐漸培養(yǎng)了線形的邏輯思維方式；而廣播則是強(qiáng)化了聽覺，有助于人的情緒和知覺經(jīng)歷的形成。電子媒介與傳統(tǒng)媒介的傳播方式有所不同，電子媒介不僅僅是人類感官的工具，更是被認(rèn)為參與了大腦中樞神經(jīng)系統(tǒng)的構(gòu)建。

1.2 應(yīng)用領(lǐng)域

多模態(tài)感官理論具有三層內(nèi)涵：一是通過多感官融合，調(diào)動(dòng)受眾的感官機(jī)能；二是將數(shù)字藝術(shù)從單一的視覺傳播進(jìn)行延伸；三是探索多感官聯(lián)合對(duì)數(shù)字藝術(shù)在信息表達(dá)上的影響[1]?，F(xiàn)在的屏幕化信息傳播、大數(shù)據(jù)的流量推送、智能科技已經(jīng)成為人們生活中的“必需品”[2]。錢鐘書先生曾經(jīng)說(shuō)過，在人們的日常經(jīng)驗(yàn)中，五感（視覺、聽覺、觸覺、嗅覺、味覺）往往是可以相互打通和交流，眼、耳、舌、鼻、身各個(gè)官能領(lǐng)域可以不分界限。這就說(shuō)明了人的多模態(tài)是可以相互融合、相互轉(zhuǎn)化的交互整體。數(shù)字交互藝術(shù)的出現(xiàn)，模糊了參與者與創(chuàng)作者之間的界線，多模態(tài)與智能化技術(shù)建立起一種新的交互模式，給觀眾的感官機(jī)能沉浸感與愉悅感。觀眾既可以是被動(dòng)的欣賞者，也可以是主動(dòng)的參與者。創(chuàng)作者可以留一定的空間想象由其余觀眾一起參與創(chuàng)作，這樣會(huì)更大程度提高數(shù)字交互藝術(shù)的感染力與表現(xiàn)力，這也是未來(lái)交互模式的必然趨勢(shì)。

2 數(shù)字交互藝術(shù)中的多模態(tài)潛意識(shí)要素

2.1 感知要素

有研究發(fā)現(xiàn)，決定是否注意并儲(chǔ)存感官信息的是大腦中的海馬區(qū)。那不同的感官對(duì)人的感受影響有什么不一樣？比如，每一次到達(dá)新的國(guó)家或者新的城市，這個(gè)地方聞起來(lái)的味道是不一樣的，給人留下的記憶和感覺也會(huì)不一樣；有時(shí)候聽到一首歌曲的時(shí)候，會(huì)想起來(lái)一件事或者一個(gè)人；要表現(xiàn)速度相關(guān)的感覺時(shí)，人們會(huì)采用流線型的設(shè)計(jì)元素，讓人感受到強(qiáng)烈的速度感。這是因?yàn)槿舜竽X中的海馬區(qū)是幫助人們處理聲音、光線、味道等事件記憶的大腦區(qū)域。海馬區(qū)對(duì)于豐富的色彩、特殊的氣味、特別響亮的聲音、粗糙易感的表面信息會(huì)特別留意。數(shù)字交互裝置作品《Boundless》（見圖1）是一個(gè)實(shí)踐項(xiàng)目，旨在進(jìn)一步探索人們對(duì)觸感的渴望。它通過交互互動(dòng)裝置敘述呈現(xiàn)出觸感感知表達(dá)特點(diǎn)：細(xì)膩、溫柔、激情、安靜、移情。整個(gè)裝置結(jié)構(gòu)貫穿兩個(gè)部分：第一階段是以游戲捉迷藏的方式來(lái)追逐身影，這種體驗(yàn)豐富了柔軟的聲音漸強(qiáng)漸弱，調(diào)動(dòng)體驗(yàn)者的感知情緒，更好去感受“皮膚饑餓”所帶來(lái)的刺激反應(yīng)；第二階段是敘事達(dá)到高潮，接觸并不是一種純粹的由觸覺傳達(dá)的現(xiàn)象，而是一種深刻情感的愉悅的體驗(yàn)，是感知而不是物質(zhì)性結(jié)果。

圖1 Boundless

數(shù)字交互藝術(shù)作品是一種為了能夠達(dá)到藝術(shù)創(chuàng)作目的而需觀眾參與的藝術(shù)形式。大多數(shù)交互藝術(shù)作品都具有趣味性、新穎性，會(huì)更加注重人在參與過程中的感受。因此，在這種交互前提下，各個(gè)感官的感知元素被調(diào)動(dòng)就顯得尤為重要。

3) 為避免使用階段再次發(fā)生上浮破壞，對(duì)地下車庫(kù)底板進(jìn)行加厚處理，或在基坑周圍預(yù)留排水井，當(dāng)雨季來(lái)臨時(shí)，及時(shí)對(duì)基坑進(jìn)行降排水，避免超過抗浮水頭.

2.2 習(xí)慣要素

由國(guó)際著名展覽設(shè)計(jì)事務(wù)所Tinker imagineers負(fù)責(zé)人實(shí)時(shí)互動(dòng)的《interactive博物館》（見圖4）展覽，設(shè)計(jì)目的以全新的視角引導(dǎo)人們以正確的方式看待媒體文化。媒體定義了我們，但同時(shí)我們也在塑造媒體。我們重新審視媒體對(duì)我們的影響，并有更多的方式與媒體互動(dòng)。在博物館中，觀眾需要使用面部識(shí)別與自己的智能手機(jī)參與到展覽中。展覽向觀眾展示出幾十個(gè)互動(dòng)展品游藝機(jī)和數(shù)百個(gè)的視聽材料。博物館個(gè)性化的整體空間規(guī)劃、圖形設(shè)計(jì)以及媒介選擇的呈現(xiàn)為觀眾提供了獨(dú)一無(wú)二的參觀體驗(yàn)。

隨著我國(guó)人口的不斷增長(zhǎng),老年人因機(jī)體功能下降發(fā)病率呈逐漸上升的趨勢(shì),老年腦出血的發(fā)病率也不斷上升,其發(fā)病的主要原因是與腦血管病變有關(guān)[1],病人會(huì)出現(xiàn)運(yùn)動(dòng)障礙、嘔吐及意識(shí)障礙等癥狀,如果術(shù)后康復(fù)的效果不好,嚴(yán)重影響病人以后的生活質(zhì)量[3],因此從我院選出腦出血病人180例,為病人提供不同的護(hù)理措施,現(xiàn)報(bào)道如下。

圖2 聲之味

2.3 情境要素

新媒體藝術(shù)之父羅伊·阿斯科特曾指出：“新媒體藝術(shù)最鮮明的特質(zhì)為連結(jié)性與互動(dòng)性。其創(chuàng)作過程需要經(jīng)過連結(jié)、融入、互動(dòng)、轉(zhuǎn)化、出現(xiàn)五個(gè)階段。首先必須連結(jié)并全身融入其中，而非僅僅在遠(yuǎn)距離觀看，與系統(tǒng)和他人產(chǎn)生互動(dòng)，這將導(dǎo)致作品與意識(shí)轉(zhuǎn)化，最后出現(xiàn)全新的影像、關(guān)系、思維與經(jīng)驗(yàn)。”人們通過多模態(tài)元素的融合與數(shù)字交互藝術(shù)作品產(chǎn)生有意識(shí)或無(wú)意識(shí)的交互，通過這種參與性來(lái)表達(dá)與探討人、物、環(huán)境三者之間的關(guān)系，以達(dá)到凸顯主題的目的[4]?！禤olluted Sounds》（見圖3）是一個(gè)空間項(xiàng)目，是由設(shè)計(jì)師Carlotta Bianchi和設(shè)計(jì)師Jocelyn Murray共同完成的。該項(xiàng)目通過沉浸式聲音體驗(yàn)來(lái)展現(xiàn)倫敦空氣質(zhì)量?；谇楦醒芯康穆曇粼O(shè)計(jì)，是人們通過身體、聲音以及空間理解這一全球性的問題。場(chǎng)館中的空氣質(zhì)量檢測(cè)傳感器用來(lái)記錄實(shí)時(shí)數(shù)據(jù)，并傳輸回電腦中，實(shí)現(xiàn)實(shí)時(shí)改變空間的聲音。聲音能夠讓人們更加直觀地了解這一基本的環(huán)境問題，增強(qiáng)人們對(duì)環(huán)境健康狀況的理解。人們通常使用多個(gè)感官來(lái)感知和理解世界，而多模態(tài)理論可以幫助人們將來(lái)自不同感官的信息有機(jī)結(jié)合起來(lái)，從而加深對(duì)主題和場(chǎng)景環(huán)境的理解和體驗(yàn)，同時(shí)也能提高觀賞過程的趣味性和吸引力。

圖3 Polluted Sounds

3 多模態(tài)理論下數(shù)字媒體交互藝術(shù)的發(fā)展趨勢(shì)

3.1 提升多維度的交互空間

交互藝術(shù)的審美建立在人的感官感知基礎(chǔ)之上。例如去觀賞一幅畫時(shí)，人們會(huì)觀察到這其中的構(gòu)圖、線條、用色程度與風(fēng)格表現(xiàn)；而在欣賞音樂時(shí)，人們則依靠聽覺來(lái)感知音符律動(dòng)與節(jié)奏的快慢。通過藝術(shù)化的手段創(chuàng)作或者再創(chuàng)作，不同的藝術(shù)形式可以調(diào)動(dòng)多模態(tài)元素融合，從而創(chuàng)造出更加立體、豐富、多樣化的交互藝術(shù)的審美體驗(yàn)。當(dāng)多模態(tài)一起相互起作用時(shí)，單模態(tài)之間的隔閡逐漸消融，進(jìn)入多模態(tài)通融狀態(tài)。在這樣的狀態(tài)下，人們看到一幅畫就會(huì)產(chǎn)生如同聽到優(yōu)美樂曲般的感覺，從而帶來(lái)沉浸式體驗(yàn)，并實(shí)現(xiàn)不同層次轉(zhuǎn)化。這種交互藝術(shù)的情境融合，人們能夠達(dá)到主客合一的最佳狀態(tài)，從而實(shí)現(xiàn)更高水平的沉浸式藝術(shù)體驗(yàn)。

特定的元素和場(chǎng)景能夠喚醒潛意識(shí)，而行為習(xí)慣元素是潛意識(shí)最大的表現(xiàn)之一。反反復(fù)復(fù)操作就會(huì)產(chǎn)生記憶點(diǎn)，進(jìn)而形成人的常規(guī)習(xí)慣意識(shí)。例如人看到門把手，就會(huì)意識(shí)到去推開門；看見插頭就知道這是連接電器設(shè)備的，這些都可以說(shuō)是潛意識(shí)作用下根深蒂固的習(xí)慣動(dòng)作。在交互過程中，主要有兩種方式激發(fā)人的潛意識(shí)行為習(xí)慣：其一是讓交互方式符合人固有的、本身具有條件反射的行為習(xí)慣；其二是通過不斷的嘗試與訓(xùn)練養(yǎng)成大腦的常規(guī)習(xí)慣，增加熟悉感與依賴感。在不斷發(fā)展的互聯(lián)網(wǎng)設(shè)備中，視覺、聽覺、觸覺的輸入和輸出體驗(yàn)已經(jīng)成為一種常見的交互形式[3]。除此之外，將聽覺習(xí)慣和味覺習(xí)慣相結(jié)合，可以設(shè)計(jì)出更具生動(dòng)性、可視化的數(shù)字交互藝術(shù)裝置。藝術(shù)家邱宇在創(chuàng)作中使用聲音、味道、裝置等混合媒介與數(shù)字技術(shù)手段相結(jié)合探索生命感知的內(nèi)在邏輯思維與語(yǔ)言表達(dá)關(guān)系。他的作品之一《聲之味》（見圖2）是在聲音和味覺之間建立一種新的感知與延展體驗(yàn)。喇叭產(chǎn)生不同頻率的震動(dòng)使不同香料分子在空氣中散發(fā)并混合，在聲音和味覺之間建立一種新的感知與延展體驗(yàn)。

圖4 interactive博物館

數(shù)字交互藝術(shù)的特點(diǎn)在于多維融合，這種融合產(chǎn)生的效果可以引起觀眾多模態(tài)融合參與。數(shù)字交互藝術(shù)通過沉浸式的交互性審美，讓觀眾更加深刻地領(lǐng)會(huì)到藝術(shù)家與設(shè)計(jì)師所追求的多元感受。觀眾可以在數(shù)字交互藝術(shù)的觀賞中達(dá)到情感與交互的最佳狀態(tài)，從而進(jìn)入一種模態(tài)與模態(tài)之間的轉(zhuǎn)化。

倫敦設(shè)計(jì)博物館《ASMR的世界》展覽，探索多模態(tài)新體驗(yàn)（見圖5）。ASMR是Autonomous Sensory Meridien Response的縮寫，意為“自發(fā)性知覺經(jīng)絡(luò)反應(yīng)”，指人體通過感官的刺激，在顱內(nèi)、頭皮、背部或身體其他部位產(chǎn)生的獨(dú)特感受，ASMR又被媒體稱為“顱內(nèi)高潮”。創(chuàng)作者們通過耳語(yǔ)或吃東西，觸摸或者敲擊的方式錄制視頻，試圖通過多模態(tài)之間的轉(zhuǎn)化觸發(fā)觀眾的身體與大腦的連鎖反應(yīng)，從而達(dá)到放松的目的。這個(gè)展覽提供了一個(gè)環(huán)境，讓創(chuàng)作者能夠更好探索主題的廣度與深度，通過一系列的音頻、視覺作品、交互裝置的互動(dòng)，邀請(qǐng)觀眾去感受不同類型的ASMR，沉浸于“顱內(nèi)高潮”的放松感中。

由圖3可知，A、B、C和D四組試驗(yàn)組的搖瓶發(fā)酵效價(jià)均高于對(duì)照組，且與對(duì)照組之間差異顯著。A組與B組和D組的搖瓶發(fā)酵效價(jià)之間差異顯著，與C組搖瓶發(fā)酵效價(jià)差異不顯著。B、C組和D組之間的搖瓶發(fā)酵效價(jià)差異不顯著，但D組搖瓶發(fā)酵效價(jià)高于C組和B組。A組發(fā)酵效價(jià)比CK組高17.3%；B組發(fā)酵效價(jià)比A組提高5.1%；C組發(fā)酵效價(jià)比A組提高了3.4%，D組發(fā)酵效價(jià)比A組提高了6.4%。因此，添加一定量的微量元素和發(fā)酵增效劑可以提高金色鏈霉菌的生產(chǎn)發(fā)酵能力。

3.2 多模態(tài)轉(zhuǎn)化與融合

設(shè)計(jì)不再單純滿足“物性”的需求，更重要的是考慮全方位感官體驗(yàn)的“人性”需求[6]。在一個(gè)互動(dòng)的空間范圍里，觀眾可以自由選擇某一種視角與維度去欣賞作品，體驗(yàn)過程因?yàn)橛卸嗄B(tài)的融入?yún)⑴c而變得更有畫面感，更加律動(dòng)化，更有真實(shí)感，觀眾也能夠更好地沉浸在創(chuàng)作者的設(shè)計(jì)空間之中。

數(shù)字交互藝術(shù)實(shí)現(xiàn)了創(chuàng)作者、作品、觀眾之間的多維度的互動(dòng)，打開了傳統(tǒng)藝術(shù)的封閉疆界[5]?，F(xiàn)在的數(shù)字技術(shù)快速發(fā)展為數(shù)字交互藝術(shù)帶來(lái)了更多樣的創(chuàng)作手段和更深入的藝術(shù)表達(dá)方式，讓藝術(shù)家、作品、觀眾之間達(dá)到多方位的互動(dòng)，使藝術(shù)作品和創(chuàng)作過程成為一個(gè)開放多維空間。觀眾不僅可以欣賞藝術(shù)作品，而且可以與藝術(shù)作品進(jìn)行交互與溝通。

影響政治體制改革的因素是多方面的，不只是有經(jīng)濟(jì)體制改革的推動(dòng)因素。特定社會(huì)的政治體制改革是在各種因素的交織互動(dòng)的影響下才探索出自己特有的變革之路。中國(guó)30多年來(lái)的改革開放似乎向我們傳達(dá)著一個(gè)寶貴的經(jīng)驗(yàn)：那就是治理模式的創(chuàng)新對(duì)于一個(gè)社會(huì)的順利、平穩(wěn)的改革起著重要的積極作用。在這個(gè)意義上，模式探索與創(chuàng)新對(duì)于政治體制改革便具有了非同尋常的意義。

圖5 ASMR的世界

3.3 豐富數(shù)字交互藝術(shù)創(chuàng)作的呈現(xiàn)方式

數(shù)字交互藝術(shù)利用現(xiàn)代數(shù)字科技的多樣性，重新定義了藝術(shù)的呈現(xiàn)方式，將原本封閉、單一的藝術(shù)表現(xiàn)形式打破，使得雙向、多向互動(dòng)發(fā)展有了更多的可能性。數(shù)字交互藝術(shù)在創(chuàng)作、展示和觀賞的過程中，呈現(xiàn)更為生動(dòng)、多元和開放的藝術(shù)表現(xiàn)方式。人對(duì)作品的交互模式突破了人機(jī)交互的距離限制，并為觀眾營(yíng)造了一種“場(chǎng)”的獨(dú)有的體驗(yàn)互動(dòng)空間[7]。觀眾通過調(diào)動(dòng)全身的多模態(tài)肢體語(yǔ)言與作品產(chǎn)生直接的互動(dòng)，使呈現(xiàn)形式變得多變且隨機(jī)，還能獲得豐富多樣的感受通道。

阻抗參數(shù)的模糊調(diào)整規(guī)則如下：如果小腿絕對(duì)平均主動(dòng)作用力fs和大腿絕對(duì)平均主動(dòng)作用力fb為同級(jí)，則表明小腿和大腿主動(dòng)運(yùn)動(dòng)意圖相同，此時(shí)阻抗參數(shù)為初始值為z；如果小腿絕對(duì)平均主動(dòng)作用力fs比大腿絕對(duì)平均主動(dòng)作用力fb大n級(jí)，則表明小腿主動(dòng)運(yùn)動(dòng)意圖強(qiáng)，此時(shí)阻抗參數(shù)為初始值z(mì)加上0.1n倍的z；如果大腿絕對(duì)平均主動(dòng)作用力fb比小腿絕對(duì)平均主動(dòng)作用力fs大n級(jí)，則表明大腿主動(dòng)運(yùn)動(dòng)意圖強(qiáng)，此時(shí)阻抗參數(shù)為初始值z(mì)加上0.2n倍的z。由于整體小腿運(yùn)動(dòng)范圍大于大腿，所以在相差級(jí)別相同時(shí)，小腿主動(dòng)運(yùn)動(dòng)意識(shí)強(qiáng)則增加的阻抗參數(shù)稍小，大腿主動(dòng)運(yùn)動(dòng)意識(shí)強(qiáng)則增加的阻抗參數(shù)稍大。

《Martin Messier-IMPULSE》（見圖6）作品是由五個(gè)并列部分組成的懸浮作品。每個(gè)部分由兩個(gè)金屬面組成，通過八根電線相互連接，這些電線在計(jì)算機(jī)化的聲音和光線程序中連接與轉(zhuǎn)化。在創(chuàng)作過程中，創(chuàng)作者提出一個(gè)對(duì)大腦功能技術(shù)扭曲的詩(shī)意類比，其形式是光路徑在兩個(gè)面板之間移動(dòng)可見的能量循環(huán)，并且路線的斷裂產(chǎn)生了自主的編舞片段，在整個(gè)構(gòu)圖中呈現(xiàn)出電氣化的效果，刺激觀眾的感官系統(tǒng)，不僅在視覺上受到了影響，在聽覺上也會(huì)受到一定限制。這是因?yàn)槁曇舻耐交?，最終整個(gè)身體都受到了多感官傳播的影響。通常對(duì)大腦編碼的刺激作出反應(yīng)的涌入本身就會(huì)變成一種刺激反應(yīng)。這種刺激放大了觀眾的感知，使他們能夠接觸到多模態(tài)的本質(zhì)。

圖6 Martin Messier-IMPULSE

4 結(jié)語(yǔ)

基于多模態(tài)理論，數(shù)字交互藝術(shù)在科技與形式上具有前瞻性和先進(jìn)性，數(shù)字媒體的交互應(yīng)用促使人們對(duì)技術(shù)追求發(fā)生轉(zhuǎn)變，從以前較為機(jī)械、枯燥的低層面的期待轉(zhuǎn)為“一加一大于二”富有生命和節(jié)奏韻律的情感式多維度的多模態(tài)交錯(cuò)融合感受[8]。這種融合感受通過多模態(tài)的交互方式，將不同感官的信息進(jìn)行整合和協(xié)調(diào)，從而創(chuàng)造出更加豐富和精確的體驗(yàn)，也更符合數(shù)字化信息化的發(fā)展趨勢(shì)。這種融合與疊加的設(shè)計(jì)方式可以調(diào)動(dòng)人體多模態(tài)的機(jī)能，帶體驗(yàn)者穿梭不同的時(shí)間和空間，從而創(chuàng)造出更富有趣味性和參與感的數(shù)字藝術(shù)體驗(yàn)，為未來(lái)的數(shù)字媒體的多模態(tài)交互藝術(shù)設(shè)計(jì)提供更長(zhǎng)遠(yuǎn)的設(shè)計(jì)研究方法與參考價(jià)值。