基于“聯(lián)覺- 通感”層次分析的沉浸式展陳交互設計研究

王毅 宣怡瀟 郭勃銳

關鍵詞：聯(lián)覺 通感 沉浸式 交互設計 展陳設計

引言

當前數字技術與展示設計的結合，創(chuàng)造并改善了觀眾與展物之間的信息傳達和交互形式。如何通過交互設計創(chuàng)新，豐富觀眾感官體驗的同時，提高沉浸式展陳與觀眾的情感交互成為產品數字化展陳領域研究的重點。沉浸式展陳交互設計的關鍵在于多感官交互、情感交互。在多感官交互方面，沉浸式展陳交互設計會使用視覺、聽覺、觸覺等多種感官整合或聯(lián)覺，以營造更加真實的展示環(huán)境、展示內容的感知體驗；在情感交互方面，則會通過不同模態(tài)信息的藝術創(chuàng)作手法，如利用“通感”的藝術創(chuàng)意表現(xiàn)來引發(fā)觀眾的情感共鳴，從而提高展品的感染力和吸引力?！奥?lián)覺”從生理層面闡釋了五感之間的聯(lián)系，各個器官的感覺復合，是人對事物的復合感受。此外，不同感官的感覺在附加了人的經驗和意識后，也會出現(xiàn)復合感知，繼而將生理層的感覺刺激形成認知并上升到情感層，甚至達到“通感”的情感境界。英文中“synesthesia或synaesthesia”漢語翻譯為“聯(lián)覺”“通感”，與當前國內有關“聯(lián)覺”與“通感”研究的領域、概念以及界限劃分存在一定的模糊認知[1]。高志明學者提出“通感”的形成是一個動態(tài)的過程，它主要包括“生理聯(lián)覺、心理移覺和語言通感”三個維度[2]。如何在展陳交互設計中，從人的多感官交互出發(fā)，激發(fā)人的“聯(lián)覺”效應，探討基于“聯(lián)覺”并形成“通感”的情感升華過程，進而在藝術文化的語境下引起觀眾對展陳藝術的情感共鳴，是本文研究的出發(fā)點，以更好地基于人的多感官聯(lián)覺效應優(yōu)化交互設計，提升觀展體驗效果，滿足觀眾對產品數字化展陳的情感交互需求。

一、沉浸式展陳交互設計研究現(xiàn)狀

（一）沉浸式展陳交互設計的發(fā)展現(xiàn)狀

傳統(tǒng)產品展陳設計一般通過實物、海報和視頻等形式呈現(xiàn)給觀眾[ 3 ]，但是，伴隨2 0世紀70年代西方興起的互動裝置藝術（Interaction Installation Art）的發(fā)展，傳統(tǒng)的展陳設計逐漸開始強調觀眾與展物或裝置之間的互動，以增加觀眾在展覽中的具身體驗[4]。近幾年，智能計算、傳感器的感知識別、數字化技術的發(fā)展和融合，帶動了沉浸式新媒體藝術的發(fā)展，觀眾與藝術內容、形式或藝術裝置的交互越來越呈現(xiàn)出“多維度”和“多感官”的特征[5]。設計師巧妙運用人機互動裝置，通過多媒體設備將藝術創(chuàng)作與聲、光、電、增強現(xiàn)實（AR）、虛擬現(xiàn)實（VR）、混合現(xiàn)實（MR）等技術相結合，讓觀眾沉浸于某個特定的文化語境中，通過交互成為藝術展中不可或缺的構成要素的同時，與藝術創(chuàng)作產生情感共鳴，例如韓國現(xiàn)代汽車品牌展覽、邁阿密科學博物館、波士頓科學博物館以及其他沉浸式互動藝術體驗展等給觀眾創(chuàng)造了前所未有的沉浸式體驗，不僅增強了藝術表現(xiàn)的感染力，也提高了觀眾觀展的樂趣，表1。

（二）沉浸式展陳交互設計中的感知體驗

沉浸式展陳交互設計通過研究“視覺、聽覺、觸覺、嗅覺、味覺”等多元化的五感體驗，來滿足觀眾的多感知和情感需求，以提高展陳的體驗價值。越來越多的研究開始在產品的展陳設計中關注“五感、聯(lián)覺、通感設計等”。Jinsop Lee提出的交互設計較為注重一種感官體驗的過程，將體驗與設計相互融合。原研哉提出的五感設計則關注“信息的構筑”，并以“感覺刺激→記憶喚醒→組合印象”的方式將設計師的想法傳達給受眾[5]?；诙喔泄俚慕换ピO計，打破單一的視覺感官刺激，從人的多感官入手，多交融、多層次地激發(fā)人多感官通道內的信息融合，而形成一定的聯(lián)覺感知。

當人在參與交互的過程中，五感位于基礎層級，由五感結合認知經驗而成的綜合感知是知覺層級，以文化意識為主導的、精神層級的體驗感可以歸為情感層[4]。所以，基于多感官交互，用藝術手法創(chuàng)造展陳中的文化氛圍，形成情感語境，讓人在沉浸體驗中，由生理感覺上升到認知、再到情感共鳴的這一過程涉及到了人的多感官、聯(lián)覺、通感等。這里的聯(lián)覺，不同于生物領域中的“聯(lián)覺”概念。藝術與設計領域認為由于人生活環(huán)境、文化和思想存在一定的共性，因此在藝術創(chuàng)作或設計時，利用“跨模態(tài)”信息交互實現(xiàn)不同感官之間的聯(lián)覺，能更好地激發(fā)出人與展物的情感交互，達到藝術語言表達的高級修辭“通感”，即“在描述事物時以一種感知代替另一種感知進而達到通感的感知體驗”[6]。

（三）“聯(lián)覺”與“通感”的聯(lián)系與差異

“聯(lián)覺”與“通感”都是在人的五感基礎上形成的概念，二者既有相關性也有差異性。為此，文中運用Citespace進行文獻知識圖譜分析，分別以“聯(lián)覺”和“通感”為主題詞在中國知網核心期刊中檢索，如圖1和圖2所示。

圖1所示“聯(lián)覺”的相關研究大多在音樂領域和藝術設計中的實踐，包括音樂欣賞和審美等?！奥?lián)覺”常指人在認知經驗的影響下，在發(fā)生了一種感官刺激后會產生另一種感官的刺激感受。雖然“聯(lián)覺”在生物領域研究中是一種遺傳性的生理現(xiàn)象，目前在少數人的測試中被發(fā)現(xiàn)。但由于人在感知事物時，也會存在與生理性“聯(lián)覺”特征相似的現(xiàn)象。例如在手機屏幕閱讀中進行翻頁的操作，這一觸覺和視覺的感受讓人仿佛聽到了翻頁的聲音。這種“聯(lián)覺”效應的觸發(fā)是基于一定的認知經驗，發(fā)生了感官通道之間的信息交換和遷移。具有不同生活經驗的人會發(fā)生的感官“聯(lián)覺”體驗的程度或效果有所不同[7]。所以，個體之間的認知差異會使得人在感官刺激中獲取不同的體驗。

有關“通感”的研究中，涉及心理機制、情感以及文學修辭等領域的研究較多（圖2）。“通感”在早期的研究中常常被視為“聯(lián)覺”的另一種叫法，后來在認知語言學領域中不斷有學者提出“通感”與“聯(lián)覺”在觸發(fā)機制和現(xiàn)象呈現(xiàn)中存在內在差異，除了感官之間的互通以及聯(lián)想和認知的整合以外，還存在復雜的感受機制。“通感”在人的感知和聯(lián)想基礎上融入了人的文化背景和生活情境而產生的一種“基于聯(lián)覺”的情感衍生現(xiàn)象。在語言文學領域將“通感”定義為一種修辭現(xiàn)象，通過語言文字的描寫使人達成情感的生發(fā)。由于藝術創(chuàng)作也是為藝術語言的創(chuàng)作，所以，藝術與設計領域中，“通感”也可謂一種藝術創(chuàng)作的“修辭”表達的效果。因此，本文通過“聯(lián)覺”與“通感”之間的內在聯(lián)系和遞進關系構建層次分析，提出“聯(lián)覺-通感”層次構建的沉浸式展陳交互設計方法。

二、沉浸式展陳交互設計“聯(lián)覺-通感”的層次分析

（一）生理基礎——多感官整合的交互感知建設

五感是人的生理基礎，是人與外界信息接觸的感官通道，感官之間相互聯(lián)系、相互影響，共同使人們感受周圍環(huán)境[8]。當不同形式的信息匹配到視、聽、觸、味、嗅的五感通道后會轉換成不同的信號傳輸到大腦中，形成感知。人通過多感官感知獲取信息疊加，使人的感受更加豐富和全面。從交互設計的角度來看，沉浸式展陳交互設計首先需要根據感官通道的信息感知特點設計交互形式，建立這種生理層次的多感官疊加與整合的交互感知，才能實現(xiàn)人在觀展時的交互體驗，例如展陳設計中色彩和造型的視覺設計、聲音的聽覺設計、材質和溫度等觸覺設計、味道的嗅覺和味覺設計等是多感官整合的、交互感知的基礎建設。

（二）知覺衍生——“聯(lián)覺”效應下的交互認知賦意

當位于生理層的“感知疊加與整合”附加了人的認知記憶和經驗，便可上升到知覺層的體驗，繼而激發(fā)“聯(lián)覺”效應。例如視覺上的色彩設計或造型設計與聲音的聽覺設計之間應當存在某種關聯(lián)，這種關聯(lián)與人的認知和閱歷經驗相聯(lián)系。當觀看展陳設計的觀眾在接收感官信息的過程中，在相關記憶的刺激下出現(xiàn)感知和聯(lián)想上的心理變化，便從生理層的交互體驗轉移到了知覺衍生階段。在交互設計中，為確保廣大觀眾群體能夠更好地感知和理解展陳設計中的藝術文化符號，由生理層的感覺上升為知覺層體驗，挖掘文化意涵，對交互的形式表達進行賦意，激發(fā)觀眾在共同文化認知的經驗下觸發(fā)知覺層的“聯(lián)覺”效應，奠定了情感共鳴的生成條件。例如利用水波的視覺形象來反映聲音的傳遞，讓人仿佛聽到了聲音，甚至感受到了聲波振動的觸感。

（三）情感升華——情感共鳴下的“通感”語境創(chuàng)建

“通感”作為一種文學語言的修辭現(xiàn)象，也可以運用到藝術設計領域，作為“藝術語言修辭”，把受眾的情感激發(fā)出來，是一種高級的藝術表達方式[9]。張凌浩學者針對符號轉譯的體驗設計，提出了通感設計的認知模型，并應用到產品設計中，指出通感是符號設計的創(chuàng)作表達方式之一，是一種情感現(xiàn)象的表達[10]。在展陳交互設計中，情感激發(fā)不僅需要在認知經驗的基礎上對交互的“形式符號”賦意，還需要搭建觀眾解讀這些符號意涵的語境，從而實現(xiàn)觀眾與展陳藝術的情感交互。

綜上分析，如圖3所示，文中將交互設計中，由聯(lián)覺到通感的轉移過程劃分為“生理層、心理層、情感層”。該層次模型闡釋了交互設計中，人從多感官感知到情感共鳴的生成過程。

三、沉浸式展陳交互設計實踐

（一）企業(yè)產品展陳設計訴求分析

產品展陳伴隨數字化技術的發(fā)展，也逐漸開始傾向人可參與的沉浸式、互動式展示。多維度的展示設計，可以更好地讓參觀的人感受企業(yè)品牌的文化，加深品牌記憶。文中以西安新藝維工業(yè)設計公司的產品數字化展陳設計為例，來探討基于“聯(lián)覺-通感”層次分析的產品數字展陳交互設計的效果。

“新藝維工業(yè)設計”致力于工業(yè)產品造型設計產業(yè)。該展陳設計力求將多年的成果作品進行歸納和展示。公司的訴求一：將成果以一種新穎且現(xiàn)代的交互方式展現(xiàn)出來；訴求二：能夠加入數字化科技元素，增強觀眾觀展的沉浸式體驗感、互動感和參與感，進而達到深入人心的效果；訴求三：能夠為觀者傳遞公司理念，即“物善致遠，勤奮求真”，為公司作品展陳形式提升人文高度。

（二）多感官整合的視聽觸交互感知建設

依照前文提出的“聯(lián)覺-通感”層次分析理論，文中以生理層和知覺層的多感官聯(lián)覺為基礎，根據企業(yè)對展陳設計的“訴求一、訴求二”進行多感官整合的視聽觸交互感知建設。

為實現(xiàn)“訴求一”所述“新穎且現(xiàn)代的展現(xiàn)方式”，首先確定了多媒體技術和帶有物理傳感技術的交互藝術裝置展示形式；其次為滿足“訴求二”所述的增強沉浸感、互動感和參與感，設立了觸摸交互和體感交互來控制展區(qū)光影動效和數字展示內容的輸出效果，從而實現(xiàn)視覺、聽覺和觸覺的多感官功能疊加，豐富觀眾在生理層次的感知形式來增強沉浸感，如圖4所示的展陳藝術裝置中的軟硬件交互感知的設計架構。其中，視覺感知部分包括數字藝術動效的投影展示、展板展示、實物展示、數字展示和燈光變換效果展示；聽覺感知包括語音講解和背景音樂；觸覺感知包括交互裝置中物理傳感器的觸摸和屏幕觸摸的操作。

（三）“聯(lián)覺”效應下的色光交互認知賦意

硬件交互部分以皮電傳感器為核心，當觀眾將手指放置于兩個觸點上時，傳感器檢測觀眾的情緒波動，從而引起燈光裝置交互，裝置中的燈帶發(fā)出七種顏色的變換。在造型設計上，將“七彩色光”圍繞“透明亞克力模塊”并組合內嵌于裝置下方實體中，并賦意“似錦前程”，從而使觀眾在“太陽光照射在半空中的水滴上形成七彩色光”的認知經驗下，觸發(fā)知覺層的“聯(lián)覺”效應，使觀眾產生聯(lián)想，如圖5所示。不僅如此，位于墻體上的燈帶也會隨著裝置的交互觸發(fā)而與裝置上的七彩色光形成交互變化，讓觀眾有一種人與環(huán)境相呼應、相融合的沉浸式體驗；裝置上數字展示動效也隨之變換，并與投影投射在墻上的產品展示內容相呼應。實現(xiàn)多種形式的觸覺-視覺交互，并將這一色光交互形式賦意為“努力就有成效”。

軟件交互部分是一個產品展示系統(tǒng)平臺，依托裝置的觸控屏幕展示。平臺首頁如圖6所示，觀眾可以通過輕觸屏幕中的任意位置跳轉至如圖7所示的產品數字展示頁面，該頁面中展現(xiàn)企業(yè)所有產品的3D效果，每個產品都持續(xù)浮動在頁面中。觀眾可通過點擊屏幕中任意一個感興趣的產品，實現(xiàn)跳轉至產品詳情頁的功能，并且在跳轉頁觸發(fā)的同時播放語音講解，觸發(fā)聽覺交互，達成將觸覺-視覺和觸覺-聽覺的交互結合的效果，硬件交互與軟件交互相結合的形式，并賦意為“合作共贏”。實現(xiàn)了觀眾生理層感知躍升到聯(lián)覺、知覺層體驗過程。

（四）基于企業(yè)文化理念的“通感”語境建構

將“新藝維”工業(yè)設計的企業(yè)理念分解為“悟善致遠”和“勤奮求真”兩個層面，首先用敘事的手法將企業(yè)發(fā)展歷程與流線型“紅、橙、黃、綠、青、藍和紫”色光流動的墻體燈帶設計構成企業(yè)發(fā)展前程似錦的文化語境，傳遞“和、善、致遠”的內涵。將手指放置于展區(qū)控制屏的觸點上，通過觸感增強模擬觀眾情緒高漲，七色光的變化頻率加快，屏幕展示內容結合聲音設計，增多、增快，構建出“勤奮求真”的文化語境。通過增強觀眾參與的效能，獲取不同的內容輸出和色光交互等，為觀眾形成“努力就有效果”，“小設計，大空間”感知效果，進而傳遞“新藝維工業(yè)設計”的主張——“設計無大小，‘巧設為用。巧用藝術與工程的耦合設計為企業(yè)打造應市而生的產品，為企業(yè)提供多維度整合的、戰(zhàn)略性的創(chuàng)新解決方案，用創(chuàng)新設計藝術拓展企業(yè)產品可持續(xù)發(fā)展的價值空間，引領市場”。

基于“通感”的藝術修辭表現(xiàn)，讓觀眾從參與中仿佛感受到了該企業(yè)正在用設計為合作者締造“新藝術、新維度”而付出的激情，進而滿足了企業(yè)“訴求三”中所述的“傳遞公司理念和提升企業(yè)設計的人文高度”。如圖8所示，文中利用“聯(lián)覺-通感”層次分析方法，對企業(yè)設計作品展陳進行的交互感知構建、交互形式賦意以及滿足觀眾高級情感交互的“通感”語境創(chuàng)建。

結語

傳統(tǒng)產品展陳設計，融入數字化技術，創(chuàng)造了更多維的沉浸式藝術設計形式，也使得觀眾與展物、展陳裝置的交互方式更加多元化，實現(xiàn)了觀眾與展物的“共融”、自由互動和探索，增強了觀眾的參與感和體驗感。為了更好地通過交互形式打動觀眾，基于交互設計的“聯(lián)覺-通感”層次分析和設計思路，有效地實現(xiàn)了觀眾“從生理層的多感官感覺出發(fā)，再到知覺層的聯(lián)想，最后到情感層的情感升華”，提升數字展陳的文化價值，為沉浸式產品展陳的情感化交互設計提供了思路。