從交互裝置作品《飲畫》談互動(dòng)藝術(shù)中的通感交互

王曼雪

（中國(guó)傳媒大學(xué)動(dòng)畫與數(shù)字藝術(shù)學(xué)院，北京102208）

從交互裝置作品《飲畫》談互動(dòng)藝術(shù)中的通感交互

王曼雪

（中國(guó)傳媒大學(xué)動(dòng)畫與數(shù)字藝術(shù)學(xué)院，北京102208）

本文將聚焦于交互裝置的創(chuàng)作過(guò)程及通過(guò)對(duì)結(jié)果的分析感受繪畫中色彩使用的規(guī)律性及受眾對(duì)此交互裝置的感知及情感體驗(yàn)。對(duì)互動(dòng)藝術(shù)裝置的通感體驗(yàn)與情感體驗(yàn)進(jìn)行新的探索。通過(guò)分析其對(duì)受眾心理及感知層面的影響以探索作品解讀的全新方式，并對(duì)新媒體這種賞析形式所帶來(lái)的情感傳達(dá)過(guò)程中的心理體驗(yàn)誤差加以探索。

通感交互；交互裝置；新媒體藝術(shù)；色彩心理；傳感器；processing；arduino

一、互動(dòng)電子裝置藝術(shù)的特性

（一）基于現(xiàn)代技術(shù)互動(dòng)裝置的新媒體

互動(dòng)裝置給受眾創(chuàng)造了一種全新的與機(jī)器、環(huán)境和時(shí)代互通情感的交流模式。以互動(dòng)性為第一表現(xiàn)特性，依托科技，借助傳感器及多媒體參與，在人與機(jī)器及物理環(huán)境之間搭建交流橋梁?；?dòng)裝置可以高度調(diào)動(dòng)參與者的多種感知覺(jué)神經(jīng)，創(chuàng)造一種全方位的沉浸式體驗(yàn)，從而達(dá)到人機(jī)交互的理想體驗(yàn)。

（二）交互裝置藝術(shù)的跨學(xué)科應(yīng)用特性

裝置可以由任何材料構(gòu)成，擁有廣闊的包容性。在新媒體中通過(guò)嗅、味、溫等材料的應(yīng)用，人們發(fā)覺(jué)更多的可能性與可實(shí)踐性。科技與材料的緊密結(jié)合，交互設(shè)計(jì)本身所涵蓋的社會(huì)學(xué)、心理學(xué)、認(rèn)知科學(xué)等內(nèi)容，以及在設(shè)計(jì)方面所涵蓋的平面設(shè)計(jì)、產(chǎn)品設(shè)計(jì)與商業(yè)美術(shù)等方面，使得交互裝置藝術(shù)有著強(qiáng)烈的跨學(xué)科性。

（三）交互裝置中“通感”的使用意義

無(wú)論之于生活或藝術(shù)創(chuàng)造，“通感”都是不可缺少的感官參與形式。通感包含了不止一種感官的參與，是一種由一種感官反應(yīng)引起其他感官反應(yīng)的多重反應(yīng)的“連鎖機(jī)制”。在審美過(guò)程中，感官成為感知的橋梁，為審美流程打下基礎(chǔ)。在交互裝置這座參與者與交互對(duì)象間的橋梁建造時(shí)，通感的應(yīng)用必不可少。

二、媒體藝術(shù)創(chuàng)作中的通感體驗(yàn)

（一）互動(dòng)媒體藝術(shù)創(chuàng)作中的感覺(jué)體驗(yàn)

感覺(jué)由人的感官誕生。把握感覺(jué)的特性可以為媒體藝術(shù)創(chuàng)作提供啟示。在電影院欣賞一部電影作品時(shí)，給觀眾留下深刻印象的并非只有光影形象。聲效、環(huán)境與氛圍布置、觀眾座椅的舒適程度甚至爆米花與可樂(lè)的味道都會(huì)為觀眾體驗(yàn)這一影片提供多樣的途徑。顯然，在媒體藝術(shù)創(chuàng)作的過(guò)程中，始終著眼于以一種特定的感覺(jué)方式并不能為體驗(yàn)者提供完整的體驗(yàn)。

（二）互動(dòng)媒體藝術(shù)創(chuàng)作中的知覺(jué)體驗(yàn)

知覺(jué)以感覺(jué)為基礎(chǔ)，本身又是后續(xù)思維活動(dòng)的基礎(chǔ)。在知覺(jué)的影響下，人們做出判斷并進(jìn)行后續(xù)的行為。在認(rèn)知過(guò)程中，知覺(jué)受到多方面的心理因素影響。要設(shè)計(jì)一項(xiàng)有效率的交互裝置，應(yīng)當(dāng)將知覺(jué)體驗(yàn)的選擇性、排他性、與個(gè)體差異性納入思考范圍內(nèi)，創(chuàng)造便利的體驗(yàn)條件與環(huán)境。

三、基于創(chuàng)作的實(shí)踐探索

（一）課題研究背景

1.基于微控制器的物理交互設(shè)計(jì)試驗(yàn)

基于之前的心理學(xué)與傳播學(xué)的理論支持和現(xiàn)有的新媒體技術(shù)手段，作者以作品設(shè)計(jì)的方法對(duì)理論研究進(jìn)行實(shí)踐支持。此作品運(yùn)用微控制器Arduino和視覺(jué)軟件processing制作，設(shè)定了全新的畫作觀賞體驗(yàn)場(chǎng)景，為體驗(yàn)者提供了全新的作品解讀方式。

2.對(duì)藝術(shù)作品解讀的全新訴求

以往的藝術(shù)作品賞析形式往往比較單一，缺多感官聯(lián)動(dòng)機(jī)制。而通過(guò)單方面感官體驗(yàn)對(duì)復(fù)雜的藝術(shù)作品進(jìn)行分析，并不能令沒(méi)有基礎(chǔ)的普通觀賞者有直觀而深層的理解。而人們也通常不再滿足與單一的觀賞形式。新媒體的時(shí)代背景為藝術(shù)品的解讀方式提供了全新的技術(shù)可能性與時(shí)代訴求。

3.印象派作品的特征及創(chuàng)作情感探索的可能性

印象派畫家依據(jù)光譜七色來(lái)調(diào)配顏色。由于光是瞬息萬(wàn)變的，印象派畫家在繪畫中注重對(duì)外光的研究和表現(xiàn)。通過(guò)使用計(jì)算機(jī)對(duì)印象派畫家作品中光的表現(xiàn)進(jìn)行色彩解構(gòu)和分析，可對(duì)其色彩的運(yùn)用和個(gè)人感情傾向進(jìn)行一定的規(guī)律性探索，并將分析的結(jié)果以可量化及多感官體驗(yàn)的形式反饋給受眾。

4.色彩心理的個(gè)性與共性的存在

色彩心理是客觀世界的主觀反映。人們對(duì)色彩的認(rèn)知與多方面條件相關(guān)。人們對(duì)于色彩的心理認(rèn)知，在很大程度上同時(shí)受到自身認(rèn)知模式與社會(huì)的價(jià)值取向的影響與控制。另一方面，人類對(duì)于色彩的認(rèn)知依然存有共性。色彩心理中的個(gè)性與共性的并存，為本設(shè)計(jì)提供了基礎(chǔ)條件。用戶對(duì)傳統(tǒng)名畫直觀的視覺(jué)解析，更多地體現(xiàn)了色彩心理中共性的部分；而經(jīng)過(guò)對(duì)裝置調(diào)配后的“色彩飲料”的品嘗得出的感受，則更多地體現(xiàn)了個(gè)性體驗(yàn)。

（二）課題研究目的

通過(guò)解構(gòu)印象派作品中的色彩，對(duì)特定光譜中七種色彩的使用頻率的量化分析，將難于解讀的藝術(shù)品轉(zhuǎn)化成可量化的帶有苦辣酸甜的飲料。使用者將獲得全新的體驗(yàn)方法與解讀渠道。

本文將聚焦于交互裝置的創(chuàng)作過(guò)程，對(duì)互動(dòng)藝術(shù)裝置的通感體驗(yàn)與情感體驗(yàn)進(jìn)行新的探索。通過(guò)分析其對(duì)受眾心理及感知層面的影響以探索作品解讀的全新方式，并對(duì)新媒體這種賞析形式所帶來(lái)的情感傳達(dá)過(guò)程中的心理體驗(yàn)誤差加以探索。

（三）作品創(chuàng)作過(guò)程

作品采用processing，arduino，MakeyMakey制作完成了畫作分析，串口通信，物理端電機(jī)驅(qū)動(dòng)。

1.畫作分析

上行串口使用processing程序?qū)Ξ嬜鞯念伾珨?shù)值（用光及色彩傾向）進(jìn)行可視化分析，讓觀者對(duì)畫作中RGB三色的比重和亮度有更加直觀的了解。

2.鍵盤傳感器的數(shù)據(jù)傳輸

利用MakeyMakey這一電子板驅(qū)動(dòng)的觸摸調(diào)色板在裝置中取代了鍵盤的角色。作為鏈接信息輸出與輸入的物理控制載體。

3.串口通信及物理端的電機(jī)控制

（1）顏色飲料的選擇。通過(guò)65份有效調(diào)查結(jié)果可以發(fā)現(xiàn)，紅色帶給人們的視覺(jué)感受是熱情，沖動(dòng)，而感覺(jué)相似的紅色飲料則是西瓜汽水；黃色給人以燦爛輝煌的感覺(jué)，對(duì)應(yīng)檸檬汁；綠色青春活力，對(duì)應(yīng)綠茶飲料；藍(lán)色平靜包容，而對(duì)應(yīng)運(yùn)動(dòng)功能飲料；紫色神秘莫測(cè)，而最代表其特點(diǎn)的飲料則是葡萄酒。

基于這份調(diào)查數(shù)據(jù)，我們得出了人們?cè)谌粘Ｉ钪谢诮?jīng)驗(yàn)對(duì)色彩感受的印象，和他們對(duì)味覺(jué)感受所形成的經(jīng)驗(yàn)性預(yù)判。

將紅綠藍(lán)黃青紫六色控制的六個(gè)水泵與對(duì)應(yīng)的飲料用軟管鏈接。指定的飲料會(huì)在調(diào)色板上的顏色被觸發(fā)時(shí)按圖畫中對(duì)應(yīng)顏色的色彩值輸出。

（2）通過(guò)arduino按照色彩數(shù)值對(duì)不同飲料的量化輸出。通過(guò)arduino對(duì)數(shù)據(jù)進(jìn)行量化處理并將可被受眾直觀接受的量化信息反饋給受眾。將processing得出的各種色彩數(shù)值（0-255）通過(guò)串口傳輸數(shù)據(jù)給Arduino，由Arduino做為控制器，控制繼電器開(kāi)關(guān)從而控制水泵運(yùn)行的時(shí)間。每個(gè)水泵對(duì)應(yīng)不同的飲料，每個(gè)顏色值數(shù)據(jù)控制不同水泵。而由于畫作的色彩數(shù)值不同，最后混合出的飲料也是完全不同的。

四、結(jié)語(yǔ)

借助傳感器及多媒體的交互形式，互動(dòng)裝置為受眾創(chuàng)造了全新的與機(jī)器互動(dòng)與空間互通情感的氛圍與環(huán)境，在人與機(jī)器及物理環(huán)境之間搭建可交流溝通的場(chǎng)域。隨著電子傳感器及媒體技術(shù)的發(fā)展與普及，可以相信，藝術(shù)家和設(shè)計(jì)者利用新媒體技術(shù)可以為大眾創(chuàng)造更多通感體驗(yàn)。而同樣可以預(yù)見(jiàn)的是，在不遠(yuǎn)的將來(lái)，信息的受眾會(huì)越發(fā)不滿足于形式單一、渠道單一的信息獲取模式。借助多媒體技術(shù)與電子傳感器尋求多感官的、多元化的信息交流模式，將會(huì)成為信息傳播中不可忽視的全新訴求。而當(dāng)技術(shù)成熟與訴求擴(kuò)大達(dá)到一致時(shí)，借助新媒體技術(shù)實(shí)現(xiàn)的通感交互方式將不可避免的成為傳播與交流的主流模式。

［1］張春興.現(xiàn)代心理學(xué)［M］.上海：上海人民出版社，2005.

［2］邵志芳.知心理學(xué)：理論、實(shí)驗(yàn)和應(yīng)用［M］.上海：上海教育出版社，2006.

［3］海姆，李學(xué)慶（譯）.和諧界面：交互設(shè)計(jì)基礎(chǔ)［M］.北京：電子工業(yè)出版社，2008.

［4］李萬(wàn)軍.色彩：光與影的游戲［A］.色彩科學(xué)應(yīng)用與發(fā)展——中國(guó)科協(xié)2005年學(xué)術(shù)年會(huì)論文集［C］.2005.

［5］柳喆俊.感覺(jué)、知覺(jué)與互動(dòng)媒體藝術(shù)創(chuàng)作［A］.自主創(chuàng)新與持續(xù)增長(zhǎng)第十一屆中國(guó)科協(xié)年會(huì)論文集［C］.中國(guó)重慶：中國(guó)科學(xué)家協(xié)會(huì)、重慶人民政府，2009.

［6］周娉.互動(dòng)裝置的體驗(yàn)設(shè)計(jì)研究［D］.武漢：武漢理工大學(xué)，2009.

［7］孫煜瓏.？感悟“真實(shí)的虛幻”［D］.北京：中央美術(shù)學(xué)院，2009.

［8］王丹.感知與回應(yīng)［D］.北京：中央美術(shù)學(xué)院，2013.

J205

A

1005-5312（2016）08-0017-02