觸屏媒介符號(hào)傳播與體驗(yàn)研究

李 穎

安徽工程大學(xué)藝術(shù)學(xué)院，蕪湖，241000

隨著社會(huì)的發(fā)展，新技術(shù)的應(yīng)用，傳統(tǒng)的符號(hào)學(xué)或者是傳播符號(hào)學(xué)已難以完整地詮釋新型的傳播形態(tài)，特別是GPS定位、環(huán)境感應(yīng)、三維成像、虛擬現(xiàn)實(shí)、視頻傳輸?shù)刃录夹g(shù)在手機(jī)領(lǐng)域的應(yīng)用,一方面創(chuàng)造了全新的視覺符號(hào)，如虛擬現(xiàn)實(shí)、即時(shí)影像；另一方面，其符號(hào)傳播的過程更為復(fù)雜，手勢(shì)觸動(dòng)界面，鏈接打開信息，將語言符號(hào)與非語言符號(hào)的傳播融混一體，互動(dòng)媒體領(lǐng)域的符號(hào)傳播，完全打破了傳統(tǒng)符號(hào)傳播的常規(guī)形態(tài)，呈現(xiàn)全新的內(nèi)容和特點(diǎn)。

自媒體時(shí)代的視覺傳播以視覺符號(hào)為表達(dá)手段，符號(hào)為用戶提供了廣闊的意義交流和表達(dá)空間。符號(hào)是“攜帶意義的感知”[1]，用戶與屏幕交流的一切信息內(nèi)容通過符號(hào)來傳達(dá)。因此,觸屏媒介的信息交流是一個(gè)符號(hào)體系的傳播過程，驗(yàn)證了符號(hào)傳播學(xué)在新媒介信息時(shí)代的衍變過程。

1 觸屏媒介的符號(hào)傳播

符號(hào)，包括語言符號(hào)和非語言符號(hào)，傳統(tǒng)符號(hào)學(xué)的研究是建立于語言結(jié)構(gòu)基礎(chǔ)之上的。法國(guó)語言結(jié)構(gòu)主義代表人物羅蘭·巴特對(duì)符號(hào)學(xué)的研究就是基于索緒爾的語言結(jié)構(gòu)學(xué)基礎(chǔ)之上的[2]，同時(shí)他也是將符號(hào)學(xué)理論應(yīng)用于視覺傳播領(lǐng)域的先驅(qū)人物[3]。語言符號(hào)主要包括語音和文字，具有明顯的結(jié)構(gòu)。語言符號(hào)是以語音形式為能指、以語義為所指的聽覺符號(hào)系統(tǒng)[4]。

所謂非語言符號(hào)是語言符號(hào)以外可通過感官感受到的如表情、手勢(shì)、動(dòng)作等。非語言符號(hào)更為復(fù)雜，具有即時(shí)、變化、連貫等特點(diǎn)。在人類社會(huì)早期，肢體語言是信息交流的重要工具，表情、手勢(shì)和動(dòng)作是表達(dá)情感的有力符號(hào)。同樣在自媒體時(shí)代的界面?zhèn)鞑?，表情、手?shì)和動(dòng)作仍然是觸發(fā)信息感應(yīng)與傳播的有力符號(hào)。智能影像采集系統(tǒng)可以錄入人的表情、手勢(shì)與動(dòng)作觸發(fā)信息界面的不同反應(yīng)，觸屏界面以人的手指動(dòng)作為觸發(fā)信息感應(yīng)的先決條件。

1.1 觸屏媒介的視聽語言符號(hào)

將語言符號(hào)擴(kuò)展至畫面語言與聲音語言，觸屏媒介的圖像、聲音、文字、影像等視聽元素共同構(gòu)成了觸屏界面的視聽語言符號(hào)體系，能其傳達(dá)界面的內(nèi)容、功能與用戶感知。以APP界面為例，觸屏媒介的視覺符號(hào)的外在形態(tài)主要表現(xiàn)為“圖”和“像”[5]，其中“圖”主要指圖標(biāo)、圖形、圖示等，“像”包括動(dòng)畫和影像，尤其“像”的視覺語素包括空間、色彩、聲音、運(yùn)動(dòng)等[6]。不難理解文字和圖像作為語言符號(hào)而感官形態(tài)更為豐富的影像、動(dòng)畫、虛擬現(xiàn)實(shí)，融視覺和聽覺元素于一體，是新型的視聽語言符號(hào)。

APP界面的視覺表達(dá)以視覺符號(hào)為外在表征形式，以視覺意象為內(nèi)核內(nèi)容。所謂視覺意象是指事物的視覺化呈現(xiàn)，如照片是實(shí)際場(chǎng)景在界面上的視覺化呈現(xiàn)，代表這一場(chǎng)景的視覺意象。界面是視覺符號(hào)的聚集層，它所包含的文字、圖像、影音、動(dòng)畫是界面內(nèi)容的視覺化呈現(xiàn)，APP系統(tǒng)通過界面與用戶發(fā)生信息交流與交互，用戶在接收到視覺符號(hào)的同時(shí)，結(jié)合自身的經(jīng)驗(yàn)、邏輯和想象進(jìn)行認(rèn)知與感受，從而形成一定的視覺印象和視覺思維，這也是用戶視覺體驗(yàn)的完整過程。可見，用戶界面的符號(hào)表達(dá)是APP系統(tǒng)用戶交流的“門窗”。用戶對(duì)于界面視覺符號(hào)的接收與處理過程如圖1所示。

圖1 APP界面視覺符號(hào)處理過程

1.2 觸屏媒介的非語言符號(hào)：手勢(shì)

“手勢(shì)”成為觸屏?xí)r代重要的身體語言符號(hào)。與大眾媒體的單向傳播不同，互動(dòng)媒體的符號(hào)傳播與解讀是雙向的，一方面，用戶通過界面視覺符號(hào)的解讀獲取信息；另一方面，用戶發(fā)出的指令，作為一種動(dòng)作信號(hào)，觸發(fā)新的界面視覺符號(hào)的呈現(xiàn)。“手勢(shì)”是一種新型的視覺符號(hào)，“觸屏”是一種全新的操作方式，包括點(diǎn)觸、擰轉(zhuǎn)、捏合、滑動(dòng)等一系列操作，每一項(xiàng)操作指令基本上都可以分解為觸屏開始(touchstart)、觸屏移動(dòng)(touchmove)和觸屏結(jié)束(touchend)的組合。區(qū)別于一般的視覺符號(hào)，觸屏操作符號(hào)具有更強(qiáng)的隨機(jī)性、變化性和即時(shí)性，通過刺激界面的連鎖信息反應(yīng)而傳遞著屏幕界面的大量信息。

手勢(shì)符號(hào)通過屏幕感應(yīng)觸發(fā)界面視覺符號(hào)，通過點(diǎn)觸和滑動(dòng)手勢(shì)打開和切換界面，獲取不同界面的視覺符號(hào)，同時(shí)，視覺符號(hào)引導(dǎo)用戶操作，互相推進(jìn)。以手勢(shì)為主的非語言符號(hào)觸發(fā)圖、文、影像、動(dòng)畫、虛擬現(xiàn)實(shí)等界面視聽語言符號(hào)的變化，視聽語言符號(hào)又引導(dǎo)著非語言符號(hào)的發(fā)生，如導(dǎo)航圖標(biāo)、鏈接、元素等對(duì)用戶操作的引導(dǎo)，呈現(xiàn)出無限循環(huán)的交互感應(yīng)過程，如圖2所示。在此過程中，用戶的體驗(yàn)是融視覺、聽覺、觸覺于一體的界面符號(hào)體系的感應(yīng)過程。

圖2 觸屏交互過程

2 觸屏媒介的符號(hào)化體驗(yàn)過程

觸屏媒介的符號(hào)傳播增加了互動(dòng)的過程，與大眾媒介的單向交流相比，這一符號(hào)傳播具有很強(qiáng)的過程性，與其說是一種交流，不如說是一種體驗(yàn)，體驗(yàn)過程涵蓋了用戶在與媒介互動(dòng)過程中全部的感官感受和心理感受，是用戶內(nèi)在狀態(tài)與系統(tǒng)情境相互作用的產(chǎn)物[7]。結(jié)合諾曼的認(rèn)知理論[8]，從本能層的感官體驗(yàn)，到行為層的操作體驗(yàn)，再到反思層的心理體驗(yàn)，互動(dòng)媒介的視覺符號(hào)體驗(yàn)反映人對(duì)事物的基本認(rèn)知過程。用戶沉浸于多種視覺符號(hào)組合的媒介世界里，體驗(yàn)著符號(hào)所帶來的意義和感受：通過設(shè)計(jì)符號(hào)體驗(yàn)交互界面的外觀與風(fēng)格，通過元素符號(hào)體驗(yàn)交互界面的內(nèi)容呈現(xiàn)，通過美學(xué)符號(hào)體驗(yàn)交互界面的視覺美感。

觸屏媒介提供密集、多元、復(fù)雜的符號(hào)化世界，小小的視框里展示著變幻莫測(cè)的信息世界，而這一世界是通過人的感官去體驗(yàn)的。屏幕世界集合了圖、文、影像、聲音等多種語言符號(hào)，人們對(duì)于這一時(shí)空的體驗(yàn)很難單單用“符號(hào)的解讀”去表達(dá)，而更多的時(shí)候是一種“符號(hào)的沉浸”。人沉浸到符號(hào)世界中，感官與符號(hào)建構(gòu)的環(huán)境相互作用。因此，互動(dòng)媒介符號(hào)體驗(yàn)的心理意義要遠(yuǎn)遠(yuǎn)高于它的邏輯意義，更加強(qiáng)調(diào)符號(hào)與人的關(guān)系。

3 觸屏媒介的符號(hào)化體驗(yàn)的時(shí)空延展

3.1 符號(hào)體驗(yàn)空間的無限性和虛擬性

互動(dòng)媒介的視覺符號(hào)是以數(shù)字化符號(hào)為基礎(chǔ)的。尼葛洛龐帝在其著作《數(shù)字化生存》中提出人與數(shù)字的共生關(guān)系[9]。數(shù)字技術(shù)建構(gòu)的視像可以是仿真的，也可以是虛擬的。數(shù)字化的虛擬符號(hào)世界是有形與無形的同構(gòu)，全方位地調(diào)動(dòng)人們的視覺、聽覺、觸覺與運(yùn)動(dòng)感知，通過點(diǎn)擊、手勢(shì)互動(dòng)、穿戴設(shè)備零距離體驗(yàn)數(shù)字化的符號(hào)世界，得到突破自身局限的超現(xiàn)實(shí)體驗(yàn)。體驗(yàn)空間從界面延伸到設(shè)備，從軟件延伸到硬件，從“視窗”延伸至無限的信息交互空間，因此符號(hào)體驗(yàn)空間是無限的。

屏幕世界是多種視覺符號(hào)交織、綜合的系統(tǒng)，屏幕一方面為人們提供了虛擬體驗(yàn)的環(huán)境；另一方面提供了體驗(yàn)的工具，在虛擬環(huán)境中開啟了想象，對(duì)符號(hào)信息的理解，在“翻譯”的基礎(chǔ)上又增加了想象的空間，意義被解讀、延伸和再創(chuàng)造。

3.2 符號(hào)體驗(yàn)的時(shí)空特性

觸屏媒介符號(hào)體驗(yàn)的時(shí)空特性主要表現(xiàn)為時(shí)間、空間的符號(hào)化以及符號(hào)化的時(shí)空體驗(yàn)。

首先，互動(dòng)媒體的動(dòng)畫、影像、交互空間等視覺元素都是基于時(shí)間的空間變化的體現(xiàn)，呈現(xiàn)出一定的時(shí)間性，且時(shí)間的變化與用戶的操作選擇相關(guān)，空間的感受是基于用戶視覺和知覺的虛擬體驗(yàn)，可以是二維的、三維的或多維度的，也可以是虛擬的，或真實(shí)場(chǎng)景的再現(xiàn)。

其次，用戶連續(xù)發(fā)出的手勢(shì)符號(hào)與界面視覺符號(hào)相互刺激、交互變化，構(gòu)成一個(gè)連續(xù)的符號(hào)體驗(yàn)空間。超越視聽的虛擬體驗(yàn)更符合用戶對(duì)于交互界面的更高要求。

再次，時(shí)間與空間的符號(hào)化。互動(dòng)媒體中的時(shí)間與空間要素同樣以符號(hào)的形式呈現(xiàn)，并表現(xiàn)出具象的屬性(如時(shí)間的幀、時(shí)間線、長(zhǎng)度屬性，空間的維度、大小等屬性)，用戶通過符號(hào)感受著時(shí)間與空間的存在和豐富的時(shí)空體驗(yàn)。

4 體驗(yàn)主體的符號(hào)化

德國(guó)學(xué)者卡西爾將人定義為符號(hào)的動(dòng)物[10]。在數(shù)字化的虛擬世界里，符號(hào)重構(gòu)了人的意義，在這一層面上再去理解“人是符號(hào)的動(dòng)物”這句話，就有了超現(xiàn)實(shí)意義。

進(jìn)入屏幕世界的人具有雙重身份：符號(hào)的使用者和作為符號(hào)的人。網(wǎng)絡(luò)世界中的人是一個(gè)符號(hào)，比如人們?cè)诰W(wǎng)站上的賬號(hào)、頭像、昵稱，是一個(gè)虛擬的“人”的標(biāo)記；作為符號(hào)的人，能夠直接與其他符號(hào)互動(dòng)，產(chǎn)生意義；同樣觸動(dòng)著符號(hào)世界的變化和反應(yīng)，形成人與符號(hào)共生的連接關(guān)系。但是“人”的符號(hào)與其他符號(hào)有著顯著的不同，畢竟是真實(shí)的人在網(wǎng)絡(luò)上的化身，附加了強(qiáng)烈的主體意識(shí)和能動(dòng)性。

4.1 符號(hào)重構(gòu)并傳達(dá)了人的審美價(jià)值

借鑒臺(tái)灣學(xué)者葉嘉瑩提出“興發(fā)感動(dòng)”[11]的體驗(yàn)層次理論，用戶對(duì)于觸屏界面的審美體驗(yàn)過程由“官能的觸引”到“情感的觸動(dòng)”再到“感發(fā)之意趣”，運(yùn)用于觸屏媒介的符號(hào)體驗(yàn)過程，正是由界面視聽語言符號(hào)引發(fā)的一種由官能的感知到心理情感的變化，進(jìn)而觸發(fā)心靈上的感發(fā)力量，如沉浸、依賴、聯(lián)想和想象等。

觸屏媒介界面在與用戶互動(dòng)的過程中，通過雙向選擇構(gòu)建了富有人性化特點(diǎn)的信息界面，人們對(duì)顏色、版式、布局的偏好也同時(shí)體現(xiàn)在對(duì)界面的選擇上。一方面，符合用戶個(gè)性化審美特征的界面和元素更容易吸引用戶的注意；另一方面，用戶會(huì)主動(dòng)選擇更為符合自身審美偏好的界面和元素。而觸屏界面的符號(hào)化體系的構(gòu)建在雙向選擇和動(dòng)態(tài)構(gòu)建的過程中展現(xiàn)了作為體驗(yàn)主體的人的審美傾向。與以空間和距離作為基本要素的傳統(tǒng)審美不同，數(shù)字化的審美過程處處體現(xiàn)著速率之美、變化之美和響應(yīng)之美。用戶的每一次點(diǎn)擊、觸碰、擰轉(zhuǎn)等手勢(shì)操作都觸發(fā)著界面符號(hào)系統(tǒng)的連鎖反應(yīng)，而呈現(xiàn)在用戶面前的信息界面正是用戶操作選擇的結(jié)果，傳達(dá)著用戶的審美價(jià)值。

4.2 符號(hào)重構(gòu)并傳達(dá)了人的思維活動(dòng)

觸屏媒介的符號(hào)體驗(yàn)是由感官體驗(yàn)引發(fā)交互行為，觸發(fā)思維活動(dòng)的過程。人們對(duì)于界面的認(rèn)知反應(yīng)，對(duì)于交互行為的選擇以及對(duì)于信息界面的處理行為，處處體現(xiàn)并傳達(dá)著人的思維活動(dòng)。這一思維活動(dòng)過程一部分發(fā)自于人的主體意識(shí)：一方面受到界面符號(hào)的影響。人們?cè)诓煌慕缑娣?hào)的刺激下會(huì)產(chǎn)生不同的思想活動(dòng)，這是人的主體意識(shí)與界面符號(hào)互相作用的結(jié)果。由于體驗(yàn)過程是動(dòng)態(tài)變化的，界面信息的變化刺激用戶感官，引導(dǎo)著用戶行為，催生著大腦皮層的連鎖反應(yīng)，構(gòu)建快速變化、高度敏感的用戶思維活動(dòng)。另一方面，界面符號(hào)體系的衍變是用戶操作選擇的結(jié)果，是用戶思維活動(dòng)的有效傳達(dá)。

4.3 符號(hào)重構(gòu)并傳達(dá)了人的意義情感

觸屏界面用戶交互過程中，通過符號(hào)傳達(dá)了用戶的內(nèi)心活動(dòng)，融入了用戶的感官與心理活動(dòng)，符號(hào)世界中的人是虛擬的人，同時(shí)是富有主體情感的人。人們?cè)谟|屏界面交互過程中信息獲取的滿意度、視覺體驗(yàn)的舒適度、交互體驗(yàn)的流暢性帶給人們不同的心理情感反應(yīng)。符號(hào)世界中的人是高度敏感的，在與界面互動(dòng)的過程中，觸發(fā)了用戶的多種情緒，如界面交互時(shí)流暢體驗(yàn)的愉悅感、界面打開時(shí)信息呈現(xiàn)的好奇感、網(wǎng)速較慢時(shí)焦急等待的焦慮感以及信息交互時(shí)未能獲取需求信息的沮喪感等。各種不同的情緒可能在短短的幾秒內(nèi)錯(cuò)綜變化。

觸屏界面的符號(hào)世界帶給體驗(yàn)主體共生感與沉浸感。全身心投入屏幕界面的人是忘我的，符號(hào)引導(dǎo)著人的行為和心理活動(dòng)，而即將離開屏幕符號(hào)世界時(shí)，又會(huì)產(chǎn)生不適與依賴，這也是觸屏?xí)r代的人們媒介依存癥越來越嚴(yán)重的原因。觸屏?xí)r代的符號(hào)世界所構(gòu)建的人的意義情感是超越以往任何一個(gè)時(shí)代人們的自我認(rèn)知與想象的。

5 結(jié) 語

觸屏媒介的信息交流過程是一個(gè)符號(hào)傳播的過程。隨著社會(huì)的發(fā)展，傳統(tǒng)符號(hào)學(xué)理論已難以適應(yīng)各種新型的傳播形態(tài)，特別是以屏幕為介質(zhì)的互動(dòng)傳播領(lǐng)域。有別于傳統(tǒng)的單向交流與被動(dòng)接收，觸屏媒介的信息交流呈現(xiàn)出交互呈現(xiàn)、互動(dòng)演進(jìn)、無限延伸的傳播形態(tài)，以聲音、畫面、文字為主的視聽語言符號(hào)刺激著人的感官，引導(dǎo)著用戶行為，觸發(fā)不同的用戶心理反應(yīng)；以手勢(shì)為主的非語言符號(hào)觸發(fā)包括圖、文、影像、動(dòng)畫、虛擬現(xiàn)實(shí)等在內(nèi)的界面視聽語言符號(hào)體系的不斷變化，進(jìn)而引發(fā)用戶行為、思維和心理的連鎖反應(yīng)，交錯(cuò)呈現(xiàn)出無限循環(huán)的交互感應(yīng)狀態(tài)。

同時(shí)，觸屏媒介的信息交流過程是一個(gè)符號(hào)化體驗(yàn)的過程。在此過程中，人作為一種特殊的符號(hào)，體驗(yàn)著觸屏帶來的豐富多彩、變化多端的符號(hào)世界。人的肢體語言特別是手勢(shì)動(dòng)作被符號(hào)化，作為一種操作符號(hào)觸發(fā)著界面的連鎖反應(yīng)。符號(hào)化的體驗(yàn)空間呈現(xiàn)出虛擬和無限延伸的時(shí)空特征，重構(gòu)和拓展了人的體驗(yàn)空間。與其他符號(hào)不同，作為體驗(yàn)主體的“人”的符號(hào)，附加著強(qiáng)烈的主體意識(shí)與能動(dòng)性。在與界面符號(hào)共同構(gòu)建的連接關(guān)系中增強(qiáng)了人的體驗(yàn)，重構(gòu)了人的審美價(jià)值、思維活動(dòng)和意義情感，并且這些全新的主體特征在界面符號(hào)體系中得到了有效傳達(dá)。觸屏媒介構(gòu)建的全新人類符號(hào)體驗(yàn)空間，有著很大的創(chuàng)作空間和研究?jī)r(jià)值，需要進(jìn)行更多富有價(jià)值和趣味性的探索。

參考文獻(xiàn)：

[1]趙毅衡.重新定義符號(hào)與符號(hào)學(xué)[J].國(guó)際新聞界,2013(6)：6-14

[2]羅蘭.符號(hào)學(xué)原理[M].李幼蒸,譯.北京：中國(guó)人民大學(xué)出版社,2008：1-10

[3]李思屈,劉研.論傳播符號(hào)學(xué)的學(xué)理邏輯與精神邏輯[J].新聞與傳播研究,2013(8)：29-37

[4]聶志平.語言符號(hào)論[J]．東南大學(xué)學(xué)報(bào)：哲學(xué)社會(huì)科學(xué)版，2017，14(4)：66-72

[5]國(guó)玉霞，顏士剛.論視覺傳播視野下的知識(shí)可視化過程[J].電化教育研究,2016(3)：21-25

[6]赫伯特.圖像·聲音·運(yùn)動(dòng)：實(shí)用媒體美學(xué)[M].3版.趙淼淼，譯.北京：中國(guó)傳媒大學(xué)出版社，2003：231-232

[7]Hassenzahl M，Tractinsky N．User Experience-a Research Agenda[J].Behavior and Information Techn-ology，2006，25(2)：91-97

[8]諾曼．設(shè)計(jì)心理學(xué)3：情感化設(shè)計(jì)[M].何笑梅,歐秋杏,譯.北京：中信出版社，2015：8

[9]尼古拉.數(shù)字化生存[M].胡泳,譯.北京:電子工業(yè)出版社,2017:82-88

[10]卡西爾.人論[M]．李琛，譯.上海：上海譯文出版社，2004：37

[11]朱維.葉嘉瑩“興發(fā)感動(dòng)”理論對(duì)王國(guó)維“境界”的體系化及反思[J].重慶師范大學(xué)學(xué)報(bào)：哲學(xué)社會(huì)科學(xué)版，2012(6)：37-43