多媒體視聽(tīng)交互中的符號(hào)學(xué)淺析

林倩倩 譚坤 劉佳文

摘要：多媒體系統(tǒng)目前在國(guó)內(nèi)已經(jīng)普及，不論是學(xué)校教學(xué)還是公司會(huì)議，都離不開(kāi)多媒體技術(shù)。多媒體語(yǔ)言的運(yùn)用為信息傳遞過(guò)程構(gòu)架了一個(gè)全新的文化系統(tǒng)和意義系統(tǒng)，也是一個(gè)具有特定結(jié)構(gòu)形態(tài)的符號(hào)系統(tǒng)。多媒體技術(shù)在傳播信息過(guò)程中所構(gòu)建的交互系統(tǒng)即為視聽(tīng)意義上的動(dòng)態(tài)情景。本文試圖以符號(hào)學(xué)為視角，將多媒體技術(shù)的信息載體延伸到符號(hào)層面，具體分析了蘊(yùn)含其中的三種六類符號(hào)。旨在探討如何運(yùn)用符號(hào)學(xué)觀念更好地設(shè)計(jì)多媒體文件，并為更好地達(dá)到信息傳遞效果提供依據(jù)。

關(guān)鍵詞：多媒體文件；動(dòng)態(tài)情境；交互設(shè)計(jì)；符號(hào)

中圖分類號(hào)：G642.41 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2016）23-0222-02

一、引言

科學(xué)技術(shù)的發(fā)展，帶來(lái)了社會(huì)的變革，同時(shí)，也迎來(lái)了系列產(chǎn)品的生成。譬如媒體，媒體不可否認(rèn)是技術(shù)的產(chǎn)物，正是有了技術(shù)，才能將聲音、圖像等元素綜合在一起。傳統(tǒng)印刷媒體就是印刷技術(shù)的結(jié)果，多媒體更是如此。多媒體涵蓋的技術(shù)較傳統(tǒng)的行業(yè)而言，范圍更廣，內(nèi)容更綜合。其信息載體的樣數(shù)多、交互性強(qiáng)、集成度綜合的特點(diǎn)決定了與技術(shù)之間的密切關(guān)系。由此也可得知多媒體的信息載體與技術(shù)兩者相輔相成缺一不可的關(guān)系，多媒體如若脫離了技術(shù)，則會(huì)處于孤立的局面，無(wú)法使用。

雖然多媒體在展示和運(yùn)行的時(shí)候需要技術(shù)的支持，但歸根結(jié)底，技術(shù)也只是保持其能正常運(yùn)行的手段和工具，多媒體使用的目的是能夠?qū)⑿畔⒏玫膫鞑?，使聆?tīng)者能更好地接受匯報(bào)者的信息。因此，多媒體文件設(shè)計(jì)的核心還在于視聽(tīng)的交互，而不是以技術(shù)為中心，這是使用多媒體進(jìn)行交互的主要目的。

關(guān)于多媒體文件的設(shè)計(jì)，如何在視聽(tīng)交互方面做到更好，我們聯(lián)想到了符號(hào)學(xué)的相關(guān)知識(shí)。在符號(hào)學(xué)的范疇內(nèi)，多媒體文件的主要內(nèi)容可劃分為文本符號(hào)、圖像符號(hào)和視頻符號(hào)。以上符號(hào)結(jié)合多媒體交互的情境，又可劃分為靜態(tài)情境符號(hào)和動(dòng)態(tài)情境符號(hào)，而我們之前討論過(guò)的文本、圖像和視頻，同樣也存在兩種符號(hào)情境。接下來(lái)，我們將對(duì)此內(nèi)容進(jìn)行詳細(xì)論述。

二、多媒體動(dòng)態(tài)語(yǔ)境的信息符號(hào)

在多媒體視聽(tīng)交互系統(tǒng)內(nèi)，語(yǔ)言是非常重要的信息載體，也是我們要花重點(diǎn)去研究的信息符號(hào)，語(yǔ)言在我們的生活中起到交流和傳達(dá)信息的作用，在視聽(tīng)交互中更是如此。在我們之前討論的兩個(gè)語(yǔ)境中，文本由文字符號(hào)構(gòu)建，人的聲音作為傳播信息的重要載體，也可作為一種聲音符號(hào)，多媒體中的音樂(lè)、音響又可作為聲響符號(hào)，而最重要的展示圖像，可作為圖像符號(hào)。

1.聲音符號(hào)。由于聲音符號(hào)的范疇較大，不同人對(duì)聲音符號(hào)的認(rèn)識(shí)存在不同看法，因此，聲音符號(hào)在本文中特指人的聲音。關(guān)于聲音在多媒體視聽(tīng)交互過(guò)程中的作用，有的認(rèn)為聲音的功能就是傳遞信息，把多媒體系統(tǒng)中的圖像、文字以一種輔助性解釋的功能傳遞，其實(shí)就是文字或圖片符號(hào)，然而，我們認(rèn)為這是對(duì)語(yǔ)言符號(hào)認(rèn)識(shí)的偏差，人是復(fù)雜的、有感情的動(dòng)物，同樣，聲音的發(fā)出也會(huì)帶出不同的情感，而不僅僅是傳遞話語(yǔ)、文字、圖像的意義，而且，聲音的音色、節(jié)奏、聲調(diào)對(duì)多媒體系統(tǒng)的視聽(tīng)交互效果有不可忽視的影響。

音色與參與活動(dòng)者的性別、特征密切相關(guān)，男女性及不同年齡者的聲音形象是有差別的。女性的聲音形象是“文雅輕柔、亮麗清純”。男性“渾厚、粗放、醇和、有磁性，具有一定的氣勢(shì)和力量感”，而老年人則是“穩(wěn)重、厚實(shí)、醇和、老成”。假設(shè)在一個(gè)目標(biāo)人群為兒童的多媒體情境里，為達(dá)到更好的視聽(tīng)效果，制作者就要考慮插入兒童的聲音和較為輕快、活潑向上的兒童語(yǔ)言，或選擇一些年輕男性或女性的聲音，在選擇時(shí)要注意男性的聲音不要過(guò)于有氣勢(shì)和力量感。

因此，在其構(gòu)建多媒體文件時(shí)，音色的選擇不能隨意。同樣的道理，聲音的其他方面對(duì)其表義也有重要的影響。

2.聲響符號(hào)。聲響符號(hào)與聲音符號(hào)不同，聲響符號(hào)主要是指多媒體系統(tǒng)中的音樂(lè)和音響。音響是除去人的聲音和音樂(lè)之外的一切聲音，音樂(lè)大家都比較熟悉，不同音樂(lè)會(huì)給人帶來(lái)情緒上的不同感受。而音響，在多媒體系統(tǒng)中更有其舉足輕重的地位，甚至具備特別的語(yǔ)用功能，尤其是音樂(lè)。音樂(lè)在導(dǎo)入情境時(shí)，會(huì)將聆聽(tīng)者帶入不同的環(huán)境，多達(dá)到的交互效果的好壞與帶入音樂(lè)有很大的關(guān)系。同時(shí)，音樂(lè)和音響可對(duì)視聽(tīng)內(nèi)容進(jìn)行渲染，達(dá)到電影中的煽情效果，另外，我們都還知道音樂(lè)所具備的時(shí)代感，音樂(lè)能塑造交互環(huán)境的場(chǎng)景和氣氛，影響視聽(tīng)交互的效果。

3.圖像符號(hào)。多媒體情境里的圖像符號(hào)主要涉及到色彩、動(dòng)作與場(chǎng)景等。圖像符號(hào)是多媒體信息交互中極為重要的符號(hào)，聆聽(tīng)者在多媒體環(huán)境中，視覺(jué)是與之最直接的交互。通過(guò)視覺(jué)的刺激，可以帶動(dòng)視聽(tīng)者的情緒。同時(shí)，在陳述一些較為抽象且不易被人理解的內(nèi)容時(shí)，圖像總是能起到輔助信息理解的作用。如目前被津津樂(lè)道的大數(shù)據(jù)，數(shù)字作為文本符號(hào)，如若沒(méi)有聲音、聲響、圖像符號(hào)，是很難被人接受的信息，在交互系統(tǒng)中肯定會(huì)影響交互的效果。倘若能借助圖像符號(hào)，便會(huì)產(chǎn)生很大改觀，如大數(shù)據(jù)可視化。技術(shù)高超的設(shè)計(jì)師可以將繁縟龐雜的數(shù)據(jù)信息以各種各樣的圖像展示出來(lái)，有助于觀察者對(duì)信息的理解。同樣，色彩也是圖像符號(hào)中較為重要的因素，以兒童的多媒體情境為例，兒童的視覺(jué)系統(tǒng)發(fā)育還不完善，鮮艷的色彩更容易吸引兒童的注意力，因此，在多媒體文件設(shè)計(jì)的過(guò)程中，要注意選擇適當(dāng)?shù)念伾赃_(dá)到較好的交互效果。

三、多媒體視聽(tīng)交互系統(tǒng)設(shè)計(jì)的兩個(gè)原則

1.文本符號(hào)與視聽(tīng)符號(hào)的合理分配。文本符號(hào)在多媒體系統(tǒng)中是較為常見(jiàn)的符號(hào)，文本符號(hào)作為視聽(tīng)符號(hào)的輔助元素，在多媒體系統(tǒng)中所起到的作用不可忽視。但如若想達(dá)到較好的交互效果，應(yīng)盡量減少文本符號(hào)，能達(dá)到輔助作用即可。但文本符號(hào)和視聽(tīng)符號(hào)在多媒體系統(tǒng)中是相輔相成的，缺一不可，他們同時(shí)作用于交互的整個(gè)過(guò)程，因此，必須將兩者所能起到的作用詳細(xì)劃分，根據(jù)其產(chǎn)生的效果來(lái)合理劃分兩者在整個(gè)系統(tǒng)中所占的比例，才能實(shí)現(xiàn)較好的交互，達(dá)到信息傳遞的目的。還是以兒童的多媒體系統(tǒng)為例，由于兒童識(shí)字?jǐn)?shù)量有限，因此，在設(shè)計(jì)多媒體系統(tǒng)時(shí)，文本符號(hào)所占的比例當(dāng)少之又少，文本符號(hào)可能只是給兒童的家長(zhǎng)看，起到輔助性的作用，因此，在設(shè)計(jì)過(guò)程中，還是要以受眾和內(nèi)容為導(dǎo)向，合理的分配兩者的比例。

2.合理分配視聽(tīng)元素。在上一段我們已經(jīng)討論了文本符合和視聽(tīng)符號(hào)，在這段我們將視聽(tīng)符號(hào)的分配再進(jìn)一步細(xì)分。視聽(tīng)元素反應(yīng)在符號(hào)學(xué)里即為圖像符號(hào)、聲音符號(hào)和聲響符號(hào)，以上都會(huì)通過(guò)受眾者的視覺(jué)和聽(tīng)覺(jué)感知。視覺(jué)工作記憶區(qū)與聽(tīng)覺(jué)工作記憶區(qū)是相對(duì)獨(dú)立的，因此，當(dāng)其中的一個(gè)元素產(chǎn)生效果時(shí)，如果另一個(gè)沒(méi)有任何反應(yīng)，肯定會(huì)對(duì)交互效果產(chǎn)生影響。盡管視覺(jué)和聽(tīng)覺(jué)的工作記憶區(qū)雖然是相對(duì)獨(dú)立的，但視覺(jué)和聽(tīng)覺(jué)在整個(gè)交互過(guò)程中，也是相輔相成、不可分割的。我們也可以通過(guò)例子來(lái)論述視覺(jué)和聽(tīng)覺(jué)的關(guān)系，假設(shè)我們看到的是一個(gè)喜慶的畫面，但我們聽(tīng)到的卻是一個(gè)低沉的音樂(lè)，這在我們的印象區(qū)便會(huì)產(chǎn)生差別，只有看到的和聽(tīng)到的一樣，才會(huì)加大感知度。因此，視覺(jué)和聽(tīng)覺(jué)的分配一定要合理，不能隨意搭配，要能產(chǎn)生渲染和加深印象的效果。

四、結(jié)語(yǔ)

多媒體視聽(tīng)交互具有信息載體與技術(shù)的二重性。多媒體視聽(tīng)交互系統(tǒng)的研究，需要從根本出發(fā)，從符號(hào)學(xué)的角度理清多媒體文件制作過(guò)程中各信息符號(hào)的特點(diǎn)、優(yōu)勢(shì)、接受過(guò)程，并進(jìn)行合理搭配，不斷完善和改良這一符號(hào)體系，以達(dá)到信息傳遞效果的目的。

參考文獻(xiàn)：

[1]常櫻.多媒體畫面語(yǔ)言的符號(hào)學(xué)分析[J].學(xué)術(shù)論壇，2007，01.

[2]張先亮.非語(yǔ)言符號(hào)特征論[J].浙江師范大學(xué)學(xué)報(bào)，2002，（6）.

[3]胡飛.楊瑞，設(shè)計(jì)符號(hào)與產(chǎn)品語(yǔ)意：理論、方法與應(yīng)用[M].中國(guó)建筑工業(yè)出版社，2003.

[4]項(xiàng)國(guó)雄，王佑美.交互媒體與交互模式[J].計(jì)算機(jī)世界，2001.

[5]馬穎峰，楊棟.何探究式教育游戲的學(xué)習(xí)交互設(shè)計(jì)[J].現(xiàn)代教育技術(shù)，2010，（05）.

[6]張憲榮.設(shè)計(jì)符號(hào)學(xué)[M].北京：化學(xué)工業(yè)出版社，2004：80-88.

[7]曾方本.外語(yǔ)多媒體設(shè)計(jì)的符號(hào)學(xué)思考[J].外語(yǔ)教學(xué)，2006，（11）.

[8]楊勤.外語(yǔ)多媒體設(shè)計(jì)的動(dòng)態(tài)語(yǔ)境符號(hào)思考[J].軟件導(dǎo)刊，2008，（1）.