基于多模態(tài)話語分析的計算機媒介交流研究
——以表情包圖像為例

吳佳怡

（紹興文理學院 外國語學院，浙江 紹興 312000）

0 引言

科技發(fā)展日新月異，隨著依托網(wǎng)絡(luò)的新的交流形式和工具不斷涌現(xiàn)，計算機媒介交流(Computer-Mediated Communication，CMC）及計算機媒介交流話語分析(Computer-Mediated Discourse Analysis，CMDA）從20世紀80年代出現(xiàn)發(fā)展至今，從形式到內(nèi)容上都發(fā)生了變化，形成了多種模態(tài)同時進行意義表達的多模態(tài)CMC，其話語分析也面臨著新的挑戰(zhàn)和趨勢。國內(nèi)關(guān)于CMC語篇的多模態(tài)研究大多限于傳統(tǒng)分析方法和范圍，新的多模態(tài)分析視角和方法還有待發(fā)現(xiàn)。

1 CMC的定義

CMC指人們之間以計算機為媒介、基于因特網(wǎng)的交換文本、圖像和視頻等信息的交流，通過由全球的計算機互聯(lián)所實現(xiàn)的因特網(wǎng)所進行的交流都屬CMC范疇。 “模態(tài)” (Mode）指 “可對比和對立的符號系統(tǒng)” ，包括書面語言、話語、動作、姿態(tài)、圖像、聲音等符號系統(tǒng)［1］。CMC原本是一種鍵入文本的單模態(tài)話語。隨著科技的進步，新媒體得到廣泛運用，以圖片、音頻、視頻為途徑的交流漸漸地出現(xiàn)和形成了多模態(tài)CMC。CMC從前網(wǎng)絡(luò)時代(1983—1993）發(fā)展至Web2.0時代(2004—2017），網(wǎng)絡(luò)交流已經(jīng)變得十分普遍，并且不同的模態(tài)融合于同一語篇中。在Herring［2］提出的CMC概念重構(gòu)中，圖像、語音、視頻及人機話語是除文字之外的重要模態(tài)，這些新興的模式涉及口頭語言以及其他的符號語言，人與人之間溝通的調(diào)節(jié)以及社交互動，因此通過這些模態(tài)產(chǎn)生的語篇也組成了計算機媒介交流語篇。這些新興的模態(tài)同樣強調(diào)了需要新的方法來分析多模態(tài)語篇。交互式的CMC以及多模態(tài)和媒介的融合給話語分析領(lǐng)域的研究帶來了諸多挑戰(zhàn)。

2 多模態(tài)話語分析概述

在傳統(tǒng)的話語分析中，語言可以作為社會符號進行意義表達，同樣的，其他的非語言符號也可作為社會符號進行意義表達。多模態(tài)話語分析拓展了語言符號，考察包括圖片、聲音和視頻等在內(nèi)的非語言符號與文本符號的獨立表達與相互作用，從而系統(tǒng)準確地分析話語意義構(gòu)建過程。話語的分析不再是對語言文字的分析，任何非語言符號都可以納入分析對象中。基于社會符號學和系統(tǒng)功能語言學，多模態(tài)話語分析由此發(fā)展。在英國著名語言學家韓禮德(Halliday）創(chuàng)立系統(tǒng)功能語言學之后，以Kress＆Leeuwen為主的一些學者，以系統(tǒng)功能語言學為基礎(chǔ)，結(jié)合社會符號和意義潛勢觀點，創(chuàng)建視覺語法，為多模態(tài)話語分析提供了依據(jù)及分析方法?；谏鐣枌W和系統(tǒng)功能語言學，多模態(tài)話語分析由此發(fā)展。在多模態(tài)話語分析理論下，語篇中各個模態(tài)得以用完整的話語意義進行分析。

3 圖像交流的多模態(tài)話語分析實際案例分析

近年來，社交媒體網(wǎng)站上的圖像已經(jīng)從人們出于娛樂目的而分享可愛有趣的圖片視頻演變?yōu)橛脕韨鬟_話題內(nèi)容的符號，成為當下新興的社群信息交流模式。包含圖像的CMC引起了越來越多學者的關(guān)注，包括表情符號、動圖、自拍，尤其是表情包圖像。表情包圖像在娛樂輕松、包容性強且傳播速度快、受眾廣的網(wǎng)絡(luò)中應(yīng)運而生，這些圖像取代了文本或者和文本結(jié)合在一起，形成包括表情符號、貼紙、動圖、文字、圖片的表情包。本節(jié)擬選取一個網(wǎng)絡(luò)流行表情包圖像，從整體形象、圖像顏色、語言文字、版面設(shè)計對其進行多方面的多模態(tài)解析，探究各種模態(tài)如何共同作用展示其語篇意義。在選取的表情包案例中，人物形象為暴走漫畫中的蘑菇頭，配有文字 “oh my god學它” 和釘釘圖標以及釘釘軟件界面的圖像。

3.1 整體形象

從整體形象上來看，整個表情包的語義表達愉快且具有娛樂性。圖中的人物形象來自暴走漫畫中的蘑菇頭，傳達出一種漫畫的娛樂化精神，其構(gòu)成較為簡單，易于廣泛傳播。人物位于圖像左側(cè)，戴著眼鏡、涂著鮮艷的口紅，其倚靠于一邊的姿態(tài)表現(xiàn)出人物比較輕松的狀態(tài)，加之其張嘴的動作，很容易讓人聯(lián)想到老師滔滔不絕授課的形象。圖像右側(cè)是電腦屏幕和智能辦公平臺軟件 “釘釘” 的圖標。從電腦顯示屏幕中可以依稀辨認出密密麻麻的黑色紅色字體，可聯(lián)想到屏幕呈現(xiàn)的是題目、知識點講解等與學習相關(guān)的內(nèi)容。

此表情包圖像左側(cè)的教師形象及其五官表情、肢體動作，右側(cè)的 “釘釘” 圖標、電腦顯示屏這些多模態(tài)元素相結(jié)合，十分形象地與疫情時學生宅家進行網(wǎng)課學習的情景相聯(lián)系，體現(xiàn)出網(wǎng)絡(luò)表情符號的娛樂性和直觀反映流行事物的特征。

3.2 圖像顏色

在多模態(tài)話語分析中，情態(tài)可以劃分成高、中、低3個等級［3］。此表情包圖像中色彩飽和度和色彩協(xié)調(diào)呈現(xiàn)出簡潔、對比性強的特點，人物嘴唇的紅色和 “釘釘” 圖標的藍色稍帶視覺沖擊，充滿趣味性和娛樂性，容易吸引人的注意力。黑和白作為基礎(chǔ)且對比強烈，配上較為夸張的人物形象，體現(xiàn)出網(wǎng)絡(luò)文化的簡潔卻不乏趣味。

3.3 語言文字

多模態(tài)話語分析認為，文字和圖像之間互動，互為補充［3］。它們存在互補關(guān)系并形成一種符合語言。在多模態(tài)表情符號中，盡管少量文字所占的畫面少，但是與圖像模態(tài)的互動使表情符號傳達了完整意義。

此表情包中的 “oh my god學它” 一句話由網(wǎng)絡(luò)流行語 “oh my god買它” 改編而來，而此網(wǎng)絡(luò)流行語出自美妝帶貨主播李佳琦。同時，他有 “口紅一哥” 的稱號，因此與表情包中人物的鮮紅嘴唇有直接的聯(lián)系，使得文字與圖像的聯(lián)系更加緊密。此外，李佳琦以互聯(lián)網(wǎng)上的直播電商平臺向大眾推薦產(chǎn)品并進行銷售， “oh my god買它” 是他的標志性語言，因此具有很強的表達力、號召力和推薦語氣。但是，結(jié)合 “釘釘” 軟件和網(wǎng)課學習的具體語境和人們普遍傳達出的情感，可知表情包中的 “oh my god學它” 一句帶有諷刺含義，因此此表情包中的字面意義與話語意義是相反的。若不具備流行網(wǎng)絡(luò)的語境與相關(guān)信息儲備，會導致理解上的偏差。最后，表情包中的文字符號的位置相對隨意，因為圖像的上半部分被基本占滿，文字符號被簡單置于圖像下方。與傳統(tǒng)海報等圖像不同的是，表情包中的文字不會限定于某些特定的位置上，充分體現(xiàn)了網(wǎng)絡(luò)文化中隨意性較大的特點。

3.4 版面設(shè)計

表情包的版面設(shè)計是各種符號資源的運用和符號事件的構(gòu)想。CMC具有娛樂性、開放性和虛擬性，也擺脫了傳統(tǒng)紙媒的制約，因此在社會符號資源的呈現(xiàn)方面不再受限，其設(shè)計也更加自由靈活。表情包構(gòu)圖中的文字具有位置隨意性，可出現(xiàn)在圖片中的任何地方，與圖片符號相比，文字不再居于附屬地位，從而營造了一種輕松愉悅的氣氛。

3.5 整體意義構(gòu)建

在多模態(tài)話語分析中，多種符號資源統(tǒng)一協(xié)調(diào)，共同構(gòu)建話語意義，而不以單一的模態(tài)出現(xiàn)。其雜亂無章和松散隨意性也正是網(wǎng)絡(luò)文化的體現(xiàn)。網(wǎng)絡(luò)文化潛移默化地對表情包的圖像和設(shè)計有重要影響，體現(xiàn)在表情符號中的網(wǎng)絡(luò)流行用語、趣味人物形象和簡單的圖像及其配色，突出其多模式的網(wǎng)絡(luò)特征。獨立的符號資源并不能完整地構(gòu)建話語意義，表情符號中的語言文字、板式設(shè)計和符號顏色等各種符號資源可作為輔助語言相互補充。

4 結(jié)語

以計算機為媒介、基于因特網(wǎng)的CMC從最初的單模態(tài)話語發(fā)展為多模態(tài)話語，成為新媒體時代的重要部分。符號模態(tài)的多樣性推動了基于系統(tǒng)功能語言學的多模態(tài)話語分析發(fā)展。盡管表情包中有許多無法完整表述話語意義的單一語言模態(tài)，但作為輔助語言資源，它們與多種模態(tài)和多種語言符號相融合，共同參與意義構(gòu)建和話語表達。