論視覺多模態(tài)話語的符號間性與認(rèn)知功效

榮盈盈，戴培興，阮 瑾，吳蘇蘇

（東華大學(xué) 外語學(xué)院，上海 201620）

隨著數(shù)字化信息技術(shù)的飛速發(fā)展，一場革命已經(jīng)在教育、文化、傳播等領(lǐng)域里悄然發(fā)生，其結(jié)果就是在公共交流中，語言和文字的傳統(tǒng)地位已經(jīng)被撼動了，一種全新的多模態(tài)的話語形式已經(jīng)深入到人們生活的方方面面［1］，甚至越來越多地處于突出的地位。

一、多模態(tài)話語

多模態(tài)話語是人類的生物性特征的表現(xiàn)，它涉及到多種感官的應(yīng)用。人類可以通過不同的感官實(shí)現(xiàn)多重模態(tài)的交際：視覺模態(tài)（眼）、聽覺模態(tài)（耳）、味覺模態(tài)（舌）、嗅覺模態(tài)（鼻）和觸覺模態(tài)（皮膚）。從技術(shù)的意義上來說，多模態(tài)可解釋為專指融合兩種以上“傳播手段、方式或載體”的、人機(jī)交互式的信息交流和傳播的媒體。從符號學(xué)的意義上來說，多模態(tài)是指在交流活動中不同符號模態(tài)（semiotic mode）的混合體［2］，同時也可以表示不同的符號資源（semiotic resource）被調(diào)動起來，在一個特定的組合中共同構(gòu)建意義的各種方式［3］。也有符號學(xué)者認(rèn)為，判斷多模態(tài)的標(biāo)準(zhǔn)有兩條：一是看話語中涉及的模態(tài)種類有多少；二是看話語中涉及的符號系統(tǒng)有多少。雖然視覺模態(tài)只涉及了一種模態(tài)，但是其中所使用到的符號系統(tǒng)常常包括了文字和圖像兩種。因此，這種“圖文并茂”的話語通常也被稱為多模態(tài)話語［4］。在現(xiàn)實(shí)生活中，語言符號與非語言符號，如標(biāo)志、圖像、手勢、表情和顏色等，一起形成一種更為寬泛的符號資源，它們具有相同的地位，共同參與意義建構(gòu)。

二、話語多模態(tài)與認(rèn)知心理

話語多模態(tài)是人類交流或人際交流的自然形態(tài)。實(shí)驗(yàn)心理學(xué)家Treicher的實(shí)驗(yàn)證明：人類獲取外部世界的信息途徑，83%來自視覺，11%來自聽覺，還有6%來自嗅覺、觸覺和味覺［5］。來自不同途徑的信息都會刺激大腦的認(rèn)知。認(rèn)知有許多組成部分，如感覺、知覺、注意、記憶、動作、思維、學(xué)習(xí)、語言等，它們相互依賴、相互影響［6］。認(rèn)知心理學(xué)認(rèn)為，認(rèn)知是指通過心理活動獲取知識或經(jīng)驗(yàn)，這是人類最基本的心理過程。人腦接受外界輸入的信息，經(jīng)過大腦的加工處理后，轉(zhuǎn)換成內(nèi)在的認(rèn)識活動和意向活動，即從感知覺和思維轉(zhuǎn)到欲念、動機(jī)、意圖、情緒、意志等。這種轉(zhuǎn)換過程就是人類的認(rèn)知過程或信息加工過程。話語多模態(tài)為人際交流提供了最優(yōu)的信息輸入方式和最佳的信息輸出方式，滿足了人類個體的認(rèn)知活動的需要和實(shí)際應(yīng)用的需要。

三、視覺多模態(tài)的符號間性

視覺系統(tǒng)是人類獲取外部世界信息的主要方式，“視覺多模態(tài)指的是除了文本之外，還帶有圖像、圖表等的復(fù)合話語……”［7］，或 “超出文字語言符號以上的多種符號語篇”［8］的話語。所以，它們之間應(yīng)有某種相互作用的功能或特性：

（一）語義互補(bǔ)性

功能語言學(xué)家Halliday［9］認(rèn)為，現(xiàn)實(shí)世界是由各種過程組成的，其中有物質(zhì)過程、心理過程、關(guān)系過程、行為過程、話語過程和存在過程。圖像不具備表現(xiàn)所有過程的能力，它難以甚至不能表現(xiàn)心理過程和關(guān)系過程等，對圖像來說更容易表達(dá)的是物質(zhì)過程、言語過程和存在過程。而文字卻擅長于描述心理過程、行為過程和關(guān)系過程。因此，視覺多模態(tài)可以彌補(bǔ)對方的不足或缺陷，使它們兩相呼應(yīng)，互為補(bǔ)充［10］。

（二）語境協(xié)同性

從系統(tǒng)功能語法的角度來看，如果將整個靜態(tài)的“圖文并茂”的視覺多模態(tài)看成是一個語篇，那么圖像就是文字的語境。反之，文字就是圖像的語境。二者互為語境，在意義的現(xiàn)實(shí)化過程中互相作用，相互修剪無關(guān)的意義衍生，更加明確地限定了語篇的意義范圍，從而幫助讀者篩選出恰當(dāng)?shù)囊饬x潛勢。二者之間的關(guān)系是兩相獨(dú)立卻又相互協(xié)同的。

（三）形式獨(dú)立性

盡管視覺多模態(tài)中的文字和圖像是在共建同一主題和語篇，實(shí)現(xiàn)相同的交際目的，但由于它們是不同的模態(tài)，兩者有不同的表達(dá)意義的形式機(jī)制。圖像模態(tài)以視覺語法表達(dá)意義，使語篇產(chǎn)生具象和情景的特點(diǎn)。而文本模態(tài)以功能語法表達(dá)意義和生成意境。它們在建構(gòu)語篇整體意義上都各有自己特殊的貢獻(xiàn)。

（四）色彩沖擊性

視覺多模態(tài)不僅僅包括語言和非語言符號的形態(tài)，也包括這些符號本身的色彩。色彩是一種自然屬性，人的視覺對于色彩有特殊的敏感性，俗話說“遠(yuǎn)看色彩近看花，先看顏色后看花，七分顏色三分花”。這就說明，色彩對人的視覺有強(qiáng)烈的沖擊性。色彩是與人的感覺（外界的刺激）和人的知覺（記憶、聯(lián)想、對比……）聯(lián)系在一起的。當(dāng)人在不同顏色的環(huán)境中，他（她）的脈搏、血壓、情緒和腦電波都會有明顯的不同，這是因?yàn)槿说纳頃a(chǎn)生電化反應(yīng)。色彩心理學(xué)家認(rèn)為，在自然欣賞和社會活動方面，色彩在客觀上是物質(zhì)世界的反映，但在主觀上又是一種心理感受和行為反饋，色彩感覺總是存在于色彩知覺之中。

四、認(rèn)知功效的對比實(shí)驗(yàn)

鑒于視覺多模態(tài)話語在認(rèn)知理論方面的諸多優(yōu)勢，作者精心設(shè)計(jì)了下列實(shí)驗(yàn)，以揭示它對學(xué)生的認(rèn)知產(chǎn)生的實(shí)際效應(yīng)。

（一）實(shí)驗(yàn)方法

參加本實(shí)驗(yàn)的對象為上海某高校“大學(xué)英語”課程二級起點(diǎn)的兩個小班的學(xué)生，共62人，其中一班32人，另一班30人。其課本為《新視野大學(xué)英語（2）》。由于他們的英語分級測試成績基本在同一水平，所以這兩個班的學(xué)生分別代表了實(shí)驗(yàn)組和對照組。

本次研究為定性與定量分析相結(jié)合，具體方法如下：（1）閱讀理解測試；（2）詞匯測試；（3）關(guān)于物理動作與心理活動的問卷調(diào)查（15項(xiàng)）。其中，閱讀材料來源于《全新版大學(xué)英語綜合教程（3）》，內(nèi)容為學(xué)生熟悉程度不高的科技型題材以確保測試結(jié)果不受學(xué)生背景知識差異的影響，全文共1 333個單詞，其中生詞41個左右（約占3．1%），生詞量很接近常規(guī)比例 （3%）；閱讀理解測試題大都源于該閱讀材料中的課后練習(xí)，并改編成選擇題，方便學(xué)生作答；問卷調(diào)查由三部分組成，即“對測試材料的認(rèn)可反應(yīng)”，“閱讀測試中的物理動作”和“閱讀測試中的心理活動”。前兩個部分直接采用了美國著名應(yīng)用語言學(xué)家Oxford的語言策略量表（Strategy Inventory for Language Learning，SILL）中的部分問卷。此表分類框架具體完整，包含了其他研究者對外語學(xué)習(xí)策略分類框架的主要內(nèi)容和特點(diǎn)，因此在外語學(xué)習(xí)策略研究領(lǐng)域有代表性和較大的影響力。第三部分直接采用認(rèn)知行為量表（Cognitive Behavior Rating Scale，CBRC）中的部分問卷。此表涉及認(rèn)知行為的9個具體方面，是認(rèn)知學(xué)和心理學(xué)領(lǐng)域公認(rèn)的最具權(quán)威性的問卷調(diào)查之一。

根據(jù)本研究設(shè)計(jì)，提供給實(shí)驗(yàn)組學(xué)生的閱讀材料為多媒體網(wǎng)絡(luò)課件，其中包括彩色圖片18個，藍(lán)色標(biāo)記詞6個。實(shí)驗(yàn)組的學(xué)生借助語言實(shí)驗(yàn)室的電腦閱讀此課件，他們可以點(diǎn)擊課件中的超鏈接，欣賞不同的畫面，感受豐富的色彩等；而提供給對照組學(xué)生的只是傳統(tǒng)的白紙黑字的閱讀材料。

（二）實(shí)驗(yàn)過程

在學(xué)生知識背景和測試要求基本相同的條件下，兩組實(shí)驗(yàn)分別按下列程序進(jìn)行：

步驟一：在做實(shí)驗(yàn)時，要求實(shí)驗(yàn)組和對照組的學(xué)生分別在30分鐘內(nèi)完成閱讀與理解測試題（10個）；

步驟二：上述閱讀與理解測試進(jìn)行過后，在兩組學(xué)生都無法再接觸到閱讀材料的情況下，要求他們在5分鐘內(nèi)完成詞匯短期記憶測試（35個詞）和關(guān)于物理動作與心理活動的問卷調(diào)查；

步驟三：上述調(diào)查結(jié)束后，再過10分鐘，分別要求這兩組測試者在5分鐘內(nèi)完成詞匯長期記憶測試（35個詞）。

上述實(shí)驗(yàn)完成后，將所有數(shù)據(jù)輸入計(jì)算機(jī)，用SPSS進(jìn)行分析，統(tǒng)計(jì)平均值、標(biāo)準(zhǔn)差、On－way ANOVA、以及其他相關(guān)系數(shù)。

事后，作者又以同樣的步驟補(bǔ)充了另一組實(shí)驗(yàn)，共有39名學(xué)生參加，其英語水平與前兩組相同。此實(shí)驗(yàn)組（非限制組）在閱讀與理解測試的時間和任務(wù)兩個方面不受限制。實(shí)驗(yàn)結(jié)果用來與實(shí)驗(yàn)組和對照組分別進(jìn)行對比。

（三）實(shí)驗(yàn)結(jié)果分析

表1中所顯示的實(shí)驗(yàn)數(shù)據(jù)反映了部分的認(rèn)知功效。在對測試材料相關(guān)內(nèi)容熟悉程度和興趣度無明顯偏差的情況下（區(qū)分度①區(qū)分度以0．05為分界點(diǎn)，0．05以下為大，0．05以上為小。分別為0．971和0．308），實(shí)驗(yàn)組和對照組的認(rèn)知結(jié)果對比如下：

表1 實(shí)驗(yàn)組與對照組認(rèn)知功效對照

續(xù) 表

（1）在閱讀注意力跨度方面，實(shí)驗(yàn)組與對照組之間存在十分顯著的差異，區(qū)分度為0．000；

（2）在新詞詞義的短期記憶方面，實(shí)驗(yàn)組明顯好于對照組，區(qū)分度為0．025；

（3）在新知識點(diǎn)的長期記憶方面，實(shí)驗(yàn)組也好于對照組，區(qū)分度為0．049；

（4）在文章與詞匯的綜合理解方面，實(shí)驗(yàn)組明顯優(yōu)于對照組，區(qū)分度為0．036；

（5）在文章、詞匯和問答的綜合測試方面，實(shí)驗(yàn)組也明顯優(yōu)于對照組，區(qū)分度為0．045。

（四）討論

對比測試的結(jié)果表明：視覺多模態(tài)的閱讀方式，在有時間限制的條件下，比單模態(tài)更具優(yōu)勢，它能非常明顯地延長讀者的注意力跨度，顯著提高讀者對文章和詞匯的理解水平，尤其能很明顯地促進(jìn)讀者對新詞詞義的記憶。然而，在深入研究多模態(tài)話語的認(rèn)知功效時，我們還需要認(rèn)真思考以下幾個關(guān)系。

1．多模態(tài)信息輸入與時間壓力的關(guān)系

實(shí)驗(yàn)結(jié)果明確顯示，由于受到30分鐘的時間限制，實(shí)驗(yàn)組成員不能充分地“點(diǎn)擊”圖片，也不能充分地利用多模態(tài)來增強(qiáng)理解和記憶（點(diǎn)擊數(shù)為平均22．97次／30 min）。可是，在無時間限制的情況下，非限制組成員對圖片和其他超鏈接的“點(diǎn)擊”就遠(yuǎn)遠(yuǎn)超過有時間限制的實(shí)驗(yàn)組，點(diǎn)擊數(shù)為平均31．90次／45 min（平均用時），區(qū)分度為0．025（表2）。因此，多模態(tài)閱讀并不節(jié)省工序。

表2 實(shí)驗(yàn)組與非限制組 “點(diǎn)擊鼠標(biāo)數(shù)量”對照

2．多模態(tài)信息輸入與任務(wù)壓力的關(guān)系

任務(wù)壓力與時間壓力往往是交織在一起的。有時間限制的實(shí)驗(yàn)組成員迫于時間壓力，從而忙于測試任務(wù)的完成（平均完成量為96．09%），無法盡興地閱讀各種圖片和其他拓展類信息。相反，沒有任務(wù)壓力的非限制組成員則能更多地享用多模態(tài)閱讀，但是，他們完成任務(wù)的比例就明顯地降低了，按每人平均用時45分鐘計(jì)算，他們完成了91．41%的任務(wù)，可是，如果按比例折算，在30分鐘的時間內(nèi)，他們僅完成了60．94%的任務(wù)。相反，對照組成員在30分鐘的時間內(nèi)卻完成了97．23%的測試任務(wù)（正確率和記憶量除外），因?yàn)樗麄冎荒苓M(jìn)行單模態(tài)閱讀，無法拓展信息。這就表明多模態(tài)閱讀并不省工時。

3．多模態(tài)閱讀與疲勞度的關(guān)系

在疲勞度方面，三組相比有顯著性差異（表3），有時間限制的實(shí)驗(yàn)組的疲勞感最強(qiáng)，平均值為3．03；而對照組的疲勞感最弱，平均值為2．50；非限制組居中，平均值為2．62；三組區(qū)分度為0．048。這就說明多模態(tài)閱讀是最累人的。

表3 三組“疲勞度”對照（ANOVA）

五、結(jié)論

正如Norris所說，現(xiàn)實(shí)生活中“所有的交際都是多模態(tài)的，并且已漸漸遠(yuǎn)離了在交際中總是語言起中心作用的狀況”［11］。視覺多模態(tài)以其文字、圖像、色彩的天然和綜合的優(yōu)勢，在閱讀中強(qiáng)化了學(xué)生的認(rèn)知活動。這是由于在意義創(chuàng)建的過程中，“靜態(tài)圖文”視覺多模態(tài)相互依存、相互協(xié)調(diào)、互為依托。圖像的視覺語法和文本的功能語法共同構(gòu)建了視覺多模態(tài)話語的完整的語篇、語境和語義。同時，由于多彩的視覺多模態(tài)本身具有強(qiáng)大的吸引力，并對讀者的視覺具有強(qiáng)大的沖擊力和對記憶產(chǎn)生持久的滲透力，其認(rèn)知功效得到更充分的顯現(xiàn)。但是人們的大腦在信息處理的過程中，不可避免地受到時間壓力和任務(wù)壓力的影響，這就使人們的大腦在認(rèn)知過程中所消耗的能量明顯加大。因此，作者認(rèn)為：多模態(tài)話語的認(rèn)知功效是相對的，它是以時間為做工成本的，以精力耗費(fèi)為代價的。然而，由于視覺多模態(tài)具有天然的吸引力和沖擊力，這種成本和代價以及由此而引起的疲勞常常被忽略。如果我們充分認(rèn)識到話語多模態(tài)對認(rèn)知的積極作用，同時也充分認(rèn)識到提高認(rèn)知功效的相關(guān)條件，那么多模態(tài)英語教學(xué)就會開展得更趨合理和更加有效。

［1］Kress，Gunther．Multimodality［A］．Cope and kalantzis．（ed．）Multiliteracies［C］．London：Routledge，2000：182－202．

［2］Leeuwen，J．van（2005，June 7）．SciencefortheInformationAge．Delft，ICT Congress 2005：281．

［3］Baldry ＆ Thibault．Multi－modal Transcription and Text Analysis［M］．London and Oakville：Equinox，2006：21．

［4］朱永生．多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］．外語學(xué)刊，2007，（5）：82－86．

［5］高定國，肖曉云．認(rèn)知心理學(xué)［M］．上海：華東師范大學(xué)出版社，2004：120－121．

［6］唐孝威．統(tǒng)一框架下的心理學(xué)與認(rèn)知理論［M］．上海人民出版社，2007：209－215．

［7］李戰(zhàn)子．多模式話語的符號學(xué)分析［J］．外語研究，2003，（5）：1－8．

［8］曾蕾．動態(tài)多符號語篇的整體意義構(gòu)建［J］．外語藝術(shù)教育研究，2006，（3）：42－48．

［9］Halliday，M．A．K．An Introduction to Functional Grammar［M］．London：Edward Arnold，1994：106－107．

［10］Kress，G ＆ Van Leeuven，T．ReadingImages：theGrammarofVisualDesign［M］．London：Routledge，1996：16．

［11］Norris，S．Analyzing Multimodal Discourse：A Methodological Framework［M］．London：Routledge，2004：3．