人-機-人交流中符號模態(tài)選擇及其意義整合
——以多模態(tài)語篇博客網(wǎng)頁分析為例*

白美嫻

(西南大學 外國語學院，重慶 400715)

一、引 言

“多模態(tài)”(multimodality)一詞由來已久，從20世紀90年代開始得到語言學界越來越多的關注。目前，不同的語言學家對“模態(tài)”(mode)的界定各有不同。Matthiessen(2007)主張從媒介和渠道兩方面對模態(tài)進行研究；Bernsen(2006)認為模態(tài)是人與人，人與機器之間在一些媒介的作用下交流信息的模式或方式；朱永生(2007)指出模態(tài)指交流的渠道和媒介，包括語言、技術、圖像、顏色、音樂等等符號系統(tǒng)；顧曰國(2007)認為模態(tài)指人類通過感官(如視覺、聽覺) 跟外部環(huán)境(如人、機器、物體、動物等)之間的互動方式。關于“多模態(tài)”，Kress & van Leeuwen(1996)指出多模態(tài)是幾種符號模態(tài)的同時使用；李戰(zhàn)子(2003)認為多模態(tài)指的是“除了文本之外，還帶有圖像，圖表等的符號話語，或者說任何由一種以上的符號編碼實現(xiàn)意義的文本”；曾蕾(2006)主張“超出文字語言符號以上的多種符號語篇”即為多模態(tài)話語；朱永生(2007)則指出，判斷多模態(tài)的標準是看涉及模態(tài)種類的多少，如電腦上網(wǎng)時，用眼睛看文字和圖像，用耳朵聽聲音；有些語篇雖然僅涉及一種感官系統(tǒng)，但如果包含兩個或以上的符號系統(tǒng)也應看作是多模態(tài)，如連環(huán)畫，雖然只涉及視覺模態(tài)，但既有文字也有圖畫，也應視為多模態(tài)語篇。為了避免模態(tài)在概念上的混淆，本文使用“符號模態(tài)”一詞來代替模態(tài)，意在強調(diào)模態(tài)和符號資源的緊密聯(lián)系。

近些年來，隨著計算機和國際互聯(lián)網(wǎng)的廣泛使用以及多媒體技術的迅猛發(fā)展，信息的多媒介化變得更加豐富多彩，出現(xiàn)了音頻、視頻、三維動畫等多種交流形式。圖像、動畫、圖表、顏色、聲音、編排等手段大大豐富了語義表達的形式，使意義的表達形式呈現(xiàn)多元化，打破了常規(guī)媒介的單一性。語言學家們開始關注并研究在人與人直面交流，人—機—人的交流中除語言之外，其他用于交流的符號模態(tài)是如何結合來傳遞意義，并以此達到互動交流。作為一種新興的網(wǎng)絡信息表達方式及網(wǎng)絡時代知識傳播和管理的新途徑，博客被譽為繼E-mail、BBS、ICQ之后的第四種網(wǎng)絡交流方式。它為每個人提供了一個發(fā)布信息、交流知識的傳播平臺，是博主發(fā)表言論和表達個人思想的網(wǎng)絡虛擬空間，其主要內(nèi)容是網(wǎng)絡日志。使用者可以很方便的選擇使用文字、影音或圖片鏈接起自己個性化的網(wǎng)絡世界與外界進行互動交流。因此，博客可以說是多模態(tài)展現(xiàn)的最佳平臺之一。本文結合系統(tǒng)功能語言學理論，主要從博客網(wǎng)頁設計角度分析符號模態(tài)選擇以及不同模態(tài)之間表達意義的整合在體現(xiàn)語言的三大元功能(Halliday, 2000)中的重要性，并提出以博客為網(wǎng)絡平臺的人—機—人交流的互動模式。

二、網(wǎng)頁多模態(tài)語篇及其分析的理論基礎

在對博客網(wǎng)頁分析前，首先介紹網(wǎng)頁多模態(tài)語篇。網(wǎng)頁可以描述為交流的多模態(tài)工具, 它最大特色是一種脫離了常規(guī)文本的超文本。Chiew(2004)認為超文本實現(xiàn)了單個或多個符號資源的結合。通過圖像、顏色、音頻等符號模態(tài)結合可以實現(xiàn)不同類型的網(wǎng)頁。由互相開放的網(wǎng)絡通過各種鏈接而形成的信息組合的超文本，具有多方位、動態(tài)性、多線性的特征。這些特征決定了在接觸網(wǎng)頁時，人—機—人之間必定存在一種互動關系。關于網(wǎng)頁設計者、網(wǎng)頁和網(wǎng)頁訪問者的互動關系， Aarseth(1997)曾做過研究。我們認為，以網(wǎng)絡為媒介的電子多模態(tài)語篇是動態(tài)的，使用者通過網(wǎng)絡可以取得即時或延時的人際互動和交流。

多模態(tài)語篇研究者(如Kress, 2001)認為，所有的符號模態(tài)像語言一樣在社會使用過程中會形成社會資源模態(tài)。胡壯麟(2007)指出，所有符號模態(tài)有潛勢發(fā)展成產(chǎn)生意義的互相連接的可供選擇的網(wǎng)絡。Kress & van Leeuwen(1996)則認為，系統(tǒng)功能語言學關于語言元功能的理論也可以擴展至其他的符號系統(tǒng)，換句話說，其他的符號系統(tǒng)可認為是按照概念功能、人際功能和語篇功能這三大元功能來組織并生成意義。Halliday(1978)突出強調(diào)選擇在意義生成中的重要性；Victor Li Fei(2007)認為系統(tǒng)功能語言學是有關選擇的理論，系統(tǒng)網(wǎng)絡為符號資源提供許多的選擇。那么，和語言一樣，其他符號資源在生成意義時，也會面臨可供選擇的系統(tǒng)網(wǎng)絡；毫無疑問，選擇是任何符號資源生成過程中的重要環(huán)節(jié)。Baldry(2000)也提出對每種符號資源的選擇及其意義整合對實現(xiàn)三大元功能的重要性。

以系統(tǒng)功能語言學的語言元功能理論為基礎，社會符號學研究者(如Kress等, 1997)確立了闡釋多模態(tài)語篇的總體框架：(1)表征和交流與參與者社會關系相關的方面；(2)交流和表征交流者希望交流的時間、事態(tài)和直覺；(3)信息產(chǎn)生必須具有關聯(lián)性。也就是說，語篇不但要有內(nèi)部的粘聯(lián)連貫，而且與語境也得有粘聯(lián)性。那么，從網(wǎng)頁設計的層面來看，與三大元功能相對應的條件是：(1)從社會符號學角度分析網(wǎng)頁中表達的事態(tài)；(2)解讀網(wǎng)頁內(nèi)容與瀏覽者間的社會關系；(3)各種符號間的銜接與連貫關系(葉起昌，2006)。Thibault(2000)建議最好把系統(tǒng)功能語言學中的元功能看做是為分析整個篇章的概念、人際、邏輯、結構等方面的整合原則。這也正是本文分析博客網(wǎng)頁所采用的原則。

三、博客網(wǎng)頁中符號模態(tài)選擇、模態(tài)間意義整合以及人—機—人交流互動

1.博客網(wǎng)頁設計者符號模態(tài)選擇及意義整合分析

博客網(wǎng)頁的設計者包括博客網(wǎng)頁開發(fā)者和博客擁有者。首先，博客網(wǎng)頁開發(fā)者面對眾多的符號資源，需要選擇輸入符號模態(tài)構建博客網(wǎng)頁的大致框架結構；其次，個人博客的擁有者需要輸入符號模態(tài)來填充框架，這樣才構成完整意義的博客。

鑒于目前大部分博客網(wǎng)頁主要是以圖像和語言(由文字或聲音表達實現(xiàn))兩大類符號構成，本文將主要討論它們之間的意義整合關系。下面將分析博客網(wǎng)頁設計中模態(tài)符號選擇及其意義整合在體現(xiàn)三大元功能中的作用。

(1)符號模態(tài)選擇與事態(tài)表達。眾所周知，博客網(wǎng)頁是人們個性化思想、個人生活記錄的私人空間和大眾空間的結合體，具有開放性、個人化、互動性等特征。這些特征決定了它作為網(wǎng)絡語篇，需要結合多種符號模態(tài)來展示和表達自身并達到傳遞意義和交流互動的目的。在眾多的符號模態(tài)中，以兩種感官模態(tài)為主：(a)視覺模態(tài)，如文字、圖像、版面結構、顏色等；(b)聽覺模態(tài)，如音頻等。根據(jù)各種符號模態(tài)的特點，博主可選擇適宜的符號模態(tài)來布置博客網(wǎng)頁，通常選擇能夠承載大量信息的符號模態(tài)來表達事態(tài)，如文字(日志)和圖片。日志表達易于理解，選擇圖片可以加強或補充文字意義。博主在日志中描述某一事物或事件時，若配上相關的圖片，那么文字表達意義將會更易于理解，加深瀏覽者的印象。因此，博主選擇一定的圖像和文字，兩者互相加強或補充等來達到概念意義的整合，繼而表達事態(tài)。

(2)符號模態(tài)選擇與博主、訪問者之間關系建立。在構建個人博客風格，展示自己的個性化頁面過程中，博主需要選擇匹配的符號模態(tài)，如頁面整體色調(diào)選擇、播放音樂類型選擇、文字字體選擇以及圖像選擇(包括靜態(tài)和動態(tài)圖片)等?？梢哉f，網(wǎng)頁中的每一部分都是博主選擇的結果，是自身個性化的展示。在人際關系功能中，選擇的符號模態(tài)不同，與外界交流的效果肯定存有殊異。比如在網(wǎng)頁背景圖案選擇中，可以選擇顏色絢麗動感圖案背景來表達個人的樂觀、活潑、熱情等特點；相反地，也可選擇顏色素雅、圖案簡單了然來傳遞自己的個人特質(zhì)信息，這樣可吸引有相同個性類型的訪問者。博客網(wǎng)頁內(nèi)選擇的語言和圖像可表達態(tài)度一致或相異，以制造和諧、幽默、挑釁等環(huán)境效果，從而達到語言和圖像之間的意義整合。通過這些環(huán)境效果可以達到抒發(fā)感情、激發(fā)訪問者興趣、吸引訪問者等目的，使博主的個性化特征得到充分的體現(xiàn)，由此建立虛擬網(wǎng)絡中的人際關系。

(3)符號模態(tài)選擇與語篇的銜接連貫。根據(jù)系統(tǒng)功能語言學的語言元功能理論，不管是概念功能還是人際功能的實現(xiàn)都需要通過語篇功能來實現(xiàn)語篇的銜接和連貫，這在其他符號系統(tǒng)中也不例外。正如前面提到的，大多數(shù)網(wǎng)頁的內(nèi)容表達是以語言文字和圖像為主，它們的傳遞依靠視覺接觸來完成，因此視覺接觸是主要的感知渠道。Kress & Leeuwen(1996)從語篇構成功能出發(fā)，認為任何多模態(tài)語篇都不是任意組合的產(chǎn)物，它遵循三個相互聯(lián)系的原則：信息價值、突出度和分格。信息價值指各種成分占據(jù)不同的位置從而擁有不同的價值。突出度可理解為各種成分由于前景或背景中位置、大小、亮度等方面的差異，從而引起讀者不同程度的注意。分格指用來切斷或連接語篇的成分，表明這些成分是相連或不相連。在視覺語篇中，不同的位置具有不同的價值。為判斷視覺成分的信息價值的輕重，Kress & Leeuwen(1996)把頁面分為以下四個象限：

圖1 頁面象限圖(Kress & van Leeuwen，1996)

在上圖中，我們可以看出有三種排列方法。Kress 認為左右和上下在視覺空間的排列是固定的，至于這個象限內(nèi)的內(nèi)容則需要根據(jù)不同文化與網(wǎng)頁的意圖利益來決定，但上下左右的分界意義是確定的。上下的區(qū)分是理想與現(xiàn)實之間的區(qū)別，而左右之分則與信息的狀態(tài)相聯(lián)系。另一種排列法即中心與邊緣之分。中央位置具有主導作用，所以排列主要信息；邊緣意味著處于受支配的地位，因此放置次要信息。最后一種方法顯然是融合了前兩種方法。

雖然博客網(wǎng)頁由不同網(wǎng)站開發(fā)，版面模塊或許略微不同，但是大致結構基本相似。一般情況下也是采取中心和邊緣的構頁結構。在頁面的頂端中央是博客的導航項目，以小于博客正文內(nèi)容的字體出現(xiàn)。頁面的左右邊緣處一般放置的是關于博主的個人資料以及日志標題的條目顯示或是音樂播放器，好友博客的連接以及最近訪問的博客之類；處于頁面中央的是博客的核心內(nèi)容：最近發(fā)表日志標題顯示。日志放在極易吸引注意力的中央主導位置，所以一定是博客網(wǎng)頁的主要信息。各版塊之間的分格十分明確，通常有線條分隔。但這不表示它們之間沒有銜接連貫，比如顏色作為符號模態(tài)之一(Kress，2002)，是銜接連貫的重要組成部分，可用來表示突出度或分格。博主根據(jù)需要，選取一個主色調(diào)來使整個頁面融為一體；依據(jù)不同板塊的表達需要，再具體選擇色調(diào)、亮度等作為突出或分隔工具?？梢?，在語篇功能中，博客的版面構篇設計資源是豐富多彩的(如字體類型、大小、色彩等)，符號模態(tài)的選擇是構頁銜接連貫的關鍵之一，符號模態(tài)之間主要通過前景背景、頁面中信息值和顯著性等進行意義整合。

鑒于以上分析，我們可以大致得出以圖像和語言符號模態(tài)為主的電子語篇的意義整合關系如表1(基于Royce, 2007)：

表1 建立在頁面基礎上的圖像和語言符號模態(tài)間意義整合關系

續(xù)表

2.博主和博客訪問者的互動

互動是網(wǎng)絡的本質(zhì)。參與性互動化、彰顯個性、搭建溝通活動平臺、協(xié)作共享是博客網(wǎng)絡互動行為富有魅力的原動力。博客網(wǎng)絡互動行為既具有個性化的自我表達內(nèi)容，又具有最為公共性的自我呈現(xiàn)形式。它對于現(xiàn)代人的意義已經(jīng)遠遠超出網(wǎng)絡日志的范疇，不但是表達的平臺，也是聚眾的手段。博客很少是孤立存在的，友情鏈接、評論等把博客之間、博客和讀者之間連接起來，形成他們的交際社區(qū)。博客與讀者的交流是至關重要的，沒有互動交流就沒有鮮活的生命力。如果一個博客沒有讀者，沒有與外界互動，這個博客很難堅持下去。

對于博客網(wǎng)頁訪問者來說，從意義接受的角度來看，他們有選擇的自由。在面對博客多模態(tài)語篇時，訪問者可以選擇接受博客網(wǎng)頁中符號模態(tài)意義的表達，比如只看博客中的一段視頻、一篇日志或一組圖片。也就是說，符號模態(tài)選擇取決于博客使用者(包括博主和博客訪問者)。博客訪問者瀏覽網(wǎng)頁后，可對其日志內(nèi)容或有關博主的其他任何信息進行點評、發(fā)表看法、分享或收藏，以此達到與博主的交流互動。當然，博客網(wǎng)頁內(nèi)還設置有較多其他的互動方式，比如好友博客的超鏈接等。

根據(jù)以上分析，我們可以大致得出在互聯(lián)網(wǎng)信息時代，人與人以博客為媒介的網(wǎng)絡交流互動的大致結構圖：

圖2 以博客為媒介的網(wǎng)絡交流互動圖

從圖2可以看出，對博客網(wǎng)頁設計者來說，需要根據(jù)一定的語境和傳遞信息類型以及受眾群體來選取適當?shù)姆柲B(tài)組成多模態(tài)進行網(wǎng)頁創(chuàng)建，而博客訪問者根據(jù)自身需要，選擇一定的符號模態(tài)進行輸入，獲取所傳遞的意義。博客多模態(tài)語篇最大的特點表現(xiàn)在(圖中以虛線標示)：通過它，人與人間的互動交流，即在博客訪問者接受博客意義表達后，可以對博客語篇進行符號模態(tài)輸入，與博主或其他訪問者進行互動交流，產(chǎn)生交際意義。

四、結語

目前，多模態(tài)語篇已經(jīng)成為語言學界討論的一個熱門話題，研究者從語言的各個分支來探討其理論框架和應用領域。本文借鑒系統(tǒng)功能語法中的“選擇”理念，將其應用于其他符號模態(tài)的分析中，主要從語篇設計者的角度，力圖證明符號模態(tài)選擇是意義表達的關鍵，并嘗試性的提出了人機人交流的動態(tài)結構圖。一方面，多模態(tài)語篇網(wǎng)頁的分析進一步證明了將Halliday(1978，1985)的社會符號學理論以及三大元功能理論運用于闡釋其他符號資源的可行性，同時也證明了Halliday & Hasan(1985)有關意義系統(tǒng)之間的相互聯(lián)系、相互補充的論斷。另一方面，本文嘗試對博客多模態(tài)語篇在交流互動層面進行分析，有利于闡明如何選擇最佳符號模態(tài)來達到人際交流的最大有效性，為人類溝通交流服務。由于博客中存在多種符號和媒體，在印刷排版中不便引入具體的博客語篇進行個案分析。因此，本文在分析符號模態(tài)選擇及其意義整合在語篇三大功能中的作用時，僅從博客的總體框架上做了寬泛的描述。今后的研究中還可進一步從語篇設計者和使用者兩個方面，對多模態(tài)交流語篇中怎樣選擇符號模態(tài)才能最有效地表達意義以及最大程度地接受意義進行探討。

[參考文獻]

[1] Aarseth, E.J.Cybertext: Perspectives on Ergodic Literature[M] .Baltimore: John Hopkins University Press，1997.

[2] Baldry, A.Multimodality and Multimediality in the Distance Learning Age[M] .Campobasso, Italy: Palladino Editore，2000.

[3] Bernsen, N.O.Multimodality in Language and Speech Systems: From Theory to Design Support Tool[EB/oL] .2008-10-05.

[4] Chiew, A.K.K.Multisemiotic mediation in hypertext.In K.L.O’Halloran (Ed.), Multimodal Discourse Analysis: Systemic-Functional Perspectives[M] .New York: Continuum， 2004.

[5] Fei, L.V.Developing an integrative multi-semiotic model.In Kay L.O’Halloran (Ed.), Multimodal Discourse Analysis: Systemic-Functional Perspectives[M] .New York: Continuum, 2004.

[6] Fei, L.V.The visual semantics stratum: making meaning in sequential images.In T.D.Royce & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse[M] .New Jersey: Lawrence Erlbaum Associates.

[7] Halliday, M.A.K.Language as a Social Semiotic: The Social Interpretation of Language and Meaning[M] .London: Arnold, 1978.

[8] Halliday, M.A.K.An Introduction to Functional Grammar[M] .London: Arnold, 1985.

[9] Halliday, M.A.K., & Hasan, R.Language, Context and Text: Aspects of Language in a Social-semiotic Perspective[M] .Oxford: Oxford University Press.1985.

[10] Kress, G.& van Leeuween, T.Reading Images: The Grammar of Visual Design[M] .London: Routledge, 1996.

[11] Kress, G.& van Leeuwen, T.Multimodal Discourse: The Modes and Media of Contemporary Communication[M] .London: Arnold, 2001.

[12] Kress, G.& van Leeuwen, T.Color as a semiotic mode: notes for a grammar of color[J] .Visual Communication 1 (3): 343-368.

[13] Kress, G.Garcia, R.L., & van Leeuwen, T.Discourse semiotics.In T.A.van Dijk (Ed.), Discourse as Structure and Process: Discourse Studies: A Multidisciplinary Introduction[M] .London: Sage, 1997.

[14] Matthiessen, C.M.I.M.The Multimodal Page: A Systemic Functional Exploration.In T.D.Royce & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse Mahwah[M] .NJ: Lawrence Erlbaum Associates,2007.

[15] Royce, T.Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis.In T.D.Royce, & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse Mahwah[M] .NJ: Lawrence Erlbaum Associates,2007.

[16] Thibault, P.The Multimodal Transcription of a Television Advertisement: Theory and Practices.In A.Baldry (Ed.), Multimodality and Multimediality in the Distance Learning Age.Campobasso[M] .Italy: Palladino Editore,2000.

[17] 胡壯麟.社會符號學研究中的多模態(tài)化[J] .語言教學與研究,2007(1)：1-9.

[18] 李戰(zhàn)子.多模式話語的社會符號學分析[J] .外語研究,2003(5): 1-8.

[19] 葉起昌.超文本多語式的社會符號學分析[J] .外語教學與研究,2006：437-442.

[20] 曾蕾.動態(tài)多符號語篇的整體意義構建[J] .外語藝術教育研究,2006(3): 42-48.

[21] 朱永生.多模態(tài)話語分析的理論基礎與研究方法[J] .外語學刊,2007(5)：83-86.