關(guān)于英語(yǔ)多模態(tài)理論的認(rèn)識(shí)與思考

張 楠，崔艷輝

(長(zhǎng)春工業(yè)大學(xué)，長(zhǎng)春 130012)

多模態(tài)話語(yǔ)分析，可以在很大程度上幫助人們克服當(dāng)前研究的困境，更加關(guān)注語(yǔ)言結(jié)構(gòu)與意義系統(tǒng)等方面的研究，實(shí)現(xiàn)了對(duì)圖象、聲音、顏色、動(dòng)漫等表現(xiàn)形式的整合，能夠?yàn)檎Z(yǔ)言的研究發(fā)展提供有利支持，對(duì)人類社會(huì)發(fā)展，以及人類交際有著顯著的促進(jìn)作用。

一、話語(yǔ)多模態(tài)理論研究

傳統(tǒng)的語(yǔ)篇分析一般只注重對(duì)語(yǔ)言文字本身的分析，而忽略了對(duì)其他符號(hào)如圖像、聲音、顏色的研究。

自上個(gè)世紀(jì)90年代，英語(yǔ)的相關(guān)學(xué)者以韓禮德系統(tǒng)功能語(yǔ)言學(xué)作為相應(yīng)的英語(yǔ)教學(xué)基礎(chǔ)，把原有的英語(yǔ)研究范圍進(jìn)行一定程度上的擴(kuò)充，原有的僅分析語(yǔ)言文字的教學(xué)模式已被摒棄，包括語(yǔ)言、音樂(lè)、圖像、視頻等多內(nèi)容的模態(tài)化英語(yǔ)已成為主流。而所謂的多模態(tài)英語(yǔ)，是指除了英語(yǔ)文字以外，還通過(guò)各類其他表達(dá)形式突出語(yǔ)言內(nèi)容，讓人們感受多元化的語(yǔ)言表現(xiàn)方式[1]。同時(shí)，在實(shí)際生活中的表達(dá)與交流，也絕非片面化與單一化，各種表達(dá)方式并存才是合理的敘述手段。舉例而論，在交流中人們常運(yùn)用不同的手勢(shì)加以輔助，在高度發(fā)達(dá)的互聯(lián)網(wǎng)上時(shí)常能看到圖片與音樂(lè)輔助文字的表達(dá)等。因此，盡管語(yǔ)言是人類交流的最重要手段，但并非僅有的表達(dá)方式。

在Kress和Van Leeuween看來(lái)，多模態(tài)的交流是利用兩種及兩種以上的表達(dá)方式來(lái)闡述，因此區(qū)分多模態(tài)和單模態(tài)的表述方法最簡(jiǎn)便的方法即為找尋不同的表達(dá)方式[2]。而顧曰國(guó)卻認(rèn)為，區(qū)分模態(tài)不能僅以表達(dá)方式作為方法，應(yīng)當(dāng)結(jié)合主客觀的因素來(lái)進(jìn)行甄別[3]。具體而論，人類的主觀感官即聽(tīng)力、視力、嗅覺(jué)等與客觀環(huán)境因素即交流對(duì)象、動(dòng)物或物件等共同組成模態(tài)。單感官互動(dòng)的體驗(yàn)稱為單模態(tài)，同樣多種模態(tài)的交流稱為多模態(tài)，在顧曰國(guó)理論中感官的數(shù)量決定了模態(tài)的形式。綜上所述，無(wú)論哪一類理論，多模態(tài)的語(yǔ)言手段應(yīng)當(dāng)是多感官或多表達(dá)方式所組成的。

二、英語(yǔ)多模態(tài)理論的認(rèn)識(shí)

(一)英語(yǔ)多模態(tài)分析的理論基礎(chǔ)

盡管多模態(tài)分析理論是建立在皮爾斯的媒介、對(duì)象、解釋的三位一體理念上進(jìn)行升華，但其主要理論概念基礎(chǔ)卻是來(lái)自于Halliday創(chuàng)立的系統(tǒng)功能語(yǔ)言學(xué)。具體而論，所謂的英語(yǔ)多模態(tài)化理論是建立在系統(tǒng)功能語(yǔ)言學(xué)中語(yǔ)言是社會(huì)一類符號(hào)的概念基礎(chǔ)之上的，同時(shí)也保有了一定語(yǔ)言是社會(huì)符號(hào)與意義的價(jià)值觀點(diǎn)[4]。其次，英語(yǔ)多模態(tài)化理論吸納了系統(tǒng)理論與純理論功能假說(shuō)，即語(yǔ)言是一類系統(tǒng)性的概念，但其同時(shí)也擁有一定的功能性。再次，英語(yǔ)多模態(tài)理論也涵蓋了語(yǔ)域理論，即多模態(tài)的英語(yǔ)分析離不開(kāi)其語(yǔ)境的支持，只有結(jié)合語(yǔ)境才能更好地將語(yǔ)言理解。綜上所述，由于英語(yǔ)多模態(tài)分析離不開(kāi)系統(tǒng)功能語(yǔ)言學(xué)與符號(hào)學(xué)的支持，因此也可以將其稱為系統(tǒng)功能符號(hào)學(xué)。此外，系統(tǒng)功能語(yǔ)言學(xué)應(yīng)當(dāng)是功能符號(hào)學(xué)的一個(gè)下屬分支。

(二)英語(yǔ)多模態(tài)分析的內(nèi)容、方法與意義

在符號(hào)學(xué)上研究語(yǔ)言學(xué)理論已有很長(zhǎng)一段時(shí)間的歷史，舉例而論，電影、美術(shù)等藝術(shù)創(chuàng)作類的研究工作，就利用了語(yǔ)言學(xué)理論中的布拉格“前景化”概念。其次，巴黎學(xué)派將語(yǔ)言、指代等語(yǔ)言學(xué)理論中的概念高度凝練，并運(yùn)用于攝影與服裝設(shè)計(jì)之中。

除了藝術(shù)創(chuàng)作以外，更貼近實(shí)際生活領(lǐng)域的各項(xiàng)行業(yè)也能運(yùn)用語(yǔ)言學(xué)理論，如新聞報(bào)道、音樂(lè)創(chuàng)作與文學(xué)紀(jì)實(shí)等，其中基于語(yǔ)言學(xué)派和系統(tǒng)功能符號(hào)學(xué)派的Halliday系統(tǒng)發(fā)揮了很大的作用。學(xué)者Simpson在一次權(quán)威的世界性語(yǔ)言學(xué)理論討論會(huì)中總結(jié)，多模態(tài)的英語(yǔ)分析存在如下的功能。首先，在媒體的表現(xiàn)手法與內(nèi)容陳述上可運(yùn)用不同的表達(dá)方式即多模態(tài)化的具體呈現(xiàn)。其次，為更好提高教育質(zhì)量，保障人們學(xué)習(xí)的興趣，烘托不同層次的教育主旨，可采用多模態(tài)化的教學(xué)手段。第四，在識(shí)讀實(shí)踐上多模態(tài)化也能給予一定的幫助。再次，語(yǔ)料庫(kù)的建立離不開(kāi)語(yǔ)言多模態(tài)化的支持。最后，多模態(tài)化能夠切實(shí)豐富語(yǔ)言方式與其背后的理論問(wèn)題，幫助學(xué)者展開(kāi)學(xué)習(xí)與討論。Baldry & Thibault也在會(huì)議上提出了一定的課題以供討論研究。首先，英語(yǔ)多模態(tài)語(yǔ)篇的定義與實(shí)踐運(yùn)用。其次，在高度發(fā)達(dá)的電子信息時(shí)代，如何將多模態(tài)與多媒體有機(jī)結(jié)合。最后，多模態(tài)分析能夠如何進(jìn)一步幫助教學(xué)工作展開(kāi)[5]。

三、研究的意義

語(yǔ)篇的多模態(tài)性是現(xiàn)代人的一種需要?，F(xiàn)代語(yǔ)篇的多模態(tài)性表現(xiàn)在其同時(shí)使用兩種或兩種以上模態(tài)、兩個(gè)或兩個(gè)以上符號(hào)系統(tǒng)。模態(tài)有視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)、觸覺(jué)模態(tài)、嗅覺(jué)模態(tài)和味覺(jué)模態(tài)。符號(hào)系統(tǒng)除了語(yǔ)言文字之外，還有音響、音調(diào)、字體、布局等伴語(yǔ)言符號(hào)，也包括眼神、面部表情、手勢(shì)等身體語(yǔ)言符號(hào)及由PPT、音響擴(kuò)放、網(wǎng)絡(luò)等現(xiàn)代科學(xué)技術(shù)所構(gòu)成的非身體符號(hào)。例如，現(xiàn)代電視廣告話語(yǔ)不僅涉及聽(tīng)覺(jué)模態(tài)，還涉及視覺(jué)模態(tài)，是一種多模態(tài)話語(yǔ)；而現(xiàn)代雜志中的廣告話語(yǔ)雖然只涉及視覺(jué)模態(tài)，但既有語(yǔ)言文字，又有圖畫(huà)，也是一種多模態(tài)話語(yǔ)。閱讀現(xiàn)代多模態(tài)語(yǔ)篇要求讀者必須具有多模態(tài)識(shí)讀能力，朱永生稱之為多元讀寫(xiě)能力。Williamson認(rèn)為，多模態(tài)識(shí)讀能力指閱讀各種媒體和模態(tài)提供的信息的能力。簡(jiǎn)單地說(shuō)，多模態(tài)識(shí)讀能力就是閱讀各種多模態(tài)話語(yǔ)的能力。

英語(yǔ)多模態(tài)的意義在于它可以將語(yǔ)言和其他相關(guān)的意義資源整合起來(lái)，它不僅可以看到語(yǔ)言系統(tǒng)在意義交換過(guò)程中所發(fā)揮的作用，而且可以看到諸如圖像、音樂(lè)、顏色等其他符號(hào)系統(tǒng)在這個(gè)過(guò)程中所產(chǎn)生的效果，從而使話語(yǔ)意義的解讀更加全面、更加準(zhǔn)確，進(jìn)而發(fā)現(xiàn)人類如何綜合使用多種模態(tài)達(dá)到社會(huì)交際的目的。可以說(shuō)，這類話語(yǔ)分析既可以推動(dòng)我們對(duì)語(yǔ)言學(xué)的研究，同時(shí)也可以加深對(duì)符號(hào)學(xué)的認(rèn)識(shí)。

四、英語(yǔ)多模態(tài)理論要求

(一)提高學(xué)生感官參與

隨著科技的發(fā)展，近些年在教學(xué)界微課和幕課備受關(guān)注，然而大學(xué)生學(xué)習(xí)英語(yǔ)的主戰(zhàn)場(chǎng)還是英語(yǔ)課堂。教師想要提高教學(xué)質(zhì)量，就應(yīng)該選擇使用多樣化的教學(xué)方式來(lái)幫助學(xué)生獲取更多知識(shí)。根據(jù)多模態(tài)理論，在大學(xué)英語(yǔ)課堂中應(yīng)該將互聯(lián)網(wǎng)等技術(shù)充分應(yīng)用，在課堂中建立一個(gè)真實(shí)的情境，利用音頻、文本等為學(xué)生創(chuàng)建一個(gè)輕松學(xué)習(xí)的環(huán)境[6]。比如在學(xué)生對(duì)英語(yǔ)課文進(jìn)行朗讀時(shí)，可以為學(xué)生配上一些輕柔的背景音樂(lè)，教師在講解課文時(shí)，可以為學(xué)生展示出一些相關(guān)的畫(huà)面和音頻，通過(guò)感官刺激來(lái)提高學(xué)生的學(xué)習(xí)效果。

(二)思想意識(shí)的提高

從學(xué)生的整體素質(zhì)來(lái)看，多數(shù)學(xué)生的識(shí)讀能力還比較弱，這與學(xué)校將考試作為需求導(dǎo)向有密切的關(guān)系，學(xué)校將高考作為一切教學(xué)的目標(biāo)，力爭(zhēng)利用最短的時(shí)間最大化地提高學(xué)生的分?jǐn)?shù)。這樣的教學(xué)過(guò)程就會(huì)影響學(xué)生語(yǔ)言能力的培養(yǎng)，多元化語(yǔ)言文化教學(xué)更是距離學(xué)生較遠(yuǎn)。面對(duì)這樣的一種情況，高校教育所面臨的責(zé)任更加重大。

多元識(shí)讀是以多種模態(tài)出發(fā)對(duì)文章內(nèi)容進(jìn)行解析理解，這種模態(tài)超過(guò)了文本所帶來(lái)的信息資源。所以，教師要能夠?qū)ΜF(xiàn)代科技發(fā)展具有實(shí)時(shí)的了解，能夠很好地掌握現(xiàn)代教育技術(shù)，進(jìn)而將這種技術(shù)應(yīng)用到實(shí)際教學(xué)中，結(jié)合教學(xué)內(nèi)容來(lái)確定使用何種模態(tài)形式進(jìn)行文章內(nèi)容的學(xué)習(xí)，進(jìn)而將教學(xué)效率提高到最大化。對(duì)于學(xué)生，不僅僅是知識(shí)的接受者，更是知識(shí)的主動(dòng)學(xué)習(xí)者。培養(yǎng)學(xué)生養(yǎng)成多元識(shí)讀的習(xí)慣，學(xué)習(xí)借助新時(shí)代教育來(lái)提高學(xué)習(xí)效率，進(jìn)而更好地吸收教學(xué)內(nèi)容中所蘊(yùn)含的文化信息。

(三)教材的完善

課堂教學(xué)中必備的工具就是教材，教材是整個(gè)課堂教學(xué)的一個(gè)核心，所以想要對(duì)學(xué)生進(jìn)行多元識(shí)讀能力的培養(yǎng)教學(xué)能夠取得良好效果，必須要編制出多模態(tài)的教材。

首先，針對(duì)多模態(tài)教材，設(shè)計(jì)時(shí)需要符合基礎(chǔ)教育原理和準(zhǔn)則，根據(jù)學(xué)生的學(xué)習(xí)規(guī)律和認(rèn)知水平進(jìn)行教學(xué)內(nèi)容和結(jié)構(gòu)的設(shè)計(jì)，同時(shí)也要將學(xué)生的個(gè)性化培養(yǎng)和共性化教育進(jìn)行結(jié)合，進(jìn)而使得教材內(nèi)容能夠不斷地激發(fā)學(xué)生主動(dòng)學(xué)習(xí)，學(xué)生發(fā)揮其在學(xué)習(xí)中的主體地位，教師發(fā)揮其引導(dǎo)作用。

其次，多模態(tài)教材的整體設(shè)計(jì)要具有時(shí)代特點(diǎn)，其中包含的內(nèi)容要與社會(huì)共同進(jìn)步，將一些落后的信息進(jìn)行更新，將更多多元化的資源引入，使得學(xué)生能夠?qū)⒆约核鶎W(xué)應(yīng)用到實(shí)際生活中，進(jìn)而能夠?qū)W有所悟。

最后，多模態(tài)教材要具有技術(shù)性。隨著科技的進(jìn)步，現(xiàn)代社會(huì)已經(jīng)成為互聯(lián)網(wǎng)時(shí)代，傳統(tǒng)的課堂教育被打破，沒(méi)有了時(shí)間和空間上的嚴(yán)格限制，所以教材的設(shè)計(jì)應(yīng)該能夠?qū)⒁恍┐髷?shù)據(jù)進(jìn)行引入，進(jìn)而能夠做好知識(shí)的拓展。教材的內(nèi)容設(shè)計(jì)要更新傳統(tǒng)的單一圖片化，根據(jù)研究表明，學(xué)習(xí)人員在學(xué)習(xí)的時(shí)候受到各種感官上的刺激時(shí)，能夠?qū)χR(shí)有更好的掌握[7]。所以教材的內(nèi)容應(yīng)該加入一些圖片和動(dòng)作，可以借助多媒體來(lái)進(jìn)行一些聲音和影像的播放，進(jìn)而為學(xué)生營(yíng)造一個(gè)良好的體驗(yàn)環(huán)境，學(xué)生在這個(gè)環(huán)境中學(xué)習(xí)到的內(nèi)容更加真實(shí)直接，進(jìn)而能夠收獲更好的成果。

五、多模態(tài)理論下英語(yǔ)課堂設(shè)計(jì)的改進(jìn)

調(diào)研小組針對(duì)如何開(kāi)展多元識(shí)讀教學(xué)進(jìn)行總結(jié)，最終得出結(jié)論，其中包括了以下幾種方法：

(一)情景操練

情景操練是將課堂中的學(xué)生分為幾個(gè)小組，根據(jù)教材內(nèi)容所給的主題來(lái)創(chuàng)建一個(gè)語(yǔ)言場(chǎng)景，利用不同身份角色來(lái)對(duì)課堂的意義進(jìn)行闡明。比如，在《新編大學(xué)英語(yǔ)》中“新的開(kāi)始”這篇文章，主要講述了作者入學(xué)時(shí)遇到的兩次尷尬經(jīng)歷，雖然語(yǔ)言表達(dá)很生動(dòng)，但是這種單模態(tài)很難給讀者一個(gè)直觀的感受，這時(shí)候可以讓學(xué)生模擬文章中的情況，以生活中的食堂為基礎(chǔ)來(lái)將故事進(jìn)行演繹，學(xué)生們可以根據(jù)自己的理解來(lái)選擇角色進(jìn)行演繹。經(jīng)過(guò)情境操練之后，學(xué)生能夠很自如地將文章的語(yǔ)言進(jìn)行應(yīng)用，進(jìn)而對(duì)語(yǔ)言進(jìn)行真正意義上的識(shí)讀，這也就將識(shí)讀教育的內(nèi)涵體現(xiàn)出來(lái)。

(二)明確指導(dǎo)

明確指導(dǎo)是將教師的主導(dǎo)地位突出出來(lái)，教師在教學(xué)的過(guò)程中要積極干預(yù)，引導(dǎo)學(xué)生對(duì)現(xiàn)有的知識(shí)進(jìn)行積極探索，進(jìn)而完成對(duì)新知識(shí)的拓展學(xué)習(xí)。目前在教育行業(yè)中比較受歡迎的教學(xué)方式是主題式教學(xué)，這是一種多元識(shí)讀學(xué)習(xí)方式。教師根據(jù)文章的主題，讓學(xué)生自由組成小組，小組制作出一個(gè)與文章主題相似的燈片，并且在班級(jí)中進(jìn)行展示。在學(xué)生分組制作燈片的過(guò)程，教師不可以完全大放手，而是應(yīng)該積極地走進(jìn)各個(gè)小組中，在學(xué)生需要幫助的時(shí)候給予指導(dǎo)，引導(dǎo)學(xué)生不斷地思考和探索，進(jìn)而使得學(xué)生能夠展示出一個(gè)良好的燈片設(shè)計(jì)效果。

(三)批評(píng)性框架

批評(píng)性框架是一種學(xué)習(xí)人員將自己所掌握的社會(huì)、文化等多方面的知識(shí)進(jìn)行應(yīng)用，展開(kāi)一種批評(píng)性的討論和詮釋，比如，在大學(xué)英語(yǔ)教學(xué)中，精讀文章就可以將這種批評(píng)性框架進(jìn)行應(yīng)用，進(jìn)而幫助學(xué)生進(jìn)行深層次的識(shí)讀能力的培養(yǎng)。首先第一個(gè)層次就是對(duì)文本文字的識(shí)讀，其次是對(duì)文章語(yǔ)言結(jié)構(gòu)的識(shí)讀，最后是圍繞著主題結(jié)合語(yǔ)境來(lái)進(jìn)行討論，在這個(gè)過(guò)程中學(xué)生能夠?qū)⒆约旱囊庖?jiàn)發(fā)表出來(lái)，進(jìn)行多方面的深層次的批評(píng)性分析，進(jìn)而不斷鍛煉學(xué)生的分析、解決問(wèn)題能力，養(yǎng)成一種批評(píng)性思維。

(四)轉(zhuǎn)換性操練

轉(zhuǎn)換性操練是指教師將設(shè)計(jì)原則進(jìn)行應(yīng)用，進(jìn)而為學(xué)生構(gòu)建出一個(gè)新的理解意義。這是以前面所說(shuō)的三種方法作為基礎(chǔ)的一種升華。在這里是以模態(tài)符號(hào)的應(yīng)用能力作為核心，在文章主題的基礎(chǔ)之上，幫助學(xué)生做一些拓展遷移，在原本的設(shè)計(jì)上加入一些內(nèi)容，進(jìn)而將知識(shí)引入到一個(gè)新的情境中。這里主要使用的是改寫(xiě)和改編來(lái)創(chuàng)造新的主題，同時(shí)學(xué)生能夠產(chǎn)生多元化識(shí)讀的意識(shí)。

(五)明確策略指導(dǎo)

多模態(tài)教學(xué)主張學(xué)生進(jìn)行學(xué)習(xí)設(shè)計(jì)，自主創(chuàng)作，而教師要用通俗的語(yǔ)言解釋不同模態(tài)的意義潛勢(shì)及意義構(gòu)建作用，給學(xué)生提供幫助。教師在學(xué)生進(jìn)行學(xué)習(xí)設(shè)計(jì)前應(yīng)該對(duì)學(xué)生進(jìn)行系統(tǒng)培訓(xùn)，培訓(xùn)內(nèi)容涉及學(xué)習(xí)資源獲取渠道、學(xué)習(xí)設(shè)計(jì)具體步驟、學(xué)習(xí)方法等。教師在對(duì)學(xué)生表現(xiàn)進(jìn)行評(píng)價(jià)后，要及時(shí)給出改進(jìn)建議，并為學(xué)生現(xiàn)場(chǎng)示范，讓學(xué)生有更直觀的感受。例如，學(xué)生對(duì)Love Without Limitation中的情節(jié)進(jìn)行改編表演后，教師應(yīng)該對(duì)學(xué)生進(jìn)行進(jìn)一步引導(dǎo)、給出具體改進(jìn)建議。

(六)關(guān)注文化語(yǔ)境

教師對(duì)學(xué)生的多模態(tài)作品的評(píng)價(jià)不應(yīng)局限于表面的符號(hào)，更應(yīng)關(guān)注其文化語(yǔ)境與內(nèi)涵。在學(xué)生進(jìn)行學(xué)習(xí)設(shè)計(jì)前，教師可以通過(guò)頭腦風(fēng)暴讓學(xué)生了解新課題涉及的文化背景；教師可以通過(guò)文化對(duì)比、語(yǔ)言應(yīng)用情景分析，指導(dǎo)學(xué)生對(duì)影響意義產(chǎn)出的各個(gè)因素進(jìn)行批判性思考。如，在該課中，教師可以帶領(lǐng)學(xué)生對(duì)中西文化中，人們對(duì)愛(ài)情、親情、友情以及生老病死的觀點(diǎn)進(jìn)行對(duì)比分析，以幫助學(xué)生理解文章，引導(dǎo)學(xué)生思考如果自己遇到類似的事情，該如何積極應(yīng)對(duì)。

六、不足之處與今后走向

多模態(tài)話語(yǔ)往往由多種系統(tǒng)構(gòu)成，而每個(gè)系統(tǒng)中又有很多單個(gè)的成分。這些成分當(dāng)中，哪些對(duì)解讀有價(jià)值，哪些沒(méi)有價(jià)值，也是不容易確定的因素。

迄今為止，從事多模態(tài)話語(yǔ)分析的絕大多數(shù)是系統(tǒng)功能語(yǔ)言學(xué)家，而多模態(tài)話語(yǔ)分析是跨學(xué)科的，僅僅依靠語(yǔ)言學(xué)的一個(gè)流派是遠(yuǎn)遠(yuǎn)不夠的。只有其他學(xué)科的學(xué)者共同參與，多模態(tài)話語(yǔ)的意義才能得到更加全面而正確的解讀。

研究英語(yǔ)多模態(tài)，為英語(yǔ)語(yǔ)用功能研究以及對(duì)英語(yǔ)的多元認(rèn)知提供了理論依據(jù)。當(dāng)前經(jīng)濟(jì)發(fā)展背景下，我國(guó)與其他國(guó)家的經(jīng)濟(jì)、文化交往更為密切，英語(yǔ)作為世界通用語(yǔ)言，無(wú)論是其語(yǔ)言多元化的發(fā)展與普及，還是其作為國(guó)家交流的唯一通用工具，英語(yǔ)多模態(tài)研究都顯得十分必要。本文首先對(duì)話語(yǔ)多模態(tài)理論進(jìn)行研究，基于這個(gè)研究之上，對(duì)英語(yǔ)多模態(tài)理論、研究方法、意義以及不足進(jìn)行了剖析，希望能夠?yàn)橄嚓P(guān)學(xué)術(shù)研究者提供一些建議和參考。