淺談多模態(tài)在閱讀與寫作中的應(yīng)用及研究現(xiàn)狀

【摘要】隨著社會的快速發(fā)展，信息和軟件的應(yīng)用在當(dāng)代被廣泛應(yīng)用，人們發(fā)現(xiàn)除了語言文字之外，各種各樣的符號也可以表達(dá)一定的意義，于是外國學(xué)者開始擴(kuò)展了話語分析的手段，提出了多模態(tài)話語分析理論，并把該理論應(yīng)用到了教學(xué)鄰域，取得了良好的成果。多模態(tài)語篇的閱讀和寫作是當(dāng)代交際的必然要求。

【關(guān)鍵詞】 多模態(tài);多模態(tài)教學(xué);閱讀;寫作

【作者簡介】趙香玉（1994.07-），女，蒙古族，河北承德人，云南師范大學(xué)，碩士，研究方向：語用學(xué)。

一、多模態(tài)語篇的閱讀和寫作

多模態(tài)語篇的閱讀和寫作是當(dāng)代交際的必然要求。第二語言作者長期閱讀和書寫各種各樣的多模態(tài)文本（如學(xué)術(shù)海報(bào)、圖畫書、小冊子、漫畫小說、幻燈片、視頻紀(jì)錄片、網(wǎng)頁）。隨著新技術(shù)的出現(xiàn)，二語和多語作者越來越多地能為不同的目的和處理越來越復(fù)雜和復(fù)雜的多模態(tài)文本。例如，英語和學(xué)生在不同的語境中，從精英學(xué)校資源不足的設(shè)置，暴露于多通道組合和外部對說漢語的課堂和說西班牙語的成年人的寫作實(shí)踐，圖片分享社交網(wǎng)站，土耳其青少年學(xué)生的漫畫創(chuàng)作，新加坡青年的數(shù)字故事，中國大學(xué)生的視頻制作，以及烏干達(dá)年輕的學(xué)生和教師對圖畫書的參與。為了應(yīng)對這種參與多通道組合在日常生活中，越來越多的研究人員檢查了二語或多語種作家如何設(shè)計(jì)、解釋、和應(yīng)對多通道文本結(jié)合的話、聲音、和圖片，以及課堂教師如何使用多通道方法支持二語或多語種作家在英語和英語語境。許多在二語語境下進(jìn)行的多模態(tài)作曲研究已經(jīng)探索了多模態(tài)作曲的啟示，并發(fā)現(xiàn)通過多模態(tài)作曲，二語/多語言作者練習(xí)和/或發(fā)展書面和口語英語或傳統(tǒng)語言，提高符號學(xué)意識，體驗(yàn)真實(shí)的寫作機(jī)會和學(xué)校寫作的多種途徑，探索和傳達(dá)身份;培養(yǎng)媒介和聲音，提高觀眾意識和創(chuàng)作目的，批判性地參與生活中的社會政治問題。

這些研究試圖通過借鑒不同的理論視角來闡釋二語/多語言學(xué)習(xí)者的多模態(tài)創(chuàng)作，如多文字學(xué)、系統(tǒng)功能語言學(xué)和社會符號學(xué)等。盡管閱讀和寫作多模態(tài)文本是必要的，二語多模態(tài)寫作的研究正在興起，但一些學(xué)者仍然對二語和多語作者的多模態(tài)寫作持有懷疑態(tài)度，因?yàn)樗麄冋J(rèn)為二語寫作研究需要以語言發(fā)展為中心。類似的，一些教師對在他們的二語和多語言課堂中采用多模態(tài)寫作持有矛盾態(tài)度或抵制態(tài)度，因?yàn)樗麄兛赡苡X得多模態(tài)寫作遠(yuǎn)離了他們的課堂現(xiàn)實(shí)，并且因?yàn)樗麄內(nèi)狈Y源、時間和多模態(tài)寫作教學(xué)的培訓(xùn)。學(xué)者、教師和學(xué)生體驗(yàn)或感知到當(dāng)代交流的現(xiàn)實(shí)（更多的基于多媒體和多模式）和長期持有的寫作信念和實(shí)踐（基于印刷的語言實(shí)踐）之間的沖突和緊張。在課堂中采用多模態(tài)組合為第二語言寫作教學(xué)提出了新的挑戰(zhàn)和問題。

在這個多模式、多媒體、多語言的傳播時代，第二語言寫作研究和教學(xué)法的探索是必要的、及時的。主動將研究擴(kuò)展到二語語境下的多模態(tài)組合教學(xué)法的復(fù)雜性。它有助于批判性地考查多模態(tài)意義生成實(shí)踐的話語、社會和文化過程，以促進(jìn)二語/多語寫作領(lǐng)域的多模態(tài)構(gòu)成研究和教學(xué)。

二、多模式組合、模式和多模式

多模式組合、模式和多模式——它們對理解多模式組合非常重要。多模態(tài)構(gòu)成泛指將多種符號資源，包括語言和其他模式（如圖像、聲音、視頻）設(shè)計(jì)成文本進(jìn)行表達(dá)和傳播（Kress， 2003;Kress & van Leeuwen， 2001）。文本是“一種復(fù)雜的符號實(shí)體”（Kress， 2011），它包括語言和非語言意義創(chuàng)造資源（如圖像、聲音），超越了僅基于字母字符的傳統(tǒng)單音書寫形式。從社會符號學(xué)的角度看，模式是指一個社會群體為交際的文化實(shí)踐所創(chuàng)造和使用的語言和非語言意義生成資源。模式可以包括語言、視覺、聽覺、空間和手勢內(nèi)容。在二語寫作研究中，語言模式和視覺模式考查得最多，但聽覺模式、空間模式和手勢模式對交流都很重要。每種模式具有不同的生成意義的模式資源;例如，語言有詞匯語法和單詞，而圖像有色彩、光線和透視的氛圍。Mode是單獨(dú)使用還是與其他模式組合使用，表達(dá)不同的含義（Bezemer & Kress， 2016）。模式的概念在多通道組合的研究尤其重要，因?yàn)槎嗤ǖ澜M合的一個關(guān)鍵方面的研究是探討符號模式，如何相互作用，導(dǎo)致意思一個多通道的文本對其作為一個整體，考慮的含義在兩個或兩個以上co-present符號模式，例如，視覺/圖像和口頭/語言，結(jié)合在這樣一種新形式的意義可能獲得“（Wales，2006）。多模態(tài)也需要解釋，以防止一些混淆。多模態(tài)意味著以多種方式呈現(xiàn)。它涉及多種模式，不一定是多種模式。

三、多模態(tài)的不同主題

1. 擴(kuò)展語言和非語言符號庫多模態(tài)組合不再是一種選擇。學(xué)生需要能夠解釋、設(shè)計(jì)和評價多模態(tài)文本。換句話說，他們應(yīng)該能夠把恰當(dāng)?shù)姆枌W(xué)資源組合成多模態(tài)的合奏（文本）。因此，在二語寫作中，非語言模式與語言模式同樣重要，這一事實(shí)尚未得到充分證實(shí)或承認(rèn)。在擁抱多模態(tài)組合時，我們對多模態(tài)組合的啟示持批判態(tài)度，同時對多模態(tài)組合保持平衡的觀點(diǎn)（例如，多模態(tài)組合用于增強(qiáng)非語言模式意識和擴(kuò)展語言資源）。本期特刊強(qiáng)調(diào)了二語或多語作者培養(yǎng)多模態(tài)交際能力的重要性;然而，這并沒有忽視語言發(fā)展的重要性。這個問題探討了通過多模態(tài)組合的語言發(fā)展和多模態(tài)組合的元語言發(fā)展。此外，還強(qiáng)調(diào)了需要一種互補(bǔ)的方法來整合語言和其他模式來理解內(nèi)容領(lǐng)域的二語寫作。

2. 探索多模態(tài)創(chuàng)作任務(wù)的過程和結(jié)果中另一個可見的主題是，為了探索多模態(tài)創(chuàng)作的構(gòu)成要素，考查作者在產(chǎn)品之外的多模態(tài)創(chuàng)作過程（如頭腦風(fēng)暴、創(chuàng)作和分享文本）的重要性。鑒于目前對多模態(tài)合成過程和結(jié)果的研究還很少，我們的綜合研究有助于從寫作過程的角度更好地理解多模態(tài)合成的本質(zhì)。實(shí)證研究，通過關(guān)注影響第二語言作者模式選擇的語境因素，以及為第二語言習(xí)得編寫活動和生成文本來考查第二語言作者的寫作過程。此外，這些研究強(qiáng)調(diào)了第二語言作者在寫作過程中對過程和產(chǎn)品進(jìn)行多重評估的重要性（Hafner & Ho）。

3. 關(guān)于多模態(tài)寫作評估的問題，這是二語寫作專業(yè)人士面臨的最具挑戰(zhàn)性和緊迫性的問題之一。在認(rèn)識到將多模態(tài)寫作任務(wù)融入第二語言寫作課程的重要性的同時，許多專業(yè)人士一直在努力尋找評估多模態(tài)文本的有效方法。

4. 增強(qiáng)多模態(tài)教學(xué)法和教師知識要在探索多模態(tài)作曲實(shí)踐的同時，對多模態(tài)作曲教學(xué)方法的穩(wěn)健實(shí)施。美國的六年級課堂，澳大利亞的普通小學(xué)課堂，香港的大學(xué)EAP課堂。重要的是，這三項(xiàng)研究的研究者都與課堂教師合作，計(jì)劃了關(guān)于多模態(tài)作曲的課程單元。這些合作提供了寶貴的見解，讓教師了解語言之外的其他符號模式，以及教師可以在教學(xué)中使用的教學(xué)知識。我們的特刊強(qiáng)調(diào)了一個事實(shí)，即學(xué)習(xí)和實(shí)施多模式組合教學(xué)法是具有挑戰(zhàn)性的，但應(yīng)對這些挑戰(zhàn)的合作行動，將有助于第二語言寫作社區(qū)設(shè)想改變寫作教學(xué)法的方法。

四、結(jié)語

未來的方向和啟示：我們探討了在二語和多語言學(xué)習(xí)和教學(xué)環(huán)境中的多模態(tài)構(gòu)成的復(fù)雜性。關(guān)于多模態(tài)作曲的研究和教學(xué)的關(guān)鍵問題。拓寬二語寫作研究和教學(xué)法的議程，通過收集經(jīng)驗(yàn)和概念論文，邀請二語寫作專業(yè)人士考慮多模態(tài)寫作研究和教學(xué)法出現(xiàn)的可能性和挑戰(zhàn)。例如，盡管這個問題探討了不同語境下的多模態(tài)組合，但所有的文章都考查了在課堂上用單一目標(biāo)語言（我們的例子是英語）進(jìn)行語篇生成。沒有人探討在翻譯實(shí)踐中的多模態(tài)組合，為身份和機(jī)構(gòu)發(fā)展而進(jìn)行的多模態(tài)組合，或英語以外語言中的多模態(tài)組合。

參考文獻(xiàn)：

[1]Bezemer， J.， & Kress， G. Multimodality， learning and communication： A social semiotic frame[J]. New York： Routledge， 2016.

[2]Cimasko， T.， & Shin， D. Resemiotization and authorial agency in L2 multimodal writing[J]. Written Communication， 2017，34（4）：387–413.

[3]Kress， G. Literacy in the new media age[J]. London： Routledge， 2003.

[4]Kress， G. Partnerships in research： Multimodality and ethnography [J]. Qualitative Research， 2011，11（3）：239-260.

[5]Kress， G.， & van Leeuwen， T. Multimodal discourse： The modes and media of contemporary communication[J]. London： Arnold， 2001.

[6]Halliday， M. A. K. Language as social semiotic. The social interpretation of language and meaning[J]. London： Edward Arnold， 1978.

[7]Hirvela， A.， & Belcher， D. Reading/writing and speaking/writing connections： The advantages of multimodal pedagogy[J]. 2016.

[8]Hafner， C. Embedding digital literacies in English language teaching： Students digital video projects as multimodal ensembles[J]. TESOL Quarterly， 2014，48（4）.

[9]Wales， P. Telling tales in and out of school： Youth performativities with digital storytelling[J]. RiDE： The Journal of Applied Theatre and Performance， 2012，17（4）.