外語課堂多模態(tài)語篇設計及其功能理據(jù)探究

吳利琴

（安徽財經(jīng)大學 外國語學院，安徽 蚌埠 233030）

一、引言

外語課堂多模態(tài)語篇設計離不開教學設計（instructional design）。所謂教學設計，是指“系統(tǒng)性、反思性過程，把學習與教學原則轉(zhuǎn)換成教學材料、教學活動、信息資源和信息評估等計劃的過程”（Smith&Ragan，1993/1999：2），是“教育家在特定環(huán)境下為特定學習者決定最佳學習方法的過程”（IEEE，2001：1），是“踐行創(chuàng)造教育經(jīng)歷，使得知識和技巧習得的效率更高，效果更有效、更引人入勝”（Merril et al，1996）。

由于多話語的出現(xiàn)，設計被賦予新的意義，表示“有意識選擇模態(tài)和模式來表現(xiàn)現(xiàn)實”的過程，是制造語篇和識讀語篇的過程，是利用可利用的資源進行社會交際的過程（張德祿，2011）。制造語篇和閱讀語篇的過程都是設計的過程，這兩個過程在很大意義上顛覆了寫作和書本統(tǒng)治時代的社會和符號的安排?，F(xiàn)在是新的影像和屏幕時代。現(xiàn)在的主要媒體是屏幕，從小型游戲機，移動電話、個人電腦，到電視、視頻。過去，書本和頁面是寫作的場地，寫作邏輯構(gòu)成了頁面和書本的順序；現(xiàn)在，屏幕是影像的場地，影像邏輯構(gòu)成了屏幕的順序和布局（Kress，2004）。

國內(nèi)外眾多的語言學研究表明：系統(tǒng)功能語言學是多模態(tài)語篇設計的理論基礎（Halliday，1978，1985/1994；Halliday & Matthiessen，2004；Bateman，2011；朱永生，2007）。從Saussure的“語言是社會事實”到Halliday的“語言是社會符號”（胡壯麟，2007），再到Bateman（2011）的多模態(tài)和體裁，都留下系統(tǒng)功能語言學的烙印。諸多學者（Kress et al.，1997；Baldry & Thibault，2006；Matthiessen，2007；Royce，2007）認為，所有的符號模態(tài)都能表達概念意義、人際意義和語篇意義，都有元功能特征（楊信彰，2009）。

二、外語課堂多模態(tài)語篇設計

隨著社會的進步和科學技術(shù)的發(fā)展，外語課堂教學不再以單模態(tài)語篇形式呈現(xiàn)，而是以多模態(tài)語篇形式呈現(xiàn)。生物學家的研究成果告訴我們，人類在演化過程中獲得的視覺、聽覺、嗅覺、味覺、觸覺等5種不同的感知通道（sensory channel）衍生了視覺模態(tài)（visual modality）、聽覺模態(tài)（auditive modality）、觸覺模態(tài)（tactile modality）、嗅覺模態(tài)（olfacotry modality）和味覺模態(tài)（gustatory modality）等5種交際模態(tài)（朱永生，2007）。與外語課堂語篇教學聯(lián)系緊密的是視覺、聽覺和動覺①Howard Gardner在《智力架構(gòu)：多元智能理論》一書中指出，活動（如舞蹈、動手術(shù)）需要極大的動覺智慧：用身體創(chuàng)造（或做）東西。20世紀40年代，Margaret H’Doubler提出了動覺學習，并將動覺學習定義為通過運動和舞蹈表達意義的人體能力。動覺學習（也稱觸覺學習）是一種學習方式，這種學習方式要求學生不僅僅要聽老師講課，或觀看老師示范，還要親身參與。（kinesthetic）/觸覺模態(tài)。

我們在對外語課堂多模態(tài)語篇設計時，首先對外語課堂的各種模態(tài)以及語篇給予定義?！澳B(tài)（modality）是可對比和對立的符號系統(tǒng)”（Scollon& Levine，2004），指交流的渠道和媒介，包括語言、技術(shù)、圖象、顏色、音樂等符號系統(tǒng)（朱永生，2007）。語篇不僅僅指書面語或口語，它是情景語境中起作用的任何一個語言實例（Halliday，1985：10）。多模態(tài)語篇指使用多符號（multi-semiotic）模態(tài)，如語言、圖片、布局、色彩、排版等，且這些模態(tài)共同制造語篇意義。所有意義制造的活動，如早期的拼寫，課堂的互動，以及科研論文等，都是多模態(tài)，因為它們使用的交際模態(tài)不止一個（Kress，1997；Kress and van Leeuwen，2001；Lemke，1998）。

我們認為聽覺、動覺/觸覺中的語篇表達媒介在課堂教學中起著不可忽視的作用。視覺模態(tài)涉及的符號系統(tǒng)有課本、網(wǎng)上材料、錄像、圖片、文字等；聽覺模態(tài)涉及的內(nèi)容有聽錄音、收音機、電視、老師授課、有聲讀物等；動覺/觸覺模態(tài)主要指學生親身體驗老師這個角色，自己動腦筋備課、做PPT，對自己的上課內(nèi)容進行評價等。傳統(tǒng)的教學法以授課和討論為主，語篇設計較單一，著重聽覺刺激。現(xiàn)在我們認識到視、聽、動覺/觸覺在教學中的重要性，語篇設計以多模態(tài)為背景。

我們以《高級英語》課堂教學為例。我們使用的教材是李觀儀主編的《新編英語教程》第6冊。根據(jù)這門課程特點和教學要求，我們選擇以教材為主線，以視覺影像、網(wǎng)絡、圖片素材、音頻、視頻素材等媒體為輔線的國學知識②國學知識博大精深，內(nèi)容廣泛，既有傳統(tǒng)的歷史文化與學術(shù)，也有現(xiàn)代的文化和學術(shù)?！陡呒売⒄Z》課堂主要涉及的國學知識有傳統(tǒng)的哲學、文學、禮俗學、倫理學等。進 《高級英語》課堂的教學，選擇的體裁包括詩歌、散文、小說等。這么做的主要原因是：1）我們認為教材并不是權(quán)威，不要照本宣科③Kress&Van Leeuven(2001:51)提出了五個主要的教學目標：（1）把教材看做權(quán)威，照本宣科；（2）把教學看做知識傳授，設法幫助學生理解；（3）把教學看做一種程序，幫助學生掌握技能；（4）把教學看做一種經(jīng)歷，讓學生參與實踐；（5）把教學看做一種手段，幫學生發(fā)展表意資源（見張德祿，2011）。。外語課堂除了規(guī)定的印刷、錄音、影像等制品（教材）外，還要根據(jù)課程所需，有選擇性地補充一些與課文有關的不同體裁的視、聽、動覺/觸覺模態(tài)語篇教學材料。2）在我國整體國力得到大幅度提升的今天，在英語課上適量地增加一些用英語表達的國學知識，使英語專業(yè)學生熱愛優(yōu)秀的中國傳統(tǒng)文化，具有中西方文化情懷。通過這樣的語篇設計，加強學生對中國傳統(tǒng)文化的認知、理解、傳承、創(chuàng)新和輸出。

《高級英語》多模態(tài)語篇設計內(nèi)容包括：表達語篇的媒介、模態(tài)的3個形式、與不同模態(tài)對應的3個元功能。通過對《高級英語》課程的觀摩教學，以及視頻教學過程的反復觀看，我們發(fā)現(xiàn)，使用的模態(tài)不同，語篇表達媒介就不同，它們的概念功能、人際功能和語篇功能也有所不同（見表1）。

表1 《高級英語》多模態(tài)語篇設計

一學期結(jié)束后的學生問卷調(diào)查表明：國學知識進《高級英語》課堂的多模態(tài)語篇設計很大程度上提高了學生的學習興趣、學習主動性，尤其是在教師的角色扮演、自己動手做PPT、對自己的授課結(jié)果進行互相評估和自我評估方面，95%以上的學生認為受益匪淺。這種多模態(tài)語篇設計不僅有助于他們對書本知識和國學知識的掌握，還培養(yǎng)了他們的合作精神、發(fā)現(xiàn)問題和解決問題的能力、獨立思考、以及創(chuàng)新能力等。學生的雙語知識和人文素質(zhì)得到了很大程度的提升。

在一學期的實驗中，視、聽、動覺/觸覺模態(tài)和語篇表達媒介之間相互作用，貫穿于整個外語課堂教學。正如系統(tǒng)功能語言學（Halliday，1978）中的語言描述的中心是在語言功能上，而不是形式上，更多的注意力是在制品（artifact）上，而不是在只帶有狹義解釋的語言的語篇上。“多模態(tài)和社會符號方法通過社交的使用，從剛開始的視覺交流、手勢、行為，發(fā)展成相互關聯(lián)的或部分關聯(lián)的符號系統(tǒng)，其發(fā)展方式和語言一樣”（Kress，Jewitt，Ogborn and Tsatsarelis，2001：44）。

三、相關功能理據(jù)

外語課多模態(tài)語篇設計的功能觀是以系統(tǒng)功能語言學為基礎。Halliday受導師Firth的系統(tǒng)觀念的影響，認為語言是社會符號系統(tǒng)，是迫于語言系統(tǒng)必須為之服務的特別功能的壓力進化而來。Halliday創(chuàng)造的系統(tǒng)功能語言學認為，所有的語言都有元功能的屬性，即概念、人際和語篇功能。除了Halliday的系統(tǒng)功能語言學，還有其他系統(tǒng)功能理論，它們都對外語課堂多模態(tài)語篇設計有很大影響。

（一）Martinec的運動的銜接

基于Halliday&Hasan（1976）、Hasan（1989）以及Martin （1992）的語言研究，Radan Martinec（1998：161-180）認為：系列運動 （stretches of movement）可以被視作是由連詞（conjunction）、成分銜接（componential cohesion）和指稱（reference）等銜接資源粘合起來的一個整體。這樣一個銜接整體或許可被稱作運動語篇（action text）。在系統(tǒng)功能符號語言學（systemic-functional semiotics）里，符號系統(tǒng)（無論是行為系統(tǒng) 、語言系統(tǒng)、圖像系統(tǒng)，音樂系統(tǒng)、還是符號體系間的系統(tǒng)）圍繞三個不同意義構(gòu)建，即概念意義、互動意義和語篇意義。概念意義用來構(gòu)建和分析我們對世界的經(jīng)驗和基本邏輯關系；互動意義把各種行為進行分類，相互作用者之間通過這些行為相互聯(lián)系，并對行為或者整個語篇作出判斷；語篇意義指符號學模式（semiotic modes）用各種手段生產(chǎn)出一個銜接的語篇，而不是一個隨機的行為集合。這三個元功能之間相互獨立，相互聯(lián)系，它們被塑造成若干套特征或體系，這些特征或體系代表著有意義的選擇，并連接成網(wǎng)絡。

在語篇元功能里，銜接是語篇意義資源。在語言系統(tǒng)內(nèi)可以通過連接詞、詞匯銜接、指稱、替代、省略等實現(xiàn)語篇的銜接。銜接原理也適用于運動的銜接。連接系統(tǒng)表明整體運動中的銜接關系，它們是參與者、過程和環(huán)境的布局。成分關系和指稱勾勒出連接各個運動部分的關系，即參與者之間的關系，或者過程之間的關系，或者環(huán)境之間的關系。運動中的連接關系具有時間性 （temporal）和比較性（comparative）。時間關系使運動按照連續(xù)性和同時性互相關聯(lián)，要么是一個接一個的運動，要么是同時運動。比較關系使運動按照相似和對比互相關聯(lián)，要么是相似運動，要么是沿著某個明確的方向相互之間的對比運動。運動的連接關系可以是并列、從屬關系。成分之間的關系有重復（參與者、過程，或者環(huán)境重復）、上下義關系、部分-整體關系、同義關系、反義關系等。指稱關系涉及到連續(xù)提到的參與者或者環(huán)境的身份關系，或者部分提到的參與者或者環(huán)境的身份關系。

在多層面的銜接里，運動段（phrase）的細節(jié)分析很重要，這個運動段類似一段語篇，在經(jīng)驗意義、人際意義和語篇意義上達到一致。我們在分析“某人步行”這個運動時，其細節(jié)程度分析就低于把這個運動作為連續(xù)的“左腿向前運動”^“右腿向前運動”的細節(jié)程度分析。Martinec（1998：161-180）認為，銜接是多層面的，細節(jié)分析程度對銜接分析至關重要，因為它決定著每種情況下分析單位的內(nèi)容，也決定著參與者、過程、環(huán)境的內(nèi)容，以及由銜接關系帶來的結(jié)構(gòu)問題。

Martinec的運動的銜接，以及Martinec（2005）的多模態(tài)話題研究、Martinec&Salway（2005）的影像-語篇關系研究使我們對不同模態(tài)的元功能有了新的認識和理解。如對動覺/觸覺模態(tài)的元功能在外語課多模態(tài)語篇設計中的體現(xiàn)和理解。

（二）Royce的符際互補

Royce以1993年3月27日的經(jīng)濟學人雜志里刊登的一篇題為 “仍需攀登的山脈”（Mountains still to climb）的文章為例，提出了符際互補理論。視覺模式和言語模式同時出現(xiàn)在以頁面為基礎的多模態(tài)語篇中時，產(chǎn)生一個語義間互補的語篇現(xiàn)象，這個關系可以稱作符際互補（intersemiotic complementarity）。

Royce的符際互補審視了言語和視覺交流模式在一個語篇范圍內(nèi)意義的表達方式上互補的命題，符際互補是通過各自模式所特有的語言和視覺手段實現(xiàn)。如閱讀（觀看）一個視覺材料同時涉及三個互動成分：概念成分、人際成分和語篇成分。這三個成分分別是被表征的參與者（represented participants），互動的參與者（interactive participants）和視覺連貫的結(jié)構(gòu)成分（coherent structural elements）。被表征的參與者指的是所有實際出現(xiàn)在視覺材料中的成分或?qū)嶓w，無論是有生命的，還是無生命的，它們都表征著所示的情況、當前的世界觀或世界存在的狀態(tài)?；訁⑴c者指的是在閱讀一個視覺材料過程中相互作用的參與者們。一個是美術(shù)設計者或繪畫者，另外一個是讀者或觀看者，這代表著觀看者和視覺材料之間的社會關系（Royce，2007：66-67）。結(jié)合Kress&van Leeuwen（1990：16–18）的視覺圖像，Royce認為，除上述兩類參與者外，還有視覺構(gòu)圖（visual compositional）功能，這對應著Halliday的語篇功能。視覺構(gòu)圖指的是視覺材料或語篇的布局給人以結(jié)構(gòu)上連貫的感覺。這些布局成分是被表征成分和互動成分的有機結(jié)合，也表征了一個依賴于特定文化和意識形態(tài)的世界觀的構(gòu)建，而這個世界觀是美術(shù)設計者或繪畫者在那個時刻和那個語境想要表達的內(nèi)容。

Royce（2007：103）發(fā)現(xiàn)，符際互補可能通過下列中的一個或者多個特征發(fā)生：1）通過符際語義關系，兩個模式的概念意義在詞匯-語義方面相互關聯(lián)時：重復、同義關系、反義關系、上下義關系、部分-整體關系、搭配；2）通過符際語言的強化（reinforcement of address）以及通過符際態(tài)度的一致或不一致（情態(tài)modality）關系，兩個模式的人際意義相互關聯(lián)時；3）通過信息值、凸顯、視覺框架、視覺同義關系和潛在的閱讀路徑等不同的構(gòu)圖關系，構(gòu)圖意義得以整合（integrated）時。圖像-文字的元功能接口，闡釋了多模態(tài)語篇的概念功能、互動功能和構(gòu)圖功能。

(三）Kress&van Leeuwen的視覺語法

在 Halliday的系統(tǒng)功能語言學的基礎上，Kress&van Leeuwen（1996：2）創(chuàng)建了視覺設計語法（grammar of visual design）。他們認為視覺設計語法和語法一樣都超出正確性的形式規(guī)則，是一種表示經(jīng)驗模式的手段，它使人類能夠建立一個現(xiàn)實畫面，去理解他們周圍世界和內(nèi)心世界所發(fā)生的一切。概念功能、人際功能和語篇功能適用于所有的符號模式。

視覺顯示具有和其他交流制品一樣功能要求的主題，這樣的制品有三個元功能域的意義管理。如一張照片可以同時代表正發(fā)生的事情，對觀看者的人際吸引力（當照片中的人物“走出”畫面直視著觀看者時）；受到語篇布局影響，視覺凸顯、位置、題材等使得組合成分中的某些事物更為突顯，而另外一些事物又不凸顯。視覺制品中的各種意義類型都有明確的語法，這樣的視覺設計語法承擔一個特別的任務，即這些語法需要設計出各種詳細的選擇系統(tǒng)，用來表明從其元功能里選擇出來的各種抽象意義的范圍。

像語言結(jié)構(gòu)一樣，視覺結(jié)構(gòu)指向特定的經(jīng)驗解釋和社會互動。多模態(tài)語篇以不同模式傳遞信息，這些模式包括視覺影像、圖案元素、書面語以及其他的符號資源（Jewitt&Kress，2003），其中書面語模式和圖案模式受不同邏輯學的支配。書面語篇受時間邏輯或時間序列支配；而視覺影像受空間邏輯、組織安排和同時性支配（Kress，2003）。書面語中，意義來自時間序列中的位置，而視覺影像中的意義來自空間關系或視覺語法 （Kress&van Leeuwen，1996）。

任何一個符號模式都必須能夠表征人類所經(jīng)歷世界的各個層面。換句話說，就是必須能夠表征在表征系統(tǒng)以外的世界里的物體和物體之間的關系（Kress&van Leeuwen，1996：42）。

在概念元功能里，視覺信息被分解為若干成分，類似把語言小句分成過程、過程中的參與者、過程中的事件發(fā)生環(huán)境；可視化配置的分類類似于語法配置的功能語言學解釋中的分類，但又有不同之處。特別值得一提的是，他們對“敘事（narrational）”視覺和“概念（conceptional）”視覺進行了定義。前者從視覺描述行為 （Kress&van Leeuwen，1996：73-75）， 后者描述了分類或分析 （Kress&van Leeuwen，1996：88-89;107）。這種分解視覺被眾多學者采用，如 Baldry&Thibault（2006：122）的“視覺及物框架”（visual transitivity frames）、Royce（2007：73）的 “視覺信息成分”（visual message elements—VME’s）等。

就人際元功能而言，Kress&van Leeuwen提出了評價材料和觀眾之間相互關系的視覺材料的若干可能性。視覺屬性可以用來構(gòu)建特別的人際關系，諸如相對影響力、參與程度和吸引力等。如視覺中所描述的人的凝視方向（看觀眾或扭頭看別處），或者攝影機的相對角度、坡度（往上看、往下看）。這些隱含意義的諸多方面一直以來都是理論和實踐的焦點。除此之外，與聽覺有關的有聲音和其他符號間的情感和意義的交流。與動覺/觸覺有關的有互相作用的社會距離意義；身體在空間的移動交流；對行為或語篇的判斷等。

語篇元功能是Kress&van Leeuwen理論中最重要的內(nèi)容。意義制造（meaning-making）的各種資源推動組織原則，這些原則相互關聯(lián)，隨時用來分析頁面的構(gòu)圖（compostition），為分析一個符號產(chǎn)品內(nèi)的材料組合 （如一個頁面）提供工具。Kress& van Leeuwen提出的語篇元功能內(nèi)的意義制造潛勢（meaning-making potential）有三個領域，即信息值（information value），凸顯 （salience）和 框架（framing）。

信息值有中心構(gòu)圖 （centered compositions）和邊緣構(gòu)圖（polarized compositions）之分。高凸顯通常配有一個或者多個感知特征。高程度框架指的是在視覺加工品中所描述的一個成分和另外其他視覺成分之間的最大限度的分離?！耙阎?、“新”、“理想”和“真實”這些術(shù)語用來區(qū)分在某些構(gòu)圖條件下一個視覺加工品的特別空間區(qū)域。Kress&van Leeuwen提出了8種構(gòu)圖結(jié)構(gòu)的可能。把所有的組合放在一起，就產(chǎn)生那種所需的視覺語法（visual grammar），類似語言單位的普通開發(fā)（Bateman，2011：38-45）。

以多模態(tài)形式表現(xiàn)大綱是后現(xiàn)代狀態(tài)的表現(xiàn)，這個表現(xiàn)重視視覺文化，“使得本身不可視化的東西呈可視化的傾向……”（Mirzoeff，1999：5）。Kress&van Leeuwen（1996）的視覺影像語言學研究為視覺模態(tài)在教學中的重要地位打下基礎。

四、結(jié)語

21世紀的外語課堂教學正在發(fā)生巨大的變化，使用易于意義表達的（諸如視覺、聽覺和動覺）多模態(tài)的數(shù)字工具，使得語篇的使用和創(chuàng)作又有了新的方法 （Kress，1999;2003;New London Group，1996）。多模態(tài)語篇設計的探討離不開系統(tǒng)功能理論的探討。論文所涉及的功能理論也只是冰山一角，還有諸多多模態(tài)制品的功能研究沒有提及，如O’Toole（1994）的有關語言意義和其符號模式之間關系的藝術(shù)語言學研究，以及O’Halloran（2004c）、Kaltenbacher（2004）等學者對現(xiàn)代系統(tǒng)功能領域的各種多模態(tài)制品的研究。

[1]Baldry，A.and P.Thibault.Multimodal Transcription and TextAnalysis：A Multimedia Toolkitand Coursebook with Associated On-Line Courses[M]. London and Oakville：Equinox，2006

[2]Bateman，John A.Multimodality and Genre：A Foundation for the Systematic Analysis of Multimodal Documents[M].Palgrave Macmillan， 2011

[3]Halliday，M.A.K.Language as a Social Semiotic [M].London：Edward Arnold，1978

[4]Halliday，M.A.K.An Introduction to Functional Grammar[M].London：Edward Arnold，1985/1994（2nd ed.）/2004（by Halliday&Matthiessen）.

[5]Halliday，M.A.K.& Hasan，R.Cohesion in English[M].London：Longman，1976

[6]Hasan，R.The Texture of a Text[A].In M.A.K. Halliday&R.Hasan，Language，Context and Text [C].London：Oxford University Press，1989：70-96

[7]IEEE.Reference Guide for Instructional Design and Development，available online at www.ieee. org.，2001

[8]Jewitt，C.，& Kress，G.R. （eds.）.Multimodal Literacy[C].New York：Peter Lang，2003

[9Kaltenbacher，M.Perspectives on Multimodality：from the Early Beginnings to the State of the Art [J].Information Design Journal，2004，12（3）：190-207

[10]Kress，G.R.Reading Images：Multimodality，Representation and New Media.A paper presented at Expert Forum for Knowledge Presentation，2004

[11]Kress，G.R.Issues for a Working Agenda in Literacy[A].In O’Brien，T.（ed.）.Language and. Literacies [C].San Francisco： Jossey Bass Publishers，1999

[12]Kress，G.R.Literacy in the New Media Age[M]. London：Routledge，2003

[13]Kress，G.R.Before Writing：Rethinking the Paths to Literacy[M].London：Routledge，1997

[14]Kress，G.R.，Leite-García and T.van Leeuwen. Discourse Semiotics [A].In Teun A.van Dijk（（ed.）.Discourse as Structure and Process[C]. New York：Sage Publications，1997

[15]Kress，G.R.，&van Leeuwen，T.Reading Images [M].Geelong，Victoria：Deakin University Press，1990

[16]Kress，G.R.&van Leeuwen，T.Reading Images：The Grammar Of Visual Design [M].London：Routledge，1996

[17]Kress，G.R.& Van Leeuwen，T.Multimodal Discourse：The Modes and Media of Contemporary Communication[M].London：Arnold，2001

[18]Kress，G.R.，Jewitt，C.，Ogborn，J.&Tsatsarelis，C.MultimodalTeaching and Learning： The Rhetoric of the Science Classroom[M].London：Continuum，2001

[19]Lemke，Jay.Multiplying Meaning：Visual and Verbal Semiotics in Scientific Text[A].In J.Martin and R.Veel（eds.）.Reading Science：Critical and Functional Perspectives on Discourses of Science [C].London：Routledge.1998：87-113

[20]Martin，J.R.English Text：System and Structure [M].Amsterdam：Benjamins，1992

[21]Martinec，Radan. Cohesion in Action [J]. Semiotica.1998，120（1-2）：161-180

[22]Martinec，Radan.Topics in Multimodality[A].In J. Webster，R.Hasan，and C.M.Matthiessen（eds.）. Continuing Discourse on Language：A Functional Perspective（Vol.1）[C].London and New York：Equinox：2005：157-181

[23]Martinec，Radan&Andrew Salway.A System for Image-Text Relations in New（and Old）Media[J]. Visual Communication.2005，4（3），337-371

[24]Matthiessen，C. The Multimodal Page： A Systemic Functional Exploration[A].In T.Royce and W.Bowcher （eds.）.New Directions in the Analysis of Multimodal Discourse[C].New Jersey and London：Lawrence Erlbaum Associates，2007

[25]Merrill，M.D.，Drake，L.，Lacy，M.J.，Pratt，J.，& ID2_Research_Group. Reclaiming Instructional Design[J].Educational Technology，1996：36（5）：5-7

[26]Mirzoeff，N.An Introduction to Visual Culture [M].London：Routledge，1999

[27]O’Halloran，Kay L.（eds.）.Multimodal Discourse Analysis：Systemic-Functional Perspectives[C]. London：Continuum （Open Linguistics Series），2004c

[28]O’Toole，M.The Language of Displayed Art[M]. London：Leicester University Press，1994

[29]Royce，T. Intersemiotic Complementarity： A Framework for Multimodal Discourse Analysis[A]. In Royce，T.and W.Bowcher（eds.）.New Directions in the Analysis of Multimodal Discourse[C].New Jersey and London： Lawrence Erlbaum Associates，2007

[30]Scollon，Ron & Levine，Philip. Multimodal Discourse Analysis as the Confluence of Discourse and Technology[M].Washington DC.：Georgetown University Press，2004

[31]Smith，P.L.&Ragan，T.J.Instructional Design [M].New York：Macmillan，1993/1999（edition by Wiley&Sons）

[32]The New London Group.A Pedagogy of Multiliteracies： Designing Social Futures[J]. Harvard Educational Review，Spring，1996，66（1）：60-92

[33]胡壯麟.社會符號學研究中的多模態(tài)化[J].語言教學與研究，2007，（1）：1-10

[34]楊信彰.多模態(tài)語篇分析與系統(tǒng)功能語言學[J].外語教學，2009，（4）：11-14

[35]張德祿.多模態(tài)外語教學的設計與模態(tài)調(diào)用初探[J].中國外語，2011，（3）：48-75

[36]朱永生.多模態(tài)話語分析的理論基礎與研究方法[J].外語學刊，2007，（5）：82-86