外語數(shù)字教材的多模態(tài)符號設(shè)計(jì)研究

〔摘要〕數(shù)字教材是教育信息化革命的產(chǎn)物，是外語教學(xué)的重要資源載體。研究以國家開放大學(xué)公共英語課程多媒體數(shù)字教材《人文英語》為語料，運(yùn)用社會符號學(xué)和多模態(tài)話語分析的相關(guān)理論，圍繞多模態(tài)語篇作者的符號實(shí)踐、外語教學(xué)語境中的社會實(shí)踐兩個(gè)維度，從概念意義建構(gòu)、人際意義建構(gòu)、模態(tài)間關(guān)系三個(gè)方面進(jìn)行深入闡釋，并提出研究對我國EFL教學(xué)的啟示。

〔關(guān)鍵詞〕數(shù)字教材; 社會符號學(xué); 多模態(tài)話語分析; 設(shè)計(jì); 多元讀寫教學(xué)法

〔中圖分類號〕G434; H1953〔文獻(xiàn)標(biāo)識碼〕A〔文章編號〕1008-2689（2021）02-0154-06

數(shù)字革命始于20世紀(jì)50年代末，信息技術(shù)的日益廣泛應(yīng)用改變了傳統(tǒng)的思維模式和交際方式，也因此對教育產(chǎn)生深遠(yuǎn)的影響，數(shù)字教材應(yīng)運(yùn)而生。從紙質(zhì)教材到數(shù)字教材的演變，不僅印證了教育信息化發(fā)展進(jìn)步的軌跡，也反映了人類社會知識觀和學(xué)習(xí)理論的演進(jìn)史。從20世紀(jì)60年代的行為主義到80年代的認(rèn)知主義，直至80年代中期以后向社會建構(gòu)主義轉(zhuǎn)型，都推動了數(shù)字教材的不斷開發(fā)和完善[1]。

數(shù)字教材是集合了教科書、音聲、靜物畫、動畫和影片等多種表達(dá)方式的多媒體信息形態(tài)的教材，綜合了旨在實(shí)現(xiàn)教育目標(biāo)而數(shù)字化的學(xué)習(xí)素材與管理學(xué)習(xí)過程的信息學(xué)習(xí)系統(tǒng)[2]。數(shù)字教材是教育信息化革命的產(chǎn)物，是外語教學(xué)的重要資源載體。迄今，數(shù)字教材呈現(xiàn)靜態(tài)媒體、多媒體及富媒體三種發(fā)展形態(tài)，它具有直觀性、即時(shí)性、多模態(tài)、開放共享和動態(tài)交互等特性。從靜態(tài)超文本的教育信息化10，過渡到社交媒體的網(wǎng)絡(luò)計(jì)算和社會參與網(wǎng)絡(luò)為主的教育20時(shí)代，直至邁入以云計(jì)算和全球互聯(lián)網(wǎng)為特征的教育30 ，數(shù)字教材的開發(fā)和研究引發(fā)學(xué)界的廣泛關(guān)注和興趣。

本研究聚焦國家開放大學(xué)英語教研團(tuán)隊(duì)編寫的全媒體數(shù)字教材——公共英語系列教材之《人文英語》（1～4冊），該教材主要面向開放大學(xué)系統(tǒng)、職業(yè)院校的在校生和職場人士。團(tuán)隊(duì)開發(fā)并推出數(shù)字閱讀云平臺——“開放云書院”，學(xué)習(xí)者下載客戶端掃描二維碼，即可獲取數(shù)字教材和學(xué)習(xí)資源，體驗(yàn)移動學(xué)習(xí)的魅力。本文擬從多模態(tài)社會符號學(xué)的理論視角對數(shù)字教材進(jìn)行多模態(tài)話語分析，并借鑒“新倫敦學(xué)派”（以下簡稱NLG）的多元讀寫教學(xué)法，提出對外語教學(xué)實(shí)踐的指導(dǎo)建議。本研究擬回答以下問題：

（1） 數(shù)字教材多模態(tài)語篇作者的符號實(shí)踐如何建構(gòu)學(xué)科知識？建構(gòu)了怎樣的社會關(guān)系？

（2） 語篇作者運(yùn)用了哪些模態(tài)和符號資源？不同模態(tài)間的關(guān)系怎樣？

（3） 如何利用數(shù)字教材的技術(shù)優(yōu)勢開展EFL教學(xué)？

一、 文獻(xiàn)回顧

（一）? 數(shù)字教材的國內(nèi)外研究現(xiàn)狀

筆者梳理現(xiàn)有文獻(xiàn)發(fā)現(xiàn)，國外學(xué)者著重從教學(xué)改革、學(xué)習(xí)者、教師和教育技術(shù)四個(gè)維度開展研究。Kim & Jung[3]探討了教育技術(shù)融合背景下韓國數(shù)字教材的教學(xué)改革面臨的機(jī)遇、挑戰(zhàn)及教改實(shí)施模式，研究表明教材對學(xué)生的影響與地域、學(xué)習(xí)者的學(xué)業(yè)水平相關(guān)。歐洲和亞洲學(xué)者主要從學(xué)習(xí)者的視角出發(fā)，圍繞數(shù)字教材的學(xué)習(xí)效果[4-8]和學(xué)習(xí)策略[9-10]展開討論，也有歐美學(xué)者從教師維度開展研究[11-12]。Railean[13]博士在他的專著User Interface Design of Digital Textbooks中，從回顧教育技術(shù)的發(fā)展歷程入手，運(yùn)用數(shù)字學(xué)習(xí)理論探討了數(shù)字教材用戶界面的設(shè)計(jì)原則和模式，對推動數(shù)字教材的開發(fā)應(yīng)用有較強(qiáng)的指導(dǎo)和應(yīng)用價(jià)值。相比之下，國內(nèi)學(xué)者更偏重于從教材的數(shù)字化出版[14-15]、教材開發(fā)建設(shè)與發(fā)展[16-18]、教師的技術(shù)接受度[19-20]和教學(xué)改革實(shí)踐[21]等方面進(jìn)行探討。Gu[22]采用文獻(xiàn)研讀法，對數(shù)字教材的國內(nèi)外研究、各國項(xiàng)目報(bào)告和使用案例、使用影響因素和學(xué)習(xí)效果研究等進(jìn)行了較全面的回顧、梳理和展望，該綜述性研究具有較高的學(xué)術(shù)價(jià)值和較強(qiáng)的實(shí)踐指導(dǎo)意義。

綜上，國內(nèi)外學(xué)者在對數(shù)字教材的研究總體上呈平穩(wěn)上升趨勢，研究興趣既涵蓋共同關(guān)心的熱點(diǎn)領(lǐng)域，如教學(xué)改革、教師研究等，又表現(xiàn)出各自的偏好和側(cè)重。從研究方法看，既有偏理論的思辨性研究，也有重實(shí)踐應(yīng)用的實(shí)證性研究，但缺乏從社會符號學(xué)角度對數(shù)字教材多模態(tài)語篇的意義建構(gòu)及符號實(shí)踐進(jìn)行探究，且對我國外語教師使用數(shù)字教材開展EFL教學(xué)方法的探討也語焉不詳，這正是本研究亟待解決的問題。

（二） 英語教材的多模態(tài)話語研究

Bezeman & Kress[23]運(yùn)用歷時(shí)研究方法，分析了國外中學(xué)英語教材的多模態(tài)設(shè)計(jì)，并從社會符號學(xué)視角闡釋了70年間英語教科書發(fā)生的深刻變化。Chen[24]運(yùn)用多模態(tài)話語分析和評價(jià)語義系統(tǒng)框架，分析中小學(xué)EFL課程大綱中的情感、態(tài)度的多模態(tài)符號意義建構(gòu)及個(gè)體語義發(fā)生的“再語境化”;王琴[25]以美國語文教材——《Treasures》為語料，運(yùn)用系統(tǒng)功能語言學(xué)和社會符號學(xué)理論，探討教材中的人際符號資源及符號設(shè)計(jì)原則，揭示教材編寫者如何挖掘多模態(tài)意義潛勢與讀者互動;Feng[26]在社會符號學(xué)和評價(jià)系統(tǒng)的框架下，探討香港中小學(xué)EFL教材中道德價(jià)值觀的多模態(tài)話語建構(gòu)及道德價(jià)值觀在教材中的分布規(guī)律。

上述文獻(xiàn)中英語教材的多模態(tài)研究均以傳統(tǒng)紙質(zhì)教材為研究對象，而對數(shù)字教材鮮有關(guān)注;教材的受眾也多以中小學(xué)生為主，而對以成人EFL學(xué)習(xí)者為受眾的教材研究少有涉足。本文將從社會符號學(xué)的理論視角審視數(shù)字教材的多模態(tài)話語建構(gòu)，并結(jié)合多元讀寫教學(xué)法，探討數(shù)字教材對我國EFL教學(xué)的啟示。

二、 理論基礎(chǔ)

（一）? 社會符號學(xué)：意義、符號和模態(tài)設(shè)計(jì)

社會符號學(xué)是對符號系統(tǒng)如何在社會語境中生成意義的功能研究，它關(guān)注在特定社會文化語境的社會交際中生成的意義。符號是符號學(xué)的核心單位，是形式和意義的融合。區(qū)別于皮爾斯的普通符號學(xué)和索緒爾的符號觀，Kress的社會符號學(xué)[27]10認(rèn)為，符號是社團(tuán)成員在社會交際中產(chǎn)生的，符號的形式和意義之間的關(guān)系不是任意的，而是由符號制造者的興趣決定。符號的形式和意義之間存在“動機(jī)”（motivated）關(guān)系，并強(qiáng)調(diào)兩者之間的適合性（aptness）。符號系統(tǒng)是交際過程中意義生成的資源。處在一定社會語境中的個(gè)體，利用特定社會文化中可資獲得的符號資源，主動參與符號制造和社會交際過程。

Kress 的社會符號學(xué)理論融合了Halliday關(guān)于“語言作為社會符號的觀點(diǎn)”，發(fā)展并創(chuàng)立旨在解釋所有符號意義生成和傳播的符號學(xué)理論。根據(jù)Halliday[28]的符號學(xué)方法，一個(gè)完整的交際理論需要表征概念功能（ideational function），即經(jīng)驗(yàn)世界的行為、狀態(tài)和事件;人際功能（interpersonal function），即交際參與者的社會關(guān)系;以及組篇功能（textual function），語篇局部以及語篇與語境之間的整體連貫。每種符號資源所做的選擇同時(shí)實(shí)現(xiàn)三大元功能并整合其意義。所有模態(tài)，如姿勢、動作和視覺模態(tài)等，如同語言，都是在社會使用過程中形成社會資源的模態(tài)[29]。每個(gè)模態(tài)系統(tǒng)在整個(gè)話語意義表達(dá)中都扮演著獨(dú)特角色，它們在交際過程話語整體意義的建構(gòu)中是互補(bǔ)的[30]。

設(shè)計(jì)是社會符號學(xué)的核心概念。在語篇交際中，設(shè)計(jì)可理解為“修辭者把自己對交際環(huán)境的評估轉(zhuǎn)化為符號學(xué)塑造的物質(zhì)的過程”。Kress以“土豆削皮器”為例，提出“設(shè)計(jì)是對一系列社會關(guān)系、社會實(shí)踐以及目的、任務(wù)、目標(biāo)、情感組成的結(jié)構(gòu)體集合的安排”的觀點(diǎn)。設(shè)計(jì)體現(xiàn)、投射和建構(gòu)社會關(guān)系，每一個(gè)語篇的設(shè)計(jì)都是從符號資源意義潛勢構(gòu)成的意義網(wǎng)絡(luò)中選擇的結(jié)果[27]132-137。

多模態(tài)設(shè)計(jì)，是指運(yùn)用不同符號模態(tài)，如圖像、文字、色彩和布局去展現(xiàn)、體現(xiàn)及重新語境化社會關(guān)系和社會地位，為特定受眾呈現(xiàn)關(guān)于經(jīng)驗(yàn)世界的知識體系。設(shè)計(jì)體現(xiàn)和投射社會關(guān)系，并受社會和技術(shù)變化的影響和塑造[27]139。本文所指的多模態(tài)設(shè)計(jì)主要是從數(shù)字教材開發(fā)者及設(shè)計(jì)者的視角，故下文采納Kress的定義。

（二） 多模態(tài)話語分析（MDA）

MDA主要是在Halliday創(chuàng)立的系統(tǒng)功能語言學(xué)理論基礎(chǔ)上發(fā)展起來的。具體地說， 系統(tǒng)功能語言學(xué)關(guān)于“語言是社會符號、語言是意義潛勢（ Meaning Potential）系統(tǒng)、純理功能假說（Metafunction Hypothesis）、語篇是語言系統(tǒng)的實(shí)例化、語言層級間的‘體現(xiàn)以及語境思想”的論述，對于多模態(tài)話語分析理論框架的不斷完善具有十分重要的借鑒意義。因篇幅所限，此處不再累述。

朱永生[31]84-85認(rèn)為，要正確解讀多模態(tài)話語的意義， 至少須要厘清兩方面的關(guān)系：一是確定不同成分之間的語法關(guān)系，如從三大元功能分析圖像等視覺符號的語義關(guān)系;二是要弄清不同模態(tài)，例如文字、圖像、動畫和音樂之間的關(guān)系。Barth[32]認(rèn)為圖文之間有錨定、闡釋和接續(xù)三種關(guān)系，Martinec& Salway[33]在相互依賴關(guān)系上區(qū)分平等與不平等關(guān)系、圖文邏輯語義關(guān)系被概括為投射和擴(kuò)展兩類，Royce [34]從概念意義和人際意義關(guān)系的角度研究不同意義間的互補(bǔ)關(guān)系。然而，上述的研究框架只適用于圖文關(guān)系，且較為粗略，在分析中難免會出現(xiàn)模棱兩可、難以界定的情況。張德祿[35-36]對多模態(tài)話語中模態(tài)間關(guān)系進(jìn)行了更加深入的研究，認(rèn)為還需區(qū)分互補(bǔ)關(guān)系和非互補(bǔ)關(guān)系。在互補(bǔ)關(guān)系中，區(qū)分強(qiáng)化關(guān)系和非強(qiáng)化關(guān)系，前者包括突出、主次和擴(kuò)充;后者包括交叉、聯(lián)合和協(xié)調(diào)。而非互補(bǔ)關(guān)系可區(qū)分為交疊、內(nèi)包和語境交互三子類，該分析框架詳見圖1[35]27。

三、 數(shù)字教材的多模態(tài)話語分析

筆者選取國家開放大學(xué)英語教研團(tuán)隊(duì)編寫的公共英語多媒體數(shù)字系列教材之《人文英語》（1～4冊）為語料。語料采用“冊-單元-頁碼”的順序標(biāo)注，例如“B1-U1-P4”，即“第1冊第1單元第4頁”（下同）。下面將圍繞多模態(tài)語篇意義制造者的符號實(shí)踐、教學(xué)語境中的社會實(shí)踐兩個(gè)維度，從教育多模態(tài)語篇的概念意義建構(gòu)、人際意義建構(gòu)、模態(tài)間關(guān)系三個(gè)方面進(jìn)行深入分析和闡釋。

（一）? 數(shù)字多模態(tài)教育語篇的學(xué)科知識建構(gòu)

學(xué)科是知識和經(jīng)驗(yàn)的結(jié)合，學(xué)科知識建構(gòu)離不開對經(jīng)驗(yàn)世界的行為、狀態(tài)和事件的描寫與闡釋，知識和經(jīng)驗(yàn)兩者相互交織，共同作用于學(xué)科體系的構(gòu)建。下文所討論的數(shù)字教材多模態(tài)語篇的概念意義將聚焦語篇作者如何建構(gòu)語言學(xué)科知識。

傳統(tǒng)紙質(zhì)教材的編排依據(jù)話題內(nèi)容將學(xué)科知識按學(xué)習(xí)時(shí)間的先后順序進(jìn)行線性排列，傳統(tǒng)的語言教學(xué)通常也是遵循紙質(zhì)教材的編寫順序開展教學(xué)。就概念意義而言，數(shù)字教材突出每個(gè)單元主題知識結(jié)構(gòu)的層級性，字體、字號和顏色都成為符號設(shè)計(jì)可資利用的資源。

學(xué)習(xí)界面顯示，粗體文字用來表示每一單元的根目錄，如“Learning Objectives” “Listening & Speaking”“Reading & Writing”，根目錄下面的子目錄字體相對較細(xì)，字號略小;知識結(jié)構(gòu)的排列呈橫向和縱向排列，橫向排列的項(xiàng)目在任務(wù)類型和難度上具有相似性，均屬于同一語言技能導(dǎo)向的語篇，如聽說技能、閱讀技能等;縱向排列由上至下按照語言知識從抽象到具體、從輸入性到輸出型語言技能的順序排列，學(xué)習(xí)任務(wù)難度依次遞增。

讀者點(diǎn)擊橙色按鈕，即可打開下拉菜單，瀏覽具體語言功能對應(yīng)的句法結(jié)構(gòu)，符號設(shè)計(jì)者將語言系統(tǒng)的語義層與詞匯語法層的抽象“體現(xiàn)”（Realization）關(guān)系以下拉菜單式嵌入結(jié)構(gòu)方式呈現(xiàn)。此外，顏色也是具有概念意義表征的模態(tài)，紫色代表一級目錄或根目錄，如篇章標(biāo)題或題目說明以及語言文化方面的核心知識點(diǎn);黑色表示根目錄下面的子目錄或二級目錄，如文章正文、功能句型范例和語法講解，是更詳細(xì)具體的知識點(diǎn);鮮艷的橙色用來表達(dá)“可選擇”“可參考”或者“可控制”的概念意義，主要交際目的在于提醒、提示和啟發(fā)學(xué)習(xí)者。

（二）? 數(shù)字多模態(tài)教育語篇的人際關(guān)系建構(gòu)

教育技術(shù)重塑了數(shù)字教材的多模態(tài)話語。傳統(tǒng)紙質(zhì)課本為載體的課堂教學(xué)主要以教師為中心，教師主導(dǎo)學(xué)習(xí)進(jìn)度、掌握學(xué)生的學(xué)習(xí)情況，統(tǒng)一步調(diào);而數(shù)字教材的設(shè)計(jì)更加符合“以學(xué)生為中心”的教學(xué)組織原則，學(xué)生可以自由選擇學(xué)習(xí)內(nèi)容、學(xué)習(xí)進(jìn)度和閱讀路徑，以及學(xué)習(xí)互動和評價(jià)方式，有助于最大限度激發(fā)學(xué)習(xí)者的學(xué)習(xí)自主性，發(fā)揮學(xué)習(xí)者主觀能動性。

從話語意義的人際功能看，多模態(tài)符號系統(tǒng)建構(gòu)了師生之間新型的人際關(guān)系。學(xué)習(xí)者界面的多模態(tài)話語意義的人際互動主要表現(xiàn)為三個(gè)方面：學(xué)習(xí)者與移動學(xué)習(xí)終端的互動、學(xué)習(xí)者與數(shù)字教材學(xué)習(xí)資源的互動以及學(xué)生之間、師生之間的互動。以與移動學(xué)習(xí)終端，如手機(jī)、pad或電腦屏幕的互動為例，學(xué)習(xí)者點(diǎn)擊菜單按鈕，自由選擇閱讀路徑，也可以點(diǎn)擊“索引”圖標(biāo)，定位導(dǎo)航學(xué)習(xí)內(nèi)容，用橫屏式翻頁模式進(jìn)行閱讀。再者，學(xué)習(xí)者與數(shù)字學(xué)習(xí)資源的互動包括對話框、自主反饋和系統(tǒng)即時(shí)反饋三種方式。

學(xué)習(xí)者在閱讀材料過程中，可以點(diǎn)擊“錄音機(jī)”功能按鈕進(jìn)行自主朗讀訓(xùn)練，當(dāng)對話框彈出“是否保存錄音”問話時(shí)，學(xué)習(xí)者單擊“確定”，即可保存朗讀學(xué)習(xí)記錄。當(dāng)學(xué)習(xí)者聽完對話錄音后，需將備選詞組或者短語拖動到相應(yīng)的句子中方可完成練習(xí)，學(xué)習(xí)點(diǎn)擊“key”，屏幕上即刻彈出正確的答案或選項(xiàng)，學(xué)習(xí)者通過屏幕的自動反饋了解學(xué)習(xí)效果。此外，系統(tǒng)具有即時(shí)反饋的功能，答案在學(xué)習(xí)者提交作業(yè)的同時(shí)即刻彈出，學(xué)習(xí)者可選擇反復(fù)多次練習(xí)。

同時(shí)，借助網(wǎng)絡(luò)學(xué)習(xí)社群，在學(xué)習(xí)者之間以及師生之間開展以線上答疑、學(xué)習(xí)反饋、小組討論等多種形式的互動交流，便于教師及時(shí)了解學(xué)習(xí)者的學(xué)習(xí)進(jìn)展和學(xué)習(xí)效果，從而構(gòu)建了以多媒體數(shù)字學(xué)習(xí)資源為依托的開放、民主、和諧、平等的新型師生關(guān)系。

（三） 模態(tài)間關(guān)系

多模態(tài)語篇的語篇意義指語篇與語境之間，語篇內(nèi)部不同部分之間的關(guān)系。模態(tài)間關(guān)系也是語篇意義的重要方面。語料分析顯示，語篇作者調(diào)用了書面文字、口語聲音、靜態(tài)圖像、動畫、顏色和布局六種主要模態(tài)，模態(tài)間關(guān)系可大致概括為以下幾種類型：

1 互補(bǔ)—非強(qiáng)化—協(xié)調(diào)關(guān)系

所謂模態(tài)互補(bǔ)，是指一種模態(tài)的話語不能充分表達(dá)完整的意義，需要借助另外一種模態(tài)來補(bǔ)充?；パa(bǔ)關(guān)系又可細(xì)分為強(qiáng)化和非強(qiáng)化兩類;在強(qiáng)化關(guān)系中，一種模態(tài)是主要的交際形式，而另一種或者多種模態(tài)形式是對它的強(qiáng)化或者輔助，如只提供背景信息;而非強(qiáng)化關(guān)系中兩種模態(tài)缺一不可，互為補(bǔ)充。

在電子教材中，語言模態(tài)通常用于描述學(xué)習(xí)任務(wù)的具體要求和指令，圖像和文字模態(tài)協(xié)同補(bǔ)充新的語境信息。例如“贍養(yǎng)”“原告、被告”等詞匯向讀者暗示交際角色之間的人物關(guān)系（父子、父女、兄妹、姐弟關(guān)系等）、起訴的緣由（子女拒絕承擔(dān)贍養(yǎng)父母的義務(wù)）等語境要素，法官手上的法槌以及圖像中各個(gè)參與者的位置關(guān)系暗示人物身份地位及權(quán)力關(guān)系。法官位于圖像的中心位置，是審理訴訟案件的核心關(guān)鍵人物，法官是“法律”“正義公平”的象征，在法庭交際語境中，其權(quán)力地位遠(yuǎn)遠(yuǎn)高于“原告”和“被告”雙方，且雙方在法庭審判語境中所處的身份地位是處于有矛盾沖突的平等雙方。在教學(xué)語境中，語言模態(tài)和圖像模態(tài)協(xié)同作用，兩者缺一不可，目的在于幫助學(xué)習(xí)者充分理解學(xué)習(xí)任務(wù)的細(xì)節(jié)信息，以確保其順利完成學(xué)習(xí)任務(wù)，這對學(xué)習(xí)者的多模態(tài)讀寫能力提出了更高要求。

2 非互補(bǔ)—內(nèi)包關(guān)系

非互補(bǔ)關(guān)系表示第二種模態(tài)對第一種在意義的體現(xiàn)上并沒有大的貢獻(xiàn)，但仍然作為一種模態(tài)出現(xiàn)。非互補(bǔ)關(guān)系下面又可分為三大子類：內(nèi)包、交疊和語境交互。內(nèi)包關(guān)系即多種不同或者同種模態(tài)，對整體意義的表達(dá)沒有新的貢獻(xiàn)，而只給予更加具體的信息。內(nèi)包又可細(xì)分為整體與部分和抽象與具體兩種關(guān)系。

以“提倡人們將廢物循環(huán)再利用”為環(huán)保主題的語篇為例，位于圖像顯著位置的是一只用廢棄垃圾做成的花瓶，整篇文章是而圖像與文中的“vases made from glass bottles”這個(gè)名詞短語形成“語義同指關(guān)系（semantic coreference）”。圖像模態(tài)提供的只是部分信息，對語篇整體意義的表達(dá)沒有貢獻(xiàn)。下面舉一個(gè)內(nèi)包關(guān)系的例子，如當(dāng)前的學(xué)習(xí)任務(wù)是“要求為人力資源部經(jīng)理寫一份英語會議紀(jì)要”，書面文字仍是主要交際模態(tài)，語篇作者調(diào)用語言文字和圖像模態(tài)為學(xué)習(xí)者創(chuàng)設(shè)虛擬的目的語交際語境，即圖像模態(tài)沒有附加任何語義信息，而是將交際場景和交際目的更加具體化，用寫作工具（紙、筆、電腦）和寫作環(huán)境（咖啡杯、辦公室）來隱喻表征寫作過程和寫作結(jié)果，屬于從抽象到具體的內(nèi)包關(guān)系。

3 非互補(bǔ)—依賴型情境交互關(guān)系

文字與圖像也會呈現(xiàn)“非互補(bǔ)”關(guān)系。語篇在結(jié)尾段落中提出論點(diǎn)，“hard work and relaxation make a wellbalanced lifestyle”，而“天平”圖像與文章整個(gè)段落在語義上構(gòu)成同指呼應(yīng)，與“天平”相關(guān)的語義要素進(jìn)入語篇的整體語義域中，語篇呈現(xiàn)出較強(qiáng)的情境依賴性;而圖片下方的瑜伽運(yùn)動是對文段中“relax”詞匯的具體實(shí)例化，也與左圖中的部分圖像信息形成語義的上下義關(guān)系。

4 互補(bǔ)關(guān)系與非互補(bǔ)關(guān)系的矛盾共現(xiàn)

研究發(fā)現(xiàn)，互補(bǔ)關(guān)系與非互補(bǔ)關(guān)系也會出現(xiàn)在同一語篇中。例如第四冊教材第七單元的聽力材料是一篇有關(guān)“法律訴訟案件”的對話，整個(gè)多模態(tài)語篇運(yùn)用了文字、聲音和圖像三種模態(tài)。書面文字仍是主要的交際模態(tài)，圖像顯示的是被告與律師之間的交談現(xiàn)場，用于輔助書面文字和對話聲音的口語材料，提供交際語境要素，如交際環(huán)境（律所辦公室）、法官判案工具（法典和法槌）等，因而圖像與文字之間，以及圖像與聲音模態(tài)之間都表現(xiàn)為“互補(bǔ)—強(qiáng)化—突出”關(guān)系，即突出文字模態(tài)，而圖像只是提供背景信息。

然而，聲音與書面文字模態(tài)使用不同的模態(tài)表達(dá)相同的語義，兩者呈現(xiàn)“非互補(bǔ)—交疊—冗余”關(guān)系，若任去其一，都可以與圖像模態(tài)完整地表達(dá)意義。但是從二語學(xué)習(xí)和外語教學(xué)的角度來看，語篇作者將兩種冗余的模態(tài)用于教學(xué)多模態(tài)語篇，其目的可能在于對二語學(xué)習(xí)者進(jìn)行聽覺語音、視覺圖像、視覺文字的多感官協(xié)同刺激，提供豐富的語言交際情境，有助于強(qiáng)化學(xué)習(xí)者對語篇的理解和意義建構(gòu)，從而間接影響二語輸出質(zhì)量和二語學(xué)習(xí)效果。

四、 教學(xué)啟示

當(dāng)今世界，隨著經(jīng)濟(jì)貿(mào)易全球化、交際媒介多元化、語言文化多樣化趨勢的日益加劇，培養(yǎng)掌握多種語言、具備多元讀寫能力、跨文化視野和國際競爭力的專業(yè)人才是我國當(dāng)下外語教育的使命和擔(dān)當(dāng)。

自1996年《多元讀寫教育學(xué)：設(shè)計(jì)社會未來》（New London Group，以下縮寫為NLG）發(fā)表以來，多元讀寫成為教育學(xué)與多模態(tài)研究的熱點(diǎn)。多元讀寫教學(xué)法包含四個(gè)要素：實(shí)景實(shí)踐（situated practice），即英語教學(xué)應(yīng)置于真實(shí)的語境中;明確指導(dǎo)（overt instruction），即課堂上教師應(yīng)使用多模態(tài)設(shè)計(jì)的元語言系統(tǒng)對學(xué)生進(jìn)行明確指導(dǎo)，解釋如何運(yùn)用語言、手勢、聲音和圖像等符號設(shè)計(jì)資源，在真實(shí)語境中創(chuàng)造性地建構(gòu)意義;批評框定（critical framing），即教師運(yùn)用有效的語言學(xué)理論和方法，培養(yǎng)學(xué)生理性分析教材中蘊(yùn)含的文化、價(jià)值和意識形態(tài);轉(zhuǎn)換實(shí)踐（transformed practice），即學(xué)生在新的社會文化語境中，熟練運(yùn)用所學(xué)知識、創(chuàng)造性地解決新問題，并在此過程中培養(yǎng)獨(dú)立建構(gòu)多模態(tài)語篇的能力，即多元讀寫能力[36]88。

多元讀寫教學(xué)法所主導(dǎo)的課程設(shè)計(jì)不僅包括教師的言語、語言、肢體、手勢語及書面語言，還包括使用道具、圖像、PPT等非言語資源，數(shù)字教材也是課程設(shè)計(jì)的重要組成部分。NLG認(rèn)為，“任何制造意義的過程，都是設(shè)計(jì)行為”[36]65。教學(xué)過程中，教師和學(xué)生都是意義的制造者，他們既是符號實(shí)踐活動的設(shè)計(jì)者，也是教學(xué)實(shí)踐活動的參與者。閱讀、寫作、教材編寫過程都被視為多模態(tài)設(shè)計(jì)過程，也是社會實(shí)踐的反映。數(shù)字教材編寫者及開發(fā)團(tuán)隊(duì)在符號設(shè)計(jì)方面，應(yīng)充分挖掘不同模態(tài)的符號“供用特征”（affordances）， 即分析它們在意義表達(dá)方面的優(yōu)勢、特長和局限性，為學(xué)習(xí)者創(chuàng)設(shè)貼近真實(shí)生活體驗(yàn)的交際語境和學(xué)習(xí)情境，構(gòu)建開放、民主、平等、和諧的新型師生關(guān)系，為學(xué)習(xí)者開展自主學(xué)習(xí)搭建“腳手架”。

在導(dǎo)學(xué)環(huán)節(jié)，建議教師有必要給學(xué)習(xí)者講解教材中不同符號模態(tài)的概念表征意義、人際互動意義、組篇意義以及不同模態(tài)間的相互關(guān)系，運(yùn)用“元語言”（metalanguage）系統(tǒng)加以明確指導(dǎo)，幫助學(xué)生迅速把握課程的學(xué)科知識結(jié)構(gòu)，以便開展個(gè)性化自主學(xué)習(xí);教學(xué)過程中應(yīng)注重培養(yǎng)學(xué)習(xí)者的批評分析能力，辨別教材中的價(jià)值觀和意識形態(tài);培養(yǎng)閱讀各種媒體和模態(tài)信息，如互動的多媒體教材，并能循此生成相應(yīng)的多模態(tài)文本的能力，掌握不同模態(tài)符號的設(shè)計(jì)原則，利用可資獲得的設(shè)計(jì)資源，生成新的設(shè)計(jì)和意義。

隨著教育信息化30的不斷深入和媒體技術(shù)發(fā)展的日新月異，數(shù)字教材的開發(fā)和研究也會朝著進(jìn)一步智能化、多元化的方向延伸和發(fā)展，我國外語教師應(yīng)不斷提升自身利用現(xiàn)代教育技術(shù)開展教學(xué)的能力，更要加強(qiáng)多模態(tài)符號設(shè)計(jì)能力和語言學(xué)、社會符號學(xué)等多學(xué)科理論的學(xué)習(xí)和提升，注重培養(yǎng)學(xué)習(xí)者的多元讀寫能力，迎接數(shù)字革命給我們帶來的機(jī)遇和挑戰(zhàn)。

〔參考文獻(xiàn)〕

[1]鐘啟泉. 從“紙質(zhì)教材”到“數(shù)字教材”——網(wǎng)絡(luò)時(shí)代教材研究的課題與展望[J]. 教育發(fā)展研究， 2019， 39（6）： 17.

[2]山內(nèi)祐平. 數(shù)字教材教育學(xué)[M]. 東京： 東京大學(xué)出版社， 2010.

[3] KIM J H Y & JUNG H Y. South Korean digital textbook project [J]. Computers in the Schools， 2010， 27（34）： 247265.

[4]DANIEL D B & WOODY W D. ETextbooks at what cost？ Performance and use of electronic v. Print texts [J]. Computers & Education，? 2013， 62： 1823.

[5]HUANG H. Ereading and ediscussion： EFL learners perceptions of an ebook reading Program [J]. Computer Assisted Language Learning， 2013， 26 （3）： 258281.

[6]HORSLEY M & MARTIN P. Digital textbooks come to all Australian students and schools [C]RODRIGUEZ J R ， BRUILLARD E & Horsley M. Digital Textbooks： Whats New？ Galicia： Universidade de Santiago de Compostela， 2015： 209226.

[7]CHOU I C. Reading for the purpose of responding to literature： EFL students perceptions of ebooks [J]. Computer Assisted Language Learning， 2016， 29（1）： 120.

[8]JOO Y J， PARK S & SHIN E K. Students expectation， satisfaction， and continuance intention to use digital textbooks [J]. Computers in Human Behavior， 2017， 69（4）： 8390.

[9]MILLAR M & SCHRIER T. Digital or printed textbooks： which do students prefer and why？ [J]. Journal of Teaching in Travel & Tourism， 2015， 15（2）： 166185.

[10]BIKOWSKI D & CASAL E. Interactive digital textbooks and engagement： a learning strategies framework [J]. Language Learning & Technology， 2018， 22（1）： 119136.

[11]KNIGHT B A. Teachers use of textbooks in the digital age [J]. Cogent Education， 2015， 2（1）： 110.

[12] LINDQVIST M H. Talking about digital textbooks. The teacher perspective [J]. CampusWide Information Systems， 2019， 36（3）： 254265.

[13] RAILEAN E. User Interface Design of Digital Textbooks： How Screens Affect Learning [M]. Singapore： Springer Nature Singapore Pte Ltd， 2017.

[14]王棟. “互聯(lián)網(wǎng)+”時(shí)代高校外語教材數(shù)字化出版[J]. 出版廣角， 2017（21）： 7577.

[15] 張丹. 數(shù)字教育出版的發(fā)展研究——基于教育信息化2.0時(shí)代的背景[J]. 出版廣角， 2019（23）： 4042.

[16] 張桐， 楊孝堂， 杜若. 遠(yuǎn)程教育全媒體數(shù)字教材發(fā)展與創(chuàng)新[J]. 中國電化教育， 2017（3）： 138142.

[17] 杜若， 張曉英， 陳桄. 學(xué)習(xí)活動設(shè)計(jì)問題分析與交互式數(shù)字教材建設(shè)[J]. 中國遠(yuǎn)程教育， 2018（8）： 5462.

[18] 韋鈾. 高校數(shù)字教育生態(tài)構(gòu)建下的數(shù)字教材建設(shè)[J]. 出版廣角， 2019（12）： 3336.

[19] 宋偉， 孫眾. 數(shù)字教材環(huán)境下小學(xué)教師TPACK與自我效能感、技術(shù)接受度的關(guān)系——一項(xiàng)結(jié)構(gòu)方程分析[J]. 中國遠(yuǎn)程教育， 2014（9）： 3946.

[20] 尤佳鑫， 孫眾， 宋偉. 數(shù)字教材的技術(shù)接受度與教師TPACK能力的相關(guān)分析——基于結(jié)構(gòu)方程模型的實(shí)證研究[J]. 電化教育研究， 2014， 35（11）： 102108.

[21] 彭雪莊. 教育信息化2.0時(shí)代優(yōu)質(zhì)數(shù)字教育資源普及模式探究——以廣東省數(shù)字教材規(guī)?；瘧?yīng)用調(diào)研為例[J]. 中國電化教育， 2018（9）： 138146.

[22] GU X， WU B? & XU X. Design， development， and learning in etextbooks： what we have earned and where we are going [J]. Journal of Computers in Education， 2015， 2（1）： 2541.

[23]BEZEMER J， KRESS G. Visualizing English： a social semiotic history of a school subject [J]. Visual Communication， 2009， 8（3）： 247262.

[24]CHEN Y. The semiotic construal of attitudinal curriculum goals： evidence from EFL textbooks in China [J]. Linguistics and Education， 2010， 21（1）： 6074.

[25] 王琴. 教科書人際意義的社會符號學(xué)探究[J]. 東莞理工學(xué)院學(xué)報(bào)， 2016， 23（6）： 8186.

[26] FENG W D. Infusing moral education into English language teaching： an ontogenetic analysis of social values in EFL textbooks in Hong Kong [J]. Discourse： Studies in the Cultural Politics of Education， 2019， 40（4）： 458473.

[27] KRESS G R. Multimodality： A Social Semiotic Approach to Contemporary Communication [M]. London， New York： Taylor & Francis Group， 2010.

[28] HALLIDAY M A K. Language as Social Semiotic： The Social Interpretation of Language and Meaning [M]. Beijing： Foreign Language Teaching and Research Press， 2001.

[29] KRESS G & VAN L T. Multimodal Discourse： The Modes and Media of Contemporary Communication [M]. London： Bloomsbury Academic， 2001.

[30] 張德祿. 系統(tǒng)功能理論視閾下的多模態(tài)話語分析綜合框架[J]. 現(xiàn)代外語， 2018， 41（6）： 731743.

[31] 朱永生. 多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J]. 外語學(xué)刊， 2007（5）： 8286.

[32] BARTHES R. Introduction to structural analysis of narratives [C] Edited by BARTHES R. Image， Music， Text. London： Fontana Press， 1977： 79133.

[33] MARTINEC R & SALWAY A. A system for imagetext relations in new （and old） media [J]. Visual Communicaton， 2005， 4（3）： 337371.

[34] ROYCE T. Synergy on the page： exploring intersemiotic complementarity in pagebased multimodal text [J]. JASFL Occasional Papers， 1998， 1（1）： 2549.

[35] 張德祿. 多模態(tài)話語分析綜合理論框架探索[J]. 中國外語， 2009， 6（1）： 2430.

[36]The New London Group. A pedagogy of multiliteracies： designing social futures [J]. Harvard Educational Review， 1996， 66（1）： 6093.

Exploring the Multimodal Semiotic Design of EFL Digital Textbook：

A Case Study on “English for the Humanities”

WANG? Qin

（Foshan Open University， Foshan 528000， China）Abstract： Digital textbook emerged as a result of the information technology revolution， it serves as an important medium of EFL learning and teaching resources. Taking ‘English for the Humanities—a collection of digital textbook as the corpus， the present study aims to conduct a multimodal discourse analysis in terms of the semiotic and social practice of both textbook writers and readers. It concludes with some pedagogical implications for EFL instruction.

Key words： digital textbook; Social Semiotics; MDA; design; multiliteracies pedagogy

〔收稿時(shí)間〕 2020-09-06

〔基金項(xiàng)目〕 國家開放大學(xué)2018年規(guī)劃重點(diǎn)課題“國家開放大學(xué)公共英語多模態(tài)教學(xué)模式研究”（編號： G18A00）子課題“基于

在線學(xué)習(xí)平臺的公共英語多模態(tài)教學(xué)研究” ;廣東開放大學(xué)2018年度社區(qū)教育專項(xiàng)課題“英語口語混合式教學(xué)模式實(shí)踐探索”（編號： SJ1805）。

〔作者簡介〕 王琴（1977—），女，湖北荊州人，佛山開放大學(xué)外語系副教授。