基于多模態(tài)化教學的學生多元識讀能力實證研究

張 燕

(青島理工大學 人文與外國語學院,青島 266000)

一、多模態(tài)理論及其在教學中的應用

多模態(tài)PPT演示教學與傳統(tǒng)PPT演示教學有所不同。傳統(tǒng)PPT演示教學的主要目的是通過采用豐富多彩的PPT課件來吸引學生注意力,從而實現(xiàn)教學目標;而多模態(tài)PPT演示教學是以多模態(tài)理論為指導,在教學過程中將文字、圖像、動畫、音頻、構(gòu)圖、顏色、印刷版式等各種模態(tài)以及手勢語、身勢語、空間移位、面部表情等其他模態(tài)進行有效整合,實現(xiàn)視覺 、聽覺和觸覺等多感官相互協(xié)作的多模態(tài)化教學模式,其最終目的是提高學生的多元識讀能力。多模態(tài)化教學的理論基礎是多模態(tài)話語分析理論(Multimodal discourse analysis),該理論是20世紀90年代在信息技術(shù)的不斷更新、多元文化相互影響的背景下,在西方興起的一種新的話語分析理論。Van Leeuwen[1]認為,多模態(tài)是指在一個交流成品或交流活動中不同符號模態(tài)的組合。Baldry & Thibauht[2]認為多模態(tài)指具有不同特點的符號資源被共同調(diào)配,在一個特定的文本中共同構(gòu)建意義的各種方式。因此,多模態(tài)理論關注的是在意義構(gòu)建和表達過程中各種模態(tài)符號如何協(xié)同搭配來實現(xiàn)話語交際目的,達到意義傳遞的最佳效果。

多模態(tài)話語分析理論除了被廣泛應用于文學藝術(shù)、影視傳媒等藝術(shù)領域外,還被應用于語言教學領域。1996年,新倫敦小組(New London Group)提出多元讀寫能力(Multi-literacy)這一概念,開辟了多模態(tài)應用于語言教學的先河,使多模態(tài)化教學逐漸成為近二十年來教學領域中的研究熱點。國外方面,Stein[3]探討了ESL課堂上多模態(tài)教學法。Royce[4]研究了TESOL課堂上圖像和文本的協(xié)同,并分析了不同符號在多模態(tài)話語中的互補性。Unsworth[5]則提出模態(tài)互補(complentarity of modalities)這一概念,指出模態(tài)的補充說明可以幫助語意義的表達更加完整、更易理解。國內(nèi)方面,雖然起步較晚,但也取得了一定的研究成果。胡壯麟[6]介紹了計算機符號學以及它的媒體和模態(tài)的雙重特性,并提出了多元識讀能力的概念以及對其能力培養(yǎng)的重要性。顧曰國[7]探討了基于計算機多媒體材料的多模態(tài)學習,分析了多模態(tài)與教育技術(shù)的關系。韋琴紅[8]出版了國內(nèi)第一本專著《視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究》,她將理論探討與外語教學實踐有機結(jié)合起來,將抽象的思維與形象的實例相結(jié)合來探討視覺多模態(tài)這一現(xiàn)象。張德祿和李玉香[9]分析了外語課堂教學中口語模態(tài)和PPT模態(tài)的相互配合、各模態(tài)之間的協(xié)同以及多模態(tài)語法的建構(gòu)和運用等。張征[10]探討了多模態(tài)PPT演示教學對學生學習態(tài)度和學習成績的影響。然而,與國外相比,國內(nèi)在多模態(tài)教學領域的研究仍存在許多不足。一是部分研究僅從理論層面對多模態(tài)教學模式的構(gòu)建進行探討和分析,缺乏實證數(shù)據(jù)的支持。二是部分研究雖然是實證性研究,但研究目的和方法單一,重復性研究較多。這些研究或僅采用定量方法,通過水平測試、問卷調(diào)查等對多模態(tài)教學效果以及學生對這一教學模式的看法進行探討;或僅采用定性方法,對學生制作的多模態(tài)PPT課件進行分析。將兩者有機結(jié)合起來,通過具體的教學實踐對多模態(tài)化教學在大學英語教學中的優(yōu)化運用以及對我國大學生多元識讀能力特點進行分析的這類綜合性研究非常少。因此,本研究以多模態(tài)理論為指導,采用定性和定量相結(jié)合的實證方法,通過英語水平測試、學生多模態(tài)PPT課件分析這兩個方面來探討多模態(tài)化教學在外語教學中的有效性應用,從而促進教學理念的更新,提高學生的多元文化信息讀取能力,為多模態(tài)化教學提供理論和實踐支持。

二、研究方法

(一)研究問題及假設

本研究的目的有兩個:一是結(jié)合具體的教學實踐來探討學生多模態(tài)PPT演示教學是否比教師為主的傳統(tǒng)PPT演示教學更能激發(fā)學習興趣,提高英語學習成績;二是從語類類型、語類結(jié)構(gòu)、模態(tài)符號三方面對學生制作的多模態(tài)PPT課件進行分析,從而全面了解學生多元識讀能力的優(yōu)勢和不足。本次研究驗證的假設如下:與教師為主的傳統(tǒng)PPT演示教學相比,學生多模態(tài)PPT演示教學模式更能激發(fā)學習興趣,顯著提高英語學習成績。

(二)研究對象

本次教學實驗的受試對象是從山東省某高校2015年入學的本科生中選取的。教學實驗前,先對該年級所有班進行前測。根據(jù)前測成績從中選取差異最不顯著的2個平行班,其中控制組66人,實驗組68人。人數(shù)的選取符合“樣本容量n≥30,計算出的積差相關系數(shù)才具備有效的意義”的條件,保證了教學實驗數(shù)據(jù)的有效性。本次教學實驗不考慮學生的年齡、性別、專業(yè)等因素的差異。

(三)研究工具

本研究采用定性和定量相結(jié)合的方法。定量研究使用到的工具是實驗組和對照組前后測成績和測試試卷。試卷都是從題庫中隨機抽取的,其信度、效度、難度和區(qū)分度都是通過檢驗的,可以成為學生學業(yè)水平檢驗的標準。利用SPSS20.0對成績進行統(tǒng)計錄入、描述性分析和獨立樣本T檢驗,從而驗證假設。定性研究使用到的工具是學生多模態(tài)PPT課件,通過對課件的分析來了解他們的多元識讀能力特點。

(四)教學實驗過程

本次教學實驗自2016年3月至2016年7月第二學期進行,共16周,學習教材為前8個單元共16篇文章,實驗組和控制組每周都是2學時的精讀課,采用不同的教學模式。控制組是以教師講解為主、課件展示為輔的傳統(tǒng)教學模式,輔以小組討論、課堂問答等活動來實施教學;實驗組是以學生為主的多模態(tài)PPT演示教學。學期初先將實驗組學生分成16組,每組大約4至5人,然后抽簽確定每組負責的文章,并要求各組根據(jù)文章主題制作一個PPT課件,課件中須用到各種符號,包括聲音、圖像、視頻、版面設計、字體選擇等,同時鼓勵各小組在教學中盡量多使用面部表情、肢體語言等。此外,外語數(shù)字化教學實踐中心以及外語云網(wǎng)絡綜合教學平臺會對實驗組每周開放2個小時,便于小組合作。學習每一篇文章前,教師會對全班學生安排預習作業(yè)。上課時,負責的小組會根據(jù)分工,結(jié)合制作的多模態(tài)課件,通過口語、PPT展示、肢體語言等多種模態(tài)符號并結(jié)合聽覺、視覺、觸覺等多種感覺,帶領全班學習本篇文章。同時,也會在課堂上組織分組討論、角色扮演、課堂游戲等來提高教學效果。整個教學時間限定在第一小節(jié)課50分鐘內(nèi)完成。第2小節(jié)上課時教師會先對學生課件進行點評,然后就布置的預習作業(yè)以及文中的疑難疑點繼續(xù)進行教學活動。16周的教學實驗結(jié)束后,會對控制組和實驗組進行后測。同時,統(tǒng)一收集學生多模態(tài)PPT課件,共收集有效課件16份。

三、教學實驗結(jié)果

試卷批改采取盲審的方式。成績呈正態(tài)分布且標準差在正常范圍之內(nèi),這保證了測試結(jié)果的信度和效度。利用SPSS20.0對前后測成績進行獨立樣本T檢驗,實驗結(jié)果如表1所示。

表1 實驗組、控制組前后測的成績統(tǒng)計結(jié)果Tab.1 Test results of the experimental group

結(jié)果顯示,控制組和實驗組在前測成績上無顯著性差異(T值=-0.216,P值=0.829>0.05),說明兩組學習成績相當。但兩組在后測成績上存在顯著性差異(T值= 2.285,P值=0.024<0.05),且實驗組平均成績(M=76.28)高于控制組平均成績(M=73.53),實驗組的離散程度(SD=6.43)低于控制組(SD=7.47)。這說明實驗組比控制組的英語整體水平要高,實驗組學生之間的水平差異比控制組低。這就驗證了之前的假設。

四、分析與討論

(一)多模態(tài)化教學與大學生英語學習成績的相關性

成績分析顯示,經(jīng)過一個學期的教學實驗,多模態(tài)化教學是有成效的。它能夠充分調(diào)動學生的各種感官并提高課堂學習的參與度,幫助學生增強知識記憶,提高課堂學習效率,同時也能提高他們自主學習的意識和能力。這證明學生多模態(tài)化教學模式在大學英語課堂上具有一定的可行性和有效性,對于提高我國大學生英語水平具有較強的實用意義。

(二)大學生多元識讀能力特點

胡壯麟教授[6]認為傳統(tǒng)讀寫為主的識讀能力在當今時代已不夠用,要加強對學生多元識讀能力的培養(yǎng)。因此,有效提高大學生多元識讀意識和能力是高校教學的重要內(nèi)容之一,也是多模態(tài)化教學的最終目的。PPT演示文稿是集圖像、圖表、音頻和視頻于一體的多種模態(tài),是具有多模態(tài)性的講解展示方式[12]。因此,本研究在多模態(tài)理論框架下對學生多模態(tài)PPT課件進行分析,從而真實客觀地了解學生多元識讀能力特點。該理論框架以系統(tǒng)功能語言學為基礎,由文化層面、語境層面、意義層面、形式層面和媒體層面五個層面構(gòu)成。通過分析,可以看出學生多元識讀能力在語類類型、語類結(jié)構(gòu)、模態(tài)符號這三個方面存在以下幾個特點。

一是從語類類型來看,PPT語類基本可分為提示性、直觀性、分析性和勸誘性這四種。在16份課件共528張PPT中,使用率從大到小排依次為直觀性、提示性、分析性、勸誘性(見表2)。

表2 學生多模態(tài)PPT課件的語類類型分析Tab.2 Analysis of the generic type of students’

直觀性PPT是學生最擅長的。這類課件多采用圖像文字相結(jié)合的方式,把主題直接呈現(xiàn)出來。從多模態(tài)理論形式層面的圖覺來看,該類課件中提供類圖像(即沒有目光接觸,主要提供信息)比索取類圖像(即呈現(xiàn)的參與者會通過矢量直接注視觀看者,會有目光接觸)的使用率要高,高飽和度色彩的視覺圖像占主要,使整個多模態(tài)PPT課件呈現(xiàn)出高感官的情態(tài),信息性較強,能夠激發(fā)學習者求知的欲望。比如講《美國文化的五大象征》,學生選取了五大象征的圖片,并在圖片中添加了有關尺寸、形狀、象征意義等信息,直觀形象化的展示讓學習者對課文內(nèi)容理解更透徹。但部分學生在制作課件時,選取的圖片雖有趣但與主題無關,容易脫離教學目標。比如同樣這篇文章,學生本意是想討論中國文化的象征。介紹了我國當前流行的一種文化“鬼畜視頻”,并播放了成龍洗發(fā)水廣告duang惡搞版。雖然課堂氣氛活躍,但該文化并不是中國文化的典型代表,不符合主題,容易偏離教學目標。提示性PPT的使用率排名第二。學生在該類課件中常采用“點句”模態(tài),結(jié)合多樣的字樣(typeface)、色彩對比、文字切入效果等其他模態(tài),引導學習者將思路一步步打開,促進他們的思維由單一變?yōu)槎嘞?從而達到思考問題全面、記憶加深的目的。但部分學生會將搜索到的信息直接復制粘貼,使得信息缺少主次。從多模態(tài)理論形式層面的關系來看,這說明學生對各個模態(tài)的語法之間的關系,即互補性中強化(突出、主次、擴充)和非強化(交叉、聯(lián)合、協(xié)調(diào))兩個方面的認識不夠到位,在運用精加工策略和組織策略對信息進行處理的能力還有些欠缺。分析性PPT多用在涉及福利制度、電信科技的文章中,即通過圖表對某一事物的現(xiàn)象和原因進行分析。在該類課件中學生能將所學內(nèi)容與當今熱點相結(jié)合,利用數(shù)據(jù)進行對比分析,激發(fā)學習者批判性思維。但在討論解決方案時學生多從正面角度提出,缺乏反面考慮問題的能力。例如在講到有關福利的文章時,學生提出大學應提供更多福利,對食堂飯菜價格的定位提出了質(zhì)疑,并提出解決方案。但他們只從正面思考,提出學校應降低飯菜價格從而提供更多福利;沒有從反面思考,即如果學校不能降低飯菜價格,應怎樣做。這反映出部分學生缺乏反向思維,不能從全局角度去分析和解決問題。勸誘性PPT是學生使用最少的,但內(nèi)容也是最多樣化的,主要涉及到人生感悟、道德倫理等。學生會通過添加視頻、音頻等模態(tài)來實現(xiàn)勸誘意圖。這些模態(tài)都是與時俱進的,說明學生在課外知識方面涉獵廣泛。但學生有時運用的視聽模態(tài)和主題不搭,背景模板、字樣設計選擇比較隨意,導致前景和背景關系不突出、模態(tài)搭配突兀、重點不明確等問題的出現(xiàn)。比如在Gracefulhand(《優(yōu)雅的手》)這篇文章中,作者通過對手的刻畫來描繪出一位孱弱之至的老夫人孤獨優(yōu)雅地安靜離世的畫面,基調(diào)是悲傷的。但學生選擇的視頻短片則是一位芭蕾演員跳舞時優(yōu)雅的手姿,與主題明顯不符。

二是從語類結(jié)構(gòu)來看,收集的課件中篇幅最短是22張PPT,而篇幅最長的是58張PPT,平均篇幅為33張。而且教學進度越往前推進,學生對幻燈片張數(shù)總量的把握越合理。所有課件中,大部分課件都包括課文題目(title)、熱身活動(warming-up activities)、課文講解(text study)、生詞解析(language application)、總結(jié)(summary)這五步。生詞解析會在課文講解前或講解中進行,這說明學生在組織多模態(tài)課件結(jié)構(gòu)時能做到條理清晰、環(huán)環(huán)相扣。在熱身活動這一環(huán)節(jié),學生能運用多元識讀能力,將課本知識延伸到課外,與當今熱點話題相結(jié)合,適宜地引出文章主題。比如在講LegalandMoralImplicationsofCloning(《克隆在法律與道德上的影響》)這篇文章時,學生先通過一部有關克隆的熱門美劇Orphanblack(《黑色孤兒》)來引出克隆技術(shù)好處和壞處的話題,掀起了課堂討論的高潮,進而引出文章主題,激發(fā)大家閱讀文章的欲望。然而,部分課件的開頭缺少教學目標(objectives),而總結(jié)(sum-mary)部分也僅對文章進行總結(jié),缺少批判性思考(critical thinking),從而使課件缺少完整性和深入性,不利于學習者發(fā)散思維的培養(yǎng)(見表3)。從多模態(tài)理論語境層面的語境構(gòu)型來看,這兩個環(huán)節(jié)的缺失反映出部分學生對課堂上話語基調(diào)(tenor of discourse)的認識不到位。話語基調(diào)體現(xiàn)談話雙方的角色關系即他們之間永久性和暫時性的關系,它影響著談話雙方談話的語氣、態(tài)度和感覺[13]。這說明學生在多模態(tài)化教學過程中沒有扮演好“老師”這一角色,他們只是完整展示課件內(nèi)容,沒有起到傳道授業(yè)、解惑啟迪的作用。

表3 學生多模態(tài)PPT課件的語類結(jié)構(gòu)分析Tab.3 Analysis of the generic structure of students’

三是從模態(tài)符號的選擇和搭配上來看,多模態(tài)PPT語篇中涉及到的模態(tài)主要有視覺模態(tài)和聽覺模態(tài)這兩種。視覺模態(tài)主要是語言和圖像,而聽覺模態(tài)則主要是聲響和音樂。在模態(tài)選擇上,視覺模態(tài)比聽覺模態(tài)的使用率要高。在模態(tài)搭配上,文字+圖像模態(tài)組合比純文字模態(tài)的使用率要高。而且無論哪種模態(tài)搭配,都是以文字為主,其他符號為輔。這說明學生在使用多種模態(tài)協(xié)同搭配時能化繁為簡、化抽象為具體,以最直觀生動的方式傳遞語篇意義。在模態(tài)選擇或搭配方面,學生對印刷版式(typography)這一模態(tài)的選擇較少或搭配不和諧,這也印證了韋琴紅教授之前的研究結(jié)果[14]。說明部分學生的思維仍停留在傳統(tǒng)的讀寫識讀上。Kress和Van Leeuwen[15]曾指出,印刷版式等符號都是模態(tài)符號,都有自己的意義潛勢,在意義構(gòu)建和傳遞過程中起著重要作用。因此,如何改變學生傳統(tǒng)思路,提高他們多元識讀意識,鼓勵他們多嘗試使用非常規(guī)的模態(tài)符號,這是多模態(tài)化教學的重要內(nèi)容之一。在文字編輯方面,學生會對文字添加進入或退出、強調(diào)、其他動作路徑等效果來達到最佳展示方式。在圖像選取方面,學生選取的圖像多為高清。從多模態(tài)角度來看,這些圖像中色彩的飽和度、色彩區(qū)分度、色彩調(diào)、深度、照明及亮度等都得到很好的展現(xiàn),視覺情態(tài)度較高,能夠吸引學習者的注意力。在音樂選取方面,學生多選擇一些無歌詞的背景音樂,并且音量調(diào)節(jié)得當,不會喧賓奪主。從多模態(tài)理論意義層面的話語意義來看,這類音樂僅體現(xiàn)人際意義,沒有概念和謀篇意義,能為主題的展現(xiàn)起到很好的烘托作用。結(jié)果還顯示學生使用到的視聽說模態(tài)材料有35%左右屬于原創(chuàng),其中包括數(shù)據(jù)表圖、對話音頻、配音秀、視頻短片等,這類模態(tài)符號組合是最有效的組合模式,最能發(fā)揮學生的多元識讀能力。學生在制作此類模態(tài)時使用的軟件也多樣,如audio Editor Deluxe,imovie,moviemaker,adobe premiere,會聲會影等。這說明學生在利用現(xiàn)代科技獲取知識并對之進行加工處理方面表現(xiàn)突出。這些多維度的模態(tài)符號對語言符號的外延意義(denotation)和內(nèi)蘊意義(connotation)的呈現(xiàn)力較強。

四是從學生的英語水平和多元識讀能力的相關性來看,兩者呈正相關。英語水平越高的學生,其多元識讀能力也越強。從多模態(tài)理論的媒體層面上來看,他們既會使用到語言媒體,特別是現(xiàn)代技術(shù)媒體,對各種模態(tài)符號進行合理搭配、重點突出、剪切得當?shù)?從而使課件具有很強的吸引力、娛樂性和啟發(fā)性,激發(fā)學習者求知的內(nèi)在動機;也會使用到非語言媒體,即結(jié)合手勢語、身勢語、空間移位、面部表情等,實現(xiàn)課堂話語的多模態(tài)化。他們講解課文時思路清晰,內(nèi)容讓人信服,問的問題具有啟發(fā)和鼓舞作用,課堂教學效果非常好。相反,英語水平越低的學生,其多元識讀能力也越低,課件中圖像明顯多于文字,而文字部分大多是照搬,不進行加工編輯,成為一種信息的灌輸;選擇的音頻、視頻時間過長,且偏離主題;教學時,他們也只是盯著屏幕,機械地翻頁,表情僵硬,沒有眼神交流,組織的小組活動也較少,整個教學過程會使在座學生容易疲倦走神,教學效果不理想。

五、小結(jié)

(一)學生多模態(tài)化教學模式的可行性

本文以某高校2015級本科生為研究對象,實施兩種不同教學方式,經(jīng)過一個學期的教學實驗,驗證了“與教師為主的傳統(tǒng)PPT演示教學相比,學生多模態(tài)PPT演示教學模式更能激發(fā)學習興趣,顯著提高英語學習成績”的假設。實驗結(jié)果顯示,實驗組的課堂氣氛比控制組明顯活躍,問答的頻率也比控制組明顯高。這證明學生多模態(tài)化教學模式在大學英語課堂上具有一定的有效性和可行性。合理運用該模式有助于提高大學英語教學效果并增強學生的多元識讀能力,激發(fā)他們課外閱讀英文原版材料的動力。同時,該教學模式也能提高學生自主學習意識和能力,促進小組合作。特別是課上老師對課件的點評能讓學生重新反思和審視自己的作品,讓他們對主題的多模態(tài)呈現(xiàn)有更深層次的認識。在課后聊天中,學生也反映這種新式教學方式,給他們更大的發(fā)揮空間。

(二)應注意的地方及解決對策

實驗結(jié)果同時表明,學生多元識讀能力在多模態(tài)化教學過程中存在優(yōu)勢和不足。不足之處主要體現(xiàn)在運用精加工策略和組織策略對文字進行加工處理的能力欠缺、PPT語類選擇不均勻、模態(tài)符號搭配不和諧等。因此,教師應以培養(yǎng)學生多元識讀能力為主,對學生的多模態(tài)語篇組織、模態(tài)協(xié)同搭配、小組分工等進行有效指導,鼓勵學生根據(jù)專業(yè)特點合理分工、互補互利,鼓勵他們加強對印刷版式等非常規(guī)的模態(tài)符號的使用,幫助他們實現(xiàn)多模態(tài)的相互交織、協(xié)同配合。同時,教師應指導學生正確使用網(wǎng)絡資源,讓學生能充分發(fā)揮傳播媒介和互聯(lián)網(wǎng)技術(shù)的優(yōu)勢,實現(xiàn)多維立體化教學。此外,師生都應熟練掌握Power-Point的基本操作和高級應用,補充學習音頻、視頻處理軟件的高級使用。

本次教學實驗為一個學期,時間較短,也沒有把被試者的性別、專業(yè)、課外英語學習等因素考慮在內(nèi)。收集的課件不夠全面,難以說明整個年級學生的多元識讀能力,因此還存在一定的局限性和片面性,有待于在以后的研究中完善和補充。