英文電影字幕多模態(tài)效能實(shí)證研究

楊 勇

(廣東白云學(xué)院外國語學(xué)院，廣東 廣州 510450)

【傳媒文化】

英文電影字幕多模態(tài)效能實(shí)證研究

楊 勇

(廣東白云學(xué)院外國語學(xué)院，廣東 廣州 510450)

當(dāng)前，國內(nèi)對于英文電影字幕的研究主要集中于翻譯與外語教學(xué)兩大領(lǐng)域，以模態(tài)視角探討字幕對以英語為外語的學(xué)習(xí)者認(rèn)知效能的實(shí)證研究較少。在簡介國外已有成果的基礎(chǔ)上，本文嘗試以綜合性路徑實(shí)證研究雙模態(tài)字幕對英文電影內(nèi)容理解與詞匯識別兩大維度的效能。實(shí)驗(yàn)數(shù)據(jù)以T檢驗(yàn)法配對樣本進(jìn)行檢測。結(jié)果表明：雙模態(tài)字幕對英文電影內(nèi)容理解有積極效能，受試者理解有字幕電影比無字幕電影正確率高。然而，基于某些不確定因素，雙模態(tài)字幕對受試者詞匯識別沒有顯著性認(rèn)知效能。

英文電影；雙模態(tài)字幕；認(rèn)知效能；內(nèi)容理解；詞匯識別

“大數(shù)據(jù)”與“新媒體”雙時(shí)代的交織，不僅虛擬地縮小了人際距離，資源傳播與獲取也是唾手可得[1-2]。作為一種文化資源，英文電影以其強(qiáng)力的適應(yīng)性植根于多國外語教學(xué)中。從相關(guān)期刊數(shù)據(jù)來看，當(dāng)前國內(nèi)對于英文電影，特別是英文電影字幕的研究，主要集中于翻譯與外語教學(xué)兩大領(lǐng)域，如薛豐年描述了微電影不僅讓大學(xué)英語學(xué)習(xí)更具新穎性與趣味性，還能有效激發(fā)學(xué)生外語學(xué)習(xí)潛能[3]；馬萌蕓探討了影視翻譯在大學(xué)英語視聽說中的應(yīng)用[4]；呂玉勇、李民研究了英文電影字幕翻譯的“文體”變化[5]；鄭寶璇則以“語內(nèi)”與“語際”兩大視角對電影字幕翻譯進(jìn)行思辨[6]。相較而言，國外對于英語電影字幕的研究，20世紀(jì)末業(yè)已拓展到了“模態(tài)效能”(modal efficacy)的視角。本文論及的模態(tài)效能，非醫(yī)學(xué)研究領(lǐng)域的相同術(shù)語，如Suraj Kumar、Kelley etc的相關(guān)研究[7-8]。本文所說的“模態(tài)”(modality)，在人文社會(huì)科學(xué)領(lǐng)域，言指表義的符號資源，是一種信息交際“模式”(mode)，如聲音、顏色、空間等[9-12]。而“效能”(efficacy)，根據(jù)維基百科與麥克米蘭英語詞典，等同于“效力”(effectiveness)，是產(chǎn)生預(yù)期結(jié)果的一種能力。

鑒于國內(nèi)對于英文電影字幕模態(tài)效能研究的滯緩，特別是缺乏實(shí)證性研究，本文擬在概述國外相關(guān)研究的基礎(chǔ)上，以相應(yīng)的公開成果為借鑒，嘗試合成一種“綜合性”(holistic)實(shí)證研究途徑，以“配對樣本T檢驗(yàn)”(paired samples T-test)程序，力求對英文電影雙模態(tài)字幕“內(nèi)容理解”與“詞匯識別”兩大維度的效能進(jìn)行同步實(shí)驗(yàn)并討論。其中，對于英文電影字幕的分類，依據(jù)Johanna E. Katchen、Tim Fox、Vernon Chun等人的標(biāo)準(zhǔn)，共分為六大類，分別為：標(biāo)準(zhǔn)字幕(第二語言聲道加母語字幕)、雙模態(tài)字幕(第二語言聲道加第二語言字幕)、逆向型字幕(母語聲道加第二語言字幕)、雙語字幕(第二語言聲道加母語與第二語言的同軌字幕)、雙語逆向型字幕(母語聲道加母語與第二語言的同軌字幕)、無字幕(第二語言聲道，沒有字幕)[13]。

一、文獻(xiàn)綜述

(一)字幕對語言學(xué)習(xí)的效能

Borras、Lafayette把字幕加入到互動(dòng)多媒體課程的短視頻片斷中，受試者可以觀看并控制有或者無相同語言字幕的視頻片斷[14]。該研究顯示，有機(jī)會(huì)觀看并能控制字幕對視頻內(nèi)容理解及語言輸出有積極的效能。

Kusumarasdyati研究了DVD影片的字幕效能，結(jié)果發(fā)現(xiàn)，有字幕電影對于提高以英語為外語的學(xué)習(xí)者的聽力技能是一種有效的教學(xué)手段[15]。與之相近，Zanon研究了基于計(jì)算機(jī)的字幕對語言學(xué)習(xí)的幫助，結(jié)論認(rèn)為，以不同語言的配音形式，受試觀眾無法完全理解電影內(nèi)容，而字幕的加入?yún)s可以觸發(fā)受試觀眾的欣賞動(dòng)機(jī)[16]。

Grgurovic、Hegelheimer應(yīng)用含有一段學(xué)術(shù)講座視頻的多媒體聽力來比較第二語言字幕和報(bào)告錄音文本對學(xué)術(shù)報(bào)告理解的效能[17]。結(jié)果表明，受試學(xué)生更傾向于字幕應(yīng)用，其頻次遠(yuǎn)高于錄音文本。

(二)字幕對詞匯學(xué)習(xí)的效能

Koolstra、Beentjes研究了荷蘭一所小學(xué)兩個(gè)年級的學(xué)生是否愿意通過觀看具有英語配音和荷蘭語字幕的電視節(jié)目來學(xué)習(xí)英語詞匯[18]。結(jié)果表明，有字幕條件下受試學(xué)生的詞匯習(xí)得成績最高。其具體實(shí)驗(yàn)過程描述如下：246名4和6年級(年齡在9～11歲)荷蘭小學(xué)生作為受試對象，要求觀看一段15分鐘時(shí)長的紀(jì)錄片。所有受試學(xué)生在三種條件下進(jìn)行實(shí)驗(yàn)：(1)關(guān)于灰熊的節(jié)目要求是英語配音加荷蘭語字幕；(2)同樣的節(jié)目要求英語配音不加字幕；(3)一項(xiàng)關(guān)于草原土撥鼠的荷蘭語電視節(jié)目(實(shí)驗(yàn)對照組)。這兩個(gè)實(shí)驗(yàn)?zāi)昙?年級才開始英語學(xué)習(xí)，所以4年級時(shí)，他們未曾接受過常規(guī)英語學(xué)習(xí)，而到了6年級，他們已具備英語常規(guī)學(xué)習(xí)的基礎(chǔ)。

實(shí)驗(yàn)結(jié)果表明，觀看有字幕節(jié)目的學(xué)生詞匯成績比觀看無字幕節(jié)目者要高，并且實(shí)驗(yàn)條件(2)之下的學(xué)生成績比對照組的高；6年級的學(xué)生表現(xiàn)比4年級的要好；觀看有字幕紀(jì)錄片后，相比無字幕而言，更多詞匯被識別出，且同樣6年級表現(xiàn)勝于4年級；在家中以較高頻次觀看有字幕節(jié)目的學(xué)生其英語詞匯成績遠(yuǎn)高于較低頻次的學(xué)生。這些研究發(fā)現(xiàn)為字幕不會(huì)干擾詞匯聽力學(xué)習(xí)的論斷進(jìn)一步提供了佐證。

Bird、Williams進(jìn)行了兩項(xiàng)實(shí)驗(yàn)，旨在探究單模態(tài)(聲音或文本)和雙模態(tài)(聲音和文本)表征方式對詞匯學(xué)習(xí)的影響[19]。兩項(xiàng)實(shí)驗(yàn)皆認(rèn)為，字幕對新詞學(xué)習(xí)有強(qiáng)化效能。

Stewart、Pertusa以中等學(xué)校學(xué)生為受試者研究了他們在詞匯識別方面的成績[20]。實(shí)驗(yàn)條件分成兩類：一是觀看有英語字幕的西班牙語影片；二是觀看有西班牙語字幕的相同影片。研究報(bào)告稱，同一語言內(nèi)的字幕設(shè)置在提高學(xué)生詞匯識別方面更為有效。

(三)字幕對電影內(nèi)容理解的效能

為了研究字幕對電影內(nèi)容理解的效能，Grignon、Lavaur、Blanc對比研究了同一部電影的三個(gè)版本，即配音版、字幕版和原版。結(jié)果發(fā)現(xiàn)，配音版與字幕版相比原版而言，對受試者均有較好的認(rèn)知效能[21]。

Hinkin對有字幕電影在內(nèi)容理解效能方面進(jìn)行了兩次調(diào)查研究[22]。兩次調(diào)查均展示了從三部影片《義海雄風(fēng)》(A Few Good Man)、《非禮勿視》(See No Evil)和《非禮勿聽》(Hear No Evil)選取的時(shí)長10分鐘的片斷。對于每一部影片，受試者要完成三種類型的單項(xiàng)選擇題，其中包括：單圖畫題，單文字題，圖畫、文字雙模態(tài)耦合題。實(shí)驗(yàn)一用以調(diào)查理解水平的差異，其中文字信息僅以受試者母語展示(即英語音軌和/或字幕)。實(shí)驗(yàn)一結(jié)果顯示，當(dāng)受試者母語以字幕展示而非音軌時(shí)，其對于單文字及模態(tài)耦合型測試題有突顯性的良好表現(xiàn)。這些發(fā)現(xiàn)證實(shí)了前人關(guān)于“閱讀字幕形式的文字信息比傾聽音軌信息更為有效”的研究。實(shí)驗(yàn)一中針對單圖畫題不同表征模式間的表現(xiàn)對比顯示，在英語音軌無字幕條件下，受試者表現(xiàn)要遠(yuǎn)強(qiáng)于其他條件下的設(shè)計(jì)。盡管實(shí)驗(yàn)一對母語音軌與字幕如何影響電影內(nèi)容理解作了基本的證實(shí)，但需要強(qiáng)調(diào)的是，當(dāng)觀看外語影片且文字信息的表征為“剛性需求”時(shí)，主要應(yīng)用的模態(tài)還是字幕模式。實(shí)驗(yàn)二在實(shí)驗(yàn)一的基礎(chǔ)上又加入了一種受試者不熟悉(無認(rèn)知學(xué)習(xí)背景)的語言(如，法語)。實(shí)驗(yàn)一中的一組問題同樣應(yīng)用于實(shí)驗(yàn)二中。不同之處在于，兩項(xiàng)法語詞匯測驗(yàn)也加到實(shí)驗(yàn)二中，目的是測量“伴隨性”(incidental)外語習(xí)得表現(xiàn)。與實(shí)驗(yàn)一結(jié)果一致，當(dāng)受試者的母語以字幕模式表征時(shí)，其對于單文字問題及模態(tài)耦合型問題表現(xiàn)得更佳。這項(xiàng)發(fā)現(xiàn)拓展了已有的研究結(jié)論，即對于外語學(xué)習(xí)材料，在需要文字提示的問題方面，視覺模態(tài)表征(如，字幕)的母語文字信息比口語表征(如，音軌)的母語文字信息效能強(qiáng)。而在圖畫問題的表現(xiàn)方面，實(shí)驗(yàn)二中不同表征模式的對比分析結(jié)果卻沒有顯性不同。兩組實(shí)驗(yàn)的對比分析均反映了因某一外語的存在而帶來的相關(guān)“分心效應(yīng)”(distraction effect)。而在各種多模態(tài)條件下，受試者對于法語詞匯測驗(yàn)的表現(xiàn)均非常糟糕，且無顯性不同。這或許表明，該項(xiàng)實(shí)驗(yàn)任務(wù)對于受試者而言過于困難。

依據(jù)對外公開的期刊PLOS ONE，Mitterer & McQueen也于2009年進(jìn)行了一項(xiàng)研究，旨在調(diào)查提供文字信息的字幕是否支持關(guān)于外語的認(rèn)知學(xué)習(xí)[23]。一組荷蘭受試者不熟悉蘇格蘭和澳大利亞地方口音的英語(即方言英語)，觀看了以荷蘭語、英語，或者沒有字幕的蘇格蘭或澳大利亞英語電影，然后重復(fù)了兩種方言電影的音頻片斷。結(jié)果表明，受試者觀看以荷蘭語字幕呈現(xiàn)的電影后，對于電影片斷音頻重復(fù)方面的表現(xiàn)更加糟糕，但比觀看以英語字幕呈現(xiàn)的電影之后的表現(xiàn)要好。上述研究發(fā)現(xiàn)亦可理解為：母語字幕體現(xiàn)了一定程度的詞匯“負(fù)遷移”，但外語字幕通過提示正在表達(dá)的單詞(和聲音)，卻有助于語言學(xué)習(xí)。

基于上述文獻(xiàn)分析，可以清晰地看到，盡管國外對于字幕模態(tài)認(rèn)知效能的實(shí)證研究較早，但“單維度”的研究痕跡突顯，也即反向映射了“綜合維度”的“擦除”(erasure)，不論研究者有意或無意為之?！安脸备拍钭鳛檠芯吭掝}，在批評語言學(xué)(CDA)、生態(tài)語言學(xué)(eco-linguistics)等學(xué)科領(lǐng)域多有探討，指“something important has been ignored, sidelined or excluded from consideration within a discourse.”[24-25]因此，借用該理論框架，本研究“綜合維度”的嘗試，旨在研究行為的一種“提醒”(reminding)，希望能為學(xué)界提供參考。

二、實(shí)驗(yàn)研究

(一)研究設(shè)計(jì)

本研究為“一次性個(gè)案”(one-shot case)研究，沒有“實(shí)驗(yàn)對照組”(controlled group)，沒有預(yù)備測試，本研究嘗試以“綜合性”途徑同步探討英文電影雙模態(tài)字幕對“內(nèi)容理解”與“詞匯識別”的認(rèn)知效能。

(二)實(shí)驗(yàn)對象

本研究受試者是以科技翻譯為專業(yè)方向的兩個(gè)班級，共計(jì)44名本科生，年齡18～20歲不等，2013年秋季入學(xué)，其中女生34名，男生10名。按照廣東省的學(xué)制學(xué)情，44名同學(xué)均從小學(xué)三年級開始學(xué)習(xí)英語，小學(xué)均為六年學(xué)制，初中三年學(xué)制，高中三年學(xué)制。所有受試者國籍與語言背景無差異，均為中國國籍且母語為漢語中的粵語方言。所有受試者均無在國外講英語國家的生活經(jīng)歷。

(三)實(shí)驗(yàn)材料

兩部BBC(英國廣播公司)紀(jì)錄片電影，一部有英語字幕，一部沒有。有字幕電影名為《危險(xiǎn)的知識》，講述的是一名數(shù)學(xué)教授George Cantor開啟了一場他從未真正打算發(fā)起的革命，并最終威脅到了整個(gè)數(shù)學(xué)科學(xué)領(lǐng)域的根基。這部影片大約播放30分鐘。另外一部無字幕電影名為《我的機(jī)器人在哪》，主要介紹不同種類的機(jī)器人。這部電影時(shí)長為20分鐘。

選取的兩部電影主要依據(jù)內(nèi)容的趣味性，其語言難度水平適合受試者，并且電影時(shí)長均未超過30分鐘。

(四)研究工具

為了收集數(shù)據(jù)，每部電影均有兩項(xiàng)不同的測試。一項(xiàng)為10個(gè)單項(xiàng)選擇題型的內(nèi)容理解題，另一項(xiàng)為10個(gè)單項(xiàng)選擇題型的詞匯理解題。單項(xiàng)選擇均為4個(gè)選項(xiàng)的設(shè)計(jì)，且所有測試內(nèi)容均從兩部紀(jì)錄片電影中抽取。對于要測試的內(nèi)容理解題，研究者首先對影片進(jìn)行整體觀看，了解影片的主題，然后又分部分地仔細(xì)觀看，從而提出4選項(xiàng)設(shè)計(jì)的內(nèi)容理解測試題；在詞匯測試題中，電影中呈現(xiàn)的高級詞匯一并進(jìn)行了選擇，相關(guān)詞匯的測試句子則從劍橋與牛津高階詞典中選取。為了評估本次測試實(shí)驗(yàn)的信度(reliability)，所應(yīng)用統(tǒng)計(jì)分析軟件為SPSS。內(nèi)容理解與詞匯測試題(有字幕和無字幕)信度值計(jì)算為0.756，對這種類型的實(shí)驗(yàn)測試而言，是可以接受的。

(五)研究過程

1.數(shù)據(jù)收集

正式開始實(shí)驗(yàn)之前，受試者被告知實(shí)驗(yàn)計(jì)劃，目的是激發(fā)動(dòng)機(jī)與興趣。首先，兩個(gè)班均觀看同一部電影，但組一先觀看有英文字幕的《危險(xiǎn)的知識》，然后再看無字幕的《我的機(jī)器人在哪》。為了中和“次序效應(yīng)”(order effect)，組二觀看順序與組一完全相反。每部電影均在某一時(shí)間段內(nèi)集中觀看，中間不停斷。電影欣賞完畢，兩個(gè)班級的所有受試者都要進(jìn)行詞匯和內(nèi)容理解的實(shí)驗(yàn)測試。第一部影片觀看結(jié)束后，受試者有15分鐘的時(shí)間回答共計(jì)20道單項(xiàng)選擇題型的內(nèi)容理解與詞匯識別題，然后播放第二部影片，觀看結(jié)束后在15分鐘內(nèi)完成相關(guān)的測試問題。

2.得分與數(shù)據(jù)分析

本研究數(shù)據(jù)由受試者對內(nèi)容理解與詞匯測試題答案得分構(gòu)成。正確回答一項(xiàng)問題，受試者得分為一。所收集數(shù)據(jù)以SPSS進(jìn)行統(tǒng)計(jì)分析。首先計(jì)算得分，每位受試者有兩項(xiàng)分?jǐn)?shù)，一項(xiàng)為觀看有字幕電影后的得分，另一項(xiàng)為觀看無字幕電影后得分。然后，這兩項(xiàng)得分歸類為四組別，包括內(nèi)容理解/詞匯，有字幕/無字幕。每位受試者其在某一組別與另一組別中的成績對比，通過運(yùn)行“配對樣本T檢驗(yàn)”(paired samples t-test)來計(jì)算不同受試條件下兩項(xiàng)分?jǐn)?shù)的差異。四組別全部計(jì)分，分別是有字幕電影內(nèi)容理解得分、無字幕電影內(nèi)容理解得分、有字幕電影詞匯得分和無字幕電影詞匯得分。

三、結(jié)果與討論

統(tǒng)計(jì)分析軟件SPSS應(yīng)用的目的是清楚了解受試者對本實(shí)驗(yàn)研究任務(wù)的表現(xiàn)，而“配對樣本T檢驗(yàn)”則用來計(jì)算兩項(xiàng)得分途徑差異的顯著性。得分類別劃分為三大維度：有字幕與無字幕整體得分；有字幕內(nèi)容理解得分與無字幕內(nèi)容理解得分；有字幕詞匯識別與無字幕詞匯識別得分。統(tǒng)計(jì)分析數(shù)據(jù)見表1。

表1 基于字幕的內(nèi)容理解與詞匯識別SPSS配對樣本分析

注：受試者兩項(xiàng)得分途徑差異t值，其中“+”表示“有”，“-”表示“無”。

根據(jù)表1，全部詞匯識別與內(nèi)容理解題t值統(tǒng)計(jì)為顯著性(t=2.475，P<0.017)，這意味著兩種途徑得分間有顯著性差異。換言之，受試者回答有字幕電影的問題表現(xiàn)優(yōu)于無字幕電影的表現(xiàn)?；诒?t值數(shù)據(jù)，內(nèi)容理解題比整體而言統(tǒng)計(jì)更為顯性(t=4.650，P<0.000)，這些數(shù)據(jù)表明受試者理解有字幕電影優(yōu)于無字幕電影。然而，兩種途徑間對于詞匯識別題無顯著性差異。

進(jìn)一步分析得出，受試者對于雙模態(tài)字幕呈現(xiàn)的電影理解表現(xiàn)更佳，這包括全部的詞匯識別與內(nèi)容理解問題。表中第三行是關(guān)于受試者對于內(nèi)容理解方面的數(shù)據(jù)，從其結(jié)果看要優(yōu)于整體數(shù)據(jù)。據(jù)此表明，受試者對于理解有字幕電影的表現(xiàn)優(yōu)于無字幕電影。然而，對于電影中的詞匯識別，觀看有字幕電影與無字幕電影之間并無顯性差異。所以，可以得出結(jié)論，受試者在理解雙模態(tài)英文電影方面比無字幕電影更為成功，書面形式的言語呈現(xiàn)或表征是關(guān)鍵要素。但就詞匯識別而言，觀看有字幕電影并無特殊或顯性效能，或可歸因于從有字幕電影中進(jìn)行詞匯識別與認(rèn)知學(xué)習(xí)，需要多頻次實(shí)踐這一事實(shí)。

四、結(jié)論

本項(xiàng)關(guān)于觀看雙模態(tài)字幕英文電影的實(shí)證研究表明，作為文化資源之一的電影，其效能不僅可以激發(fā)學(xué)習(xí)者的娛樂動(dòng)機(jī)，還有助于學(xué)習(xí)者理解各類方言口音的言語。以英語為外語的學(xué)習(xí)者，有機(jī)會(huì)接觸美國、英國、澳大利亞等不同地區(qū)帶有不同鄉(xiāng)音的真實(shí)言語已是不爭的事實(shí)。然而，鑒于學(xué)習(xí)者對標(biāo)準(zhǔn)英語的習(xí)慣性認(rèn)知，通過聽力來理解真實(shí)言語中的每個(gè)單詞，毋庸置疑，相當(dāng)困難。本實(shí)驗(yàn)數(shù)據(jù)表明，雙模態(tài)英文電影字幕對于這些以真實(shí)言語表達(dá)的電影內(nèi)容理解是最佳的選擇。

然而，本研究中雙模態(tài)字幕對于以英語為外語的學(xué)習(xí)者詞匯識別沒有產(chǎn)生顯著性效能，或可歸因于本實(shí)驗(yàn)為“一次性個(gè)案”研究，受試者接觸作為研究材料的兩部英文電影頻次太低，這也是此次實(shí)驗(yàn)研究的局限性所在。另外需要指出的關(guān)鍵影響要素是，依清華大學(xué)崔剛教授之言：“實(shí)驗(yàn)方法也有一致命的問題，那就是它的非自然性。心理語言學(xué)研究的目的在于發(fā)現(xiàn)人們在自然狀況下使用語言的心理過程，而實(shí)驗(yàn)方法都要控制變量，實(shí)驗(yàn)環(huán)境都有人為的因素參與其中，在實(shí)驗(yàn)室里取得的結(jié)果能否說明人們在自然環(huán)境中使用語言的情況往往是令人懷疑的?！盵26]這是實(shí)驗(yàn)研究路徑的通用癥狀所在，故而本文實(shí)證研究的數(shù)據(jù)與分析結(jié)果，更多彰顯的是參考價(jià)值。

[1]南旭光.大數(shù)據(jù)時(shí)代高等教育“循數(shù)治理”解析及實(shí)現(xiàn)路徑[J].中國電化教育，2016，(8)：20-26.

[2]杜志強(qiáng)，支少瑞.微課在新媒體時(shí)代的“位”與“為”[J].高校教育管理，2015，(2)：96-100.

[3]薛豐年.微媒體視域下的大學(xué)英語教學(xué)[J].教育理論與實(shí)踐，2016，(36)：53-54.

[4]馬萌蕓.影視翻譯在大學(xué)英語視聽說課堂中的應(yīng)用[J].教育理論與實(shí)踐，2014，(34)：49-50.

[5]呂玉勇，李民.論英文電影字幕翻譯的娛樂化改寫——以《黑衣人3》和《馬達(dá)加斯加3》的字幕翻譯為例[J].中國翻譯，2013，(3)：105-109.

[6]鄭寶璇.電影字幕的語內(nèi)和語際翻譯[J].中國翻譯，2011，(4)：75-78.

[7]Surai Kumar. Efficacy of two multimodal treatments on physical strength of occupationally sub grouped male with low back pain[J].Journal of Yoga & Physical Therapy，2016，(6)：237.

[8]Kelley，MJ Adams，BD Mulliken，et al. Efficacy of multimodal perioperative analgesia protocol with periarticular medication injection in total knee arthroplasty: a randomized, double-blinded study[J].Journal of Arthroplasty，2013，28(8)：1274.

[9]Lemke. Multiplying meaning: Visual and verbal semiotics in scientific text. In J.R. Martin & R. Veel (eds.), Reading science[M].London：Routledge，1998.87-113.

[10]胡壯麟.社會(huì)符號研究中的多模態(tài)化[J].語言教學(xué)與研究，2007，(1)：1-10.

[11]馮德正，張德祿，Kay O'Halloran.多模態(tài)語篇分析的進(jìn)展與前沿[J].當(dāng)代語言學(xué)，2014，(16)：88-99.

[12]楊勇.“耦合”觀照之一:多媒體外語教學(xué)[J].現(xiàn)代交際(學(xué)術(shù)版)，2016，(13)：6-8.

[13]Johanna E. Katchen，Tim Fox，Vernon Chun，et al. Developments in Digital Video[EB/OL].(2012-03-14)[2017-08-12].http://mx.nthu.edu.tw/～katchen/professional/developments%20in%20digital%20video.htm.

[14]Borrras，Lafayette. Effects of multimedia courseware subtitling on the speaking performance of college students of French[J].Modern Language Journal，1994，78(1)：66-75.

[15]Kusumarasdyati. Subtitled movie DVDs in foreign language classes[Z].Aare Conference，2006.

[16]Zanon. Using subtitles to enhance foreign language learning[J].Porta Linguarum，2006，(6)：41-52.

[17]Grgurovic，Hegelheimer. Help options and multimedia listening: students' use of subtitles and the transcript[J].Language Learning and Technology，2007，11(11)：45-66.

[18]Koolstra，Beentjes. Children's vocabulary acquisition in a foreign language through watching subtitled television programs at home[J].Educational Technology Research and Development，1999，47(1)：51-60.

[19]Bird，Williams. The effect of bi-mod al input on implicit and explicit memory: an investigation into the benefits of within-language subtitling[J].Applied Psycholinguistics，2002，23(4)：509-533.

[20]Stewart，Pertusa. Gains to language learners from viewing target language closed-captioned films[J].Foreign Language Annals，2004，37(3)：438-447.

[21]Grignon，Lavaur，Blanc. The effect of subtitles on film understanding[EB/OL].(2012-02-12)[2017-08-12].http://google.com/site/jeanmarclavaur/grigronlavaurblanc2007.pdf.

[22]Hinkin. Comprehension of multiple channel messages: are subtitles more beneficial than soundtracks[D].Kansas State：Kansas State University，2009.

[23]黃國文.Erasure and Writing[EB/OL].(2016-10-11)[2017-08-12].http://fls.sysu.edu.cn/node/1099.

[24]Mitterer，Mcqueen. Foreign subtitles help but native-language subtitles harm foreign speech perception[J].Plos One，2009，4(11)：7785.

[25]Arran Stibbe. Ecolinguistics and erasure: restoring the natural world to consciousness. In Christopher Hart & Piotr Cap(eds.)[J].Contemporary Critical Discourse Studies，2014，(2)：583-602.

[26]崔剛.《心理語言學(xué)導(dǎo)論》導(dǎo)讀[M].北京：世界圖書出版公司，2007.3.

【責(zé)任編輯：周丹】

H315.9

A

1673-7725(2017)11-0152-06

2017-09-06

本文系吉林省教育科學(xué)“十二五”規(guī)劃課題“多模態(tài)視域下的英語教學(xué)設(shè)計(jì)的研究”(項(xiàng)目編號：GH12170)；廣東省普通高校特色創(chuàng)新類項(xiàng)目(教育科研)“應(yīng)用型本科教育的理論解析與實(shí)踐探索”(項(xiàng)目編號：2016GXJK175)；廣東省教育研究院課題“應(yīng)用型大學(xué)多模態(tài)外語教學(xué)探索”(項(xiàng)目編號：GDJY-2014-C-b077)；廣東白云學(xué)院課題“大學(xué)生口語交際能力多模態(tài)構(gòu)建研究”(項(xiàng)目編號：BYKY201537)的研究成果。

楊勇(1978-)，男，山東諸城人，講師，主要從事系統(tǒng)功能與認(rèn)知語言學(xué)、外語教育與翻譯。