多模態(tài)語料庫建設(shè)與外語教學(xué)
——現(xiàn)狀與前瞻

梁燕玲

(山東大學(xué)威海校區(qū) 翻譯學(xué)院， 山東 威海 264209)

●教學(xué)改革與實(shí)踐研究

多模態(tài)語料庫建設(shè)與外語教學(xué)
——現(xiàn)狀與前瞻

梁燕玲

(山東大學(xué)威海校區(qū) 翻譯學(xué)院， 山東 威海 264209)

多模態(tài)語料庫建設(shè)始于20世紀(jì)末，它在外語教學(xué)中的應(yīng)用具有極大的研究價(jià)值。多模態(tài)語料庫研究現(xiàn)已成為一個(gè)新的研究領(lǐng)域。我國多模態(tài)語料庫外語教學(xué)研究起步比西方晚，理論探討不夠深入，現(xiàn)有的多模態(tài)語料庫數(shù)量少，建庫難度大，且應(yīng)用范圍過于狹窄。因此，有必要深入探討多模態(tài)語料庫外語教學(xué)理論，建設(shè)大中型語料庫，引介與開發(fā)相關(guān)軟件以及擴(kuò)寬研究對(duì)象與范圍。

多模態(tài)語料庫； 外語教學(xué)； 現(xiàn)狀； 前瞻

一、引言

20世紀(jì)末，國內(nèi)一些學(xué)者[1]、[2]開始關(guān)注語料庫在英語教學(xué)中的應(yīng)用研究，包括詞匯教學(xué)、語法教學(xué)、翻譯教學(xué)、教學(xué)模式改革等。這些都是基于文本語料的傳統(tǒng)語料庫，但如今外語教學(xué)已進(jìn)入多媒體時(shí)代，傳統(tǒng)語料庫已無法滿足外語教學(xué)的需要。于是，多模態(tài)語料庫應(yīng)運(yùn)而生。

多模態(tài)語料庫被譽(yù)為“語料庫在外語教學(xué)中最具發(fā)展?jié)摿Φ念I(lǐng)域”[3]，在我國正方興未艾，吸引了不少外語界學(xué)者的研究興趣[4]、[5]。筆者嘗試梳理多模態(tài)語料庫的發(fā)展歷程，分析多模態(tài)語料庫在外語教學(xué)中的應(yīng)用，并根據(jù)其現(xiàn)狀提出未來發(fā)展方向。

二、多模態(tài)語料庫的發(fā)展歷程

目前學(xué)界對(duì)多模態(tài)語料庫還缺乏一個(gè)統(tǒng)一的定義。張霄軍[6]對(duì)多模態(tài)語料庫的定義是：“建立在‘言語理論’基礎(chǔ)之上的，以言語活動(dòng)為研究對(duì)象，以從原始數(shù)據(jù)中抽取信息和知識(shí)為手段，以語境模型為驅(qū)動(dòng)的囊括整個(gè)言語活動(dòng)的語言、聲音、圖像和動(dòng)作的多媒體語料庫?！邦櫾粐鳾4]認(rèn)為多模態(tài)語料庫是指“把文字語料、音頻語料和靜、動(dòng)態(tài)圖像語料進(jìn)行集成處理，用戶可以通過多模態(tài)方式進(jìn)行檢索、統(tǒng)計(jì)等操作的語料庫?！?/p>

多模態(tài)語料庫是語料庫經(jīng)由文本語料庫、口語語料庫發(fā)展到目前的新型語料庫，具有可實(shí)現(xiàn)語境化、音頻和視頻內(nèi)容存儲(chǔ)豐富、語料可信度高、語料來源容易確認(rèn)等優(yōu)點(diǎn)，但也有語料內(nèi)容轉(zhuǎn)寫與標(biāo)注麻煩，處理起來比較困難等缺點(diǎn)[6]。歐洲多個(gè)國家開展了較大規(guī)模的多模態(tài)語料庫建設(shè)與相關(guān)研究(如MATE, NITE, ISLE和AMI等)，其中關(guān)于概念、標(biāo)準(zhǔn)及工具等方面的問題，成為學(xué)者們的重要議題[7]。國內(nèi)多模態(tài)語料庫研究除了應(yīng)用在外語教學(xué)，還集中于語言研究[4]、多模態(tài)語料庫建設(shè)[8]和語篇分析[9]。

多模態(tài)語料庫在許多語料庫國際會(huì)議上都成為焦點(diǎn)，如2014年“首屆中英語料庫語言學(xué)論壇“暨“首屆中英語料庫語言學(xué)研討會(huì)”上，顧曰國深入系統(tǒng)地介紹了多模態(tài)語料庫的語言學(xué)和語言哲學(xué)理念、設(shè)計(jì)原則、制作流程、分析維度與方法等。多模態(tài)語料庫代表著語料庫語言學(xué)未來發(fā)展的一種重要方向。2015年“第2屆中英語料庫語言學(xué)論壇”主題之一是多模態(tài)語料庫研究；2015年“第2屆中英語料庫語言學(xué)講習(xí)班”上，顧曰國通過工作坊的形式，對(duì)多模態(tài)語料庫語言學(xué)的最新理論與數(shù)字化技術(shù)進(jìn)行了深入淺出的介紹。

三、我國多模態(tài)語料庫外語教學(xué)研究現(xiàn)狀

多模態(tài)語料庫應(yīng)用于外語教學(xué)起步于2000年。意大利系統(tǒng)功能語言學(xué)和多模態(tài)話語分析專家Anthony Baldry和其他學(xué)者共同研發(fā)了多媒體信息檢索工具——“多模態(tài)語料庫標(biāo)注系統(tǒng)”(Multimodal Corpus Authoring System，簡(jiǎn)稱MCA)，現(xiàn)已應(yīng)用于多所高校外語電化教學(xué)中。2008年歐洲多國合作建成的SACODEYL多模態(tài)教學(xué)語料庫，是世界上首個(gè)將數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)付諸實(shí)踐的多語種多模態(tài)語料庫。

在我國，多模態(tài)語料庫應(yīng)用于外語教學(xué)的文獻(xiàn)最早可以追溯到2010年[10]。筆者以“多模態(tài)語料庫”為主題詞、關(guān)鍵詞和摘要檢索詞，在CNKI中進(jìn)行檢索，共檢索到與外語教學(xué)有關(guān)的文獻(xiàn)11篇，時(shí)間覆蓋2010年至2015年7月。6年時(shí)間共11篇文獻(xiàn)，僅從數(shù)字可以看出，多模態(tài)語料庫外語教學(xué)研究是一個(gè)尚待開墾的領(lǐng)域，具有很大的研究空間。

按照研究內(nèi)容，本文將多模態(tài)語料庫外語教學(xué)研究分為理論探討和實(shí)證研究兩類，將理論探討細(xì)分為文獻(xiàn)綜述、教學(xué)模式和語篇分析模型三類，實(shí)證研究細(xì)分為檢索工具、語料庫建設(shè)、口語教學(xué)以及多模態(tài)隱喻能力四類。統(tǒng)計(jì)如表1：

表1 多模態(tài)語料庫外語教學(xué)研究內(nèi)容分類統(tǒng)計(jì)結(jié)果

從統(tǒng)計(jì)數(shù)據(jù)來看，多模態(tài)語料庫外語教學(xué)研究文獻(xiàn)共11篇，關(guān)于理論探討的文獻(xiàn)共4篇，其余7篇為實(shí)證研究，說明國內(nèi)多模態(tài)語料庫外語教學(xué)研究剛剛起步，理論研究不足，在不斷發(fā)展的實(shí)證研究中補(bǔ)充理論。

(一)理論探討

多模態(tài)語料庫外語教學(xué)的理論探討主要包括文獻(xiàn)綜述、教學(xué)模式和語篇分析模型探討。

1、文獻(xiàn)綜述

黃立鶴[11]對(duì)現(xiàn)場(chǎng)即席話語多模態(tài)語料庫的語料采集、轉(zhuǎn)寫、切分、標(biāo)注以及建庫等若干共性問題進(jìn)行探討，分析尚存問題，展望基于多模態(tài)語料庫開展的相關(guān)研究。劉娟[12]綜述了多模態(tài)話語理論在中國的研究，包括模態(tài)本身的研究、模態(tài)間的研究、多模態(tài)語料庫軟件開發(fā)以及多模態(tài)在教育中的作用，并發(fā)現(xiàn)研究中的優(yōu)勢(shì)與不足，為未來的研究提供指導(dǎo)。

2、教學(xué)模式

2010年12月“首屆全國外語教師教育與發(fā)展專題研討會(huì)”上，顧曰國以他的團(tuán)隊(duì)建設(shè)的多模態(tài)語料庫為例，做了題為“Classroom teaching and teacher development-A chess master model”的主旨發(fā)言。該語料庫從文字、圖像、音頻、視頻等多個(gè)維度綜合而真實(shí)地記錄語言課堂中教師、學(xué)生的行為及其情境，還原人際互動(dòng)的全貌。顧教授用自己教學(xué)的片段展示了用語料庫方法對(duì)語言課堂的多模態(tài)信息進(jìn)行標(biāo)注和量化分析可以使教學(xué)研究和反思更系統(tǒng)、客觀和有效[13]。

3、語篇分析模型

李學(xué)寧和李向明[14]從理論上深入研究John. A. Bateman于2008年提出的“文類與多模態(tài)模型”(Genre and Multimodality Model，簡(jiǎn)稱GeM模型)及其組成部分的工作原理，并提出GeM模型能夠在大數(shù)據(jù)檢索、外語教學(xué)、設(shè)計(jì)等其他領(lǐng)域得到進(jìn)一步應(yīng)用。

無論是文獻(xiàn)綜述、教學(xué)模式還是語篇分析模型的探討，對(duì)于外語教學(xué)領(lǐng)域來說都是非常有益的嘗試，具有廣泛的應(yīng)用價(jià)值。但目前的理論研究遠(yuǎn)遠(yuǎn)不夠。由于多模態(tài)語料庫相對(duì)于傳統(tǒng)文本語料庫而言，創(chuàng)建難度更大，相關(guān)的理論問題亟需解決。如何結(jié)合中國信息技術(shù)與媒體技術(shù)發(fā)展特征，構(gòu)建本土多模態(tài)語料庫外語教學(xué)理論，也是需要重視的一個(gè)方面。

(二)實(shí)證研究

多模態(tài)語料庫外語教學(xué)的實(shí)證研究包括以下四方面：

1、檢索工具

李學(xué)寧和馬利霞10介紹了一種能夠?qū)Χ嗄B(tài)語料庫中的影視語篇進(jìn)行檢索的多媒體信息檢索工具——多模態(tài)語料庫標(biāo)注系統(tǒng)(MCA)，及兩種基本的標(biāo)注方法和系列的標(biāo)注工具，并通過實(shí)證研究證明MCA有助于改進(jìn)詞匯和句法教學(xué)。最后指出MCA的開發(fā)和應(yīng)用代表了系統(tǒng)功能語言學(xué)與多模態(tài)話語分析研究的一種新動(dòng)態(tài)，即把語言學(xué)理論與計(jì)算機(jī)技術(shù)有機(jī)結(jié)合起來，不僅有助于開發(fā)與功能主義語言學(xué)研究相一致的語篇分析工具或檢索工具，又能反思原有的語言學(xué)理論框架，形成新的理論和方法。但作者并未證明MCA對(duì)聽力教學(xué)、口語教學(xué)等領(lǐng)域的作用。

2、語料庫建設(shè)

張振虹等[15]首先剖析多模態(tài)語料庫的理論基礎(chǔ)和現(xiàn)實(shí)意義，繼而綜述國內(nèi)外的語料庫、尤其是多模態(tài)語料庫的建設(shè)和語言教學(xué)應(yīng)用研究現(xiàn)狀，在此基礎(chǔ)上選取了總長約為100小時(shí)的英語視頻和音頻材料，基于Elan技術(shù)構(gòu)建大學(xué)公共英語多模態(tài)語料庫，最后從詞匯教學(xué)、聽說教學(xué)和閱讀教學(xué)三方面，初步探索多模態(tài)語料庫的應(yīng)用模式。

3、口語教學(xué)

劉芹和潘鳴威[16]基于口頭交際和多模態(tài)話語分析理論，從語音、詞匯、句法、篇章、非言語交際等多個(gè)標(biāo)注維度構(gòu)建我國理工科大學(xué)生英語口語多模態(tài)語料庫，最后列舉了一項(xiàng)對(duì)英語口語交流過程中目光交流的研究。理工科大學(xué)生英語口語多模態(tài)語料庫建成后，將可深入進(jìn)行一系列的研究。如不同院校和不同水平學(xué)生在這些方面相似和不同之處；將該語料庫與國內(nèi)其他口語語料庫(如COLSEC、SECCL和SECOPETS)作對(duì)比研究，提煉該類學(xué)生區(qū)別于其他中國英語學(xué)習(xí)者的英語口語特征。將這些特征與本族語口語語料庫相似部分進(jìn)行對(duì)比研究，以發(fā)現(xiàn)問題癥結(jié)所在。上述研究結(jié)果最終可以用于該類大學(xué)生的英語口語教學(xué)，為編寫口語教學(xué)資料、優(yōu)化教學(xué)和評(píng)價(jià)方法提供有價(jià)值的反饋信息，為我國理工科大學(xué)生英語口語教學(xué)和研究提供幫助。但該口語多模態(tài)語料庫是中型的語料庫，庫量有限，仍需拓展。

4、多模態(tài)隱喻能力

鐘元[17]以奧巴馬兩次就職演說及四篇國會(huì)演講為語料庫來源，以多模態(tài)視頻分析軟件ELAN 4.6.2為數(shù)據(jù)收集和分析工具，自建了多模態(tài)隱喻語料庫，分析奧巴馬政治演講中手勢(shì)語的隱喻性，也對(duì)中國未來的語言教學(xué)提供相關(guān)啟示：教師不僅要注重學(xué)生言語隱喻能力的提高，而且要將學(xué)生的多模態(tài)隱喻能力作為評(píng)判學(xué)生隱喻能力高低的指標(biāo)之一。

多模態(tài)語料庫建設(shè)方法與檢索工具、轉(zhuǎn)寫標(biāo)注軟件的介紹，吸引了大量學(xué)者的研究興趣，為基于多模態(tài)語料庫的外語教學(xué)實(shí)驗(yàn)提供了硬件支持。但由于存在語料內(nèi)容轉(zhuǎn)寫與標(biāo)注麻煩等困難，多模態(tài)語料庫構(gòu)建還是讓很多人望而卻步。多模態(tài)語料庫在詞匯教學(xué)、口語教學(xué)上的應(yīng)用初步證明了其可行性，但仍需更深入的實(shí)證研究加以完善，需要全面拓展基于多模態(tài)語料庫的聽說讀寫譯教學(xué)，這給外語研究者帶來了極大的挑戰(zhàn)。

四、我國多模態(tài)語料庫外語教學(xué)研究前瞻

多模態(tài)語料庫信息儲(chǔ)存量大，圖文音像等多媒體多模態(tài)結(jié)合，檢索快捷準(zhǔn)確方便，學(xué)生通過語料庫中的多模態(tài)視頻和文本展示、索引工具提供的語境共現(xiàn)、專門的教學(xué)標(biāo)注、豐富的教學(xué)活動(dòng)以及資源和網(wǎng)絡(luò)互動(dòng)的有機(jī)結(jié)合，在新型的語言學(xué)習(xí)環(huán)境中構(gòu)建自己語言知識(shí)的工具和資源，自行探索語言，完成學(xué)習(xí)任務(wù)。國內(nèi)的多模態(tài)語料庫建設(shè)還處于起步階段，現(xiàn)有的多模態(tài)語料庫有顧曰國建立的現(xiàn)場(chǎng)即席話語多模態(tài)語料庫，以及劉芹和潘鳴威建立的多模態(tài)口語語料庫。多模態(tài)語料庫在外語教學(xué)中的應(yīng)用是我國外語教學(xué)的熱點(diǎn)之一，但在深度與廣度上都有極大的研究空間，未來的發(fā)展趨勢(shì)可以概括為以下三方面：

(一)深入探討多模態(tài)語料庫外語教學(xué)理論

國外多模態(tài)語料庫應(yīng)用于外語教學(xué)領(lǐng)域較早，語料庫分析技術(shù)也相對(duì)較成熟。一方面，國內(nèi)學(xué)者應(yīng)掌握多模態(tài)語料庫語言學(xué)的基本原則、理論和方法，以指導(dǎo)具體應(yīng)用性研究的開展。另一方面應(yīng)借鑒國外教學(xué)理論，同時(shí)結(jié)合中國媒體技術(shù)現(xiàn)狀，構(gòu)建本土多模態(tài)語料庫外語教學(xué)理論。

(二)建設(shè)大中型語料庫，引介與開發(fā)相關(guān)軟件

現(xiàn)有的多模態(tài)語料庫庫量小，多為某一領(lǐng)域的小型語料庫，在研制更多的小型專用語料庫同時(shí)應(yīng)發(fā)展大中型通用語料庫。除了引進(jìn)國外現(xiàn)成的多模態(tài)語料庫，還要在吸收國外建設(shè)經(jīng)驗(yàn)的基礎(chǔ)上，建設(shè)和開發(fā)有地方特色的多模態(tài)語料庫，同時(shí)注意加強(qiáng)語料庫建設(shè)的設(shè)計(jì)和規(guī)劃、語料的采集及加工、語料庫管理系統(tǒng)建設(shè)的規(guī)范化，促進(jìn)語料庫資源的共建共享，提高使用效率，避免重復(fù)建設(shè)帶來的資源浪費(fèi)。

另外，國外多模態(tài)語料庫轉(zhuǎn)寫、標(biāo)注和檢索軟件相對(duì)比較成熟，需大力引介。但國外常用語料庫工具存在不能處理中文的缺憾，國內(nèi)學(xué)者應(yīng)結(jié)合中國國情與外語學(xué)習(xí)者實(shí)際，根據(jù)研究需要自主開發(fā)相關(guān)軟件，使多模態(tài)語料庫外語教學(xué)研究更客觀全面。

(三)擴(kuò)寬研究對(duì)象與范圍

在處理多模態(tài)語料庫外語教學(xué)的語料過程中，應(yīng)更多關(guān)注文本以外的非語言因素，從詞匯、句法、篇章、非言語交際、伴語言特征(如音響度、聲調(diào)、語調(diào)、語速等)、身體特征(手勢(shì)、表情、動(dòng)作)及非身體特征(周圍環(huán)境)等多個(gè)標(biāo)注維度綜合分析。多模態(tài)語料庫可以在外語聽說讀寫譯教學(xué)中應(yīng)用，并且在某一個(gè)領(lǐng)域的研究應(yīng)深入下去，如在英語口語方面還可繼續(xù)深入研究學(xué)生在言語(語音、詞匯、句子和語篇)和非言語(體勢(shì)語)各個(gè)維度的特征。目前多模態(tài)語料庫應(yīng)用于外語教學(xué)的對(duì)象均是高校大學(xué)生，還可用于小學(xué)、初高中的學(xué)生，內(nèi)容可拓展到多模態(tài)教材設(shè)計(jì)、教師培訓(xùn)、網(wǎng)絡(luò)課件開發(fā)、大綱設(shè)置、教學(xué)模式與教學(xué)評(píng)價(jià)方法、教材評(píng)估、練習(xí)設(shè)計(jì)改革等領(lǐng)域。

五、結(jié)語

多模態(tài)語料庫在多元語境中反映語言在語音、語義和語用等方面的全貌，學(xué)生能更直接地體驗(yàn)語言使用的多模態(tài)語境，有利于建設(shè)“以學(xué)生為主，以教師為輔”的新型教學(xué)模式，對(duì)外語教學(xué)改革具有重大意義。多模態(tài)語料庫在我國應(yīng)用于外語教學(xué)仍是有待深入研究的領(lǐng)域。今后應(yīng)深入探討多模態(tài)語料庫外語教學(xué)理論，建設(shè)大中型語料庫，引介與開發(fā)相關(guān)軟件，拓展研究對(duì)象與范圍，讓多模態(tài)語料庫更好地服務(wù)于外語教學(xué)。

[1]李文中. 語料庫、學(xué)習(xí)者語料庫與外語教學(xué)[J]. 外語界,1999(1):51—55.

[2]何安平. 語料庫與外語教學(xué)[J]. 國外外語教學(xué), 2001(3):15-19.

[3]潘璠. 基于語料庫的語言研究與教學(xué)應(yīng)用[M]. 北京: 中國社會(huì)科學(xué)出版社,2012.

[4]顧曰國. 論言思情貌整一原則與鮮活話語研究: 多模態(tài)語料庫語言學(xué)方法[J]. 當(dāng)代修辭學(xué), 2013(6):1—19.

[5]陳曦, 孫靜波, 聞燕. 基于多模態(tài)語料庫的大學(xué)英語互動(dòng)式教學(xué)的研究[J]. 海外英語,2015(7):40—43.

[6]張霄軍. 多模態(tài)語料庫:搶救瀕危語言的有效途徑[C]//民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會(huì)論文集. 北京: 中國中文信息學(xué)會(huì), 2007：35—41.

[7]Bernsen, N. O. & L. Dybkjr. Annotation schemes for verbal and non-verbal communication: some general issues[C]//In A. Esposito et al. (eds), Verbal and Nonverbal Communication Behaviours. Berlin, Heidelberg: Springer-Verlag Berlin Heidelberg,2007：11—22.

[8]黃立鶴, 何繼紅. 從《Routledge多模態(tài)分析手冊(cè)》看多模態(tài)語言研究[J]. 語言教育, 2013,1(1):92—96.

[9]馬利霞. 多模態(tài)話語分析的發(fā)展: Baldry的影視語篇多模態(tài)語料庫研究方法[D]. 江南大學(xué),2012.

[10]李學(xué)寧, 馬利霞. MCA檢索方法及其在外語電化教學(xué)中的應(yīng)用[J]. 現(xiàn)代教育技術(shù),2010,20(11):83—87.

[11]黃立鶴. 語料庫4.0：多模態(tài)語料庫建設(shè)及其應(yīng)用[J]. 解放軍外國語學(xué)院學(xué)報(bào),2015,38(3):1—7.

[12]劉娟. 多模態(tài)話語理論在中國的研究綜述[J]. 遼寧工程技術(shù)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版), 2015,17(2):209—213.

[13]陳霄, 何安平. 教育信息技術(shù)、語料庫與外語教師專業(yè)發(fā)展:首屆全國外語教師教育與發(fā)展專題學(xué)術(shù)研討會(huì)綜述[J]. 嘉應(yīng)學(xué)院學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)),2011,29(6):71—74.

[14]李學(xué)寧, 李向明. 多模態(tài)語篇分析新進(jìn)展:GeM模型及其應(yīng)用評(píng)述[J]. 現(xiàn)代教育技術(shù), 2014,24(6):58—63.

[15]張振虹, 何美, 韓智. 大學(xué)公共英語多模態(tài)語料庫的構(gòu)建與應(yīng)用[J]. 山東外語教學(xué), 2014(3):50—55.

[16]劉芹, 潘鳴威. 理工科大學(xué)生英語口語多模態(tài)語料庫構(gòu)建研究[J]. 現(xiàn)代教育技術(shù),2012,20(4):69—72.

[17]鐘元. 基于多模態(tài)語料庫的手勢(shì)隱喻研究[D]. 江南大學(xué),2014.

The Construction of Multimodal Corpus and Foreign Language Teaching——The Status Quo and Future

LIANG Yan-ling

(School of Translation Studies, Shandong University, Weihai 264209, China)

The construction of multimodal corpus began at the end of the 20th century, and its application in foreign language teaching has great value, thus multimodal corpus has become a new area of research today. The research on multimodal corpus in foreign language teaching in China started later than in the west. There exist some problems such as no enough theories, small number of existing multimodal corpora, difficult construction of corpora, and narrow scope of application. Therefore, it is necessary to explore deeply into the theory of multimodal corpus in foreign language teaching, build large and medium corpora, introduce and develop related software, and widen the object and scope of research.

multimodal corpus; foreign language teaching; status quo; future

2015-11-01

梁燕玲(1991— )，女，廣西玉林人，在讀研究生，主要從事英語語言學(xué)與英語教學(xué)研究。

H319.3

A

2095-7408(2016)03-0114-04