多模態(tài)外語微課的人際互動意義構(gòu)建探析

李倩 劉慧

[摘 要] 從多模態(tài)話語分析角度出發(fā)，在系統(tǒng)功能語法和視覺語法的理論基礎(chǔ)上，運用視頻分析軟件ELAN4.9.4對一則中國外語微課大賽一等獎獲獎作品進(jìn)行了個案研究，探討目標(biāo)微課教師在構(gòu)建人際互動意義時調(diào)用的模態(tài)符號及符際間的協(xié)同作用，為微課教師提升微課互動性和教學(xué)效果提供了一定的借鑒和幫助，也驗證了ELAN在分析微課視頻中的應(yīng)用價值。

[關(guān) 鍵 詞] 多模態(tài)話語；外語微課；人際互動

[中圖分類號] G642 [文獻(xiàn)標(biāo)志碼] A [文章編號] 2096-0603（2018）22-0022-03

一、引言

多模態(tài)話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象（張德祿，2010：2）。外語微課指圍繞外語學(xué)科某一特定主題展開教學(xué)的簡短視頻（馬武林，2017：4）。根據(jù)朱永生（2007：5）提出的識別多模態(tài)話語的兩個標(biāo)準(zhǔn)，微課是一種多模態(tài)話語資源。首先，微課涉及視覺、聽覺等多種模態(tài)，學(xué)習(xí)者需要讀屏、聽音，甚至跟讀或回答、記錄內(nèi)容等；其次，微課同時使用了文字、聲音、圖像等多種符號系統(tǒng)，而有的圖像還會涉及手勢語、面部表情和身勢語等副語言。Halliday（1994）的系統(tǒng)功能語法是多模態(tài)話語分析的理論基礎(chǔ)。他認(rèn)為語言的三大元功能是概念功能、人際功能和語篇功能。Kress & Van Leeuwen（1996）將此功能應(yīng)用到視覺語篇中，對應(yīng)為再現(xiàn)功能、互動功能和構(gòu)圖功能。外語微課作為多模態(tài)話語資源，可以通過每種模態(tài)和符號具有的共用特征，體現(xiàn)出意義潛勢，實現(xiàn)這兩套理論論證的三大功能。而人際互動功能作為三大元功能之一，維系著教師與學(xué)生之間的關(guān)系，營造課堂氛圍，直接影響學(xué)生的學(xué)習(xí)態(tài)度和積極性，對外語微課的教學(xué)效果發(fā)揮著至關(guān)重要的作用。

國內(nèi)對微課的多模態(tài)話語分析主要集中在探索微課各種模態(tài)間的關(guān)系及視覺模態(tài)中圖文的符際間性（張青妹，2015；吳婷，2017）。還有的學(xué)者通過分析教師多模態(tài)微課意義構(gòu)建意識和能力，探討通過微課發(fā)展學(xué)生的多元識讀能力（馬愛梅，2015；彭圓，2016）。但探索微課三大元功能建構(gòu)的研究并不多見。微課教師不能直接與學(xué)生進(jìn)行面對面交流，那是通過哪些途徑實現(xiàn)人際互動功能的呢？本文將探討外語微課教師實現(xiàn)微課人際互動意義時調(diào)用的模態(tài)符號及不同模態(tài)符號間的配合，以期對外語微課教學(xué)有所啟示。

二、理論基礎(chǔ)

（一）語言系統(tǒng)中的人際功能

在系統(tǒng)功能語法（Halliday，1994）中，語言的人際功能是講話者作為參與者的“意義潛勢”，是語言的參與功能。講話者使自己參與到某一情景語境中，來表達(dá)他的態(tài)度和推斷，并試圖影響別人的態(tài)度和行為（胡壯麟等，2017）。語言的人際功能可以從兩方面來考查，即互動和態(tài)度?！盎庸δ堋敝概c會話雙方互動有關(guān)的語言功能，在語法結(jié)構(gòu)上可由陳述語氣、疑問語氣和祈使語氣等實現(xiàn)；態(tài)度方面的功能指對話雙方對話語的態(tài)度和評價，由情態(tài)系統(tǒng)來實現(xiàn)。情態(tài)系統(tǒng)值可分為高、中、低三級。（見下表）

另外，人際功能還可以通過語調(diào)、稱呼語、人稱代詞以及可以表達(dá)說話者態(tài)度的動詞、名詞、形容詞和副詞等具體詞匯來體現(xiàn)。

（二）視覺語法中的互動功能

在視覺語法（Kress & Van Leeuwen，1996）中，與人際功能相對應(yīng)的是互動功能，形成觀看者和圖像中的世界之間特定的關(guān)系。在實現(xiàn)這種互動意義時，有四個要素：接觸、距離、視點和情態(tài)。“接觸”指圖像參與者通過目光的指向與觀看者之間建立起來的一種想象中的接觸關(guān)系。直接看著觀看者即接觸，是“索取”類圖像，表明索取信息或服務(wù)。如果參與者不是有生命的人或動物，或目光不指向觀看者時，就沒有接觸，被稱為“提供”類圖像，表達(dá)提供信息或服務(wù)的意義。圖像通過“距離”，即鏡頭取景的框架尺寸來反映親疏關(guān)系。以下是一些距離尺寸，親近距離：只看得見臉或頭；個人近距離：頭和肩部；個人遠(yuǎn)距離：腰部以上；社會近距離：整個人；社會遠(yuǎn)距離：整個人且周圍有空間環(huán)繞；公共距離：至少四到五個人的軀干?！耙朁c”象征著權(quán)勢。從垂直角度看，仰視表明圖像參與者有權(quán)勢，俯視表明觀看者有權(quán)勢，平視表明二者平等；從水平角度看，正面是情感上的介入，而側(cè)面是二者的疏遠(yuǎn)?！扒閼B(tài)”指的是“某種圖畫表達(dá)手段”使用的程度，可以從色彩飽和度、區(qū)分度、調(diào)協(xié)度等八個視覺標(biāo)記反映其高低值。在微課這一語域中，情態(tài)可通過視頻、文字或圖像中的圖片、高亮、符號等來表現(xiàn)高低值。

視覺圖像還可以通過手勢表現(xiàn)互動意義，Norris（2004）認(rèn)為可供選擇的意義潛勢有具象性、意象性、指示性和節(jié)拍性。具象性手勢表達(dá)言語中某個具體詞或行為的語義；意象性手勢表征抽象概念，標(biāo)示出隱喻源域的手勢，如“手指指向前方”隱喻為“未來”等；指示性手勢是一種指向某一空間位置的手勢，如用手指指向黑板等；節(jié)拍性手勢指簡單的重復(fù)性節(jié)奏動作，意在對某詞或詞語進(jìn)行強調(diào)。

根據(jù)以上語言模態(tài)和視覺模態(tài)中體現(xiàn)人際互動意義的特征，可以把各種符號分成31層標(biāo)注、統(tǒng)計和分析。

三、研究設(shè)計

（一）研究對象

研究語料為第三屆中國外語微課大賽獲獎作品展中一等獎作品《英文轉(zhuǎn)述》，時長6分4秒。教學(xué)目標(biāo)為明確英文轉(zhuǎn)述概念，并讓學(xué)生通過三個簡單明了的步驟進(jìn)行轉(zhuǎn)述。教學(xué)過程包括引入概念、講解基本方法、找出例句關(guān)鍵詞、講解具體轉(zhuǎn)述方法、復(fù)習(xí)、強調(diào)注意部分等六個步驟。視頻中有教師出鏡、人物動畫、PPT講解等，涉及語言模態(tài)和視覺模態(tài)，在實現(xiàn)人際互動功能方面具有典型性和示范性。

（二）研究問題

研究問題包括：微課教師主要借助哪些模態(tài)符號構(gòu)建人際互動意義，語言模態(tài)和視覺模態(tài)的各符號是如何協(xié)同配合構(gòu)建人際互動意義的。

（三）研究工具

研究工具采用多模態(tài)視頻分析軟件ELAN4.9.4，可以對集語言、聲音、動作、圖像于一身的視頻作同步標(biāo)注，并且可以自動檢索和統(tǒng)計。在安裝、注冊、激活并運行ELAN軟件后，選擇文件—新建或打開所要分析的視頻。接著選擇類型—添加新的語言學(xué)類型，本文根據(jù)研究需要添加了語言系統(tǒng)和視覺系統(tǒng)。然后選擇層—添加新層，本文添加了31層，定義了其語言學(xué)類型及輸入法。以上類型和層在視頻標(biāo)注階段也可添加、修改、刪除等。視頻標(biāo)注階段，光標(biāo)定位在開始標(biāo)注的位置，點鼠標(biāo)左鍵并拖動即可選定標(biāo)注范圍，在對應(yīng)層點鼠標(biāo)右鍵新建標(biāo)注?？梢岳媒缑嬷虚g的工具欄精確標(biāo)注范圍，回退或往前一秒、一幀甚至一像素，也可點擊播放選段，重復(fù)播放所選的標(biāo)注范圍。而標(biāo)注內(nèi)容也可以修改、刪除、與前后合并等。標(biāo)注完成后，點擊查看—標(biāo)注統(tǒng)計即可保存各項統(tǒng)計參數(shù)。

四、結(jié)果和討論

（一）外語微課的人際互動意義構(gòu)建各模態(tài)符號分析

目標(biāo)微課中總計有117句話，其中陳述語句61句，標(biāo)注時長占60.416%；疑問語氣28句，占10.739%；祈使語氣28句，占24.523%。教師課堂話語的語氣能夠直接反映師生互動的效果。結(jié)果表明，本微課陳述語氣居多，以提供信息為主。但是為了構(gòu)建人際意義，教師在陳述句后使用了不少如“OK？”“Right？”“Ready？”“What do you think？”等疑問語氣來獲取反饋，引導(dǎo)學(xué)生思考，喚起學(xué)生注意，加強師生互動。此外，教師使用了如“Lets…”開頭的祈使語氣發(fā)出活動指令，降低命令語氣，號召學(xué)生參與的同時，也使師生關(guān)系更加輕松融洽，有助于人際意義的構(gòu)建。

在態(tài)度方面，高情態(tài)值系統(tǒng)使用14處，占標(biāo)注時長的13.065%，中情態(tài)值8處，占8.297%，低情態(tài)值20處，占20.359%。教學(xué)中，中低情態(tài)值話語更委婉，更有利于構(gòu)建平等的師生關(guān)系。結(jié)果表明，目標(biāo)微課教師在構(gòu)建情態(tài)系統(tǒng)時，為了構(gòu)建人際意義，更多使用“would， should，be to， can，could”等中低情態(tài)動詞給出自己的推測、意見和建議，表明教師努力弱化自己的主導(dǎo)地位，讓學(xué)生感到被尊重，營造一種平等、和諧的微課氛圍。

在語調(diào)上，主要使用升調(diào)，占標(biāo)記時長61.315%，而降調(diào)占34.237%。目標(biāo)微課教師雖然使用陳述語氣居多，但經(jīng)常使用升調(diào)來調(diào)動課堂氣氛，如開頭的“Hello， everyone.”“Welcome to todays lesson”等皆使用升調(diào)營造輕松活潑的課堂氛圍，拉近與學(xué)生的距離。此外，教師在較長的陳述句中停頓時也使用升調(diào)，一方面表明句子尚未陳述完整，另一方面引起學(xué)生對采用升調(diào)的詞或升調(diào)后的語義群信息的重視。

在人稱上，第一人稱33處，第二人稱26處，第三人稱17處。目標(biāo)微課中，教師使用第一人稱最多，以“we”和“us”為主，表明教師在組織課堂活動時與學(xué)生一體的整體觀念，拉近了與學(xué)生的距離。I做主語的句子多為教師發(fā)表個人觀點，如“I think…”“I know…”。教師使用第二人稱的場合多為提問：“Can you…”“Do you…”，推測學(xué)生思路如“when you…”“you want…”，或給學(xué)生提建議如“you can…”“you are gonna…”等。第二人稱的使用在微課語境下使教師能盡可能與學(xué)生互動，讓學(xué)生有參與感，從而實現(xiàn)人際意義。

在目光接觸方面，圖像參與者與觀看者目光接觸時長長達(dá)59.69%，無目光接觸時長為37.142%。目標(biāo)微課教師自己出鏡或者利用類似自己形象的動畫人物出鏡，以此與學(xué)生進(jìn)行目光接觸，屬于典型的“索取”類圖像。教師雖然不能看到學(xué)生，但希望能借此與學(xué)生交流，索取關(guān)注與反饋，構(gòu)建互動意義。

在距離上，教師未選擇親近距離或社會距離，以個人距離（39.171%）和公共距離（23.972%）交替出現(xiàn)。教師的這種設(shè)計表明與學(xué)生不是親密的私人關(guān)系，也不是疏遠(yuǎn)的社會關(guān)系。教師出鏡時，學(xué)生可以看到教師腰部以上，屬于個人距離，可見教師希望與學(xué)生之間保持較近的互動關(guān)系。代表教師的動畫人物出現(xiàn)時，雖然是公共距離，但教師是為了留更多空間突出授課重點。相比單純的PPT頁面，動畫人物的出現(xiàn)通過其他要素構(gòu)建出互動意義。

在視點方面，從垂直角度看，沒有俯視視角出現(xiàn)，而平視標(biāo)記23次，占62.443%，只有一次仰視，占0.688%。這表明教師與學(xué)生的互動關(guān)系是平等的。從水平角度分析，正面出現(xiàn)27次，占58.587%，側(cè)面出現(xiàn)5次，占4.513%。正面視角為主也表明教師與學(xué)生平等的互動關(guān)系，是面對面交流，有教師對學(xué)生情感上的介入。

在情態(tài)方面，教師片頭使用非常簡短的視頻進(jìn)入微課，而后主要通過文字的高亮、放大、加粗等凸顯教學(xué)重點，占58.843%；配以圖片15.795%和一些符號、形狀29.637%，及動態(tài)圖5.204%。教師使用高情態(tài)值的文字、圖片、符號等使畫面顏色豐富多彩卻不雜亂，色彩搭配協(xié)調(diào)，深淺有致，不僅有助于學(xué)生快速把握視覺重點，幫助學(xué)生理清知識框架和邏輯思路，而且避免繁冗和視覺疲勞，從而實現(xiàn)可靠、有效的互動意義。

在手勢方面，節(jié)拍性手勢37次，占標(biāo)記時長24.882%，指示性手勢22次，占標(biāo)記時長16.854%，意象性手勢15次，占標(biāo)記時長6.347%；具象性手勢11次，占8.614%。結(jié)果顯示，節(jié)拍性手勢是教師最常用的，一般出現(xiàn)在句子實詞處，如“same”，“different”，“read”等，這種簡單重復(fù)有節(jié)奏的手勢搭配語感，能引導(dǎo)學(xué)生區(qū)分語義群，關(guān)注句子重點。教師使用指示性手勢指向黑板或PPT頁面，將學(xué)生的關(guān)注點引向知識點。通過意象性手勢，教師表征地出一些抽象概念，如伸手指向前方意為“go beyond”，伸出食指拖走或引進(jìn)內(nèi)容等，也可輔助學(xué)生理解教師語言；具象性手勢使用較少，如搖手表示“dont”，記筆記表示“recap”等，幫助學(xué)生理解詞匯含義并加深記憶。各種手勢的運用加強了師生間交互，完善了互動意義的構(gòu)建。

（二）外語微課人際互動意義構(gòu)建模態(tài)間符際配合分析

目標(biāo)微課主要使用了語言系統(tǒng)和視覺系統(tǒng)的各符號進(jìn)行講解，涉及聽覺模態(tài)和視覺模態(tài)。聽覺模態(tài)主要是教師講解，視覺模態(tài)包括圖像和文本。

整個微課視頻中，教師主要使用四種畫面：教師本人形象和教室背景作為圖像加文本，教師動畫形象和PPT背景作為圖像加文本，黑板作為圖像加文本，人物照片作為圖像加文本。四種畫面中，字幕文本、空間距離、目光接觸、動作手勢等多種符號協(xié)同配合，產(chǎn)生和構(gòu)建最佳的人際互動意義。表2以一個片段為例說明教師是如何協(xié)同利用多種模態(tài)符號構(gòu)建人際互動意義的。

示例中，教師以語言系統(tǒng)為主，先使用陳述語氣傳達(dá)知識。陳述中開頭的“The meaning”配以動畫人物的側(cè)面指示性手勢，將學(xué)生的關(guān)注點引向PPT上的文字，“meaning”一詞加粗標(biāo)藍(lán)，表明是句子重點。接著采用should這一中情態(tài)值的情態(tài)動詞使話語更委婉，弱化自己的主導(dǎo)地位，使學(xué)生處于平等和諧的課堂氛圍中。而此刻人物轉(zhuǎn)為正面，代表教師與學(xué)生進(jìn)行面對面交流，目光接觸使學(xué)生感受到教師在向他們索取關(guān)注與反饋，鼓勵學(xué)生積極思考。在講到“the same”時，教師使用升調(diào)，表明句子尚未陳述完，但已完成一個語義，暗示學(xué)生繼續(xù)聽。畫面上“meaning”一詞上方出現(xiàn)綠底高亮的單詞“same”，表明英文轉(zhuǎn)述重點是意義相同，同時教師抬起雙手向右側(cè)做出節(jié)拍性手勢，也配合強調(diào)“same”一詞。在講到“different”時，畫面上“words”一詞上方同樣出現(xiàn)綠底高亮的詞，為“different”，與前面作出對比，表明英文轉(zhuǎn)述的另一重點是單詞不同，同時教師向左側(cè)作出節(jié)拍性手勢配合強調(diào)“different”，與前半句作出對比。陳述完后教師使用疑問語氣“OK？”確認(rèn)學(xué)生注意到本句重點，并尋求認(rèn)同與反饋，好像在做面對面交流。整個過程人物動畫處于畫面左側(cè)，與學(xué)生為公共距離，在起到互動交流作用的同時，主要引導(dǎo)學(xué)生將關(guān)注點放在PPT文本上。這段示例表明，在微課教學(xué)中，語言系統(tǒng)各符號和視覺系統(tǒng)各符號既可獨立實現(xiàn)人際功能，傳達(dá)和增強互動意義，也可互補接力，不同符號實現(xiàn)不同的功能。多種模態(tài)符號協(xié)同作用，有助于構(gòu)建更加完善有效的人際互動意義。

五、結(jié)束語

外語微課視頻作為一種多模態(tài)話語資源，通過多種模態(tài)和符號系統(tǒng)生成和構(gòu)建三大功能。在實現(xiàn)人際互動意義時，教師充分利用各種符號系統(tǒng)特點以取得良好的互動效果，如調(diào)用語言系統(tǒng)中的疑問語氣和祈使語氣、中低情態(tài)值情態(tài)系統(tǒng)、升調(diào)、第一人稱和第二人稱；調(diào)用視覺系統(tǒng)中的目光接觸、個人距離、正面平視、各種手勢、高情態(tài)文字、符號和圖片等。聽覺模態(tài)和視覺模態(tài)既獨立構(gòu)建意義，也相互依賴配合，協(xié)同構(gòu)建有效的人際互動功能。文章從實踐上分析了構(gòu)建三大功能意義時調(diào)用多模態(tài)符號系統(tǒng)的可行性，對提升人際互動效果和教學(xué)效果具有啟發(fā)意義。還借助ELAN視頻分析軟件使多模態(tài)話語分析更加客觀便利，驗證了其在微課研究中的應(yīng)用價值。

參考文獻(xiàn)：

[1]張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)[J].外語學(xué)刊，2010（2）：97-102.

[2]馬武林，何靜靜.優(yōu)秀外語微課特征分析：以中國外語微課大賽一等獎作品為例[J].外語電化教學(xué)，2017（4）：22-26.

[3]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007（5）：82-86.

[4]Halliday， M.A.K. An Introduction to Functional Grammar [M]. London： Arnold，1994.

[5]Kress.G.R， T. van Leeuwen. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 1996.

[6]張青妹.多模態(tài)微課的符號間關(guān)系與意義共建[J].現(xiàn)代教育技術(shù)，2015（9）：65-69.

[7]吳婷.外語微課的多模態(tài)話語符際間性研究：以兩則微課大賽視頻為例[J].外語教學(xué)理論與實踐，2017（1）：72-77.

[8]馬愛梅.多模態(tài)話語分析下大學(xué)英語微課教學(xué)的實踐探索[J].湖南科技學(xué)院學(xué)報，2015（12）：188-191.

[9]彭圓.外語教師多元識讀教學(xué)能力初探：以外語微課教學(xué)為例[J].外國語言文學(xué)，2016（3）：200-207.

[10]胡壯麟，朱永生，張德祿，等.系統(tǒng)功能語言學(xué)概論（第三版）[M].北京：北京大學(xué)出版社，2017.

[11]Norris.S.Analyzing Multimodal Interaction： A Methodolog-ical Framework [M]. London： Routledge，2004.