多模態(tài)模式在對外漢語教學(xué)中有效性的一項元分析

廖毅 錢玉蓮 張薇

摘 ?要：主要采用元分析技術(shù)，對多模態(tài)模式在對外漢語教學(xué)中的有效性進行探討。通過文獻搜索與檢查，獲得19項研究和42個獨立效應(yīng)量，共包含4894名被試。元分析表明，多模態(tài)模式在對外漢語教學(xué)中具有較大積極效應(yīng)，并且其亞類型（文聲、文圖、聲圖與文圖聲）所產(chǎn)生的成效各有不同，其中，文圖聲三模態(tài)的成效最高。同時，學(xué)習(xí)內(nèi)容、測試時間可以調(diào)節(jié)多模態(tài)模式在對外漢語教學(xué)中的成效。在采用多模態(tài)模式進行對外漢語教學(xué)時，尤其要重視文圖聲三模態(tài)的積極影響，并應(yīng)給予語音、長期時效更多的關(guān)注。

關(guān)鍵詞：多模態(tài)模式;亞類型;對外漢語教學(xué);元分析

一、引言

多模態(tài)（multi-modality）模式是指人類綜合利用多種感官（如視覺、聽覺等）跟外部環(huán)境進行互動的方式[1]（P33-58）。它已廣泛運用于國內(nèi)外語言教學(xué)活動中，是近年來備受關(guān)注的話題之一。大量研究表明，多模態(tài)教學(xué)模式對語言習(xí)得成效具有較大影響，尤其是在對外漢語領(lǐng)域，幾乎多模態(tài)教學(xué)模式的所有類型都與對外漢語的教學(xué)效果存在密切聯(lián)系[2]（P180-184）。盡管如此，在探討不同的多模態(tài)形式與對外漢語教學(xué)有效性的關(guān)系上，研究結(jié)論卻不盡相同[3]-[6]。國內(nèi)已有研究者對多模態(tài)模式在對外漢語教學(xué)中的應(yīng)用，進行了文獻梳理[7]（P45-59），不過，對于多模態(tài)模式的不同成分和功能在對外漢語教學(xué)各個層面所產(chǎn)生的影響，目前仍缺乏較為全面的前瞻性研究。由于研究對象、任務(wù)設(shè)計、實驗實施過程、數(shù)據(jù)分析標準等方面的差異，導(dǎo)致難以對研究成果進行對比和整合，因此，需要更加深入、系統(tǒng)的定量方法，對已有研究發(fā)現(xiàn)進行大規(guī)模、系統(tǒng)性地分析。國外雖有一些關(guān)于多模態(tài)模式對語言教學(xué)有效性的元分析研究，但聚焦于多模態(tài)模式在對外漢語教學(xué)領(lǐng)域中有效性的元分析尚不多見，現(xiàn)有的元分析研究亦存在一定的局限性。Graham & Perin通過元分析發(fā)現(xiàn)，相較于單獨輔導(dǎo)和明確學(xué)習(xí)目標等教學(xué)因素，教學(xué)模態(tài)的調(diào)整對學(xué)生語言學(xué)習(xí)成效的影響最大[8]（P445），但該研究并沒有進一步探討各類教學(xué)模態(tài)的具體效用。Davis、Wang等采用元分析方法，分別探討了手勢和虛擬現(xiàn)實兩種模態(tài)的具體效用[9]、[10]，卻沒有涉及其他種類的教學(xué)模態(tài)，也未曾與其他教學(xué)模態(tài)進行橫向比較分析。

有鑒于此，本研究擬采用元分析方法（meta-analysis），探討多模態(tài)模式（包括文聲雙模態(tài)、文圖雙模態(tài)、聲圖雙模態(tài)和文圖聲三模態(tài)）在對外漢語教學(xué)中的有效性，以及影響兩者關(guān)系的調(diào)節(jié)變量。通過元分析技術(shù)，不僅可以整合多項研究成果，有效降低單一研究結(jié)果中存在的測量誤差和抽樣誤差，而且可以基于大量研究成果的定量回顧和綜合分析技術(shù)，進一步檢驗和拓展現(xiàn)有研究成果，識別不同類型的多模態(tài)模式在對外漢語教學(xué)中的具體效用情況，以增強現(xiàn)有研究的解釋力和概括性，為對外漢語教學(xué)實踐提供一定的指導(dǎo)支持。具體來說，本研究主要是采用元分析技術(shù)來解決兩個問題：第一，不同類型的多模態(tài)模式在對外漢語教學(xué)中的具體效用;第二，學(xué)習(xí)內(nèi)容、測量時機對多模態(tài)模式在對外漢語教學(xué)中有效性的調(diào)節(jié)作用。

（一）多模態(tài)模式與對外漢語教學(xué)效果關(guān)系的文獻回顧

多模態(tài)模式的亞類型主要包括文聲雙模態(tài)、文圖雙模態(tài)、聲圖雙模態(tài)和文圖聲三模態(tài)。其中，關(guān)于圖像模態(tài)在多模態(tài)教學(xué)模式中的效用研究起步較早，時間跨度較長，取得了較為豐碩的成果[11]-[13]。研究者發(fā)現(xiàn)，文圖雙模態(tài)可以有效調(diào)節(jié)學(xué)習(xí)者的注意力，這種教學(xué)模式的設(shè)計越凸顯所學(xué)習(xí)知識的結(jié)構(gòu)性，越符合學(xué)習(xí)者的認知，就越有可能獲得更好的教學(xué)成效[14]（P1119-1141）。同時，與文字單模態(tài)相比，文圖雙模態(tài)在二語環(huán)境的對外漢語教學(xué)活動中更具積極效用[15]（P23-32）。

隨著心理語言學(xué)的發(fā)展，聲音模態(tài)在多模態(tài)教學(xué)模式中的效用逐漸引起人們重視，并被認為是可有效提升對外漢語教學(xué)成效的重要因素，它所具備的成效，在對外漢語教學(xué)的即時后測和延時后測中均獲得驗證。有研究者發(fā)現(xiàn)，相對于其他模態(tài)，聲音模態(tài)與對外漢語教學(xué)效果存在更為密切的聯(lián)系[16]（P96-108）。

同時，對學(xué)習(xí)者認知模式[17]（P996-1009）、學(xué)習(xí)情緒調(diào)節(jié)[18]（P1508）、神經(jīng)機理[19]（P423-444）等方面，也產(chǎn)生了積極的影響，其成效在即時后測中比在延時后測中更具優(yōu)勢[20]（P401-416）。

借助于科技的進步，目前探討文圖聲三模態(tài)在對外漢語教學(xué)中有效性的研究日漸增多。很多研究都已證實，文圖聲三模態(tài)在對外漢語教學(xué)成效中產(chǎn)生了積極結(jié)果，尤其是與對外漢語字形及字義習(xí)得的有效性存在密切聯(lián)系[21]（P485-499）。還有研究表明，模態(tài)輸入數(shù)量上的增加是決定對外漢語教學(xué)成效的關(guān)鍵因素[22]（P372-389）。不過，文圖聲三模態(tài)在對外漢語教學(xué)的具體效用方面仍存在著一定差異，因此，對文圖聲三模態(tài)與對外漢語教學(xué)的具體效果進行深入探討，是很有必要的[23]（P1175-1195）。

（二）多模態(tài)模式影響對外漢語教學(xué)效用的機制

所謂“多模態(tài)影響對外漢語教學(xué)效用”，是指多模態(tài)模式各要素之間的結(jié)構(gòu)關(guān)系和運行方式。關(guān)于多模態(tài)模式影響對外漢語教學(xué)的學(xué)理邏輯，目前共有五大機制對此進行了歸納總結(jié)。這些機制的基本范式（包括主要特征、原理、功能、一般方法過程和應(yīng)用范疇等方面），存在既相互分離、又協(xié)調(diào)互動的辯證關(guān)系，從而形成了多模態(tài)模式影響對外漢語教學(xué)的一個有機統(tǒng)一整體的內(nèi)在機理。

第一，Clark & Paivio的雙通道編碼理論認為，在遇到新信息時，人們將分別使用視覺和聽覺兩個獨立的通道對新信息進編碼，并通過不同加工通道之間的信息互補機制，實現(xiàn)對單通道系統(tǒng)中有限加工能力的有效擴展[24]、[25]。在對外漢語教學(xué)中，通過對雙通道加工機理的充分理解和使用，不但可以使學(xué)習(xí)者在同等的學(xué)習(xí)時段內(nèi)掌握更多知識信息，而且可以形成更為綿密的知識網(wǎng)絡(luò)。在一個通道內(nèi)信息丟失的情形之下，仍能通過另外一條通道中的信息來繼續(xù)保有并使用該知識點[12]（P23-34）。Xu等在該理論研究模型的基礎(chǔ)上，通過后續(xù)的一系列研究，證明了多模態(tài)模式在對外漢語教學(xué)活動中的重要效用[19]（P423-444）。

第二，Paas等所提出的認知負荷理論指出，學(xué)習(xí)者在面對學(xué)習(xí)任務(wù)時，獲得并處理認知信息的負荷和容量是有限的，如果各渠道中需要處理的信息數(shù)量太多或太過復(fù)雜，勢必會造成學(xué)習(xí)者認知負荷的過載，從而引發(fā)對習(xí)得內(nèi)容的冗余效應(yīng)，并降低信息處理效率、抑制學(xué)習(xí)成效[26]（P1-8）。可見，學(xué)習(xí)者的認知負荷將會隨著認知任務(wù)的內(nèi)容復(fù)雜程度和數(shù)量的增加而變重。學(xué)習(xí)者在學(xué)習(xí)對外漢語的過程中，不但需要將漢語翻譯為母語，還需要同步理解對外漢語中所蘊含的新信息，因此，學(xué)習(xí)對外漢語的認知負荷較之學(xué)習(xí)母語時要更為沉重。此外，作為屬于意符書寫系統(tǒng)的漢語與其他語言系統(tǒng)（以拼音書寫系統(tǒng)為主），在形聲意三個維度的關(guān)聯(lián)性上具有較大差異，這也進一步加大了以拼寫字母作為母語的學(xué)習(xí)者習(xí)得漢語的認知負荷[27]。Hazan等研究發(fā)現(xiàn)，相較于漢語母語學(xué)習(xí)者，將漢語作為第二語言或外語進行學(xué)習(xí)的學(xué)員的認知負荷更重，難度也更大[17]（P996-1009）。

第三，根據(jù)雙加工機制理論，對新信息的加工機制可以分為自主加工和受控加工兩類。其中，能否喚起對輸入信息的主動處理，將會影響學(xué)習(xí)者對新內(nèi)容的掌握以及所占用認知資源的數(shù)量，并決定了教學(xué)活動的最終有效性[28]（P223-241）。以往的研究表明，在學(xué)習(xí)者的認知活動中，被合理組織的結(jié)構(gòu)化新信息更易觸發(fā)自主加工機制的發(fā)生。這些自主加工機制的啟動，常常會使學(xué)習(xí)認知過程顯得毫不費力，并占用較少的認知資源對所輸入的新信息進行處理，進而起到提升教學(xué)成效的作用。

第四，多媒體認知理論認為，通過綜合使用多種感知模式，能夠使新信息得以有效傳遞，最終有助于學(xué)習(xí)成效的提升[25]（P107-119）。研究者發(fā)現(xiàn)，多媒體材料不但可以通過提供更為有效的語言輸入，促進外語學(xué)習(xí)者語義的發(fā)展[29]（P1220-1237），而且還可以通過多感官對目標語語言、韻律、語義、版式和圖形等各個方面的接觸，來增強學(xué)習(xí)者的雙語意識[30]（P135-146）。因此，多媒體材料和多媒體教學(xué)模式在外語教學(xué)實踐中具有重要價值[31]（P104-116）。多媒體認知理論提出，當以多種方式對新信息進行編碼、傳遞和感知時，新信息的上述表述形式將會形成一個復(fù)雜的關(guān)聯(lián)網(wǎng)絡(luò)，由此產(chǎn)生更為顯著的學(xué)習(xí)成效，獲得比單模態(tài)教學(xué)模式更好的收益。

第五，近些年來，也有學(xué)者開始探索多模態(tài)模式與對外漢語教學(xué)效果之間的神經(jīng)生物作用機制。研究發(fā)現(xiàn)，在接收到外來的視聽信息后，大腦將會對所接收到的語言信息和視覺信息進行分離，并分別交由皮層中的視覺功能區(qū)域（右下顳葉皮質(zhì)）、語言功能區(qū)域（布羅卡和韋尼克區(qū)域）進行處理[32]（P606-616）。從右下顳葉皮質(zhì)到布羅卡和韋尼克兩區(qū)域之間所存在的平行直聯(lián)通路，證實了視覺信息與語言信息具有平行加工途徑;同時，從負責(zé)視覺信息的右下顳葉皮質(zhì)區(qū)域到負責(zé)語言功能的韋尼克區(qū)域之間聯(lián)通路徑的不規(guī)則分布，亦暗示了對所輸入語言信息的分隔處理機制[33]（P161-169）。

（三）多模態(tài)模式與對外漢語教學(xué)效果的調(diào)節(jié)變量

多模態(tài)模式通過認知中介作用機制在對外漢語教學(xué)不同學(xué)習(xí)內(nèi)容中的有效性，可能會存在一定差異。比如，在對外漢語教學(xué)中，文圖聲三模態(tài)模式更有利于形和義學(xué)習(xí)內(nèi)容成效的提升[21]（P485-499），但該結(jié)論仍需進一步探討和驗證。同時，大量研究雖已證實多模態(tài)模式在對外漢語教學(xué)中的即時成效要優(yōu)于延時成效，但該教學(xué)成效的具體時效情況仍有待更深入的探究[4]（P167-182）。鑒于目前研究中關(guān)于多模態(tài)模式在對外漢語教學(xué)中的具體效用情況并不一致，分析影響兩者關(guān)系的調(diào)節(jié)因素也不全面，因此，本文采用元分析方法，對兩者的關(guān)系進行全面系統(tǒng)的探討。

二、研究方法

（一）文獻搜索

本研究全面搜索了相關(guān)文獻，共采用三種策略獲得與主題相關(guān)的實證文獻。首先，采用了關(guān)鍵詞搜索法，以中文關(guān)鍵詞“漢語、模態(tài)、多媒體、雙編碼、多通道”和英文關(guān)鍵詞“multimodality、multimodal、modality、illustration、multimedia、interactive、auditory-visual、cross-modal、audiovisual”，分別對中文數(shù)據(jù)庫（維普中文期刊數(shù)據(jù)庫、萬方數(shù)字化期刊數(shù)據(jù)庫、中國知網(wǎng)數(shù)據(jù)庫）和英文數(shù)據(jù)庫（Wiley Online Library、Oxford University Press、EBSCO NetLibrary、ProQuest、SAGE、Web of Science、ScienceDirect）進行搜索。其次，對國內(nèi)外知名語言教學(xué)類期刊中的論文進行逐篇篩選，其中，包括國內(nèi)對外漢語教學(xué)領(lǐng)域的權(quán)威期刊（《世界漢語教學(xué)》《語言文字應(yīng)用》和《語言教學(xué)與研究》等）以及國外知名的語言教學(xué)類期刊：Language Learning、Studies in Second Language Acquisition、Applied Linguistics、Journal of Applied Linguistics、The Modern Language Journal、TESOL Quarterly、Foreign Language Annals、Language Teaching Research、System、The Canadian Modern Language Review、International Journal of Educational Research、International Review of Applied Linguistics、Computer Assisted Language Learning、Language Learning and Technology、CALICO Journal、CALL-EJ Online、RECALL、International Journal of Bilingualism等。第三，以已確定的本領(lǐng)域權(quán)威文獻為基礎(chǔ)，對與之相關(guān)的文獻（包括該文獻的參考文獻和引用過該文獻的研究）進一步進行搜索核對，以擴大搜索范圍，充實搜索結(jié)果。

（二）文獻納入的標準

對檢索到的文獻，只有符合以下條件才能納入元分析：1.發(fā)表于1999年12月至2019年12月間;2.來源于中英文同行評審的權(quán)威期刊;3.至少運用了兩種及以上模態(tài)進行的漢語教學(xué)活動;4.學(xué)習(xí)者是以漢語作為第二語言或外語進行學(xué)習(xí)的;5.文獻不但要以數(shù)字的方式報告研究結(jié)果，而且該報告應(yīng)包括優(yōu)勢比、相關(guān)系數(shù)、平均數(shù)、標準差等在內(nèi)的計算平均效應(yīng)量所要用到的數(shù)據(jù)參數(shù);6.文獻中所涉及的數(shù)據(jù)僅在一篇論文中使用，如果兩篇及以上論文使用了同一個實驗的數(shù)據(jù)，那么僅采納其中一篇文獻進行元分析。

根據(jù)上述納入標準，對近二十年的中外文獻進行篩選后，共獲得符合上述條件的中文文獻3篇、英文文獻16篇。由于部分文獻包含多個獨立效應(yīng)量，最終得到19篇文獻、42個獨立樣本。

（三）文獻編碼

對納入元分析的文獻進行如下編碼：作者姓名，發(fā)表年份，樣本量，測試時間（包括即時后測和延時后測），學(xué)習(xí)內(nèi)容（音、形、義）。具體如表1所示：

表格說明：表1中的A表示學(xué)習(xí)內(nèi)容為音，S表示學(xué)習(xí)內(nèi)容為形，M表示學(xué)習(xí)內(nèi)容為義;TA表示文聲雙模態(tài)，TP表示文圖雙模態(tài)，AP表示聲圖雙模態(tài)，TPA表示文圖聲三模態(tài)。下同。

（四）元分析過程

1.效應(yīng)量計算

本研究采用標準平均數(shù)差異（Cohen’s d）值作為效應(yīng)量。效應(yīng)量值的計算，既可基于被納入分析文獻的樣本量（n）、平均數(shù)（M）和標準差（SD）等統(tǒng)計量直接計算獲得，亦可通過將文獻中提供的相關(guān)系數(shù)（r）或優(yōu)勢比（OR）轉(zhuǎn)換獲得。其中，直接計算公式為：

公式中的Me和Mc分別為實驗組和控制組的后測均值，SDe和SDc分別為實驗組和控制組的標準差，Ne和Nc分別為實驗組和控制組的樣本量。

系數(shù)轉(zhuǎn)換公式則為：

2.異質(zhì)性檢驗

由于被納入分析的文獻樣本量、評價標準、研究方法等各方面均存在差異，對各研究之間的異質(zhì)性進行檢驗，有利于獲得更為真實有效的效應(yīng)量及其在元分析中的權(quán)重。對異質(zhì)性的檢驗主要有Cochrane Q檢驗和I2檢驗兩種方法。其中，Q檢驗假設(shè)效應(yīng)量服從卡方分布，當p<0.05時，說明各研究間存在異質(zhì)性[34]（P1749-1764）;而I2考察的是各研究間的差異占總變異的百分比，當I2>75%時，則認為納入分析的文獻樣本之間存在較高異質(zhì)性[35]（P193）。

3.模型的選定

當前元分析主要采用固定和隨機兩種分析模型。其中，固定效應(yīng)模型假定不同研究的效應(yīng)值，是對現(xiàn)實情況的真實體現(xiàn);而隨機模型則假設(shè)不同研究效應(yīng)值之間的數(shù)值差異，在較大程度上是由于各文獻間的評價標準及研究方法等系統(tǒng)性因素導(dǎo)致的。相較于固定效應(yīng)模型而言，隨機效應(yīng)模型通過設(shè)置更為寬泛的置信區(qū)間及賦予小樣本研究更大權(quán)重等方式，降低了犯第一類錯誤的風(fēng)險。因此，當納入元分析的研究受到調(diào)節(jié)變量較大影響時，采用隨機效應(yīng)模型更為適宜。同時，當上述異質(zhì)性檢驗顯示各研究間的異質(zhì)性較大時，采用隨機效應(yīng)模型亦更為適切。

4.發(fā)表偏差

元分析需要通過發(fā)表偏差檢測，以確保研究結(jié)果的科學(xué)性和可靠性。所謂“發(fā)表偏差”，是指由于研究者、審稿人和編輯在研究論文撰寫及選擇過程中因個人的偏向性，導(dǎo)致具有陽性結(jié)果的論文較多刊發(fā)，從而使得現(xiàn)有發(fā)表的文獻無法系統(tǒng)全面地代表該領(lǐng)域的真實情況。發(fā)表偏差一般可通過漏斗圖（funnel plot）、失安全系數(shù)法（Classic Fail-safe N）及Egger’s回歸法進行檢測。

5.元分析過程

本研究首先通過元分析技術(shù)，探討不同多模態(tài)模式在對外漢語教學(xué)中的有效性狀況，然后分析測試時間、學(xué)習(xí)內(nèi)容在兩者關(guān)系之間的調(diào)節(jié)作用。

三、研究結(jié)果

（一）異質(zhì)性檢驗

我們對多模態(tài)模式亞類型在對外漢語教學(xué)中有效性的異質(zhì)性進行了檢驗，結(jié)果如表2所示：

（二）發(fā)表偏差檢驗

首先，我們通過漏斗圖（funnel plot），從圖形感觀的角度來檢驗元分析的偏差情況。具體如圖1所示：

（三）多模態(tài)模式及亞類型分析

元分析研究表明，在95%置信區(qū)間內(nèi)，多模態(tài)模式在對外漢語教學(xué)中有效性的平均效應(yīng)量為1.23（95%CI 0.54—1.92）。同時，多模態(tài)模式亞類型在對外漢語教學(xué)中有效性的平均效應(yīng)量，按照大小順序依次是：文圖聲三模態(tài)3.77（95%CI 2.48—5.06）、文圖雙模態(tài)0.95（95%CI 0.26—1.64）、文聲雙模態(tài)0.58（95%CI -0.57—1.73）、聲圖雙模態(tài)0.25（95%CI -1.25—1.55），且亞類型之間差異顯著（p<0.001）。具體如表4所示（見右欄）：

（四）調(diào)節(jié)效應(yīng)檢驗

從表4可知，不僅各亞類型的效應(yīng)量與總效應(yīng)量

四、討論

以往研究已經(jīng)證明了多模態(tài)模式與對外漢語教學(xué)的有效性存在密切聯(lián)系，但關(guān)于多模態(tài)模式亞類型與對外漢語教學(xué)有效性的關(guān)系研究相對較少，研究結(jié)果也不盡一致。本研究是國內(nèi)首次通過元分析技術(shù)，來整合歸納各類多模態(tài)模式在對外漢語教學(xué)中有效性的相關(guān)研究，以探討多模態(tài)模式亞類型之于對外漢語教學(xué)有效性的影響，從而全面了解多模態(tài)模式在對外漢語教學(xué)中的價值和類型。

（一）多模態(tài)模式及亞類型在對外漢語教學(xué)中的有效性

本研究的統(tǒng)計結(jié)果表明，多模態(tài)模式在對外漢語教學(xué)中有效性的平均效應(yīng)量為1.23，這說明多模態(tài)模式之于對外漢語教學(xué)的有效性具有正向積極影響。根據(jù)Cohen等提出的效應(yīng)值大小標準，當效應(yīng)值小于0.2時，為小效應(yīng)量;當效應(yīng)值介于0.2和0.8之間時，為中等效應(yīng)量;當效應(yīng)值大于0.8時，為大效應(yīng)量[36]。由此可見，多模態(tài)模式之于對外漢語教學(xué)有較大程度的積極影響。換言之，多模態(tài)模式能夠有效地影響對外漢語教學(xué)的成效，該結(jié)論驗證了以往的研究結(jié)果，表明兩者之間呈現(xiàn)劑量—反應(yīng)關(guān)系。

本研究發(fā)現(xiàn)，文圖聲三模態(tài)模式在對外漢語教學(xué)中最為有效，相對于文圖雙模態(tài)、文聲雙模態(tài)和聲圖雙模態(tài)而言，它能夠表現(xiàn)出更好的成效。該結(jié)論進一步證實了多媒體認知理論在對外漢語教學(xué)領(lǐng)域的效應(yīng)。近些年來，多項研究均表明，在對外漢語教學(xué)活動中增加模態(tài)數(shù)量，是提高教學(xué)有效性的重要手段和最有效方式。Xu等的研究發(fā)現(xiàn)，在對外漢語教學(xué)的漢字認知學(xué)習(xí)過程中，相較于文聲雙模態(tài)，文圖聲三模態(tài)在漢字字義的理解和記憶的有效性上表現(xiàn)更為出色[19]（P423-444）。王祖嫘的研究表明，隨著對外漢語教學(xué)活動中教學(xué)模態(tài)的增加，不但使得學(xué)習(xí)者的多元智能得以發(fā)展，而且能夠激發(fā)教師課堂教學(xué)的主導(dǎo)性和創(chuàng)造力，在活躍課堂氣氛、保障教學(xué)內(nèi)容完成的同時，能充分調(diào)節(jié)學(xué)生的情緒和促進學(xué)生的學(xué)習(xí)能動性[37]（P124-129）。相較于使用較少模態(tài)的對外漢語教學(xué)活動，數(shù)量更多模態(tài)的加入，可有效提升教學(xué)成效，如基于電子卡片的三模態(tài)模式在對外漢語教學(xué)活動中的有效性，就顯著高于基于傳統(tǒng)紙質(zhì)卡片的兩模態(tài)模式的有效性，并且兩者之間在有效性上的顯著差異，不會隨著時間的推移而改變[23]（P1175-1195）?？梢?，隨著獲得信息途徑數(shù)量的增加，學(xué)習(xí)者更易通過形成綿密的知識網(wǎng)絡(luò)來促進新知識的內(nèi)化，從而獲得比數(shù)量較少的教學(xué)模態(tài)更大的收益[38]。

本研究還發(fā)現(xiàn)，在文圖雙模態(tài)、文聲雙模態(tài)和聲圖雙模態(tài)這三類雙模態(tài)教學(xué)模式中，文圖雙模態(tài)在對外漢語教學(xué)中最為有效，文聲雙模態(tài)的有效性次之，而聲圖雙模態(tài)的有效性最低。上述研究結(jié)果有助于厘清早期研究的相關(guān)爭論。以往有實證研究發(fā)現(xiàn)，使用多感知通道的聲圖雙模態(tài)（視覺+聽覺）比僅使用單感知通道的文圖雙模態(tài)（視覺），對語言習(xí)得更為有效[39]（P311-317）。這類研究結(jié)論支持了之前學(xué)者們所提出的學(xué)習(xí)者可以通過增加感知通道來提升學(xué)習(xí)成效的雙通道編碼理論[24]（P149-210）。也有研究者通過實驗發(fā)現(xiàn)，在同樣是雙模態(tài)的前提下，語言習(xí)得內(nèi)容更具結(jié)構(gòu)化優(yōu)勢的文圖雙模態(tài)的成效，要高于學(xué)習(xí)內(nèi)容結(jié)構(gòu)化程度較低的其他雙模態(tài)教學(xué)模式[40]（P1213）。支持這類研究結(jié)論的雙加工機制理論認為，結(jié)構(gòu)化的知識內(nèi)容組織方式，更有利于具有較強的邏輯思維、分析、綜合、歸納與演繹能力的學(xué)習(xí)者習(xí)得成效的提升[28]（P223-241）。由于對外漢語學(xué)習(xí)者大多是具有一定邏輯、分析、綜合、歸納與演繹能力的年齡較大的學(xué)生，同時，在文圖、文聲和聲圖這三類雙模態(tài)模式中，學(xué)習(xí)內(nèi)容結(jié)構(gòu)化程度次第降低。因此，由本研究分析可知，在具有相同數(shù)量的教學(xué)模態(tài)時，在對外漢語教學(xué)的有效性上起到更為重要作用的是學(xué)習(xí)內(nèi)容的結(jié)構(gòu)化情況。總之，筆者探討不同多模態(tài)模式在對外漢語教學(xué)中的有效性，強調(diào)的不是多模態(tài)教學(xué)模式的某種單獨形式，而是通過比較它們在對外漢語教學(xué)中有效性的差異，來更好地闡述各類多模態(tài)模式影響對外漢語教學(xué)有效性的潛在路徑。

（二）多模態(tài)模式亞類型在對外漢語教學(xué)中有效性的影響因素

本研究將學(xué)習(xí)內(nèi)容、測試時間等影響因素視為調(diào)節(jié)變量，探討它們對多模態(tài)模式在對外漢語教學(xué)中有效性的影響。

1.學(xué)習(xí)內(nèi)容的影響

本研究發(fā)現(xiàn)，各類學(xué)習(xí)內(nèi)容對多模態(tài)模式在對外漢語教學(xué)中的有效性，存在著一定程度的差異化影響。其中，多模態(tài)模式在對外漢語教學(xué)中的有效性，依音、義、形三類學(xué)習(xí)內(nèi)容而逐次降低。漢語作為第二語言習(xí)得成效的相關(guān)研究顯示，對學(xué)習(xí)者而言，漢語的形、義、音三個方面的難度依次增加。我們的結(jié)論與此頗為一致。下面，著重從漢字作為表意文字系統(tǒng)（Logographic writing system）的特性這一角度，來探究學(xué)習(xí)內(nèi)容難度差異的原因。眾所周知，作為漢語最基本元素的漢字同時蘊含形、音、義多重信息，相較于以英語為代表的拼音書寫系統(tǒng)（alphabetic writing system）中字形與字音的較高關(guān)聯(lián)度，在漢字系統(tǒng)中，字形與字義之間的關(guān)聯(lián)更為密切。一些研究者發(fā)現(xiàn)，對于將漢語作為第二語言進行學(xué)習(xí)的成年人而言，字形最容易習(xí)得，其次為字義，而漢字的字音則是漢語習(xí)得中最難的部分[41]（P471-480）。之所以會出現(xiàn)這種現(xiàn)象，是由于成年學(xué)習(xí)者在對外漢語的學(xué)習(xí)過程中，首先對漢字的視覺形態(tài)建立一定程度的感知，而后再以漢字字形與字義之間的高關(guān)聯(lián)性為基礎(chǔ)，在學(xué)習(xí)者的大腦中形成具有緊密邏輯聯(lián)系的字形—字義結(jié)構(gòu)化記憶，并由此獲得對字義的學(xué)習(xí);而相對獨立的漢字語音，則由于無法獲得與字形—字義相類似強度的鏈接，所以成為在漢語識讀內(nèi)容中最為困難的一環(huán)。不過，關(guān)于漢語識讀內(nèi)容對多模態(tài)模式在對外漢語教學(xué)有效性的調(diào)節(jié)作用機制，還有待于進一步探討。值得一提的是，由于對識讀內(nèi)容的測量，多局限于漢字字符的習(xí)得，因此，在進行識讀內(nèi)容的影響效應(yīng)分析時受到了一定的限制。

2.測試時間的影響

測試時間也對多模態(tài)模式在對外漢語教學(xué)中的有效性產(chǎn)生了一定影響。其中，在對外漢語教學(xué)活動剛剛結(jié)束就馬上進行的即時后測所錄得的多模態(tài)教學(xué)模式效果，比在教學(xué)活動結(jié)束一段時間的延時后測中所錄得的教學(xué)效果更好，但兩者之間的差異并不顯著。該現(xiàn)象符合在二/外語學(xué)習(xí)者中具有普遍性的信息留存與消退記憶規(guī)律[42]（P59-60）。該研究結(jié)果表明，學(xué)習(xí)者通過多模態(tài)教學(xué)模式所獲取的語言知識，將會隨著時間的推移而被部分遺忘。由此可見，一方面，要獲得更長期的對外漢語習(xí)得記憶效果，在完成教學(xué)活動之后，還需反復(fù)練習(xí)以鞏固學(xué)習(xí)成效;另一方面，即時后測結(jié)果與延時后測結(jié)果之間的差異并不顯著，則證實了多模態(tài)教學(xué)模式在對外漢語教學(xué)中成效的持久性。需要指出的是，以上結(jié)論皆來自于較小的樣本，仍有待進一步驗證。

綜上所述，本文主要采用元分析技術(shù)，對多模態(tài)模式在對外漢語教學(xué)中的有效性進行了探討。研究發(fā)現(xiàn)，多模態(tài)模式在對外漢語教學(xué)中具有積極效應(yīng)，尤其是該效應(yīng)會隨著模態(tài)數(shù)量的增加而變大。同時，學(xué)習(xí)內(nèi)容、測試時間也能夠影響多模態(tài)模式在對外漢語教學(xué)中的有效性。需要說明的是，本研究仍存在著一些不足之處。第一，本研究引入元分析的大部分文獻，都沒有報告多模態(tài)模式的一些相關(guān)因素信息，如多模態(tài)模式的頻率、時間、權(quán)重、強度等，因此，無法進行相關(guān)分析。第二，本研究中不同潛在調(diào)節(jié)變量的樣本較少且分配不均衡，這也在一定程度上會影響到分析結(jié)果。第三，本研究沒有考慮到多模態(tài)模式測量工具、語言產(chǎn)出等調(diào)節(jié)因素，這些變量可能會對多模態(tài)模式在對外漢語教學(xué)中的有效性產(chǎn)生影響。

在一定程度上說，元分析也為今后的研究指明了方向。第一，在多模態(tài)模式中，模態(tài)數(shù)量的增加能夠使對外漢語教學(xué)的成效得以顯著提高，今后應(yīng)進一步探索多模態(tài)模式的其他因素在對外漢語教學(xué)的效用情況。第二，今后的研究應(yīng)該包括更加豐富的樣本群體，如兒童和老年群體;同時，應(yīng)進一步探討其他潛在影響變量，如多模態(tài)教學(xué)模式中各模態(tài)的次序、各模態(tài)持續(xù)的時間以及各模態(tài)之間的相對強度，這將有助于更好地歸納多模態(tài)模式在對外漢語中有效性的影響條件。第三，部分研究成果可以在對外漢語課堂教學(xué)中應(yīng)用實施。通過以上舉措，教師可以根據(jù)實際需要來因地制宜地制定多模態(tài)教學(xué)模式，最大限度地提升對外漢語教學(xué)成效。

參考文獻：

[1]Baills，F(xiàn).，Suárez-González，N.，González-Fuente，S. & Prieto，P.Observing and producing pitch gestures facilitates the learning of mandarin Chinese tones and words[J].Studies in Second Language Acquisition，2019，（1）.

[2]章廣碩.多模態(tài)對外漢語教學(xué)研究綜述[J].現(xiàn)代語文， 2019，（6）.

[3]Chen，D.，Li，Z. & Wang，T.Exploration and practice：A competition based project practice teaching mode[J].Mechatronics，2014，（2）.

[4]Shen，H.H.Level of cognitive processing：Effects on character learning among non-native learners of Chinese as a foreign language[J].Language and Education，2004，（2）.

[5]Xu，Y-J.，Chiou，S-C. & You，M.Effects of improving the interactive design of a Chinese character learning system on the learning performance of Chinese as foreign language students[J].Computer Assisted Language Learning，2019，（2）.

[6]洪煒，張俊.輸入強化與輸入模態(tài)對漢語二語句法學(xué)習(xí)的影響——以兩類“把”字結(jié)構(gòu)的學(xué)習(xí)為例[J].語言文字應(yīng)用，2017，（2）.

[7]李曉婷.多模態(tài)互動與漢語多模態(tài)互動研究[J].語言教學(xué)與研究，2019，（4）.

[8]Graham，S. & Perin，D.A meta-analysis of writing instruction for adolescent students[J].Journal of Educational Psychology，2007，（3）.

[9]Davis，R.O.The impact of pedagogical agent gesturing in multimedia learning environments：A meta-analysis[J].Educational Research Review，2018，（1）.

[10]Wang，C-P.，Lan，Y-J.，Tseng，W-T.，Lin，Y-T.R. & Gupta，K.C-L.On the effects of 3D virtual worlds in language learning–a meta-analysis[J].Computer Assisted Language Learning，2019，（1）.

[11]Godfroid，A.，Lin，C-H. & Ryu，C.Hearing and seeing tone through color：An efficacy study of web-based， multimodal Chinese tone perception training[J].Language Learning，2017，（4）.

[12]Kuo，M-L.A. & Hooper，S.The effects of visual and verbal coding mnemonics on learning Chinese characters in computer-based instruction[J].Educational Technology Research and Development，2004，（3）.

[13]Lai，F(xiàn)-Q. & Newby，T.J.Impact of static graphics， animated graphics and mental imagery on a complex learning task[J].Australasian Journal of Educational Technology，2012，（1）.

[14]Liu，Y.，Wang，M.，Perfetti，C.A.，Brubaker，B.，Wu，S. & MacWhinney，B.Learning a tonal language by attending to the tone：An in vivo experiment[J].Language Learning，2011，（4）.

[15]洪煒，劉欣慰.圖文雙模態(tài)釋義對漢語二語詞匯學(xué)習(xí)的影響[J].語言教學(xué)與研究，2019，（4）.

[16]Chung，K.K.H.What effect do mixed sensory mode instructional formats have on both novice and experienced learners of Chinese characters？[J].Learning and Instruction，2008，（1）.

[17]Hazan，V.，Kim，J. & Chen，Y.Audiovisual perception in adverse conditions：Language，speaker and listener effects[J].Speech Communication， 2010，（11）.

[18]Kasisopa，B.，Antonios，L E-K.，Jongman，A.，Sereno，J.A. & Burnham，D.Training Children to Perceive Non-native Lexical Tones：Tone Language Background， Bilingualism， and Auditory-Visual Information[J].Frontiers in Psychology，2018，（9）.

[19]Xu，Y.，Chang，L.Y.，Zhang，J. & Perfetti，C.A.Reading， writing， and animation in character learning in Chinese as a foreign language[J].Foreign Language Annals，2013，（3）.

[20]洪煒，吳安婷，伍秋萍.任務(wù)的模態(tài)配置對漢語二語文本理解、詞匯和句法學(xué)習(xí)的影響[J].世界漢語教學(xué)， 2018，（3）.

[21]Shen，H.H.Imagery and verbal coding approaches in Chinese vocabulary instruction[J].Language Teaching Research，2010，（4）.

[22]Hsiao，H.S.，Chang，C.S.，Lin，C.Y.，Chen，B.，Wu，C.H. & Lin，C.Y.The development and evaluation of listening and speaking diagnosis and remedial teaching system[J].British Journal of Educational Technology， 2016，（2）.

[23]Li，J-T. & Tong，F(xiàn).Multimedia-assisted self-learning materials：the benefits of E-flashcards for vocabulary learning in Chinese as a foreign language[J].Reading and Writing，2019，（5）.

[24]Clark，J.M. & Paivio，A.Dual coding theory and education[J].Educational Psychology Review， 1991，（3）.

[25]Mayer，R.E. & Moreno，R.Aids to computer-based multimedia learning[J].Learning and Instruction， 2002，（1）.

[26]Paas，F(xiàn).，Renkl，A. & Sweller，J.Cognitive load theory：Instructional implications of the interaction between information structures and cognitive architecture[J].Instructional Science，2004，（1）.

[27]Taylor，I. & Taylor，M.M.Writing and literacy in Chinese， Korean and Japanese（Revised edition）[M].New York：John Benjamins Publishing Company，2014.

[28]Evans，J.S.B. & Stanovich，K.E.Dual-process theories of higher cognition：Advancing the debate[J].Perspectives on Psychological Science， 2013，（3）.

[29]Mohsen，M.A.Effects of help options in a multimedia listening environment on L2 vocabulary acquisition[J].Computer Assisted Language Learning，2016，（7）.

[30]Edwards，V.，Monaghan，F(xiàn). & Knight，J.Books， pictures and conversations：Using bilingual multimedia storybooks to develop language awareness[J].Language Awareness，2000，（3）.

[31]Khezrlou，S.，Ellis，R. & Sadeghi，K.Effects of computer-assisted glosses on EFL learners’ vocabulary acquisition and reading comprehension in three learning conditions[J].System，2017，（2）.

[32]Passingham，R.E.，Stephan，K.E. & K?tter，R.The anatomical basis of functional localization in the cortex[J].Nature Reviews Neuroscience，2002，（8）.

[33]Murray，M.M.，Thelen，A.，Thut，G.，Romei，V.，Martuzzi， R. & Matusz，P.J.The multisensory function of the human primary visual cortex[J].Neuropsychologia， 2016，（2）.

[34]丁鳳琴，趙虎英.感恩的個體主觀幸福感更強？——一項元分析[J].心理科學(xué)進展，2018，（10）.

[35]Huedo-Medina，T.B.，Sánchez-Meca，J.，Marín-Martínez，F(xiàn). & Botella，J.Assessing heterogeneity in meta-analysis：Q statistic or I2 index？[J].Psychological methods，2006，（2）.

[36]Cohen，J.，Cohen，P.，West，S.G. & Aiken，L.S.Applied multiple regression/correlation analysis for the behavioral sciences[M].New York：Routledge，2013.

[37]王祖嫘.論美國中文沉浸式教學(xué)的多模態(tài)話語[J].民族教育研究，2016，（4）.

[38]Mayer，R.E.Multimedia learning[M].Amsterdam： Elsevier，2002.

[39]Aldalalah，M.，F(xiàn)ong，S.F. & Ababneh，W.Z.Effects of multimedia-based instructional designs for Arabic language learning among pupils of different achievement levels[J].International Journal of Human and Social Sciences，2010，（5）.

[40]Markovits，H.，Brunet，M-L.，Thompson，V. & Brisson，J.Direct evidence for a dual process model of deductive inference[J].Journal of Experimental Psychology：Learning，Memory，and Cognition， 2013，（4）.

[41]Liu，Y.，Wang，M. & Perfetti，C.A.Threshold-style processing of Chinese characters for adult second-language learners[J].Memory & Cognition， 2007，（3）.

[42]張潤.認知記憶規(guī)律與外語學(xué)習(xí)策略培養(yǎng)研究[J].教育理論與實踐，2017，（33）.