基于多模態(tài)數據融合的大學英語視聽說教學改革研究

黃美琳

（廣州新華學院，廣州 523133）

2018 年教育部辦公廳印發(fā)的《中國英語能力等級量表》對英語理解能力和表達能力做了清晰界定，同時針對各項能力制定對應的自我評價量表，為大學聽說讀寫譯能力教學目標指明了方向。在信息化時代，隨著多媒體技術及移動應用的發(fā)展，多模態(tài)數據融合在英語學習中的應用越來越廣泛。當下網絡新媒體蓬勃發(fā)展，大學生肩負跨文化交流、講好中國故事的任務，大學生的英語聽力理解與口語表達能力為拓寬職業(yè)生涯道路、傳播中國文化奠定重要基礎。而在現實的大學視聽說教學環(huán)節(jié)中，由于教學資源匱乏、教學設備更新不足、教學信息技術滯后等，教師很難在規(guī)劃的教學周期內有效提高學生的聽力理解及口頭表達能力。鑒于此，借鑒多模態(tài)數據融合學習分析理論，把多模態(tài)數據融合運用到教學改革中，無疑是提高學生的學習效率和學習質量的最佳途徑。

一、多模態(tài)學習分析理論與多模態(tài)數據融合教學研究綜述

在當前數字經濟全面發(fā)展的態(tài)勢下，高校與時俱進、深化數字化教學改革成為推動時代變革的重要組成力量。英語作為大學的公共必修課程，既要讓學生為未來的工作和深造打下英語語言基礎，又要讓學生拓展國際視野乃至承擔起跨文化交際的溝通作用。近些年的線上線下混合式教學經驗的累積，使一線英語教師在數字化、信息化時代背景下嘗試多模態(tài)教學模式成為可能。

（一）多模態(tài)學習分析理論與多模態(tài)數據融合語言學習研究

多模態(tài)學習分析是指學習分析在當前技術環(huán)境下的新發(fā)展，使用來自物理空間和數字空間的各種數據形式，采用不同的分析方法來處理動態(tài)產生的多模態(tài)數據，并利用學習情境中的行為、情感、認知等相關理論來實現學習分析的目標與價值。

趙亮在博士論文中提出：“多模態(tài)數據是指對于同一個描述對象，通過不同領域或視角獲取到的數據，并且把描述這些數據的每一個領域或視角叫作一個模態(tài)?！保?］而多模態(tài)數據融合指的是利用計算機進行多模態(tài)數據的綜合處理，負責融合各個模態(tài)的信息來執(zhí)行目標預測。［2］

黃立鶴在《基于多模態(tài)語料庫的語力研究：多模態(tài)語用學新探索》一書中指出：“交際語言的本質是多模態(tài)的，語言研究不僅是詞句結構和話語的研究，還要考慮韻律、表情、動作等非語言媒介。”因此，語言的研究路徑包括符號學屬性的多模態(tài)研究、人機交互和學習科學中的多模態(tài)研究、神經語言學的多模態(tài)研究以及多模態(tài)語料庫的研究。

（二）國內外相關研究綜述

當前學界對多模態(tài)學習分析的研究比較多，同時對基于多模態(tài)數據融合在具體領域里的模型設計與應用研究也不少。其中，多模態(tài)學習分析的三大研究領域是“多模態(tài)感知與情緒分析、多模態(tài)數據融合與挖掘、多模態(tài)表征與對象識別”。關于語言方面的多模態(tài)學習研究，主要探討多模態(tài)語料庫構建、多模態(tài)數據融合建模與具體學科的深度學習融合應用。此外，關于學習數據檢測方面，研究的熱點“包括多模態(tài)學習數據采集與系統(tǒng)設計、多模態(tài)學習認知與行為分析、多模態(tài)學習分析方法與工具開發(fā)”［3-6］，從而呈現出從現代學習理論的單模態(tài)數據檢測轉向多模態(tài)數據表征檢測，更加全面、準確地了解學習過程，并對各種數據源和模式進行分析。

二、多模態(tài)數據融合在大學英語視聽說教學中的應用

（一）影響大學英語視聽說能力認知的范疇

多模態(tài)數據融合對英語聽力能力認知產生深刻而全面的影響，通過融合多模態(tài)數據研究，不僅可以提高英語聽力認知的效果，還可以比較不同模態(tài)數據融合方式的效果差異，探討多模態(tài)數據融合在英語聽力學習中的應用價值，為師生提供全面的學習反饋。在研究多模態(tài)數據融合對英語視聽說認知的綜合提高效果中，我們通過比較不同模態(tài)數據融合方式的效果差異，探討多模態(tài)數據融合在英語聽力與閱讀學習中的應用價值。

（二）實現教學方案和教學材料設計的最優(yōu)化

把多模態(tài)數據融合理論具體化到英語聽力與閱讀教學中，通過設計相應的教學方案和教學材料，探索多模態(tài)數據融合在英語聽力與閱讀教學中的最佳實踐，為英語學習者提供更加高效、便捷、有趣的學習方法。多模態(tài)數據融合是一種結合多種數據源的技術，如音頻、視頻和文本，以提供對特定現象的更全面的理解。在大學英語視聽說教學中，多模態(tài)數據融合可為學生提供一個更具沉浸式和互動性的環(huán)境來增強學生的學習體驗。在大學英語視聽說教學課中，多模態(tài)數據融合的一個特殊用途是將母語使用者的視頻和錄音整合到課程中。通過使用這些錄音，學生可以在現實生活中聽和觀看母語者的說話，以便幫助提高自己的發(fā)音、語調和對語言的整體理解。另一種應用是文本和音頻材料的整合，例如，教師可以為學生提供錄音記錄，以幫助他們理解錄音中使用的語言結構和詞匯。通過結合文本和音頻材料，學生可以更全面地發(fā)展他們的聽力和口語技能。多模態(tài)數據融合也可以用來創(chuàng)建交互式學習活動，如虛擬角色扮演游戲或模擬情景。這些活動可以為學生提供更具沉浸感和吸引力的學習體驗，幫助他們以更自然和真實的方式發(fā)展視聽說能力。

（三）完善大學英語視聽說學習的多元化評價體系

由于不同國家及地區(qū)的語音、語調和文化背景的差異，英語聽力理解和口語交流的認知難度都很大。多模態(tài)數據融合理論可以通過豐富的語料庫及教學呈現方式，在有效提高大學英語視聽說學習教學效果的同時，通過豐富評價指標、促進個性化評價和學生的綜合能力、提高反饋效果等方面來實現多模態(tài)的多元評價體系的完善。

在豐富評價指標方面，多模態(tài)數據融合理論可以將不同類型的數據綜合起來，如語音、視頻、文本等，從多個角度對學生的視聽說能力進行評價，從而豐富評價指標，提高評價的全面性和準確性。在個性化評價方面，多模態(tài)數據融合理論可以基于學生的個性化需求和學習情況，對不同學生采用不同的評價方式和標準，從而實現個性化評價，促進學生的個性化學習和發(fā)展。在促進學生的綜合能力方面，多模態(tài)數據融合理論可以將不同類型的數據融合起來，從而促進學生的綜合能力的發(fā)展，如語言表達能力、情感表達能力、思維能力等，從而提高學生的視聽說能力和綜合素質。在提高反饋效果方面，多模態(tài)數據融合理論可以將不同類型的數據綜合起來，從多個角度對學生的視聽說能力進行評價，從而提高反饋的準確性和針對性，為學生提供更加有效的反饋，促進其提高視聽說能力。

三、構建多模態(tài)語料庫工具的視聽說教學模式

根據《中國英語能力等級量表》的指標體系，構建多模態(tài)語料庫工具的視聽說教學模式，是實現大學英語視聽說教學質量提升的基礎。初步構建多模態(tài)數據語料庫的大學英語視聽說教學模型將包括以下多個步驟。

（1）收集數據。收集包含音頻、視頻和文本數據的多模態(tài)數據語料庫。語料庫應該包括各種真實的材料，如對話、講座、采訪和新聞廣播，讓學生接觸到不同類型的英語語言情景及文化口音語境，更加直觀真實地體驗英語的運用。

（2）開發(fā)多模態(tài)教學模式。開發(fā)一個包含多模態(tài)數據語料庫的教學模式，需為學生設計全面的學習經驗，包括整套分層次的視聽說練習、反饋和評估環(huán)節(jié)。整個環(huán)節(jié)是可持續(xù)循環(huán)、相互促進的，反饋和評估對進一步豐富語料庫的練習起到促進作用，多模態(tài)語料庫的豐富也為練習的準確度、評估的全面性提供更堅實的基礎。

（3）數據預處理。對收集到的數據進行預處理，以確保其質量適合在教學模式中使用，包括整理數據，將其分割成更小的單元，并使用相關信息對其進行注釋，如情境中會話者的信息、主題情緒和態(tài)度等。數據預處理階段應根據整個系統(tǒng)評估指標體系進行數據分層整理，如詞匯量、話題難易度、語速等多種具體的指標進行單元分層與歸類。

（4）集成多模態(tài)數據語料庫。多模態(tài)數據語料庫應該以支持學習目標和活動的方式集成到教學模式中，具體可根據校本教材選取符合該校學生水平的語料。例如，音頻和視頻錄音可用于提供聽力練習，而文本記錄和文本數據可用于提高聽力理解和專題性口語表達。

（5）提供反饋和評估。教學模式應包括反饋和評估機制，為學生提供關于他們的聽力、復述和演講技能的個性化反饋。這可以通過自動語音識別、自然語言處理和機器學習算法來實現。學生根據語料庫中分層的訓練模塊，針對學習反饋結果提高訓練難度，將達到全面提高的效果。

（6）評估教學模式。使用各種指標來評估教學模式的有效性，如學生的訓練結果、參與度和滿意度。該模型應根據評價結果進行改進，以確保滿足學生的個性需求，支持不同學生的學習目標。

通過以上步驟，對數據進行收集和預處理、開發(fā)教學模型、集成多模態(tài)數據語料庫等，最終建立基于多模態(tài)數據語料庫工具的英語視聽說教學模型，再通過反饋和評估以確保模型的有效性。

四、多模態(tài)數據融合大學英語視聽說教學評價系統(tǒng)

（一）多模態(tài)數據融合大學英語視聽說教學評價系統(tǒng)的應用

在大學英語視聽說教學中，多模態(tài)學習分析理論可以用于跟蹤和分析學生的視聽說理解技能，并提供個性化的反饋，強化并提高學習效果。英語視聽說中的多模態(tài)學習分析可以包括各種數據源，如錄音、成績單、學時追蹤數據和自我報告的反饋等。這些數據源可以用來識別學生視聽說學習行為的模式和趨勢，如識別關鍵信息的能力、注意力的持續(xù)時間以及處理口語的能力。

使用多模態(tài)學習分析理論下的分層教學，教師可以根據學生個人的視聽技能為學生提供個性化的反饋。學生在努力識別關鍵信息的時候，教師可以提供額外的練習或學習建議，進而提高他們的視聽說技巧。例如，《全新版大學英語視聽說教程2》關于“climate change”（氣候變化）的主題單元，教師可以教材中配置的視頻作為第一層級模塊訓練，訓練后如果沒能達到口頭復述的效果，課后再推送微信公眾號搜索到的關于“Green house effect”（溫室效應）的視頻給學生，同時需要設計與視頻相關的關鍵問題以便學生能順利回憶起與話題相關的關鍵知識點和詞匯，要求學生在平臺進行口頭回答，以此實現英語視聽說運用能力的提升。多模態(tài)學習分析理論還可以用來跟蹤學生在一段時間內的進步，并確定是否需要額外支持的學習模塊。除了提高學生的表現，多模態(tài)學習分析理論還可以用于教學實踐反饋及改革。通過分析多個來源的數據，教師可以深入了解教學方法的有效性，并根據需要進行適當調整。

（二）多模態(tài)數據融合對大學英語視聽說學習評價體系的完善

多模態(tài)數據融合學習分析理論有助于完善大學英語視聽說學習評價體系的多元化，具體可以從以下三個方面得到體現。

首先，評價數據類型的多樣化。采用多種不同類型的數據，如語音、視頻、文本等，綜合評價學生的視聽說能力，從而提高評價的全面性和準確性。其次，評價數據來源的多元化。從不同來源獲取數據，如學生錄制的語音和視頻、教師提供的范例等，以確保數據的多樣性和可靠性。最后，評價指標的多樣化。根據不同類型的數據，設計相應的評價指標，如語音數據可以評價發(fā)音的準確性、語調的抑揚頓挫等，視頻數據可以評價肢體語言、面部表情等，從而實現評價指標的多樣化。

通過以上三個層面的多種數據融合，用加權平均、主成分分析等方法，教師可將不同類型的數據綜合起來，得到更加全面而準確的評價結果，再根據評價結果的反饋進行個性化評價調整，即根據學生的個性化需求和學習情況，采用不同的評價方式和標準，如針對不同學生的語音難點，結合分層教學設置相應的評價指標和標準，從而實現個性化評價。

（三）多模態(tài)數據融合學習評價體系對視聽說教學改革的促進

通過多模態(tài)數據融合的大學英語視聽說教學評價結果反饋，教師能得到客觀且綜合的教學效果反饋，對推動教學改革有較大的實踐意義。

第一，多模態(tài)語料庫要求增加多元化的學習材料，即提供多種不同類型和難度的視聽說材料，以滿足不同學生的學習需求和興趣。大學教師可以教研室、課題組等為依托，搜集整合相關視聽說語料，上傳到學校教學平臺，實現線上線下混合教學。

第二，將促使教師采用多樣化的教學方式方法，如小組討論、角色扮演、辯論等，以提高學生的互動和參與度，培養(yǎng)他們的口語表達能力。

第三，采集多模態(tài)的學習數據，會增加個性化的學習體驗，并根據學生的學習情況和需求，提供個性化的教學方案和學習支持，如輔導、答疑、課內外小測等，以促進學生的自主學習和終身學習。

第四，將要求教師的教學全過程需結合各種現代化的教學技術手段，如在線學習平臺、移動學習應用、虛擬教室等，為學生提供更加豐富、便捷和靈活的學習渠道和方式。

第五，將加強評估和反饋。多模態(tài)數據融合的大學英語視聽說教學評價能建立有效的評估和反饋機制，及時了解學生的學習情況和進展，為學生提供針對性的指導和建議，以幫助他們更好地提高視聽說能力。

五、結語

從多模態(tài)數據融合視角探索大學英語視聽說教學多模態(tài)融合教學的創(chuàng)新模式，提出該模式的基本模型構建與對應的評價系統(tǒng)。在建立多模態(tài)數據語料庫工具的英語視聽說教學模型基礎上，多模態(tài)數據融合理論可以通過多種數據類型和來源的多樣化、數據融合方法的多樣化、評價指標的多樣化和個性化評價而實現對學生視聽說能力的全面和準確的評價，完善大學英語視聽說學習評價體系的多元化，最終促進學生視聽說能力的提高。而完善大學英語視聽說學習評價體系的多元化，需要結合多種手段和策略，以滿足不同學生的學習需求、提高學習效果。因此，多模態(tài)數據融合的大學英語視聽說教學研究是一個良性的可持續(xù)的能在每一環(huán)節(jié)相互促進的循環(huán)過程。