面向混合學(xué)習(xí)的多模態(tài)交互分析機制及優(yōu)化策略

田陽 陳鵬 黃榮懷 曾海軍

[摘? ?要] “互聯(lián)網(wǎng)+教育”促進了混合學(xué)習(xí)的實踐應(yīng)用?；旌蠈W(xué)習(xí)融合了物理空間、社交空間、資源空間等，這使得學(xué)習(xí)交互的內(nèi)在機理成為學(xué)術(shù)界重點關(guān)注的議題之一，研究團隊嘗試從混合學(xué)習(xí)的多模態(tài)分析視角揭示混合學(xué)習(xí)交互內(nèi)在機理。通過對混合學(xué)習(xí)的多模態(tài)交互特征分析，歸納出其特征為跨空間交互、同步與異步交互并存、多情境轉(zhuǎn)換、具身情感性、可表征等。結(jié)合混合學(xué)習(xí)運行規(guī)律，發(fā)現(xiàn)混合學(xué)習(xí)的多模態(tài)交互過程中可表征多模態(tài)和抽取多模態(tài)信息，并總結(jié)出多模態(tài)交互分析的主要流程為數(shù)據(jù)采集、加工與篩選、數(shù)據(jù)分析、數(shù)據(jù)表征可視化、反饋調(diào)節(jié)等。多模態(tài)交互信息經(jīng)過可視化表征，將分析得到的結(jié)果經(jīng)過儀表盤反饋給教師、學(xué)生，幫助教師和學(xué)生及時調(diào)整教與學(xué)的方法，并促進混合學(xué)習(xí)多模態(tài)交互策略的優(yōu)化。

[關(guān)鍵詞] 多模態(tài); 混合學(xué)習(xí); 多模態(tài)交互分析; 學(xué)習(xí)分析; 優(yōu)化策略

[中圖分類號] G434? ? ? ? ? ? [文獻標(biāo)志碼] A

[作者簡介] 田陽（1988—），男，黑龍江勃利人。博士研究生，主要從事互聯(lián)網(wǎng)教育應(yīng)用、學(xué)習(xí)與社會交互等方面的研究。E-mail：tianyang001@yeah.net。

一、引? ?言

互聯(lián)網(wǎng)技術(shù)的教育應(yīng)用所引發(fā)的課堂變革，促進了慕課（MOOC）、翻轉(zhuǎn)課堂、SPOC等教學(xué)形態(tài)的涌現(xiàn)，使得教與學(xué)的物理空間、資源空間、社交空間逐漸走向融合，尤其是教育大數(shù)據(jù)、云計算、人工智能、區(qū)塊鏈等新興技術(shù)在教育領(lǐng)域的運用，以及數(shù)據(jù)挖掘和學(xué)習(xí)分析等技術(shù)的應(yīng)用，多模態(tài)融合協(xié)同成為可能。同時，在教學(xué)方式和方法層面，混合學(xué)習(xí)是一種能促進教與學(xué)過程中的物理空間、資源空間、社交空間協(xié)同的有效教學(xué)方法，實現(xiàn)線上、線下教與學(xué)的融合。但是面對復(fù)雜的物理空間、資源空間、社交空間的交互，混合學(xué)習(xí)的學(xué)習(xí)交互成為促進有效學(xué)習(xí)的關(guān)鍵問題，有待我們深入研究，尤其是混合學(xué)習(xí)的學(xué)習(xí)交互模式與方法尚未得到有效驗證，這對實現(xiàn)混合學(xué)習(xí)在教育領(lǐng)域的經(jīng)濟和社會價值有著制約作用。本文通過分析線上線下混合學(xué)習(xí)的多模態(tài)交互模式，以期構(gòu)建混合學(xué)習(xí)的多模態(tài)交互方法，從而形成富有成效的學(xué)習(xí)。

二、多模態(tài)交互

（一）多模態(tài)

模態(tài)本身是一種客觀存在的、可表征的符號系統(tǒng)，例如人的語音、表情、眼神、手勢、身體動作等經(jīng)過轉(zhuǎn)碼后都可以稱為一種模態(tài)[1]。模態(tài)的價值在于其可以通過一些技術(shù)手段進行觀察和分析，然后基于多種模態(tài)綜合判斷，可用來衡量事物發(fā)展的情況，進而作出相關(guān)判斷或預(yù)測。克瑞斯（Kress）等人早先定義了多模態(tài)的概念，多模態(tài)是指“在符號產(chǎn)品或者事件中幾種符號模態(tài)的使用，促進人類感官與外界環(huán)境發(fā)生交互的符號系統(tǒng)”[2]。多模態(tài)的出發(fā)點是把語言及其意義的社會闡釋擴展到所有的呈現(xiàn)和交際模態(tài)——諸如圖像、文字、手勢、凝視、言語、姿態(tài)等[3]。多模態(tài)信息類似于語義網(wǎng)絡(luò)，但是它又并非單純地表達語義，語義網(wǎng)絡(luò)僅是模態(tài)的一種形式。多模態(tài)的概念十分復(fù)雜，原因就在于它涉及了多種模式的符號表征系統(tǒng)，包含視、聽、觸、味、嗅等[4]，往往這些符號表征系統(tǒng)不是單一使用，而是多個組合使用[5]?；谶@種表征系統(tǒng)，將不可觀察或者很難觀察的符號特征編碼量化后變得可以分析，并基于相關(guān)的設(shè)備不斷采集和分析判定[6]。

多模態(tài)信息主要是用于人與人的交互、人機交互、機器與機器交互等方面。尤其是隨著第五代移動互聯(lián)技術(shù)（5G）的發(fā)展，將促進人與萬物互聯(lián)的同時，需要進行多模態(tài)交互[7]，多模態(tài)信息就顯得尤為重要，因為人與人的交互、人與機器、人與空間（物理空間、信息空間、人類社會）的交互需要多模態(tài)信息識別。近年來，大數(shù)據(jù)分析、人臉識別、語音識別、云計算、表情識別、體態(tài)識別技術(shù)的成熟和應(yīng)用，強化了多模態(tài)信息的可用性。未來的教與學(xué)場景[8]中將會更多地聚合物聯(lián)網(wǎng)技術(shù)、人工智能技術(shù)、云計算技術(shù)、大數(shù)據(jù)分析技術(shù)、學(xué)習(xí)分析技術(shù)等，針對多模態(tài)的分析將成為一種常態(tài)。多模態(tài)的應(yīng)用更多地體現(xiàn)在交互方面，通過模態(tài)感知、模態(tài)測量、模態(tài)分析、有源模態(tài)追溯、模態(tài)衍生等技術(shù)手段促進人與人的有效交互和深層次的理解，以及人與機器的交互等。對于多模態(tài)分析，以往僅僅憑借個體的感官采集信息，經(jīng)過人的大腦加工判斷交互對象表征符號的含義，進而作出相關(guān)的回應(yīng)性行動;如今隨著科學(xué)技術(shù)的使用，尤其是智能技術(shù)的應(yīng)用[9]，更容易關(guān)注到多模態(tài)表征的細節(jié)內(nèi)容，通過增加模態(tài)信息的顆粒度和種類，使得多模態(tài)分析的精度和準(zhǔn)度大大提高。

（二）多模態(tài)交互

“交互”一詞在《漢語詞典》里的含義是互相、彼此;交替地。隨著時代的變化，交互一詞在計算機應(yīng)用方面，它的含義變?yōu)閰⑴c活動的對象，可以相互交流，雙方面互動[10]。在教育領(lǐng)域，交互更多地強調(diào)師—生互動、生—生互動、生—機互動、師—機互動等，這種交互強調(diào)雙方的可溝通性、互惠性和目的性[11]。在交互的過程中，多種模態(tài)信息通過渠道傳遞給識別器（對于人來說，識別器是大腦;對于計算機來說，識別器可能是程序模式或人工智能模塊），經(jīng)過識別后作出相關(guān)反應(yīng)的過程。早期的多模態(tài)交互研究多應(yīng)用于話語分析，話語分析從簡單的語言分析走向了對語音、表情、眼神、姿態(tài)等多種模態(tài)綜合分析的態(tài)勢，形成了基于多模態(tài)的話語分析研究[12]。

多模態(tài)交互是指參與交互的對象發(fā)出的語音、表情、眼神、體態(tài)、體溫等連續(xù)可表征的符號信息統(tǒng)稱，這些連續(xù)的表征符號信息是交往互動過程中參與者用于判斷、甄別、反應(yīng)的基礎(chǔ)。多模態(tài)交互研究是從多模態(tài)的價值被挖掘伊始就進行的，多模態(tài)本身含有大量的信息和被表征的符號，通過對多模態(tài)信息的分析[13]，可以判斷多模態(tài)源的狀態(tài)和心理活動等。多模態(tài)交互不僅局限于話語分析，隨著情報分析技術(shù)的進步，通過采集面部表情、語音音色變化、眼睛視點、體態(tài)等多模態(tài)信息進行綜合分析[14]，結(jié)合心理學(xué)相關(guān)方面的研究，實現(xiàn)了對多模態(tài)交互的診斷[15]和掌控。

多模態(tài)交互將過去教與學(xué)過程中的交互途徑細化，它能關(guān)切到交互過程中兩個對象或者多個對象的情感變化、真實意圖、注意力程度、理解偏差等，通過更加豐富的信息顆粒度綜合判斷交互過程中的情境變化，促進交互者之間的深度理解，實現(xiàn)有效交互[16]。這在傳統(tǒng)的交互過程中是不可能體現(xiàn)出來的，傳統(tǒng)教與學(xué)的交互更多地強調(diào)師生之間、學(xué)生之間等的宏觀性質(zhì)交互，例如通過語言、視聽等模式進行交互，課堂上的交互無外乎教師提問、學(xué)生回答;或者學(xué)生主動提問后教師進行回答的模式。遠程教育領(lǐng)域的互動更多的是進行在線提問，一般可以實現(xiàn)同步回答或異步回答，但往往體現(xiàn)于文本內(nèi)容上[17]。這種交互容易忽略主動交互者的情感、重點關(guān)注內(nèi)容、情境等，交互過程容易出現(xiàn)偏差或者誤解。

多模態(tài)交互分析屬于交叉學(xué)科概念，多模態(tài)交互分析是基于數(shù)據(jù)采集技術(shù)，將多種模態(tài)信息采集編碼，并結(jié)合大數(shù)據(jù)分析、學(xué)習(xí)分析、情感識別、情境感知等技術(shù)，聚合判斷交互情境中對象的生理、心理、認知、行為等方面的變化[18]，為教與學(xué)或社會互動提供深層次的理解，并為促進有效的教與學(xué)提供數(shù)據(jù)支持，以及進行決策判斷使用。它跨越了社會學(xué)、教育學(xué)、心理學(xué)等學(xué)科，自哈貝馬斯的交往行動理論[19]到交互學(xué)習(xí)理論[20]，再到心理學(xué)領(lǐng)域的交互分析理論[21]和班杜拉的社會學(xué)習(xí)理論[22]等，以及近年來備受關(guān)注的社會資本中提到的交往互動過程中的動機調(diào)用和互惠。遠程教育領(lǐng)域更為關(guān)注交互理論的發(fā)展，穆爾的交互自治理論、貝茨的雙向交流理論、基更的教學(xué)再整合理論、安德森的等效交互原理等得到了廣泛的研究和應(yīng)用，近年來遠程教育學(xué)方面也更加關(guān)注聯(lián)通主義學(xué)習(xí)理論的交互作用，認為連接即是學(xué)習(xí)[23]。這些涉及交互與學(xué)習(xí)方面的研究，奠定了基于信息化技術(shù)手段進行多模態(tài)交互學(xué)習(xí)分析的理論基礎(chǔ)和實踐方向。

三、混合學(xué)習(xí)的多模態(tài)交互分析

（一）混合學(xué)習(xí)的多模態(tài)交互特征

混合學(xué)習(xí)的價值在于，它是一種行之有效的教學(xué)方式，通過學(xué)習(xí)形式的轉(zhuǎn)換，促進學(xué)習(xí)資源、交互方式、教學(xué)方法、學(xué)習(xí)方式等聚合使用，讓學(xué)習(xí)者能深刻理解學(xué)習(xí)內(nèi)容，并將學(xué)習(xí)內(nèi)容轉(zhuǎn)化為個人知識儲備[24]。混合學(xué)習(xí)在交互過程中有教師與學(xué)生之間的交互;其次是教師與教學(xué)設(shè)備的交互，這些教學(xué)設(shè)備主要是教室中的電教設(shè)備，涉及投影、音響、網(wǎng)絡(luò)、計算機等;再者，學(xué)生與學(xué)習(xí)設(shè)備的交互也是重要的交互環(huán)節(jié)，學(xué)生使用網(wǎng)絡(luò)、投票答題器、交互白板等參與課堂互動與線上學(xué)習(xí)等;最后是學(xué)生與學(xué)生之間的交互，學(xué)生與學(xué)生之間的交互體現(xiàn)在分組活動、協(xié)作學(xué)習(xí)、問題討論、社會交往等方面，尤其是學(xué)生進行在線學(xué)習(xí)時的同伴陪同機制將有利于調(diào)動學(xué)生學(xué)習(xí)的積極性[25]。混合學(xué)習(xí)的多模態(tài)交互恰好發(fā)生于這四類交互當(dāng)中[26]，模態(tài)形式主要有文本、語音、視頻、圖片、圖像、語言、表情、眼神、體態(tài)、手勢、觸碰等（見表1），交互過程中的模態(tài)形式往往是多種模態(tài)組合出現(xiàn)，表現(xiàn)出多模態(tài)的特征。

混合學(xué)習(xí)的多模態(tài)交互也有其固有特征。線上線下相融合的混合學(xué)習(xí)本身具有跨越物理學(xué)習(xí)空間和網(wǎng)絡(luò)學(xué)習(xí)空間的特征[27]，多模態(tài)交互伴隨著混合學(xué)習(xí)的進行也同時發(fā)生于跨空間交互當(dāng)中，這是混合學(xué)習(xí)多模態(tài)交互的主要特征之一。此外，線上線下相融合的混合學(xué)習(xí)使得多模態(tài)交互具有同步與異步交互的特征;混合學(xué)習(xí)的多模態(tài)交互發(fā)生于不同的學(xué)習(xí)場景當(dāng)中，依賴于學(xué)習(xí)情境的變化而變化，多情境轉(zhuǎn)化也是混合學(xué)習(xí)多模態(tài)交互的特征之一[28]?；旌蠈W(xué)習(xí)多模態(tài)交互過程中參與的個體本身是有情感交流的，多模態(tài)信息中的表情、眼神、音色等都賦予了一定的情感特色，具身情感性也是混合學(xué)習(xí)多模態(tài)交互特征之一?；旌蠈W(xué)習(xí)多模態(tài)交互往往發(fā)生在特定的空間或場景中，本身可以被觀察和測量，大量的多模態(tài)信息被編碼成表征信息進行分析和判斷，多模態(tài)信息可表征也是其特征之一。

跨空間交互?；旌蠈W(xué)習(xí)多模態(tài)交互主要在線上的網(wǎng)絡(luò)學(xué)習(xí)空間和線下的物理學(xué)習(xí)空間進行，學(xué)生之間、教師與學(xué)生之間進行的交互行為也存在于社會生活空間中，尤其是社交行為，這充分體現(xiàn)了混合學(xué)習(xí)的多模態(tài)交互跨空間特征。

同步與異步交互并存。線上、線下相融合的混合學(xué)習(xí)過程中，普遍存在線上與線下的異步和同步學(xué)習(xí)現(xiàn)象，多模態(tài)交互便隨著這種同步與異步交互而發(fā)生。這種同步與異步交互具有一定的時效性和差異性，同步交互可以同時判斷多模態(tài)交互中個體的狀態(tài)和情緒、情感變化，異步交互如果不進行多模態(tài)交互分析，很難判斷交互者的情感狀態(tài)等的變化，這對交互是不利的，因此，在這種交互過程中，分析多模態(tài)交互信息將促進異步交互的良性發(fā)展。

多情境轉(zhuǎn)換?；旌蠈W(xué)習(xí)多模態(tài)交互依托于學(xué)習(xí)過程的多種學(xué)習(xí)情境中，多種學(xué)習(xí)情境的轉(zhuǎn)換使得多模態(tài)中的主要模態(tài)形式發(fā)生相關(guān)的變化，例如在教師講課模式中，多模態(tài)的主要形式是教師講課語音和相關(guān)課件等模態(tài)信息，到了分組討論的時候，多模態(tài)信息主要是學(xué)生交流的語言、表情、眼神變化等。

具身情感性?；旌蠈W(xué)習(xí)多模態(tài)交互過程更多的是人與人的交互，人的交互過程中臨場感與感情的涌現(xiàn)較為重要，尤其是學(xué)習(xí)情境中的臨場感能讓參與者涌現(xiàn)出豐富的情感表現(xiàn)，而這些情感表現(xiàn)可以通過分析體態(tài)、表情、眼神、聲音變化等多模態(tài)信息，掌握參與者的情感狀態(tài)、注意力集中程度等。

多模態(tài)信息可表征?；旌蠈W(xué)習(xí)過程中多模態(tài)信息具有可表征的特性，表情符號可以表征喜怒哀樂的個體情感狀態(tài)，聲音符號可以表征學(xué)習(xí)者的緊張與放松等狀態(tài)，體態(tài)符號可以表征學(xué)習(xí)者的生理舒適程度等信息?；诳杀槐碚鞯亩嗄B(tài)信息，可以綜合分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。

（二）混合學(xué)習(xí)的多模態(tài)交互價值及應(yīng)用

混合學(xué)習(xí)的多模態(tài)交互數(shù)據(jù)有著重要的應(yīng)用價值，混合學(xué)習(xí)過程中會發(fā)生大量的交互信息，通過數(shù)據(jù)采集技術(shù)對多模態(tài)信息采集編碼和表征，分析教與學(xué)各個交互環(huán)節(jié)，促進富有成效的教與學(xué)?；旌蠈W(xué)習(xí)的多模態(tài)交互分析主要圍繞其特征展開各環(huán)節(jié)的數(shù)據(jù)采集和抓取，通過分析在線學(xué)習(xí)過程中的多模態(tài)交互數(shù)據(jù)和線下課堂教與學(xué)活動中的多模態(tài)交互數(shù)據(jù)，為整個教與學(xué)的過程提供數(shù)據(jù)支持和評價參考。這些數(shù)據(jù)采集主要是圍繞多模態(tài)交互過程中的表情、視點、語音、手勢、姿態(tài)等個體線下交互數(shù)據(jù)，以及個體在線上產(chǎn)生的多模態(tài)交互數(shù)據(jù)，這些數(shù)據(jù)有文本、語音、視點、觸點等數(shù)據(jù)。綜合分析這些多模態(tài)數(shù)據(jù)，將有利于實現(xiàn)教與學(xué)過程的可視化、知識建構(gòu)路徑可選擇、用戶畫像分析、個性化學(xué)習(xí)、學(xué)習(xí)分析等[29]。當(dāng)前多模態(tài)交互的數(shù)據(jù)采集和分析技術(shù)已經(jīng)具備，主要通過攝像機和傳感器采集混合學(xué)習(xí)的過程數(shù)據(jù)。一方面是教師的教學(xué)數(shù)據(jù)、行為數(shù)據(jù)、交互數(shù)據(jù)等，另一方面是采集分析學(xué)生的行為數(shù)據(jù)、學(xué)習(xí)數(shù)據(jù)、社會交往數(shù)據(jù)、生理數(shù)據(jù)等。應(yīng)用相關(guān)的大數(shù)據(jù)分析和學(xué)習(xí)分析技術(shù)，并加載相關(guān)的人工智能模塊，實現(xiàn)表情識別、情緒識別、注意力集中程度判斷等功能[30]。目前混合學(xué)習(xí)的多模態(tài)交互分析主要應(yīng)用方面有用戶畫像分析、情境感知、個性化學(xué)習(xí)支持、語義感知網(wǎng)、學(xué)習(xí)診斷等。

學(xué)習(xí)者畫像分析。學(xué)習(xí)者畫像分析的主要功能是用來判斷學(xué)習(xí)者的學(xué)習(xí)習(xí)慣和評價學(xué)習(xí)者的知識儲備情況，并根據(jù)實際情況作出相關(guān)的學(xué)習(xí)方式或路徑設(shè)計，指導(dǎo)學(xué)習(xí)者進行有效的學(xué)習(xí)。混合學(xué)習(xí)多模態(tài)交互數(shù)據(jù)采集和分析，將更全面地、精準(zhǔn)地分析學(xué)習(xí)者的學(xué)習(xí)行為、習(xí)慣、特征、知識儲備等，而過去通常采用單一模態(tài)數(shù)據(jù)與心理測評，以及試卷測試等的結(jié)果對學(xué)習(xí)者進行畫像分析。

情境感知?；诙嗄B(tài)交互的情境感知分析，將為課堂教學(xué)提供實時的學(xué)習(xí)情況和學(xué)習(xí)者的學(xué)習(xí)情緒，判斷學(xué)習(xí)者是否注意力集中等，幫助教師合理動態(tài)調(diào)整相關(guān)的教學(xué)計劃和教學(xué)方式。教師通過關(guān)注教學(xué)過程中的實時情境感知數(shù)據(jù)，及時調(diào)整相關(guān)教學(xué)內(nèi)容和方法。

個性化學(xué)習(xí)支持。當(dāng)前混合教學(xué)課堂人數(shù)眾多，教師很難關(guān)注某一個體的學(xué)習(xí)情況，但通過大數(shù)據(jù)、人工智能、學(xué)習(xí)分析等技術(shù)實現(xiàn)多模態(tài)交互分析，判斷個體的學(xué)習(xí)情況和進展，及時提供相關(guān)數(shù)據(jù)給予支持，并將學(xué)習(xí)路徑優(yōu)化，支持每個個體的學(xué)習(xí)歷程可視化等，對學(xué)習(xí)者的學(xué)習(xí)進行學(xué)習(xí)診斷，實現(xiàn)學(xué)習(xí)者的個性化學(xué)習(xí)。

語義感知網(wǎng)。當(dāng)前語音識別技術(shù)的應(yīng)用，助力于混合學(xué)習(xí)的多模態(tài)交互分析，通過實時的語音識別技術(shù)轉(zhuǎn)譯教師和學(xué)生的語音，展示相關(guān)關(guān)鍵詞的知識圖譜，為學(xué)習(xí)者提供知識點概貌和導(dǎo)航等信息，同時，提供與語義有關(guān)的圖片、視頻、文本內(nèi)容等資料，進一步幫助學(xué)習(xí)者發(fā)散思維、拓展思路。

四、混合學(xué)習(xí)的多模態(tài)交互分析機制

（一）混合學(xué)習(xí)的多模態(tài)交互運行機理

混合學(xué)習(xí)的多模態(tài)交互分析主要關(guān)注教師和學(xué)生在教與學(xué)過程中產(chǎn)生的多模態(tài)信息，這些模態(tài)信息主要有表情、眼動、體溫、手勢、語音、體態(tài)、文本等。線下多模態(tài)交互更多的是教師、學(xué)生之間的面對面交流，而參與這些交互的多模態(tài)主要是以人的感官為主，多模態(tài)主要有表情、語音、體溫、手勢、體態(tài)、眼動。線上多模態(tài)交互過程主要體現(xiàn)為“人—機”交互，多模態(tài)主要有語音、文本、視頻、眼動、觸點（含鼠標(biāo)）、計算機日志等。

混合學(xué)習(xí)是一個復(fù)雜的學(xué)習(xí)方式，跨越線上、線下兩大系統(tǒng)來組織教與學(xué)。交互是混合學(xué)習(xí)在這種復(fù)雜環(huán)境中有效運行的核心要素之一，混合學(xué)習(xí)在跨越兩大系統(tǒng)的同時，又涉及空間、時間、知識建構(gòu)等基本要求，通過交互，使得混合學(xué)習(xí)各項要素和流程有效運行，并增強了混合學(xué)習(xí)的黏性。

混合學(xué)習(xí)的多模態(tài)交互促進教師與學(xué)生、學(xué)生之間有效交互和交流，促進知識的學(xué)習(xí)。混合學(xué)習(xí)的多模態(tài)交互的運行是在混合學(xué)習(xí)教學(xué)設(shè)計支持框架下進行的（如圖1所示），當(dāng)前混合學(xué)習(xí)的最大特點是依托于線上、線下兩個學(xué)習(xí)空間融合促進學(xué)習(xí)。在混合學(xué)習(xí)運行過程中，學(xué)生通過線上學(xué)習(xí)獲取學(xué)習(xí)資源，并與教師和學(xué)伴等進行溝通交流，而這一過程中教師也為學(xué)生提供了線上學(xué)習(xí)指導(dǎo)和學(xué)習(xí)范疇的界定，發(fā)揮著教師主導(dǎo)的作用，這時候?qū)W生更多的不是直接研讀線上學(xué)習(xí)資源，而是要盡快理解教師的意圖和目的以及布置的任務(wù)，才能最好地發(fā)揮網(wǎng)絡(luò)學(xué)習(xí)空間的功效。通過對教師線上活動多模態(tài)信息的抽取，表征給學(xué)生，讓學(xué)生理解教師的意圖，進而調(diào)動學(xué)生的學(xué)習(xí)能動性。線下的教與學(xué)是混合學(xué)習(xí)的核心環(huán)節(jié)，這樣的過程中教師需要了解學(xué)生的學(xué)習(xí)情況和理解程度，尤其是學(xué)生作為學(xué)習(xí)主體，教師必須要全面了解學(xué)生的基本情況。在線下交互過程中抽取學(xué)生的多模態(tài)信息，表征給教師，幫助教師掌握學(xué)生的學(xué)習(xí)狀態(tài)和基本情況，便于教師及時調(diào)整相關(guān)教學(xué)策略。整體看，混合學(xué)習(xí)的多模態(tài)交互過程需要不斷調(diào)節(jié)，而這種調(diào)節(jié)依賴于多模態(tài)信息的獲取和分析，通過調(diào)節(jié)交互幫助教師和學(xué)生充分理解各方的意圖，達到“教師主導(dǎo)—學(xué)生主體”[31]、以學(xué)生為中心的混合學(xué)習(xí)目標(biāo)。這些正是基于混合學(xué)習(xí)交互過程中的多模態(tài)數(shù)據(jù)的獲取與分析，并賦能于混合學(xué)習(xí)的反饋調(diào)節(jié)，實現(xiàn)了混合學(xué)習(xí)的多模態(tài)交互的妥善運行。

（二）混合學(xué)習(xí)的多模態(tài)交互分析機制

多模態(tài)交互的價值在于，分析其數(shù)據(jù)可以進行學(xué)習(xí)者畫像分析、情境感知、個性化學(xué)習(xí)支持、語義感知等。多模態(tài)交互依賴于互聯(lián)網(wǎng)技術(shù)支持的大數(shù)據(jù)分析、學(xué)習(xí)分析、模式識別、人臉識別、語音識別等在人工智能技術(shù)聚合下發(fā)揮出其應(yīng)有的價值和作用?；旌蠈W(xué)習(xí)的多模態(tài)分析是一個復(fù)雜的系統(tǒng)，它是一個觀測和分析多模態(tài)數(shù)據(jù)用于支持教與學(xué)的工具性系統(tǒng)。多模態(tài)分析系統(tǒng)主要由多模態(tài)采集系統(tǒng)、數(shù)據(jù)存儲和轉(zhuǎn)碼系統(tǒng)、多模態(tài)分析處理系統(tǒng)、數(shù)據(jù)可視化表征系統(tǒng)、環(huán)境感知和調(diào)節(jié)等系統(tǒng)構(gòu)成。多模態(tài)采集系統(tǒng)主要由多模態(tài)數(shù)據(jù)采集設(shè)備和存儲器構(gòu)成，涉及傳感器、攝像機、紅外成像儀、環(huán)境溫度計等設(shè)備，并由采集存儲設(shè)備等共同構(gòu)成了多模態(tài)采集系統(tǒng);多模態(tài)存儲和轉(zhuǎn)碼系統(tǒng)主要功能是負責(zé)將采集的多模態(tài)數(shù)據(jù)進行轉(zhuǎn)碼和存儲，由于多種模態(tài)信息數(shù)據(jù)信源不同，必須將不同模態(tài)的信息經(jīng)過數(shù)字化技術(shù)處理形成特定的編碼，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一;多模態(tài)分析處理系統(tǒng)主要是依托于大數(shù)據(jù)、心理學(xué)、人工智能、教育學(xué)等學(xué)科交叉促進實施表情識別、微表情、情境感知、語音識別、學(xué)習(xí)分析等;數(shù)據(jù)可視化表征系統(tǒng)的主要職責(zé)是將多模態(tài)分析后的結(jié)果通過可視化技術(shù)表達出來，以通俗易懂的圖標(biāo)和語言將這些分析結(jié)果和指導(dǎo)教與學(xué)的方法提供給教師和學(xué)生，讓他們盡快調(diào)整狀態(tài)和方法，改進教與學(xué)的方式或方法，進而提升教與學(xué)的成效;環(huán)境感知和調(diào)節(jié)系統(tǒng)的主要任務(wù)是負責(zé)將多模態(tài)分析的結(jié)果和提供的改進方法等轉(zhuǎn)達給教師和學(xué)生，通過智慧學(xué)習(xí)環(huán)境中控系統(tǒng)調(diào)節(jié)教學(xué)環(huán)境的舒適度、空間物理設(shè)備等。多模態(tài)交互分析的主要流程為數(shù)據(jù)采集、加工與篩選、數(shù)據(jù)分析、數(shù)據(jù)表征可視化、反饋調(diào)節(jié)。

綜合分析了混合學(xué)習(xí)多模態(tài)交互的運行模式和各系統(tǒng)的主要任務(wù)和職能以及工作流程后，不難看出混合學(xué)習(xí)的多模態(tài)交互分析機制（如圖2所示）?；旌蠈W(xué)習(xí)的多模態(tài)交互主要是關(guān)注學(xué)習(xí)者、教師、環(huán)境三者之間的交互過程產(chǎn)生的多模態(tài)交互數(shù)據(jù)，這些多模態(tài)數(shù)據(jù)主要有表情、語音、體溫、手勢、體態(tài)、文本、視頻、眼動、日志等模態(tài)。然后通過多種信息技術(shù)設(shè)備將各類模態(tài)數(shù)據(jù)采集起來，例如通過壓敏傳感器采集力度數(shù)據(jù);通過溫度感知傳感器采集參與者的體溫變化數(shù)據(jù);通過紅外成像設(shè)備感知參與者面部的精細變化;通過攝像機采集圖像數(shù)據(jù)等，也有研究建議通過便攜腦電設(shè)備采集腦波模態(tài)數(shù)據(jù)。采集后的數(shù)據(jù)經(jīng)過特殊的編碼技術(shù)處理，轉(zhuǎn)化為可用于分析的數(shù)字化數(shù)據(jù)，然后通過大數(shù)據(jù)分析、學(xué)習(xí)分析等技術(shù)，并結(jié)合人工智能的應(yīng)用，例如表情識別、語音識別、情境感知等技術(shù)，聚合進行多模態(tài)交互分析。最后通過可視化表征技術(shù)，將分析得到的結(jié)果經(jīng)過儀表盤反饋給教師、學(xué)生和可控的智慧學(xué)習(xí)環(huán)境等，幫助教師和學(xué)生及時調(diào)整教與學(xué)的方法。

五、混合學(xué)習(xí)交互的優(yōu)化策略

（一）混合學(xué)習(xí)的多模態(tài)交互分析難點

混合學(xué)習(xí)的多模態(tài)交互分析的運行系統(tǒng)是一個規(guī)則系統(tǒng)，有其運行流程，整個流程操作起來會發(fā)現(xiàn)各個環(huán)節(jié)均有可能出現(xiàn)影響分析結(jié)果的問題?；旌蠈W(xué)習(xí)的多模態(tài)交互分析要經(jīng)過數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析、數(shù)據(jù)表征和可視化、反饋調(diào)節(jié)等流程。數(shù)據(jù)采集主要是采集學(xué)習(xí)者、教師、設(shè)備等的多模態(tài)數(shù)據(jù)，采集數(shù)據(jù)又分為線上、線下兩類，每個類別中分別有不同模態(tài)的數(shù)據(jù)，這對多模態(tài)分析的技術(shù)要求較高，在沒有互聯(lián)網(wǎng)、大數(shù)據(jù)分析、人工智能、云計算等技術(shù)的支持下，是很難進行此類分析的;在多模態(tài)交互數(shù)據(jù)分析的過程中，又要使用多種新興技術(shù)，并且這些新興技術(shù)要聚合與協(xié)同使用，技術(shù)一旦出現(xiàn)偏差或故障，將造成整個系統(tǒng)的誤差，引發(fā)“蝴蝶效應(yīng)”的出現(xiàn)。具體難點如下：

（1）技術(shù)壁壘。多種技術(shù)聚合使用，通用路由和標(biāo)準(zhǔn)有待界定，技術(shù)合理性一般需要因地制宜，尤其是混合學(xué)習(xí)的多模態(tài)交互分析過程中，采集數(shù)據(jù)、分析數(shù)據(jù)、數(shù)據(jù)清洗、數(shù)據(jù)存儲、數(shù)據(jù)表征等環(huán)節(jié)對技術(shù)要求較高。從采集數(shù)據(jù)開始，數(shù)據(jù)采集的顆粒度、精準(zhǔn)程度決定后面分析工作的進展和效果;再到數(shù)據(jù)分析技術(shù)的使用，大數(shù)據(jù)和學(xué)習(xí)分析技術(shù)的應(yīng)用，這對數(shù)據(jù)挖掘要求較高，尤其是能從多種模態(tài)的數(shù)據(jù)中挖掘出有深度、有價值的信息是當(dāng)前大數(shù)據(jù)分析和學(xué)習(xí)分析的技術(shù)難點，復(fù)雜程度較高;最后在數(shù)據(jù)表征方面，數(shù)據(jù)表征的目的就是讓普通人理解相關(guān)數(shù)值和多模態(tài)參數(shù)的含義，需要降維處理，減少認知負荷等。

（2）教師信息化教學(xué)設(shè)計能力不足和對新技術(shù)應(yīng)用理解不夠。當(dāng)前很多學(xué)校都采用了高端的教育信息化設(shè)備，但是必須要確保教師能準(zhǔn)確和有效地使用這些設(shè)備。此外，教師在教與學(xué)的過程中，有待打破傳統(tǒng)的教學(xué)設(shè)計思維，教學(xué)設(shè)計和課程管理已經(jīng)發(fā)生了變化，教學(xué)設(shè)計各個環(huán)節(jié)理應(yīng)考慮教育信息化的應(yīng)用和作用，同時，課程管理過程中有多模態(tài)分析作為支撐，教與學(xué)過程中理應(yīng)及時調(diào)整相關(guān)狀態(tài)和方法;最后，教育信息化過程中，很多新興技術(shù)融入了學(xué)校教育，產(chǎn)生了大量的新名詞、新參數(shù)、新教法等，這對教師采用教育信息化技術(shù)組織教與學(xué)的活動帶來了挑戰(zhàn)，恐怕教師對新技術(shù)名詞、新參數(shù)、新教法等理解不夠到位，造成教與學(xué)過程中教育信息化技術(shù)設(shè)備不能發(fā)揮出其應(yīng)有的功效，甚至適得其反。

（3）學(xué)生運用信息技術(shù)學(xué)習(xí)的素養(yǎng)不足。當(dāng)前很多學(xué)生都屬于“數(shù)字土著”一代，他們運用信息技術(shù)進行各項活動的能力較強;即使不是“數(shù)字土著”一代，經(jīng)過多年的信息技術(shù)使用和熏陶，他們也具備了使用信息技術(shù)進行生活和社會交往的能力。但是，學(xué)生運用信息技術(shù)學(xué)習(xí)的素養(yǎng)卻不見得足夠。互聯(lián)網(wǎng)時代的學(xué)習(xí)方式和方法均發(fā)生了深刻的變化，尤其是網(wǎng)校、教育APP等依托于互聯(lián)網(wǎng)出現(xiàn)的教育載體，在逐漸迎合學(xué)生學(xué)習(xí)和生活習(xí)慣的同時，也在改變他們的認知方式，倒逼學(xué)習(xí)者發(fā)生互聯(lián)網(wǎng)學(xué)習(xí)認知現(xiàn)象?；ヂ?lián)網(wǎng)學(xué)習(xí)認知要求學(xué)習(xí)者具有一定的運用信息化手段學(xué)習(xí)的素養(yǎng)，培養(yǎng)一個人學(xué)會和養(yǎng)成一種持續(xù)學(xué)習(xí)的素養(yǎng)要經(jīng)歷幾年甚至十幾年。

（4）師生情感表達差異。師生之間的年齡差異較大，這種年齡差異造成的情感表達差異也會明顯存在，混合學(xué)習(xí)的多模態(tài)交互分析有待衡量年齡差異造成的情感分析困難，尤其是人生經(jīng)歷豐富和善于情感隱晦的教師，往往在表情識別方面給多模態(tài)分析帶來一定的不確定性;另外，師生之間的代溝問題容易造成交流溝通上的鴻溝，這對多模態(tài)分析帶來了挑戰(zhàn)。

（二）優(yōu)化策略

造成這些困難的原因主要來自內(nèi)部和外部。內(nèi)部調(diào)整主要是圍繞混合學(xué)習(xí)的多模態(tài)交互分析系統(tǒng)的技術(shù)路線改造進行，盡量減少噪音干擾和技術(shù)復(fù)雜程度;在外部層面，強化教師和學(xué)生對信息化技術(shù)應(yīng)用培訓(xùn)，增強他們對教育信息化的適應(yīng)能力，以及強化他們的信息化學(xué)習(xí)素養(yǎng);同時，改造教與學(xué)的環(huán)境，使得教與學(xué)的環(huán)境便于學(xué)習(xí)交互等。

（1）減少混合學(xué)習(xí)的多模態(tài)分析鏈路，強化新興技術(shù)的聚合使用?；旌蠈W(xué)習(xí)的多模態(tài)分析是一個復(fù)雜過程，涉及的流程較長，尤其是多個流程都涉及轉(zhuǎn)換和分析，環(huán)環(huán)相扣，對于這種具有節(jié)點性質(zhì)轉(zhuǎn)換的數(shù)據(jù)分析，容易造成誤差，而誤差又具有傳導(dǎo)性質(zhì)，類似于“蝴蝶效應(yīng)”，一旦開始出現(xiàn)了誤差，分析結(jié)果的誤差將可能被無限放大，最終結(jié)果就是造成全局失誤。因此，盡量減少混合學(xué)習(xí)的多模態(tài)分析節(jié)點，應(yīng)用多種新興技術(shù)促進分析方式的聚合與協(xié)同。尤其是近年來人工智能引領(lǐng)的智能技術(shù)應(yīng)用，混合學(xué)習(xí)的多模態(tài)數(shù)據(jù)采集階段直接可以進行表情識別、情感分析、情緒診斷、注意力分析等，將多模態(tài)分析中的采集與分析聚合在源頭。

（2）將物聯(lián)網(wǎng)技術(shù)融入混合學(xué)習(xí)環(huán)境當(dāng)中，拓展獲取多模態(tài)信息的途徑。多模態(tài)分析的優(yōu)勢就在于能通過獲取多種模態(tài)信息分析混合學(xué)習(xí)過程中教與學(xué)存在的問題和學(xué)習(xí)程度等，為了提高分析的準(zhǔn)確性和精準(zhǔn)程度，一方面加大采集多模態(tài)信息的顆粒度，另一方面擴展多模態(tài)信息的信源。采用物聯(lián)網(wǎng)傳感技術(shù)，采集以往采集不到的生理模態(tài)數(shù)據(jù)、行為模態(tài)數(shù)據(jù)、微表情等微觀模態(tài)數(shù)據(jù)等，增加可供分析的信源，進而提高可分析數(shù)據(jù)的準(zhǔn)確性。

（3）強化對教師和學(xué)生的信息化學(xué)習(xí)能力培養(yǎng)，增強他們的信息化領(lǐng)導(dǎo)力和學(xué)習(xí)力。強化對教師和學(xué)生的信息化學(xué)習(xí)能力培養(yǎng)，一方面加強對教師使用教育信息化設(shè)備培訓(xùn)的力度，另一方面給學(xué)生開設(shè)相關(guān)課程，教學(xué)生如何利用信息化資源進行相關(guān)的學(xué)習(xí)，以及參與教學(xué)活動等。同時，信息化領(lǐng)導(dǎo)力是教師組織教學(xué)和學(xué)生參與學(xué)習(xí)的一種良好能力，加強對教師和學(xué)生的信息化領(lǐng)導(dǎo)力培養(yǎng)，主要通過開設(shè)相關(guān)課程、組織實踐活動、進行校內(nèi)外經(jīng)驗分享等方式進行。

（4）創(chuàng)建混合學(xué)習(xí)專用教學(xué)環(huán)境或教室，強化教與學(xué)過程中的交互友好性。混合學(xué)習(xí)的教與學(xué)模式已經(jīng)得到了廣泛認可，因為這種教與學(xué)的模式能有效促進教學(xué)氛圍融洽并形成良好的師生關(guān)系。當(dāng)前，大多數(shù)采用混合學(xué)習(xí)的課程均在傳統(tǒng)教室內(nèi)進行，這種教室配置對于采集多模態(tài)數(shù)據(jù)帶來了一定的挑戰(zhàn)和困難，今后有條件的地區(qū)可以構(gòu)建適用于混合學(xué)習(xí)的智慧學(xué)習(xí)教室，用于組織混合學(xué)習(xí)。混合學(xué)習(xí)專用教室的最大特點是便于師生進行實時溝通交流，能減少學(xué)生的緊張感和壓迫感，促進學(xué)生盡快進入相關(guān)的學(xué)習(xí)角色。

六、總結(jié)與展望

混合學(xué)習(xí)的多模態(tài)交互分析依賴于新興技術(shù)的支持，實現(xiàn)實時的表情識別、情境感知、情感計算、注意力集中程度分析、情緒診斷、學(xué)習(xí)力分析、認知差異分析等，這為實現(xiàn)大規(guī)模個性化學(xué)習(xí)提供了支撐和保障，也是在教學(xué)過程中解放教師，為教師更好地設(shè)計和組織教與學(xué)活動提供了便利。教師和學(xué)生可以根據(jù)混合學(xué)習(xí)的多模態(tài)分析所提供的教與學(xué)實時數(shù)據(jù)，對當(dāng)前學(xué)習(xí)情況進行診斷和評價，及時調(diào)整相關(guān)的學(xué)習(xí)策略和方法，改進學(xué)習(xí)方式，實現(xiàn)有效的教與學(xué)。隨著人工智能技術(shù)的進步和發(fā)展，會有更多便捷的多模態(tài)分析技術(shù)誕生，也期待更多研究者關(guān)注多模態(tài)分析的教育應(yīng)用，從而促進我國教育信息化良性發(fā)展。

[參考文獻]

[1] LAHAT D，ADALI T， JUTTEN C. Multimodal data fusion：an overview of methods，challenges，and prospects[J].Proceedings of the IEEE，2015（9）：1449-1477.

[2] KRESS，VAN LEEUWEN T.Multimodal discourse： the modes and media of contemporary communication[M]. London： Arnold Press，2001：20-22.

[3] JEWITT C.The routledge handbook of multimodal analysis[M].London and New York： Routledge，2009：14-24.

[4] 張琪，武法提.學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動與多模態(tài)技術(shù)應(yīng)用前瞻[J].電化教育研究，2016（9）：76-81，109.

[5] COHN N.A multimodal parallel architecture： a cognitive framework for multimodal interactions[J].Cognition，2016（146）：304-323.

[6] FENG D W. Metonymy and visual representation： towards a social semiotic framework of visual metonymy[J]. Visual communication， 2017， 16（4）：441-466.

[7] 祝智庭，俞建慧，韓中美，等.以指數(shù)思維引領(lǐng)智慧教育創(chuàng)新發(fā)展[J].電化教育研究，2019（1）：5-16，32.

[8] JEWITT C. Multimodality and literacy in school classrooms[J].Review of research in education，2008（32）：241-267.

[9] 黃榮懷.人工智能在教育有多少潛能可挖[N].中國教育報，2018-01-13（03）.

[10] 百度百科.交互[EB/OL].[2019-01-01].https：//baike.baidu.com/item/交互/6964417？fr=Aladdin.

[11] 田陽，馮銳.社會資本理論視域下MOOC課堂互動策略分析[J].中國電化教育，2014（9）：59-66.

[12] O'MALLEY J M， CHAMOT A U. Language learning strategies in second language acquisition[M]. Cambridge： Cambridge University Press，1990.

[13] LEE E， LIU X， ZHANG X. Xdigit： an arithmetic kinect game to enhance math learning experiences[J]. Retrieved February， 2012（14）： 2013.

[14] 宋愛國，田磊，倪得晶，等.多模態(tài)力觸覺交互技術(shù)及應(yīng)用[J].中國科學(xué)：信息科學(xué)，2017， 47（9）：1183-1197.

[15] 龍宇飛，趙璞.大學(xué)英語聽力教學(xué)中元認知策略與多模態(tài)交互研究[J].外語電化教學(xué)， 2009（4）：58-62，74.

[16] GU Y.Learner emotion in classroom： a multimodal corpus linguistics approach[R]. Plenary speech at the magic of innovation： new techniques and technologies in language teaching. Russia： MGIMO University，2015.

[17] 桑新民.學(xué)習(xí)科學(xué)與技術(shù)[M].北京：高等教育出版社，2003.

[18] ANDRADE A. Understanding student learning trajectories using multimodal learning analytics within an embodied-interaction learning environment[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference. Vancouver，British Columbia，Canada：ACM，2017：70-79.

[19] 王曉升.現(xiàn)代性視角下的社會整合問題——哈貝馬斯交往行動理論的啟示[J].武漢大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2018（6）：71-78.

[20] 陳麗.遠程學(xué)習(xí)中的信息交互活動與學(xué)生信息交互網(wǎng)絡(luò)[J].中國遠程教育，2004（5）：15-19，78.

[21] 孫穎，段琪.交互分析理論對改善人際交往困惑的應(yīng)用[J].心理與行為研究，2011（2）：147-153.

[22] REED M， EYELY A C， CUDILL G. What is social learning[J]. Ecology and society， 2010，15（4）：299-305.

[23] 王志軍，陳麗.聯(lián)通主義學(xué)習(xí)的教學(xué)交互理論模型建構(gòu)研究[J].開放教育研究，2015（5）：25-34.

[24] 田陽，杜靜，黃榮懷.面向混合學(xué)習(xí)的學(xué)習(xí)與社交協(xié)同策略探究[J].中國電化教育，2018（5）：8-14.

[25] PORTER W W，GRAHAM C R，SPRING K A，et al. Blended learning in higher education：institutional adoption and implementation[J]. Computers & education，2014（3）：185-195.

[26] DELIALIOGLO O.Student engagement in blended learning environments with lecture-based and problem-based instructional approaches[J].Journal of educational technology & society，2016（3）：310-322.

[27] 穆肅，溫慧群.適應(yīng)學(xué)生的學(xué)習(xí)——不同復(fù)雜度的混合學(xué)習(xí)設(shè)計與實施[J].開放教育研究，2018（6）：60-69.

[28] 牟智佳，李雨婷，嚴大虎.混合學(xué)習(xí)環(huán)境下基于學(xué)習(xí)行為數(shù)據(jù)的學(xué)習(xí)預(yù)警系統(tǒng)設(shè)計與實現(xiàn)[J].遠程教育雜志，2018（3）：55-63.

[29] 余勝泉.人工智能教師的未來角色[J].開放教育研究，2018（1）：16-28.

[30] 黃榮懷，劉德建，劉曉琳，等.互聯(lián)網(wǎng)促進教育變革的基本格局[J].中國電化教育，2017（1）：7-16.

[31] 何克抗.從Blending Learning看教育技術(shù)理論的新發(fā)展（上）[J].電化教育研究，2004（3）：1-6.

[Abstract] "Internet + education" promotes the practical application of blended learning. Blended learning integrates physical space， social space， resource space， etc.， which makes the internal mechanism of learning interaction become one of the main topics in academia. This research team tries to reveal the intrinsic mechanism of blended learning interaction from the perspective of multimodal analysis. Through the analysis of the multimodal interaction features of blended learning， the features are summarized as cross-space interaction， synchronous and asynchronous interaction， multi-situational transformation， physical emotion， characterization and so on. Combined with the rules of blended learning， it is found that in the multimodal interaction of blended learning， the multimodal information can be represented and extracted. Moreover， the main processes of multimodal interaction analysis are data acquisition， processing and screening， data analysis， data characterization visualization， feedback adjustment， etc. After the multimodal interaction information is visualized， the results are fed back to teachers and students through the dashboard to help them adjust teaching and learning methods in time and promote the optimization strategy of multimodal interaction in blended learning.

[Keywords] Multimodal; Blended Learning; Multimodal Interaction Analysis; Learning Analytics; Optimization Strategy