基于MR實驗的“多模態(tài)+人機協(xié)同”教學(xué)及應(yīng)用探索*

陸吉健 周美美 張 霞 何晚晴 張明敏

（1.杭州師范大學(xué) 經(jīng)亨頤教育學(xué)院，浙江杭州 311121；2.杭州師范大學(xué) 物理學(xué)院，浙江杭州 311121；3.浙江大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，浙江杭州 310012）

一、問題的提出

在新一代智能技術(shù)的影響與支持下，對當下學(xué)習(xí)者學(xué)習(xí)過程的研究，已經(jīng)從原先的較為單一模態(tài)的觀察與因果分析，進入到多感官交互數(shù)據(jù)的采集、清洗與分析階段，并借助于計算機視覺、傳感器、深度學(xué)習(xí)建模與學(xué)習(xí)分析等技術(shù)，能夠通過學(xué)習(xí)者的視覺、聽覺、觸覺、嗅覺等感官系統(tǒng)與學(xué)習(xí)空間/環(huán)境的交互等多重數(shù)據(jù)，從而建構(gòu)起對學(xué)習(xí)者信息的精準、完整的理解[1]。

近年來，新技術(shù)的不斷革新與應(yīng)用，正帶來學(xué)習(xí)空間、學(xué)習(xí)場所的重構(gòu)與融合，其中以虛擬現(xiàn)實技術(shù)、仿真技術(shù)、傳感技術(shù)、3D打印技術(shù)等為代表。尤其是混合現(xiàn)實（Mixed Reality，MR）等技術(shù)在教學(xué)中的廣泛應(yīng)用，開啟了課堂教學(xué)新一輪的交互式革命[2]。當前，很多中小學(xué)也已經(jīng)結(jié)合智慧學(xué)習(xí)空間、智能學(xué)習(xí)平臺和智能課堂軟硬件等，開展人機協(xié)同課堂教學(xué)的探索[3]。新技術(shù)、新場所、新體驗，正共同構(gòu)建起一種全新的“多模態(tài)＋人機協(xié)同”教學(xué)方式。

根據(jù)現(xiàn)有文獻，目前中小學(xué)課堂中應(yīng)用虛擬現(xiàn)實（Virtual Reality，VR）、增強現(xiàn)實（Augmented Reality，AR）進行學(xué)科教學(xué)的探索已經(jīng)很多，但基于 MR開展實驗教學(xué)，同時聚焦視覺、聽覺和觸覺等多模態(tài)數(shù)據(jù)表征，從而建構(gòu)“多模態(tài)+人機協(xié)同”新教學(xué)方式的研究還比較稀缺。我們認為，這種研究更加有利于借助多維數(shù)據(jù)，來精確感知學(xué)習(xí)過程，能更加深入地理解與分析學(xué)習(xí)者[4]，為學(xué)習(xí)發(fā)生機理的探索提供新的視角。與此同時，還有利于將學(xué)習(xí)者分析的重心由行為、互動、結(jié)果等外部因素，逐漸趨向關(guān)注學(xué)習(xí)者大腦認知、情感體驗、創(chuàng)新性思維能力等內(nèi)部因素[5]。

那么，基于課堂MR實驗的“多模態(tài)+人機協(xié)同”教學(xué)，具有怎樣的交互形式及其數(shù)據(jù)特征？對于一線教師來說，該如何開展和評價？“多模態(tài)+人機協(xié)同”教學(xué)的未來發(fā)展趨勢又將會是怎樣的？針對這些問題，本研究基于課堂MR 準實驗，具體闡述并展示了面向MR實驗的“多模態(tài)+人機協(xié)同”的內(nèi)涵與過程，并初步構(gòu)建“多模態(tài)+人機協(xié)同”的教學(xué)方式，以期為后續(xù)相關(guān)研究提供一些借鑒。

二、“多模態(tài)+人機協(xié)同”教學(xué)研究

（一）多模態(tài)教學(xué)研究

多模態(tài)教學(xué)是21世紀初提出的概念，它是20世紀80-90年代多媒體教學(xué)的一種迭代，是大數(shù)據(jù)+智能技術(shù)的產(chǎn)物。其強調(diào)智能技術(shù)融入教學(xué)過程中多模態(tài)信息的作用，即多模態(tài)能夠使感覺信息進入到多樣的符號編碼中，并且提供了通過不同途徑理解信息的機會[6]。例如，視覺媒介和語言媒介不是簡單代表相同事物的替代方式，而是共同作用于信息傳遞的過程中[7]。多模態(tài)不但以不同的方式傳遞信息，而且兼具這些不同呈現(xiàn)方式的交互性。在研究多模態(tài)教學(xué)之前，很多學(xué)者已經(jīng)對多媒體教學(xué)進行了大量的研究，如，闞士剛利用多媒體教學(xué)把數(shù)形結(jié)合思想融入在初中數(shù)學(xué)教學(xué)中，并進行了實驗研究[8]；孟紅在小學(xué)數(shù)學(xué)課堂中為引入投影提供了新的方式[9]?？梢?，為了豐富課堂教學(xué)內(nèi)容、提升課堂教學(xué)效率，教師運用多媒體教學(xué)設(shè)備，將這些信息資源進行整合和規(guī)劃，制作成詳細的教學(xué)材料、課件等，供學(xué)生查閱、學(xué)習(xí)，促進了信息技術(shù)融入課堂后教學(xué)效率的提高，并促使教師教學(xué)水平的提升。

近年來，隨著人工智能（AI）+信息技術(shù)的不斷發(fā)展與大量應(yīng)用，多模態(tài)教學(xué)已廣泛應(yīng)用于各類學(xué)校教育當中。所謂多模態(tài)教學(xué)，是指教師在課堂教學(xué)中運用教材、數(shù)字化教學(xué)資源以及通過傳感、智能視頻、電腦顯示器等所呈現(xiàn)的視覺的、語言的和其它模態(tài)信息，來分析與幫助學(xué)生的發(fā)展，提高其信息獲取等素養(yǎng)[10]。模態(tài)本身是一種客觀存在的、可表征的符號系統(tǒng)，例如，人的聲音、表情、手勢等[11]，以及設(shè)備產(chǎn)生的聲音、影像等?？死姿梗℅.Kress）等人將“多模態(tài)”定義為是“借助至少兩種以上符號模態(tài)的使用，以促進人類感官與外界環(huán)境發(fā)生交互的符號系統(tǒng)產(chǎn)生[12]”。目前，多模態(tài)教學(xué)研究所涉及的多模態(tài)信息，主要來源于教師多模態(tài)教學(xué)信息、基于教學(xué)設(shè)備的多模態(tài)輔助教學(xué)信息以及教師和教學(xué)設(shè)備之間的多模態(tài)混合教學(xué)信息這三類。

在教師多模態(tài)教學(xué)信息方面，主要是指將教師的聲音、表情、手勢、肢體動作等，均視為教師的教學(xué)行為話語。例如，Royce 研究了不同符號在多模態(tài)話語中的互補性，以及在第二語言課堂教學(xué)中多模態(tài)的協(xié)同性等[13]。張德祿則更進一步對比了不同外語教學(xué)的案例，探討在實際教學(xué)過程中，不同模態(tài)之間的相互協(xié)同、共同實現(xiàn)教學(xué)目標的過程[14]。在教學(xué)設(shè)備的多模態(tài)輔助教學(xué)信息方面，目前則還主要是智能機器人輔助教學(xué)，也就是機器人與人之間通過文字、語音、動作等進行的教學(xué)交互[15]。在教師和教學(xué)設(shè)備之間的多模態(tài)混合教學(xué)信息方面，朱維特（C.Jewitt）就觀察了教師使用交互白板時，對節(jié)奏、多模態(tài)和互動性的資源分配，分析了互動白板語言設(shè)計和教學(xué)原則，探討課堂教學(xué)中多模態(tài)讀寫教學(xué)方法和現(xiàn)代信息技術(shù)之間的關(guān)系[16]。

（二）人機協(xié)同教學(xué)研究

人機協(xié)同教學(xué)，是近年來隨著“AI+教育”發(fā)展所提出的新概念，也是“AI+教育”應(yīng)用的必然結(jié)果。通常表現(xiàn)為通過師生和智能設(shè)備的協(xié)同、交互等，來開展各種教學(xué)活動。人機協(xié)同教學(xué)，在廣義上指的是新型 “雙師課堂”的各要素在教與學(xué)的過程中，協(xié)調(diào)完成教學(xué)目標，實現(xiàn)學(xué)習(xí)內(nèi)容、學(xué)習(xí)活動、教學(xué)活動與學(xué)習(xí)時空之間的互通與融合；在狹義上，則主要指教師與人工智能教育機器人在新型“雙師課堂”中的協(xié)作配合[17]。換言之，在人機協(xié)同教學(xué)中，“人”指教師、學(xué)生等多種類型的教育主體，“機”是指技術(shù)中的軟、硬件等相關(guān)設(shè)備。按照機器的軟硬件分類，其實還可以進一步分類為軟件輔助下的人機協(xié)同教學(xué)、軟硬件混合輔助下的人機協(xié)同教學(xué)這兩類。后者的硬件部分，也會按照軟件來輔助開展人機協(xié)同教學(xué)。

在軟件輔助下的人機協(xié)同教學(xué)方面，已有人機協(xié)同寫作教學(xué)和數(shù)學(xué)教學(xué)等研究，主要是師生和智能寫作評語平臺以及智能作業(yè)評閱平臺等的協(xié)同。在人機協(xié)同寫作教學(xué)方面，國外緣起于20世紀 60年代開始的作文自動化評閱研究[18]。近年來，黃濤等人進一步將人機協(xié)同教學(xué)應(yīng)用于小學(xué)語文寫作當中，通過人機合理分工，充分發(fā)揮智能機器便捷化采集與高性能計算優(yōu)勢，賦能學(xué)業(yè)數(shù)據(jù)智能診斷分析與推薦[19]。在人機協(xié)同數(shù)學(xué)教學(xué)方面，高瓊、陸吉健等建構(gòu)了包含教師智慧、機器智能、協(xié)同教學(xué)和學(xué)生智慧等要素的人機協(xié)同課堂教學(xué)模式，并結(jié)合智能作業(yè)評閱平臺和課堂師生情緒識別軟硬件等，開展了初中數(shù)學(xué)教學(xué)的實踐探索[20]。在軟硬件混合輔助下的人機協(xié)同教學(xué)方面，人機協(xié)同教學(xué)的人工智能教育機器人，主要在精準分析學(xué)生認知和行為模式的基礎(chǔ)上，結(jié)合復(fù)雜情境與情緒識別，給學(xué)生提供個性化的指導(dǎo)，與教師協(xié)同完成課堂教學(xué)。比如，汪時沖等人研究了人工智能教育機器人支持下的“雙師課堂”模式，提出人工智能教育機器人作為課堂中的另一名“教師”，不僅需提供數(shù)據(jù)支持，還要承擔部分教學(xué)任務(wù)；而教師則著重開展“育人”教學(xué)活動，以培養(yǎng)和提升自己與學(xué)生“人機協(xié)同”的意識和能力[21]。

（三）“多模態(tài)+人機協(xié)同”教學(xué)研究

“多模態(tài)+人機協(xié)同”，意味著人和智能設(shè)備之間多模態(tài)信息的互動與協(xié)同。而“多模態(tài)+人機協(xié)同”教學(xué)，它賦予了師生和智能設(shè)備在教學(xué)實踐中多模態(tài)信息的協(xié)同傳輸，從而提高教學(xué)的效率和效果。

一方面，我們從一般教學(xué)理論和實踐來審視，多模態(tài)教學(xué)領(lǐng)域中的教師和教學(xué)設(shè)備的多模態(tài)混合教學(xué)，以及軟硬件混合輔助下的人機協(xié)同教學(xué)，都已經(jīng)有研究涉及。比如，教師和教學(xué)設(shè)備的多模態(tài)混合教學(xué)，朱維特對教師使用交互白板的教學(xué)過程研究[22]，就是比較初級層面的“多模態(tài)+人機協(xié)同”教學(xué)。只是交互白板所呈現(xiàn)的人工智能技術(shù)還不夠成熟，互動白板的功能也還不夠全面，因此，難以上升與提煉到“多模態(tài)+人機協(xié)同”教學(xué)概念的層面。隨著科學(xué)技術(shù)、人工智能在教育領(lǐng)域應(yīng)用研究的不斷發(fā)展，“多模態(tài)+人機協(xié)同”教學(xué)被賦予新的時代意蘊和領(lǐng)域特征。當下的“多模態(tài)+人機協(xié)同”教學(xué)，我們可以理解為是多模態(tài)教學(xué)和人機協(xié)同教學(xué)的交叉融合，它會隨著智能技術(shù)的發(fā)展而呈現(xiàn)越來越多的應(yīng)用場景。

另一方面，我們從人工智能和虛擬現(xiàn)實等技術(shù)所賦能的教育過程來審視。近年來，在“AI+教育”場域下，數(shù)智融合越來越成為實現(xiàn)精準化教學(xué)、科學(xué)化評價教育的根本推動力?；?AI、虛擬現(xiàn)實、傳感器、物聯(lián)網(wǎng)等技術(shù)，采集教學(xué)場所、學(xué)習(xí)空間中的學(xué)生學(xué)習(xí)數(shù)據(jù)等，越來越成為現(xiàn)實。所以，人機協(xié)同教學(xué)領(lǐng)域，也將逐漸趨向“多模態(tài)+人機協(xié)同”教學(xué)領(lǐng)域拓展。例如，在軟硬件混合輔助下的人機協(xié)同教學(xué)，汪時沖等人所研究的人工智能教育機器人支持下的“雙師課堂”構(gòu)建模式[23]，其實已是一種中級層次的“多模態(tài)+人機協(xié)同”教學(xué)。其所提出的人工智能教育機器人作為課堂中的另一名“教師”，承擔部分教學(xué)任務(wù)，就已經(jīng)包括了語音、圖像等多個模態(tài)的信息輸出；與此同時，該模式中也還有教師更加豐富的“育人”教學(xué)多模態(tài)信息輸出。因此可以說，“多模態(tài)+人機協(xié)同”這種教學(xué)方式為教師和學(xué)生提供了新的選擇，從而在智能時代的場域中，有利于創(chuàng)客教育、虛擬現(xiàn)實教學(xué)以及雙師培訓(xùn)等方面的開展與應(yīng)用。

三、MR 場域中的“多模態(tài)+人機協(xié)同”教學(xué)

所謂MR 場域，是隨著VR 和AR 技術(shù)不斷應(yīng)用于教學(xué)實踐后發(fā)展而來。即，MR 技術(shù)融入“多模態(tài)+人機協(xié)同”教學(xué)過程，它以心流+沉浸式教學(xué)、情境+具身認知理論為基礎(chǔ)，以多模態(tài)信息的輸出和輸入、師生和MR 智能設(shè)備之間協(xié)同為特征的教學(xué)應(yīng)用環(huán)境，旨在提高教學(xué)效果，充分促進學(xué)習(xí)者的發(fā)展。

（一）相關(guān)理論支撐

1.心流+沉浸式理論

心流理論是指人全身心投入某種活動，并達到一種極致愉悅的心理狀態(tài)[24]。心流理論認為，心流體驗包括九個要素：清晰的目標、及時的反饋、挑戰(zhàn)與技能的平衡、行為與意識的融合、意識中排除干擾、無懼失敗、自我意識的消失、忽略時間的流逝和專注于活動本身價值[25]。即心流是個體在具體情境中挑戰(zhàn)與技能達到平衡時，所出現(xiàn)的最佳心理體驗。由于情境是不斷發(fā)展變化的，即個體所從事活動面臨的挑戰(zhàn)也會不斷變化，為了維持“心流狀態(tài)”，個體就必須不斷學(xué)習(xí)新的技能來應(yīng)對挑戰(zhàn)，這一過程會促進個體的身心得到不斷的發(fā)展[26]。

沉浸式教學(xué)理論是指教育教學(xué)工作者在施教過程中，靈活地設(shè)計并運用多種教學(xué)手段，激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣，使學(xué)習(xí)者進入一種“沉浸體驗”（也可以稱之為心流體驗）的學(xué)習(xí)狀態(tài)，從而提高教與學(xué)的成效[27]。該理論在教育領(lǐng)域的具體應(yīng)用，起源于 20世紀60年代加拿大的多模態(tài)語言教學(xué)[28]。近年來，沉浸式教學(xué)理論隨著虛擬現(xiàn)實等技術(shù)的不斷發(fā)展與應(yīng)用，也逐步由一種單純的語言教學(xué)模式發(fā)展為具有更加廣泛適用性的教學(xué)模式。國內(nèi)有學(xué)者進一步提出基于具身認知的沉浸式教學(xué)[29]，即在智能技術(shù)支持下，以沉浸式理論為基礎(chǔ)，以具身認知為驅(qū)動，旨在提高學(xué)習(xí)質(zhì)量和教學(xué)效果，促進學(xué)習(xí)者身心的整體發(fā)展。

2.情境+具身認知理論

情境認知理論的主張，與起源于 20世紀 60年代的“認知革命”相比，反映了一種新的范式，被譽為“第二代認知科學(xué)”[30]。情境認知理論認為，認知過程是由情境建構(gòu)、指導(dǎo)和支持的，個體的心理通常在情境中進行活動[31]。情境可分為物質(zhì)或任務(wù)、環(huán)境或生態(tài)、社會或互動等三個方面。與傳統(tǒng)的認知觀點不同，情境認知理論認為，認知是社會和寓身的（Embodied），認知處于人類社會和由人構(gòu)建的情境之中，身體在認知中具有現(xiàn)實的和理論的雙重意義；認知也是具體和情境化的，物質(zhì)條件和環(huán)境對于認知非常重要，人類的思維依賴于情境[32]。因此，借助MR場域來構(gòu)建不同情境，利用虛擬現(xiàn)實教育資源，可以讓學(xué)生身臨其境，通過感受不同情境下的學(xué)習(xí)內(nèi)容與探究氛圍，提升學(xué)生的感知與思維能力。

具身認知認為，身體既是認知的途徑，又是認知的來源，而且還參與認知的互動過程[33]。理化是以實驗為基礎(chǔ)的科學(xué)，尤其是物理知識的學(xué)習(xí)，引導(dǎo)學(xué)生通過實驗獲得感知體驗、生成物理知識顯得尤為重要[34]。因此，借助 MR 場域來構(gòu)建深度交互的具身體驗場景，精心設(shè)計教學(xué)過程與呈現(xiàn)多維空間資源，給予學(xué)生具身參與的機會，通過充分調(diào)用學(xué)生視覺、聽覺、觸覺等多通道，在真實的情境中獲得沉浸式的體驗，可以大大提升多維度具身認知的效果。

（二）MR 場域中“多模態(tài)+人機協(xié)同”教學(xué)的內(nèi)涵

正如前述，MR 場域中的“多模態(tài)+人機協(xié)同”教學(xué)，是在MR 虛實融合的環(huán)境下，為學(xué)習(xí)者提供人機交互、外部視頻追蹤等技術(shù)；同時，與現(xiàn)實環(huán)境、虛擬環(huán)境中的對象發(fā)生各種聯(lián)系，以形成視覺、聽覺、觸覺等多模態(tài)的交互反饋路徑。通過智能化的感知技術(shù)，動態(tài)收集多模態(tài)交互數(shù)據(jù)并進行數(shù)據(jù)融合與分析，形成過程性學(xué)習(xí)數(shù)據(jù)，以探究MR 環(huán)境中教學(xué)發(fā)生機理。其主要特點在于為學(xué)習(xí)者營造了多維感知的教學(xué)空間，豐富其交互體驗，加深對知識的理解。

因此，MR 場域中的“多模態(tài)+人機協(xié)同”教學(xué)，具有虛實融合、沉浸式、多通道等的特征。虛實融合特征指的是從現(xiàn)實環(huán)境和虛擬環(huán)境中感知學(xué)習(xí)對象，同時，現(xiàn)實對象可以“添加”到虛擬環(huán)境中；虛擬環(huán)境中的對象，亦可以借助可視化設(shè)備呈現(xiàn)在現(xiàn)實環(huán)境中。沉浸式主要指MR 場域中的“多模態(tài)+人機協(xié)同”教學(xué)的交互自然性，能夠通過智能技術(shù)設(shè)備實現(xiàn)不同場景間的深度交互，提升學(xué)習(xí)者的操作真實感、沉浸感。多通道特征主要指學(xué)習(xí)過程中同一知識點可以借助不同類型資源予以呈現(xiàn)，帶來視覺、聽覺、觸覺等全方位的感官體驗，形成學(xué)習(xí)者對知識的深度理解。

（三）MR 場域中“多模態(tài)+人機協(xié)同”教學(xué)的交互特征

由上論述我們認為，MR 場域中“多模態(tài)+人機協(xié)同”教學(xué)的交互特征，主要是虛實融合、多模態(tài)和人機協(xié)同這三方面。在虛實融合交互特征的MR 場域中，“多模態(tài)+人機協(xié)同”教學(xué)的交互增加了部分教學(xué)實體交互，從而也為多模態(tài)和人機協(xié)同提供了進一步的驗證基礎(chǔ)。同時，結(jié)合項目式教學(xué)、適應(yīng)性反饋等形式，還可以為同一空間內(nèi)的學(xué)習(xí)者提供不同類型的資源。比如，在同一物理空間中，學(xué)習(xí)者借助視覺、聽覺、觸覺等同時接收虛擬和真實空間中的不同信息傳輸，從而滿足學(xué)生個性化學(xué)習(xí)的需求。

在多模態(tài)交互特征方面，旨在驅(qū)動并實現(xiàn)“視—聽—觸”多模態(tài)通道的融合，從而讓學(xué)習(xí)者有身臨其境的真實感受，獲得積極的心流體驗。與此同時，MR場域中的多模態(tài)教學(xué)，其數(shù)據(jù)表征亦是多模態(tài)的，輸入時通過圖文、視頻、動畫、語音等形式，支持學(xué)生多維信息的獲取以促進知識內(nèi)化；輸出時也可以借助信息采集設(shè)備，收集文本、音頻、生理等不同表征的形式數(shù)據(jù)，通過多模態(tài)數(shù)據(jù)的融合與分析，以全面了解學(xué)習(xí)過程的動態(tài)變化與特征。

在人機協(xié)同交互特征方面，則主要表現(xiàn)在多模態(tài)人機協(xié)同學(xué)習(xí)空間的交互多樣化，由師生和智能設(shè)備開展所在學(xué)習(xí)空間范圍內(nèi)的協(xié)同互動，并將多模態(tài)人機協(xié)同信息及時聯(lián)通到教師和智能設(shè)備，從而通過教師和智能設(shè)備來進行多模態(tài)的人機協(xié)同數(shù)據(jù)表征。智能設(shè)備技術(shù)的介入，能夠為教學(xué)過程的數(shù)據(jù)收集、整理分析提供支撐，助力教師實現(xiàn)實時反饋與交互。借助于多模態(tài)學(xué)習(xí)分析技術(shù)，目前的智能設(shè)備不但能夠收集和整理視頻、語音、文本等交互數(shù)據(jù)，還能收集和整理學(xué)習(xí)者行為、甚至生理和心理等層面的數(shù)據(jù)。

因此，本研究通過多模態(tài)人機協(xié)同空間交互、多模態(tài)人機協(xié)同信息感知、多模態(tài)人機協(xié)同數(shù)據(jù)表征、數(shù)據(jù)表征促進交互優(yōu)化等四個階段，構(gòu)建了如圖1所示的MR 場域中“多模態(tài)+人機協(xié)同”教學(xué)交互方式及伴隨的數(shù)據(jù)特征。

四、MR 場域中的“多模態(tài)+人機協(xié)同”教學(xué)方式

（一）教學(xué)方式的建構(gòu)

MR 場域中的“多模態(tài)+人機協(xié)同”教學(xué)方式，主要基于心流+沉浸式教學(xué)和情境+具身認知等理論，結(jié)合MR 場域中的多模態(tài)交互特征，它包含多模態(tài)情境導(dǎo)學(xué)、MR 多模態(tài)智能診學(xué)、MR 多模態(tài)人機助學(xué)和多模態(tài)精準評學(xué)四個環(huán)節(jié)。在每個環(huán)節(jié)中，師生都以學(xué)習(xí)共同體的形式參與學(xué)習(xí)。而在具體實施過程中，則可根據(jù)教學(xué)的具體需求，自主靈活地整合各個環(huán)節(jié)，具體如圖2所示。

（二）教學(xué)過程及評價

1.多模態(tài)情境導(dǎo)學(xué)

多模態(tài)情境導(dǎo)學(xué)，表現(xiàn)在基于情境認知理論，在開始MR 教學(xué)之前，由教師根據(jù)教學(xué)目標、教學(xué)重難點及學(xué)生學(xué)情等情況與信息，進行面向MR 教學(xué)環(huán)境的多模態(tài)情境教學(xué)創(chuàng)意設(shè)計。該設(shè)計不僅需要最大程度地吸引學(xué)生的注意力，從而有效激發(fā)學(xué)生的學(xué)習(xí)興趣；而且還需注重培養(yǎng)學(xué)生的實際操作能力與思辨能力，并幫助學(xué)生在實驗過程中完成學(xué)科知識的內(nèi)化以及實驗操作的優(yōu)化[35]。因此，面向MR 教學(xué)環(huán)境的多模態(tài)情境教學(xué)的創(chuàng)意設(shè)計，需要教師有效利用MR 教學(xué)系統(tǒng)的顯示屏以及附屬的操作系統(tǒng)，熟練操控導(dǎo)入創(chuàng)意情境的視頻和語音等交互過程。

2.MR 多模態(tài)智能診學(xué)

MR 多模態(tài)智能診學(xué)，則是基于心流+沉浸式教學(xué)理論，在開始教學(xué)前，由教師對所診斷任務(wù)進行個性化的設(shè)計，再對學(xué)生的動態(tài)學(xué)習(xí)情況進行多模態(tài)的診斷分析，以便教學(xué)中為使用MR 學(xué)習(xí)、實現(xiàn)更加有效的心流和沉浸體驗做好準備。在多模態(tài)診斷方面，主要利用MR 系統(tǒng)的顯示屏，配合MR 套件的各個組成部分，來進行諸如MR實驗等操作前的學(xué)習(xí)診斷。診斷結(jié)果可分為兩部分：班級診斷共性結(jié)果以及學(xué)生及其小組的個性化結(jié)果。其班級診斷共性結(jié)果，則可以由MR 智能系統(tǒng)來完成；學(xué)生及其小組的個性化結(jié)果，則可以由教師結(jié)合具體情況來進行個性化診斷。

3.MR 多模態(tài)人機助學(xué)

MR 多模態(tài)人機助學(xué)環(huán)節(jié)，則是基于具身認知理論，由MR 智能后臺所儲備的大量、可供學(xué)生自主學(xué)習(xí)探索所用的資源庫，結(jié)合以往學(xué)習(xí)數(shù)據(jù)資料，為學(xué)生推薦匹配具身體驗的學(xué)習(xí)資源，以充分調(diào)動學(xué)生的主動學(xué)習(xí)興趣。學(xué)生亦可以結(jié)合實際的學(xué)習(xí)情況，在學(xué)習(xí)過程中選擇不同層次的學(xué)習(xí)任務(wù)及提示性線索，以滿足個體的學(xué)習(xí)需求。教師則充分發(fā)揮引導(dǎo)與協(xié)助作用，在教學(xué)過程中結(jié)合MR 智能輸出設(shè)備，實時把握學(xué)生的學(xué)習(xí)進程。對于學(xué)生學(xué)習(xí)中的難點及薄弱環(huán)節(jié)重點講解，幫助學(xué)生突破知識難、疑點的認知瓶頸，獲得深層次認知與理解。同時，教師協(xié)同智能化的后臺資源庫，篩選個性化的學(xué)習(xí)任務(wù)，不斷優(yōu)化學(xué)生的學(xué)習(xí)路徑，提升其學(xué)習(xí)效率。

進一步地，教師還可以動態(tài)發(fā)布學(xué)習(xí)任務(wù)或下達任務(wù)單，從而助力學(xué)生展開研討，并在全班進行成果展示，旨在發(fā)揮學(xué)習(xí)共同體的作用，在實現(xiàn)自主學(xué)習(xí)能力提升的基礎(chǔ)上，培養(yǎng)學(xué)習(xí)者團隊的協(xié)作素養(yǎng)。學(xué)習(xí)共同體的培育需要充分發(fā)揮個體在團隊中的效應(yīng)，以構(gòu)建起建設(shè)性的交互，推動協(xié)同研學(xué)的廣度和深度。在傳統(tǒng)教學(xué)環(huán)境下，協(xié)同研學(xué)常常會形成優(yōu)生牽頭，組內(nèi)其他成員參與性不高的困境，導(dǎo)致最終成效不高。在MR“多模態(tài)+人機協(xié)同”的教學(xué)環(huán)境下，借助智能傳感設(shè)備等，教師可以實時動態(tài)了解學(xué)生的參與程度及情緒表現(xiàn)，及時給予學(xué)習(xí)干預(yù)和提醒。同時，智能機器通過分析學(xué)生在診學(xué)階段的學(xué)情表現(xiàn)及研學(xué)過程中的任務(wù)完成情況，及時向教師推送優(yōu)化研學(xué)任務(wù)的建議，實現(xiàn)研學(xué)任務(wù)從“同一知識點多題型”向“同一知識點多層次題型”的方向演進，以充分滿足不同學(xué)生的學(xué)習(xí)需求，提高其在研討過程中的參與性與專注力。在成果匯報階段，教師可以選擇具有典型代表的案例或成果依次進行呈現(xiàn)，突破共性問題，解決個體困難，展示優(yōu)秀學(xué)習(xí)作品。

4.多模態(tài)精準評學(xué)

多模態(tài)精準評學(xué)，則以多主體、多角度、過程性與結(jié)果性評價相結(jié)合為準則。首先，評價主體不局限于教師，還囊括了學(xué)生主體、學(xué)習(xí)小組以及MR 智能平臺診斷等，學(xué)生不再是被單向評價的對象，其作為學(xué)習(xí)主體應(yīng)充分發(fā)揮其自我評價的功能。其次，評價維度的多元化，學(xué)生的發(fā)展具有整體性，評價的落腳點若只關(guān)注知識技能的掌握情況是不全面、不科學(xué)的，還應(yīng)包含學(xué)生的情感態(tài)度、合作交流意識、學(xué)習(xí)進步情況等多角度的全局性評價，這就需要借助多模態(tài)的數(shù)據(jù)收集與表征等，以呈現(xiàn)并科學(xué)分析學(xué)生學(xué)習(xí)情況的內(nèi)在特質(zhì)。同時，學(xué)生的發(fā)展具有階段性，評價不能只是面向一個階段，多個階段數(shù)據(jù)的持續(xù)收集與分析，能夠完善關(guān)于學(xué)習(xí)過程的整體性評價，也能為之后的學(xué)習(xí)提供持續(xù)性的參考。最后，評價的核心是促進學(xué)生學(xué)習(xí)的有效進行，因此，評價結(jié)果的呈現(xiàn)應(yīng)更多關(guān)注學(xué)生的進步，凸顯學(xué)生已經(jīng)掌握的知識、所具備的能力，分析其存在的不足、發(fā)展的潛力。因此，必須打破傳統(tǒng)的粗線條、終結(jié)式的等級式評價，以充分體現(xiàn)每一個學(xué)生學(xué)習(xí)的進程和成長路徑。

五、MR 場域中“多模態(tài)+人機協(xié)同”教學(xué)的應(yīng)用

為了驗證“多模態(tài)+人機協(xié)同”教學(xué)方式的應(yīng)用價值，本研究依托MR實驗套件與智能傳感設(shè)備，招募杭州一所高校內(nèi)的90 名大學(xué)師范生為參與者（48名女性和42 名男性），隨機分為三組（每組30 人），分別在傳統(tǒng)環(huán)境、VR 環(huán)境和MR 環(huán)境下完成保險絲熔斷實驗，并基于實驗內(nèi)容完成一個介紹電阻引線測試應(yīng)用的教學(xué)設(shè)計。我們采集整個實驗過程中參與者所產(chǎn)生的教學(xué)設(shè)計圖文、心理等方面數(shù)據(jù)，進而全面分析在不同交互環(huán)境下學(xué)習(xí)者的學(xué)習(xí)狀態(tài)和結(jié)果。上述準實驗結(jié)果表明：MR 場域下學(xué)習(xí)者通過多模態(tài)感官通道獲得沉浸式的學(xué)習(xí)體驗，盡管在心流數(shù)據(jù)上可能遜色于VR 環(huán)境（VR 環(huán)境的沉浸感更強）；但在教學(xué)設(shè)計的創(chuàng)造力表現(xiàn)方面則是最優(yōu)的，因為MR 環(huán)境兼顧了心流+具身化實驗操作。

（一）MR 場域中的多模態(tài)情境導(dǎo)學(xué)

多模態(tài)情境導(dǎo)學(xué)主要開始于MR 教學(xué)之前，通過面向MR 教學(xué)環(huán)境的多模態(tài)情境教學(xué)創(chuàng)意設(shè)計，以最大程度地激發(fā)學(xué)生的學(xué)習(xí)興趣。例如，在保險絲熔斷實驗中，教師可以通過翻轉(zhuǎn)課堂或其他多種形式，學(xué)習(xí)保險絲熔斷的實驗原理，并基于對實驗原理的認知，設(shè)計實際應(yīng)用場景，在課堂中主要呈現(xiàn)學(xué)生的設(shè)計案例。

（二）MR 場域中的多模態(tài)智能診學(xué)

在MR 智能診學(xué)環(huán)節(jié)，主要是通過MR 智能系統(tǒng)診斷學(xué)生對于實驗原理及實驗操作的掌握情況。在傳統(tǒng)的實驗環(huán)境下，由于保險絲熔斷時電流大、溫度高，存在安全隱患且實驗器材具有消耗性，因此無法完全放手讓學(xué)生進行自主探索。應(yīng)用MR 技術(shù)可以有效克服上述不足，在保障安全有效的實驗環(huán)境下，為參與者提供了虛實融合的交互情境，形成“視—聽—觸”融合的多感官通道及其伴隨的數(shù)據(jù)收集和分析。學(xué)生可以基于自己對實驗內(nèi)容的理解進行自主探索，教師可以通過現(xiàn)場觀察和MR 智能系統(tǒng)的實驗結(jié)果輸出，精準判斷學(xué)情，定位學(xué)生學(xué)習(xí)的薄弱環(huán)節(jié)，從而有針對性地進行指導(dǎo)。

MR 場域下實驗所使用的設(shè)備，包括一個真實的滑動變阻器和三個模擬真實儀器形狀的有形替代品（電源、電流表、保險絲底座）。當呈現(xiàn)MR 后，系統(tǒng)將通過多相機3D 配準，將三個有形的替代品渲染成相應(yīng)的實驗設(shè)備（電源、電流表、保險絲底座）?？梢?，MR 環(huán)境下使用有形替代品既節(jié)省電子設(shè)備的成本，又能讓學(xué)習(xí)者在交互時也有類似的觸感，還能有效保障實驗的安全性，圖3 為MR 環(huán)境的操作展示。

（三）MR 場域中的多模態(tài)人機助學(xué)

MR 多模態(tài)人機助學(xué)，主要通過收集學(xué)生在實驗過程中的行為、生理等數(shù)據(jù)，將學(xué)生的學(xué)習(xí)體驗和學(xué)習(xí)成就進行可視化呈現(xiàn)，教師通過分析機器所輸出的可視化信息，隨時掌握學(xué)生的學(xué)習(xí)進程情況，從而有針對性地進行教學(xué)指導(dǎo)。MR 環(huán)境熔斷實驗的主要流程有：實驗先創(chuàng)建了真實的場景，通過有形設(shè)備實現(xiàn)實驗真正的自由交互，學(xué)生可以在MR 環(huán)境中啟動電源形成虛擬通路，通過移動滑動變阻器的真實滑塊動態(tài)調(diào)節(jié)虛擬電路的電阻，借由MR 所呈現(xiàn)的，觀察到保險絲熔斷的虛擬場景（如圖4）。通過MR 多模態(tài)人機助學(xué)，同時可為學(xué)生自主學(xué)習(xí)能力的習(xí)得與提升提供廣泛的資源。當學(xué)生在實驗過程中對所進行實驗操作存在困惑時，可以借助MR 智能系統(tǒng)的語音指導(dǎo)、視頻指導(dǎo)等資源，獲取精準幫助，從而完整有序地體驗實驗全流程。

而且，教師還可以通過MR 智能系統(tǒng)所呈現(xiàn)的學(xué)生實驗完成情況，進行統(tǒng)籌安排，進一步設(shè)計開放性的研究任務(wù)，讓學(xué)生在MR實驗操作的基礎(chǔ)上，開展小組互動研討與創(chuàng)客設(shè)計。如，通過對現(xiàn)實應(yīng)用場景的分析，再次設(shè)計保險絲熔斷的應(yīng)用場景，并上臺對本組的設(shè)計進行闡述。智能設(shè)備收集在小組互動研討階段學(xué)生參與情況的數(shù)據(jù)，如，學(xué)生話語情況、表情數(shù)據(jù)等。教師可以通過MR 智能系統(tǒng)的數(shù)據(jù)，對于參與性不高的學(xué)生或小組進行提醒。與此同時，研討后還可以設(shè)置開放性問題，引導(dǎo)學(xué)生應(yīng)用MR實驗獲得的知識遷移到真實場景之中，圖5 是MR實驗過程中，學(xué)生把相關(guān)知識遷移到降落傘熔斷開傘和火箭熔斷熄火等場景的創(chuàng)客設(shè)計。

（四）MR 場域中的多模態(tài)精準評學(xué)

MR 場域中的多模態(tài)精準評學(xué)，主要是通過學(xué)生自主體驗報告、MR 智能系統(tǒng)數(shù)據(jù)收集、教師課堂觀察等多方面，對于教學(xué)情況進行綜合性診斷，從而形成過程性評價與結(jié)果性評價相融合的全方位精準教學(xué)評價。從結(jié)果性評價層面而言，教師可以對學(xué)生課堂中存在的共性問題及個別學(xué)生的具體問題，設(shè)計多層次的練習(xí)以鞏固和加強對所學(xué)知識的理解。從過程性評價層次而言，教師可以通過結(jié)合智能診學(xué)、智能評學(xué)數(shù)據(jù)，對學(xué)生的學(xué)習(xí)提升情況有整體性把握，并對學(xué)生課堂參與情況、溝通協(xié)作能力等進行科學(xué)判斷，從而提供更為精準的個性化評價。

六、“多模態(tài)+人機協(xié)同”教學(xué)應(yīng)用展望與思考

在未來教育教學(xué)中，可通過引入AI 語音識別、計算機圖像視覺、全息技術(shù)、XR、數(shù)字孿生等新技術(shù)，以實現(xiàn)在教學(xué)環(huán)境內(nèi)的全域交互，進而建構(gòu)起一個虛實融合且技術(shù)高度集成的智能化、可計算的學(xué)習(xí)空間，為學(xué)生提供多維度的學(xué)習(xí)服務(wù)與體驗。并可將教學(xué)內(nèi)容全息化地展現(xiàn)在學(xué)生面前，允許學(xué)生與之進行交互，開展自主探究式學(xué)習(xí)，以培養(yǎng)學(xué)生的探索能力、問題解決能力、分析思考能力等，還能提升學(xué)生的創(chuàng)新創(chuàng)造技能與數(shù)字技能[36]。

我們認為，結(jié)合MR 技術(shù)及其當前教學(xué)應(yīng)用實踐的發(fā)展，MR 場域中的“多模態(tài)+人機協(xié)同”教學(xué)，將來還可以進一步拓展：依托多情境自由轉(zhuǎn)換，助力學(xué)習(xí)者創(chuàng)新能力的提升；融合“視—聽—觸”多感官通道，提升交互過程的具身認知；建立多模態(tài)數(shù)據(jù)采集、分析和反饋機制，推動反思性觀察；融合多階段數(shù)據(jù)建模跟蹤，帶動技能的拓展遷移。這四個方向存在一定依存關(guān)系：多情境切換和創(chuàng)新能力提升是現(xiàn)實世界的基礎(chǔ)和目標指向，融合多感官通道和具身認知是體驗混合現(xiàn)實世界的途徑，多模態(tài)數(shù)據(jù)和反饋調(diào)節(jié)是對虛擬世界的映射，數(shù)據(jù)建模跟蹤和拓展遷移則又是對混合現(xiàn)實世界的進一步豐富，如圖6所示。

（一）依托多情境自由轉(zhuǎn)換，助力學(xué)習(xí)者創(chuàng)新能力的提升

智能時代的發(fā)展正引領(lǐng)創(chuàng)新型人才培養(yǎng)模式的革新，教育的本質(zhì)正從關(guān)注知識的傳授轉(zhuǎn)向核心能力的培養(yǎng)，其中創(chuàng)新能力作為21世紀人才的關(guān)鍵特質(zhì)，廣受關(guān)注，世界各國亦將創(chuàng)新性人才的培養(yǎng)提升到國家戰(zhàn)略層面。一方面，在傳統(tǒng)教學(xué)方式中，教學(xué)環(huán)境相對固定、單一，學(xué)習(xí)者所需解決的問題大多是基于學(xué)科的現(xiàn)實問題，依賴于“刷題”戰(zhàn)術(shù)，追求熟悉題型以及題型之間的簡單化關(guān)聯(lián)和模式化遷移。然而，創(chuàng)新能力的培養(yǎng)需要個體內(nèi)化所學(xué)的概念性知識，并有效運用于具體問題場景中，才能實現(xiàn)高效的遷移，即達成“情境化—去情境化—情境化”的良性循環(huán)過程[37]。MR 技術(shù)可以結(jié)合教學(xué)任務(wù)生成虛實融合、高仿真性的學(xué)習(xí)情境，助力學(xué)習(xí)者激發(fā)興趣、構(gòu)建知識體系[38]。另一方面，在概念理解與內(nèi)化的基礎(chǔ)上，知識的遷移、應(yīng)用是創(chuàng)新性思維培養(yǎng)的又一關(guān)鍵環(huán)節(jié)，未來學(xué)生所面對的生活、工作的世界將是復(fù)雜多樣、多維交互的，因此，需要積累解決真實問題的學(xué)習(xí)經(jīng)驗。MR技術(shù)突破了傳統(tǒng)教學(xué)環(huán)境的局限性，實現(xiàn)現(xiàn)實情境、虛擬情境的深度融合，通過多情境的自由轉(zhuǎn)化，為學(xué)生提供了大量解決真實問題的體驗場景，尤其在理工科類教學(xué)中，這種多情境融合性的呈現(xiàn)，彌合了現(xiàn)實情境與虛擬情境的割裂性，實現(xiàn)了多元學(xué)習(xí)空間的深度融合，為探究學(xué)習(xí)者行為、認知、情感狀態(tài)的多維動態(tài)變化，揭示深層次的學(xué)習(xí)發(fā)生機制[39]，促進學(xué)習(xí)者創(chuàng)新性思維的培養(yǎng)，提供了重要條件。

（二）融合“視—聽—觸”多感官通道，提升交互過程的具身認知

具身認知理論強調(diào)身心、主客、心物一體的一元論，基于具身認知視角的教學(xué)應(yīng)是“身—心—物”的融合性互動建構(gòu)[40]。教學(xué)中的各要素應(yīng)視為一個有機整體，通過各要素的不斷融合與動態(tài)演化，以調(diào)動學(xué)生具身于學(xué)習(xí)場景。MR 集成了視覺、聽覺、觸覺等多感官通道，多模態(tài)交互實現(xiàn)了各模態(tài)之間的互補，共同協(xié)作以表達情感、見解[41]。MR 將交互體驗從一維拓展至多維度的融合，增強了學(xué)生的具身化體驗，幫助學(xué)習(xí)者進行更有效的知識構(gòu)建。從“盲人摸象”的典故，便可窺見單一維度的感官體驗限制了個體對事物的深度了解，甚至極易產(chǎn)生認知偏差，學(xué)習(xí)體驗感存在殘缺。MR 應(yīng)用的關(guān)鍵在于打破時間、空間的局限，實現(xiàn)個體之間自由交互、場景移動、自如操控。比如，借助手勢交互，實現(xiàn)空間的自主探索，提升了現(xiàn)實環(huán)境下的沉浸式體驗；視覺交互、語音交互突破原有的單向傳遞的弊端，形成了信息交互的雙向通道，有利于促進師生、生生、人機多重交互。因此，建議今后教學(xué)中學(xué)習(xí)任務(wù)的設(shè)計，應(yīng)滿足學(xué)習(xí)者“視—聽—觸”等多方位感知的需求，進行生成性教學(xué)，即讓學(xué)習(xí)者通過多感官交互，與周邊人、事、物建立起密切的聯(lián)系，不斷地進行自主構(gòu)建與動態(tài)生成，促進知識體系的結(jié)構(gòu)化，推動學(xué)習(xí)績效的提升。

（三）建立多模態(tài)數(shù)據(jù)采集、分析和反饋機制，推進基于個性化的多模態(tài)學(xué)習(xí)分析

關(guān)注每一個學(xué)生的特點和差異，重視個別化指導(dǎo)已然成為國內(nèi)外普遍的共識。MR 虛擬實驗突破了VR、AR 等虛擬實驗的交互性較弱等問題，能夠更好地實現(xiàn)多模態(tài)數(shù)據(jù)采集、分析和反饋。所以，需要進一步簡化MR 虛擬實驗等多模態(tài)數(shù)據(jù)采集、分析和反饋調(diào)節(jié)機制，從而更好地采集和分析不同學(xué)生個體參與MR 虛擬實驗等過程的行為交互、話語交互等數(shù)據(jù)，并給予針對性的學(xué)習(xí)反饋，從而推動教學(xué)的智能化。與此同時，不僅要重視學(xué)生外在行為表現(xiàn)，更要重視其內(nèi)在行為邏輯。通過信息收集設(shè)備，采集學(xué)習(xí)者多模態(tài)數(shù)據(jù)信息，借助大數(shù)據(jù)分析技術(shù)擬合學(xué)習(xí)者的發(fā)生路徑，建立起動態(tài)、有效的反饋機制。借助多模態(tài)數(shù)據(jù)之間的互補性，實現(xiàn)個體特征的精準預(yù)測，并將反饋信息以可視化的方式傳輸給教師，實現(xiàn)“以學(xué)定教”。因此，應(yīng)增強多模態(tài)信息的多層次性分析，使對學(xué)習(xí)者的解讀走向全面化、縱深化[42]，以實現(xiàn)基于多模態(tài)數(shù)據(jù)反饋的個性化學(xué)習(xí)。