多模態(tài)交互在教學(xué)中的應(yīng)用

胡小強 桑小十

摘要：現(xiàn)代信息技術(shù)的高速發(fā)展，為人機交互帶來了新途徑，多模態(tài)交互成為人機交互史上的全新可能，也為其他領(lǐng)域帶來了新的活力。與此同時，新技術(shù)的產(chǎn)生與發(fā)展也對教育領(lǐng)域產(chǎn)生了巨大沖擊，研究以教學(xué)中的“多模態(tài)交互”為介入點，對多模態(tài)交互相關(guān)概念的界定進行闡述，接著分析了多模態(tài)交互技術(shù)在教學(xué)中的應(yīng)用，并以物理力學(xué)實驗為例開展教學(xué)設(shè)計，將多模態(tài)交互技術(shù)進行有效融合，總結(jié)出多模態(tài)交互在教學(xué)中應(yīng)用的優(yōu)勢，最后給出建議。

關(guān)鍵詞：多模態(tài)交互;教學(xué)設(shè)計;VR教學(xué);虛擬實驗室;物理

中圖分類號：G40-057 ?文獻標識碼：A ?論文編號：1674-2117（2022）13-0089-05

● 教學(xué)中的“多模態(tài)交互”

1.多模態(tài)交互的概念

“模態(tài)”（Modality）最早是作為一種生物學(xué)的概念被提出來的，之后隨著科技的不斷進步與發(fā)展，逐漸被引申到計算機與人工智能領(lǐng)域，成為機器與現(xiàn)實物理事物之間聯(lián)系的一種理論通道。顧曰國教授認為模態(tài)是指人類通過感官跟外部環(huán)境之間進行互動的方式，用單個感官進行交互的叫單模態(tài)，用兩個的叫雙模態(tài)，三個以上的叫多模態(tài)。[1]在新技術(shù)時代，眼睛、鼻子、嘴、手和耳朵可以通過多模態(tài)交互技術(shù)變成鼠標和鍵盤，更準確地將信息傳達給計算機交互，擴大了交互的多樣性。多模態(tài)交互技術(shù)的實現(xiàn)就是這樣一個復(fù)雜的信息傳輸、分析、處理、呈現(xiàn)的過程。在這個過程當中，設(shè)備和用戶能夠達到隨時隨地進行聯(lián)合交互的效果，無論是聽覺、視覺、觸覺還是手勢通過多模式交互技術(shù)，用戶便可以在一個專門為它開發(fā)的接口上選擇不同類型的輸入設(shè)備（如鍵盤、鼠標、手寫筆、觸摸屏、語音等）的連接，可以確定訪問信息所使用的交互模式并與之進行交互。多模態(tài)交互技術(shù)在多種領(lǐng)域廣泛應(yīng)用，目前運用得較多的領(lǐng)域包括教育、醫(yī)療、工程、娛樂、游戲、軍事、航空、航海等。

2.多模態(tài)交互技術(shù)在教學(xué)中的應(yīng)用

多模態(tài)交互技術(shù)在教育領(lǐng)域有著廣泛的應(yīng)用。在國家重大課題方面，由潘志庚教授作為首席科學(xué)家領(lǐng)銜的國家重點研發(fā)計劃項目“多模態(tài)自然交互的虛實融合開放式實驗教學(xué)環(huán)境”主要研究復(fù)雜實驗教學(xué)環(huán)境中的實時仿真、多通道感知（視、聽、觸、嗅）的同步呈現(xiàn)，研究探究式學(xué)習(xí)過程建模與行為量化評估等科學(xué)問題，開發(fā)新型的教學(xué)實驗，解決現(xiàn)有中學(xué)實驗課程中探究性弱、自主性差、精準性低、實驗成本高等系列難題。

多模態(tài)交互技術(shù)在教學(xué)中也有許多應(yīng)用。例如，在科學(xué)教學(xué)中，其應(yīng)用主要以科普為主，如在婦聯(lián)、科協(xié)、消防、地震局等部門的指導(dǎo)下，中山大學(xué)以及華南師范大學(xué)開發(fā)了一套“恩授”教育游戲，向兒童介紹科學(xué)、自然、衛(wèi)生等科學(xué)知識，其中融合了多模態(tài)、體感游戲等創(chuàng)新技術(shù)，在游戲中兒童需要眼、耳以及肢體的多種配合來進行操作，讓其以第一人稱的方式模擬進入地震、火災(zāi)、溺水等虛擬的三維場景，在互動體驗中學(xué)習(xí)各種安全知識和自救技能，增強自我保護能力，保障生命和財產(chǎn)的安全。又如，在地理教學(xué)中，其應(yīng)用主要是以視聽交互及手勢交互為主，以《地質(zhì)災(zāi)害》一課為例，教師使用桌面VR一體機展示3D洪水現(xiàn)象并且進行拖拽，從各個角度展示，達到學(xué)習(xí)者的視聽交互。學(xué)習(xí)者可以通過手勢交互進行救災(zāi)活動，如人群的驅(qū)散、挖通渠道、搬運石塊等。學(xué)習(xí)者在模擬環(huán)境中解決問題，將地理知識與實際生活聯(lián)系，化抽象為具體，提高了學(xué)習(xí)積極性，進而提高了教學(xué)效率。

● 多模態(tài)交互在教學(xué)中應(yīng)用的優(yōu)勢

1.多模態(tài)交互技術(shù)能提升課堂交互性

過去，教師在研究教學(xué)設(shè)計問題時常采用非交互性的多媒體教學(xué)形式，主要包括教學(xué)學(xué)習(xí)科學(xué)系統(tǒng)中的口頭和視覺表現(xiàn)形式，這是屬于線性的過程，從信息獲取的角度來看，這種學(xué)習(xí)方式僅僅只是向?qū)W生的記憶中添加信息，教師的工作也僅是向?qū)W生呈現(xiàn)信息，學(xué)生的工作只有簡單的接收信息。但通過多模態(tài)交互技術(shù)會使教學(xué)的整個過程和效果產(chǎn)生明顯的不同。封虹虹認為，要尊重學(xué)生的主體地位，教師應(yīng)該在教學(xué)中根據(jù)學(xué)生特征，因材施教盡享多模態(tài)教學(xué)。[2]打造虛擬應(yīng)用場景進行交互式學(xué)習(xí)，可以在英語課堂中提升學(xué)生對課堂的關(guān)注度，進而使其對英語學(xué)習(xí)產(chǎn)生濃厚的興趣。在英語課堂中需要針對不同特點的學(xué)生，通過多模態(tài)交互技術(shù)、VR技術(shù)打造虛擬英語應(yīng)用場景，實現(xiàn)虛擬視聽交互、人機交互，讓每位學(xué)生都能夠且愿意參與到課堂中進行學(xué)習(xí)。這種學(xué)習(xí)環(huán)境是高效互動的，因為它關(guān)注到每一位學(xué)生的學(xué)習(xí)節(jié)奏。

2.多模態(tài)交互技術(shù)能促進學(xué)生的有意義學(xué)習(xí)

有意義學(xué)習(xí)依賴于認知活動，如從一節(jié)課中選擇相關(guān)的信息，將其組織成一個連貫的結(jié)構(gòu)，并將新知識與現(xiàn)有知識相結(jié)合。非交互的環(huán)境不能促進行為的主動性，如果想通過簡單的演示文稿來設(shè)計一個能激發(fā)學(xué)生認知能力的演示文稿，那確實是一個挑戰(zhàn)。與之相比，利用多模態(tài)交互技術(shù)的交互式學(xué)習(xí)環(huán)境更有利于構(gòu)建學(xué)生的有意義學(xué)習(xí)。施建平認為，交互要達到“心物相融，啟智引思”，多模態(tài)情境要達到作用于多感官，能給學(xué)生帶來全身心的沉浸，使之在情境中思考。以《七律·長征》一詩為例，在學(xué)習(xí)“金沙水拍云崖暖，大度橋橫鐵索寒”這兩句時，學(xué)生無法通過簡單的多媒體課件和圖片了解為什么面對如此險境紅軍戰(zhàn)士會有“暖”意。為了讓學(xué)生真正理解當時的場景，可采用聲、光、電等多重交互技術(shù)搭建虛擬的金沙江和大渡河，使學(xué)生的視覺、聽覺與智慧設(shè)備進行交互，進入當時的作戰(zhàn)場景，親身體會當時戰(zhàn)斗的慘烈，從而感受紅軍的艱辛以及大無畏的精神，深刻了解紅軍長征精神。[3]

3.多模態(tài)交互技術(shù)能促進學(xué)生的學(xué)習(xí)興趣

多模態(tài)交互技術(shù)是一種具有視覺、聽覺、觸覺等多感知沉浸的技術(shù)，在教學(xué)中使用多模態(tài)交互技術(shù)，可以讓書本中的知識變得可以觸摸、互動、感知，讓學(xué)生在過程中有身臨其境的沉浸式體驗。讓學(xué)生具有沉浸其中的豐富感受以及自由度高的交互體驗，不僅有效提高了其學(xué)習(xí)主動性，更是給學(xué)生提供了大量的親身體驗、觀察、操作以及與其他學(xué)生協(xié)作學(xué)習(xí)的機會，促進了學(xué)生認知活動的開展以及知識的建構(gòu)。[4]有學(xué)者研究表明，在教育教學(xué)的過程中，通過單一模態(tài)學(xué)習(xí)的學(xué)習(xí)者的學(xué)習(xí)能力比通過多種模態(tài)共同學(xué)習(xí)的學(xué)習(xí)者的學(xué)習(xí)能力要差。心理學(xué)認為，單一個體情緒系統(tǒng)的發(fā)生機制和表達機制都屬于復(fù)雜的范疇，主要強調(diào)外界環(huán)境刺激和內(nèi)部生理、心理和其認知狀態(tài)對個體心理的情緒變化的共同作用。傳統(tǒng)的學(xué)習(xí)方式，常是教師的單線講授，學(xué)生被動吸收，整個過程無法刺激學(xué)生產(chǎn)生情緒變化，難以激發(fā)特定的大腦活動模式，學(xué)生難免會覺得學(xué)習(xí)枯燥無味。這也表明，單一模態(tài)的刺激難以提高學(xué)習(xí)者的情緒狀態(tài)。馬菁認為，多模態(tài)學(xué)習(xí)模式可以喚起學(xué)生學(xué)習(xí)英語詞匯的積極性，教師可以在課堂中運用多模態(tài)交互技術(shù)營造出兼具游戲性和娛樂性的學(xué)習(xí)環(huán)境，通過多種模態(tài)參與的渠道激勵學(xué)生參與到詞匯的教學(xué)中，引發(fā)學(xué)生對課堂的情感認知的深層共鳴。[5]通過多模態(tài)交互技術(shù)對利用多種智能傳感設(shè)備學(xué)習(xí)的學(xué)習(xí)者進行視覺、聽覺、觸覺、嗅覺等多種感官的刺激，提高學(xué)習(xí)者的情緒狀態(tài)，實現(xiàn)“認知—行為—情感—交互”的過程。[6]

● 基于物理力學(xué)實驗的教學(xué)設(shè)計

物理是一門注重實驗的自然科學(xué)基礎(chǔ)課程，物理實驗的操作環(huán)節(jié)是必不可少的，多模態(tài)交互技術(shù)可以通過視覺、聽覺、觸覺等多種模態(tài)進行交互打造虛擬實驗室，具有彌補實驗場地以及實驗設(shè)備的不足、打破空間和時間的限制、優(yōu)化已有教學(xué)和實驗?zāi)Ｊ揭约皟?yōu)化抽象物理現(xiàn)象的呈現(xiàn)等優(yōu)點。下面，筆者以物理力學(xué)實驗——牛頓第一定律實驗為例，通過多模態(tài)交互技術(shù)輔助進行教學(xué)設(shè)計。

1.基于學(xué)情設(shè)計教學(xué)目標

《牛頓第一定律》是人教版物理九年級《運動和力》中的內(nèi)容，其中主要包括三個方面：維持運動需要力嗎、牛頓第一定律以及慣性。本節(jié)課是在學(xué)生學(xué)習(xí)了運動學(xué)和力學(xué)初步知識的基礎(chǔ)上，首次將力和運動聯(lián)系起來，研究力和運動的關(guān)系和規(guī)律，是聯(lián)系運動和力的紐帶與橋梁，同時為后面力學(xué)知識的學(xué)習(xí)打下基礎(chǔ)。將多模態(tài)交互技術(shù)通過VR虛擬實驗室的形式運用到本節(jié)課的教學(xué)活動中，在傳統(tǒng)的虛擬實驗室中加入視、聽、觸交互，讓學(xué)習(xí)者能夠沉浸式地體驗實驗操作的整個過程。

基于此，將本節(jié)課的教學(xué)目標設(shè)計如下：

①知識與技能目標：知道牛頓第一定律的內(nèi)容;了解慣性的概念，會解釋簡單的慣性現(xiàn)象。

②過程與方法目標：學(xué)會利用VR頭盔與手套進行實驗操作，在師生互動、生生互動、人機互動中進行交流討論并得出實驗結(jié)論。

③情感態(tài)度與價值觀目標：使用VR設(shè)備進行多模態(tài)交互激發(fā)學(xué)習(xí)興趣以及好奇心;通過對實驗探究活動的參與，學(xué)習(xí)科學(xué)家實事求是、尊重自然規(guī)律、不迷信權(quán)威的科學(xué)態(tài)度，感悟科學(xué)規(guī)律獲得的過程要經(jīng)過許多科學(xué)家的不懈努力、培養(yǎng)科學(xué)的思維方法和科學(xué)探究精神。

2.設(shè)計實驗活動展開教學(xué)

①提出問題。教師播放多媒體課件，展示亞里士多德和伽利略的觀點，進行師生以及生生討論交流，提出實驗探究問題。

設(shè)計意圖：通過交流討論提出問題，培養(yǎng)學(xué)習(xí)者的探究能力、合作學(xué)習(xí)意識以及科學(xué)的思維方式。

②探索知識。學(xué)生帶著問題觀看教師實驗，教師在VR虛擬實驗室中，選擇表面粗糙、比較光滑和很光滑三種水平面進行實驗，得出實驗數(shù)據(jù)，讓學(xué)生總結(jié)和分析數(shù)據(jù)，并推理假設(shè)在完全光滑的水平面上會得到什么樣的數(shù)據(jù)。

設(shè)計意圖：學(xué)生很少接觸VR虛擬實驗室，教師首先進行實驗，為下一環(huán)節(jié)學(xué)生的實驗操作做示范，發(fā)揮學(xué)生的主體作用，讓學(xué)生自己分析實驗數(shù)據(jù)、得出結(jié)論、回答問題，引導(dǎo)學(xué)生進一步推理，激發(fā)學(xué)生在下一環(huán)節(jié)中動手操作的興趣，培養(yǎng)學(xué)生假設(shè)和推理能力。

③自主實驗。學(xué)生通過VR虛擬實驗室對教師演示實驗進行還原，得出自己的數(shù)據(jù)，通過所佩戴的VR手套進行觸覺交互來判斷每一個水平面的光滑程度，并進行實驗，在此基礎(chǔ)上，選擇表面完全光滑的水平面進行上述推理的求證并得出結(jié)論。

設(shè)計意圖：通過多模態(tài)交互技術(shù)和VR設(shè)備，可以將現(xiàn)實中僅能通過假設(shè)和想象來實現(xiàn)的現(xiàn)象具象化，讓學(xué)生通過實踐來學(xué)習(xí)這部分知識，突破重難點。

④總結(jié)實驗，教師總結(jié)講授牛頓第一定律和慣性。實驗設(shè)計過程如下頁圖所示。

● 多模態(tài)交互在教學(xué)設(shè)計應(yīng)用中的建議

1.注重低成本多模態(tài)交互硬件的研發(fā)

在企業(yè)前期開發(fā)多模態(tài)交互技術(shù)的應(yīng)用和設(shè)備時，研發(fā)的成本較高，導(dǎo)致市面上絕大多數(shù)多模態(tài)技術(shù)設(shè)備銷售價格普遍居高，很多學(xué)校和機構(gòu)因為資金問題無法承擔多模態(tài)交互技術(shù)設(shè)備高昂的價格，因此導(dǎo)致多模態(tài)交互技術(shù)無法在學(xué)校的教育教學(xué)中廣泛普及。同時，大多數(shù)的智慧軟件普遍存在通用性差、使用難度大、開發(fā)花費巨大且應(yīng)用效果有限等問題。另外，從技術(shù)層面來說，新興的傳感應(yīng)用技術(shù)、3D的物理建模技術(shù)、高速的圖形圖像處理、成像顯示、人工智能等開發(fā)智慧軟件普遍所需的相關(guān)技術(shù)，還有很多問題有待解決。[7]以上諸多問題都限制了多模態(tài)交互技術(shù)在中小學(xué)教學(xué)中的推廣應(yīng)用與普及。因此，多模態(tài)的硬件設(shè)備只有得到廣泛的研究與開發(fā)，才能從根本上解決在教學(xué)中推廣和普及的問題。

2.鼓勵多模態(tài)交互教學(xué)資源的開發(fā)

目前，多模態(tài)交互技術(shù)才剛剛起步，硬件設(shè)施不完善，很多學(xué)校因為資金短缺沒有配齊多模態(tài)交互設(shè)備以及相應(yīng)的智慧教室，且大部分中小學(xué)教師并未具備熟練使用新技術(shù)的能力，不知道應(yīng)如何把多模態(tài)交互技術(shù)與教育教學(xué)進行融合并進一步開發(fā)相關(guān)的教學(xué)資源。[8]同時，服務(wù)于中小學(xué)基礎(chǔ)教育的教學(xué)資源比較少，以上種種原因造成多模態(tài)交互技術(shù)在中小學(xué)教學(xué)中難以進行實踐與應(yīng)用。所以，教育部門可鼓勵教師積極參與到多模態(tài)交互教學(xué)應(yīng)用資源的開發(fā)中，豐富多模態(tài)教學(xué)應(yīng)用資源的深度和廣度。相信隨著多模態(tài)交互技術(shù)的不斷發(fā)展、新興技術(shù)的進步，將多模態(tài)交互技術(shù)應(yīng)用于教學(xué)勢在必行。

3.拓展在實驗教學(xué)等方面的應(yīng)用

目前，傳統(tǒng)實驗教學(xué)多是以實物課堂的形式為主，教師以一邊示范一邊講解的形式進行授課，教師做一步學(xué)生做一步，實驗過程變得零碎，有些實驗將理論教學(xué)和實驗操作分開，分多節(jié)課進行，導(dǎo)致理論知識與實踐操作在時間和空間上嚴重脫節(jié)。同時，在實驗過程中因為班級人數(shù)較多，學(xué)生在實驗中有不懂或者做錯的地方教師也無法及時指出并進行指導(dǎo)，而實驗器材的限制使得學(xué)生無法在預(yù)習(xí)以及復(fù)習(xí)階段進行實驗。此外，還有些實驗儀器面臨體積過大、價格過高等問題，有些實驗器材和材料難以準備，有些實驗無法確保安全性。針對這些問題，多模態(tài)交互技術(shù)運用到教學(xué)當中，通過視覺、聽覺、觸覺等多種模態(tài)融合AR/VR等技術(shù)，開發(fā)虛擬實驗室，不僅減小了時間和空間的差距，解決了傳統(tǒng)實驗中的耗材問題、安全問題等，還可以通過程序判斷有效避免學(xué)習(xí)者在實驗中操作失誤卻無法即時得到指正的問題，大大提高了實驗教學(xué)的教學(xué)效率。[9]

● 結(jié)語

現(xiàn)代教育技術(shù)的進步與發(fā)展、人們學(xué)習(xí)觀念的轉(zhuǎn)變以及教育教學(xué)大環(huán)境的改善，為多模態(tài)交互技術(shù)進入教學(xué)帶來了基本的便利條件。目前，我國的多模態(tài)交互技術(shù)與教學(xué)融合的研究雖然尚處于起步階段，但相信隨著社會的不斷進步、技術(shù)的不斷研究與發(fā)展，以及在教學(xué)中不斷加深的實踐研究，多模態(tài)技術(shù)將會逐漸趨于成熟，多模態(tài)教學(xué)也將會日漸成熟，在不久的將來成為教學(xué)中不可或缺的一部分，給教學(xué)注入新的生機與活力。

參考文獻：

[1]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)，2007（02）：3-12.

[2]封虹虹.大學(xué)英語視聽課堂多模態(tài)教學(xué)模式構(gòu)建路徑[J].淮北職業(yè)技術(shù)學(xué)院學(xué)報，2021，20（01）：51-53+66.

[3]施建平.小學(xué)語文教學(xué)中多模態(tài)學(xué)習(xí)情境的創(chuàng)設(shè)[J].語文世界：教師之窗，2021（03）：4-5.

[4]陳璟.虛擬現(xiàn)實技術(shù)在基礎(chǔ)教育中的應(yīng)用及對策分析[J].普洱學(xué)院學(xué)報，2020，36（06）：130-132.

[5]馬菁.探析多模態(tài)教學(xué)模式在高中英語詞匯教學(xué)中的運用[J].校園英語，2021（05）：175-176.

[6]王一巖，王楊春曉，鄭永和.多模態(tài)學(xué)習(xí)分析：“多模態(tài)”驅(qū)動的智能教育研究新趨向[J].中國電化教育，2021（03）：88-96.

[7]胡建平，黃國政.Leap Motion體感技術(shù)在教育中的應(yīng)用現(xiàn)狀及問題分析[J].福建廣播電視大學(xué)學(xué)報，2016（05）：23-28.

[8]李瓊?cè)A，羅敏.多模態(tài)視角下農(nóng)村小學(xué)英語口語教學(xué)的問題診斷及對策研究——以湖北省B小為例[J].湖北師范大學(xué)學(xué)報：哲學(xué)社會科學(xué)版，2019，39（01）：138-142.

[9]何珊.VR技術(shù)在物理實驗教學(xué)模式創(chuàng)新中的應(yīng)用[J].蘭州石化職業(yè)技術(shù)學(xué)院學(xué)報，2021，21（01）：61-63.

作者簡介：胡小強（1970—），男，漢族，江西南昌人，碩士，江西科技師范大學(xué)教育學(xué)院副院長，研究方向為虛擬現(xiàn)實技術(shù)在教育中的應(yīng)用、現(xiàn)代教育技術(shù)等;桑小十（1997—），女，漢族，山東臨沂人，碩士，江西科技師范大學(xué)教育學(xué)院（通訊作者），研究方向為多模態(tài)在教學(xué)中的應(yīng)用。