沈陽(yáng) 紀(jì)海林 葉心怡 孟啟帆 駱巖林
[摘? ?要] 傳統(tǒng)物理實(shí)驗(yàn)教學(xué)存在實(shí)驗(yàn)器材受限、教學(xué)內(nèi)容枯燥、學(xué)生參與度不足等困境。基于虛擬現(xiàn)實(shí)技術(shù)(以下簡(jiǎn)稱VR)的沉浸式學(xué)習(xí)以學(xué)生為主體,提供沉浸式、交互性及可復(fù)用性的學(xué)習(xí)體驗(yàn),可以很好地突破當(dāng)前傳統(tǒng)實(shí)驗(yàn)教學(xué)的瓶頸。針對(duì)當(dāng)前虛擬學(xué)習(xí)環(huán)境中較為普遍的臨場(chǎng)感缺乏和交互體驗(yàn)受限等問(wèn)題,研究重點(diǎn)關(guān)注沉浸式學(xué)習(xí)中人機(jī)交互技術(shù)應(yīng)用和學(xué)習(xí)者的力/觸覺(jué)體驗(yàn)對(duì)實(shí)驗(yàn)學(xué)習(xí)效果的影響。將VR交互技術(shù)中的力反饋引入K12物理實(shí)驗(yàn)教學(xué)場(chǎng)景設(shè)計(jì)中,通過(guò)準(zhǔn)實(shí)驗(yàn)評(píng)估力反饋在沉浸式學(xué)習(xí)中的應(yīng)用效果。結(jié)果顯示,在VR沉浸式學(xué)習(xí)中,使用力反饋技術(shù)可以顯著提高學(xué)習(xí)者的真實(shí)感和交互效率,但對(duì)知識(shí)增益沒(méi)有產(chǎn)生顯著性影響。通過(guò)研究,為深入探索沉浸式學(xué)習(xí)中的人機(jī)交互設(shè)計(jì)、力反饋在科學(xué)教育等教學(xué)場(chǎng)景的應(yīng)用及發(fā)展適宜性策略等提供借鑒。
[關(guān)鍵詞] 虛擬現(xiàn)實(shí); 沉浸式學(xué)習(xí); 人機(jī)交互; 力反饋技術(shù); 物理實(shí)驗(yàn)教學(xué)
[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A
[作者簡(jiǎn)介] 沈陽(yáng)(1985—),女,安徽宿州人。助理研究員,博士,主要從事虛擬現(xiàn)實(shí)教育應(yīng)用、智慧學(xué)習(xí)環(huán)境設(shè)計(jì)與評(píng)測(cè)、教育心理與行為大數(shù)據(jù)等研究。E-mail:shenyang@bnu.edu.cn。
基金項(xiàng)目:全國(guó)教育科學(xué)規(guī)劃2022年度教育部重點(diǎn)課題“基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)者沉浸體驗(yàn)評(píng)估模型構(gòu)建與實(shí)證研究”(課題編號(hào):DCA220451)
一、研究背景
眾所周知,物理概念、原理和規(guī)律等知識(shí)具有抽象、過(guò)程復(fù)雜、內(nèi)容深?yuàn)W等特點(diǎn),學(xué)生掌握起來(lái)比較困難。物理學(xué)中的概念或規(guī)律的發(fā)現(xiàn)、探究和確立大多依賴實(shí)驗(yàn)[1]。物理實(shí)驗(yàn)是物理學(xué)科的基礎(chǔ),物理實(shí)驗(yàn)教學(xué)對(duì)提升學(xué)生物理核心素養(yǎng)具有重要意義[2]。由于條件制約,一些實(shí)驗(yàn)無(wú)法在課堂上進(jìn)行,只能借助課本上的圖示和課堂講授,這可能導(dǎo)致學(xué)生認(rèn)知迷航。在學(xué)校教室開(kāi)展的實(shí)驗(yàn)存在很多不容忽視的問(wèn)題,如實(shí)驗(yàn)器材設(shè)備短缺、實(shí)驗(yàn)時(shí)間受限以及對(duì)實(shí)驗(yàn)安全和費(fèi)用的顧慮等,影響學(xué)生進(jìn)行真實(shí)實(shí)驗(yàn)的效果[3]。利用信息技術(shù)手段輔助實(shí)驗(yàn)教學(xué)能夠更新實(shí)驗(yàn)教學(xué)理念、改變實(shí)驗(yàn)教學(xué)手段、優(yōu)化實(shí)驗(yàn)教學(xué)方法、突破常規(guī)實(shí)驗(yàn)儀器局限、提高實(shí)驗(yàn)教學(xué)效率[4]。
隨著計(jì)算機(jī)模擬技術(shù)的不斷發(fā)展,新型學(xué)習(xí)和實(shí)驗(yàn)方案已被開(kāi)發(fā)。虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality,VR)因其提供沉浸式體驗(yàn)和交互式操作,被認(rèn)為是教與學(xué)的重要技術(shù)之一[5]。近年來(lái),VR技術(shù)在我國(guó)基礎(chǔ)教育領(lǐng)域中廣泛應(yīng)用,對(duì)教學(xué)效果產(chǎn)生積極影響[6]。VR技術(shù)與物理實(shí)驗(yàn)教學(xué)融合發(fā)展,在物理實(shí)驗(yàn)教學(xué)中具有獨(dú)特優(yōu)勢(shì)[7]。基于VR技術(shù)的虛擬實(shí)驗(yàn)室可提供沉浸交互的實(shí)驗(yàn)教學(xué),針對(duì)資源不足、危險(xiǎn)性高或現(xiàn)實(shí)無(wú)法開(kāi)展的實(shí)驗(yàn)進(jìn)行設(shè)計(jì),實(shí)現(xiàn)以學(xué)生為主體的教學(xué)過(guò)程,從而改善學(xué)習(xí)體驗(yàn)[8]。當(dāng)前物理學(xué)習(xí)中,基于VR的學(xué)習(xí)環(huán)境大多只通過(guò)VR設(shè)備提供視覺(jué)和聽(tīng)覺(jué)體驗(yàn),而對(duì)虛擬物體的力/觸覺(jué)感知關(guān)注較少。作為VR人機(jī)交互技術(shù)中的重要分支——力反饋技術(shù),可以將虛擬物體的動(dòng)態(tài)變化以力的形式傳遞給學(xué)生,從而產(chǎn)生觸碰真實(shí)物體的感受,增加互動(dòng)性和沉浸感。目前,VR和力反饋技術(shù)的結(jié)合正在成為教育研究和實(shí)踐探索的重要領(lǐng)域,在遠(yuǎn)程學(xué)習(xí)、互動(dòng)教學(xué)和計(jì)算機(jī)模擬領(lǐng)域發(fā)揮著重要作用[9-10];適用于如醫(yī)學(xué)、物理學(xué)和生物學(xué)等教學(xué)中需要學(xué)生親身實(shí)踐以獲得經(jīng)驗(yàn)、構(gòu)建知識(shí)和掌握技能的學(xué)科。支持力反饋的沉浸式虛擬現(xiàn)實(shí)在物理實(shí)驗(yàn)和學(xué)習(xí)中具有巨大潛力。
二、研究現(xiàn)狀與相關(guān)基礎(chǔ)
(一)沉浸式VR與具身認(rèn)知理論
VR技術(shù)對(duì)學(xué)習(xí)效果的影響已經(jīng)被廣泛探討,但不同類型的VR在學(xué)習(xí)內(nèi)容方面的影響機(jī)制還有待進(jìn)一步研究[11]。通常,VR可以通過(guò)各種顯示設(shè)備,如臺(tái)式機(jī)、頭戴式顯示器或移動(dòng)設(shè)備,以及匹配的交互設(shè)備,如鍵盤、手柄或觸控筆來(lái)訪問(wèn)。沉浸程度根據(jù)采用設(shè)備的不同而不同。Mandal等人將VR分為三大類:非沉浸式桌面VR、半沉浸式VR和沉浸式VR,其中,沉浸式VR通過(guò)基于技術(shù)的多種感官刺激增強(qiáng)用戶的沉浸體驗(yàn)[12]。
沉浸式VR應(yīng)用在教育中有益于革新學(xué)習(xí)方式,構(gòu)建多樣化的學(xué)習(xí)場(chǎng)景,為學(xué)生提供與虛擬對(duì)象多感官互動(dòng)的機(jī)會(huì),而在現(xiàn)實(shí)物理世界中很難接觸到這些對(duì)象[13-14]。基于VR技術(shù)搭建的虛擬實(shí)驗(yàn)平臺(tái),可以完成傳統(tǒng)教學(xué)實(shí)驗(yàn)中難以完成的一些危險(xiǎn)性實(shí)驗(yàn)或成本較高的實(shí)驗(yàn),解決了實(shí)驗(yàn)設(shè)備及儀器不足等問(wèn)題[15]。傳統(tǒng)物理教學(xué)大多局限在一維的物理空間,而VR技術(shù)則可以拓展為物理實(shí)驗(yàn)空間和虛擬空間相融合的二維空間,在此環(huán)境中,教師無(wú)須移動(dòng)實(shí)驗(yàn)設(shè)備且能夠靈活組織教學(xué),從而提高教學(xué)效率[16]。技術(shù)和教學(xué)的結(jié)合促進(jìn)沉浸式VR在K12科學(xué)教育中的應(yīng)用[17]。學(xué)生可以通過(guò)在三維虛擬環(huán)境中與虛擬化身互動(dòng),進(jìn)一步加深對(duì)知識(shí)概念的理解[18-19]。利用沉浸式VR開(kāi)發(fā)的虛擬實(shí)驗(yàn)室可以幫助學(xué)生進(jìn)行物理、化學(xué)、地理和生物等方面的實(shí)驗(yàn),提高實(shí)踐能力[20-21]。
具身認(rèn)知理論是心智、身體和環(huán)境的一體論,認(rèn)為學(xué)習(xí)受到學(xué)生心智和身體與環(huán)境互動(dòng)方式的影響[22],VR技術(shù)能夠推動(dòng)這一有機(jī)體的融合發(fā)展[23]。具身認(rèn)知理論應(yīng)用于物理學(xué)習(xí),多感官輸入(包括視覺(jué)、聽(tīng)覺(jué)和力覺(jué))的教育模擬交互可以作為K12學(xué)習(xí)者的認(rèn)知基礎(chǔ)[24]。因此,在真實(shí)或虛擬的物理操作對(duì)象中添加模擬交互是提升學(xué)習(xí)者認(rèn)知效果的一種方式。根據(jù)具身認(rèn)知理論,支持力反饋的VR物理實(shí)驗(yàn)教學(xué)環(huán)境使學(xué)生能夠通過(guò)交互設(shè)備控制虛擬物體的運(yùn)動(dòng),并感受與物理環(huán)境相似的力反饋,從而獲得實(shí)踐經(jīng)驗(yàn),加深對(duì)物理概念和規(guī)律的理解[25]。
(二)力反饋技術(shù)及其教育應(yīng)用
力反饋技術(shù)是一種新型人機(jī)交互技術(shù),允許用戶使用設(shè)備獲得類似于真實(shí)世界的力感。力反饋設(shè)備跟蹤用戶的運(yùn)動(dòng)、進(jìn)行檢測(cè)碰撞、計(jì)算反饋力并對(duì)用戶施加力[26-27]。根據(jù)多媒體學(xué)習(xí)認(rèn)知理論中的雙通道原則,圖像和聲音可以從多感官來(lái)交互刺激學(xué)習(xí)者的記憶,若對(duì)視覺(jué)通道和聽(tīng)覺(jué)通道一次呈現(xiàn)太多的加工元素,將會(huì)超出學(xué)習(xí)者的認(rèn)知負(fù)荷而阻礙學(xué)習(xí)[28]。研究表明,力/觸覺(jué)要素可以增強(qiáng)學(xué)生在虛擬環(huán)境中的存在感,也可以平衡視覺(jué)工作記憶的壓力[29-30]。相對(duì)于無(wú)力反饋的VR環(huán)境,力反饋的加入不僅能夠給予學(xué)習(xí)者實(shí)時(shí)的動(dòng)態(tài)反饋,還能夠?yàn)閷W(xué)習(xí)者提供視、聽(tīng)、觸覺(jué)一體化的信息體驗(yàn)通道,為學(xué)習(xí)者創(chuàng)設(shè)生動(dòng)且逼真的學(xué)習(xí)情境,有效促進(jìn)技能習(xí)得和實(shí)踐能力[31];同時(shí),力反饋可以幫助創(chuàng)造虛擬或想象的空間,刺激學(xué)習(xí)者對(duì)未發(fā)生的事物進(jìn)行想象和思考,促進(jìn)有意義學(xué)習(xí)的發(fā)生[32]。
力反饋技術(shù)已經(jīng)被應(yīng)用于部分虛擬學(xué)習(xí)環(huán)境中的物理實(shí)驗(yàn)和教學(xué),豐富和改善學(xué)生的體驗(yàn)[24-25, 33-36]。實(shí)驗(yàn)證明,三維VR物理實(shí)驗(yàn)教學(xué)環(huán)境能夠給學(xué)生提供更優(yōu)質(zhì)的學(xué)習(xí)過(guò)程體驗(yàn),調(diào)動(dòng)學(xué)習(xí)主動(dòng)性,提高學(xué)習(xí)興趣;同時(shí),力反饋功能可以顯著改善學(xué)生在三維交互過(guò)程中的沉浸感,有助于提升學(xué)習(xí)專注度,進(jìn)而加深對(duì)知識(shí)的理解[37]。已有研究探索了虛擬學(xué)習(xí)環(huán)境中關(guān)于力反饋對(duì)學(xué)生物理學(xué)習(xí)表現(xiàn)和態(tài)度的影響,Civelek等人對(duì)215名K12學(xué)生進(jìn)行“太陽(yáng)系中的重力”評(píng)估實(shí)驗(yàn),結(jié)果表明,與傳統(tǒng)課堂教學(xué)相比,使用力反饋對(duì)學(xué)生表現(xiàn)和學(xué)習(xí)質(zhì)量有明顯的積極影響[33];Neri等人的研究表明,如果沒(méi)有適當(dāng)?shù)脑O(shè)計(jì),一些物理力學(xué)概念在觸覺(jué)場(chǎng)景中是不適用的[34];張文娟等人在一項(xiàng)心理運(yùn)動(dòng)能力測(cè)試中則發(fā)現(xiàn),受試者在有力反饋的沉浸式學(xué)習(xí)環(huán)境中效率偏低[38]。
綜上所述,VR物理實(shí)驗(yàn)教學(xué)中力反饋是否能增強(qiáng)學(xué)生的虛擬存在感、提高學(xué)生的交互效率,并對(duì)他們的學(xué)習(xí)結(jié)果產(chǎn)生顯著的知識(shí)增益,尚無(wú)定論,仍需進(jìn)一步探討。
三、基于K12物理實(shí)驗(yàn)教學(xué)的VR場(chǎng)景
設(shè)計(jì)與開(kāi)發(fā)
(一)K12物理實(shí)驗(yàn)教學(xué)案例的選取
在K12物理教學(xué)中,“牛頓運(yùn)動(dòng)定律”與“滑動(dòng)摩擦力”十分重要。由于力的抽象性,無(wú)論在傳統(tǒng)物理教學(xué)中,還是大多數(shù)VR學(xué)習(xí)環(huán)境中,學(xué)生都難以確切感知力的效果與規(guī)律。本研究將力反饋技術(shù)應(yīng)用于沉浸式學(xué)習(xí)環(huán)境中,以“牛頓運(yùn)動(dòng)定律”和“動(dòng)摩擦系數(shù)”作為典型教學(xué)案例,以期加強(qiáng)學(xué)生對(duì)物理知識(shí)的理解和運(yùn)用。
牛頓運(yùn)動(dòng)定律案例中涉及的概念知識(shí)包括牛頓第二定律和牛頓第三定律。牛頓第二定律給出加速度和力之間的關(guān)系,即一定質(zhì)量的物體的加速度與外力成比例。牛頓第三定律說(shuō)明作用力和反作用力之間的關(guān)系,即它們大小相等、方向相反,作用在同一物體上。動(dòng)摩擦系數(shù)案例中涉及的知識(shí)包括:斜面上物體同時(shí)受到重力、彈力和摩擦力的合力影響;彈力方向與物體的變形方向相反;滑動(dòng)摩擦力方向與相對(duì)運(yùn)動(dòng)或趨勢(shì)的方向相反,其大小與動(dòng)摩擦系數(shù)和正壓力成正比,其中,動(dòng)摩擦系數(shù)只與接觸表面的材料和粗糙度有關(guān)。
(二)支持力反饋的VR虛擬實(shí)驗(yàn)場(chǎng)景設(shè)計(jì)
本研究設(shè)計(jì)開(kāi)發(fā)了一套支持力反饋的VR沉浸式物理學(xué)習(xí)系統(tǒng),具體設(shè)計(jì)思路見(jiàn)表1。
依據(jù)教學(xué)案例,設(shè)計(jì)開(kāi)發(fā)牛頓運(yùn)動(dòng)定律和動(dòng)摩擦系數(shù)兩個(gè)虛擬實(shí)驗(yàn)場(chǎng)景。學(xué)生可通過(guò)Geomagic Touch設(shè)備的操縱桿感受三種力的存在,包括重力、彈力和摩擦力。
1. 牛頓運(yùn)動(dòng)定律虛擬實(shí)驗(yàn)場(chǎng)景
首先,學(xué)習(xí)者通過(guò)操縱桿將紅色小球提起,順著軌道放入大炮內(nèi)。其次,通過(guò)操縱桿拉動(dòng)左下方綠色的彈簧拉力器,根據(jù)拉動(dòng)力的大小,大炮會(huì)對(duì)小球施加對(duì)應(yīng)大小的力,使其飛出炮口作拋物線運(yùn)動(dòng);同時(shí),大炮也會(huì)因受到反作用力后退,推動(dòng)懸掛指針旋轉(zhuǎn)。大炮對(duì)小球施加力有多大,受到的反作用力就多大。小球受到力越大,則加速度越大,獲得初速度就越大,因此,飛出炮口速度和距離就越遠(yuǎn)。借助力反饋,可以加深學(xué)習(xí)者對(duì)牛頓第二、第三定律的理解。
2. 動(dòng)摩擦系數(shù)虛擬實(shí)驗(yàn)場(chǎng)景
學(xué)習(xí)者通過(guò)操縱桿按壓斜面感受彈力和摩擦力的存在,同時(shí),通過(guò)操縱桿移動(dòng)長(zhǎng)方體塊使其從斜面上滑下。三個(gè)斜面的大小、傾角相同,但滑動(dòng)摩擦系數(shù)不同。學(xué)習(xí)者通過(guò)力反饋設(shè)備操縱桿移動(dòng)長(zhǎng)方體塊,并通過(guò)觀察其下滑的速度和距離來(lái)感受不同摩擦系數(shù)帶來(lái)的影響。
3. 力反饋設(shè)計(jì)
學(xué)習(xí)者通過(guò)移動(dòng)小球、滑塊以及拉動(dòng)彈簧拉桿等操作,真實(shí)模擬實(shí)際操作過(guò)程。系統(tǒng)使用力反饋設(shè)備Geomagic Touch,基于其提供的OpenHaptics工具包,通過(guò)操縱桿與學(xué)習(xí)者進(jìn)行交互,將反饋力作用于學(xué)習(xí)者,使其產(chǎn)生感受力覺(jué),并隨時(shí)改變操作策略?;陬A(yù)先設(shè)定的重力和摩擦系數(shù),系統(tǒng)將實(shí)時(shí)計(jì)算的反饋力通過(guò)力反饋設(shè)備傳遞作用到學(xué)習(xí)者。
四、準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)與實(shí)施
(一)問(wèn)題提出與研究假設(shè)
假設(shè)1:VR物理實(shí)驗(yàn)教學(xué)中合適的力反饋設(shè)計(jì)可以增強(qiáng)學(xué)生在虛擬環(huán)境中的存在感。
假設(shè)2:VR物理實(shí)驗(yàn)教學(xué)中合適的力反饋設(shè)計(jì)可以提高學(xué)生的交互效率。
假設(shè)3:VR物理實(shí)驗(yàn)教學(xué)中合適的力反饋設(shè)計(jì)能讓學(xué)習(xí)者產(chǎn)生顯著的知識(shí)增益。
(二)研究對(duì)象與實(shí)驗(yàn)設(shè)備
招募38名大學(xué)本科生(24名女性和14名男性,平均年齡為19.9歲),并隨機(jī)分配到實(shí)驗(yàn)(力覺(jué))組和對(duì)照(無(wú)力覺(jué))組,每組學(xué)生分別有19人。兩組都使用操縱桿交互,但實(shí)驗(yàn)組與模型互動(dòng)時(shí)啟用力反饋,而對(duì)照組則不會(huì)啟用力反饋。所有學(xué)生都自愿參加本研究,并且具備相似的教育背景。
實(shí)驗(yàn)設(shè)備包括:電腦(CPU Intel CoreTM i7-10875H,16GB內(nèi)存,NVIDIA GeForce RTXTM 2080顯卡和1TB SSD硬盤)、VR設(shè)備(HTC Vive)、力反饋設(shè)備(Geomagic Touch)。為了評(píng)估該系統(tǒng)的有效性,進(jìn)行了基于用戶的評(píng)價(jià)實(shí)驗(yàn)。
(三)實(shí)驗(yàn)流程
首先,收集學(xué)生的人口統(tǒng)計(jì)學(xué)信息,以及先前使用VR設(shè)備和力反饋設(shè)備的經(jīng)驗(yàn)。隨后,進(jìn)行相關(guān)物理概念知識(shí)的前測(cè)。在正式實(shí)驗(yàn)之前,讓每個(gè)學(xué)生練習(xí)如何使用這些設(shè)備,并觀看介紹整個(gè)交互任務(wù)的演示視頻。實(shí)驗(yàn)組和對(duì)照組與模型進(jìn)行互動(dòng),完成同樣任務(wù)。共有兩個(gè)任務(wù):(1)在牛頓運(yùn)動(dòng)定律案例中,首先,沿著軌道拾取小紅球并投入炮口;然后,拉動(dòng)彈簧拉力器,使小球射出大炮。該過(guò)程是一次完整交互,要求每個(gè)學(xué)生成功完成兩次。(2)在動(dòng)摩擦系數(shù)案例中,首先,要求用操縱桿觸摸三種不同材料的斜面,感受彈力和摩擦力(木頭>石英>玻璃);其次,控制滑塊從三個(gè)斜坡上滑下,感受不同動(dòng)摩擦系數(shù)下的滑行速度差異。
以錄屏方式記錄參與者在交互任務(wù)期間與模型的交互行為,并分析其交互準(zhǔn)確率及任務(wù)完成時(shí)間等任務(wù)績(jī)效。在完成正式實(shí)驗(yàn)的學(xué)習(xí)任務(wù)之后,次日對(duì)學(xué)生進(jìn)行知識(shí)后測(cè),以避免即時(shí)記憶。所有調(diào)查問(wèn)卷通過(guò)問(wèn)卷星發(fā)放,學(xué)生通過(guò)掃描二維碼填寫調(diào)查問(wèn)卷。交互數(shù)據(jù)在軟件幫助下收集。
(四)測(cè)量指標(biāo)
為了評(píng)估力反饋學(xué)習(xí)效果的有效性,采用概念知識(shí)前后測(cè)以及存在感問(wèn)卷進(jìn)行評(píng)估。
1. 知識(shí)前后測(cè)
在中學(xué)物理教師的指導(dǎo)下,知識(shí)前測(cè)和后測(cè)問(wèn)卷題項(xiàng)均選自真實(shí)和經(jīng)典的初中物理試題,二者均包含5個(gè)涉及牛頓第三定律知識(shí)點(diǎn)的題項(xiàng),2個(gè)涉及牛頓第二定律知識(shí)點(diǎn)的題項(xiàng),3個(gè)涉及摩擦力知識(shí)點(diǎn)的題項(xiàng)。每個(gè)題項(xiàng)所考察的知識(shí)點(diǎn)與力反饋學(xué)習(xí)任務(wù)緊密相關(guān),以衡量參與者的知識(shí)掌握情況。前測(cè)和后測(cè)問(wèn)卷題項(xiàng)所考察的知識(shí)點(diǎn)完全相同,但其文字?jǐn)⑹龇绞讲灰恢拢鬁y(cè)題項(xiàng)還考慮到知識(shí)點(diǎn)的遷移,與現(xiàn)實(shí)生活中的現(xiàn)象聯(lián)系更加緊密,同時(shí)盡可能與前測(cè)題項(xiàng)的難度保持一致。
2. 存在感問(wèn)卷
Witmer和Singer首次使用問(wèn)卷確定虛擬環(huán)境中的存在感,將其描述為控制、感覺(jué)、分心和現(xiàn)實(shí)主義四個(gè)因素,其問(wèn)卷被廣泛用于評(píng)估各類虛擬系統(tǒng)中的存在感,有效性得到多方驗(yàn)證[39]。后來(lái)Hite等人改編Witmer和Singer的問(wèn)卷,將其用于評(píng)估使用3D、觸覺(jué)交互的VR教學(xué)系統(tǒng)[40]。本研究采用Hite等的問(wèn)卷,從原本包含62個(gè)6點(diǎn)Likert量表題項(xiàng)的問(wèn)卷中,保留關(guān)于“力覺(jué)感知”相關(guān)題項(xiàng),刪減其他題項(xiàng)后形成“存在感”問(wèn)卷——包含33個(gè)6點(diǎn)李克特量表題項(xiàng)(1~6對(duì)應(yīng)強(qiáng)烈不贊同到強(qiáng)烈贊同,部分題項(xiàng)進(jìn)行反向設(shè)計(jì)),旨在記錄參與者對(duì)控制、感覺(jué)、分心和現(xiàn)實(shí)主義四個(gè)方面的感知,見(jiàn)表2,以評(píng)估實(shí)驗(yàn)組和對(duì)照組在完成任務(wù)期間的存在感。
(五)數(shù)據(jù)分析
計(jì)算知識(shí)前后測(cè)得分和、調(diào)查問(wèn)卷的平均分和標(biāo)準(zhǔn)差。為了比較力反饋對(duì)學(xué)生物理概念知識(shí)增益的有效性,進(jìn)行配對(duì)t檢驗(yàn),以評(píng)估平均結(jié)果差異的統(tǒng)計(jì)意義。此外,進(jìn)行Mann-Whitney's U檢驗(yàn)(雙尾,α=0.05)以確定各組在存在感調(diào)查問(wèn)卷和交互數(shù)據(jù)上的顯著性差異,并對(duì)問(wèn)卷的每個(gè)子項(xiàng)進(jìn)行可靠性驗(yàn)證(Cronbach's alpha)。
共有38名學(xué)生完成實(shí)驗(yàn)并填寫調(diào)查問(wèn)卷表,使用SPSS 25對(duì)問(wèn)卷調(diào)查數(shù)據(jù)進(jìn)行分析。18名學(xué)生(47.4%)表示他們之前從未使用過(guò)VR設(shè)備,19名學(xué)生(50.0%)偶爾使用過(guò)VR設(shè)備,1名學(xué)生(2.6%)表示之前有豐富的VR使用經(jīng)驗(yàn)。同時(shí),只有3名學(xué)生(7.9%)表示之前有一些使用力反饋設(shè)備的經(jīng)驗(yàn),其余35名學(xué)生(92.1%)之前從未使用過(guò)力反饋設(shè)備。
對(duì)知識(shí)前后測(cè)得分進(jìn)行配對(duì)t檢驗(yàn)(見(jiàn)表3)。用后測(cè)的平均分減去前測(cè)的平均分作為兩組的知識(shí)增益。結(jié)果顯示,實(shí)驗(yàn)組和對(duì)照組的知識(shí)增益分別為0.26和0.89。配對(duì)t檢驗(yàn)表明,兩組學(xué)生的知識(shí)增益沒(méi)有統(tǒng)計(jì)學(xué)上的顯著差異。
用Mann-Whitney's U檢驗(yàn)(雙尾,α=0.05)比較實(shí)驗(yàn)組和對(duì)照組的存在感得分。為了確保數(shù)據(jù)的一致性,對(duì)8個(gè)條目進(jìn)行反向評(píng)分。計(jì)算每組Cronbach's alpha以檢查其內(nèi)部一致性。實(shí)驗(yàn)組Cronbach's alpha在四個(gè)因素上分別為0.855、0.771、0.838和0.805,整體為0.918。對(duì)照組在四個(gè)因素上分別為0.832、0.901、0.879和0.777,整體為0.937。當(dāng)值大于0.9時(shí),其信度為優(yōu)秀。圖1顯示實(shí)驗(yàn)組和對(duì)照組存在感四個(gè)因素的平均等級(jí)。結(jié)果表明,實(shí)驗(yàn)組在每個(gè)因素上都得到更高的分?jǐn)?shù)。
表4為實(shí)驗(yàn)組和對(duì)照組存在感四個(gè)因素的得分差異。兩組之間的差異并不顯著。但“現(xiàn)實(shí)主義”因素的p值(p=0.020)表明,實(shí)驗(yàn)組的“現(xiàn)實(shí)主義”因素得分明顯高于對(duì)照組。
表5為實(shí)驗(yàn)組和對(duì)照組每個(gè)案例的交互時(shí)間和準(zhǔn)確率。在兩個(gè)案例中,與對(duì)照組相比,實(shí)驗(yàn)組的交互時(shí)間更短,準(zhǔn)確率更高。交互時(shí)間越短,系統(tǒng)的可用性就越好,而準(zhǔn)確率越高,系統(tǒng)就越有效。
表6為實(shí)驗(yàn)組和對(duì)照組在交互時(shí)間和準(zhǔn)確率方面的差異。實(shí)驗(yàn)組和對(duì)照組在牛頓運(yùn)動(dòng)定律案例的交互時(shí)間和準(zhǔn)確率上有顯著差異。然而,在動(dòng)摩擦系數(shù)案例的交互時(shí)間和準(zhǔn)確率方面,兩組之間沒(méi)有顯著差異。但兩組之間的總交互時(shí)間和準(zhǔn)確率有顯著差異。
五、結(jié)果討論與啟示
本研究設(shè)計(jì)和開(kāi)發(fā)了一個(gè)支持力反饋的VR物理實(shí)驗(yàn)教學(xué)系統(tǒng),并探討了力反饋技術(shù)對(duì)學(xué)生學(xué)習(xí)效果、存在感和交互效率等的影響,為力反饋在VR教學(xué)中的應(yīng)用提供了一定參考。研究結(jié)果表明,使用力反饋技術(shù),學(xué)生的真實(shí)感和互動(dòng)效率都得到了提高。
(一)結(jié)果討論
1. 力反饋技術(shù)應(yīng)用在兩個(gè)案例中對(duì)“知識(shí)增益”并沒(méi)有產(chǎn)生顯著的積極作用
經(jīng)訪談和分析得出可能的原因如下:一是疫情防控期間,由于很難在中學(xué)招募到被試,準(zhǔn)實(shí)驗(yàn)只能選取大學(xué)本科生作為被試。大部分學(xué)生對(duì)案例涉及的物理概念知識(shí)的先前掌握水平較高,這可能是影響學(xué)習(xí)效果的關(guān)鍵因素。所有學(xué)生在中學(xué)期間都曾學(xué)習(xí)過(guò)相關(guān)的物理基礎(chǔ)概念知識(shí),雖然在實(shí)驗(yàn)開(kāi)始前存在不同程度的遺忘,但整體的先前知識(shí)水平仍然較高。二是系統(tǒng)存在抖動(dòng)、操作范圍有限和硬件本身在操作過(guò)程中造成的定位器卡頓等問(wèn)題,這可能會(huì)給學(xué)生帶來(lái)干擾。三是VR沉浸式學(xué)習(xí)系統(tǒng)本身的視覺(jué)沉浸感強(qiáng),學(xué)生也可以通過(guò)觀察虛擬環(huán)境中發(fā)生的現(xiàn)象來(lái)獲得相關(guān)物理概念知識(shí)。
2. 動(dòng)摩擦系數(shù)虛擬實(shí)驗(yàn)中交互行為數(shù)據(jù)結(jié)果表明,交互時(shí)間和準(zhǔn)確性在兩組之間沒(méi)有明顯差異
牛頓運(yùn)動(dòng)定律虛擬實(shí)驗(yàn)中,在力反饋激活的情況下,學(xué)生完成任務(wù)的準(zhǔn)確性明顯更高,可以表明系統(tǒng)的有效性。Sch?觟nborn等人的研究表明,激活力反饋后,最終模型之間的對(duì)接位置更加準(zhǔn)確[29]。與沒(méi)有力反饋技術(shù)應(yīng)用的虛擬環(huán)境相比,力覺(jué)模擬提供一個(gè)視覺(jué)之外的觸覺(jué)“空間”,它更多地被限制在模型的可達(dá)位置,從而節(jié)省控制模型移動(dòng)的時(shí)間,減少錯(cuò)誤移動(dòng)的次數(shù)。但是動(dòng)摩擦系數(shù)虛擬實(shí)驗(yàn)中交互時(shí)間和準(zhǔn)確性在兩組之間沒(méi)有明顯差異。Vélaz等人認(rèn)為,力反饋組的學(xué)生實(shí)際完成任務(wù)的時(shí)間與視頻組的學(xué)生沒(méi)有明顯區(qū)別[41]。究其原因,在牛頓運(yùn)動(dòng)定律虛擬實(shí)驗(yàn)中,力覺(jué)“空間”約束更加精確,而動(dòng)摩擦系數(shù)虛擬實(shí)驗(yàn)中則沒(méi)有提供太多的力覺(jué)“空間”約束。因此,在用力反饋技術(shù)設(shè)計(jì)學(xué)習(xí)任務(wù)時(shí),應(yīng)同時(shí)提供視覺(jué)以外的信息,輔助提升學(xué)習(xí)者的交互效率。
(二)對(duì)VR沉浸式學(xué)習(xí)研究與教學(xué)設(shè)計(jì)的啟示
1. 注重借助力反饋技術(shù)促進(jìn)VR沉浸式學(xué)習(xí)體驗(yàn)提升
根據(jù)存在感調(diào)查問(wèn)卷結(jié)果,力反饋技術(shù)在增強(qiáng)現(xiàn)實(shí)主義感方面具有優(yōu)勢(shì)。由于使用相同的硬件界面進(jìn)行交互,力反饋并不影響學(xué)生對(duì)虛擬環(huán)境的控制、感覺(jué)和分心三個(gè)因素上的感知。而現(xiàn)實(shí)主義因素指虛擬環(huán)境與真實(shí)世界的相似性和模擬的一致性[39]。力反饋模擬現(xiàn)實(shí)的物理場(chǎng)景,允許用戶使用觸覺(jué)設(shè)備獲得類似于真實(shí)世界的力覺(jué)感知,讓系統(tǒng)與真實(shí)世界更接近。研究表明,在虛擬環(huán)境中提供更好感官反饋會(huì)使學(xué)生對(duì)虛擬環(huán)境的感知更加真實(shí)[42]。實(shí)驗(yàn)結(jié)果與Jones等人的研究結(jié)果一致,即力覺(jué)感知可提高學(xué)生對(duì)虛擬學(xué)習(xí)環(huán)境的真實(shí)感[43]。因此,對(duì)于目前一些沉浸體驗(yàn)不佳的非觸覺(jué)虛擬現(xiàn)實(shí)教學(xué)系統(tǒng),可以適當(dāng)考慮借助力反饋技術(shù),及時(shí)、豐富的感官反饋將有利于提升學(xué)生的學(xué)習(xí)體驗(yàn)。
2. 注重利用力反饋技術(shù)提高學(xué)習(xí)任務(wù)的合理性
Webb等人研究表明,關(guān)閉力反饋后,學(xué)生能夠通過(guò)視覺(jué)提示彌補(bǔ)力反饋的不足[44]。然而,Lontschar等人認(rèn)為,簡(jiǎn)單任務(wù)(如投擲重物)的力觸覺(jué)反饋給學(xué)生帶來(lái)更大壓力,需要合理設(shè)計(jì)任務(wù)和改進(jìn)技術(shù)[45]。研究表明,互動(dòng)不直觀可能會(huì)增加學(xué)生的認(rèn)知負(fù)荷,降低其對(duì)任務(wù)的注意力,從而影響學(xué)習(xí)效果[45]。因此,在實(shí)際的物理實(shí)驗(yàn)教學(xué)應(yīng)用中,VR沉浸式學(xué)習(xí)系統(tǒng)的設(shè)計(jì)也同樣遵循“教無(wú)定法”的規(guī)律,應(yīng)充分考量不同的學(xué)習(xí)受眾、學(xué)科背景下教學(xué)目標(biāo)、受眾學(xué)情的差異化,從而在學(xué)習(xí)任務(wù)設(shè)計(jì)中更好地利用力反饋設(shè)備,兼顧學(xué)習(xí)者在學(xué)習(xí)效果、感知體驗(yàn)、交互效率和認(rèn)知負(fù)荷之間的平衡。
3. 注重提升VR沉浸式學(xué)習(xí)系統(tǒng)的智能性,提供學(xué)習(xí)腳手架
通過(guò)研究人員在實(shí)驗(yàn)期間的觀察發(fā)現(xiàn),在沒(méi)有額外提示和強(qiáng)調(diào)的情況下,大多數(shù)學(xué)生只專注于完成交互任務(wù)而不是學(xué)習(xí)知識(shí)本身。系統(tǒng)帶來(lái)視覺(jué)和力覺(jué)上的刺激,讓學(xué)生的感官沉浸其中,如果缺少適切的“認(rèn)知導(dǎo)航”協(xié)助充當(dāng)學(xué)習(xí)腳手架的角色,學(xué)習(xí)者很容易忽略交互任務(wù)與概念知識(shí)之間的關(guān)系建構(gòu)。系統(tǒng)可以通過(guò)增加一些提示線索和輔助手段來(lái)促進(jìn)和強(qiáng)化知識(shí)建構(gòu),以更好地說(shuō)明力和概念知識(shí)之間的關(guān)系[34]。同時(shí)應(yīng)當(dāng)注重提升VR沉浸式學(xué)習(xí)系統(tǒng)的智能性,例如:未來(lái)加入基于眼動(dòng)數(shù)據(jù)的行為預(yù)測(cè)和知識(shí)地圖導(dǎo)航,可能對(duì)學(xué)習(xí)者的學(xué)習(xí)效果更有裨益。
六、結(jié)? ?語(yǔ)
本研究開(kāi)發(fā)了支持力反饋的VR沉浸式學(xué)習(xí)系統(tǒng),通過(guò)準(zhǔn)實(shí)驗(yàn)探討力反饋技術(shù)在VR物理實(shí)驗(yàn)教學(xué)中對(duì)學(xué)生的學(xué)習(xí)效果、存在感和交互效率的影響。準(zhǔn)實(shí)驗(yàn)結(jié)果表明,激活力反饋有助于增強(qiáng)學(xué)生在虛擬環(huán)境中的真實(shí)感,有助于學(xué)生定位可達(dá)的運(yùn)動(dòng)位置,從而更有效地完成移動(dòng)模型的任務(wù)。但對(duì)大學(xué)生學(xué)習(xí)案例所涉及的物理知識(shí)增益沒(méi)有明顯的影響。通過(guò)數(shù)據(jù)分析與比對(duì)、訪談剖析等,探究了實(shí)驗(yàn)假設(shè)中的關(guān)鍵因素和可能因素,并基于此進(jìn)一步提出了對(duì)VR沉浸式學(xué)習(xí)研究與教學(xué)設(shè)計(jì)的幾點(diǎn)啟示。
未來(lái),將持續(xù)在VR沉浸式學(xué)習(xí)與人機(jī)交互式學(xué)習(xí)方向開(kāi)展實(shí)證研究,并在被試選擇及樣本量、學(xué)習(xí)時(shí)間、場(chǎng)景設(shè)計(jì)、技術(shù)精度等方面進(jìn)一步優(yōu)化,同時(shí),充分參照建構(gòu)主義、具身認(rèn)知、認(rèn)知負(fù)荷和最近發(fā)展區(qū)等理論,設(shè)計(jì)個(gè)性化的學(xué)習(xí)任務(wù)集和合理的視聽(tīng)覺(jué)線索提示、空間約束等輔助手段,幫助學(xué)生在高質(zhì)量的沉浸式學(xué)習(xí)體驗(yàn)中實(shí)現(xiàn)高效率協(xié)同知識(shí)建構(gòu)。
[參考文獻(xiàn)]
[1] 羅秋芳. 高中物理實(shí)驗(yàn)教學(xué)的思考與探索[J]. 物理教師,2015,36(8):32-35.
[2] 黃曉,項(xiàng)于晴,汪曉東. 聚焦新課標(biāo)與新教材把握高中物理實(shí)驗(yàn)教學(xué)方向[J]. 物理實(shí)驗(yàn),2023,43(3):50-56.
[3] YANG K Y, HEH J S. The impact of internet virtual physics laboratory instruction on the achievement in physics, science process skills and computer attitudes of 10th-grade students [J]. Journal of science education and technology, 2007, 16 (5):451-461.
[4] 李春密,俞曉明,鄭少山. 中學(xué)物理實(shí)驗(yàn)教學(xué)研究[M]. 北京: 北京師范大學(xué)出版社,2018.
[5] 趙一鳴,郝建江,王海燕,等. 虛擬現(xiàn)實(shí)技術(shù)教育應(yīng)用研究演進(jìn)的可視化分析[J]. 電化教育研究,2016,37(12):26-33.
[6] 羅恒,馮秦娜,李格格,等. 虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于基礎(chǔ)教育的研究綜述(2000—2019年)[J]. 電化教育研究,2021,42(5):77-85.
[7] 孫春艷. 基于VR技術(shù)物理實(shí)驗(yàn)教學(xué)策略分析[J]. 科技視界,2022(12):11-13.
[8] 沈陽(yáng),逯行,曾海軍. 虛擬現(xiàn)實(shí):教育技術(shù)發(fā)展的新篇章——訪中國(guó)工程院院士趙沁平教授[J]. 電化教育研究,2020,41(1):5-9.
[9] THEMELIS C, SIME J A. From video-conferencing to holoportation and haptics: how emerging technologies can enhance presence in online education? [M]// YU S, ALLY M,? TSINAKOS A. Emerging technologies and pedagogies in the curriculum. Singapore: Springer, 2020:261-276.
[10] 韓奇.基于VR的初中物理虛擬實(shí)驗(yàn)室設(shè)計(jì)[J].中國(guó)教育技術(shù)裝備,2020(9):29-31.
[11] PARONG J, MAYER R E. Learning science in immersive virtual reality[J]. Journal of educational psychology, 2018,110(6):785-797.
[12] MANDAL S. Brief introduction of virtual reality & its challenges[J]. International journal of scientific & engineering research, 2013, 4(4):304-309.
[13] FREINA L, OTT M. A literature review on immersive virtual reality in education: state of the art and perspectives[C]// The 11th International Scientifc Conference Elearning and Software for Education(eLSE). Bucharest, Romania:ADL Romania, 2015:133-141.
[14] 何聚厚,梁瑞娜,肖鑫,等. 基于沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系設(shè)計(jì)[J]. 電化教育研究,2018,39(3):75-81.
[15] 鄭珂,李新暉. 基于VR的初中物理仿真實(shí)驗(yàn)案例設(shè)計(jì)與研究[J]. 中國(guó)教育技術(shù)裝備,2020(15):111-114.
[16] 李偉,蔡燃,宋偉. 虛擬仿真實(shí)驗(yàn)在中學(xué)物理教學(xué)的應(yīng)用實(shí)例:以《歐姆定律》課程為例[J]. 中國(guó)教育信息化,2021(24):35-39.
[17] GEORGIOU Y, TSIVITANIDOU O, IOANNOU A. Learning experience design with immersive virtual reality in physics education[J]. Educational technology research and development, 2021, 69(6):3051-3080.
[18] 周世杰,吉家成,王華. 虛擬仿真實(shí)驗(yàn)教學(xué)中心建設(shè)與實(shí)踐[J]. 計(jì)算機(jī)教育,2015(9):5-11.
[19] HEW K F, CHEUNG W S. Use of three-dimensional (3-D) immersive virtual worlds in K-12 and higher education settings: a review of the research[J]. British journal of educational technology, 2010, 41(1):33-55.
[20] SANFILIPPO F, BLAZAUSKAS T, SALVIETTI G, et al. A perspective review on integrating VR/AR with haptics into stem education for multi-sensory learning[J]. Robotics, 2022,11(2):41-61.
[21] 沈夏林,楊葉婷.空間圖式:沉浸式虛擬現(xiàn)實(shí)促進(jìn)地理空間認(rèn)知[J].電化教育研究,2020,41(5):96-103.
[22] WILSON M. Six views of embodied cognition[J]. Psychonomic bulletin & review, 2002,9(4):625-636.
[23] 阿巖松,高志軍. VR在初中物理實(shí)驗(yàn)的設(shè)計(jì)與應(yīng)用研究——以初中物理凹透鏡成像原理為例[J].信息技術(shù)與信息化,2018(8):126-129.
[24] HAN I, BLACK J B. Incorporating haptic feedback in simulation for learning physics[J]. Computers & education, 2011,57(4):2281-2290.
[25] MINAKER G, SCHNEIDER O, DAVIS R, et al. HandsOn: enabling embodied, creative STEM e-learning with programming-free force feedback[C]//Haptics: perception, devices, control, and applications. London, UK:Springer,2016:427-437.
[26] MASSIE T H, SALISBURY J K. The phantom haptic interface: a device for probing virtual objects[C]//Dynamic systems and control division. New York, USA:IEEE, 1994:295-300.
[27] 王黨校,焦健,張玉茹,等.計(jì)算機(jī)觸覺(jué):虛擬現(xiàn)實(shí)環(huán)境的力觸覺(jué)建模和生成[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2016,28(6):881-895.
[28] RUDOLPH M. Cognitive theory of multimedia learning[J]. Journal of online higher education, 2017,1(2):1-10.
[29] SCH?魻NBORN K J,BIVALL P,TIBELL L A E. Exploring relationships between students' interaction and learning with a haptic virtual biomolecular model[J]. Computers & education, 2011,57(3):2095-2105.
[30] HITE R L. Perceptions of virtual presence in 3-D, haptic-enabled, virtual reality science instruction[D]. North Carolina, USA:North Carolina State University, 2016.
[31] 沈陽(yáng),王兆雪,潘俊君,等. 虛擬現(xiàn)實(shí)學(xué)習(xí)環(huán)境下力反饋交互促進(jìn)技能習(xí)得的實(shí)驗(yàn)研究[J]. 電化教育研究,2021,42(9):76-83.
[32] 翟雪松,孫玉璉,沈陽(yáng),等. “虛擬現(xiàn)實(shí)+觸覺(jué)反饋”對(duì)學(xué)習(xí)效率的促進(jìn)機(jī)制研究——基于2010—2021年的元分析[J]. 遠(yuǎn)程教育雜志,2021,39(5):24-33.
[33] CIVELEK T, UCAR E, USTUNEL H, et al. Effects of a haptic augmented simulation on K-12 students' achievement and their attitudes towards physics[J]. Eurasia journal of mathematics, science and technology education, 2014,10(6):565-574.
[34] NERI L, NOGUEZ J, ROBLEDO-RELLA V, et al. Teaching classical mechanics concepts using visuo-haptic simulators[J]. Journal of educational technology & society, 2018,21(2):85-97.
[35] MAGANA A J, SERRANO M I, REBELLO N S. A sequenced multimodal learning approach to support students' development of conceptual learning[J]. Journal of computer assisted learning, 2019,35(4):516-528.
[36] YUKSEL T, WALSH Y, MAGANA A J, et al. Visuohaptic experiments: exploring the effects of visual and haptic feedback on students' learning of friction concepts[J]. Computer applications in engineering education, 2019,27(6):1376-1401.
[37] 鄭明鈺,李家和,張晗,等. 持力反饋的VR物理實(shí)驗(yàn)教學(xué)環(huán)境的構(gòu)建[J].圖學(xué)學(xué)報(bào),2021,42(1):79-86.
[38] ZHANG W, MA W, BRANDAO M, et al. Biometric validation of a virtual reality-based psychomotor test for motor skill training[J]. Assistive technology, 2016,28(4):233-241.
[39] WITMER B G, SINGER M J. Measuring presence in virtual environments: a presence questionnaire[J]. Presence, 1998,7(3):225-240.
[40] HITE R L, JONES M G, CHILDERS G M, et al. Investigating potential relationships between adolescents' cognitive development and perceptions of presence in 3-D, haptic-enabled, virtual reality science instruction[J]. Journal of science education and technology, 2019,28(3):265-284.
[41] V?魪LAZ Y, ARCE J R, GUTI?魪RREZ T, et al. The influence of interaction technology on the learning of assembly tasks using virtual reality[J]. Journal of computing and information science in engineering, 2014,14(4):41007-41016.
[42] STEUER J. Defining virtual reality: dimensions determining telepresence[J]. Journal of communication, 1992,42(4):73-93.
[43] JONES M G, HITE R, CHILDERS G, et al. of presence in 3-D, haptic-enabled, virtual reality instruction[J]. International journal of education and information technologies,2016,10(1):73-81.
[44] WEBB M, TRACEY M, HARWIN W, et al. Haptic-enabled collaborative learning in virtual reality for schools[J]. Education and information technologies, 2022,27(1):937-960.
[45] LONTSCHAR S, DEEGAN D, HUMER I, et al. Analysis of haptic feedback and its influences in virtual reality learning environments[C]//2020 6th International Conference of the Immersive Learning Research Network (iLRN). California, USA: IEEE, 2020:171-177.
Research on Human-Computer Interaction Technology in
Virtual Reality Immersive Learning
—A Case of K12 Physics Experiment Teaching
SHEN Yang1,? JI Hailin2,? YE Xinyi2,? MENG Qifan2,? LUO Yanlin2
(1.Collaborative Innovation Center of Assessment for Basic Education Quality, Beijing Normal University, Beijing 100875; 2.School of Artificial Intelligence, Beijing Normal University, Beijing 100875)
[Abstract] Traditional physics experiment teaching suffers from dilemmas such as limited experimental equipment, boring teaching content and insufficient participation of students. Immersive learning based on virtual reality technology (hereinafter referred to as VR) takes students as the main body, provides immersive, interactive and reusable learning experience, and can well break through the bottleneck of the current traditional experiment teaching. Aiming at the common problems such as lack of presence and limited interactive experience in current virtual learning environments, this study focuses on the application of human-computer interaction technology in immersive learning and the impact of the learners' force/tactile experience on experimental learning results. The force feedback in VR interactive technology is introduced into the design of K12 physics experiment teaching scenarios, and the application effect of force feedback in immersive learning is evaluated through quasi-experiment. The results show that in VR immersive learning, the use of force feedback technology can significantly improve the learners' sense of reality and interaction efficiency, but has no significant effect on knowledge gain. Based on the discussion, this study provides references for in-depth exploration of human-computer interaction design in immersive learning, the application of force feedback in teaching scenarios such as science education, and the development of appropriate strategies.
[Keywords] Virtual Reality; Immersive Learning; Human-Computer Interaction; Force Feedback Technology; Physics Experiment Teaching