桌面虛擬現實學習環(huán)境對學習投入和學習成績的影響
——基于多模態(tài)數據

王翠如 徐培培 胡永斌

(江蘇師范大學 智慧教育學院，江蘇徐州221116)

一、問題提出

虛擬現實的基本思想最早由美國計算機圖形學之父薩瑟蘭(Sutherland，1964)提出。2018年，《教師教育振興行動計劃(2018-2022年)》提到要充分利用虛擬現實等新技術。虛擬現實研究也成為教育技術學領域的重要研究方向(黃奕宇,2018)，是促進教育變革的重要技術(鄒宏翊，2018)。

虛擬現實技術突破了傳統教學環(huán)境的局限，可創(chuàng)設逼真的情境，提供豐富自然的交互方式，有利于增進學習體驗、激發(fā)學習動機、促進情境認知和知識遷移(鐘正,2018)。已有研究表明，與傳統課堂相比，虛擬現實學習環(huán)境下學習者的學習動機更強，學習效果更好(Liou,2018)。例如，科斯姆(Kism,2006)發(fā)現三維虛擬環(huán)境下的學習效果顯著高于傳統的二維環(huán)境。楊剛等(2020)研究發(fā)現，基于虛擬全景的學習方式能夠提高寫作成績。

學習投入指學生在學習中付出努力的程度，是學習者“領悟學習本質，沉浸其中的表現”(武法提,2018)，可分為認知投入、行為投入和情感投入。研究表明，學生在學習活動中投入時間和精力越多，獲益會越多(Planché,1998)。因此，學習投入被認為是影響學習效果的重要因素，也是學生學習的重要觀測指標之一(高潔等,2015)。此外，學習投入會受到學習環(huán)境的影響，直接干預學習過程和改變學習環(huán)境均可影響學習者投入度(Lawson,2013)。賈非等(2019)發(fā)現學習環(huán)境的資源、互動設計等因素會影響學習投入。學習投入作為評估學習效果的重要指標，愈來愈受到教育工作者和研究者的關注(Olakanmi,2017)。然而，目前關于學習投入的研究多集中于面對面教學環(huán)境和在線學習環(huán)境(Cho,2014)，有關虛擬現實環(huán)境下學習投入的研究較少。

21世紀初，國際上已經開始了對學習投入的測量，但大多數研究基于單模態(tài)數據測量學習投入，具體方法包括自我報告、觀察評分、自動測量等(黃治虎等,2020)。單模態(tài)數據無法客觀全面地解釋學習者的學習規(guī)律與特征。因此，多模態(tài)數據分析作為近幾年新興的數據分析方法之一，正逐漸受到重視。曹曉明等(2018)發(fā)現基于多模態(tài)數據對學生學習參與度的分析優(yōu)于單模態(tài)數據分析。潘青青等(2019)通過分析《學習分析雜志》(Journal of Learning Analytics)2014-2016年刊發(fā)的論文，建議開展基于眼動數據、腦電圖、皮膚電反應等多模態(tài)數據的分析，更立體、精準地呈現學習者的信息。

綜上，有關虛擬現實環(huán)境對學習投入影響的研究還不深入，比如，對學習投入的測量大多局限于使用傳統量表。學習投入分為認知、情感和行為三個維度，但大多數研究只探討其中某一維度，這不利于全面客觀地了解學習者的學習特征和規(guī)律。因此，本研究通過收集學習者學習過程中的腦波、眼動追蹤數據，并結合問卷調查數據，分析桌面虛擬現實學習環(huán)境和在線學習環(huán)境對學生學習投入的差異，并提出以下研究問題：1)兩種學習環(huán)境對學習投入的影響是否存在差異？2)兩種學習環(huán)境對學習成績的影響是否存在差異？3)桌面虛擬現實學習環(huán)境下學習投入和學習成績有何關系？

二、研究設計

(一)研究對象

本研究通過線上公開招募到50名研究對象(全部來自江蘇師范大學，且有使用虛擬現實進行學習的經歷)。研究對象在參加實驗之前被告知收集的相關數據僅用于學術研究，不會被公開。研究對象需要滿足以下條件：1)前測分數滿足實驗評價標準；2)視力或矯正視力正常。經過篩選，40人參加了本次實驗，被隨機分配到桌面虛擬現實學習環(huán)境和在線學習環(huán)境組，每組20人。

(二)學習環(huán)境搭建

本實驗采用的學習環(huán)境為自主設計的桌面虛擬現實學習環(huán)境和在線學習環(huán)境，學習內容均為“心臟結構與血液循環(huán)途徑”，學習方式均為自學，學習時長約為15分鐘。

本研究團隊利用Unity 3D開發(fā)了供學習者在電腦端使用的桌面虛擬現實學習環(huán)境(見圖1)。學習者可通過鼠標對三維模型進行放大縮小以及360度旋轉。

圖1 桌面虛擬現實學習環(huán)境學習材料展示(部分)

在線學習環(huán)境為本研究團隊利用Sublime平臺開發(fā)的HTML5網頁(見圖2)，學習者通過360安全瀏覽器學習。學習者通過鼠標滑動瀏覽和學習內容(文字加圖片)。

圖2 在線學習環(huán)境學習材料展示(部分)

(三)研究工具

1.眼動儀設備

本實驗使用的眼動儀是Tobii X120眼動儀。研究者只需將該設備粘貼在電腦屏幕下方就能完成對用戶眼動行為的追蹤。該設備的配套軟件為Tobii Studio 3.4.5。

眼動儀主要采集學習者學習過程中的眼動行為，眼動追蹤方法可以測量學習者持續(xù)學習的投入情況，眼動指標包括總注視次數、總注視時間、平均注視持續(xù)時間、瞳孔直徑大小等。注視時間和注視次數可以反映學習者對學習內容和學習材料的認知投入情況。注視時間越長，注視次數越多，表明學習者的認知投入越高。瞳孔大小可以反映學習過程中的認知投入和情感投入，瞳孔直徑越大表明學習者腦力負荷越小，認知投入和情感投入越高；瞳孔直徑越小，表明學習者腦力負荷越大，認知投入和情感投入越低(閆志明等，2018)。

2.腦波儀設備

本實驗使用的腦波儀設備是Mindwave Mobile便攜式腦波儀，采樣頻率為512Hz。該腦波儀主要通過人腦的前額檢測高精度腦波信號，信號精度為0.25uV。此外，該腦波儀的配套軟件——佰意通腦電訓練反饋系統能夠實時記錄腦波信號形成腦電波，并能夠計算出用戶在該時段的專注度與放松度(見圖3)。專注度描述學習者進入專注狀態(tài)時注意力的集中程度，反映其學習過程的認知投入情況。放松度描述學習者平靜或放松的精神狀態(tài)，反映其學習過程中的情緒和情感投入狀態(tài)。腦波儀設備中記錄的學習時長表征學習投入，學習時長越長表明行為投入越高。

圖3 佰意通訓練系統

3.學習者先前知識測試題

本研究設計了先前知識測試題，旨在檢測學習者關于“心臟結構與血液循環(huán)途徑”的先前知識水平，共有五道題(包含四道選擇題和一道簡答題)，涵蓋13個知識點(共計13分)。若研究對象的前測分數超過6.5分，則被判定為對本次實驗內容了解程度較高，不納入研究范圍。

4.認知投入量表

本研究對弗雷德里克斯等(Fredricks et al.,2005)開發(fā)的認知投入量表進行了修訂。修訂后的學習者認知投入量表共包含七道題(采用七點李克特計分法)。該量表具有較好的信度，克朗巴赫系數為0.65。

5.情感投入量表

本研究采用沃森(Watson et al.,1988)的積極情感問卷測量學習者學習過程的情感投入。該量表包含五道題(采用李克特五點量表)。量表信度較好，克朗巴赫系數為0.84。

6.學習結果測試題

學習結果測試題由兩位具有十年生物學科教學經驗的教師編寫，以保證測試題的效度和信度。學習結果測試題包括六道填空題和九道選擇題，每題兩分，共計30分。

(四)實驗流程

本實驗在江蘇師范大學深度學習分析實驗室進行，具體實驗流程見圖4。實驗前，40名研究對象被隨機分配到兩個實驗小組。由于設備的限制，每次只能有一名研究對象參加實驗。研究對象需填寫先前知識測試題，并聽取研究人員有關實驗流程及注意事項的介紹。

圖4 實驗流程

在正式學習前，研究人員先給研究對象佩戴腦波儀并保證配套軟件能檢測到腦波信號。然后，研究人員校正眼動儀，指導研究對象練習，即研究對象學習事先準備好的練習性學習資源，以便熟悉腦波儀和桌面虛擬現實學習環(huán)境的交互式操作。練習結束后，研究對象休息1分鐘后進入正式學習(15分鐘)。需注意的是，學習者可以根據學習進度提前結束學習，開始做測試題和問卷，大約用時40分鐘。實驗結束后，研究人員檢查數據的完整性，待研究對象全部完成實驗后分析和處理數據。

三、數據分析

(一)學習投入

1.情感投入

為考察兩種學習環(huán)境下學習者學習過程中的情感投入是否存在差異，本研究通過三個指標測量情感投入：放松度、情感投入和瞳孔直徑。數據分析結果見表一。

桌面虛擬現實學習環(huán)境下學習者的瞳孔直徑(M=4.20，SD=0.62)和情感投入(M=23.09，SD=5.01)高于在線學習環(huán)境學習者，均值(標準差)分別為：3.53(0.43)、21.7(4.93)。但前者的放松度(M=64.15，SD=8.41)低于后者(M=67.05，SD=7.08)。獨立樣本t檢驗結果表明，兩種學習環(huán)境下學習者的情感投入存在顯著差異，但放松度不存在顯著差異(p=0.246>0.05)。

表一 情感投入數據分析

為探討兩種環(huán)境下學習者情感投入是否存在差異，本研究采用序列分析法分析放松度的變化。序列分析(Sequential Analysis)是一種研究行為間關系的方法。該方法將學習者所有行為或狀態(tài)的頻率轉化成矩陣，分析一種行為在另一種行為之后發(fā)生的概率，并形成行為轉換圖，最終分析結果能夠清楚地展現學習者學習行為之間的轉換模式(Bakeman & Gottman,1997)。本研究對放松度數值進行編碼并解釋其含義(見表二)，編碼依據為腦波儀對其狀態(tài)的解釋。

表二 放松度編碼

研究者根據放松度編碼表對兩組研究對象的腦波狀態(tài)進行編碼，依據GSEQ對數據格式的要求整理編碼數據，并將整理后的數據導入軟件進行分析，得出兩種環(huán)境下學習者的放松度腦波狀態(tài)殘差值(見表三、表四)。殘差值(Z-score)能夠直觀展現狀態(tài)之間的差異是否顯著。序列分析理論認為，當Z-score≥1.96時，兩種狀態(tài)之間的差異顯著。

表三 桌面虛擬現實學習環(huán)境殘差

表四 在線學習環(huán)境殘差

為更加直觀地觀察各狀態(tài)之間的轉換路徑，本研究繪制了兩種學習環(huán)境下學習者狀態(tài)轉換圖(見圖5)。其中，每一圖形代表一種狀態(tài)編碼?？梢钥闯?，桌面虛擬現實學習環(huán)境學習者的腦波放松度狀態(tài)保持在A1、A2、A3、A4和A5之間，A1到A3轉換的殘差值為2.00，A2到A3轉換的殘差值為2.37，A2到A3轉換的殘差值為2.31，A3到A4的殘差值為4.26。在線學習環(huán)境學習者在A3、A4與A5之間相互轉換，其中，A3到A4轉換的殘差值為3.34，A4到A3轉換的殘差值為5.48，A3到A5轉換的殘差值為2.82，A5到A4轉換的殘差值為3.93。

圖5 桌面虛擬現實學習環(huán)境與在線學習環(huán)境腦波狀態(tài)轉換圖

從兩種環(huán)境下學習者的放松度狀態(tài)轉換看，桌面虛擬現實學習環(huán)境下學習者的狀態(tài)出現了A1到A5五種狀態(tài)，并出現了放松度極低(A1)和較低(A2)的狀態(tài)。放松度越低，表明學習者越緊張。由轉換圖可知，學習者的放松度狀態(tài)處于不穩(wěn)定狀態(tài)。在線學習環(huán)境下學習者的狀態(tài)在A3到A5之間相互轉換，未出現腦波狀態(tài)較低的狀態(tài)。相較于學習者在桌面虛擬現實學習環(huán)境下的腦波狀態(tài)，在線學習環(huán)境中學習者的放松度狀態(tài)更為穩(wěn)定。由此可知，學習者在桌面虛擬現實學習環(huán)境中的不穩(wěn)定狀態(tài)導致其放松度低。

2.認知投入

本研究通過五個指標測量認知投入：專注度、認知投入問卷、注釋次數、注視點持續(xù)時間和總注視時間(見表五)。桌面虛擬現實學習環(huán)境下的學習者專注度(M=57.85，SD=10.72)、認知投入(M=34.95,SD=7.1)、注視次數(M=1533.35，SD=614.48)、注視點持續(xù)時間(M=252.50,SD=44.82)和總注視時間(M=383.68,SD=152.02)均高于在線學習環(huán)境，均值和標準差分別為：54.6(11.37)、31.5(5.96)、1344.25(586.88)、220.00(42.67)和290.17(142.37)。

表五 認知投入分析結果

獨立樣本t檢驗結果表明，兩種學習環(huán)境下學習者的專注度(p=0.043<0.05))、認知投入(p=0.047<0.05)、注視次數(p=0.018<0.05)、注視點持續(xù)時間(p=0.024<0.05)以及總注視時間(p=0.047<0.05)均存在顯著差異。這表明，桌面虛擬現實學習環(huán)境中學習者的認知投入更高，也更為專注。

3.行為投入

腦波儀中記錄的學習者學習時長可作為表征行為投入的指標。在線學習環(huán)境下學習者平均學習時長為498.4秒，桌面虛擬現實學習環(huán)境下學習時長為614.2秒。由此可知，學習者在后一種學習環(huán)境下的行為投入要高于前者。

(二)學習成績

為考察兩種學習環(huán)境對學習效果的影響是否存在差異，本研究利用學習成績表征學習效果(見表六)。

表六 學習成績分析結果

桌面虛擬現實學習環(huán)境下學習者的學習成績(M=22.60，SD=5.15)高于在線學習環(huán)境(M=18.70，SD=5.20)。獨立樣本t檢驗結果表明，兩種環(huán)境下的學習成績具有顯著差異(p=0.03<0.05)。由此可知，與在線學習環(huán)境相比，桌面虛擬現實學習環(huán)境更有利于提升學習成績。

(三)學習投入與學習成績的相關性

為考察桌面虛擬現實學習環(huán)境下學習投入與學習成績之間的關系，本研究對兩者之間的關系進行了皮爾遜相關性分析(見表七)。結果表明，桌面虛擬現實學習環(huán)境下學習者的學習成績與學習時長存在非常顯著的中等相關，與認知投入和情感投入也存在顯著的中等相關。由此可知，學生的學習成績會受到認知投入(專注度)、情感投入(放松度)以及行為投入的影響。

表七 學習成績分析結果

本研究進一步探索了學習投入三個維度之間的關系(見表八)。三類投入之間具有中等程度的相關關系，這表明認知、情感與行為投入相互聯系、相互影響，共同制約著學習者的學習行為和學習效果。

表八 學習投入各維度相關性分析

四、結論、討論與建議

(一)結論與討論

本研究基于問卷、眼動儀和腦波儀等工具收集的多模態(tài)數據，考察桌面虛擬現實學習環(huán)境和在線學習環(huán)境對學習投入和學習成績的影響，以及認知、情感和行為等投入與學習成績的關系。

研究結果表明：1)兩種學習環(huán)境對學習投入的影響存在顯著差異；2)學習者在桌面虛擬現實學習環(huán)境中的學習投入越多，學習成績越高；3)桌面虛擬現實學習環(huán)境下學習投入與學習成績顯著相關。

1.不同學習環(huán)境對認知投入的影響

研究表明，與在線學習環(huán)境相比，桌面虛擬現實學習環(huán)境能夠提高學習者的認知投入。認知投入包括心理和認知兩因素。在心理因素方面，桌面虛擬現實學習環(huán)境的深度交互和沉浸體驗一定程度上能夠激發(fā)學習動機，從而使學習者更愿意努力理解知識。已有研究表明，與二維動畫環(huán)境相比，三維沉浸式虛擬現實能夠提高學習者的興趣和學習動機(Huang et al.，2010)。虛擬現實環(huán)境構造的教育新形態(tài)為學生提供了更加引人入勝的學習方式，更有效地加強了學習者的學習動機(李峙，2018)。認知因素主要與學習者的學習策略及元認知有關，學習環(huán)境能否引發(fā)學習策略變化還有待探討。

教師和設計人員可通過干預認知投入的心理因素，提高學習者的認知投入；可通過優(yōu)化虛擬現實資源的設計，提高學習者的學習動機，具體可依據虛擬現實技術的特性開發(fā)，也可從影響學習動機的因素出發(fā)綜合分析后再進行設計、開發(fā)與應用。

2.不同學習環(huán)境對情感投入的影響

眼動數據和情感投入問卷調查結果顯示，學習者在桌面虛擬現實學習環(huán)境下情感投入多于在線學習環(huán)境。然而，學習者在桌面虛擬現實學習環(huán)境中的腦波狀態(tài)處于不穩(wěn)定狀態(tài)，五種狀態(tài)頻繁交替。造成這一現象的可能原因有以下兩點：其一，學習者還不適應在虛擬現實環(huán)境中學習，通過鼠標、鍵盤與學習內容交互，可能導致學習者放松度降低；其二，學習者在三維模型與二維視頻之間切換也會對放松度產生影響。

基于上述原因，教師和開發(fā)人員應該為學習者提供更多虛擬現實學習的機會，幫助學生熟悉虛擬現實學習環(huán)境中的操作，更好地適應虛擬現實學習環(huán)境。此外，相較于二維視頻，三維視頻更具直觀性，一定程度上能降低學習過程中的“跳躍”。

3.不同學習環(huán)境對行為投入的影響

數據分析結果表明，學習者在桌面虛擬現實學習環(huán)境中的學習時長要多于在線學習環(huán)境。這說明學習者在桌面虛擬現實學習環(huán)境下學習投入的時間更多，也表明學習者對桌面虛擬現實學習環(huán)境更感興趣，愿意在該環(huán)境下花更多時間反復觀看學習內容。投入理論也指出，投入到學習中的有效時間越長，學習效果越好(Pace,1998)。環(huán)境因素是影響行為投入的最重要因素(Walson et al.,2006)。通過行為投入的作用，學習者會感受到學習系統(學習環(huán)境或學習情境)與學習行為之間的關聯作用，對學習系統產生歸屬感(情感投入)，明確學習動機，選擇學習策略(認知投入)(朱紅燦,2014)。

4.不同學習環(huán)境對學習成績的影響

本研究發(fā)現，學習者在桌面虛擬現實學習環(huán)境下的學習成績高于在線學習環(huán)境，且差異顯著。這與大多數研究結果一致。奧克特等(Allcoat et al.,2018)研究發(fā)現，虛擬環(huán)境下學生整體表現顯著優(yōu)于傳統在線環(huán)境，且學生表現出更高的投入度和積極情感。李寶敏等(2019)利用元分析方法對虛擬現實應用于教育教學的實證研究發(fā)現，虛擬現實應用于教學對學習成績具有中等程度的正向影響。需要指出的是，由于本實驗的學習內容為生物學科知識，其研究結果和結論不具有代表性。因此，教學和開發(fā)人員應根據學科特點和其他影響虛擬現實教學的因素，采用合適的教學策略，使虛擬現實技術與教育教學實現有效融合。

5.學習投入與學習成績的相關關系

本研究發(fā)現，學習成績與認知投入、行為投入之間有顯著的中等相關關系，與情感投入有顯著的低相關關系。這表明學習投入越多，學習成績會越高。這與大多數研究結果一致，即學習投入與學習成績正相關(Robinson et al.,2014；Pietarinen et al.,2014；喬曉熔等,2010；王紅梅,2019)。本研究還發(fā)現，認知、情感與行為投入之間也存在相關關系。然而，尹睿等(2017)發(fā)現行為投入受到認知投入、情感投入等的正向影響，認知投入對行為投入有直接正向的影響。馬志強等(2020)則發(fā)現投入各維度之間無預測關系。本研究與上述研究不一致的可能原因在于，上述研究基于線上與線下混合學習環(huán)境。

(二)建議

1.加速推進虛擬現實技術與教育的融合

本研究發(fā)現，桌面虛擬現實學習環(huán)境下的學習投入和學習成績均高于在線學習環(huán)境。這表明虛擬現實環(huán)境對教學效果有提升作用?；诖?，本研究建議應加速推進虛擬現實技術與教育的融合。雖然虛擬現實已經逐漸走向“落地應用”，但虛擬現實資源大多都集中在安全教育、科學普及等方面，真正能夠結合教學內容且用于學習者的資源較為缺乏。另外，虛擬現實學習環(huán)境與教學內容融合及課堂應用尚未形成明確的教學設計方案。如何將教學內容通過虛擬環(huán)境呈現是目前虛擬現實環(huán)境與教育融合遇到的主要難題之一。本研究建議開展教師虛擬現實教學能力培訓，提高教師使用虛擬現實技術教學的頻率。此外，教師要將虛擬現實技術的優(yōu)勢應用到傳統教學，設計適用于虛擬現實教學的新型教學設計。

2.根據教學內容和教學對象開發(fā)優(yōu)質虛擬現實學習資源

不同教學內容和教學對象各具特點，教師和開發(fā)人員應結合不同學科和教學對象的特征開發(fā)虛擬現實學習資源。例如，數學學科偏重于數字和圖形，虛擬學習資源建設要融合數形結合的思想；語文學科中的詩詞展現，教師要考慮呈現相應的詩詞意境。另外，教師和開發(fā)人員還需考慮過多的虛擬場景是否會占用學生的認知資源，這可能導致學習效果欠佳。

3.關注學習者的情感、認知和行為投入

本研究發(fā)現，學習成績與認知、情感和行為投入均相關，各投入維度之間也顯著相關。因此，本研究建議教師可充分借助虛擬現實技術創(chuàng)設擬真教學環(huán)境，增強學習沉浸性體驗；通過角色扮演，強化學生情感交流，提升教學效果；關注學習環(huán)境、時間控制、學習經驗等因素對學習投入的影響。

(三)不足與展望

本研究存在一些局限：首先，被試群體來源具有局限性，可能對研究結論及其普適性產生影響。后續(xù)研究可擴大研究樣本的來源。其次，本研究只探索了桌面虛擬現實學習環(huán)境對學習投入的影響，沒有探索沉浸式學習環(huán)境對學習投入的影響。隨著沉浸式學習資源逐漸增多，后續(xù)研究可深入探討沉浸式學習環(huán)境對學習投入的影響。最后，本研究主要采用量化研究方法，后續(xù)研究可以考慮加入質性研究方法，例如，可加入訪談，深入分析學習者在虛擬學習環(huán)境中的學習體驗。