基于AR技術的學習者在線學習行為研究初探*

李 封，張 昱，陳 默，徐 彬

（東北大學 計算機科學與工程學院，遼寧 沈陽110819）

一、引言

近年來，虛擬現(xiàn)實（VR）以及增強現(xiàn)實（AR）技術日趨成熟，從軍事訓練、醫(yī)療輔助到市政建設、娛樂游戲，AR技術的應用也越加廣泛。在教育領域中，AR技術更是憑借其使知識實體化、模型化、直觀化的特點，地位日漸提高。

虛擬現(xiàn)實和增強現(xiàn)實技術在教學中的應用潛力巨大，前景廣闊，國內(nèi)很多高校已經(jīng)建立了自己的虛擬實驗室。具體的優(yōu)勢主要體現(xiàn)在以下五個方面：①將抽象的學習內(nèi)容可視化、形象化；②支持泛在環(huán)境下的情景式學習；③提升學習者的存在感、直覺和專注度；④使用自然方式交互學習對象；⑤把正式學習與非正式學習相結合[1]。

從教育技術和教育研究方面來說，VR/AR技術為“翻轉課堂”的發(fā)展提供了環(huán)境，換言之，在MOOC高速發(fā)展的今天，VR/AR技術更可以作為“微課教學”和“翻轉課堂”的載體。與傳統(tǒng)的手機、電腦相比，VR/AR環(huán)境能夠將知識立體化，將抽象的問題實體化，為學習者提供更加真實的情景。其次，VR/AR環(huán)境有助于采集學習者學習行為數(shù)據(jù)，在AR環(huán)境下，學習者完成學習的整個過程完全處于設備模擬的環(huán)境中，學習時的手勢動作、視線焦點等學習行為數(shù)據(jù)能夠輕松地被采集和量化。這為后期研究工作的開展提供了可靠的數(shù)據(jù)支撐，方便“教”“學”方式的調(diào)整，以達到提高學習者學習效果的目的。

二、國內(nèi)外研究現(xiàn)狀

縱觀近幾年國內(nèi)外的相關領域，還沒有學者把目光集中在AR環(huán)境下的學習者學習行為的研究中來。而與之相關的研究，大體上可以分為兩個方向：

1.學習行為方向的研究

從2010年開始，國內(nèi)外的部分學者就已經(jīng)將目光投向了在線學習行為的研究中，2010年 “學習分析”第一次被寫進《地平線報告》[2]，預示著這項技術成為學習科學及在線教育未來幾年的主要技術之一。隨著學習分析技術的迅速發(fā)展，各國涌現(xiàn)出許多對學習分析應用實踐的探索案例：如美國北亞利桑那大學設計的Grade Performance Status（GPS）tools系統(tǒng)[3]，該系統(tǒng)能夠用來測評學習者在課堂上的學習情況以及整節(jié)課的效率；又如比利時荷語天主教魯汶大學的Student Activity Monitor（role showcase platform tool）系統(tǒng)提供了學習者各種學習行為數(shù)據(jù)的可視化[4]，如做任務所花的時間、下載量、學習時長等，并和其他學習者的學習情況進行比較，幫助學習者更加了解自己的情況，從而更好地自我反思。對于學習投入度的概念，近年來大部分的學者認同這樣一個概念：學習投入度是一個多維結構，主要是學習者在學習過程中的認知、情感和行為的投入程度[5]。而學習投入度也正是學習行為的量化表現(xiàn)形式。

2.AR技術在教學中應用的研究

在國外AR技術早已應用到教學領域中，Kerawalla等人[6]曾經(jīng)利用AR技術進行了天文學的教學，通過旋轉虛擬的三維地球來分析地球與太陽、白天與黑夜的關系。Cai等人利用AR技術制作了可視化的磁場，能夠實現(xiàn)學習者用手勢與磁場進行簡單的交互[7]。當然，不論國內(nèi)還是國外，目前對于AR系統(tǒng)下的在線學習行為方面的研究內(nèi)容還非常有限，縱觀已有的相關研究可以發(fā)現(xiàn)，研究大致分成三個類型的主題，分別是描述性主題、關聯(lián)性主題和價值性主題[8]。而學習投入涉及到學習行為中各個方面的因素，錯綜復雜，因此如何全面、科學、準確地描述在線學習的學習行為是一個重要問題。國內(nèi)外的學者主要將目標集中在解釋在線學習投入結構的界定上，而在AR系統(tǒng)下，如何準確地獲取學習者的學習行為，如何對學習行為進行處理和分析，以此界定學習者的學習投入度則為研究的重點。

三、AR學習環(huán)境中學習行為研究的意義

在傳統(tǒng)電商的用戶在線行為分析中，用戶行為分析的五大場景包括拉新、轉化、促活、留存和變現(xiàn)，對電商來說意義重大。而在MOOC高速發(fā)展的今天，在線學習已經(jīng)成為高等教育中一個必不可少的教學手段，而有關學習者學習行為的研究也從傳統(tǒng)學習方式轉向了在線學習的研究中，虛擬技術作為一個新興事物，在在線教學方面有著其獨特的優(yōu)勢。具體來說，主要包含兩方面的研究意義：

1.AR技術為“翻轉課堂”的發(fā)展提供了環(huán)境

越來越多的高校建立了自己的VR/AR實驗室，越來越多的課程開發(fā)出了適合自己專業(yè)特色的虛擬仿真實驗，越來越多的專業(yè)將課程設計安排在VR/AR系統(tǒng)中完成。

VR/AR技術下的教學資源存在形式多種多樣，只要有網(wǎng)絡和設備，就可以在不同的地點任意調(diào)用其教學資源進行隨時隨地的自主學習。換言之，在一個在線教育的時代，虛擬環(huán)境更可以作為“微課教學”和“翻轉課堂”的載體。與傳統(tǒng)的手機、電腦相比，虛擬系統(tǒng)能夠將知識立體化，將抽象的問題實體化，為學習者提供更加真實的情景。

2.AR系統(tǒng)環(huán)境方便學習者學習行為數(shù)據(jù)的采集獲取

傳統(tǒng)的在線學習中，學習者的學習行為主要通過對鼠標的操作來完成，數(shù)據(jù)的采集較為困難，且采集到的數(shù)據(jù)有一定的局限性，無法對學習者的行為進行管理或約束，以至于導致自制能力不強的學習者對于在線學習不夠重視，多投入，零收獲。而在AR系統(tǒng)下，學習者的學習行為通過其學習時的手勢動作、視線焦點等數(shù)據(jù)來反映，相比較而言這些數(shù)據(jù)能夠更容易被采集，用戶可以通過采集的數(shù)據(jù)，找到更適合AR系統(tǒng)下建立學習行為模型的方法，并以此指標作為參考，使教師對于學習者的學習能力和學習方式有一個大概的了解，將教學方式的調(diào)整與督促學習者改進學習方法同時進行，以達到提高學習者學習效果的目的，讓現(xiàn)代化的教育手段更好地為教學服務。

3.AR系統(tǒng)環(huán)境有助于提高學習者學習專注度

所謂的專注度，是指學習者進行學習活動時的專注程度，在學習的過程中一直起著非常重要的作用。曾經(jīng)有專家說：“哪里有專注度，哪里才有思考和記憶”。虛擬環(huán)境能夠為學習者提供良好的學習氛圍，能夠將外界對學習者的干擾降至最低。同時，虛擬環(huán)境還能夠很好地提高學習者的學習興趣，寓教于樂，使枯燥的學習生動化。所以與傳統(tǒng)的課堂教學、通用的MOOC教學相比，虛擬系統(tǒng)更能夠吸引學習者的注意力，讓學習者感受到文字和視頻表達不出來的知識，有著其特有的優(yōu)勢，未來越來越多的在線學習都會在VR/AR系統(tǒng)中完成。

四、研究方案的建立

現(xiàn)階段，有關學習者在線學習行為的研究主要分成幾個方面：①學習者觀看教學視頻產(chǎn)生的學習行為；②學習者上傳作業(yè)、下載資料產(chǎn)生的學習行為；③學習者在線與其他學習者交互、訪問論壇、發(fā)表話題所產(chǎn)生的學習行為。本文的研究主要集中在學習者在AR系統(tǒng)下觀看教學視頻產(chǎn)生的學習行為。

1.基于AR系統(tǒng)的交互式研究環(huán)境的搭建

該研究環(huán)境分成硬件設備和軟件環(huán)境兩個部分。

（1）硬件設備

系統(tǒng)采用的是微軟公司的HoloLens眼鏡，這是Windows Holographic使用的主要設備，是一個微軟推出的Windows10智能眼鏡產(chǎn)品，它采用先進的傳感器，高清晰度光學頭置式全角度透鏡顯示器以及環(huán)繞音效，允許用戶在增強現(xiàn)實環(huán)境中通過眼神、語音和手勢互相交流。HoloLens使用的傳感器是一種高效節(jié)能的深度攝像頭，具有120°×120°的視野。傳感器提供的其他功能包括頭部跟蹤、視頻拍攝以及聲音捕捉。除了高性能的CPU和GPU，HoloLens帶有全息處理器（HPU），這一協(xié)處理器用于從所述的各種傳感器集成數(shù)據(jù)，并處理諸如空間映射、手勢識別和語音識別等任務。之所以采用這款硬件設備，正是由于其功能強大且數(shù)量眾多的傳感器。利用這些傳感器，用戶可以方便地采集到使用者的視線數(shù)據(jù)和手勢數(shù)據(jù)，這些數(shù)據(jù)在學習者學習行為模型建立和分析中有著重要的意義。

（2）軟件環(huán)境

依照視覺設計階段已完成的布局樣式和界面風格，系統(tǒng)的交互開發(fā)任務通過Unity 3D引擎實現(xiàn)。Unity 3D是一款由UnityTechnologies社區(qū)開發(fā)的多平臺的綜合型游戲開發(fā)工具。它以交互的圖形化開發(fā)環(huán)境為首要方式，使用了Mono作為腳本引擎的虛擬機，并以C#或Java Script為腳本語言實現(xiàn)對虛擬環(huán)境中的二維或三維對象的仿真和交互編輯。腳本的運行原理是調(diào)用Unity 3D引擎中帶有的游戲流程控制類，即Mono Behavior類，Unity中用戶對游戲對象的操作被分割成若干個單一行為，每個單一行為都作為一個Mono Behavior類來封裝。再生成每個Mono Behavior類的實例，并作為組件嵌入游戲對象，然后按照一定的順序（從下到上）調(diào)用每個對象的重載方法來實現(xiàn)游戲對象的全部行為。由于Unity 3D對DirectX和OpenGL擁有高度優(yōu)化的圖像渲染管道，并且內(nèi)置的NVIDIA和PhysX物理引擎能夠帶來逼真的互動感覺，因此特別適合在移動平臺環(huán)境下進行交互設計的開發(fā)。為了方便視頻播放和數(shù)據(jù)捕捉，本研究使用了AVProVideo組件，可記錄多個學習行為動作。

2.學習行為數(shù)據(jù)的采集

在AR系統(tǒng)中，以MOOC視頻學習為背景，其學習行為數(shù)據(jù)主要包括學習者手勢動作的數(shù)據(jù)和學習視線焦點的數(shù)據(jù)。其中，學習者的手勢動作主要是替代傳統(tǒng)的鼠標操作，實現(xiàn)視頻的播放、暫停、快進、音量的調(diào)節(jié)等；學習者的視線焦點數(shù)據(jù)，主要是體現(xiàn)學習者在學習時視線關注的位置，也就是視線焦點的具體坐標是集中在教學視頻中央還是周圍區(qū)域等。其中，視線焦點數(shù)據(jù)是傳統(tǒng)的在線教學中無法獲取的數(shù)據(jù)，也是AR系統(tǒng)特有的支持學習者學習行為分析的最有效的數(shù)據(jù)。

具體數(shù)據(jù)采集包括以下三個模塊：

（1）進度條采集模塊

該模塊主要針對播放器中的控件的操作數(shù)據(jù)進行采集，播放器每個控件都有著自己特定的功能，不同的功能組合代表著不同的含義，包括播放進度以及聲音的調(diào)節(jié)等方面的管理，這些數(shù)據(jù)記錄著學習者觀看知識點視頻期間的狀態(tài)。例如，如果學習者在視頻的播放過程中不斷調(diào)整音量控件至0，或者學習者在學習過程中不斷點擊快進按鈕，這些行為都是比較重要的學習行為，通過分析能夠得到學習者該行為所代表的不同的意義。

（2）手勢動作采集模塊

在HoloLens設備中，默認的基礎手勢動作為air_tap（敲擊）、double_tap（雙擊）、hold（拖動）、bloom（返回）以及move（移動），其中大部分的手勢動作可以用來替代鼠標的操縱，有著實際的意義，記錄這些動作發(fā)生時間，并結合其他的動作，同樣可以分析出學習者做動作的時候所代表的學習行為。

（3）視線數(shù)據(jù)采集模塊

在傳統(tǒng)的電腦或者手機的MOOC教學中，能采集到的數(shù)據(jù)只有播放的時間數(shù)據(jù)以及鼠標動作數(shù)據(jù)，而在視頻播放的同時，學習者是在觀看視頻還是在做其他事情，傳統(tǒng)的在線平臺無法得知，而在AR系統(tǒng)中，則可以很好地解決此問題，這就需要用到MixedReality ToolKit組件的幫助。該組件集成了視線的采集，將其采集到的數(shù)據(jù)映射到一個三維的立體坐標系中，以此來確定視線焦點的位置，根據(jù)播放視頻的范圍和焦點位置來確定學習者的視線在視頻上還是視頻外。

3.學習行為分析模型的建立

研究表明，諸如關聯(lián)性、互動性、探究性、自我效能感等因素或變量對學習者的學習專注度都有影響。其中，所謂的關聯(lián)性是指給學習者提供與現(xiàn)實問題相關的現(xiàn)實任務，即在線學習與線下學習相結合，當學習者試圖解決現(xiàn)實世界的問題時，他們更傾向于投入學習，因為他們試圖解決的任務提供了解決未來任務的經(jīng)驗；互動在學習者參與學習中起著重要的作用。在學習過程中，與其他學習者良好的互動或溝通技巧能積極地增強學習者對學習的興趣，在線互動的形式多種多樣，AR系統(tǒng)下的互動形式更為貼近現(xiàn)實；探究性學習也是影響學習者參與的因素之一，通常一個學習者希望通過學習去探索更多的信息，以便獲得更多關于某個主題的知識和信息；自我效能感被定義為相信自己有能力從事特定的任務并取得重要成就，即對自己的認可感，一個具有高自我效能感的學習者可能更積極地學習。

正如大家所熟知的，上個世紀中期，有學者就給出了學習者的表現(xiàn)力（Student Performance）的計算方法[9]，主要由學習者的能力和試題的難度決定，很多課程也一直沿用這一理論[10]。實際上，正如上文所敘述的，學習者學習的投入度也起著決定性的因素。利用貝葉斯理論去描述這一個關系模型，如圖1所示。

圖1 貝葉斯網(wǎng)絡關系圖

其中，Student Engagement（E）為學習者的專注程度，Difficulty（D）為知識的難度，Intelligence（I）為學習者智力水平，Student Performance（G）為學習者的表現(xiàn)（通常用學習成績來表示）。后者由前三者共同決定，三個決定因素之間存在著相互影響的關系，則可以通過貝葉斯網(wǎng)絡計算聯(lián)合分布，給出相關的全概率公式，如公式1所示，以便用分布概率去替換更多可能的變量的狀態(tài)。

根據(jù)上述模型，在知識難度和智力水平為客觀條件，無需考慮的情況下，本文選取了目前被認為是至關重要的四項因素進行學習者的學習學習投入度（學習者學習專注程度）建模，如圖 2所示：信念（Belief）、目標（Goal）、信心（Confidence）和注意力（Attention）。 這四種心理因素會間接影響學習者的學習投入，例如信念因素影響相關性，目標因素影響探索力，信心因素影響自我效能，而注意力因素則是其中最為重要的一點，能夠直接被學習者學習行為數(shù)據(jù)所反映。

圖2 學習者學習投入度模型

本文以學習者為研究對象，對注意力、信念、目標、自信四個變量進行關注與評估，并根據(jù)AR系統(tǒng)的特點，考慮所采集的數(shù)據(jù)的結構，提出了一個適合AR系統(tǒng)下學習者進行在線學習的學習行為模型。其中信念、目標和自信三個變量為人為的主觀因素，系統(tǒng)所采集的數(shù)據(jù)無法客觀地描述，所以本文默認學習者的信念、目標和自信三個變量對學習投入度的影響相當，那么所有的問題則集中在注意力（Attention）屬性上。同時學習者的專注力具體則體現(xiàn)在視線焦點（Focus(F)）、手勢動作（Gesture(g)）、控件操作（Control(C)）上，如圖 3 所示。

根據(jù)上述模型，本文提出了一種對學習者的注意力進行量化的計算方法。在AR系統(tǒng)下，存在幾種明顯的注意力分散的情況，包括視線焦點游離在視頻窗口外、短時間內(nèi)反復出現(xiàn)無效的手勢動作、時間滑塊的無序拖動。當學習者在學習過程中出現(xiàn)明顯的注意力分散動作時，系統(tǒng)利用公式2計算這段時間內(nèi)的注意力分數(shù)值SA。

其中，α，β，γ 為權重調(diào)整系數(shù)，SF、Sg、SC為學習者注意力分數(shù)值，分別為視線焦點、手勢動作和控件操作的量化分數(shù)。SF為視線焦點距離視頻中心點的平均歐式距離，Sg為這段時間內(nèi)無效手勢出現(xiàn)的次數(shù)，SC為這段時間內(nèi)無序的滑塊拖動次數(shù)S。那么學習者在整個知識點視頻的學習過程中，總的注意力分數(shù)值如公式3所示。

圖3 AR系統(tǒng)下學習者注意力模型

其中，i表示學習者在整個視頻觀看過程中出現(xiàn)注意力分散情況的次數(shù)。

4.模型的測試

本文選取某本科985院校2017級入學的工科專業(yè)10名學習者作為志愿者，2017-2018學年的成績大體相同。知識點選擇 “C語言循環(huán)結構設計while語句”。志愿者首先在AR系統(tǒng)下觀看知識點的視頻，時間為30分鐘，接下來，對志愿者進行該知識點掌握程度的測驗，測驗內(nèi)容為10道客觀題，測試時間為15分鐘。完成測試后，計算每名學習者的注意力分散值S，并將其進行歸一化處理。圖4為注意力值S和測驗分數(shù)的分布示意圖。

從圖4我們可以看到，注意力值和測驗的分數(shù)大體上成反比的關系，客觀說明了學習者的專注程度對學習效果有著很大的影響。由此可見，在AR系統(tǒng)下，該模型能夠有效地評估學習者的專注度，對學習者在AR系統(tǒng)下的學習行為分析具有重要的借鑒意義。

圖4 注意力值S和測驗分數(shù)的分布示意圖

五、結論和展望

本文的特色與創(chuàng)新在于提出了一個新的基于AR系統(tǒng)的在線的學習行為模型，首次在AR環(huán)境下去考慮MOOC學習過程中學習者的學習行為研究。隨著計算機技術的發(fā)展以及AR技術的不斷成熟，學習者對學習環(huán)境的要求越來越高，越來越多的學習者將不僅僅滿足于傳統(tǒng)的手機和電腦上的在線學習，虛擬環(huán)境正好能夠滿足學習者的要求，交互也更加逼真。學習方式已經(jīng)從傳統(tǒng)的線下學習發(fā)展到在線學習，再到虛擬環(huán)境中學習，那么基于AR系統(tǒng)的學習行為的分析和研究必然會成為未來的研究熱點與重點。

本文的不足在于，學習者注意力模型中，注意力明顯分散的條件還不夠完備，后期需要大量的數(shù)據(jù)去完善。另外現(xiàn)階段AR設備價格昂貴，大部分的高等學校還無法普及。相關研究也受制于設備的數(shù)量，無法大規(guī)模展開。隨著計算機技術的日趨成熟，根據(jù)摩爾定律，未來AR設備的價格定會大幅下降，大范圍的應用指日可待。