虛擬現(xiàn)實(shí)環(huán)境中基于多維傳感系統(tǒng)的學(xué)習(xí)投入綜合模型研究

馬婧 姜萌 董艷

[摘 ? 要] 基于虛擬現(xiàn)實(shí)技術(shù)的學(xué)習(xí)者學(xué)習(xí)投入模型研究，是開發(fā)虛擬現(xiàn)實(shí)硬件及資源、進(jìn)行相應(yīng)教學(xué)設(shè)計(jì)的重要依據(jù)。目前，對(duì)虛擬現(xiàn)實(shí)環(huán)境的學(xué)習(xí)投入模型研究存在數(shù)據(jù)采集偏主觀、實(shí)施采樣困難、不易構(gòu)建動(dòng)態(tài)模型等問題，且模型分析維度單一，對(duì)特征值間的關(guān)聯(lián)性分析不足。為了構(gòu)建更為真實(shí)客觀動(dòng)態(tài)的學(xué)習(xí)投入模型，研究利用現(xiàn)代檢測(cè)技術(shù)與虛擬現(xiàn)實(shí)相結(jié)合的分布式傳感器系統(tǒng)，實(shí)現(xiàn)對(duì)學(xué)習(xí)者多維生理信息的實(shí)時(shí)監(jiān)測(cè)，并對(duì)采集的多參數(shù)、多維度特征間的關(guān)聯(lián)性進(jìn)行分析。針對(duì)學(xué)習(xí)投入的情感、認(rèn)知、行為三個(gè)維度，以電生理信號(hào)采樣、語(yǔ)音特征提取、語(yǔ)義識(shí)別等現(xiàn)代計(jì)算機(jī)與模式識(shí)別技術(shù)為主要分析手段，實(shí)現(xiàn)對(duì)情緒類型的識(shí)別，并對(duì)喚醒度及情緒正負(fù)面程度進(jìn)行量化；采用覆蓋模型和約束模型，引入語(yǔ)音、語(yǔ)義及反應(yīng)行為等信息以實(shí)現(xiàn)對(duì)認(rèn)知投入和行為投入的分析。通過(guò)研究虛擬現(xiàn)實(shí)環(huán)境中學(xué)習(xí)者的學(xué)習(xí)投入綜合模型，為深入分析虛擬現(xiàn)實(shí)教學(xué)策略與模式，優(yōu)化虛擬現(xiàn)實(shí)學(xué)習(xí)環(huán)境提供了理論與實(shí)踐支持。

[關(guān)鍵詞] 虛擬現(xiàn)實(shí)； 學(xué)習(xí)投入； 傳感系統(tǒng)； 模型建構(gòu)； 學(xué)習(xí)分析

[中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 馬婧（1983—），女，河南新鄉(xiāng)人。副教授，博士，主要從事高校信息化教育教學(xué)改革與發(fā)展、虛擬現(xiàn)實(shí)環(huán)境與教學(xué)模式研究。E-mail：jingma@zzu.edu.cn。董艷為通訊作者，E-mail：yan.dong@bnu.edu.cn。

一、引 ? 言

近年來(lái)，虛擬現(xiàn)實(shí)技術(shù)（簡(jiǎn)稱 VR、虛擬現(xiàn)實(shí)）的快速進(jìn)步為教育教學(xué)發(fā)展帶來(lái)了新的機(jī)遇和挑戰(zhàn)。虛擬現(xiàn)實(shí)技術(shù)的沉浸性、交互性和想象性等基本特征，使其突破了傳統(tǒng)教學(xué)的限制，能夠在很大程度上優(yōu)化教育教學(xué)環(huán)境，增強(qiáng)學(xué)習(xí)體驗(yàn)，在教育教學(xué)領(lǐng)域有著廣闊的應(yīng)用前景。但目前國(guó)內(nèi)外針對(duì)虛擬現(xiàn)實(shí)環(huán)境學(xué)習(xí)者過(guò)程性數(shù)據(jù)的學(xué)習(xí)投入分析和模型建構(gòu)研究還比較缺乏。相關(guān)研究面臨特征值的獲取偏主觀性、分析通常不具備實(shí)時(shí)性和動(dòng)態(tài)建模功能、不適用于背景噪聲較強(qiáng)的實(shí)際課堂教學(xué)和群體性環(huán)境、分析維度單一和片面、較少考慮多維度投入特征值間的耦合性和關(guān)聯(lián)性等挑戰(zhàn)。

為解決這些難題，研究以虛擬現(xiàn)實(shí)技術(shù)為手段，結(jié)合多維生理信息采集及分析技術(shù)，對(duì)實(shí)際課堂教學(xué)中學(xué)習(xí)者多維生理信息和語(yǔ)音數(shù)據(jù)及學(xué)習(xí)行為進(jìn)行采集和記錄，探究能夠?qū)崿F(xiàn)人機(jī)互動(dòng)操作，基于虛擬現(xiàn)實(shí)技術(shù)的學(xué)習(xí)投入信息反饋式可穿戴教學(xué)設(shè)備，獲取真實(shí)、客觀、及時(shí)性的學(xué)習(xí)者學(xué)習(xí)投入特征數(shù)據(jù)，并進(jìn)行學(xué)習(xí)投入多特征、多維度之間的關(guān)聯(lián)性分析，從而構(gòu)建學(xué)習(xí)者學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)融合模型。

二、學(xué)習(xí)投入多模態(tài)數(shù)據(jù)融合脈絡(luò)分析

學(xué)習(xí)者學(xué)業(yè)成就的獲取在很大程度上由其學(xué)習(xí)投入水平?jīng)Q定。VR教學(xué)方法與傳統(tǒng)的課堂教學(xué)、線上教學(xué)在形式上有很大的不同，學(xué)習(xí)者在VR教學(xué)活動(dòng)中的學(xué)習(xí)投入分析存在許多新的問題與挑戰(zhàn)，與此同時(shí)，個(gè)人VR平臺(tái)的可穿戴性、多接口兼容性和無(wú)線入網(wǎng)能力使許多新傳感技術(shù)、新數(shù)據(jù)分析方法能夠在動(dòng)態(tài)、連續(xù)學(xué)習(xí)投入分析中得到應(yīng)用。

本文將從學(xué)習(xí)投入多維度特征值分析、多特征間的關(guān)聯(lián)性分析以及學(xué)習(xí)者多維度學(xué)習(xí)投入模型構(gòu)建入手，分析現(xiàn)有的研究方法與研究成果，討論所存在的問題與待改良之處，并以此為基礎(chǔ)探討研究思路。

（一）學(xué)習(xí)投入多維度特征值分析

學(xué)習(xí)投入是一個(gè)多維度變量，被普遍接受的概念是學(xué)習(xí)投入包括三個(gè)既獨(dú)特又相互關(guān)聯(lián)的維度，分別為：情感投入（Emotional Engagement）、 認(rèn)知投入（Cognitive Engagement）和行為投入（Behavioral Engagement）[1]。情感投入表征了學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的情感反應(yīng)與情緒波動(dòng)，涉及學(xué)習(xí)者興趣、態(tài)度以及高興、焦慮等情緒；認(rèn)知投入指學(xué)習(xí)者花費(fèi)在學(xué)習(xí)項(xiàng)目中的智力努力程度，以及內(nèi)在動(dòng)機(jī)、自主學(xué)習(xí)、運(yùn)用和實(shí)施學(xué)習(xí)策略的能力；行為投入被認(rèn)為是情感投入、認(rèn)知投入的基本載體，是用來(lái)描述學(xué)習(xí)者在學(xué)習(xí)活動(dòng)中積極參與、完成任務(wù)的情況。

1. 情感投入分析

教育心理學(xué)的研究表明，情感投入的研究多從學(xué)習(xí)者的情緒變化展開，學(xué)習(xí)者情緒檢測(cè)方法主要包括基于認(rèn)知情感的評(píng)價(jià)模型、基于問卷調(diào)查的方法、基于行為分析的方法以及基于生理信息的方法。

奧托尼，克羅爾和柯林斯基于情感認(rèn)知理論構(gòu)建了第一個(gè)易于計(jì)算實(shí)現(xiàn)的認(rèn)知型情感評(píng)價(jià)模型，簡(jiǎn)稱OCC 模型，該模型是認(rèn)知心理學(xué)研究中影響最為廣泛的情感理論模型，通過(guò)不同認(rèn)知條件推導(dǎo)歸納出學(xué)習(xí)者的 22 種情感類型[2]，具有完善的情緒分析能力。OCC模型以及基于問卷調(diào)查的方法都不可避免地帶有學(xué)習(xí)者主觀性的影響，且難以分析學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的連續(xù)情感投入變化。

隨著計(jì)算機(jī)技術(shù)、心理學(xué)、神經(jīng)醫(yī)學(xué)的發(fā)展，越來(lái)越多的基于行為分析的檢測(cè)手段被用于學(xué)習(xí)者連續(xù)情緒變化研究。如斯坦福溫斯頓實(shí)驗(yàn)室推出了能夠根據(jù)面部表情識(shí)別被試者情緒的機(jī)器人Agent，能夠?qū)?種學(xué)習(xí)相關(guān)情緒達(dá)到 92%以上的成功識(shí)別[3]。通過(guò)整合面部表情、頭部姿勢(shì)、眼神移動(dòng)等多種基于行為的數(shù)據(jù)對(duì)學(xué)習(xí)者的學(xué)習(xí)投入進(jìn)行自動(dòng)測(cè)量與監(jiān)控[4]。這些方法能夠較為準(zhǔn)確地識(shí)別學(xué)習(xí)者所處情緒或者情感參數(shù)的變化，但被試者必須處于實(shí)驗(yàn)室環(huán)境，用面部識(shí)別攝像裝置在專用背景配合下進(jìn)行試驗(yàn)，且面部不能遮擋，算法所需計(jì)算資源也難以用可穿戴設(shè)備終端進(jìn)行實(shí)時(shí)分析，因此，不適用于背景噪聲較強(qiáng)的實(shí)際課堂環(huán)境和VR教學(xué)設(shè)備。

根據(jù)學(xué)習(xí)者生理信息進(jìn)行情緒識(shí)別的方法是一種純客觀的檢測(cè)方法，相較于外顯的情感行為，不易被主觀意愿掩飾、隱瞞，可信度較高，能夠更精確、客觀地反映人類真實(shí)情感[5]。基于生理信息進(jìn)行情緒識(shí)別的方法涉及中樞神經(jīng)系統(tǒng)相關(guān)指標(biāo)（主要指腦電信號(hào)）與自主神經(jīng)系統(tǒng)相關(guān)指標(biāo)（心率、血壓、體溫、皮膚電、心電、肌電等信號(hào)）兩種?；谥袠猩窠?jīng)系統(tǒng)相關(guān)指標(biāo)的情緒識(shí)別具有較高的分辨率，能對(duì)較小的情緒變化做出反應(yīng)。但是腦電信號(hào)極其微弱，易受到外界電磁環(huán)境的干擾，幾乎很難實(shí)現(xiàn)與其他穿戴設(shè)備共同使用，而且被試者需要進(jìn)行基礎(chǔ)信號(hào)標(biāo)定等預(yù)實(shí)驗(yàn)步驟。因此，在現(xiàn)有技術(shù)條件下無(wú)法在一般教學(xué)環(huán)境里對(duì)普通學(xué)生進(jìn)行使用，也不能和需要無(wú)線通信的頭戴VR設(shè)備實(shí)現(xiàn)電磁兼容?；谧灾魃窠?jīng)系統(tǒng)相關(guān)指標(biāo)的情緒識(shí)別方法具有便于采樣、魯棒性好、非侵入性等優(yōu)點(diǎn)。如西爾維亞·科瑞迪克等人綜合 11 種電生理信號(hào)，通過(guò)電生理誘導(dǎo)的方式實(shí)現(xiàn)了害怕與悲傷情緒的區(qū)分模型，并證明了多元自主神經(jīng)信息的組合測(cè)量可以有效區(qū)分相似性較高的基本情緒[6]。

2. 認(rèn)知投入分析

現(xiàn)有的學(xué)習(xí)者認(rèn)知投入的分析研究主要針對(duì)知識(shí)狀態(tài)表征，較為常用的知識(shí)狀態(tài)表示模型有鉛板模型、覆蓋模型、約束模型和貝葉斯模型。鉛板模型是最早使用的一種認(rèn)知評(píng)分模型，通過(guò)考察學(xué)習(xí)者對(duì)知識(shí)的認(rèn)知程度，對(duì)學(xué)習(xí)者進(jìn)行分類，較易實(shí)現(xiàn)但分類精度很低，不能建立復(fù)雜的學(xué)習(xí)者模型；覆蓋模型通過(guò)一系列2 值邏輯判斷學(xué)習(xí)者對(duì)知識(shí)內(nèi)容的掌握情況[7]，是目前使用最為廣泛的學(xué)習(xí)者認(rèn)知建模方法；約束模型通過(guò)領(lǐng)域知識(shí)的約束形式建立學(xué)習(xí)者的認(rèn)知投入衡量方式，通過(guò)模式匹配的方法可以實(shí)現(xiàn)較為高效的運(yùn)算，對(duì)認(rèn)知偏差的情況有很高的靈敏度[8]，多用來(lái)進(jìn)行課程設(shè)計(jì)、知識(shí)點(diǎn)的教學(xué)反饋應(yīng)用；基于貝葉斯模型的認(rèn)知投入出現(xiàn)較晚，是將計(jì)算機(jī)技術(shù)引入學(xué)習(xí)者認(rèn)知投入評(píng)估的經(jīng)典模型，能夠以概率的形式表達(dá)學(xué)習(xí)者對(duì)知識(shí)認(rèn)知程度的不確定性，從學(xué)習(xí)全過(guò)程視角對(duì)學(xué)生認(rèn)知情況進(jìn)行評(píng)估[9]。通過(guò)將學(xué)習(xí)者的各種特征，如學(xué)習(xí)風(fēng)格、學(xué)習(xí)目標(biāo)、個(gè)人性格等，以節(jié)點(diǎn)的形式引入原有模型并通過(guò)制作、修改概率量表，對(duì)模型進(jìn)行優(yōu)化改良。

目前，認(rèn)知投入測(cè)量的方法還包括基于內(nèi)容的分析、基于問卷的分析、基于生理信號(hào)的分析。在線學(xué)習(xí)環(huán)境下，學(xué)習(xí)者與材料或他人的互動(dòng)被系統(tǒng)捕獲時(shí)，采用基于內(nèi)容的分析是衡量投入度常用的方法[10]。但基于內(nèi)容和問卷分析認(rèn)知投入的方法具有滯后性，無(wú)法及時(shí)反饋學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的認(rèn)知投入度。當(dāng)生理測(cè)量技術(shù)發(fā)展起來(lái)之后，學(xué)習(xí)者的生理信號(hào)也被用于認(rèn)知測(cè)量。如利用腕表監(jiān)測(cè)心率來(lái)表征學(xué)習(xí)者在課程中的認(rèn)知投入，發(fā)現(xiàn)從課程開始到課程結(jié)束，學(xué)習(xí)者的心率呈下降趨勢(shì)；而學(xué)生活動(dòng)能夠顯著提升學(xué)習(xí)者的心率，進(jìn)而提升學(xué)習(xí)者的學(xué)習(xí)投入[11]。瞳孔擴(kuò)張與心率變異性（HRV）可以用來(lái)診斷視頻學(xué)習(xí)環(huán)境下學(xué)習(xí)者的認(rèn)知負(fù)荷變化[12]。當(dāng)前，對(duì)于認(rèn)知投入的研究主要還是依靠教學(xué)互動(dòng)、引導(dǎo)學(xué)生解決問題并以記錄其完成情況的形式建立數(shù)據(jù)基礎(chǔ)，然后進(jìn)行分析。傳統(tǒng)的數(shù)據(jù)采集方法對(duì)于學(xué)習(xí)者解決問題中的各種行為、情緒等實(shí)時(shí)特征缺乏考慮。運(yùn)用基于VR的教學(xué)平臺(tái)，學(xué)習(xí)者在解決問題時(shí)的情緒變化、注意力、 反應(yīng)力、消耗時(shí)間等實(shí)時(shí)變化特征都成為可引入模型的參考信息，但相應(yīng)的動(dòng)態(tài)建模方法還處于研究匱乏狀態(tài)。

3. 行為投入分析

在線學(xué)習(xí)平臺(tái)的出現(xiàn)與廣泛使用使許多學(xué)習(xí)行為投入的研究水平邁上了一個(gè)新臺(tái)階，基于在線學(xué)習(xí)行為分析研究已經(jīng)成為該領(lǐng)域主流，操作次數(shù)、知識(shí)點(diǎn)的停留時(shí)間等成為可觀測(cè)變量。如陳侃等人通過(guò)實(shí)證研究表明，在線學(xué)習(xí)時(shí)學(xué)習(xí)者視頻觀看跳轉(zhuǎn)的行為是學(xué)習(xí)行為投入衡量的重要指標(biāo)，打破了以往用完成率來(lái)作為測(cè)量指標(biāo)的現(xiàn)狀[13]。還可以通過(guò)對(duì)學(xué)習(xí)者操縱鍵盤和鼠標(biāo)等行為的監(jiān)測(cè)，獲得擊鍵的頻率和力度、滾輪的頻率和速度以測(cè)量在線學(xué)習(xí)時(shí)的行為[14]。

還有研究者通過(guò)檢測(cè)生理信號(hào)對(duì)學(xué)習(xí)者行為進(jìn)行分析。如彭山等人采用腦電圖信號(hào)分析方法收集網(wǎng)絡(luò)成癮學(xué)生的腦電圖信號(hào)、前額葉SPN和P300波形，從行為學(xué)和腦電圖兩方面分析網(wǎng)絡(luò)成癮學(xué)生的行為特征[15]。但以上這些分析方法與模型需要在線設(shè)備達(dá)到非常高的實(shí)時(shí)性，相關(guān)實(shí)驗(yàn)也需要在特殊改造的多媒體教室進(jìn)行，不適用于依賴全仿真、高沉浸度，且互動(dòng)延遲性受到移動(dòng)網(wǎng)絡(luò)限制的VR教學(xué)平臺(tái)。因此，需要在已有研究基礎(chǔ)上以VR教學(xué)系統(tǒng)為前提選擇合適的特征量并建立行為投入分析模型。

（二）學(xué)習(xí)投入多特征間關(guān)聯(lián)性及多維建模研究

迄今為止，與學(xué)習(xí)投入相關(guān)的建模分析并未超出情感投入、認(rèn)知投入、行為投入的理論框架，且大多數(shù)的學(xué)習(xí)投入模型研究是對(duì)其單一維度的分析建模。此類方法對(duì)于引進(jìn)模型的各類生理信息之間的相互關(guān)聯(lián)性的強(qiáng)弱以及是否具有正交性、多尺度歸一性等并沒有專門討論研究。

近年來(lái)出現(xiàn)的貝葉斯分析模型，是建立在數(shù)據(jù)分析基礎(chǔ)上，以專家為中心、數(shù)據(jù)為中心的經(jīng)驗(yàn)算法，并沒有專門對(duì)引入的變量進(jìn)行解耦。特定的生理特征之間所具有的耦合性因?yàn)槿梭w差異、環(huán)境影響都有可能出現(xiàn)變化。因此，需要針對(duì) VR 設(shè)備尋找本身關(guān)聯(lián)性較弱的生物特征，或者將具有較強(qiáng)關(guān)聯(lián)性的特征進(jìn)行解耦處理。此外，近年來(lái)除了基于單一維度的分析建立模型，也出現(xiàn)了部分兩種投入綜合分析的二維關(guān)聯(lián)度分析模型。但由于傳統(tǒng)的學(xué)習(xí)行為受限于教學(xué)環(huán)境、學(xué)習(xí)方法，使得許多實(shí)時(shí)觀測(cè)手段與技術(shù)無(wú)法使用。

三、基于多維傳感數(shù)據(jù)的學(xué)習(xí)投入模型構(gòu)建

學(xué)習(xí)者的學(xué)習(xí)過(guò)程是一個(gè)復(fù)雜的過(guò)程，學(xué)習(xí)者在各維度的學(xué)習(xí)投入可以看做是非線性、時(shí)變、多變量耦合的復(fù)雜系統(tǒng)。得益于VR教學(xué)平臺(tái)提供的高沉浸性和互動(dòng)性，其與可穿戴傳感器陣列的多通道全時(shí)域信息采集與反饋功能，以及現(xiàn)代模式識(shí)別方法與計(jì)算機(jī)技術(shù)，使得充分考慮特征值、多維度的相關(guān)性以構(gòu)建綜合三個(gè)維度的學(xué)習(xí)投入模型成為可能。學(xué)習(xí)者的生理特征量之間、三個(gè)學(xué)習(xí)投入維度之間、被動(dòng)行為特征與主動(dòng)答題互動(dòng)都有著較強(qiáng)的耦合關(guān)系，各種信息間的關(guān)聯(lián)性、隨動(dòng)性具有極高的研究?jī)r(jià)值。建立基于三個(gè)維度學(xué)習(xí)投入、支持多模態(tài)數(shù)據(jù)融合的多輸入模型，將為 VR學(xué)習(xí)環(huán)境中測(cè)量和評(píng)估學(xué)習(xí)者表現(xiàn)提供實(shí)踐依據(jù)。

多模態(tài)學(xué)習(xí)分析具有跨模態(tài)、跨空間、跨數(shù)據(jù)、跨分析的獨(dú)特屬性[16]。2012年，第十四屆“多模態(tài)交互國(guó)際會(huì)議”上正式提出了多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics）概念：多模態(tài)數(shù)據(jù)、教學(xué)學(xué)習(xí)和計(jì)算機(jī)支持分析相融合，形成三角關(guān)系用以描述復(fù)雜的學(xué)習(xí)系統(tǒng)[17]。在通過(guò)攝像、收音等固定設(shè)備對(duì)學(xué)習(xí)者動(dòng)作、手勢(shì)和面部表情進(jìn)行精準(zhǔn)捕捉的同時(shí)，可穿戴傳感技術(shù)的發(fā)展實(shí)現(xiàn)了對(duì)學(xué)習(xí)者生理性數(shù)據(jù)的多通道全時(shí)域采集，這使得內(nèi)外部顯性和隱性數(shù)據(jù)的整合分析成為可能?；诙嗄B(tài)分析理論，虛擬現(xiàn)實(shí)環(huán)境下學(xué)習(xí)投入可采集完整多元數(shù)據(jù)，增加解讀有效性，準(zhǔn)確判定學(xué)生學(xué)習(xí)狀況，提升教育質(zhì)量。

本研究基于虛擬現(xiàn)實(shí)教學(xué)技術(shù)提出了學(xué)習(xí)者綜合投入模型，通過(guò)學(xué)習(xí)過(guò)程中的介入式問答互動(dòng)、被動(dòng)式的語(yǔ)音、生理信息傳感等實(shí)現(xiàn)對(duì)學(xué)習(xí)者的全方位信息采集，并通過(guò)相關(guān)性算法揭示隱藏在數(shù)據(jù)后的學(xué)習(xí)投入三個(gè)維度之間的相互關(guān)系。根據(jù)前文分析，在建立學(xué)習(xí)者投入模型前，需要對(duì)引入的特征參數(shù)之間、維度之間的關(guān)聯(lián)性進(jìn)行分析：首先，要確定模型參數(shù)，建立三個(gè)學(xué)習(xí)投入維度上的各參數(shù)與輸出的非線性映射關(guān)系；其次，對(duì)三個(gè)學(xué)習(xí)投入維度間相互關(guān)聯(lián)性進(jìn)行分析，采用智能解耦算法如神經(jīng)網(wǎng)絡(luò)解耦算法等方法進(jìn)行參量間、維度間的解耦；最后，建立學(xué)習(xí)者多輸入學(xué)習(xí)投入模型。多維傳感系統(tǒng)學(xué)習(xí)投入綜合模型的建模思路如圖1所示。

相比以往研究，本研究設(shè)計(jì)的系統(tǒng)平臺(tái)可以對(duì)學(xué)習(xí)者的學(xué)習(xí)過(guò)程實(shí)現(xiàn)時(shí)域連續(xù)觀測(cè)，實(shí)現(xiàn)學(xué)習(xí)者學(xué)習(xí)投入的一體化建模。研究所提出的多維傳感系統(tǒng)學(xué)習(xí)投入綜合模型由多模態(tài)信息采集與輸入層、信息預(yù)處理層、三維學(xué)習(xí)投入建模層三個(gè)功能層次組成，包含從學(xué)習(xí)者數(shù)據(jù)來(lái)源到最終實(shí)現(xiàn)模型建立的全部功能，以下分層討論。

（一）多模態(tài)信息采集與輸入層

虛擬現(xiàn)實(shí)環(huán)境下的教學(xué)過(guò)程可以實(shí)現(xiàn)課程進(jìn)度與教學(xué)活動(dòng)的多媒體化、信息采集的實(shí)時(shí)化。由基于VR平臺(tái)的多維電生理傳感器陣列系統(tǒng)、語(yǔ)音采集系統(tǒng)、計(jì)算機(jī)后臺(tái)操作記錄系統(tǒng)配合完成學(xué)習(xí)者信息采集任務(wù)。電生理傳感器陣列系統(tǒng)用以監(jiān)測(cè)學(xué)習(xí)者的心率、血壓、腦電、皮膚電等信息，實(shí)現(xiàn)對(duì)學(xué)習(xí)者生理信息的連續(xù)多通道、全過(guò)程主動(dòng)采樣，直接與課程進(jìn)度建立時(shí)域映射關(guān)系。語(yǔ)音采集功能主要用以在課間問答時(shí)對(duì)學(xué)習(xí)者口頭回答問題的語(yǔ)音信息進(jìn)行采集，為后續(xù)的答案判斷、情緒識(shí)別以及知識(shí)點(diǎn)熟練度掌握提供數(shù)據(jù)分析基礎(chǔ)。后臺(tái)操作記錄主要用于監(jiān)測(cè)學(xué)習(xí)者在課程中的回饋反應(yīng)以及主動(dòng)操作行為，課程中的互動(dòng)反饋可以監(jiān)測(cè)學(xué)習(xí)者注意力的集中程度，而課中間歇的復(fù)習(xí)操作可以體現(xiàn)學(xué)習(xí)者學(xué)習(xí)主動(dòng)性與知識(shí)點(diǎn)掌握情況。

本研究基于VRSHINECON虛擬現(xiàn)實(shí)設(shè)備搭載自研多維生理信息傳感器陣列，對(duì)學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的被動(dòng)生理信息、主動(dòng)操作行為、語(yǔ)音信息進(jìn)行全程采集。頭盔式VR在支持虛擬授課環(huán)境的同時(shí)，加載嵌入式設(shè)備對(duì)傳感器陣列進(jìn)行實(shí)時(shí)采樣，并通過(guò)SIM卡將采樣信息傳遞給計(jì)算機(jī)終端。腕帶傳感器及其他可穿戴傳感設(shè)備也將承擔(dān)生理信息采集任務(wù)，并通過(guò)zigbee網(wǎng)絡(luò)或藍(lán)牙射頻的方式實(shí)現(xiàn)與VR頭盔的無(wú)線數(shù)據(jù)交互。

（二）信息預(yù)處理層

預(yù)處理層負(fù)責(zé)對(duì)輸入層的輸入信息進(jìn)行預(yù)處理，通過(guò)數(shù)據(jù)處理與定性定量分析實(shí)現(xiàn)了語(yǔ)音語(yǔ)義分析識(shí)別、課堂問答及行為的特征提取、電生理信息特征提取與濾波以及多維信息的歸一化處理等功能。對(duì)信息的預(yù)處理，對(duì)學(xué)習(xí)中的操作行為進(jìn)行記錄與特征提取，可以為進(jìn)一步分析學(xué)習(xí)者的行為投入情況提供分析依據(jù)。答題的準(zhǔn)確度和速度可以作為定性定量衡量認(rèn)知投入的依據(jù)。

電生理信息的特征分析可以判斷該學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的情感變化，人體生理特征決定情感投入所涉及的心率、血壓、皮膚電等自主神經(jīng)系統(tǒng)生理信息，相互間具有很強(qiáng)的關(guān)聯(lián)性，一種參數(shù)的變化一定會(huì)引發(fā)另外兩種參數(shù)的連帶變化，因此，在引入分析模型以前需要進(jìn)行解耦，保證參數(shù)間的相互獨(dú)立性。采用神經(jīng)網(wǎng)絡(luò)算法建立多參數(shù)的輸入輸出模型，設(shè)計(jì)目標(biāo)函數(shù)以及參數(shù)尋優(yōu)算法降低耦合度，建立映射關(guān)系，提高參數(shù)獨(dú)立性。神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)多輸入多輸出映射，并實(shí)現(xiàn)對(duì)任意函數(shù)到任意精度的逼近，以及對(duì)時(shí)變、非線性、對(duì)象未知的模型解耦。

通過(guò)語(yǔ)音采集裝置與語(yǔ)義識(shí)別算法，實(shí)現(xiàn)學(xué)習(xí)者與教學(xué)內(nèi)容的互動(dòng)，并通過(guò)對(duì)音頻的采集為后續(xù)實(shí)驗(yàn)對(duì)象的學(xué)習(xí)情緒、學(xué)習(xí)行為分析提供數(shù)據(jù)。語(yǔ)音數(shù)據(jù)通過(guò)無(wú)線互聯(lián)網(wǎng)傳輸給遠(yuǎn)程服務(wù)器，語(yǔ)音的分貝、語(yǔ)速、基音等特征信息提取與處理以及語(yǔ)義對(duì)比識(shí)別由集成在VR設(shè)備里的本地?cái)?shù)據(jù)處理程序以及語(yǔ)義對(duì)比數(shù)據(jù)庫(kù)完成。

（三）三維學(xué)習(xí)投入建模層

采集數(shù)據(jù)經(jīng)過(guò)預(yù)處理，對(duì)受試者學(xué)習(xí)過(guò)程中的情緒進(jìn)行量化分類，對(duì)學(xué)習(xí)、答題行為建立多映射模型與覆蓋約束模型，從而實(shí)現(xiàn)對(duì)情感、認(rèn)知、行為三種投入的定性定量分析以及量化輸出，最終實(shí)現(xiàn)學(xué)習(xí)者情感、認(rèn)知和行為的三個(gè)維度多輸入學(xué)習(xí)投入模型。將支持情感投入、認(rèn)知投入、行為投入的特征采樣系統(tǒng)與教學(xué)互動(dòng)方法相結(jié)合，以優(yōu)化學(xué)習(xí)成果為導(dǎo)向建立提升教學(xué)方法的新路徑。對(duì)三種學(xué)習(xí)投入的分析方法進(jìn)行如下闡述：

1. 情感投入的特征量化與情緒識(shí)別分析

基于經(jīng)典的OCC模型可以對(duì)多達(dá)22種的學(xué)習(xí)者情緒進(jìn)行區(qū)分，選取與學(xué)習(xí)行為及效果有較大關(guān)聯(lián)度的6種情緒類型，即憤怒、羞愧、焦慮、中性、快樂、驕傲進(jìn)行識(shí)別，并對(duì)喚醒度進(jìn)行量化，從而實(shí)現(xiàn)學(xué)習(xí)者情感投入的綜合分析。采用電生理信號(hào)（心率、呼吸頻率、皮膚電、體溫等）+ 語(yǔ)音語(yǔ)義（語(yǔ)速、分貝、基音等）識(shí)別為主要分析手段，并用嵌入式語(yǔ)音問卷作為輔助手段。

由于在時(shí)間域上情緒的變化是連續(xù)的，且所采集的生理信息以及語(yǔ)音、語(yǔ)義分析結(jié)果是相互獨(dú)立的，因此，建立動(dòng)態(tài)的、（雙時(shí)間片）以專家為中心的貝葉斯網(wǎng)絡(luò)模型展開分析，對(duì)情緒類型進(jìn)行識(shí)別，并對(duì)喚醒度和情緒的正負(fù)面程度進(jìn)行量化，如圖2所示。

雙時(shí)間片貝葉斯網(wǎng)絡(luò)的兩個(gè)時(shí)間片變量間的條件分布定義為：

式（1）中Zti表示第t個(gè)時(shí)間片的第i個(gè)節(jié)點(diǎn)，nt表示第t個(gè)時(shí)間片的節(jié)點(diǎn)數(shù)目。以此根據(jù)初始時(shí)間片和相鄰時(shí)間片的條件分布可以展開到任意時(shí)間片T上參數(shù)的聯(lián)合分布率如式（2）：

2. 結(jié)合語(yǔ)音、語(yǔ)義、生理信息實(shí)現(xiàn)認(rèn)知和行為投入的分析

本研究所使用的教學(xué)課程由經(jīng)過(guò)預(yù)處理的VR教學(xué)資源和自制階段性實(shí)時(shí)測(cè)驗(yàn)組成：通過(guò)篩選、分解、整合等預(yù)處理步驟將已有教學(xué)資源重新編輯，并在課程進(jìn)行過(guò)程中將內(nèi)容在時(shí)域上整合為記憶性、理解性、應(yīng)用性、分析性、評(píng)價(jià)性以及創(chuàng)造性資源。課程學(xué)習(xí)過(guò)程由虛擬現(xiàn)實(shí)教學(xué)課件+階段性實(shí)時(shí)互動(dòng)測(cè)驗(yàn)+語(yǔ)音信息反饋的形式聯(lián)合組成，課程全程由VR設(shè)備所集成的傳感器陣列實(shí)時(shí)采集學(xué)習(xí)者的生理信息，如圖3所示。

對(duì)使用者認(rèn)知投入和行為投入的評(píng)價(jià)，主要依靠嵌入在教學(xué)視頻中的實(shí)時(shí)提問，以及教學(xué)結(jié)束后的線上測(cè)試，由語(yǔ)音提問及視頻展示兩種形式進(jìn)行智能教學(xué)代理（Pedagogical Agent）與學(xué)習(xí)者間的互動(dòng)問答。階段性實(shí)時(shí)測(cè)驗(yàn)基于美國(guó)教育心理學(xué)家布魯姆的認(rèn)知過(guò)程維度，按照記憶、理解、應(yīng)用、分析、評(píng)價(jià)和創(chuàng)造，由低階到高階的六階認(rèn)知復(fù)雜程度，并在不同階段通過(guò)教學(xué)代理問答的形式結(jié)合覆蓋模型和約束模型對(duì)學(xué)生的認(rèn)知投入進(jìn)行衡量。

覆蓋模型假設(shè)與知識(shí)點(diǎn)A有關(guān)的所有問題能夠覆蓋考察學(xué)習(xí)者對(duì)于該知識(shí)點(diǎn)的掌握程度，通過(guò)答題正確的子集建立公式評(píng)價(jià)答題者的得分情況。由于覆蓋模型無(wú)法處理錯(cuò)題行為，因此，建立了輔助的約束模型對(duì)答題失敗的情況進(jìn)行記錄、分析，逆向判斷該知識(shí)點(diǎn)的掌握情況。

3. 三維投入的綜合視域映射

在對(duì)情感投入、認(rèn)知投入、行為投入分別進(jìn)行定性定量分析的基礎(chǔ)上，將任意一位學(xué)習(xí)者的學(xué)習(xí)投入情況建立模型并在三維投入空間內(nèi)得到時(shí)域映射。學(xué)習(xí)者對(duì)一個(gè)內(nèi)容或知識(shí)點(diǎn)的完整時(shí)域?qū)W習(xí)過(guò)程可以由三維學(xué)習(xí)投入模型進(jìn)行表達(dá)，如圖4所示。

圖4中的兩個(gè)有向折線代表了學(xué)習(xí)者在學(xué)習(xí)兩個(gè)知識(shí)點(diǎn)時(shí)的學(xué)習(xí)投入綜合情況，虛線折線表示學(xué)習(xí)者在15分鐘內(nèi)學(xué)習(xí)一個(gè)記憶性（認(rèn)知投入）知識(shí)點(diǎn)的過(guò)程，情感由開始不理解的焦慮經(jīng)過(guò)不斷學(xué)習(xí)最終轉(zhuǎn)變?yōu)轵湴?，行為投入也在學(xué)習(xí)過(guò)程中不斷地進(jìn)行提升；實(shí)線折線表示學(xué)習(xí)者在30分鐘內(nèi)學(xué)習(xí)一個(gè)分析性知識(shí)點(diǎn)的過(guò)程，隨著學(xué)習(xí)過(guò)程的不斷深入，情感由開始的中性快速轉(zhuǎn)變?yōu)榭鞓?，直至最終的驕傲，行為投入在進(jìn)入狀態(tài)后保持了持續(xù)提升的過(guò)程。通過(guò)這樣直觀與高對(duì)比度的方式實(shí)現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)投入的實(shí)時(shí)量化反映。

四、結(jié) ? 語(yǔ)

本研究在多模態(tài)分析理論指導(dǎo)下充分利用不同模態(tài)的信息優(yōu)勢(shì)，采用現(xiàn)代虛擬現(xiàn)實(shí)技術(shù)及分布式生理傳感器陣列，全方位采集各個(gè)時(shí)間點(diǎn)學(xué)習(xí)者顯性行為、隱性心理變化和生理數(shù)據(jù)等連續(xù)的學(xué)習(xí)過(guò)程全時(shí)域數(shù)據(jù)，在此基礎(chǔ)上采用貝葉斯模型、覆蓋模型、約束模型等建模手段實(shí)現(xiàn)多模態(tài)交互分析，從而得到完整的學(xué)習(xí)投入水平變化軌跡，構(gòu)建了虛擬現(xiàn)實(shí)技術(shù)下基于多維傳感系統(tǒng)的學(xué)習(xí)投入綜合分析模型。該模型可以直觀表達(dá)學(xué)習(xí)者在課程中針對(duì)一個(gè)完整學(xué)習(xí)內(nèi)容時(shí)情感、認(rèn)知、行為三個(gè)學(xué)習(xí)投入的時(shí)域變化情況，不僅能夠?qū)W(xué)習(xí)過(guò)程進(jìn)行全方位的分析，彌補(bǔ)了單維度數(shù)據(jù)采集的不足，還能夠基于多源數(shù)據(jù)對(duì)學(xué)習(xí)者的學(xué)習(xí)過(guò)程進(jìn)行實(shí)時(shí)性與持續(xù)性的分析。下一步的研究重點(diǎn)將集中在生物信息傳感器陣列及信息采集設(shè)備的系統(tǒng)優(yōu)化，降低或排除穿戴設(shè)備對(duì)學(xué)習(xí)者帶來(lái)的心理壓力及行為改變?cè)斐傻谋尘霸肼暎?yōu)化多維度交互模型。

[參考文獻(xiàn)]

[1] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[2] ORTONY A， CLORE G L， COLLINS A. The cognitive structure of emotions： factors affecting the intensity of emotions[J]. Contemporary sociology， 1988， 18（6）： 2147-2153.

[3] 王志良，鄭思儀，王先梅，等.心理認(rèn)知計(jì)算的研究現(xiàn)狀及發(fā)展趨勢(shì)[J].模式識(shí)別與人工智能，2011，24（2）：215-225.

[4] CAROLIS B D， DERRICO F， MACCHIARULO N， et al. "Engaged faces"： measuring and monitoring student engagement from face and gaze behavior[C]//IEEE/WIC/ACM International Conference on Web Intelligence. New York： ACM， 2019： 80-85.

[5] 薛耀鋒，楊金朋，郭威，等.面向在線學(xué)習(xí)的多模態(tài)情感計(jì)算研究[J].中國(guó)電化教育，2018（2）：46-50，83．

[6] KREIBIG S D. Computational reproducibility of "goal relevance and goal conduciveness appraisals lead to differential autonomic reactivity in emotional responding to performance feedback"（kreibig， gendolla， & scherer， 2012）： a guide and new evidence[J]. International journal of psychophysiology official journal of the international organization of psychophysiology， 2017，119：93-107.

[7] 黃玉妍，王建華，李麗萍.基于Web學(xué)習(xí)系統(tǒng)的學(xué)生模型分析[J].計(jì)算機(jī)工程與科學(xué)，2009，31（9）：142-144.

[8] OHLSON J A. The theory of value and earnings， and an introduction to the Ball-Brown analysis[J]. Contemporary accounting research， 1991， 8（1）：1-19.

[9] YIN Z， ZHAO M， WANG Y， et al. Recognition of emotions using multimodal physiological signals and an ensemble deep learning model[J]. Computer methods & programs in biomedicine， 2017，140：93-110.

[10] 趙春，李世瑾，舒杭，等.混合學(xué)習(xí)投入度研究框架構(gòu)建、機(jī)理分析及實(shí)證研究——活動(dòng)理論的視角[J].現(xiàn)代遠(yuǎn)距離教育，2020， （6）：69-77.

[11] DIANA K， PAUL A. Student engagement， assessed using heart rate， shows no reset following active learning sessions in lectures[J]. PLoS ONE， 2019， 14 （12）：1-14.

[12] KIM J， JO I H. Feasibility and use of psychophysiological responses based on cognitiveload theory[J]. Australasian journal of educational technology， 2019， 35（3）：150-165.

[13] 陳侃，周雅倩，丁妍，等.在線視頻學(xué)習(xí)投入的研究——MOOCs視頻特征和學(xué)生跳轉(zhuǎn)行為的大數(shù)據(jù)分析[J].遠(yuǎn)程教育雜志，2016（4）：35-42.

[14] 黎孟雄，郭鵬飛，黎知秋.基于情緒識(shí)別的遠(yuǎn)程教學(xué)自適應(yīng)調(diào)節(jié)策略研究[J].中國(guó)遠(yuǎn)程教育，2015（11）：18-24.

[15] SHAN P， PEI J. Cognition and education management method of withdrawal reaction for students with internet addiction based on EEG signal analysis[J]. Educational sciences： theory ＆ practice， 2018， 18（5）：2235-2246.

[16] 牟智佳.多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長(zhǎng)點(diǎn)[J].電化教育研究，2020（5）：27-32， 51.

[17] WORSLEY M， ABRAHAMSON D， BLIKSTEIN P， et al. Multimodal learning analytics[C]//The 12th International Conference of The Learning Sciences. New York： ACM， 2016： 1346-1349.

Research on Integrated Model of Student Engagement Based on Multidimensional Sensor System in Virtual Reality Environment

MA Jing， ?JIANG Meng， ?DONG Yan

（1.School of Education， Zhengzhou University， Zhengzhou Henan 450001;

2.Faculty of Education， Beijing Normal University， Beijing 100875）

[Abstract] The study of student engagement model based on virtual reality technology is an important basis for developing virtual reality hardware and resources and carrying out corresponding teaching design. At present， the study of student engagement models for virtual reality environments has problems such as subjective data collection， difficulty in implementing sampling， and difficulty in constructing dynamic models， the model analysis with a single dimension and insufficient analysis of the correlation between feature values. In order to construct a more realistic and objective dynamic model of student engagement， this study uses distributed sensor system combining modern detection technology and virtual reality to achieve real-time monitoring of learners' multidimensional physiological information， and analyzes the correlation between the collected multi-parameter and multidimensional features. Aiming at three dimensions of student engagement of emotion， cognition and behavior， modern computer and pattern recognition techniques， such as electrophysiological signal sampling， speech feature extraction and semantic recognition， are used as the main analysis tools to achieve the identification of emotional types and to quantify the arousal degree and the degree of positive and negative emotions. The overlay model and constraint model are used to analyze the cognitive and behavioral engagement by introducing speech， semantic and reactive information. By studying the comprehensive model of student engagement in virtual reality environment， it provides theoretical and practical support for in-depth analysis of virtual reality teaching strategies and for models and optimization of virtual reality learning environment.

[Keywords] Virtual Reality; Student Engagement; Sensor System; Model Construction; Learning Analytics