李宜錕 季雋
摘? 要: 為了解在線學(xué)習(xí)者在遭遇高程度認(rèn)知沖突網(wǎng)絡(luò)學(xué)習(xí)行為的變化,并探究免傳感器條件下基于行為序列的預(yù)測模型在識別正遭遇認(rèn)知沖突的學(xué)習(xí)者的可行性,本文通過聚類分析和過程挖掘,研究了學(xué)習(xí)者的資源訪問模式具有的差異化特點(diǎn).研究發(fā)現(xiàn),當(dāng)學(xué)習(xí)者遭遇高程度的認(rèn)知沖突時(shí),兩者均表現(xiàn)出了大量的回溯型導(dǎo)航行為,但其行為模式仍保持固有的學(xué)習(xí)策略,并基于學(xué)習(xí)者的資源訪問序列構(gòu)建認(rèn)知沖突識別模型.實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的可行性.
關(guān)鍵詞: 認(rèn)知沖突; 資源訪問序列; 教育數(shù)據(jù)挖掘; 免傳感器
中圖分類號: TP 391??? 文獻(xiàn)標(biāo)志碼: A??? 文章編號: 1000-5137(2022)02-0180-13
LI Yikun, JI Jun
(School of Education,Shanghai Normal University,Shanghai 200234,China)
To understand the changes in online learners’ learning behaviors when encountering high levels of cognitive conflict, and to investigate the feasibility of a predictive model based on behavioral sequences in sensor-free conditions to identify learners who were experiencing cognitive conflicts, learners’ resource access patterns were analyzed to differentiate in this study. The study was carried out through cluster analysis and process mining. It was found that when learners encountered high levels of cognitive conflict, both of them showed a large number of retrospective navigation behaviors, while their behavioral patterns still maintained inherent learning strategies. Finally a cognitive conflict identification model was constructed based on the learners’ resource access sequences. The experimental results verified the feasibility of the algorithm.
cognitive conflict; resource access sequence; educational data mining; sensor-free
0? 引言
學(xué)習(xí)者在接觸新知識時(shí)往往需要打破原有認(rèn)知,并重整知識體系.在這個過程中,學(xué)習(xí)者容易催生困惑、厭倦等認(rèn)知情緒.針對認(rèn)知沖突開展及時(shí)的教學(xué)干預(yù),對學(xué)習(xí)成績和個人成長具有積極影響.在線下環(huán)境中,教師能通過學(xué)習(xí)者的表情、姿態(tài)等舉動感知到其正遭遇困惑,需要得到教師幫助,但在線上環(huán)境中,這種情況就不存在了.研究者嘗試基于外部傳感器對學(xué)習(xí)者的網(wǎng)絡(luò)學(xué)習(xí)行為進(jìn)行建模,依據(jù)學(xué)習(xí)者的面部表情、生理信號等數(shù)據(jù)的波動,推測學(xué)習(xí)者認(rèn)知狀態(tài)的變化.然而在真實(shí)環(huán)境下,這種教學(xué)方式會受到成本和規(guī)模的制約.此外,監(jiān)視環(huán)境可能引發(fā)學(xué)習(xí)者的不安,對模型測算的結(jié)果產(chǎn)生干擾.基于點(diǎn)擊流數(shù)據(jù)的免傳感器方法能夠在非侵入性的環(huán)境中對學(xué)習(xí)者進(jìn)行建模,該方法一般將學(xué)習(xí)過程切分為不同的學(xué)習(xí)區(qū)間(session),通過聚合計(jì)算提取區(qū)間內(nèi)的行為特征.例如DONNELLAN等以每20 min為一個區(qū)間切分學(xué)習(xí)者在數(shù)字學(xué)習(xí)平臺上的點(diǎn)擊流數(shù)據(jù),并統(tǒng)計(jì)平均耗時(shí)、答題次數(shù)等行為特征用于訓(xùn)練機(jī)器學(xué)習(xí)模型,但這種方法僅聚焦行為結(jié)果,具有相同統(tǒng)計(jì)量的學(xué)習(xí)區(qū)間可能具有截然不同的資源訪問次序.免傳感器環(huán)境下,基于資源訪問序列對學(xué)習(xí)者的認(rèn)知沖突建模的研究較少,因此研究網(wǎng)絡(luò)學(xué)習(xí)行為模式與認(rèn)知沖突的關(guān)系具有一定啟發(fā)意義.
本研究使用聚類分析、教育過程挖掘和滯后序列分析法,探究在網(wǎng)絡(luò)學(xué)習(xí)情境中大學(xué)生遭遇高程度認(rèn)知沖突時(shí)的行為轉(zhuǎn)變規(guī)律.根據(jù)網(wǎng)絡(luò)學(xué)習(xí)行為對學(xué)習(xí)者聚類,分別從高/低認(rèn)知沖突程度標(biāo)簽所對應(yīng)的資源訪問序列中挖掘Petri Net圖和顯著行為轉(zhuǎn)換模式,進(jìn)行差異分析.在此基礎(chǔ)上,對遭遇了高認(rèn)知沖突的不同學(xué)習(xí)者群體的行為模式進(jìn)行了比較,探究差異化群體在應(yīng)對認(rèn)知沖突時(shí),行為轉(zhuǎn)變上存在的區(qū)別.另外,本研究旨在驗(yàn)證使用基于行為序列的數(shù)據(jù)模型預(yù)測學(xué)習(xí)者認(rèn)知沖突的可行性,使用N?Gram方法表征資源訪問序列,并設(shè)計(jì)實(shí)驗(yàn)以比較不同值下,決策樹、支持向量機(jī)、最近鄰、隨機(jī)森林和邏輯回歸5種典型機(jī)器學(xué)習(xí)算法在5折交叉驗(yàn)證集上的表現(xiàn).
1? 相關(guān)研究
認(rèn)知沖突及其外部體現(xiàn)
當(dāng)個體遇到超出原有認(rèn)知的事物時(shí),會引發(fā)認(rèn)知沖突和混亂狀態(tài).困惑是認(rèn)知沖突的情感特征,通常與學(xué)習(xí)新事物時(shí)陷入認(rèn)知僵局有關(guān).對認(rèn)知沖突的理解、識別有助于在線學(xué)習(xí)系統(tǒng)中教學(xué)干預(yù)的設(shè)計(jì)和實(shí)施,促進(jìn)學(xué)習(xí)績效.
在數(shù)字化學(xué)習(xí)環(huán)境中能夠間接觀測到認(rèn)知沖突,例如學(xué)習(xí)者可能表現(xiàn)出眉毛壓低的神情、收緊的眼瞼和牽動的唇角,也會體現(xiàn)在眼部運(yùn)動、生理信號、姿態(tài)運(yùn)動中.在記錄學(xué)習(xí)者行為的日志數(shù)據(jù)中也能觀測到認(rèn)知沖突的存在,例如學(xué)習(xí)者的認(rèn)知沖突表達(dá)與答題次數(shù)、使用提示等.
近年來,研究人員開展了一些對學(xué)習(xí)者行為序列的相關(guān)研究,YANG等發(fā)現(xiàn)在長度不超過3的訪問序列中,練習(xí)、視頻與導(dǎo)覽頁面的相互訪問行為與困惑情緒相關(guān);CEREZO等使用過程挖掘技術(shù)探索學(xué)習(xí)者在電子學(xué)習(xí)過程中的自我調(diào)節(jié)過程.然而學(xué)習(xí)者訪問資源的行為很大程度受到個體動機(jī)和環(huán)境的影響,很可能表現(xiàn)出截然不同的行為模式,有必要研究不同類型的學(xué)習(xí)者在遇到認(rèn)知沖突時(shí)訪問模式的不同,這將有助于設(shè)計(jì)針對性的教學(xué)干預(yù)策略.
認(rèn)知沖突識別
要設(shè)計(jì)適切的干預(yù)策略,首先需要準(zhǔn)確識別正在面臨麻煩的學(xué)習(xí)者.許多研究人員通過生理特征信號的變化判斷學(xué)習(xí)者的困惑狀態(tài).然而,這種識別方式需要使用外部傳感器獲取學(xué)習(xí)者的生理特征信號,增加了識別系統(tǒng)的成本.
因此,一些研究人員開始研發(fā)免傳感器的識別系統(tǒng),如在探究Web日志中的學(xué)習(xí)行為,并從點(diǎn)擊流數(shù)據(jù)中提取行為特征.雖然這種方法非常直觀,但其忽略了動態(tài)且具備方向性的過程信息.學(xué)習(xí)行為序列能反映學(xué)習(xí)者的認(rèn)知狀態(tài),雖然已有一些研究表明基于時(shí)間序列的建模方式能夠達(dá)到甚至優(yōu)于有傳感器的系統(tǒng)的預(yù)測結(jié)果,但是直接對資源訪問序列建模以預(yù)測學(xué)習(xí)者認(rèn)知狀態(tài)的研究卻不多.
綜上所述,以往研究注重捕捉認(rèn)知沖突的外在表現(xiàn),然而在真實(shí)環(huán)境下,外部傳感器的使用受到成本和規(guī)模的限制.此外,資源訪問的先后次序和持續(xù)時(shí)間特征蘊(yùn)含著大量的信息,具有啟發(fā)性.本研究通過對Web日志建模,識別不同類型的學(xué)習(xí)者在遭遇高程度認(rèn)知沖突時(shí)訪問模式的不同,并探究基于資源訪問序列識別處于認(rèn)知沖突的學(xué)習(xí)者的可能性.
2? 基于資源訪問序列的認(rèn)知沖突方法
探索學(xué)習(xí)者的資源訪問策略
探究學(xué)習(xí)者的資源訪問策略的方法如圖1所示,首先從網(wǎng)絡(luò)學(xué)習(xí)平臺導(dǎo)出帶有時(shí)間戳的點(diǎn)擊流數(shù)據(jù),對日志數(shù)據(jù)進(jìn)行特征工程處理,構(gòu)建行為特征集,然后應(yīng)用?means算法對學(xué)習(xí)者進(jìn)行數(shù)據(jù)聚類,最后結(jié)合運(yùn)用過程挖掘算法和滯后序列分析不同學(xué)習(xí)者群體在遭遇高/低程度認(rèn)知沖突時(shí)資源訪問模式的差異.
在特征工程階段主要有4個步驟,包括剔除停留時(shí)間過短的記錄(小于5 s)、構(gòu)建行為特征集、填充特征集中的缺失值、使用Z?Score方法對特征集歸一化、特征篩選.其中,特征集的構(gòu)造遵循OCCP學(xué)習(xí)者行為分類理論,如圖2所示,分別從認(rèn)知、問題解決、協(xié)作3個維度聚合日志數(shù)據(jù)中行為記錄.其中,觀看時(shí)長比為觀看時(shí)長與視頻原始長度之比值;相對拖延時(shí)間指對于某一習(xí)題,學(xué)習(xí)者的初次訪問時(shí)間與該習(xí)題的最早被訪問時(shí)間之差;絕對拖延時(shí)間指對某一習(xí)題的最終提交時(shí)間與初次訪問時(shí)間之差.在特征篩選上,本研究采用包裹式方法選擇用于聚類的特征子集,即將?means作為基學(xué)習(xí)器,以輪廓系數(shù)為評價(jià)指標(biāo),在不同的子集上訓(xùn)練若干聚類模型并計(jì)算其輪廓系數(shù),取最優(yōu)結(jié)果所對應(yīng)的特征集合作為最優(yōu)子集.
在學(xué)習(xí)者聚類階段,基于?means算法對學(xué)習(xí)者的網(wǎng)絡(luò)學(xué)習(xí)行為進(jìn)行聚類分析.本研究首先通過肘部法確定值,隨后根據(jù)聚類結(jié)果將不同群體在認(rèn)知、問題解決、協(xié)作3個維度的數(shù)據(jù)分布可視化,結(jié)合啟動拖延、學(xué)習(xí)跨度、行為密度等行為投入指標(biāo)以分析學(xué)習(xí)者在學(xué)習(xí)策略上的差異.網(wǎng)絡(luò)學(xué)習(xí)者具有差異化的需求,因此具有截然不同的資源訪問模式.聚類分析的目的有兩個:第一,了解學(xué)習(xí)者的資源訪問模式有哪些類別,從行為層面解讀差異化群體的學(xué)習(xí)策略以使下一階段的序列分析有的放矢;第二,降低日志數(shù)據(jù)的異質(zhì)性以滿足過程挖掘算法的使用條件.
在行為序列分析階段,研究主要探究兩方面的內(nèi)容:一方面,通過比較學(xué)習(xí)者在遭遇高/低程度認(rèn)知沖突的過程中其資源訪問序列之間的差異,以了解認(rèn)知沖突的外在表現(xiàn);另一方面,通過對比具有不同行為模式的學(xué)習(xí)者在遭遇高程度的認(rèn)知沖突時(shí)其認(rèn)知過程在行為上的變化,以檢驗(yàn)學(xué)習(xí)者應(yīng)對認(rèn)知沖突的方式是否會受到學(xué)習(xí)策略的影響.對于行為序列分析,過程挖掘和滯后序列分析都是主要的分析工具,其中,過程挖掘技術(shù)能夠?qū)κ录罩具M(jìn)行建模,以揭示流程的潛在問題,近年來逐漸被用于教育領(lǐng)域.而滯后序列分析法則主要用于檢驗(yàn)人們發(fā)生一種行為之后,另一種行為出現(xiàn)的顯著相關(guān)性.本研究使用ProM 6.11過程挖掘工具中的Inductive Miner算法插件,將學(xué)習(xí)者的資源訪問序列映射到Petri Net圖,并采用GSEQ 5.1軟件進(jìn)行滯后序列分析以檢驗(yàn)二元行為轉(zhuǎn)換的顯著性.研究表明,高異質(zhì)性的日志數(shù)據(jù)會大幅影響過程挖掘算法的擬合性能,因此本研究僅采用具有最多學(xué)習(xí)行為記錄的第二單元的日志數(shù)據(jù)以降低時(shí)間跨度對過程挖掘建模的影響.
對資源訪問序列的建模
對學(xué)習(xí)者的資源訪問序列建模的方法如圖3所示.首先從原始數(shù)據(jù)中劃分學(xué)習(xí)區(qū)間,對各區(qū)間內(nèi)的學(xué)習(xí)活動編碼及序列化;隨后從資源訪問序列中提取N?Gram特征并將其向量化;最后訓(xùn)練機(jī)器學(xué)習(xí)模型并評估模型在5折交叉訓(xùn)練集上的表現(xiàn),以驗(yàn)證基于資源訪問序列識別處于認(rèn)知沖突的學(xué)習(xí)者的可行性.
在劃分區(qū)間階段,由于網(wǎng)絡(luò)課程中各知識點(diǎn)與配套習(xí)題組一一對應(yīng),習(xí)題的最后一次提交代表完成了學(xué)習(xí)者對知識點(diǎn)的學(xué)習(xí),而知識點(diǎn)與學(xué)習(xí)者則是多對多的關(guān)系,因此本研究以“知識點(diǎn)-學(xué)習(xí)者”為單位劃分學(xué)習(xí)區(qū)間,將學(xué)習(xí)者初次訪問知識點(diǎn)相關(guān)內(nèi)容(學(xué)習(xí)視頻、配套練習(xí)、外部文檔鏈接)的時(shí)間戳視為起始點(diǎn),以最后一次提交配套練習(xí)作為終止點(diǎn),總共構(gòu)建了2 206個有效學(xué)習(xí)區(qū)間.
在編碼與序列化階段,各學(xué)習(xí)行為的編碼方案如表1所示,主要有視頻訪問、中斷間隔、練習(xí)訪問、外部鏈接訪問以及評論區(qū)訪問4類行為.其中,在學(xué)習(xí)過程中學(xué)習(xí)者往往會表現(xiàn)出回顧歷史知識點(diǎn)、參考過去的習(xí)題答案、超前學(xué)習(xí)等行為,因此按課程大綱順序,以當(dāng)前學(xué)習(xí)的知識點(diǎn)為參照進(jìn)一步將視頻/練習(xí)訪問行為劃分為當(dāng)前視頻/練習(xí)訪問、先前視頻/練習(xí)訪問和未來視頻/練習(xí)行為6類學(xué)習(xí)行為.中斷間隔是指學(xué)習(xí)者離開課程平臺的時(shí)間,本研究假設(shè)中斷間隔能反映學(xué)習(xí)者的拖延、反思、放棄等行為,經(jīng)統(tǒng)計(jì),將其按時(shí)間長度劃分為3類間隔:3.6~15.0 s為小型時(shí)間間隔,15.0~180.0 s為中型時(shí)間間隔,大于180.0 s為大型時(shí)間間隔.將各學(xué)習(xí)區(qū)間內(nèi)的行為編碼按時(shí)間順序連接后,得到學(xué)習(xí)者在該區(qū)間的資源訪問序列(圖4).
在N?Gram表征階段,研究首先采用N元模型窮舉長度在2~10之間可能的訪問子序列,例如“CE-CV-CE”是一種可能的3?Gram子序列,隨后分別以詞頻(Term Frequency,TF)和詞頻-逆文本頻率指數(shù)(Term Frequency-Inverse Document Frequency,TF-IDF)計(jì)算各子序列在各資源訪問序列的特征值,并分別獲取TF值和TF-IDF值最高的10個特征組成特征集合,最終得到兩個向量化數(shù)據(jù)集;此外,為獲取全部子序列的特征信息,研究應(yīng)用主成分分析(Principal Component Analysis,PCA)分別對各子序列在各資源訪問序列的TF和TF-IDF的全部特征值降維,得到另外兩個向量化數(shù)據(jù)集,記為PCA-TF和PCA-TF-IDF.
在建模與評估階段,本研究按3∶1的比例劃分訓(xùn)練集和測試集,通過5折交叉驗(yàn)證方法考察數(shù)據(jù)模型的預(yù)測性能.其中,認(rèn)知沖突標(biāo)簽來自于對學(xué)習(xí)者自我報(bào)告的判斷.根據(jù)本研究對認(rèn)知沖突的定義,認(rèn)知沖突發(fā)生于新知識、新問題等外部環(huán)境刺激與個體原有認(rèn)知結(jié)構(gòu)之間不一致時(shí).在概念學(xué)習(xí)過程中具體表現(xiàn)為,學(xué)習(xí)者在答題時(shí)因無法順利將新知識納入原有認(rèn)知結(jié)構(gòu)或改造認(rèn)知結(jié)構(gòu)以適應(yīng)新知識,從而導(dǎo)致在運(yùn)用新知識時(shí)解題思路與課程思想發(fā)生偏離.因此在每次練習(xí)提交后,學(xué)習(xí)者需要在答題反饋頁面比對該題的解題思路與自己的答題思路,按“更好”“一致”“接近”“不同”“都不是”報(bào)告兩者的一致性程度.在標(biāo)簽構(gòu)造中,前兩者視為低程度的認(rèn)知沖突,后三者則視為高程度的認(rèn)知沖突.
研究應(yīng)用了決策樹、支持向量機(jī)、最近鄰、隨機(jī)森林和邏輯回歸五個典型機(jī)器學(xué)習(xí)算法對學(xué)習(xí)者認(rèn)知沖突建模,并使用正確率、準(zhǔn)確率、F1指標(biāo)、ROC曲線下面積和Kappa一致性指標(biāo)評估模型在9種N?Gram序列長度、4種向量化表示方法、是否納入間隔編碼共72種條件下的預(yù)測性能,以探究在免傳感器條件下,基于學(xué)習(xí)行為序列特征的機(jī)器學(xué)習(xí)模型能在多大程度上識別遭遇認(rèn)知沖突的學(xué)習(xí)者.
3? 實(shí)驗(yàn)結(jié)果與分析
實(shí)驗(yàn)環(huán)境
實(shí)驗(yàn)依托 STEM College云學(xué)習(xí)平臺,參與者為79名選修《Python與機(jī)器學(xué)習(xí)》課程的本科生,年齡在22~24歲.課程共11個單元,包含69個學(xué)習(xí)視頻和55個隨堂練習(xí).通過記錄參與者在學(xué)習(xí)過程中的行為,共生成20 851條日志數(shù)據(jù),如圖5所示.
學(xué)習(xí)者聚類
在79名學(xué)習(xí)者中,有2人的課程完成率不足10%,因其學(xué)習(xí)行為過少而作為異常值排除.通過肘部法則發(fā)現(xiàn)當(dāng)=2時(shí),取得了最好的聚類效果,因此使用?means算法將學(xué)習(xí)者聚為兩類,輪廓系數(shù)為0.765.為比較這兩類學(xué)習(xí)者在認(rèn)知、問題解決和協(xié)作3個維度下行為指標(biāo)的差異,研究繪制了小提琴圖將網(wǎng)絡(luò)行為可視化(圖6).其中,小提琴圖同時(shí)具有盒圖與核密度圖的特點(diǎn),常用于展示多組數(shù)據(jù)的分布狀態(tài)和概率密度.從圖6中可以看出,兩類學(xué)習(xí)者在認(rèn)知和問題解決維度上的數(shù)據(jù)分布存在較大差異,表現(xiàn)出不同的學(xué)習(xí)行為模式.在認(rèn)知維度上,聚類1的學(xué)習(xí)者在視頻觀看時(shí)長、次數(shù)和時(shí)長比的中位數(shù)均高于聚類2,具有“長時(shí)間觀看”“反復(fù)播放”等特點(diǎn),表現(xiàn)出了更高的學(xué)習(xí)投入水平.此外,在數(shù)據(jù)分布上看聚類2在視頻觀看時(shí)長和時(shí)長比上普遍處于較低的水平,但是在視頻觀看數(shù)上與聚類1差別不大,說明聚類2中的學(xué)習(xí)者在資源訪問過程中存在“頻繁切換”“跳躍觀看”的傾向.
在問題解決維度上,聚類1中的學(xué)習(xí)者表現(xiàn)出了更多的答題次數(shù)、更久的答題時(shí)長以及更少的拖延行為,更具有“多次修改”“試錯反思”的傾向.聚類2的學(xué)習(xí)者在問題解決維度的投入水平較低,但在完成所有學(xué)習(xí)任務(wù)上所花費(fèi)的總時(shí)間更少.此外,從數(shù)據(jù)分布來看聚類2學(xué)習(xí)者的相對拖延時(shí)間更久、更分散,說明學(xué)習(xí)任務(wù)的啟動時(shí)間因人而異,而非像聚類1學(xué)習(xí)者一樣盡早投入學(xué)習(xí).顯然,兩類學(xué)習(xí)者的行為模式的差異很可能源于學(xué)習(xí)策略的選擇.
學(xué)習(xí)策略是學(xué)習(xí)者為了達(dá)到學(xué)習(xí)目標(biāo),有意識地制定的有關(guān)學(xué)習(xí)過程的行為方案,與學(xué)習(xí)者的動機(jī)有較強(qiáng)的關(guān)聯(lián).為進(jìn)一步探究兩類學(xué)習(xí)者在學(xué)習(xí)策略上的區(qū)別,研究基于學(xué)習(xí)投入理論構(gòu)建了啟動拖延、學(xué)習(xí)時(shí)間跨度、訪問次數(shù)和行為密度4個行為投入指標(biāo)以進(jìn)一步分析兩者的差異.其中啟動拖延是指在同一個學(xué)習(xí)單元中,個體與同批學(xué)習(xí)者最早訪問學(xué)習(xí)資源的時(shí)間之差;學(xué)習(xí)時(shí)間跨度指學(xué)習(xí)者在單元時(shí)間中總共花費(fèi)的天數(shù);行為密度指學(xué)習(xí)者的學(xué)習(xí)活動次數(shù)與學(xué)習(xí)時(shí)間跨度的比值.由于這些行為指標(biāo)不符合正態(tài)分布,因此本研究應(yīng)用曼-惠特尼檢驗(yàn)分析兩類學(xué)習(xí)者在4個行為指標(biāo)上的差異.結(jié)果表明(表2),兩類學(xué)習(xí)者在啟動拖延上存在顯著性差異(=0.003),聚類2學(xué)習(xí)者的啟動拖延高于聚類1學(xué)習(xí)者,結(jié)合小提琴圖中相關(guān)拖延的分布,可知該類學(xué)習(xí)者的啟動時(shí)間較為分散,具有較高的靈活性.此外,雖然兩類學(xué)習(xí)者在學(xué)習(xí)時(shí)間跨度、訪問次數(shù)和行為密度上不存在顯著差異,但從平均值和秩平均值來看,聚類1學(xué)習(xí)者表現(xiàn)出了更高的學(xué)習(xí)持續(xù)時(shí)間和資源訪問次數(shù).
綜上,大學(xué)生的網(wǎng)絡(luò)學(xué)習(xí)行為模式具有差異性,按學(xué)習(xí)策略主要可分為兩類.類別1的學(xué)習(xí)者具有高持續(xù)、高投入的學(xué)習(xí)特點(diǎn),能較快開展學(xué)習(xí)活動,并且保持較高頻的資源訪問行為,為持續(xù)性學(xué)習(xí)者;類別2的學(xué)習(xí)者傾向挑選合適的時(shí)間集中學(xué)習(xí),并快速完成習(xí)題任務(wù),為策略型學(xué)習(xí)者.學(xué)習(xí)者會受外部和內(nèi)部動機(jī)的驅(qū)使開展學(xué)習(xí)活動,以知識掌握為導(dǎo)向的學(xué)習(xí)者表現(xiàn)出較高的投入水平和探索欲,而以完成任務(wù)為目的的學(xué)習(xí)者則傾向于集中訪問個別資源,快速完成學(xué)習(xí)任務(wù),這與本研究的結(jié)果相一致.
學(xué)習(xí)者在認(rèn)知沖突表現(xiàn)上的差異
通過過程挖掘技術(shù),繪制訪問記錄的Petri Net,研究比較了遭遇高、低認(rèn)知沖突的學(xué)習(xí)者的行為模式(圖7,8).其中,藍(lán)色節(jié)點(diǎn)表示資源訪問行為,顏色越深則該行為的發(fā)生頻率越高;帶箭頭的弧線代表行為的轉(zhuǎn)變;弧線上的數(shù)值表示該轉(zhuǎn)變發(fā)生的次數(shù).
從路線分支來看,低認(rèn)知沖突組的Petri Net較為簡潔,其中包含對當(dāng)前習(xí)題或視頻反復(fù)瀏覽的行為,部分學(xué)習(xí)者會訪問之后的學(xué)習(xí)內(nèi)容;高認(rèn)知沖突組的Petri Net則包含更多的非線性訪問行為,傾向頻繁訪問以往的學(xué)習(xí)內(nèi)容(PV)和習(xí)題(PE).此外,中等間隔(MI)的后繼在兩組中也存在差別:在低認(rèn)知沖突組中,MI的后繼只有當(dāng)前練習(xí)(CE);而在高認(rèn)知沖突組中,中等間隔的后繼指向歷史資源(PE,PV)和當(dāng)前練習(xí)(CV), 這說明學(xué)習(xí)者產(chǎn)生了較大的認(rèn)知沖突,試圖求證、參考以往的學(xué)習(xí)內(nèi)容.
進(jìn)一步采用滯后序列分析檢驗(yàn)兩組在二元行為模式上的差異,該方法需要統(tǒng)計(jì)兩兩行為之間的轉(zhuǎn)換頻次,并在此基礎(chǔ)上統(tǒng)計(jì)調(diào)整后殘差表.基于滯后序列分析理論,當(dāng)調(diào)整后殘差值(Z?Score)大于1.96,則表明該二元轉(zhuǎn)換具有顯著意義.表3中列出了高/低程度認(rèn)知沖突對應(yīng)的學(xué)習(xí)區(qū)間中具有顯著意義的行為轉(zhuǎn)換.此外,包含間隔行為的序列通常需結(jié)合前、后繼組成三元行為模式進(jìn)行解讀,因此本研究排除了中斷間隔行為.
如表3所示,高認(rèn)知沖突組中,PE和PV的相互訪問形成了閉環(huán),這說明學(xué)習(xí)者在遭遇認(rèn)知沖突后,試圖通過反復(fù)對歷史知識的回顧使舊知識結(jié)構(gòu)與新知識達(dá)成新的平衡,同時(shí)也存在在討論區(qū)求助 (DIS->SUB,SUB->DIS)的行為.為考察不同群體遭遇認(rèn)知沖突時(shí)行為模式的變化,分別對高認(rèn)知沖突組中持續(xù)型學(xué)習(xí)者和策略型學(xué)習(xí)者的資源訪問序列進(jìn)行建模(圖9,10).
從路線分支來看,兩者關(guān)注的資源各有側(cè)重,持續(xù)型學(xué)習(xí)者傾向于通過對練習(xí)的反復(fù)修改,獲得認(rèn)知以及提高解決問題的能力,表現(xiàn)出以掌握為導(dǎo)向的學(xué)習(xí)策略;策略型學(xué)習(xí)者傾向于從以往練習(xí)和視頻中獲取解題線索,表現(xiàn)出以完成任務(wù)為指向的學(xué)習(xí)策略.由此可知,在遭遇認(rèn)知沖突后,學(xué)習(xí)者雖然會體現(xiàn)出更多的非線性學(xué)習(xí)行為,但仍秉持一貫的學(xué)習(xí)策略.
基于資源訪問序列的認(rèn)知沖突識別
研究使用N?Gram方法表征學(xué)習(xí)區(qū)間內(nèi)的行為序列,并使用決策樹、支持向量機(jī)、最近鄰、隨機(jī)森林和邏輯回歸5個典型機(jī)器學(xué)習(xí)算法構(gòu)建了認(rèn)知沖突識別模型,并使用正確率、準(zhǔn)確率、F1指標(biāo)、ROC曲線下面積和Kappa一致性指標(biāo)評估模型在9種N?Gram序列長度(2~10)和4種向量化表示方法共36種條件下的預(yù)測性能.
實(shí)驗(yàn)結(jié)果表明(表4),當(dāng)=5,并采用詞頻統(tǒng)計(jì)向量化行為子序列時(shí),模型的預(yù)測效果最好,決策樹模型在交叉驗(yàn)證測試集上的正確率為0.800,準(zhǔn)確率為0.857,F(xiàn)1指標(biāo)為0.657,ROC曲線下面積為0.748,Kappa一致性為0.550.其中,準(zhǔn)確率是指標(biāo)簽中的正例在模型預(yù)測正例中的占比.識別遭遇了高程度認(rèn)知沖突的學(xué)習(xí)者,準(zhǔn)確率是較為重要的指標(biāo).研究結(jié)果表明,5個算法模型的最優(yōu)實(shí)例的準(zhǔn)確率均超過了0.700,說明基于學(xué)習(xí)者的訪問流程預(yù)測學(xué)習(xí)者是否處于認(rèn)知沖突狀態(tài)在很大程度上是可行的.
進(jìn)一步驗(yàn)證模型的可信度,將預(yù)測模型應(yīng)用于未提供自我報(bào)告的學(xué)習(xí)區(qū)間生成預(yù)測標(biāo)簽,然后統(tǒng)計(jì)各知識點(diǎn)遭遇認(rèn)知沖突的人數(shù),共定位了4個高困惑知識點(diǎn).結(jié)合學(xué)習(xí)者在評論區(qū)的留言發(fā)現(xiàn),大部分學(xué)習(xí)者掌握高困惑知識點(diǎn)存在困難,如“有點(diǎn)抽象”“自己找思路有困難”.
4? 結(jié)論
本文作者研究了在線學(xué)習(xí)者在遭遇認(rèn)知沖突后,其資源訪問行為發(fā)生的變化,以及在免傳感器條件下,利用這種變化識別遭遇認(rèn)知沖突的學(xué)習(xí)者,得出3個結(jié)論:
1) 在線學(xué)習(xí)者的資源訪問模式具有差異化特點(diǎn),持續(xù)型學(xué)習(xí)者具有高學(xué)習(xí)投入、低學(xué)習(xí)拖延的特點(diǎn),表現(xiàn)出能力提升導(dǎo)向的學(xué)習(xí)策略;策略型學(xué)習(xí)者具有高自主性的特點(diǎn),表現(xiàn)出以績效為導(dǎo)向的學(xué)習(xí)策略.
2) 遭遇高程度認(rèn)知沖突時(shí),學(xué)習(xí)者均傾向于反復(fù)訪問歷史學(xué)習(xí)內(nèi)容和練習(xí),并且學(xué)習(xí)者在訪問行為上依然會秉持其一貫的學(xué)習(xí)策略,為了解高校學(xué)生在在線學(xué)習(xí)平臺上的資源訪問模式提供了有價(jià)值的見解,有助于自適應(yīng)學(xué)習(xí)路線的規(guī)劃.
3) 基于學(xué)習(xí)者資源訪問序列的機(jī)器學(xué)習(xí)模型能夠在很大程度上識別陷入認(rèn)知沖突的學(xué)習(xí)者,且具有盡早干預(yù)的潛力.教師往往以學(xué)習(xí)周為單位,制定學(xué)習(xí)計(jì)劃,并根據(jù)學(xué)習(xí)者的反饋修改下一周的教學(xué)策略或者改進(jìn)教學(xué)資源.然而不少學(xué)習(xí)者會忘記提交自我報(bào)告,這對教師造成了困擾.通過對每周的行為數(shù)據(jù)進(jìn)行建模,可以有效地補(bǔ)全未提交的自我報(bào)告,并發(fā)現(xiàn)薄弱知識點(diǎn)和有待提高的教學(xué)資源.研究基于學(xué)習(xí)者日志事件序列建模而非靜態(tài)統(tǒng)計(jì)數(shù)據(jù)或額外采集的數(shù)據(jù),對免傳感器的認(rèn)知沖突識別與應(yīng)用研究具有啟發(fā)意義.
盡管本研究對在線學(xué)習(xí)環(huán)境下學(xué)習(xí)者遭遇認(rèn)知沖突后的行為模式轉(zhuǎn)變提出了新的見解,并證實(shí)了基于行為序列預(yù)測學(xué)習(xí)者困惑狀態(tài)的可行性,但研究仍具有一些局限性.首先,本研究的數(shù)據(jù)均來自同一門課程,研究結(jié)果具有一定的片面性.未來的研究應(yīng)該探索不同學(xué)科下學(xué)習(xí)者的認(rèn)知沖突在學(xué)習(xí)行為上的體現(xiàn).其次,研究僅采用N?Gram表征學(xué)習(xí)者的行為序列,未來可以考慮與其他不同的行為序列表征方式進(jìn)行比較,并探索行為序列特征與靜態(tài)行為統(tǒng)計(jì)數(shù)據(jù)相結(jié)合的可行性.
參考文獻(xiàn):
[1]? D’MELLO S K, GRAESSER A C. International Handbook of Emotions in Education [M]. London: Routledge,2014:299-320.
[2]? CHEN Y L, PAN P R, SUNG Y T, et al. Correcting misconceptions on electronics: effects of a simulation-based learning environment backed by a conceptual change model [J]. Educational Technology & Society,2013,16(2): 212-227.
[3]? TIAM-LEE T J, SUMI K. Analysis and prediction of student emotions while doing programming exercises [C]// Proceedings of the International Conference on Intelligent Tutoring Systems. Kingston: Springer,2019:24-33.
[4]? ATAPATTU T, FALKNER K. Impact of lecturer’s discourse for students’ video engagement: video learning analytics case study of MOOCs [J]. Journal of Learning Analytics,2018,5(3):182-197.
[5]? ALZOUBI O, D’MELLO S K, CALVO R A. Detecting naturalistic expressions of nonbasic affect using physiological signals [J]. IEEE Transactions on Affective Computing,2012,3(3):298-310.
[6]? BIJAWAT S, KUSHWAHA R. Applying machine learning approach to detect confused mental state using EEG [J]. Juni Khyat,2020,10(6):22-25.
[7]? ZHENG Z, NA K S. A data-driven emotion model for English learners based on machine learning [J]. International Journal of Emerging Technologies in Learning,2021,16(8):34-46.
[8]? KHAN F A, GRAF S, WEIPPL E R, et al. Identifying and incorporating affective states and learning styles in Web-based learning management systems [J]. Interaction Design & Architecture,2010,97(9/10):9-10.
[9]? DONNELLAN D, PAHL C. Data mining technology for the evaluation of Web-based teaching and learning systems [C]// Proceedings of the E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education. Norfolk: AACE,2002:1-7.
[10] LI X, WANG T, WANG H. Exploring N-Gram features in clickstream data for MOOC learning achievement prediction [C]// Proceedings of the International Conference on Database Systems for Advanced Applications. Suzhou:Springer,2017:328-339.
[11] WOOLF B, BURLESON W, ARROYO I, et al. Affect-aware tutors: recognising and responding to student affect [J]. International Journal of Learning Technology,2009,4(3/4):129-164.
[12] MILLER B W. Using reading times and eye-movements to measure cognitive engagement [J]. Educational Psychologist, 2015,50(1):31-42.
[13] ZHANG Z, LI Z, LIU H, et al. Data-driven online learning engagement detection via facial expression and mouse behavior recognition technology [J]. Journal of Educational Computing Research,2020,58(1):63-86.
[14] GUO F, LI F, LYU W, et al. Bibliometric analysis of affective computing researches during 1999 similar to 2018 [J]. International Journal of Human-Computer Interaction,2020,36(9):801-814.
[15] HARDY M, WIEBE E N, GRAFSGAARD J F, et al. Physiological responses to events during training: use of skin conductance to inform future adaptive learning systems [C]// Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Los Angeles: SAGE,2013:2101-2105.
[16] D'MELLO S K, GRAESSER A. Multimodal semi-automated affect detection from conversational cues, gross body language, and facial features [J]. User Modeling and User-Adapted Interaction,2010,20(2):147-187.
[17] YU H, GUPTA A, LEE W, et al. Measuring and integrating facial expressions and head pose as indicators of engagement and affect in tutoring systems [C]// Proceedings of the International Conference on Human-Computer Interaction. Washington D.C.: Springer,2021:219-233.
[18] BAKER D R S, GOWDA S M, WIXON M, et al. Towards sensor-free affect detection in cognitive tutor algebra [C]//? Proceedings of the 5th International Conference on Educational. Chania: WikiCFP,2012:126-133.
[19??? ]? KELKAR K, BAKAL J. Random forest algorithm for learner’s confusion detection using behavioral features [C]// Proceedings of the International Conference on Mobile Computing and Sustainable Informatics. Lalitpur: Springer,2020:551-562.
[20] BOGARIN A, CEREZO R, ROMERO C. A survey on educational process mining [J]. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery,2018,8(1):e1230.
[21] DIYI Y, ROBERT E K, CAROLYN P R. Exploring the effect of student confusion in massive open online courses [J]. Journal of Educational Data Mining,2016,8(1):52-83.
[22] CEREZO R, BOGARIN A, ESTEBAN M, et al. Process mining for self-regulated learning assessment in E-learning [J]. Journal of Computing in Higher Education,2020,32(1):74-88.
[23] DEL VALLE R, DUFFY T M. Online learning: learner characteristics and their approaches to managing learning [J]. Instructional Science,2009,37(2):129-149.
[24] CHI M T H, WYLIE R. The ICAP framework: linking cognitive engagement to active learning outcomes [J]. Educational Psychologist,2014,49(4):219-243.
[25] GUO P J, REINECKE K. Demographic differences in how students navigate through MOOCs [C]// Proceedings of the First ACM Conference on Learning @ Scale. Atlanta: ACM,2014:21-30.
[26] LEHMAN B, MATTHEWS M, D’MELLO S, et al. What are you feeling?Investigating student affective states during expert human tutoring sessions [C]// Proceedings of the International Conference on Intelligent Tutoring Systems. Berlin: Springer,2008:50-59.
[27] ABIDI S M R, HUSSAIN M, XU Y, et al. Prediction of confusion attempting algebra homework in an intelligent tutoring system through machine learning techniques for educational sustainable development [J]. Sustainability,2019,11(1): 1-21.
[28] MANDALAPU V, GONG J. Towards better affect detectors: detecting changes rather than states [C]// Proceedings of the International Conference on Artificial Intelligence in Education. London: Springer,2018:199-203.
[29] STEINLEY D. K-means clustering: a half-century synthesis [J].British Journal of Mathematical and Statistical Psychology,2006,59(1):1-34.
[30] PENG W H. Analysis and modeling of E-learning behaivor [D]. Wuhan: Central China Normal University,2012.
[31] ROMERO C, VENTURA S. Data mining in education [J]. Wiley Interdisciplinary Reviews-Data Mining and Knowledge Discovery,2013,3(1):12-27.
[32] SAINT J, WHITELOCK-WAINWRIGHT A, GASEVIC D, et al. Trace-SRL: a framework for analysis of microlevel processes of self-regulated learning from trace data [J]. IEEE Transactions on Learning Technologies,2020,13(4): 861-877.
[33] SACKETT G P. Theory and Applications in Mental Retardation [M]. London: University Park Press,1978.
[34] VAN DER AALST W. Process Mining Software [M]. Berlin: Springer,2016.
[35] BAKEMAN R, QUERA V. Analyzing Interaction: Sequential Analysis with SDIS and GSEQ [M]. Cambridge: Cambridge University Press,1995.
[36] ZHU M, DOO M Y. The relationship among motivation, self-monitoring, self-management, and learning strategies of MOOC learners [J]. Journal of Computing in Higher Education,2021,33:1-22.
[37] LI S, ZHANG Y. A cluster study on MOOC students’ participation patterns: a case study of a Chinese MOOC [C]// Proceedings of the 2018 Seventh International Conference of Educational Innovation through Technology. Auckland: IEEE,2018:184-188.
[38] YANG X M, WANG H B, LI Y H, et al. The application of lag sequential analysis method in analyzing learning behavior [J]. China Educational Technology,2016(2):17-23,32.
(責(zé)任編輯:包震宇,郁慧)