MOOC學(xué)習(xí)中“偽學(xué)習(xí)者”行為特征分析與識別的研究

王傳安，葛 華

1.安徽科技學(xué)院信息與網(wǎng)絡(luò)工程學(xué)院，安徽 滁州 233100；

2.北京郵電大學(xué)網(wǎng)絡(luò)技術(shù)研究院，北京 100876

慕課（massive open online courses，MOOC）作為一種新興的學(xué)習(xí)者協(xié)同進(jìn)行的學(xué)習(xí)平臺，隨著互聯(lián)網(wǎng)Web 2.0和云計(jì)算等技術(shù)的成熟［1］，不但吸引了越來越多學(xué)習(xí)者、平臺提供者及高校參與其中，同時也引發(fā)了教育研究者的極大關(guān)注［2］。盡管MOOC得到了快速的發(fā)展，一些初步的研究成果已經(jīng)形成，但是教師對學(xué)習(xí)者在MOOC平臺下是如何學(xué)習(xí)的知之甚少［3-4］。了解學(xué)習(xí)者的學(xué)習(xí)行為特性，不僅可以優(yōu)化MOOC平臺的設(shè)計(jì)，更重要的是可以彌補(bǔ)MOOC教學(xué)方式中師生的時空分離缺點(diǎn)。

現(xiàn)在對MOOC學(xué)習(xí)者學(xué)習(xí)行為的研究多數(shù)傾向于學(xué)習(xí)行為方式與學(xué)習(xí)效果之間的關(guān)聯(lián)［5-6］，且研究所有的樣本數(shù)據(jù)多數(shù)直接采集行為日志或問卷調(diào)查，屬于線后統(tǒng)計(jì)分析行為［7］。同時，目前對MOOC學(xué)習(xí)者行為分析都是單方面的，無法判定學(xué)習(xí)者在學(xué)習(xí)過程中是否存在偽學(xué)習(xí)行為。比如某學(xué)習(xí)者為盡快播放完課程教學(xué)視頻，采取連續(xù)播放或掛機(jī)方式播放教學(xué)視頻，且在播放過程中多次拖放視頻。

再比如某學(xué)習(xí)者為完成提交課程作業(yè)任務(wù)，一次性提交所有作業(yè)，諸如此類學(xué)習(xí)行為我們稱之為偽學(xué)習(xí)行為，同時該學(xué)習(xí)者可看做是“偽學(xué)習(xí)者”［8-9］。而如何正確識別MOOC平臺中的偽學(xué)習(xí)者，并根據(jù)偽學(xué)習(xí)行為特性制定相應(yīng)的預(yù)防措施或報(bào)警機(jī)制，以抑制學(xué)習(xí)者的偽學(xué)習(xí)行為，已成為MOOC教學(xué)研究中首要解決的關(guān)鍵問題之一。

本文為實(shí)現(xiàn)高精度的偽學(xué)習(xí)者識別，將多種學(xué)習(xí)行為特征進(jìn)行融合分析，建立了學(xué)習(xí)者動態(tài)行為模式，通過多分類器協(xié)同學(xué)習(xí)，實(shí)現(xiàn)對未標(biāo)記學(xué)習(xí)者行為數(shù)據(jù)進(jìn)行標(biāo)記，進(jìn)而根據(jù)標(biāo)記判定該學(xué)習(xí)者是否為偽學(xué)習(xí)者。

1 學(xué)習(xí)者動態(tài)行為模式

由于僅基于某一特定類型的行為特征并不能夠?qū)螌W(xué)習(xí)者進(jìn)行準(zhǔn)確的識別，因此，在原數(shù)據(jù)集中提供的學(xué)習(xí)者概要特征基礎(chǔ)上，提出學(xué)習(xí)者自主行為特征和學(xué)習(xí)者交互信息特征，并將其三者融合以對學(xué)習(xí)者動態(tài)行為模式進(jìn)行建模。

1.1 學(xué)習(xí)者概要特征

學(xué)習(xí)者自身的因素，如性別、文化程度、選課時間和學(xué)習(xí)目的，是影響學(xué)習(xí)者學(xué)習(xí)行為發(fā)生的內(nèi)部因素，文中將這些因素作為偽學(xué)習(xí)者識別的概要特征。

1.2 學(xué)習(xí)者自主行為特征

1.2.1 課程關(guān)注度 在實(shí)際的MOOC學(xué)習(xí)過程中，偽學(xué)習(xí)者自從注冊后很少登錄MOOC平臺，即使經(jīng)常登錄平臺，卻采用走馬觀花的學(xué)習(xí)方式對待學(xué)習(xí)內(nèi)容，導(dǎo)致每次學(xué)習(xí)時長較短，故與正常學(xué)習(xí)者相比，偽學(xué)習(xí)者的平臺登錄次數(shù)和學(xué)習(xí)時長都低的多。因此，為了衡量學(xué)習(xí)者自愿學(xué)習(xí)某課程的意愿程度，定義了用戶課程關(guān)注度Fu為

式（1）中 tu，j是學(xué)習(xí)者u第j次登錄MOOC平臺時的學(xué)習(xí)時長；N為學(xué)習(xí)者u登錄的總次數(shù)；而D和T分別表示學(xué)習(xí)該課程時的建議學(xué)習(xí)天數(shù)和每次學(xué)習(xí)的時長。

1.2.2 視頻學(xué)習(xí)行為 教學(xué)視頻是MOOC平臺中最主要的學(xué)習(xí)資源，同時也是學(xué)習(xí)者獲取知識的最主要途徑［1］。偽學(xué)習(xí)者為急于結(jié)束視頻學(xué)習(xí)，常采用“掛機(jī)”的方式，在一次登錄過程中持續(xù)播放整個課程的所有教學(xué)視頻。因此，本文將觀看教學(xué)視頻的頻度熵作為識別偽學(xué)習(xí)者“掛機(jī)”視頻學(xué)習(xí)行為的特征量。學(xué)習(xí)者u的視頻觀看頻度熵Eu定義為：

式（2）中l(wèi)u，d是學(xué)習(xí)者u在第 d天學(xué)習(xí)的教學(xué)視頻數(shù)量，K是學(xué)習(xí)者u需要學(xué)習(xí)的某門課程總的教學(xué)視頻個數(shù)。對于一個學(xué)習(xí)者，如果他將要學(xué)習(xí)的課程教學(xué)視頻在某一天觀看完，則他的視頻觀看頻度熵趨于0；如果他將所有課程教學(xué)視頻平均分布在D天觀看完，則視頻觀看頻度熵為1。因此，較高的頻度熵值代表了學(xué)習(xí)者有規(guī)律地觀看課程視頻，能較好的按照視頻學(xué)習(xí)建議進(jìn)行學(xué)習(xí)。

另一個與視頻學(xué)習(xí)行為相關(guān)的特征量是觀看視頻時的行為動作。在觀看教學(xué)視頻時，正常學(xué)習(xí)者的主要動作包括暫停、后退及個別快進(jìn)動作，而偽學(xué)習(xí)者帶著一顆“應(yīng)付的心”的觀看教學(xué)視頻，其動作主要是快進(jìn)及拖拽。采用方差來衡量正常學(xué)習(xí)者與偽學(xué)習(xí)者在觀看視頻時的行為動作差異：

式（3）中qu，k表示學(xué)習(xí)者u在第k個教學(xué)視頻上快進(jìn)的次數(shù)，su，k表示學(xué)習(xí)者u在第k個教學(xué)視頻上拖拽的次數(shù)，qˉk和 sˉk分別表示所有學(xué)習(xí)者在第k個教學(xué)視頻上快進(jìn)的次數(shù)和拖拽次數(shù)的平均值。對于一個學(xué)習(xí)者u，其動作差異Pu越大，說明該學(xué)習(xí)者的快進(jìn)和拖拽次數(shù)越多，反之亦然。

1.3 學(xué)習(xí)者交互信息特征

1.3.1 動態(tài)發(fā)帖數(shù) 有時為了制造主動交互學(xué)習(xí)的假象，偽學(xué)習(xí)者在一次登錄過程中在討論區(qū)發(fā)布多個帖子，或者在每次登錄過程中都發(fā)布多個討論帖［10］。因此，為了衡量發(fā)帖數(shù)與登錄次數(shù)間的關(guān)系，將發(fā)帖數(shù)與登錄發(fā)帖區(qū)次數(shù)的比率作為動態(tài)發(fā)帖數(shù)的特征表示：

式（4）中 ru，j是學(xué)習(xí)者 u 第 j次登錄MOOC平臺時在討論區(qū)發(fā)帖的個數(shù)。

1.3.2 發(fā)帖內(nèi)容相關(guān)性 在MOOC學(xué)習(xí)中，一個正常學(xué)習(xí)者針對不同的教學(xué)內(nèi)容，發(fā)布的多個帖子在內(nèi)容和主題上并不會表現(xiàn)出很強(qiáng)的自相似性，而偽學(xué)習(xí)者一般采用內(nèi)容模板在一次登錄過程中發(fā)布大量具有較高相似度的帖子。因此，本文從文本角度出發(fā)，衡量用戶u發(fā)帖內(nèi)容的相關(guān)性，其計(jì)算公式如下：

式（5）中W表示用戶u發(fā)布的帖子總數(shù)，T（w，w-1）表示第w條帖子與第w-1條帖子間的發(fā)布時間間隔，Γ(w，w-1)表示第w條帖子與第w-1條帖子間的jaccard相似度［11］，其計(jì)算公式為：

其中，G(w)和G(w-1)分別表示第w條帖子與第w-1條帖子中所包含的相似詞語集合。

1.3.3 動態(tài)作業(yè)數(shù) 偽學(xué)習(xí)者為了完成MOOC學(xué)習(xí)過程中的作業(yè)提交任務(wù)，往往在一次登錄過程中將多個教學(xué)內(nèi)容環(huán)節(jié)的不同作業(yè)提交到系統(tǒng)平臺中。與動態(tài)發(fā)帖數(shù)類似，采用提交作業(yè)數(shù)與登錄次數(shù)的比率作為動態(tài)作業(yè)數(shù)的特征表示為：

式（7）中 ru，j是學(xué)習(xí)者 u 第 j次登錄MOOC平臺時提交的作業(yè)個數(shù)。

2 偽學(xué)習(xí)者識別

由于僅基于某一特定類型的特征并不能夠?qū)螌W(xué)習(xí)者進(jìn)行準(zhǔn)確的識別，因此，融合用戶概要特征、用戶關(guān)系特征以及用戶發(fā)布信息特征，通過多分類器協(xié)同學(xué)習(xí)，實(shí)現(xiàn)對未標(biāo)記學(xué)習(xí)者行為數(shù)據(jù)進(jìn)行標(biāo)記，進(jìn)而根據(jù)標(biāo)記判定該學(xué)習(xí)者是否為偽學(xué)習(xí)者。其識別模型如圖1所示。

圖1 基于協(xié)同訓(xùn)練的偽學(xué)習(xí)者識別模型Fig.1 Pseudo-learner recognition model based on collaborative training

2.1 數(shù)據(jù)預(yù)處理

采集MOOC平臺中的學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)，根據(jù)偽學(xué)習(xí)者行為特征指標(biāo)，提取每條行為數(shù)據(jù)的特征值，構(gòu)造供集成分類器使用的訓(xùn)練樣本集和檢測樣本集。由于協(xié)同學(xué)習(xí)采用SVM進(jìn)行訓(xùn)練分類，而SVM只能處理數(shù)值型的數(shù)據(jù)，為此要對所提取特征值進(jìn)行標(biāo)準(zhǔn)化和離散化處理。

為提高分類器性能，協(xié)同學(xué)習(xí)在訓(xùn)練過程中需要利用已標(biāo)記樣本和未標(biāo)記樣本對多個分類器進(jìn)行協(xié)同訓(xùn)練。因此，為獲得已標(biāo)記樣本，對預(yù)處理后的學(xué)習(xí)者行為數(shù)據(jù)進(jìn)行類別標(biāo)識，用lab表示，標(biāo)記lab取值為｛1，-1｝，當(dāng)值為1表示該樣本為正常學(xué)習(xí)者行為，而-1表示該樣本為偽學(xué)習(xí)者行為。具有n個特征值的訓(xùn)練樣本可表示為X=［（ x1，x2，…… xn），lab］，其中 xi為學(xué)習(xí)者第i個學(xué)習(xí)行為特征的取值，其中i∈[1，n]。

2.2 偽學(xué)習(xí)者識別

文中應(yīng)用選擇性協(xié)同學(xué)習(xí)解決偽學(xué)習(xí)者的識別檢測問題［12］，其識別過程可劃分為協(xié)同訓(xùn)練階段和檢測識別階段。

2.2.1 協(xié)同訓(xùn)練 根據(jù)學(xué)習(xí)者不同的學(xué)習(xí)行為特征，將已標(biāo)記的學(xué)習(xí)者行為樣本分為3個無重復(fù)的訓(xùn)練集，然后使用3個訓(xùn)練集分別訓(xùn)練初始分類器f1、f2和 f3，3個分類器協(xié)同工作，遇到未標(biāo)記行為樣本時，若3個分類器對該樣本預(yù)測的標(biāo)記一致時，使用預(yù)測標(biāo)記對該樣本進(jìn)行標(biāo)記，并將已標(biāo)記的新樣本添加到已標(biāo)記樣本集中，形成新的訓(xùn)練集，開啟新一輪迭代訓(xùn)練，直至分類器不再發(fā)生變化。

2.2.2 偽學(xué)習(xí)者檢測 分類器訓(xùn)練結(jié)束后，在未標(biāo)記的學(xué)習(xí)者行為樣本監(jiān)測與分類識別中，分類器采用協(xié)同投票方法對學(xué)習(xí)者行為樣本的類別進(jìn)行判定，若判定樣本標(biāo)記lab值為-1，則認(rèn)定該樣本為偽學(xué)習(xí)者。根據(jù)陳文等［13］提出的樣本檢測錯誤率判定方法及Angluin等［14］提出的噪聲學(xué)習(xí)理論，樣本檢測錯誤率?與分類數(shù)目B間的關(guān)系應(yīng)滿足式（8）：

其中A為樣本個數(shù)，σ為置信度參數(shù)，?是檢測錯誤率上限。將式（7）進(jìn)一步轉(zhuǎn)換得式（9）：

設(shè)檢測第u個未標(biāo)記的樣本數(shù)據(jù)時，樣本檢測錯誤率為?u-1，若滿足式（11）：

則表明增加第x個樣本后能改進(jìn)分類器性能，這也意味著對第u個樣本預(yù)測的標(biāo)記是精確的；否則放棄本輪對檢測樣本x的類別判定，從檢測樣本集中重新進(jìn)行選擇樣本，進(jìn)行下一輪的檢測。式（11）中A+1表示將第x個樣本加入已標(biāo)記樣本集后的規(guī)模，?u為完成第x個樣本檢測后的檢測錯誤率。

3 實(shí)驗(yàn)分析

實(shí)驗(yàn)所使用的學(xué)習(xí)者學(xué)習(xí)行為日志數(shù)據(jù)均來自于MOOC課程《大學(xué)計(jì)算機(jī)基礎(chǔ)》，對采集到的行為數(shù)據(jù)進(jìn)行特征抽取，并按學(xué)號（SID）進(jìn)行分類排序，然后根據(jù)文中第二部分動態(tài)行為模式建模所需要的行為特征進(jìn)行格式處理和離散化處理，表1為處理后的部分?jǐn)?shù)據(jù)樣本實(shí)例（表1中Fu為課程關(guān)注度、Eu為視頻觀看頻度熵、Pu為觀看視頻行為動作特征、Ru為動態(tài)發(fā)帖特征、Simu為發(fā)帖內(nèi)容相關(guān)性、Hu為動態(tài)作業(yè)特征）。

表1 處理后的學(xué)習(xí)行為數(shù)據(jù)樣本Tab.1 Samples of processed learning behavior data

在偽學(xué)習(xí)者預(yù)測效果的評價方面，本文采用準(zhǔn)確率和召回率作為評價指標(biāo)。準(zhǔn)確率描述了分類器將正常學(xué)習(xí)者與偽學(xué)習(xí)者正確分類的百分比，而召回率表明了檢測出的偽學(xué)習(xí)者中，真實(shí)偽學(xué)習(xí)者的比率［15］。表2記錄了兩組實(shí)驗(yàn)樣本集的實(shí)驗(yàn)結(jié)果，其中樣本集1中共5 000條樣本數(shù)據(jù)，其中3 000條作為訓(xùn)練數(shù)據(jù)，2 000條作為測試數(shù)據(jù)；而樣本集2中共3 000條樣本數(shù)據(jù)，其中1 500條作為訓(xùn)練數(shù)據(jù)，另外1 500條作為測試數(shù)據(jù)。

在采用樣本集1進(jìn)行實(shí)驗(yàn)時，采用本文提出的6個行為特征訓(xùn)練分類器，而采用樣本集2進(jìn)行實(shí)驗(yàn)時，添加了年齡、選課時間和性別三個特征訓(xùn)練分類器。根據(jù)表2的實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)并不是行為特征選取的越多，預(yù)測效果越好，因?yàn)椴糠痔卣骶哂小柏?fù)效果”，反而會降低分類器的準(zhǔn)確率。這也證明了所提出的動態(tài)行為模式的有效性。

表2 偽學(xué)習(xí)者預(yù)測結(jié)果Tab.2 Predict results of pseudo-learners %

圖2給出了所有學(xué)習(xí)者的視頻觀看頻度熵曲線。從圖2中可以看出極少數(shù)學(xué)習(xí)者的視頻觀看頻度熵趨于0，表明這些學(xué)習(xí)者的視頻觀看行為特別集中，極有可能是采用掛機(jī)播放的方式觀看教學(xué)視頻，而大部分學(xué)習(xí)者的視頻觀看頻度熵都在0.5以上，表明他們的視頻觀看行為分布較為平均。

圖2 學(xué)習(xí)者觀看視頻行為統(tǒng)計(jì)Fig.2 Video viewing behavior statistics of learners

表3進(jìn)一步給出了正常學(xué)習(xí)者和偽學(xué)習(xí)者的視頻觀看頻度熵的對比，只有不超過10%的正常學(xué)習(xí)者的頻度熵小于0.25，而偽學(xué)習(xí)者的比例高達(dá)95%。這說明偽學(xué)習(xí)者為了應(yīng)付學(xué)習(xí)，在一次或幾次登錄過程中采用連續(xù)播放（或掛機(jī)播放）的方式將課程教學(xué)視頻播放完，即與正常學(xué)習(xí)者相比，偽學(xué)習(xí)者的視頻觀看行為特別集中。

表3 正常學(xué)習(xí)者與偽學(xué)習(xí)者的視頻觀看頻度熵Tab.3 Video viewing frequency entropy of normal learners VS pseudo-learners

從圖3的統(tǒng)計(jì)結(jié)果可以看出偽學(xué)習(xí)者的發(fā)帖內(nèi)容的相似度高于正常學(xué)習(xí)者。在MOOC學(xué)習(xí)中，一個正常學(xué)習(xí)者針對不同的教學(xué)內(nèi)容，在討論區(qū)發(fā)帖的內(nèi)容一般會與教學(xué)內(nèi)容緊密相關(guān)，因此發(fā)帖內(nèi)容相關(guān)性程度較低，而偽學(xué)習(xí)者一般采用內(nèi)容模板在一次登錄過程中發(fā)布大量具有較高相似度的帖子。

圖3 偽學(xué)習(xí)者與正常學(xué)習(xí)者發(fā)帖相關(guān)性比較Fig.3 Post content correlation of normal learners VS pseudo-learners

4 結(jié) 語

以MOOC環(huán)境下學(xué)習(xí)者的學(xué)習(xí)行為作為研究落腳點(diǎn)，根據(jù)學(xué)習(xí)者學(xué)習(xí)行為特性，對學(xué)習(xí)者動態(tài)行為模式進(jìn)行建模，然后采用協(xié)調(diào)訓(xùn)練的方法進(jìn)行學(xué)習(xí)行為數(shù)據(jù)訓(xùn)練，以此來檢測學(xué)習(xí)過程中是否存在偽學(xué)習(xí)行為。為驗(yàn)證文中所提的偽學(xué)習(xí)者識別方法的有效性，選取了MOOC平臺中《大學(xué)計(jì)算機(jī)基礎(chǔ)》作為研究實(shí)例，將采集到學(xué)習(xí)者學(xué)習(xí)行為日志數(shù)據(jù)作為實(shí)驗(yàn)樣本，采用分類標(biāo)記的方法進(jìn)行偽學(xué)習(xí)者識別驗(yàn)證。結(jié)果證明，文中所提的偽學(xué)習(xí)者識別方法具有較高的準(zhǔn)確率和召回率。

致謝

在此對文中實(shí)驗(yàn)和測試等提供支持和幫助的安徽科技學(xué)院《大學(xué)計(jì)算機(jī)MOOC平臺》研究組各位老師表示感謝。

［1］ 蔣卓軒，張巖，李曉明.基于MOOC數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測［J］. 計(jì)算機(jī)研究與發(fā)展，2015，52（3）：614-628.

［2］ 梁林梅.MOOCs學(xué)習(xí)者分類特征與堅(jiān)持性［J］.比較教育研究，2015，37（1）：28-34.

［3］ CHANG J W.Exploring engaging gamification mechanics in massive online open courses ［J］. Journal of Educational Technology&Society，2016 ，19（2）：177-203.

［4］ 李帥，張巖峰，于戈，等.MOOC平臺學(xué)習(xí)行為數(shù)據(jù)的采集與分析［J］. 中國科技論文，2015，10（20）：2373-2376.

［5］ RODRIGUEZ C.MOOCs and the AI-stanford like courses：two successful and distinct course formats for massive open online courses［J］.European Journal of Open，Distance and E-Learning，2012，1（2）：1-13.

［6］ BRESLOW L，PRITCHARD D ，DEBOER J，et al.Studying learning in the worldwide classroom research into edX's first MOOC ［J］.Research&Practice in Assessment，2013 ，8（1）：13-25

［7］ MILLIGAN C，LITTLEJOHN A ，MARGARYAN A.Patterns of engagement in connectivist MOOCs［J］.Journal of Online Learning&Teaching，2017，9（2）：149-159.

［8］ SHEN C W,KUO C J.Learning in massive open online courses∶Evidence from social media mining ［J］.Computers in Human Behavior,2015,51（3）∶568-577.

［9］ GLYN H，CHELSEA D.The utilization of data analysis techniques in predicting student performance in massive open online courses （moocs） ［J］. Research and Practice in Technology Enhanced Learning，2015，10（1）：1-18.

［10］ HEATHER B，SHAPIROC C，NOELLE E，et al.Understanding the massive open online course（MOOC） student experience： an examination of attitudes，motivations，and barriers［J］.Computers&Education ，2017 ，110（3）：35-50.

［11］ WANG M M，ZUO W L，WANG Y.A multidimensional nonnegative matrix factorization model for retweeting behavior prediction ［J］.Mathematical Problems in Engineering Volume，2015，5（1）：1-10.

［12］ 陸悠，李偉，羅軍舟，等.一種基于選擇性協(xié)同學(xué)習(xí)的網(wǎng)絡(luò)用戶異常行為檢測方法［J］.計(jì)算機(jī)學(xué)報(bào)，2014，37（37）：28-40.

［13］ 陳文，張恩陽，趙勇.基于多分類器協(xié)同學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法［J］. 計(jì)算機(jī)科學(xué)，2016，43（9）：223-227.

［14］ ANGLUIN D，LAIRD P.Learning from noisy examples［J］.Machine Learning，1988，2（4）：343-370.

［15］ 李赫元，俞曉明，劉悅，等.中文微博客的垃圾用戶檢測［J］.2014，28（3）：62-68.