學(xué)習(xí)計算視閾下基于CIEO分析思想的 學(xué)習(xí)結(jié)果預(yù)測設(shè)計與實(shí)證研究

牟智佳

[摘? ?要] 設(shè)計具有可指導(dǎo)、可理解和可操作的系統(tǒng)化學(xué)習(xí)結(jié)果預(yù)測理論是改善學(xué)習(xí)成效的一種教學(xué)處方。研究從學(xué)習(xí)活動理論視角闡述了MOOCs環(huán)境下的學(xué)習(xí)過程與學(xué)習(xí)結(jié)果，并提出CIEO學(xué)習(xí)結(jié)果預(yù)測分析思想和學(xué)習(xí)結(jié)果預(yù)測工作模型。該模型包括理論層、參與層和行為層，其中，理論層包括個性化學(xué)習(xí)理論、項(xiàng)目反應(yīng)理論和社會認(rèn)知理論，分別對參與層中的學(xué)習(xí)內(nèi)容、學(xué)習(xí)互動和學(xué)習(xí)評價進(jìn)行指導(dǎo);參與層是從學(xué)習(xí)活動的主要表現(xiàn)形式層面進(jìn)行設(shè)計;行為層則遵循“目標(biāo)—過程—結(jié)果”的分析思路，從學(xué)習(xí)行為的具體表現(xiàn)層面進(jìn)行設(shè)計。在此基礎(chǔ)上，對學(xué)習(xí)行為分析指標(biāo)進(jìn)行設(shè)計，形成面向?qū)W習(xí)結(jié)果的六類分析指標(biāo)，即基于學(xué)習(xí)內(nèi)容行為的完成度和掌握度、基于學(xué)習(xí)互動行為的參與度和貢獻(xiàn)度、基于學(xué)習(xí)評價行為的測評完成度和通過率。最后，采用多元回歸分析法對學(xué)習(xí)行為指標(biāo)與學(xué)習(xí)結(jié)果的相關(guān)性進(jìn)行探索;采用屬性選擇法、預(yù)測分類法、文本分析法對學(xué)習(xí)行為分析指標(biāo)的重要性、預(yù)測準(zhǔn)確率進(jìn)行驗(yàn)證性分析，并得出學(xué)習(xí)結(jié)果預(yù)測計算方程。

[關(guān)鍵詞] MOOCs; 學(xué)習(xí)分析; 學(xué)習(xí)結(jié)果預(yù)測; 學(xué)習(xí)行為指標(biāo); 數(shù)據(jù)挖掘

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

一、研究背景

在大數(shù)據(jù)教育應(yīng)用、數(shù)據(jù)科學(xué)和學(xué)習(xí)計算的背景下，基于學(xué)習(xí)行為數(shù)據(jù)分析學(xué)習(xí)者的學(xué)習(xí)活動過程信息并進(jìn)行學(xué)習(xí)預(yù)測，成為學(xué)習(xí)分析研究中的一項(xiàng)重要內(nèi)容。以往的教育數(shù)據(jù)挖掘和統(tǒng)計分析側(cè)重對行為數(shù)據(jù)的分析和挖掘，而學(xué)習(xí)分析則是在數(shù)據(jù)分析結(jié)果的基礎(chǔ)上，通過建立分析模型來預(yù)測行為，并對學(xué)習(xí)過程進(jìn)行預(yù)警、優(yōu)化和干預(yù)等[1]。近年來，大規(guī)模開放在線課程（MOOCs）憑借其免費(fèi)性、高質(zhì)量的學(xué)習(xí)資源和較好的學(xué)習(xí)支持服務(wù)在世界范圍內(nèi)得到推廣和應(yīng)用。盡管MOOCs擁有較高的課程注冊率，但學(xué)習(xí)者在實(shí)際學(xué)習(xí)過程中所表現(xiàn)出的高輟學(xué)率和低參與度的現(xiàn)狀[2]，確實(shí)是一個無法回避的問題，且尚未找到有效的解決方案。基于學(xué)習(xí)活動數(shù)據(jù)有效預(yù)測學(xué)習(xí)結(jié)果，為教學(xué)服務(wù)人員提供干預(yù)依據(jù)，進(jìn)而改善學(xué)習(xí)參與度并降低輟學(xué)率是本研究所要回答的核心問題，對于該問題的解決則進(jìn)一步凸顯本研究的重要性和價值。本研究通過設(shè)計學(xué)習(xí)結(jié)果預(yù)測工作模型和學(xué)習(xí)行為分析指標(biāo)，并利用MOOCs數(shù)據(jù)進(jìn)行分析以形成具有可指導(dǎo)和可操作的學(xué)習(xí)結(jié)果預(yù)測理論，為研究成果的應(yīng)用轉(zhuǎn)化提供實(shí)證支持。

二、研究設(shè)計

（一）研究問題

本研究擬通過設(shè)計基于學(xué)習(xí)活動過程與學(xué)習(xí)行為數(shù)據(jù)的學(xué)習(xí)結(jié)果預(yù)測工作模型和學(xué)習(xí)行為分析指標(biāo)，利用MOOCs數(shù)據(jù)進(jìn)行探索和驗(yàn)證分析，為基于學(xué)習(xí)結(jié)果的學(xué)習(xí)活動和學(xué)習(xí)策略的調(diào)整提供數(shù)據(jù)支持。基于此，本研究的問題包括以下三個方面：（1）MOOCs學(xué)習(xí)環(huán)境下，如何基于學(xué)習(xí)內(nèi)容和活動進(jìn)行學(xué)習(xí)結(jié)果預(yù)測？（2）如何基于學(xué)習(xí)行為數(shù)據(jù)進(jìn)行指標(biāo)設(shè)計和預(yù)測分析？（3）如何實(shí)現(xiàn)學(xué)習(xí)結(jié)果預(yù)測的數(shù)據(jù)計算與測量？

（二）研究樣本

本研究選取edX上的兩門MOOCs課程，課程名稱分別是“Data，Analytics，and Learning”和“Introduction to Engineering and Engineering Mathematics”。其中，第一門課程作為探索性分析，選取參與各項(xiàng)學(xué)習(xí)活動且堅持學(xué)完所有課程內(nèi)容的學(xué)生作為研究對象，即在后面設(shè)計的各分析指標(biāo)中均有計算數(shù)值，其目的是剔除多數(shù)無效和不完整的數(shù)據(jù)樣本，最終確定311個數(shù)據(jù)分析條目;第二門課程作為驗(yàn)證性分析，由于是對所有學(xué)習(xí)行為分析指標(biāo)進(jìn)行分析，涉及的數(shù)據(jù)涵蓋課程中的視頻學(xué)習(xí)、互動討論、學(xué)習(xí)評價和文本學(xué)習(xí)等不同學(xué)習(xí)模塊，而學(xué)習(xí)者在不同學(xué)習(xí)模塊中的活躍程度存在差異，各指標(biāo)的樣本數(shù)量有所區(qū)別。為了選取有意義數(shù)據(jù)，使各指標(biāo)在同一樣本數(shù)量上進(jìn)行分析，在計算完成各分析指標(biāo)數(shù)據(jù)后，通過id選擇所有指標(biāo)的共同樣本，并剔除在所有指標(biāo)上的缺失值，對數(shù)據(jù)進(jìn)行二次處理和指標(biāo)計算，最后得到分析樣本數(shù)2383個。在數(shù)據(jù)使用授權(quán)和范圍上，已得到課程負(fù)責(zé)人和所在學(xué)校數(shù)據(jù)審核委員會的批準(zhǔn)，準(zhǔn)許使用剔除學(xué)生個人信息的數(shù)據(jù)。

（三）研究方法與工具

本研究分別采用預(yù)測分類、文本分析、多元回歸分析、屬性選擇等方法進(jìn)行分析。預(yù)測分類方法包括機(jī)器學(xué)習(xí)中較為常用的樸素貝葉斯網(wǎng)絡(luò)和決策樹，在分析準(zhǔn)確率和效率上兩者互補(bǔ)，同時對噪聲數(shù)據(jù)有很好的魯棒性。在學(xué)習(xí)結(jié)果上，應(yīng)用回歸分析時采用數(shù)字型的學(xué)習(xí)成績數(shù)據(jù)，應(yīng)用預(yù)測分類時采用標(biāo)稱型的學(xué)習(xí)成績等級數(shù)據(jù)。文本分析用于分析互動內(nèi)容的相似度，主要對互動主題和發(fā)帖內(nèi)容進(jìn)行分析。屬性選擇是搜索數(shù)據(jù)集中所有可能的屬性組合，分析各屬性在預(yù)測結(jié)果上的權(quán)重比例，并找到預(yù)測效果最好的屬性子集，應(yīng)用該方法對學(xué)習(xí)分析指標(biāo)的重要性進(jìn)行評估。在分析工具上，采用Weka、Semilar、SPSS進(jìn)行分析，Weka是一個包含數(shù)據(jù)處理、學(xué)習(xí)算法和評價方法的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)軟件，用于預(yù)測分類和屬性選擇分析;Semilar工具通過應(yīng)用空間向量的余弦算法來計算文本相似度。在分析類型上，采用有監(jiān)督的學(xué)習(xí)，即通過給定的輸入和輸出數(shù)據(jù)集，學(xué)習(xí)兩者之間的映射關(guān)系，從而實(shí)現(xiàn)預(yù)測分析。

三、CIEO學(xué)習(xí)結(jié)果預(yù)測分析思想與

預(yù)測工作模型設(shè)計

（一）MOOCs環(huán)境下的學(xué)習(xí)過程與學(xué)習(xí)結(jié)果闡述

傳統(tǒng)的教授主義認(rèn)為，教師是大量陳述性知識和程序性知識的擁有者，其目標(biāo)是將這些知識傳遞給學(xué)習(xí)者。而基于認(rèn)知心理學(xué)、社會學(xué)和計算機(jī)科學(xué)所形成的學(xué)習(xí)科學(xué)對學(xué)習(xí)過程作了更為科學(xué)的探索，認(rèn)為要促進(jìn)更好地學(xué)習(xí)需要學(xué)習(xí)者積極參與到學(xué)習(xí)過程中并更深刻地理解概念的重要性[3]。學(xué)習(xí)科學(xué)關(guān)注的焦點(diǎn)是學(xué)習(xí)環(huán)境正在發(fā)生什么，以及這些內(nèi)容和變化是如何改善學(xué)習(xí)績效的[4]。學(xué)習(xí)科學(xué)認(rèn)為，當(dāng)學(xué)習(xí)者外化自己掌握的知識并表達(dá)自己觀點(diǎn)時，學(xué)習(xí)效果會更好。而MOOCs學(xué)習(xí)環(huán)境的出現(xiàn)應(yīng)當(dāng)在滿足傳統(tǒng)環(huán)境下學(xué)習(xí)需求的情況下，更注重促進(jìn)學(xué)習(xí)者對概念的理解和應(yīng)用。因此，MOOCs學(xué)習(xí)環(huán)境下學(xué)習(xí)過程的第一要義是知識學(xué)習(xí)，幫助學(xué)習(xí)者掌握基本知識。當(dāng)前網(wǎng)絡(luò)學(xué)習(xí)資源的演變形式只是為了在更符合學(xué)習(xí)者認(rèn)知特征基礎(chǔ)上幫助學(xué)習(xí)者更有效地掌握知識，但傳遞知識本身的特征并未改變。例如：交互式微視頻的應(yīng)用期望是通過圍繞某一知識點(diǎn)的短小精悍的視頻幫助學(xué)習(xí)者理解知識并通過少量練習(xí)題進(jìn)行檢測;教育游戲期望將知識學(xué)習(xí)與游戲相結(jié)合，通過寓教于樂的方式學(xué)習(xí)知識內(nèi)容。

當(dāng)學(xué)習(xí)者通過視頻和文本材料完成知識點(diǎn)內(nèi)容學(xué)習(xí)之后，需要通過師生或生生互動交流來解除知識學(xué)習(xí)過程中的疑惑。在MOOCs學(xué)習(xí)過程中，師生或生生之間的互動交流可以將自己內(nèi)化的知識外化表達(dá)，以促進(jìn)其對概念的理解，同時滿足學(xué)習(xí)社群交流的需求。因此，MOOCs環(huán)境下學(xué)習(xí)過程的第二要義是學(xué)習(xí)互動，通過社群交流和問題討論可以幫助學(xué)習(xí)者對知識進(jìn)行意義建構(gòu)，促進(jìn)其對知識概念的深層理解。MOOCs學(xué)習(xí)平臺在互動交流方面的發(fā)展方向應(yīng)當(dāng)是在社群網(wǎng)絡(luò)分析的基礎(chǔ)上，結(jié)合學(xué)習(xí)者知識掌握情況，推薦能夠進(jìn)一步促進(jìn)其知識發(fā)展和理解的其他學(xué)習(xí)個體或社群，而不應(yīng)當(dāng)只是揭示學(xué)習(xí)者的社會網(wǎng)絡(luò)關(guān)系。

學(xué)習(xí)者完成知識學(xué)習(xí)和交流討論之后，還需要通過測評對學(xué)習(xí)者知識掌握情況進(jìn)行分析，從教與學(xué)流程來看是知識傳遞到知識內(nèi)化的過程。因此，MOOCs環(huán)境下學(xué)習(xí)過程的第三要義是學(xué)習(xí)測評，通過不同形式和內(nèi)容的測評促進(jìn)學(xué)習(xí)者的知識內(nèi)化。新型網(wǎng)絡(luò)學(xué)習(xí)平臺將利用學(xué)習(xí)數(shù)據(jù)突出測評的個性化和自適應(yīng)[5]，如KNEWTON個性化網(wǎng)絡(luò)學(xué)習(xí)平臺可以針對學(xué)習(xí)者在測評中的答題情況進(jìn)行自適應(yīng)推薦。

上述三方面的學(xué)習(xí)活動過程是相互滲透和貫穿的，即學(xué)習(xí)者在知識學(xué)習(xí)過程中可能會穿插測評和互動交流，在測評過程中會根據(jù)結(jié)果建議學(xué)習(xí)者返回學(xué)習(xí)某個知識點(diǎn)，以及需要跟哪些同伴做互動交流。我們認(rèn)為MOOCs環(huán)境下的新型學(xué)習(xí)是基于學(xué)習(xí)行為數(shù)據(jù)分析的基礎(chǔ)上形成以學(xué)習(xí)活動過程為導(dǎo)向，以掌握學(xué)習(xí)為目標(biāo)，以個性化學(xué)習(xí)路徑為特征的非線性學(xué)習(xí)方式。

學(xué)習(xí)結(jié)果是衡量學(xué)習(xí)者學(xué)習(xí)成效的主要方式，而MOOCs環(huán)境下學(xué)習(xí)結(jié)果的測量則需要形成性評價的支持。已有的基于網(wǎng)絡(luò)的評價系統(tǒng)側(cè)重某一方面的內(nèi)容評價，例如：ASSISTMENT系統(tǒng)支持教師基于網(wǎng)絡(luò)對學(xué)習(xí)者數(shù)學(xué)測試進(jìn)行過程評價[6];ACED（Adaptive Content with Evidence-based Diagnosis）系統(tǒng)通過創(chuàng)建自適應(yīng)診斷系統(tǒng)評價學(xué)習(xí)者的知識和技能[7]。然而，MOOCs環(huán)境下的學(xué)習(xí)活動涉及內(nèi)容學(xué)習(xí)、互動交流和練習(xí)評測，某一方面的學(xué)習(xí)行為表現(xiàn)并不能準(zhǔn)確反映其真實(shí)的學(xué)習(xí)結(jié)果，應(yīng)當(dāng)綜合其學(xué)習(xí)行為過程進(jìn)行評定。MOOCs環(huán)境下的形成性評價在評價角色、評價頻率、評價內(nèi)容和反饋等方面相對于傳統(tǒng)的形成性評價都有所不同[8]。在評價角色上，應(yīng)圍繞學(xué)習(xí)者的學(xué)習(xí)特征展開，側(cè)重分析學(xué)習(xí)者的個性特征和學(xué)習(xí)成長[9];在評價頻率上應(yīng)當(dāng)是對學(xué)習(xí)活動過程行為的連續(xù)性記錄，而非間接性評價[10];在評價內(nèi)容上，要對學(xué)習(xí)者的各方面內(nèi)容進(jìn)行結(jié)構(gòu)性分析和立體化評價，以真實(shí)了解其學(xué)習(xí)狀況[11];在學(xué)習(xí)反饋上，依據(jù)學(xué)習(xí)診斷結(jié)果為學(xué)習(xí)者提供改善學(xué)習(xí)成效的學(xué)習(xí)反饋，以促進(jìn)學(xué)習(xí)者進(jìn)一步發(fā)展[12]。學(xué)習(xí)結(jié)果的測量應(yīng)當(dāng)依據(jù)上述評價方面進(jìn)行分析，并以結(jié)果判斷和建議反饋方式作為結(jié)果輸出。

綜上所述，MOOCs環(huán)境下的學(xué)習(xí)結(jié)果是以學(xué)習(xí)內(nèi)容、學(xué)習(xí)互動和學(xué)習(xí)評價為過程依據(jù)，以學(xué)習(xí)成效和基于個體特征的學(xué)習(xí)建議為結(jié)果輸出的立體化學(xué)習(xí)表現(xiàn)。本研究將解決學(xué)習(xí)結(jié)果預(yù)測設(shè)計和驗(yàn)證分析問題。

（二）CIEO學(xué)習(xí)結(jié)果預(yù)測分析思想

MOOCs學(xué)習(xí)環(huán)境下學(xué)習(xí)者的典型活動特征主要體現(xiàn)在學(xué)習(xí)知識內(nèi)容、學(xué)習(xí)互動交流和學(xué)習(xí)測評考試三個方面，而學(xué)習(xí)者的個性化學(xué)習(xí)特征將影響這三個方面的學(xué)習(xí)活動過程并最終作用到學(xué)習(xí)結(jié)果上?；谇懊鎸OOCs學(xué)習(xí)環(huán)境下的學(xué)習(xí)過程三要義與學(xué)習(xí)結(jié)果的闡述，以及對基于證據(jù)的學(xué)習(xí)行為分析指標(biāo)的闡述，我們提出CIEO學(xué)習(xí)結(jié)果預(yù)測分析思想，CIEO分別是學(xué)習(xí)內(nèi)容（Learning Content）、學(xué)習(xí)互動（Learning Interaction）、學(xué)習(xí)評價（Learning Evaluation）和學(xué)習(xí)結(jié)果（Learning Outcome）的首字母，其中學(xué)習(xí)內(nèi)容、學(xué)習(xí)互動和學(xué)習(xí)評價共同預(yù)測學(xué)習(xí)結(jié)果。在學(xué)習(xí)內(nèi)容上，通過測評學(xué)習(xí)內(nèi)容完成度和掌握度進(jìn)行分析;在學(xué)習(xí)互動上，通過測評互動參與度和貢獻(xiàn)度進(jìn)行分析;在學(xué)習(xí)評價上，通過測評完成度和通過率進(jìn)行分析。分析維度和指標(biāo)及其之間的關(guān)系如圖1所示。CIEO學(xué)習(xí)結(jié)果預(yù)測思想的核心在于，基于學(xué)習(xí)過程中的關(guān)鍵活動和主要環(huán)節(jié)預(yù)測學(xué)習(xí)者的最終學(xué)習(xí)表現(xiàn)。其優(yōu)勢在于通過整合學(xué)習(xí)基礎(chǔ)行為數(shù)據(jù)形成有意義學(xué)習(xí)分析指標(biāo)進(jìn)行預(yù)測，同時基于個性特征和學(xué)習(xí)活動表現(xiàn)為其學(xué)習(xí)推薦提供科學(xué)依據(jù)，最終目標(biāo)是改善學(xué)習(xí)結(jié)果，而不僅僅是預(yù)測學(xué)習(xí)結(jié)果。

（三）基于CIEO的學(xué)習(xí)結(jié)果預(yù)測工作模型

前期我們已經(jīng)對面向?qū)W習(xí)結(jié)果的個性化學(xué)習(xí)分析模型進(jìn)行了設(shè)計探索，為了進(jìn)一步推進(jìn)學(xué)習(xí)結(jié)果預(yù)測的理論設(shè)計，形成具有可指導(dǎo)、可理解和可操作的系統(tǒng)化預(yù)測工作模型，依據(jù)學(xué)習(xí)理論、個性化學(xué)習(xí)模型和CIEO學(xué)習(xí)結(jié)果分析思想，我們提出了基于CIEO的學(xué)習(xí)結(jié)果預(yù)測工作模型，該模型包括以下兩個原理：（1）學(xué)習(xí)結(jié)果是由學(xué)習(xí)內(nèi)容、學(xué)習(xí)互動和學(xué)習(xí)評價共同作用影響的，通過對這三個方面進(jìn)行分析來預(yù)測學(xué)習(xí)結(jié)果;（2）學(xué)習(xí)結(jié)果要通過具體的學(xué)習(xí)行為數(shù)據(jù)和分析指標(biāo)進(jìn)行預(yù)測分析，并為其提供個性化信息反饋。整個工作模型設(shè)計如圖2所示，包括理論層、參與層和行為層，其中，理論層包括個性化學(xué)習(xí)理論、項(xiàng)目反應(yīng)理論和社會認(rèn)知理論，分別對參與層中的學(xué)習(xí)內(nèi)容、學(xué)習(xí)互動和學(xué)習(xí)評價進(jìn)行指導(dǎo);參與層則是根據(jù)學(xué)習(xí)者參與學(xué)習(xí)活動的主要表現(xiàn)形式進(jìn)行設(shè)計，為學(xué)習(xí)結(jié)果預(yù)測的行為指標(biāo)設(shè)計提供指導(dǎo);行為層的設(shè)計遵循“目標(biāo)—過程—結(jié)果”的分析思路，形成與學(xué)習(xí)內(nèi)容、學(xué)習(xí)互動和學(xué)習(xí)評價的層級對應(yīng)。在操作層面上，按照“設(shè)計—分析—記錄”思路進(jìn)行實(shí)踐。整個設(shè)計通過層層迭代、內(nèi)容對應(yīng)、相互關(guān)聯(lián)實(shí)現(xiàn)學(xué)習(xí)結(jié)果的預(yù)測分析。

四、面向?qū)W習(xí)結(jié)果的學(xué)習(xí)行為

分析指標(biāo)計算設(shè)計

盡管學(xué)習(xí)者的基礎(chǔ)學(xué)習(xí)行為數(shù)據(jù)能夠預(yù)測學(xué)習(xí)結(jié)果，但在學(xué)習(xí)分析中應(yīng)當(dāng)以有意義的學(xué)習(xí)行為分析指標(biāo)作為分析對象，從而得出學(xué)習(xí)者的活動表現(xiàn)情況。在學(xué)習(xí)數(shù)據(jù)上，應(yīng)當(dāng)將相關(guān)學(xué)習(xí)活動數(shù)據(jù)進(jìn)行整合，以提高數(shù)據(jù)的分析價值以及凸顯行為指標(biāo)的學(xué)習(xí)分析意義。為了更加全面反映和預(yù)測學(xué)習(xí)結(jié)果，我們對學(xué)習(xí)行為分析指標(biāo)進(jìn)行設(shè)計，即對學(xué)習(xí)者基礎(chǔ)行為數(shù)據(jù)進(jìn)行計算以綜合反映學(xué)習(xí)者各部分的學(xué)習(xí)狀況。通過計算分析得出學(xué)習(xí)行為的六個分析指標(biāo)，為后面的學(xué)習(xí)結(jié)果預(yù)測提供支持。在數(shù)據(jù)使用上，主要從學(xué)習(xí)者點(diǎn)擊行為數(shù)據(jù)中整理出時間數(shù)據(jù)、次數(shù)數(shù)據(jù)以及文本互動內(nèi)容等信息。

（一）學(xué)習(xí)內(nèi)容分析指標(biāo)設(shè)計

學(xué)習(xí)內(nèi)容分析主要依據(jù)學(xué)習(xí)者課程視頻學(xué)習(xí)行為和文本材料學(xué)習(xí)行為兩個方面進(jìn)行評定。其中，視頻學(xué)習(xí)行為包括學(xué)習(xí)時長和學(xué)習(xí)次數(shù)，從定量角度判定學(xué)習(xí)者的知識學(xué)習(xí)完成情況。由于視頻學(xué)習(xí)并不能完全反映學(xué)習(xí)者的知識內(nèi)化和理解行為，因此，需要引入文本材料學(xué)習(xí)行為的分析，即將學(xué)習(xí)者的視頻學(xué)習(xí)行為與文本材料學(xué)習(xí)行為相結(jié)合以綜合判定其知識內(nèi)容完成情況，這與學(xué)習(xí)者的實(shí)際學(xué)習(xí)行為也較為一致。當(dāng)學(xué)習(xí)者通過視頻學(xué)習(xí)知識點(diǎn)時，如果知識點(diǎn)有一定難度，會通過查看文本學(xué)習(xí)材料來促進(jìn)其對知識內(nèi)容的理解，這一線性設(shè)計思路與當(dāng)前MOOCs課程內(nèi)容的設(shè)計較為一致。例如：edX平臺上的課程內(nèi)容設(shè)計將微視頻學(xué)習(xí)、學(xué)習(xí)文本材料、學(xué)習(xí)互動交流和學(xué)習(xí)測評以學(xué)習(xí)活動時間軸的方式進(jìn)行呈現(xiàn)，學(xué)習(xí)者只需按照線性學(xué)習(xí)活動設(shè)計逐步參與即可。該部分的具體分析變量包括學(xué)習(xí)內(nèi)容完成度（LCF）和掌握度（LCM），其中，學(xué)習(xí)內(nèi)容完成度的計算方式是LCF （t是單個視頻中個人學(xué)習(xí)時長，T是視頻時間總長，F(xiàn)是視頻學(xué)習(xí)次數(shù)）;LCM= （H為文本學(xué)習(xí)材料時長）。

（二）學(xué)習(xí)互動分析指標(biāo)設(shè)計

學(xué)習(xí)互動分析主要對學(xué)習(xí)者在網(wǎng)絡(luò)論壇中的發(fā)帖數(shù)量、點(diǎn)贊數(shù)和發(fā)帖內(nèi)容進(jìn)行分析，具體分析變量包括學(xué)習(xí)者的參與度（LIE）和貢獻(xiàn)度（LIC）。其中，參與度主要判定學(xué)習(xí)者的互動頻率，這里通過個人發(fā)帖量占總發(fā)帖量的百分比進(jìn)行分析，計算公式為LIE= （Q是個人提問數(shù)，A是個人回答數(shù)，R是個人回復(fù)數(shù)，P是論壇總發(fā)帖量）。除參與度外，還需分析學(xué)習(xí)者的貢獻(xiàn)度以判定其互動深度，計算公式為LIC= +C（G是帖子點(diǎn)贊數(shù)，S是總點(diǎn)贊數(shù)，C是帖子內(nèi)容與主題相關(guān)度）[13]。以上兩個指標(biāo)中的發(fā)帖量和點(diǎn)贊數(shù)均通過個人總量與集體總量的百分比進(jìn)行降維處理，以避免學(xué)習(xí)者之間以非正常方式提高個人數(shù)據(jù)。

（三）學(xué)習(xí)評價分析指標(biāo)設(shè)計

學(xué)習(xí)評價分析主要依據(jù)學(xué)習(xí)者在交互式微視頻中的互動練習(xí)、單元學(xué)習(xí)作業(yè)和考試結(jié)果進(jìn)行分析，具體分析變量包括學(xué)習(xí)測評完成度（LEP）和測評內(nèi)容通過率（LER）。學(xué)習(xí)測評完成度是對單次測評次數(shù)和測評內(nèi)容總量進(jìn)行分析，單次測評次數(shù)反映測評內(nèi)容的難易程度，測評內(nèi)容總量反映學(xué)習(xí)者的完成進(jìn)度，判定其參與情況，計算公式為LEP= （e是個人測評內(nèi)容量，E是總測評量，F(xiàn)是測評次數(shù)）。通過率分析是判定學(xué)習(xí)者在內(nèi)容掌握上的情況，其分析結(jié)果為最終學(xué)習(xí)結(jié)果提供一定的參照依據(jù)，計算公式為LER= （P是測評通過數(shù)，S是總測評數(shù)）。在實(shí)際分析中，可選取某一單元測評內(nèi)容對學(xué)習(xí)者的各個變量行為信息進(jìn)行匯總，并分析其與學(xué)習(xí)結(jié)果之間的關(guān)聯(lián)度和預(yù)測準(zhǔn)確率。

依據(jù)上述學(xué)習(xí)行為分析指標(biāo)設(shè)計，下面將應(yīng)用前面介紹的MOOCs課程數(shù)據(jù)對分析指標(biāo)與學(xué)習(xí)結(jié)果的相關(guān)性、重要性和預(yù)測效力進(jìn)行分析。

五、研究結(jié)果分析

（一）學(xué)習(xí)行為分析指標(biāo)與學(xué)習(xí)結(jié)果的相關(guān)性分析

該部分利用第一門MOOC課程的學(xué)習(xí)行為數(shù)據(jù)，采用多元回歸分析探索學(xué)習(xí)行為分析指標(biāo)與學(xué)習(xí)結(jié)果的相關(guān)性?；貧w分析時，變量間的理想關(guān)系是分析變量之間呈現(xiàn)中低度相關(guān)，而分析變量與結(jié)果變量呈現(xiàn)高相關(guān)。分析變量與學(xué)習(xí)結(jié)果的積差相關(guān)矩陣結(jié)果顯示，學(xué)習(xí)內(nèi)容完成度與學(xué)習(xí)內(nèi)容掌握度、互動參與度和互動貢獻(xiàn)度的值較高，說明變量間存在共線性問題，其中，內(nèi)容完成度和掌握度在計算方式上存在遞進(jìn)性，因此，具有較高的相關(guān)性，而互動參與度和貢獻(xiàn)度存在相關(guān)性說明積極參與互動論壇的學(xué)習(xí)者也能夠進(jìn)行深度互動，促進(jìn)知識分享。整個回歸模型摘要分析結(jié)果見表1，多元相關(guān)系數(shù)R值為0.656，決定系數(shù)R2為0.527，說明所有分析變量能夠解釋學(xué)習(xí)結(jié)果變量52.7%的變異量。Durbin-Watson（以下簡稱DW）統(tǒng)計量主要驗(yàn)證模型中是否存在自我相關(guān)，當(dāng)各預(yù)測變量的樣本觀察值間具有某種程度的直線關(guān)系時，該系數(shù)不為0;當(dāng)DW統(tǒng)計量接近于0時，說明相關(guān)系數(shù)越接近1，殘差項(xiàng)間越呈現(xiàn)自我相關(guān);當(dāng)DW統(tǒng)計量接近于2時，說明相關(guān)系數(shù)越接近于0，殘差項(xiàng)間無自我相關(guān)。本研究中DW統(tǒng)計量為1.822，說明誤差相關(guān)性在可接受的范圍之內(nèi)。

通過上述分析可以看出，雖然指標(biāo)存在部分共線性相關(guān)問題，但整個回歸模型的解釋變異量在可接受范圍內(nèi)，說明基于計算后的學(xué)習(xí)行為分析指標(biāo)與學(xué)習(xí)結(jié)果具有相關(guān)性，這為后面探索基于學(xué)習(xí)行為數(shù)據(jù)的學(xué)習(xí)結(jié)果預(yù)測提供了可行性支持。這一結(jié)論也得到國外相關(guān)研究的支持，即在異步網(wǎng)絡(luò)學(xué)習(xí)環(huán)境下學(xué)習(xí)管理系統(tǒng)中的學(xué)習(xí)過程行為數(shù)據(jù)能夠?yàn)閷W(xué)習(xí)者最終成績提供有用的相關(guān)性信息[14]，從學(xué)習(xí)管理系統(tǒng)數(shù)據(jù)中抽取重要指標(biāo)可以預(yù)測學(xué)習(xí)成績[15]。

（二）學(xué)習(xí)行為分析指標(biāo)的重要性評估

盡管各個學(xué)習(xí)分析指標(biāo)都可以預(yù)測學(xué)習(xí)結(jié)果，但從貢獻(xiàn)率和重要性上看，各指標(biāo)之間存在差異，因此，有必要了解各指標(biāo)在學(xué)習(xí)結(jié)果預(yù)測上的重要程度，為后期教學(xué)實(shí)踐應(yīng)用提供參照。該部分將采用第二門MOOC課程的樣本數(shù)據(jù)進(jìn)行驗(yàn)證分析。在分析方法上，采用屬性選擇模塊進(jìn)行分析。在屬性評估器上，選擇InfoGainAttributeEval評估器，用于評估各指標(biāo)在預(yù)測結(jié)果上所占的權(quán)重。在搜索方法上選擇Ranker，它能夠生成一個拋去若干非重要屬性之后的排名列表，且通常與InfoGainAttributeEval評估器默認(rèn)綁定。預(yù)測學(xué)習(xí)結(jié)果的指標(biāo)權(quán)重按重要性排序依次為：學(xué)習(xí)測評通過率、學(xué)習(xí)測評完成度、學(xué)習(xí)內(nèi)容掌握度、學(xué)習(xí)內(nèi)容完成度、互動參與度和互動貢獻(xiàn)度?？梢钥闯觯瑢W(xué)習(xí)評測和學(xué)習(xí)內(nèi)容兩個模塊在學(xué)習(xí)結(jié)果預(yù)測上較為重要。需要說明的是，學(xué)習(xí)行為分析指標(biāo)的重要性分析并非依據(jù)預(yù)測率，而是基于各指標(biāo)與學(xué)習(xí)結(jié)果的相關(guān)性得出。因此，指標(biāo)的重要性分析和后面的分類預(yù)測準(zhǔn)確率、逐步多元回歸分析在結(jié)果上會有一定的出入，兩類分析的原理并不一樣。

（三）基于學(xué)習(xí)行為分析指標(biāo)的預(yù)測分析結(jié)果

在預(yù)測分析上，采用樸素貝葉斯網(wǎng)絡(luò)對各指標(biāo)進(jìn)行預(yù)測分類，采用決策樹對所有指標(biāo)進(jìn)行預(yù)測分類。為了進(jìn)一步清晰地展示各分析指標(biāo)的預(yù)測準(zhǔn)確率和相互結(jié)構(gòu)關(guān)系，我們依據(jù)分析指標(biāo)和分析結(jié)果形成學(xué)習(xí)結(jié)果預(yù)測準(zhǔn)確率模型，如圖3所示。

箭頭上的數(shù)值代表每個變量的預(yù)測準(zhǔn)確率，包括六個學(xué)習(xí)行為分析指標(biāo)和三個學(xué)習(xí)分析維度指標(biāo)。各指標(biāo)的均方根誤差值在0.09～0.27范圍內(nèi)，測量精度較高。各指標(biāo)整體預(yù)測準(zhǔn)確率比較高，說明通過基于學(xué)習(xí)基礎(chǔ)行為數(shù)據(jù)計算后的預(yù)測指標(biāo)可以較好地預(yù)測學(xué)習(xí)結(jié)果。在學(xué)習(xí)內(nèi)容預(yù)測上，掌握度預(yù)測準(zhǔn)確率略高，說明通過對視頻學(xué)習(xí)行為和文本學(xué)習(xí)行為進(jìn)行綜合評價可以較為準(zhǔn)確地判斷學(xué)習(xí)內(nèi)容掌握情況。在學(xué)習(xí)互動預(yù)測上，貢獻(xiàn)度預(yù)測率略高，說明通過發(fā)帖獲得的點(diǎn)贊數(shù)和發(fā)帖內(nèi)容能夠較好地判斷學(xué)習(xí)者互動深度。在學(xué)習(xí)評價預(yù)測上，通過學(xué)習(xí)測評通過率可以較為精確地估計學(xué)習(xí)結(jié)果。采用決策樹分類方法對所有指標(biāo)進(jìn)行分類分析，得出預(yù)測準(zhǔn)確率為98.4545%。結(jié)合前面對重要性的評估可以看出，盡管各類指標(biāo)在重要性上存在一些差異，但每個指標(biāo)均能表現(xiàn)出較高的預(yù)測率，且整體預(yù)測率較高。這在一定程度上說明指標(biāo)設(shè)計的合理性和有效性，基于指標(biāo)預(yù)測分析能夠逼近學(xué)生的真實(shí)學(xué)習(xí)結(jié)果。

（四）基于學(xué)習(xí)行為分析指標(biāo)的學(xué)習(xí)結(jié)果預(yù)測計算方程式

在學(xué)習(xí)計算的背景下，要使學(xué)習(xí)結(jié)果預(yù)測分析能夠?qū)崿F(xiàn)可計算和可測量，為將來平臺化的自動分析提供設(shè)計依據(jù)，需要基于學(xué)習(xí)結(jié)果預(yù)測分析的計算方程式提供支持。這里采用預(yù)測型的回歸分析對分析指標(biāo)和結(jié)果進(jìn)行分析，形成可計算的學(xué)習(xí)結(jié)果預(yù)測方程式。逐步多元回歸分析通過從多個自變量中探索出對因變量最具預(yù)測力的自變量以構(gòu)建一個最佳的回歸分析模型。在使用逐步回歸分析法時，被選取進(jìn)入回歸模型的自變量對因變量的預(yù)測力均會達(dá)到顯著性。使用SPSS對樣本數(shù)據(jù)進(jìn)行分析，得出學(xué)習(xí)結(jié)果預(yù)測回歸模型的方差分析。由于采用的是逐步多元回歸分析法，因而每個回歸分析模型的整體顯著性檢驗(yàn)的F值會達(dá)到顯著水平（p<0.05），同時也表示進(jìn)入回歸方程式的預(yù)測指標(biāo)對學(xué)習(xí)結(jié)果預(yù)測的解釋力達(dá)到顯著，各指標(biāo)的回歸系數(shù)均不等于0。在進(jìn)入模型的變量數(shù)量上，有5個變量進(jìn)入回歸模型分析中，仍有1個變量未進(jìn)入到模型中，說明該變量未產(chǎn)生顯著性預(yù)測。

整合回歸系數(shù)和顯著性檢驗(yàn)結(jié)果得出回歸模型摘要，見表2。從標(biāo)準(zhǔn)化的回歸系數(shù)來看，各變量的β值分別為0.417、0.205、0.178、0.132、0.068，前五項(xiàng)值均為正數(shù)，表示其對學(xué)習(xí)結(jié)果的影響均為正向，最后一項(xiàng)值為負(fù)數(shù)，說明其對學(xué)習(xí)結(jié)果呈反向影響。從解釋變異量（R2）中可以看出，有5個預(yù)測變量進(jìn)入到回歸分析模型中，由于最后一個變量β值為負(fù)值，因此，將其剔除分析。這些預(yù)測變量對學(xué)習(xí)結(jié)果因變量具有顯著預(yù)測力的大小順序是測評通過率、測評完成度、內(nèi)容掌握度、互動貢獻(xiàn)度，各自的預(yù)測力分別為68.8%、1.3%、5.2%、5.1%、1.1%，共同解釋變異量的81.5%，說明基于這些變量可以在較大程度上預(yù)測學(xué)習(xí)結(jié)果。在投入變量方面，學(xué)習(xí)內(nèi)容完成度未進(jìn)入到預(yù)測回歸分析中，說明其對學(xué)習(xí)結(jié)果預(yù)測的回歸系數(shù)未達(dá)到顯著水平。結(jié)合前面采用機(jī)器學(xué)習(xí)方式對學(xué)習(xí)指標(biāo)的預(yù)測準(zhǔn)確率分析結(jié)果可以判斷，測評通過率、測評完成度、內(nèi)容掌握度、互動貢獻(xiàn)度、互動參與度是影響學(xué)習(xí)結(jié)果預(yù)測的顯著指標(biāo)，可以基于這些指標(biāo)做實(shí)際計算分析。

依據(jù)上述數(shù)據(jù)分析結(jié)果，選取正向影響學(xué)習(xí)結(jié)果的預(yù)測變量及其β值，我們可以得出基于學(xué)習(xí)行為分析指標(biāo)的學(xué)習(xí)結(jié)果預(yù)測計算方程式：學(xué)習(xí)結(jié)果=0.417×測評通過率+0.205×測評完成度+0.178×內(nèi)容掌握度+0.132×互動貢獻(xiàn)度+0.068×互動參與度。基于該方程式可以為網(wǎng)絡(luò)平臺的預(yù)測功能參數(shù)設(shè)計提供實(shí)證依據(jù)。

六、研究局限與展望

本研究設(shè)計了基于CIEO分析思想的學(xué)習(xí)結(jié)果預(yù)測工作模型和面向?qū)W習(xí)結(jié)果的學(xué)習(xí)行為分析指標(biāo)，并利用MOOCs數(shù)據(jù)進(jìn)行探索和驗(yàn)證分析。然而，在不同年齡段群體、不同類型的數(shù)據(jù)結(jié)構(gòu)和學(xué)習(xí)結(jié)果表現(xiàn)形式上還需要作進(jìn)一步對比分析。首先，在課程學(xué)習(xí)群體上，盡管MOOCs面向全球所有學(xué)習(xí)者開放，但在課程內(nèi)容設(shè)計和學(xué)習(xí)目標(biāo)上，不同類型的課程有不同的主要學(xué)習(xí)群體，學(xué)習(xí)者在年齡段、學(xué)習(xí)層次、學(xué)習(xí)風(fēng)格等方面存在差異，而這些可能構(gòu)成學(xué)習(xí)結(jié)果預(yù)測的影響因素，因此，需要采用多門不同年齡群體的課程進(jìn)行對比試驗(yàn)，查看學(xué)習(xí)群體是否影響學(xué)習(xí)結(jié)果預(yù)測。其次，MOOCs課程因?qū)W習(xí)人數(shù)眾多，教學(xué)服務(wù)人員較少，學(xué)習(xí)者的最終學(xué)習(xí)結(jié)果不一定都會得到較為科學(xué)的評價，而學(xué)習(xí)結(jié)果預(yù)測分析需要學(xué)習(xí)者的最終學(xué)習(xí)成績數(shù)據(jù)作為分析依據(jù)，因此，需要擁有較科學(xué)的學(xué)習(xí)評價課程數(shù)據(jù)來進(jìn)行驗(yàn)證分析。最后，MOOCs類型包括基于內(nèi)容的MOOC、基于網(wǎng)絡(luò)的MOOC、基于任務(wù)的MOOC，本研究主要針對基于內(nèi)容的MOOC進(jìn)行分析，后面還需要對不同類型課程進(jìn)行比較分析，探索課程類型在學(xué)習(xí)結(jié)果預(yù)測上是否存在差異。以上三個方面的因素干擾和條件限制意味著學(xué)習(xí)結(jié)果預(yù)測準(zhǔn)確率模型和計算方程的效度還有待進(jìn)一步驗(yàn)證。

[參考文獻(xiàn)]

[1] SIEMENS G. Learning analytics：the emergence of a discipline [J].American behavioral scientist，2013，57（10）：1380-1400.

[2] FREITAS S I，MORGAN J，GIBSON D.Will MOOCs transform learning and teaching in higher education？Engagement and course retention in online learning provision[J]. British journal of educational technology，2015，46（3）：455-471.

[3] BRANSFORD J D，BROWN A L，COCKING R R.How people learn：brain，mind，experience，and school[M].Washington，D.C.： National Academy Press，1999.

[4] 基思·索耶主編.劍橋?qū)W習(xí)科學(xué)手冊[M]. 徐曉東，譯.北京：教育科學(xué)出版社，2012.

[5] RANI M，NAYAK R，VYAS O P.An ontology-based adaptive personalized e-learning system，assisted by software agents on cloud storage[J]. Knowledge-based systems，2015，90（12）：33-48.

[6] KOEDINGER K R，MCLAUGHLIN E A，HEFFERNAN N T.A quasi-experimental evaluation of an on-line formative assessment and tutoring system[J]. Journal of educational computing research，2010，43（4）：489-510.

[7] SHUTE V J，GRAF E A，HANSEN E G.Designing adaptive，diagnostic math assessments for individuals with and without visual disabilities[J]. ETS research report series，2006，5（1）：25-37.

[8] SHUTE V J.Tensions，trends，tools，and technologies：time for an educational sea change[J].ETS research report series，2006（1）：32-49.

[9] BELCADHI L C.Personalized feedback for self-assessment in lifelong learning environments based on semantic web[J]. Computers in human behavior，2016，55（2）：562-570.

[10] DUNLOSKY J，RAESON K A.Do students use testing and feedback while learning？A focus on key concept definitions and learning to criterion[J]. Learning and instruction，2015，39（10）：32-44.

[11] RITZHAUPT A D，KEALY W A.On the utility of pictorial feedback in computer-based learning environments[J]. Computers in human behavior，2015，48（7）：525-534.

[12] VALDEZ A.Computer-based feedback and goal intervention：learning effects[J]. Educational technology research and development， 2012，60（5）：769-784.

[13] CHAI K，POTDAR V，CHANG E. User contribution measurement model for web-based discussion forums[C]//The 3rd IEEE International Conference on Digital Ecosystems and Technologies.New York：Institute of Electrical and Electronics Engineers，2009：347-352.

[14] LOWES S，LIN P，KINGHORN B.Exploring the link between online behaviours and course performance in asynchronous online high school courses[J]. Journal of learning analytics，2015，2（2）：169-194.

[15] YOU J W.Identifying significant indicators using LMS data to predict course achievement in online learning[J]. The internet and higher education，2016，29（4）：23-30.