基于MOOC平臺的混合式學習能力達成度模型及應(yīng)用

董永剛 宋劍鋒 李興東 姚春東

[摘 要] 依托學堂在線MOOC平臺的《工程制圖基礎(chǔ)》在線課程資源以及學生在線學習數(shù)據(jù)情況，根據(jù)考核內(nèi)容重要程度，基于專家排序法確定了不同測試類型的加權(quán)系數(shù)，采用加權(quán)平均法給出了評估學生階段性在線學習效果的能力達成度數(shù)學模型。學生整個學習過程的學習參與度和能力達成度結(jié)果，可以為教師有針對性地干預學生學習進程、持續(xù)改進教學效果提供重要的數(shù)據(jù)支撐，充分發(fā)揮了MOOC優(yōu)勢，并貫徹了OBE教育理念，對在線學習效果評價以及混合式教學實踐有重要的價值和意義。

[關(guān)鍵詞] OBE;MOOC;在線學習;加權(quán)平均法;能力達成度

[中圖分類號] G642.4? [文獻標識碼] A? [文章編號] 1005-4634（2020）06-0076-07

OBE（Outcomes-based Education）是以預期學習產(chǎn)出為中心來組織、實施和評價教育的結(jié)構(gòu)模式。從本質(zhì)上講，OBE教育模式就是圍繞"定義預期學習產(chǎn)出-實現(xiàn)預期學習產(chǎn)出-評估學習產(chǎn)出"這條主線而展開的，學生產(chǎn)出評估構(gòu)成了教育質(zhì)量持續(xù)改進的閉環(huán)[1]。

MOOC（慕課）是大規(guī)模開放在線課程（Massive Open Online Courses）。2012年發(fā)端于美國的"慕課"浪潮目前已席卷全球數(shù)十個國家，對傳統(tǒng)高等工程教育理念和教育方式提出了新的挑戰(zhàn)。在線教育提供了一個強有力的實驗平臺，去探究學生是怎樣學習的，教師應(yīng)該如何使用工具和技術(shù)以教得最好。可見慕課促進了大學教學模式的深層變革，提升了專業(yè)教師的自主反思能力[2]。

慕課課程實現(xiàn)了教育理念的突破，即教學過程的中心由教師向?qū)W生轉(zhuǎn)變。學生由單純接受知識、與教師交流很少的學習方式轉(zhuǎn)變?yōu)閷W生具有很大的自由度和空間的學習方式，為學生和教師以及學習者之間交流架起了溝通的橋梁。另外，教育形式由單一課堂授課形式向基于多種教學資源的多種學習形式轉(zhuǎn)變，教學資源包括將文字、聲音、圖像、動畫效果融為一體的在線課程視頻和教學PPT課件，以及在線討論交流平臺、在線測試等平臺，這些教學資源均可以在MOOC平臺實現(xiàn)[3]。

1 在線學習評價方法及評價模型研究進展

在線學習行為隱藏著學習者在學習過程中的學習習慣和個人喜好，一定程度上能夠反映學習者存在的學習問題和學習效果，但需要通過一定的在線學習行為分析方法和模型將其直觀體現(xiàn)出來，為教學管理者干預和介入在線學習提供方向，并為在線學習參與者提供學習指導和差別化服務(wù)。

在線學習評價是根據(jù)課程特點和教學目標，基于大規(guī)模在線開放課程學習資源，采用相應(yīng)的評價方法和評價模型，對在線學習過程及其結(jié)果進行監(jiān)控和評價，并作出價值性判斷。因為在線學習依賴于網(wǎng)絡(luò)，其非現(xiàn)實性決定了它與傳統(tǒng)教學模式在教學環(huán)境和評價模式方面的明顯區(qū)別。在線教學評價對教師以及教學管理者具有一定的導向、診斷、調(diào)控作用，評價模型的建立應(yīng)該遵循客觀性、整體性、科學性和有效性原則[4]。

1.1 在線學習行為類型及評價方法

目前國內(nèi)外學者對在線互動學習行為指標以及不同在線學習者文化背景、行為類型與在線學習效果之間的關(guān)系展開了研究。

Goggins、Xing[5]等學者通過研究證實了在線互動學習行為指標（如發(fā)帖的數(shù)量、閱讀帖子的次數(shù)、閱讀帖子的時間、回帖時間）與學習成績和學習效果之間具有一定的關(guān)系。 Macfadyen[6]等學者研究表明：在線學習過程中，學生在討論區(qū)發(fā)帖總數(shù)、在線時間、應(yīng)用搜索功能次數(shù)等17個在線學習行為參數(shù)與在線學習效果相關(guān)。馮曉英[7，8]等人通過研究表明：在線學習過程中，閱讀帖子、回復帖子、發(fā)布帖子等13個在線學習行為參數(shù)與在線學習效果具有明顯的相關(guān)性。

薛宇飛[9]等基于EdX平臺數(shù)據(jù)，對具有不同文化背景如美國、印度、英國的學習者的學習行為進行對比分析，結(jié)果顯示：具有不同文化背景的學習者群體在在線學習投入程度、活躍度、持續(xù)程度等方面具有明顯的差異和區(qū)別。賈積有[10]等對北京大學在Coursera平臺上的6門課程、82 352位注冊學習者的學習行為數(shù)據(jù)進行了匯總與分析，研究表明：學習者的學習成績與在線時間、觀看視頻次數(shù)、觀看網(wǎng)頁次數(shù)、瀏覽和下載講義次數(shù)、平時測驗成績之和、論壇參與程度（發(fā)帖、回帖）等在線學習行為呈顯著正相關(guān)。

目前主要研究的在線學習行為類型如下：（1）在線互動情況。包括發(fā)帖數(shù)量、閱讀帖子的次數(shù)、閱讀帖子的時間、回帖時間、發(fā)表討論數(shù)、回復討論數(shù)、向老師提問次數(shù)等;（2）在線學習情況。包括課程訪問次數(shù)、在線時間、觀看視頻次數(shù)、觀看網(wǎng)頁次數(shù)、瀏覽和下載課件PPT次數(shù)、視頻觀看完成度、資料閱讀完成度、不良刷課記錄等;（3）測試情況。包括作業(yè)和測驗完成次數(shù)、作業(yè)和測驗質(zhì)量。關(guān)于在線學習參與行為指標參數(shù)與學習效果之間關(guān)系的研究比較多，而在線測試、在線作業(yè)完成情況以及完成效果與在線學習成果之間關(guān)系的研究相對較少。

在線學習行為依賴于不同的在線課程平臺特點以及開發(fā)的在線學習資源情況，并且不同類型的課程也有不同的在線學習行為特征，不同的學習者也會根據(jù)自己的學習喜好和習慣選擇不同的學習行為。比如，習慣利用在線學習資源進行獨立自主學習的學習者，觀看教學視頻和教學課件的次數(shù)會較多，而使用討論區(qū)進行交互學習的頻率會比較少。反之，喜歡通過在線交互方式進行交流學習的學習者，使用討論區(qū)交互學習的頻率會大于使用在線視頻、課件學習的頻率。所以，在線學習行為分析，主要是對各個學習方式和學習資源使用情況的統(tǒng)計，可以根據(jù)不同學習方式參與者的使用體驗及反饋信息加強在線學習資源管理，完善工具功能，這對于在線學習平臺建設(shè)和適應(yīng)不同學習者的個性化需求是有利且有意義的事情。

1.2 在線學習行為類型權(quán)重確定

權(quán)重反映出各個評價指標之間重要程度的差異性，對于一個完整的評價指標體系而言，權(quán)重的設(shè)置必不可少。由于課程特點及課程考核側(cè)重點不同，因而，確定指標權(quán)重的方法也多種多樣，比如因子分析法、相關(guān)系數(shù)法、專家排序法、Delphi法、層次分析法、模糊數(shù)學判斷方法等，其中"專家排序法"以其操作簡便、易于掌握等特點應(yīng)用最廣[11]。

專家排序法要求在線學習評估管理者有豐富的教學實踐經(jīng)驗，對在線學習內(nèi)容的重要程度及課程目標有非常清醒的認識。沈欣憶等根據(jù)專家排序法對考試成績、作業(yè)成績、測試成績以及作業(yè)和測試行為下所包含指標的權(quán)重予以確定，通過學習積極性、學習速度和學習效度了解學生的學習能力，構(gòu)建了包括學習偏好和學習成績在內(nèi)的在線學習績效評價指標體系[12]。

層次分析法（Analytic Hierarchy Process，簡稱AHP）是一種將復雜目標分解為多個目標或準則、多層次的決策方法，其將同一層的評價因素的指標進行兩兩對比，依據(jù)經(jīng)驗認識為指標賦予1～9之間的整數(shù)及其倒數(shù)標度數(shù)值表示其重要程度。它的優(yōu)點是結(jié)合經(jīng)驗數(shù)據(jù)與合理的數(shù)學模型確定指標的權(quán)重系數(shù)，因此權(quán)重系數(shù)的分配具有一定的科學性與合理性[13]。

1.3 在線學習效果評價模型

孫燕龍[14]提出了將在線學習行為評價劃分為知識獲取、協(xié)作交流、學習態(tài)度3個維度，并確定了各維度的評價指標。考慮了在線學習過程中的課程視頻觀看、課程資料閱讀、課程作業(yè)和測驗、課程頁面訪問次數(shù)、不良刷課記錄、發(fā)起討論數(shù)、回復討論數(shù)等9個在線學習行為，以相關(guān)系數(shù)為參考，采用層次分析法為各級評價指標確定加權(quán)系數(shù)，分別建立了線性加權(quán)綜合評價模型和非線性模糊綜合評價模型，并對云南師范大學"爾雅在線課堂"學習平臺上3 146位學習者（20門通識課程）的9個在線學習行為方面的數(shù)據(jù)與期末考試成績之間的相關(guān)性進行了研究。

王燕[15]依據(jù)評價指標體系原則建立了網(wǎng)絡(luò)學習評價指標體系，采用層次分析法確定各指標體系的權(quán)重，運用模糊綜合評判原理建立網(wǎng)絡(luò)學習評價的數(shù)學模型，并在此數(shù)學模型的基礎(chǔ)上，運用UML建模語言構(gòu)建了一個基于網(wǎng)絡(luò)教育的學習評價系統(tǒng)模型。

元帥[16]采用加權(quán)平均法評價在線學習成績和效果，在實際運算中根據(jù)各個因素在綜合評價結(jié)果中的重要程度為其設(shè)定一個權(quán)重ai（i=1，2，3，…，m），根據(jù)公式∑mi=1ai=1，ai0，對各個因素的評分Si（i=1，2，3，…，m）做加權(quán)平均運算，即：E=∑mi=1Siai，最后將加權(quán)平均值E作為評價標準。

2 MOOC平臺在基于OBE高等教育模式教學改革中的實踐? 2012年以來，我國高校 MOOC 上線課程數(shù)量快速增長，多媒體技術(shù)和"互聯(lián)網(wǎng) +"在教育領(lǐng)域中獲得了廣泛應(yīng)用。2016年6月燕山大學機械工程學院圖學部成功申請了校級在線課程建設(shè)項目，2017年5月學校教務(wù)處與慕華科技有限公司旗下的學堂在線MOOC平臺簽署合作協(xié)議，2018年8月底《工程制圖基礎(chǔ)》在線課程正式在學堂在線上線運行，2018年11月教改項目順利結(jié)題[17，18]。圖1和圖2分別為學堂在線平臺的《工程制圖基礎(chǔ)》在線課程主頁以及2018年10月以來的開課信息。

學堂在線MOOC平臺為每一門課程都提供了動態(tài)學習數(shù)據(jù)，如學生在線視頻觀看記錄、參與討論情況、在線習題測試情況等（如圖3和圖4所示），目前在線課程資源包括課程三級項目實施方案及報告模板、考核方式、教學視頻及授課PPT。為了更準確地掌握學生對知識點的掌握以及靈活應(yīng)用情況，課題組制作了章節(jié)習題、在線自測題、考前練習題（題型包括填空題、討論題和主觀題等）。在線測試題、三級項目題型分別如圖5和圖6所示。

目前MOOC平臺給出的學習數(shù)據(jù)都是單獨列出的某一項活動的統(tǒng)計數(shù)據(jù)，并沒有將其綜合起來考慮，在分析某個學生或整個班級的總體在線學習參與程度時不夠方便?；贠BE教育理念的最關(guān)鍵部分就是教學效果的持續(xù)改進，也就是需要對學生的動態(tài)學習效果--能力達成度進行客觀合理的評價。為了準確合理評估學生動態(tài)學習過程的能力達成度，課題組考慮了學生在線章節(jié)習題測試結(jié)果、期末測試結(jié)果、三級項目測試結(jié)果以及主觀題測試結(jié)果，給出了不同類型測試的能力達成度公式：

Rfj=Sf.jSft.j1≤j≤v，（1）

Rci=Sc.iSct.i1≤i≤q，（2）

Rp=SpSpt，（3）

Ram=Sa.mSat.m1≤m≤u。（4）

在此基礎(chǔ)上給出了考慮不同測試結(jié)果的總能力達成度公式，為適應(yīng)不同側(cè)重點的考察需求，每一個單項能力達成度給出了加權(quán)系數(shù)：

Ap=Wc∑qi=1Sc.i∑qi=1Sft.i+Wf∑vj=1Sf.j∑vj=1Sft.j+Wa∑um=1Sa.m∑um=1Sat.m+WpRp，（5）

式中：

Rfj--第j次在線測試（客觀題）能力達成度，總次數(shù)為v;

Sf.j--第j次在線測試（客觀題）得分;

Sft.j--第j次在線測試（客觀題）總分;

Rci--第i章課后練習（客觀題）能力達成度，總章節(jié)數(shù)為q;

Sc.i--第i章課后練習（客觀題）得分;

Sct.i--第i章課后練習（客觀題）總分;

Rp--三級項目能力達成度;

Sp--三級項目得分;

Spt--三級項目總分;

Ram--主觀題能力達成度，主觀題總數(shù)為u;

Sa.m--主觀題得分;

Sat.m--主觀題總分;

對公式中符號的說明應(yīng)該緊跟在對應(yīng)的公式后面。

公式（5）中加權(quán)系數(shù)滿足如下條件：

Wc+Wf+Wa+Wp=1，（6）

式中： Wc、Wf、Wa、Wp分別為章節(jié)測試、期末在線測試、主觀題、三級項目等四項學習效果評價指標的加權(quán)系數(shù)，4個加權(quán)系數(shù)均在0到1之間。

4 在線學習能力達成度模型應(yīng)用及結(jié)果分析? 為了充分發(fā)揮MOOC平臺學習資源及課堂授課優(yōu)勢，課題組2018年開始以《工程制圖基礎(chǔ)》在線開放課程為依托進行線上線下混合式教學改革實踐，試點班級為燕山大學電氣工程學院2018級自動化專業(yè)學生，學生人數(shù)為32人。根據(jù)學堂在線平臺提供的學生在線學習個人紀錄，學生不同模式學習得分情況統(tǒng)計如表1所示，不同學習模式總分及加權(quán)系數(shù)如表2所示。

根據(jù)表1數(shù)據(jù)可繪制出所有學生不同學習類型的得分情況分布圖（圖7），并根據(jù)公式（1）～公式（4）得到所有學生不同學習類型的能力達成度分布圖（圖8）。在此基礎(chǔ)上，根據(jù)公式（5）和公式（6）可計算得到學生線上線下混合式學習能力達成度及平均能力達成度分布圖（圖9和圖10）。

由圖7可知，學生線上學習得分比線下三級項目和討論課得分低，三級項目得分最高，而在線章節(jié)測試得分最低。線下學習能力達成度最高0.7、最低0.3，平均值接近0.5（圖9）。線上線下混合式學習能力達成度平均值僅為0.3（圖10）。造成在線學習得分及能力達成度偏低的原因主要有：（1）在線學習參與情況在學生期末成績中所占比重偏低或者不納入期末成績，導致學生參與在線學習緊迫感和積極性不夠;（2）目前高校課程考核不夠嚴格，相當一部分學生對課程學習投入時間不夠;（3）在線課程學習資源與課程期末考試聯(lián)系不夠緊密，學生學習積極性不高。線下三級項目和討論課得分尚可，主要原因是三級項目和討論課成績計入期末成績，學生的學習積極性和主動性要明顯高于在線學習。

解決在線學習能力達成度不高問題的方法主要有以下3種：（1）提高學生在線學習參與度占期末考試的比重，可考慮提高到15%～25%;（2）課程考試可設(shè)置自學內(nèi)容，并適當加大試題難度，促使學生積極參與在線學習;（3）可考慮將考試重點考察內(nèi)容以在線測試習題方式上傳到在線課程中，提高學生參與在線學習的主動性。

5 結(jié)論

線上線下混合式能力達成度模型考慮了不同測試內(nèi)容對于課程培養(yǎng)目標的相對重要程度，確定了不同測試內(nèi)容的加權(quán)系數(shù)，并且對線上章節(jié)測試以及線下討論課及三級項目等不同階段性學習成果進行了量化平均，能夠比較全面地體現(xiàn)學生在混合式教學過程中的學習成果。

通過不同章節(jié)的能力達成度分析結(jié)果，可及時對階段性章節(jié)學習效果進行評估和分析，及時發(fā)現(xiàn)學生學習過程中存在的共性問題，每章內(nèi)容結(jié)束后對比較薄弱的知識點進行重點講解和強化訓練。另外結(jié)合期末在線測試能力達成度、三級項目能力達成度以及主觀題能力達成度對每個學生的課程學習效果進行分析，針對能力達成度較低的學生進行重點輔導和有針對性的強化訓練，對實現(xiàn)教學效果持續(xù)改進有非常重要的意義。

參考文獻

[1] HOOD N， LITTLEJOHN A， MILIGAN C.Context counts：how learners′ contexts influence learning in a MOOC[J]. Computer and Education，2015（91）：83-91.

[2]MARGARYAN A， BIANCO M， LITTLEJOHN A. Instruction quality of Massive Open Courses（MOOCs）[J]. Computer and Education， 2015（80）：77-83.

[3] LITTLEJOHN A， HOOD N， MILIGAN C， et al. Learning in MOOCs：motivation and self-regulated learning in MOOCs[J]. The Internet and Higher Education， 2016， 29（5）： 40-48.

[4] 王鵬.在線學習分類評價模型的構(gòu)建[D].曲阜：曲阜師范大學， 2013.

[5] GOGGINS S，XING W.Building models explaining student participation behavior in asynchronous online discussion[J]. Computers and Education， 2016（94）：241-251.

[6] MACFADYEN L P，DAWSON S.Mining LMS data to develop an "early warning system" for educators：a proof of concept[J].Computers and Education，2010，54（2）：588-599.

[7] 馮曉英，鄭勤華，陳鵬宇.學習分析視角下在線認知水平的評價模型研究[J]. 遠程教育雜志， 2016，34（6）：39-45.

[8] 馮曉英，劉月，吳怡君.學習者在線學習水平的學習分析模型研究--臨場感學習分析模型構(gòu)建與方法探索[J].電化教育研究，2018，38（6）：12-17.

[9] 薛宇飛，黃振中，石菲.MOOC學習行為的國際比較研究--以"財務(wù)分析與決策"課程為例[J].開放教育研究， 2015， 20（6）：80-85.

[10] 賈積有，繆靜敏，汪瓊. MOOC學習行為及效果的大數(shù)據(jù)分析--以北大6門MOOC為例[J].工業(yè)和信息化教育， 2014，1（9）：23-29.

[11] 洪煌亮.教育督導及教育督導評估[M].北京：北京師范大學出版社，1993：25.

[12] 沈欣憶，吳健偉，張艷霞，等.MOOCAP學習者在線學習行為和學習效果評價模型研究[J].中國遠程教育， 2019，38（5）：38-46.

[13] 張陽，王東，楊貫中.基于模糊AHP理論的網(wǎng)絡(luò)學習評價模型研究[J].湖南師范大學自然科學學報，2007，50（2）：71-73.

[14] 孫燕龍.大學生在線學習行為評價建模與應(yīng)用研究[D].昆明：云南師范大學，2018.

[15] 王燕.一種基于模糊理論的網(wǎng)絡(luò)學習評價系統(tǒng)模型的研究[D].昆明：昆明理工大學，2009.

[16] 元帥.在線學習行為分析評價及其應(yīng)用研究[D].武漢：華中師范大學，2011.

[17] DONG Y G，SONG J F，ZHU H，et al.Exploration of teaching reform of drawing courses in Chinese colleges and universities based on the advanced engineering education model [J]. Advances in Social Sciences，Educations and Humanities Research， 2017（83）：34-38.

[18] DONG Y G， SONG J F. Reform practice of evaluation method of drawing courses in Chinese colleges adapting to advanced manufacturing technology[J].Advances in Social Science， Education and Humanities Research， 2016（65）：379-381.

Model and application of ability achievement

for blended learning based on MOOC：take the

Engineering Drawing Foundation as an example

DONG Yong-gang，SONG Jian-feng，LI Xing-dong，YAO Chun-dong

（College of Mechanical Engineering，Yanshan University，Qinhuangdao，Hebei066004，China）

Abstract Since 2012，the MOOC storm has provided a new development opportunity for the reform of higher engineering education in China， greatly enriched the learning resources and had a positive impact on the learning mode and teaching mode. Firstly， this paper introduces the construction of online course resources and online learning data based on the XuetangX MOOC platform in China. According to the importance of the assessment content， the weighting coefficients of different test types are determined based on the expert ranking method， then the mathematical model of ability achievement for different chapters was built by the method of weighted mean.Moreover， this model was applied in the practice of blended teaching of Engineering Drawing Foundation course， and it can provide important data support for teachers to take effective actions to intervene students′ learning process in time， then improve teaching effect continuously.This model can give full play to the advantages of MOOC and realize the concept of OBE education，and it has important value and significance for online learning effect evaluation and blended teaching practice.

KeywordsOBE; MOOC;online learning;weighted mean method;ability achievement

[責任編輯 馬曉寧]