MOOC教學(xué)評(píng)價(jià)的實(shí)證研究

朱宗乾 尚晏瑩 齊德偉 胡海青

摘 要：本研究針對(duì)MOOC教學(xué)評(píng)價(jià)手段和方法單一、不能滿(mǎn)足對(duì)學(xué)生的整體評(píng)價(jià)以及成績(jī)?cè)u(píng)定忽略過(guò)程評(píng)價(jià)和團(tuán)體評(píng)價(jià)等問(wèn)題，應(yīng)用探索性因子分析法，驗(yàn)證關(guān)鍵因素為：教學(xué)目標(biāo)因素、教學(xué)策略因素、教學(xué)活動(dòng)因素、教學(xué)效果因素和教學(xué)特色因素，并以此建立MOOC教學(xué)評(píng)價(jià)體系。應(yīng)用結(jié)果表明，與傳統(tǒng)教學(xué)評(píng)價(jià)方法相比，新教學(xué)評(píng)價(jià)體系對(duì)提升學(xué)生的主動(dòng)性、師生互動(dòng)性及成績(jī)均有較明顯的效果。研究結(jié)論對(duì)其他MOOC教學(xué)評(píng)價(jià)具有一定的參考價(jià)值。

關(guān)鍵詞：MOOC；教學(xué)評(píng)價(jià)；實(shí)證分析

中圖分類(lèi)號(hào)：G434 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2018）23-0067-04

一、引言

隨著經(jīng)濟(jì)的進(jìn)步和社會(huì)的發(fā)展，復(fù)合型管理人才越來(lái)越能適應(yīng)社會(huì)的需要。推進(jìn)高等院校教學(xué)模式改革、整合教學(xué)內(nèi)容、提高教學(xué)的實(shí)效性，是對(duì)中國(guó)教育發(fā)展模式轉(zhuǎn)型的整體要求。隨著計(jì)算機(jī)及互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，以MOOC為代表的在線(xiàn)教育彌補(bǔ)了傳統(tǒng)理論教學(xué)的不足。[1]“十三五”期間，政府提出了要培養(yǎng)大批創(chuàng)新實(shí)踐人才的發(fā)展戰(zhàn)略，實(shí)踐證明MOOC課程對(duì)培養(yǎng)具備一定理論知識(shí)和實(shí)踐能力的復(fù)合型創(chuàng)新應(yīng)用人才具有重要作用。[2]而傳統(tǒng)MOOC教學(xué)評(píng)價(jià)的方法與方式過(guò)于單一，學(xué)生積極性不高，不能滿(mǎn)足對(duì)學(xué)生的整體評(píng)價(jià)，并且忽略過(guò)程評(píng)價(jià)和團(tuán)體評(píng)價(jià)。因此，當(dāng)前MOOC教學(xué)的關(guān)鍵就是加強(qiáng)教學(xué)評(píng)價(jià)，改革評(píng)價(jià)方法。

Downes等人最早提出MOOC概念，指大規(guī)模開(kāi)放在線(xiàn)課程及相應(yīng)的在線(xiàn)學(xué)習(xí)模式。因MOOC具有開(kāi)放性、共享性，由網(wǎng)絡(luò)平臺(tái)提供給全體網(wǎng)民，有效推動(dòng)了教育的發(fā)展，并且知識(shí)可通過(guò)網(wǎng)絡(luò)傳遞給人們，實(shí)現(xiàn)了知識(shí)共享[3]。慕課教學(xué)是基于現(xiàn)代網(wǎng)絡(luò)信息技術(shù)發(fā)展而產(chǎn)生的新教學(xué)模式，它具有開(kāi)放、互動(dòng)、資源豐富等特點(diǎn)，能有效地把教育資源整合為在線(xiàn)開(kāi)放課程，優(yōu)化教學(xué)過(guò)程、評(píng)估體系和學(xué)習(xí)體驗(yàn)。在MOOC教學(xué)平臺(tái)下由教師進(jìn)行講述理論教學(xué)、實(shí)驗(yàn)教學(xué)，并指導(dǎo)實(shí)踐環(huán)節(jié)的層次教學(xué)，學(xué)生通過(guò)平臺(tái)進(jìn)行自主學(xué)習(xí)，在資源共享的MOOC環(huán)境下師生進(jìn)行交互，通過(guò)教學(xué)評(píng)價(jià)的有效實(shí)施增強(qiáng)教學(xué)效果，MOOC教學(xué)實(shí)踐體系如圖1所示。

有關(guān)MOOC教學(xué)評(píng)價(jià)的研究，已有一些學(xué)者做出了初步的探討。如：宣旸等人（2017）提出MOOC教學(xué)中采取小測(cè)試成績(jī)、期末成績(jī)與教師成績(jī)的綜合評(píng)價(jià)，教師評(píng)價(jià)包括學(xué)生上課表現(xiàn)、論壇提問(wèn)的積極性、提出問(wèn)題的質(zhì)量等[4]。董永剛等（2018）在學(xué)堂在線(xiàn)MOOC平臺(tái)的新型教學(xué)模式探索中指出，教學(xué)評(píng)價(jià)應(yīng)采取單元作業(yè)實(shí)現(xiàn)在線(xiàn)自測(cè)和期末在線(xiàn)測(cè)試結(jié)合的方式[5]。趙語(yǔ)等（2017）在基于MOOC的軟件工程課程雙語(yǔ)教學(xué)中從教學(xué)條件、教學(xué)過(guò)程和教學(xué)效果三方面進(jìn)行評(píng)價(jià)[6]。蔣翀等（2015）在設(shè)計(jì)基于MOOC的混合教學(xué)模式時(shí)，通過(guò)隨堂測(cè)試、預(yù)習(xí)測(cè)試與小節(jié)測(cè)試來(lái)測(cè)評(píng)學(xué)生成績(jī)，從教學(xué)效果、可行性、自主性三方面進(jìn)行教學(xué)評(píng)價(jià)[7]。王建剛等（2017）對(duì)學(xué)生的學(xué)習(xí)參與度、學(xué)生作品、過(guò)程性資料進(jìn)行評(píng)價(jià)，從內(nèi)容掌握程度、教學(xué)目標(biāo)、學(xué)習(xí)效率、資源豐富程度和多元化進(jìn)行教學(xué)評(píng)價(jià)。[8]

綜上所述，前期的研究成果為MOOC教學(xué)評(píng)價(jià)體系建立提供了有價(jià)值的思路，但通過(guò)分析發(fā)現(xiàn)以下幾點(diǎn)問(wèn)題：①前期研究主要側(cè)重于課程內(nèi)容的設(shè)計(jì)，缺少對(duì)教學(xué)評(píng)價(jià)的定量研究[9]；②學(xué)生在面對(duì)單一的教學(xué)評(píng)價(jià)、約束力較弱的網(wǎng)絡(luò)學(xué)習(xí)環(huán)境時(shí)，往往表現(xiàn)出自主性較差、興趣度不高等問(wèn)題，缺乏鼓勵(lì)與評(píng)價(jià)機(jī)制，導(dǎo)致學(xué)生參與度不高，教學(xué)組織顯得松散；③教學(xué)評(píng)價(jià)手段和方法單一，不能滿(mǎn)足對(duì)學(xué)生的整體評(píng)價(jià)，忽視過(guò)程評(píng)價(jià)以及成績(jī)?cè)u(píng)定。

因此，本文擬采用實(shí)證研究方法，針對(duì)MOOC教學(xué)評(píng)價(jià)辨識(shí)關(guān)鍵影響因素，結(jié)合MOOC教學(xué)的特點(diǎn)，在遵循一定原則的基礎(chǔ)上，創(chuàng)新性地設(shè)計(jì)教學(xué)評(píng)價(jià)體系，增強(qiáng)MOOC課程的教學(xué)效果，從而達(dá)到優(yōu)化教學(xué)目標(biāo)的目的。

二、實(shí)證研究設(shè)計(jì)

1.影響因素集建立

結(jié)合對(duì)在線(xiàn)教育企業(yè)、MOOC教師、高校專(zhuān)家的深度訪(fǎng)談以及文獻(xiàn)查閱，引導(dǎo)專(zhuān)家們重點(diǎn)分析影響MOOC教學(xué)評(píng)價(jià)的因素以及特殊性等，進(jìn)一步對(duì)MOOC教學(xué)評(píng)價(jià)影響因素進(jìn)行識(shí)別和細(xì)分，所得因素如表1所示。

2.問(wèn)卷設(shè)計(jì)與數(shù)據(jù)收集

本文主要采用問(wèn)卷調(diào)查的方式進(jìn)行數(shù)據(jù)收集。設(shè)計(jì)了MOOC教學(xué)評(píng)價(jià)調(diào)查問(wèn)卷，調(diào)查問(wèn)卷由三部分構(gòu)成：第一部分是調(diào)查對(duì)象基本信息和對(duì)MOOC了解的問(wèn)題，以單項(xiàng)選擇題提問(wèn)；第二部分是調(diào)查MOOC教學(xué)過(guò)程中存在的問(wèn)題，以單項(xiàng)選擇題和填空題相結(jié)合的方式提問(wèn)；第三部分是MOOC教學(xué)評(píng)價(jià)影響因素的問(wèn)題，運(yùn)用五級(jí)Likert態(tài)度量表法，以單項(xiàng)選擇題和開(kāi)放式回答為主。本文問(wèn)卷設(shè)計(jì)包括預(yù)調(diào)查和正式調(diào)查兩個(gè)部分，預(yù)調(diào)查對(duì)象包括熟悉MOOC教學(xué)的研究學(xué)者（如陜西師范大學(xué)、西安理工大學(xué)等）和MOOC教學(xué)負(fù)責(zé)人?？稍陬A(yù)調(diào)查階段完善調(diào)查問(wèn)卷，通過(guò)正式調(diào)查階段，獲得實(shí)證研究數(shù)據(jù)。

為盡可能地分析MOOC教學(xué)評(píng)價(jià)的主要影響因素，選取的被調(diào)查者來(lái)自于高校MOOC教學(xué)研究學(xué)者，如西安交通大學(xué)、北京師范大學(xué)、陜西師范大學(xué)、西安理工大學(xué)等。對(duì)來(lái)自高校的MOOC教學(xué)研究學(xué)者主要采用問(wèn)答式的方式，對(duì)從事MOOC教學(xué)的教師采用發(fā)放問(wèn)卷，現(xiàn)場(chǎng)作答的方式，及時(shí)回收進(jìn)行整理。歷時(shí)兩個(gè)月，共發(fā)放問(wèn)卷120份，回收105份，有效問(wèn)卷97份，樣本基本信息統(tǒng)計(jì)如表2所示。

三、MOOC教學(xué)評(píng)價(jià)的實(shí)證分析

1.信效度分析

在Likert 態(tài)度量表法中常用的信度檢驗(yàn)方法為“Cronbachα”系數(shù)檢驗(yàn)。α系數(shù)值介于0至1之間，基本上0.7-0.8之間是可以接受的范圍。本研究中采用Cronbachα系數(shù)來(lái)分析信度，其系數(shù)值為0.815，認(rèn)為問(wèn)卷的可靠性較高，如表3所示。問(wèn)卷的因子分析表明，公因子累積貢獻(xiàn)率達(dá)到73.286%，如表4所示，顯示問(wèn)卷有較高的構(gòu)思效度。

通過(guò)KMO樣本測(cè)度和巴特萊特球體檢驗(yàn)來(lái)考察數(shù)據(jù)是否適合做因子分析，結(jié)果表明KMO測(cè)度值為0.750，如表5所示，這說(shuō)明問(wèn)卷設(shè)計(jì)合理，所收集的數(shù)據(jù)適合做因子分析。

同時(shí)，看到巴特萊特球體檢驗(yàn)中統(tǒng)計(jì)值的顯著性概率是0.000，說(shuō)明數(shù)據(jù)相關(guān)系數(shù)矩陣不是單位陣，具有相關(guān)性，也說(shuō)明統(tǒng)計(jì)數(shù)據(jù)是適宜做因子分析的。

2.因子分析與命名

用最大變異法進(jìn)行正交旋轉(zhuǎn)處理，經(jīng)過(guò)5次迭代后數(shù)據(jù)收斂，得到旋轉(zhuǎn)后的因子載荷矩陣，如表6所示。

據(jù)此，本文一共提取MOOC教學(xué)評(píng)價(jià)影響因素的五個(gè)公因子，為了進(jìn)一步明確這5個(gè)公因子的內(nèi)涵，對(duì)其進(jìn)行命名，具體分析如下：

“因子一”命名為教學(xué)目標(biāo)因素，它在目標(biāo)明確具體、符合課程標(biāo)準(zhǔn)要求、符合學(xué)生實(shí)際情況、可操作性4個(gè)因子上有較大載荷，反映了MOOC教學(xué)需要目標(biāo)導(dǎo)向，在課程要求下滿(mǎn)足學(xué)生的實(shí)際情況，并具有一定的可操作性。

“因子二”命名為教學(xué)策略因素，它在信息化教學(xué)程度、問(wèn)題反饋性、突出重難點(diǎn)與興趣點(diǎn)、評(píng)價(jià)時(shí)效性4個(gè)因子上有較大載荷，反映了MOOC教學(xué)中應(yīng)注重教學(xué)策略，問(wèn)題反饋性與評(píng)價(jià)時(shí)效性保障了MOOC教學(xué)的有序執(zhí)行，信息化程度能夠保證教學(xué)以及評(píng)價(jià)的時(shí)效性，突出重難點(diǎn)與興趣點(diǎn)有利于調(diào)動(dòng)學(xué)生積極性。

“因子三”命名為教學(xué)活動(dòng)因素，它在師生互動(dòng)性、參與方式多樣化程度、問(wèn)題導(dǎo)向性、教學(xué)環(huán)境和諧程度4個(gè)因子上有較大載荷，反映了師生互動(dòng)性、參與方式等對(duì)教學(xué)活動(dòng)有影響，MOOC教學(xué)應(yīng)注重問(wèn)題導(dǎo)向性、教學(xué)環(huán)境和諧程度。

“因子四”命名為教學(xué)效果因素，它在理論知識(shí)應(yīng)用到實(shí)踐、職業(yè)技能性、個(gè)性化程度3個(gè)因子上有較大載荷，反映了學(xué)生個(gè)性化程度有利于學(xué)生個(gè)人的發(fā)展，將理論知識(shí)應(yīng)用到實(shí)踐中，從而提高學(xué)生的職業(yè)技能。

“因子五”命名為教學(xué)特色因素，它在學(xué)生參與程度、學(xué)生主體性、綜合能力的培養(yǎng)度3個(gè)因子上有較大載荷，反映了MOOC教學(xué)中應(yīng)注重學(xué)生的主體作用，評(píng)價(jià)學(xué)生參與程度有利于學(xué)生綜合素質(zhì)的培養(yǎng)。

四、MOOC教學(xué)評(píng)價(jià)體系建立與實(shí)例分析

在競(jìng)爭(zhēng)性原則、過(guò)程性原則、創(chuàng)造性原則、分類(lèi)性原則、合作性原則、動(dòng)態(tài)性原則、綜合性原則、正激勵(lì)原則和相對(duì)性原則下，從教學(xué)目標(biāo)、教學(xué)策略、教學(xué)活動(dòng)、教學(xué)效果和教學(xué)特色五方面建立MOOC教學(xué)評(píng)價(jià)體系。

為檢驗(yàn)本文建立的MOOC教學(xué)評(píng)價(jià)體系的適用性，我們?cè)谖靼怖砉ご髮W(xué)進(jìn)行了初步實(shí)施，將本評(píng)價(jià)體系引入到MOOC教學(xué)中，經(jīng)過(guò)設(shè)計(jì)涵蓋課程教學(xué)目標(biāo)、教學(xué)策略、教學(xué)活動(dòng)、教學(xué)效果和教學(xué)特色等方面的問(wèn)卷，選擇基于MOOC的企業(yè)管理情景教學(xué)中的51名信息管理與信息系統(tǒng)、會(huì)計(jì)學(xué)和工業(yè)工程等專(zhuān)業(yè)本科生為實(shí)例對(duì)象，在MOOC教學(xué)后對(duì)教學(xué)過(guò)程打分評(píng)價(jià)并填寫(xiě)滿(mǎn)意度調(diào)查問(wèn)卷，共計(jì)發(fā)放問(wèn)卷51份，收回50份，有效回收率為98.04%，Cronbachα系數(shù)值為0.913，表明問(wèn)卷有較高的信度，基于MOOC的一體化教學(xué)模式評(píng)分表如表7所示，其中n為樣本數(shù)量，x為樣本均值，s為樣本方差。

（1）問(wèn)卷反饋對(duì)第四題關(guān)于“您是否認(rèn)為MOOC教學(xué)評(píng)價(jià)體系改善了師生互動(dòng)性？”的回答中，有84%的學(xué)生選擇非常同意，10%的學(xué)生選擇較同意，而僅有6%的學(xué)生選擇了一般，且對(duì)“您是否認(rèn)為MOOC教學(xué)評(píng)價(jià)有助于提高主動(dòng)性與積極性？”的選擇，全部偏向于選擇非常同意和較同意。由此可見(jiàn)該MOOC教學(xué)評(píng)價(jià)模式在一定程度上改善了師生互動(dòng)性，提高了學(xué)生的主動(dòng)性與積極性。

（2）MOOC教學(xué)評(píng)價(jià)評(píng)分表顯示，在教學(xué)目標(biāo)、教學(xué)策略、教學(xué)活動(dòng)、教學(xué)效果和教學(xué)特色方面均有不同程度的提高，該模式在“綜合能力的培養(yǎng)度”、“理論知識(shí)應(yīng)用到實(shí)踐”和“職業(yè)技能性”上評(píng)分均有提升，顯示提升了學(xué)生的職業(yè)技能，使教學(xué)效果更加明顯，提升了學(xué)生的綜合能力。結(jié)果表明該評(píng)價(jià)體系能有效評(píng)價(jià)MOOC教學(xué)，顯示出教學(xué)中提升的內(nèi)容與不足之處。

五、結(jié)束語(yǔ)

本文針對(duì)MOOC教學(xué)評(píng)價(jià)手段和方法單一、不能滿(mǎn)足對(duì)學(xué)生的整體評(píng)價(jià)以及成績(jī)?cè)u(píng)定忽略過(guò)程評(píng)價(jià)和團(tuán)體評(píng)價(jià)等問(wèn)題，應(yīng)用實(shí)證研究方法識(shí)別MOOC教學(xué)評(píng)價(jià)的關(guān)鍵影響因素，并構(gòu)建MOOC教學(xué)評(píng)價(jià)體系，從教學(xué)目標(biāo)、教學(xué)策略、教學(xué)活動(dòng)、教學(xué)效果和教學(xué)特色方面進(jìn)行評(píng)價(jià)，并在基于MOOC的企業(yè)管理情景教學(xué)評(píng)價(jià)中進(jìn)行了實(shí)施。結(jié)果顯示該評(píng)價(jià)模式有效提高了學(xué)生與教師的互動(dòng)性，提升了學(xué)生的主動(dòng)性與積極性，注重MOOC教學(xué)的過(guò)程性，使得MOOC教學(xué)達(dá)到了“教、學(xué)、做、評(píng)”統(tǒng)一的目標(biāo)，提升了教學(xué)質(zhì)量與效果，新評(píng)價(jià)體系達(dá)到了注重過(guò)程和結(jié)果的雙重評(píng)價(jià)效果，有一定的推廣應(yīng)用價(jià)值，創(chuàng)新結(jié)果也可輻射到同類(lèi)MOOC教學(xué)評(píng)價(jià)的建設(shè)與改革之中。

參考文獻(xiàn)：

[1]彭湃.高等教育教學(xué)評(píng)價(jià)研究的進(jìn)展與熱點(diǎn)追蹤——對(duì)AEHE期刊2011-2015年發(fā)文的分析[J].高等教育研究，2016（8）：60-65.

[2]Passig D， Tzuriel D， Eshel-Kedmi G. Improving childrens cognitive modifiability by dynamic assessment in 3D Immersive Virtual Reality environments[J].Computers & Education， 2016（95）： 296-308.

[3]Chaocheng He， Panhao Ma， Lusha Zhou， Jiang Wu Is. Participating in MOOC Forums Important for Students？ A Data-driven Study from the Perspective of the Supernetwork[J].Journal of Data and Information Science， 2016（2）：62-77.

[4]宣旸，辛紅，王曉華.高校MOOC教學(xué)質(zhì)量提升方法探究[J].中國(guó)教育信息化，2017（8）：52-54.

[5]董永剛，宋劍鋒，李興東，楊新月.基于OBE理念和學(xué)堂在線(xiàn)MOOC平臺(tái)的新型教學(xué)模式探索——以高校制圖類(lèi)在線(xiàn)開(kāi)放課程為例[J].中國(guó)教育信息化，2018（10）：51-54.

[6]趙語(yǔ)，賈銀江，李曉明，趙峻穎，鄭文斌.基MOOC的軟件工程課程雙語(yǔ)教學(xué)的研究與實(shí)踐[J].中國(guó)教育信息化，2017（23）：77-79.

[7]蔣翀，費(fèi)洪曉.基于MOOC的混合教學(xué)模式設(shè)計(jì)與應(yīng)用研究[J].高等理科教育，2015，121（3）：120-125.

[8]王建剛，廖開(kāi)明，魏君.基于MOOC的高?！冬F(xiàn)代教育技術(shù)》教師教育課程改革實(shí)踐研究[J].中國(guó)教育信息化，2017（18）：31-35.

[9]Ballou R， Bowers D， Boyatzis R E， et al. Fellowship in Lifelong Learning： An Executive Development Program for Advanced Professionals.[J].Journal of Management Education， 1999， 23（4）：338-354.

（編輯：王曉明）