慕課學(xué)習(xí)評(píng)價(jià)現(xiàn)狀及自適應(yīng)評(píng)價(jià)研究

楊丹 劉漢明

摘要：本文針對(duì)慕課學(xué)習(xí)評(píng)價(jià)中的諸多問(wèn)題，提出了一種自適應(yīng)慕課評(píng)價(jià)方法及其施測(cè)模式。自適應(yīng)評(píng)價(jià)能夠主動(dòng)適應(yīng)學(xué)習(xí)者水平，構(gòu)造與其能力相當(dāng)?shù)臏y(cè)試，即“高水平高測(cè)，低水平低測(cè)”，減少了“低者高測(cè)”的焦慮與負(fù)荷。方法提供的能力測(cè)試的線(xiàn)性增長(zhǎng)可以增強(qiáng)慕課學(xué)習(xí)者身份識(shí)別，減少網(wǎng)絡(luò)作弊，增強(qiáng)慕課認(rèn)證的可信度。自適應(yīng)評(píng)價(jià)采用計(jì)算機(jī)系統(tǒng)完成，不受學(xué)習(xí)者數(shù)量的影響。慕課自適應(yīng)評(píng)價(jià)施測(cè)模式流程清晰、操作性強(qiáng)，可以為慕課學(xué)習(xí)評(píng)價(jià)提供一個(gè)切實(shí)可行的方案。

關(guān)鍵詞：慕課;學(xué)習(xí)評(píng)價(jià);現(xiàn)狀;自適應(yīng)評(píng)價(jià)

中圖分類(lèi)號(hào)：G434? 文獻(xiàn)標(biāo)識(shí)碼：A? 論文編號(hào)：1674-2117（2019）06-0110-03

引言

2015年4月13日，教育部頒布了《關(guān)于加強(qiáng)高等學(xué)校在線(xiàn)開(kāi)放課程建設(shè)應(yīng)用與管理的意見(jiàn)》（教高〔2015〕3號(hào)），強(qiáng)調(diào)構(gòu)建“具有中國(guó)特色在線(xiàn)開(kāi)放課程體系和公共服務(wù)平臺(tái)”，預(yù)計(jì)“2017年前認(rèn)定1000余門(mén)國(guó)家精品在線(xiàn)開(kāi)放課程;到2020年，認(rèn)定3000余門(mén)國(guó)家精品在線(xiàn)開(kāi)放課程”。[1]該文件表明慕課已納入中國(guó)高等教育市場(chǎng)，力圖解決中國(guó)大學(xué)生對(duì)優(yōu)質(zhì)高等教育資源的迫切需求、適應(yīng)技術(shù)進(jìn)步和產(chǎn)業(yè)升級(jí)的應(yīng)用技術(shù)型人才對(duì)職業(yè)慕課的巨大需求和高等教育質(zhì)量改革的需求問(wèn)題。

慕課以名校名師課堂、免費(fèi)豐富的學(xué)習(xí)資源、優(yōu)質(zhì)的學(xué)習(xí)支持服務(wù)、多元化的評(píng)價(jià)機(jī)制等特點(diǎn)備受學(xué)習(xí)者青睞，但同時(shí)課程結(jié)業(yè)率低、學(xué)分認(rèn)證遭質(zhì)疑的問(wèn)題也使慕課備受非議。缺乏有效監(jiān)測(cè)，考核安全與維度，缺乏嚴(yán)格考核制度是課程結(jié)業(yè)率低、學(xué)分認(rèn)證遭質(zhì)疑的重要原因。慕課學(xué)習(xí)者的多樣性、技術(shù)催生的網(wǎng)絡(luò)作弊、異步的線(xiàn)上學(xué)習(xí)都給慕課學(xué)習(xí)評(píng)價(jià)帶來(lái)了諸多困難，建立一個(gè)科學(xué)的慕課學(xué)習(xí)評(píng)價(jià)方法是慕課良性發(fā)展亟需解決的問(wèn)題。

慕課學(xué)習(xí)評(píng)價(jià)現(xiàn)狀

好大學(xué)在線(xiàn)、中國(guó)大學(xué)慕課、學(xué)堂在線(xiàn)及Coursera四大慕課平臺(tái)，目前采用的學(xué)習(xí)評(píng)價(jià)方式可以歸納為三類(lèi)：①教師評(píng)定，由慕課課程的教師或者其助教來(lái)評(píng)定。②同伴互評(píng)，由慕課學(xué)習(xí)者互相評(píng)定。同伴互評(píng)成績(jī)主要由同伴評(píng)價(jià)、學(xué)習(xí)者自評(píng)及對(duì)同伴的評(píng)價(jià)組成，主要適用于主觀(guān)題型，如簡(jiǎn)答題、論述題及論文評(píng)定。③計(jì)算機(jī)系統(tǒng)測(cè)試，由慕課平臺(tái)的課程自動(dòng)評(píng)分系統(tǒng)完成，適用于選擇題、判斷題等客觀(guān)題型。歸納當(dāng)前的研究成果，結(jié)合慕課四大平臺(tái)實(shí)踐操作方式，慕課學(xué)習(xí)評(píng)價(jià)呈現(xiàn)出如下態(tài)勢(shì)。

（1）學(xué)習(xí)者規(guī)模巨大、多樣性與時(shí)空異性，龐大的評(píng)價(jià)任務(wù)使得教師評(píng)定舉步維艱。慕課學(xué)習(xí)者規(guī)模大，動(dòng)輒數(shù)以萬(wàn)計(jì)，學(xué)業(yè)背景的多樣性，且分布在世界各地，使得教師對(duì)學(xué)習(xí)者個(gè)體所作的協(xié)調(diào)、監(jiān)督和指導(dǎo)非常有限，龐大的評(píng)價(jià)任務(wù)對(duì)教師的時(shí)間、精力都是重大挑戰(zhàn)，教師很難完成評(píng)定。在四大平臺(tái)中，只有少數(shù)慕課會(huì)針對(duì)部分學(xué)習(xí)者（如本校學(xué)生）采取教師評(píng)定。

（2）同伴互評(píng)提高了主觀(guān)題的評(píng)價(jià)效率，但同時(shí)也陷入同伴之間不信任和互評(píng)質(zhì)量不高的困境。在慕課平臺(tái)中引入同伴互評(píng)機(jī)制，是鑒于平臺(tái)中評(píng)價(jià)主體單一、缺乏對(duì)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的支撐等問(wèn)題。相對(duì)于教師批改和系統(tǒng)自動(dòng)評(píng)分而言，同伴互評(píng)易給學(xué)習(xí)者帶來(lái)親切感，反饋也更快捷，減輕了學(xué)習(xí)者對(duì)評(píng)價(jià)的焦慮，及時(shí)產(chǎn)生激勵(lì)作用，大大提高了主觀(guān)題的評(píng)價(jià)效率。但MOOC學(xué)習(xí)者的語(yǔ)言文化背景、學(xué)習(xí)經(jīng)歷和知識(shí)水平各不相同，使得評(píng)價(jià)難以得到普遍認(rèn)同，由此對(duì)互評(píng)也難以產(chǎn)生責(zé)任感及維持評(píng)價(jià)動(dòng)力。在實(shí)際操作中，同伴互評(píng)也受到了不少學(xué)習(xí)者以及研究者的詬病，如Suen[2]指出，采用同伴互評(píng)的MOOC課程完成率通常較低，既可能是同伴評(píng)價(jià)滿(mǎn)意度低的結(jié)果，也可能是要求學(xué)生提交開(kāi)放式的作業(yè)所致，因?yàn)橥瓿蛇@類(lèi)任務(wù)比起完成選擇題，需要花費(fèi)更多時(shí)間和精力。

（3）測(cè)試是課程自動(dòng)評(píng)分系統(tǒng)的主要形式。在慕課學(xué)習(xí)背景下，自動(dòng)評(píng)分系統(tǒng)記錄學(xué)習(xí)者的各種學(xué)習(xí)行為數(shù)據(jù)。教師通過(guò)對(duì)該數(shù)據(jù)的觀(guān)察、分析，展開(kāi)學(xué)習(xí)評(píng)價(jià)。當(dāng)前研究主要關(guān)注學(xué)習(xí)評(píng)價(jià)形式、問(wèn)題及意義，對(duì)于評(píng)價(jià)實(shí)施、評(píng)價(jià)與高輟學(xué)率的關(guān)聯(lián)的探討明顯不足。四大慕課平臺(tái)當(dāng)前采用的學(xué)習(xí)評(píng)價(jià)有單元測(cè)驗(yàn)/作業(yè)、嵌入式問(wèn)題、期中/期末考試、論壇參與與課程視頻瀏覽情況等方式。肖麗萍[3]對(duì)四大平臺(tái)的200門(mén)課程的調(diào)查結(jié)果顯示，使用次數(shù)最多的是單元測(cè)驗(yàn)，頻率達(dá)82%;緊隨其后的是期末考試，頻率為79.5%;可見(jiàn)計(jì)算機(jī)測(cè)試仍然是慕課評(píng)價(jià)的主要形式。計(jì)算機(jī)化測(cè)試是隨機(jī)抽題、統(tǒng)一施行的測(cè)試，對(duì)于學(xué)習(xí)水平不均的慕課學(xué)習(xí)者來(lái)說(shuō)，容易出現(xiàn)“高者低測(cè)，低者高測(cè)”，對(duì)學(xué)習(xí)者能力估計(jì)不準(zhǔn)確。且“低者高測(cè)”容易打擊學(xué)習(xí)者學(xué)習(xí)自信心，增加學(xué)習(xí)焦慮與認(rèn)知負(fù)荷。

慕課學(xué)習(xí)評(píng)價(jià)新方法——自適應(yīng)評(píng)價(jià)

計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)（Compu-terized Adaptive Test， CAT）是在項(xiàng)目反應(yīng)理論指導(dǎo)下，運(yùn)用計(jì)算機(jī)技術(shù)實(shí)現(xiàn)的一種現(xiàn)代考試類(lèi)型。它的目標(biāo)是對(duì)每一個(gè)考生構(gòu)造一個(gè)最優(yōu)的測(cè)驗(yàn)，主動(dòng)適應(yīng)被試能力水平提供與其難度相當(dāng)?shù)臏y(cè)試，即高水平被試測(cè)難題，低水平被試測(cè)易題，達(dá)到“因人施測(cè)”，準(zhǔn)確估計(jì)被試能力。將計(jì)算機(jī)自適應(yīng)測(cè)試應(yīng)用于慕課學(xué)習(xí)評(píng)價(jià)，依據(jù)慕課學(xué)習(xí)者能力水平，構(gòu)造與其能力相當(dāng)?shù)臏y(cè)試，可以準(zhǔn)確估計(jì)學(xué)習(xí)者能力值。

計(jì)算機(jī)化考試是采取隨機(jī)抽題、統(tǒng)一組卷的測(cè)試策略，學(xué)習(xí)者無(wú)論能力高低，皆受測(cè)于統(tǒng)一試題;計(jì)算機(jī)自適應(yīng)測(cè)試則是先預(yù)估學(xué)習(xí)者能力初值，然后提供與其能力相當(dāng)?shù)臏y(cè)試不斷精化能力值，直至準(zhǔn)確估出能力值，每個(gè)學(xué)習(xí)者的測(cè)試都是獨(dú)一無(wú)二的。由于測(cè)試難度與學(xué)習(xí)者能力值相當(dāng)，學(xué)習(xí)者不會(huì)因?yàn)闇y(cè)試過(guò)難而焦慮、過(guò)易而驕躁，總是能從測(cè)試中獲得學(xué)習(xí)成就感，激勵(lì)并保持學(xué)習(xí)自信心，從而有效降低課程輟學(xué)率。

慕課自適應(yīng)評(píng)價(jià)的實(shí)施

慕課自適應(yīng)評(píng)價(jià)分兩個(gè)階段進(jìn)行，首先建設(shè)慕課的自適應(yīng)測(cè)試題庫(kù)，然后在學(xué)習(xí)者學(xué)習(xí)過(guò)程中施與前測(cè)、中測(cè)和后測(cè)。

（1）建設(shè)自適應(yīng)測(cè)試題庫(kù)。首先依據(jù)慕課課程考核標(biāo)準(zhǔn)建設(shè)課程測(cè)試項(xiàng)目，為保證課程測(cè)試安全，要求測(cè)試的項(xiàng)目要保證充足的數(shù)量;然后根據(jù)雙參數(shù)Logistic模型采用聯(lián)合極大似然估計(jì)法估計(jì)[4]試題的區(qū)分度a、難度b，淘汰區(qū)分度低的試題，調(diào)整項(xiàng)目難度，使其分布合理，以確保在測(cè)量各種特質(zhì)水平的被試時(shí)都有足夠的試題。[5]

（2）施與前測(cè)、中測(cè)和后測(cè)（如下頁(yè)圖）。前測(cè)，在學(xué)習(xí)之前施與，確定慕課學(xué)習(xí)者能力初值θ0，提供對(duì)等難度的教學(xué)，保障其稍加努力就可以達(dá)到目標(biāo)，激勵(lì)其學(xué)習(xí)自信心。中測(cè)，在學(xué)習(xí)過(guò)程中可以多次施測(cè)，分為系統(tǒng)施測(cè)和學(xué)習(xí)者自測(cè)，滿(mǎn)足定期與不定期測(cè)試。系統(tǒng)施測(cè)是應(yīng)教師教學(xué)設(shè)計(jì)的需求，設(shè)置在固定階段測(cè)試，反饋學(xué)習(xí)者學(xué)習(xí)狀態(tài)，是教學(xué)問(wèn)題的診斷器。理想狀態(tài)下，隨著學(xué)習(xí)深入，學(xué)習(xí)者能力值應(yīng)呈上升趨勢(shì)，上升越快，效果越好，若呈下降態(tài)勢(shì)，教師則需重新審視教學(xué)，診斷問(wèn)題，及時(shí)修正教學(xué)以保障學(xué)習(xí)順利進(jìn)行。學(xué)習(xí)者自測(cè)是滿(mǎn)足學(xué)習(xí)者自評(píng)的需求，測(cè)試自己的能力隨學(xué)習(xí)的深入是否在不斷提高，是學(xué)習(xí)者學(xué)習(xí)的動(dòng)力源泉;與此同時(shí)，若提高不明顯，或者沒(méi)有提高，那就要調(diào)整學(xué)習(xí)方法和策略，進(jìn)入后續(xù)學(xué)習(xí)。后測(cè)，教學(xué)結(jié)束之后施與，是學(xué)習(xí)者綜合能力測(cè)試，學(xué)習(xí)者能力值達(dá)到新的高度，以此判斷課程是否達(dá)標(biāo)。

慕課自適應(yīng)評(píng)價(jià)的優(yōu)勢(shì)

（1）及時(shí)激勵(lì)學(xué)習(xí)者，切實(shí)降低慕課輟學(xué)率。慕課自適應(yīng)評(píng)價(jià)給每位學(xué)習(xí)者提供與其能力相當(dāng)?shù)臏y(cè)試，減少測(cè)試帶來(lái)的焦慮和打擊。學(xué)習(xí)者在自測(cè)中明晰自己的學(xué)業(yè)成就，感受學(xué)習(xí)進(jìn)展，增強(qiáng)學(xué)習(xí)自信心，從而保障持續(xù)性學(xué)習(xí)，有效降低輟學(xué)率。

（2）提高慕課學(xué)習(xí)者身份驗(yàn)證，減少在線(xiàn)考試作弊，提高慕課學(xué)分認(rèn)證的可信度。自適應(yīng)測(cè)試通過(guò)前測(cè)、多次中測(cè)和后測(cè)結(jié)果，展現(xiàn)學(xué)習(xí)者能力值動(dòng)態(tài)變化。正常情況下，隨著學(xué)習(xí)的推進(jìn)，學(xué)習(xí)者學(xué)習(xí)效果越來(lái)越好，能力值θ0，θ1，θ2……θn應(yīng)呈連續(xù)的線(xiàn)性變化，如出現(xiàn)斷層式的跳躍性提升，排除特殊原因，則需進(jìn)一步審視學(xué)習(xí)者身份是否改變。

（3）建立完整的大數(shù)據(jù)，展現(xiàn)學(xué)習(xí)動(dòng)態(tài)變化，診斷學(xué)習(xí)問(wèn)題，改善慕課課程教學(xué)設(shè)計(jì)，有助于提高慕課平臺(tái)學(xué)習(xí)資源的質(zhì)量，加快慕課的推廣，更好保障慕課的可持續(xù)發(fā)展。

結(jié)束語(yǔ)

慕課自適應(yīng)評(píng)價(jià)可以動(dòng)態(tài)展示學(xué)習(xí)取得的成就，激勵(lì)學(xué)習(xí)者持續(xù)性學(xué)習(xí)，有效降低慕課輟學(xué)率;自適應(yīng)動(dòng)態(tài)測(cè)試可以診斷慕課教學(xué)方法、教學(xué)資源的問(wèn)題，完善慕課課程，提高慕課品質(zhì);提高慕課學(xué)習(xí)者身份驗(yàn)證，增強(qiáng)慕課認(rèn)證的可信度，擴(kuò)大慕課信譽(yù)，促進(jìn)慕課良性發(fā)展，使得更多的大學(xué)生可以共享優(yōu)質(zhì)高教資源，滿(mǎn)足職業(yè)者對(duì)職業(yè)慕課的需求，促進(jìn)傳統(tǒng)教育變革，實(shí)現(xiàn)“將世界上最優(yōu)質(zhì)的教育資源送達(dá)地球最偏遠(yuǎn)角落”的美好愿望。

參考文獻(xiàn)：

[1]中華人民共和國(guó)教育部.教育部關(guān)于加強(qiáng)高等學(xué)校在線(xiàn)開(kāi)放課程建設(shè)應(yīng)用與管理的意見(jiàn)[EB/OL].http：//www.gov.cn/xinwen/2015-04/28/content_2854088.htm，2015-05-26.

[2]Suen H K. Peer assessment for massive open online courses （MOOCs）[J].The International Review of Research in Open and Distributed Learning，2014，15（3）.

[3]肖麗平.慕課學(xué)習(xí)評(píng)價(jià)方式調(diào)查研究[D].南昌：江西師范大學(xué)，2016.

[4]Debevec P，YiZhou Yu，etal.Efficient View-Dependent Image-Based Rendering with Perspective Texture-Mapping[C].9th Eurographics Rendering Workshop，1998，105-106.

[5]楊丹，劉漢明.基于原始題植入的《現(xiàn)代教育技術(shù)》CAT系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)遠(yuǎn)程教育，2011.

作者簡(jiǎn)介：楊丹（通訊作者），講師，碩士，主要研究方向?yàn)榻虒W(xué)設(shè)計(jì)、自適應(yīng)學(xué)習(xí)評(píng)價(jià);劉漢明，教授，博士，碩士生導(dǎo)師，主要研究方向?yàn)閿?shù)據(jù)挖掘、教育科學(xué)。