基于MOOC+SPOC模式的學(xué)習(xí)效果評(píng)價(jià)模型研究

張昭玉，任建平，付保川，張兄武，高恩婷

（1．蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215011；2．蘇州科技大學(xué)天平學(xué)院 電子與信息工程系，江蘇 蘇州 215011）

0 引 言

近年來(lái)，以MOOC+SPOC為代表的互聯(lián)網(wǎng)教學(xué)模式逐漸興起并為教育界所接受，該模式通過(guò)短視頻網(wǎng)絡(luò)在線學(xué)習(xí)、翻轉(zhuǎn)課堂、在線互動(dòng)討論、視頻回看等手段，有效解決了學(xué)習(xí)受時(shí)間、空間、師資等方面限制的問(wèn)題。重復(fù)觀看視頻、隨時(shí)隨地在線互動(dòng)討論以加深課程內(nèi)容的理解，有效彌補(bǔ)課堂教學(xué)的不足。同時(shí)，課堂教學(xué)技術(shù)結(jié)合MOOC+SPOC，加強(qiáng)與學(xué)生的互動(dòng)和深度交流，可起到寬度教學(xué)與深度教學(xué)相結(jié)合的效果，寬度教學(xué)由視頻完成，深度教學(xué)則由課堂教學(xué)來(lái)實(shí)現(xiàn)，如此可有效保證教學(xué)質(zhì)量的提升[1]。

然而，在基于MOOC+SPOC的教學(xué)研究過(guò)程中，教育界對(duì)MOOC的研究大都集中在服務(wù)體系方面，比如MOOC設(shè)計(jì)、MOOC制作、MOOC上線、MOOC使用等，如中國(guó)大學(xué)MOOC團(tuán)隊(duì)開(kāi)展的MOOC服務(wù)研究；或者針對(duì)MOOC課程本身進(jìn)行評(píng)價(jià)，如文獻(xiàn)[2]開(kāi)展的“在實(shí)踐中探索MOOC評(píng)價(jià)體系”，提出了一個(gè)MOOC課程建設(shè)的評(píng)價(jià)體系；而針對(duì)MOOC這種教學(xué)模式開(kāi)展的學(xué)生學(xué)習(xí)效果評(píng)價(jià)機(jī)制卻較少有系統(tǒng)性的研究。2016年，在高等教育出版社舉辦的“中國(guó)大學(xué)MOOC——大學(xué)計(jì)算機(jī)基礎(chǔ)”課程研討會(huì)上，西北農(nóng)林大學(xué)的陳勇教授團(tuán)隊(duì)提出了一個(gè)“課程多元化考核機(jī)制與探索”課題，引起了與會(huì)者極大興趣，該模式使用了線上線下、課內(nèi)課外多種考核指標(biāo)集成學(xué)生的最終考核成績(jī)的方式，并大膽提出“期末考試的部分將逐漸取消”。該模式可行性強(qiáng)，且具有合理性和創(chuàng)新性，但其在指標(biāo)權(quán)重分配上使用了諸如“50%，20%……”這樣的模糊定義，且對(duì)于如何精選量化指標(biāo)、每個(gè)指標(biāo)權(quán)重如何分配、總評(píng)分?jǐn)?shù)如何合成、總評(píng)成績(jī)的區(qū)間如何界定等，缺乏有效的計(jì)算方法和科學(xué)界定。

因此，如何采用合理、科學(xué)、創(chuàng)新、量化的評(píng)價(jià)手段反映學(xué)生學(xué)習(xí)過(guò)程的每個(gè)環(huán)節(jié)，充分發(fā)揮MOOC+SPOC作用，有效提升教學(xué)效果，是當(dāng)前教學(xué)評(píng)價(jià)領(lǐng)域急需解決的問(wèn)題之一。基于上述問(wèn)題，依據(jù)MOOC+SPOC教學(xué)模式的特點(diǎn)，筆者提出了一個(gè)關(guān)注學(xué)習(xí)者過(guò)程性評(píng)價(jià)的量化模型，并給出了詳細(xì)的構(gòu)建方法。

1 基于MOOC+SPOC模式的學(xué)習(xí)效果評(píng)價(jià)模型構(gòu)建

1.1 模型概述

傳統(tǒng)的教學(xué)評(píng)價(jià)過(guò)于關(guān)注結(jié)果，已經(jīng)不適應(yīng)網(wǎng)絡(luò)化社會(huì)、終身教育和教育改革深化的需要，而過(guò)程性教學(xué)評(píng)價(jià)，在關(guān)注結(jié)果的基礎(chǔ)上，更注重評(píng)價(jià)對(duì)象的成長(zhǎng)發(fā)展過(guò)程，在教學(xué)過(guò)程中給予多次評(píng)價(jià)機(jī)會(huì)，有利于師生的自我教育和終身教育、有利于改善評(píng)價(jià)者和被評(píng)價(jià)者的關(guān)系、有利于反映教學(xué)的整體狀況和個(gè)性特色，是一種促進(jìn)教育改革深化的新評(píng)價(jià)模式[3]。因此，過(guò)程性教學(xué)評(píng)價(jià)特別適合基于MOOC+SPOC模式的教學(xué)模式。

模型實(shí)施過(guò)程如圖1所示。

圖1 基于MOOC+SPOC的學(xué)生學(xué)習(xí)效果評(píng)價(jià)模型

1.2 指標(biāo)體系的構(gòu)建

首先，不同的學(xué)科、不同的課程，其評(píng)價(jià)標(biāo)準(zhǔn)是不一樣的，比如“大學(xué)英語(yǔ)”的過(guò)程性教學(xué)評(píng)價(jià)要求的是聽(tīng)說(shuō)讀寫(xiě)能力，而“計(jì)算思維（大學(xué)計(jì)算機(jī)基礎(chǔ)）”則注重計(jì)算思維、算法設(shè)計(jì)和實(shí)踐能力，不同的課程需要不同的評(píng)價(jià)指標(biāo)體系，這項(xiàng)研究是一個(gè)長(zhǎng)期的、持續(xù)的系統(tǒng)工程，需要投入大量的人力物力。其次，評(píng)價(jià)指標(biāo)應(yīng)能在不同方面反映高等教育教學(xué)體系的發(fā)展目標(biāo)、教育水平和教學(xué)效果、社會(huì)價(jià)值等特點(diǎn)。最后，評(píng)價(jià)指標(biāo)的設(shè)置還要充分考慮MOOC+SPOC教學(xué)的特點(diǎn)以及實(shí)現(xiàn)的可行性。因此，需要廣泛收集資料、不斷研究實(shí)踐，從而構(gòu)建出科學(xué)性、可操作性較強(qiáng)的過(guò)程性教學(xué)評(píng)價(jià)指標(biāo)體系，為過(guò)程性教學(xué)質(zhì)量評(píng)價(jià)提供有力支撐。

根據(jù)過(guò)程性評(píng)價(jià)的要求，評(píng)價(jià)過(guò)程需要貫穿整個(gè)教學(xué)，所以筆者把評(píng)價(jià)過(guò)程分為前置性評(píng)價(jià)、形成性評(píng)價(jià)、終結(jié)性評(píng)價(jià)3個(gè)階段。前置性評(píng)價(jià)在教學(xué)活動(dòng)之前進(jìn)行，主要評(píng)價(jià)學(xué)習(xí)的預(yù)備工作；形成性評(píng)價(jià)是在學(xué)習(xí)活動(dòng)過(guò)程中進(jìn)行的評(píng)價(jià)，目的是獲取反饋信息，及時(shí)調(diào)整和改進(jìn)學(xué)習(xí)活動(dòng)；總結(jié)性評(píng)價(jià)則是在學(xué)習(xí)活動(dòng)完成后進(jìn)行的評(píng)價(jià)，目的在于對(duì)這一活動(dòng)的結(jié)果進(jìn)行反思和總結(jié)。這3個(gè)指標(biāo)作為一級(jí)指標(biāo)定義為(V1,V2,V3)，然后再根據(jù)一級(jí)指標(biāo)定義的活動(dòng)范圍尋找二級(jí)指標(biāo)，定義為｛(V11,V12,…,V1i)，(V21,V22,…,V2j)，(V31,V32,…,V3k)｝，以此類(lèi)推。

初選的指標(biāo)還要進(jìn)行進(jìn)一步的優(yōu)化，筆者采用的優(yōu)化方法是德?tīng)柗品ǎ合到y(tǒng)首先向有經(jīng)驗(yàn)的教育專(zhuān)家發(fā)放有關(guān)初選指標(biāo)的調(diào)查問(wèn)卷，收集調(diào)查專(zhuān)家對(duì)問(wèn)卷所提問(wèn)題的看法，反復(fù)征詢(xún)、歸納、修改，最后匯總成與專(zhuān)家基本一致的看法作為優(yōu)選的結(jié)果。這種方法具有廣泛的代表性，且具備可行性，較為可靠。

優(yōu)選后的指標(biāo)將被加入到評(píng)價(jià)指標(biāo)數(shù)據(jù)庫(kù)中。如前所述，評(píng)價(jià)指標(biāo)既是動(dòng)態(tài)的又是相對(duì)靜態(tài)的，所以在評(píng)價(jià)模型中，使用數(shù)據(jù)庫(kù)進(jìn)行處理，數(shù)據(jù)庫(kù)中只存儲(chǔ)指標(biāo)代碼和指標(biāo)名稱(chēng)，數(shù)據(jù)庫(kù)管理員可以根據(jù)需求更改指標(biāo)名稱(chēng)及指標(biāo)描述，以此達(dá)到實(shí)時(shí)動(dòng)態(tài)更新的目的。

以計(jì)算思維課程為例，通過(guò)對(duì)相關(guān)文獻(xiàn)的研究，結(jié)合中國(guó)大學(xué)MOOC在線提供的默認(rèn)指標(biāo)體系以及課題組教學(xué)實(shí)踐，筆者得到了表1中的16個(gè)最終評(píng)價(jià)指標(biāo)。

1.3 指標(biāo)權(quán)重的確定

筆者選擇的方法是AHP法（層次分析法），AHP法的基本思想就是將組成復(fù)雜問(wèn)題的多個(gè)元素權(quán)重的整體判斷，轉(zhuǎn)變?yōu)閷?duì)這些元素進(jìn)行“兩兩比較”，再對(duì)這些元素的整體權(quán)重進(jìn)行排序判斷，最后確立各元素的權(quán)重[4]。評(píng)判矩陣的確定是通過(guò)發(fā)送問(wèn)卷調(diào)查得到的專(zhuān)家打分，將每個(gè)專(zhuān)家評(píng)定的分值單獨(dú)建立矩陣，通過(guò)一致性檢驗(yàn)的矩陣作為有效評(píng)判矩陣。然后，將所有專(zhuān)家對(duì)該指標(biāo)的評(píng)判權(quán)重求平均值，得到最終權(quán)重。以計(jì)算思維課程為例，筆者得到的指標(biāo)權(quán)重見(jiàn)表2。

表1 評(píng)價(jià)指標(biāo)體系

1.4 終評(píng)得分的合成

終評(píng)得分的合成方法是根據(jù)已經(jīng)獲得的指標(biāo)體系權(quán)重值，結(jié)合評(píng)價(jià)主體的打分。首先對(duì)指標(biāo)獲得的分?jǐn)?shù)進(jìn)行標(biāo)準(zhǔn)映射，將其映射到標(biāo)準(zhǔn)區(qū)間[a～b]之間，即為學(xué)生的最終得分，然后計(jì)算各指標(biāo)加權(quán)算術(shù)平均得到的平均數(shù)作為評(píng)價(jià)最終得分。該方法能夠消除指標(biāo)體系中各個(gè)指標(biāo)的量綱不統(tǒng)一和性質(zhì)各異的問(wèn)題，通過(guò)求解綜合得分作為評(píng)價(jià)教學(xué)狀態(tài)的依據(jù)。

表2 計(jì)算思維MOOC+SPOC指標(biāo)評(píng)價(jià)體系

本模型定義標(biāo)準(zhǔn)映射區(qū)間為[0 ～10]，一次考試分?jǐn)?shù)最大值為Xmaxt，最小值為Xmint，則學(xué)生的標(biāo)準(zhǔn)分?jǐn)?shù)為

舉例說(shuō)明，一次考試全班的最高分為70分，最低分為10分，某生得分70分；另一次考試全班的最高分為90分，最低分為60分，該生得分為70分。這兩次某生同樣得分為70分，但標(biāo)準(zhǔn)化之后分?jǐn)?shù)分別為10分和3.3分，這意味著學(xué)生的知識(shí)掌握能力相對(duì)較高或者較低，而不是絕對(duì)分值的高低。本項(xiàng)步驟對(duì)于評(píng)價(jià)模型來(lái)說(shuō)是非常必要的，這是因?yàn)樵u(píng)價(jià)模型中不可避免地會(huì)引入大量主觀因素及其他不可度量因素，僅靠分值高低來(lái)認(rèn)定某學(xué)生屬于哪個(gè)等級(jí)還不夠準(zhǔn)確，還要考慮其分值相對(duì)整個(gè)得分區(qū)間的位置來(lái)進(jìn)行最后的評(píng)判。

接下來(lái)將每個(gè)過(guò)程性評(píng)價(jià)指標(biāo)的得分乘以其權(quán)重值然后累加，得到每個(gè)評(píng)價(jià)指標(biāo)的總得分。最后將每一指標(biāo)加權(quán)平均求出綜合指數(shù)，定義評(píng)價(jià)區(qū)間（表3）并由教師給出恰當(dāng)評(píng)語(yǔ)。

表3 評(píng)價(jià)區(qū)間定義

2 模型實(shí)施——以計(jì)算思維課程為例

為了研究評(píng)價(jià)模型的有效性，筆者選取2013級(jí)、2014級(jí)電子與信息工程學(xué)院非計(jì)算機(jī)專(zhuān)業(yè)新生共16個(gè)班的“計(jì)算思維”課程開(kāi)展針對(duì)該評(píng)價(jià)模型的滿(mǎn)意度調(diào)查，具體實(shí)施情況如下。

2013級(jí)，未開(kāi)設(shè)MOOC+SPOC課程，考核方式是傳統(tǒng)考核方式，即平時(shí)成績(jī)60%，期末成績(jī)40%。平時(shí)成績(jī)?cè)从谡n堂教學(xué)，包含5次平時(shí)作業(yè)、課堂提問(wèn)、出勤率。學(xué)期結(jié)束時(shí)，發(fā)放調(diào)查問(wèn)卷，收集學(xué)生對(duì)評(píng)價(jià)機(jī)制的意見(jiàn)。

2014級(jí)，在中國(guó)大學(xué)MOOC網(wǎng)開(kāi)設(shè)了“大學(xué)計(jì)算機(jī)——計(jì)算思維導(dǎo)論”SPOC專(zhuān)區(qū)作為輔助教學(xué)平臺(tái)，該平臺(tái)依托哈爾濱工業(yè)大學(xué)戰(zhàn)德臣教授的MOOC教學(xué)平臺(tái)開(kāi)設(shè)，可以實(shí)現(xiàn)教師布置作業(yè)、提問(wèn)、發(fā)起討論、測(cè)試等多種教學(xué)形式，而學(xué)生憑借學(xué)號(hào)和密碼登錄“SPOC課堂”，則可實(shí)現(xiàn)諸如完成作業(yè)、回答問(wèn)題、參與討論、參與測(cè)試、發(fā)表話(huà)題等功能。這些活動(dòng)的相應(yīng)得分都被存入電子檔案，作為過(guò)程性教學(xué)的評(píng)價(jià)數(shù)據(jù)。最后，在學(xué)期結(jié)束時(shí)，參照模型中學(xué)生評(píng)價(jià)的計(jì)算方法對(duì)學(xué)生打出期末總評(píng)成績(jī)，并再次通過(guò)調(diào)查問(wèn)卷的形式收集學(xué)生對(duì)評(píng)價(jià)的意見(jiàn)。評(píng)價(jià)實(shí)施過(guò)程分為3個(gè)部分。

2.1 數(shù)據(jù)來(lái)源

（1）中國(guó)大學(xué)MOOC——大學(xué)計(jì)算機(jī)基礎(chǔ)——計(jì)算思維導(dǎo)論蘇州科技大學(xué)SPOC課程，原始數(shù)據(jù)含學(xué)生昵稱(chēng)、真實(shí)姓名、學(xué)號(hào)、學(xué)校、成績(jī)等級(jí)、測(cè)驗(yàn)分、作業(yè)分、考試分、討論分、域外成績(jī)分、成績(jī)總分、原始分、老師調(diào)整分、作業(yè)互評(píng)、發(fā)帖、討論、視頻觀看時(shí)長(zhǎng)等，提取指標(biāo)映射為本系統(tǒng)指標(biāo)，如①V14——“學(xué)生昵稱(chēng)，真實(shí)姓名，學(xué)號(hào)，學(xué)?！蹦塬@得正確結(jié)果，表明該生能正確注冊(cè)平臺(tái)，完成選課，具備一定現(xiàn)代信息技術(shù)運(yùn)用能力，可以獲得該指標(biāo)的相應(yīng)分?jǐn)?shù)；②V31——“測(cè)驗(yàn)”，考察學(xué)生專(zhuān)業(yè)知識(shí)掌握程度，直接從系統(tǒng)中獲得。

（2）課堂控制，結(jié)合蘇州科技大學(xué)上課實(shí)踐，主要包含入學(xué)考試、微信簽到、上課提問(wèn)、課堂小作業(yè)、課堂討論，映射為本系統(tǒng)指標(biāo)V11、V21、V24、V25、V32。這部分的控制比較難，因?yàn)橛?jì)算機(jī)基礎(chǔ)課都是大班，約70人左右，通過(guò)上課提問(wèn)記下每個(gè)人成績(jī)較難實(shí)現(xiàn)。所以我們選用了“問(wèn)卷星”平臺(tái)，每學(xué)期開(kāi)展5次左右的微信簽到，5次左右的課堂討論或者實(shí)時(shí)作業(yè)，通過(guò)“問(wèn)卷星”平臺(tái)發(fā)送微信鏈接，保證每個(gè)同學(xué)都能拿到10次課堂成績(jī)，該成績(jī)也計(jì)入評(píng)價(jià)體系。

2.2 數(shù)據(jù)轉(zhuǎn)換

將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)分，然后求每個(gè)指標(biāo)的加權(quán)值并累加，得到求每個(gè)同學(xué)的最終評(píng)價(jià)分?jǐn)?shù)。最后根據(jù)評(píng)價(jià)定義區(qū)間確定最終評(píng)價(jià)等級(jí)。

2.3 數(shù)據(jù)分析

關(guān)于計(jì)算思維課程的考核方式評(píng)價(jià)滿(mǎn)意度調(diào)查如圖2、圖3所示。

圖2 2013年考核方式滿(mǎn)意度評(píng)價(jià)

圖3 2014年考核方式滿(mǎn)意度評(píng)價(jià)

從學(xué)生意見(jiàn)反饋來(lái)看，使用該模型后的評(píng)價(jià)滿(mǎn)意率遠(yuǎn)超過(guò)未使用該模型的評(píng)價(jià)模式，不少學(xué)生反映說(shuō)很喜歡這種評(píng)價(jià)方式，因?yàn)橐郧暗脑u(píng)價(jià)就是由期末考試分?jǐn)?shù)決定，一旦失誤就要重修，一學(xué)期的辛苦學(xué)習(xí)就被一筆抹殺，有了這種方式，學(xué)習(xí)中的點(diǎn)點(diǎn)滴滴都能體現(xiàn)出來(lái)，應(yīng)該說(shuō)這是一種科學(xué)的評(píng)價(jià)方式。

從上述研究的結(jié)果來(lái)看，應(yīng)用該模型得到的評(píng)價(jià)指數(shù)較好地反映了蘇州科技大學(xué)高等教育教學(xué)中的實(shí)際情況，達(dá)到了預(yù)期的效果，表明該模型在教學(xué)評(píng)價(jià)中起到了積極的作用。

3 結(jié) 語(yǔ)

筆者所在課題組在2013年就開(kāi)始了以“計(jì)算思維”為導(dǎo)向的大學(xué)計(jì)算機(jī)課程改革嘗試，并于同年加入了哈爾濱工業(yè)大學(xué)戰(zhàn)德臣教授的“基于MOOC+SPOC的教學(xué)改革”團(tuán)隊(duì)，在“中國(guó)大學(xué)MOOC”平臺(tái)上，開(kāi)設(shè)了2年的計(jì)算思維MOOC+SPOC同步課程。從理論研究、問(wèn)題分析到教學(xué)實(shí)施方案的研制、試用、修訂和完善，整個(gè)過(guò)程歷時(shí)3年。在為期3年的教學(xué)研究和改革過(guò)程中，引入了“過(guò)程性教學(xué)”作為評(píng)價(jià)的基礎(chǔ)理論，綜合考察學(xué)習(xí)者的發(fā)展指標(biāo)，設(shè)計(jì)了一套較為完整的指標(biāo)考核體系，把評(píng)價(jià)過(guò)程分為前置性評(píng)價(jià)、形成性評(píng)價(jià)、終結(jié)性評(píng)價(jià)3個(gè)階段，并應(yīng)用統(tǒng)計(jì)學(xué)原理，提出了一個(gè)合理的基于MOOC+SPOC教學(xué)評(píng)價(jià)模型。

教學(xué)實(shí)踐證明，該模型是科學(xué)、有效、可行的，希望能夠給其他課程的教學(xué)改革提供一種新的思路。然而，在課題的研究中，我們也看到了這種評(píng)價(jià)模式存在的一些問(wèn)題：①評(píng)價(jià)過(guò)程復(fù)雜，需要記錄大量成長(zhǎng)數(shù)據(jù)，這其中不可避免地需要引入大量的主觀評(píng)價(jià)因素，不利于定量分析。②需要教師掌握較多有關(guān)教學(xué)評(píng)價(jià)的專(zhuān)業(yè)知識(shí)，能夠確定測(cè)驗(yàn)、觀察和評(píng)價(jià)的重點(diǎn)，制定和掌握適當(dāng)?shù)脑u(píng)價(jià)標(biāo)準(zhǔn)；需要教師和學(xué)生的有效互動(dòng)。這意味著教師必須投入更多的精力在教學(xué)和學(xué)生身上，這對(duì)習(xí)慣了傳統(tǒng)教學(xué)模式的教師來(lái)說(shuō)是一種挑戰(zhàn)。③實(shí)施改革還需要技術(shù)層面的支持，評(píng)價(jià)模型中數(shù)據(jù)的記錄、采集、運(yùn)算、決策，都需要計(jì)算機(jī)技術(shù)的支持，而目前筆者還是先取得數(shù)據(jù)，然后依據(jù)EXCEL進(jìn)行合并、統(tǒng)計(jì)，工作量較大，所以必須利用可靠的軟件設(shè)計(jì)、先進(jìn)的編程技術(shù)開(kāi)發(fā)出功能強(qiáng)大、操作簡(jiǎn)單、界面友好和穩(wěn)定性強(qiáng)的計(jì)算機(jī)分析軟件，才能被廣泛應(yīng)用于教學(xué)實(shí)踐，這都需要進(jìn)一步研究和探索。