基于SPOC 的混合式學(xué)習(xí)評價(jià)指標(biāo)體系的構(gòu)建

胡慶春，蔡建華

（1.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237；2.華東師范大學(xué) 數(shù)據(jù)科學(xué)與工程學(xué)院，上海 200062）

0 引言

自2012 年以來，基于網(wǎng)絡(luò)學(xué)習(xí)環(huán)境的MOOC（massive open online courses）受到大量研究的關(guān)注[1-2]。作為一種新的教與學(xué)模式，從對MOOC 的狂熱追捧到理性的反思過程中，MOOC逐漸被修正并調(diào)整。有學(xué)者提出了SPOC（small private online course，小規(guī)模限制性在線課程）[3]，并把SPOC 和課堂教學(xué)融合形成一種新的混合式學(xué)習(xí)環(huán)境[4-5]。

基于SPOC 的混合式學(xué)習(xí)環(huán)境與傳統(tǒng)課堂以及在此之前的在線教育有本質(zhì)區(qū)別，傳統(tǒng)的結(jié)果性學(xué)習(xí)評價(jià)缺乏面向過程的學(xué)習(xí)行為和學(xué)習(xí)效果的分析，并沒有在學(xué)習(xí)者的在線學(xué)習(xí)行為與學(xué)習(xí)效果間建立緊密聯(lián)系。SPOC 學(xué)習(xí)環(huán)境可以全面記錄用戶在學(xué)習(xí)過程中產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)，記錄學(xué)習(xí)者的學(xué)習(xí)和交流過程，形成學(xué)習(xí)的大數(shù)據(jù)，為利用數(shù)據(jù)分析技術(shù)進(jìn)行學(xué)習(xí)評價(jià)，并進(jìn)一步提升教學(xué)質(zhì)量提供豐富的數(shù)據(jù)?？梢姡瑢τ赟POC 這種新型的混合式學(xué)習(xí)環(huán)境，傳統(tǒng)的課堂教學(xué)以及一般的網(wǎng)絡(luò)課程評價(jià)標(biāo)準(zhǔn)顯然已經(jīng)不適用，構(gòu)建適用于SPOC 混合式學(xué)習(xí)環(huán)境的學(xué)習(xí)評價(jià)指標(biāo)體系與評價(jià)量規(guī)勢在必行。

本研究是以程序設(shè)計(jì)課程為背景，程序設(shè)計(jì)課程是華東理工大學(xué)大部分理工科專業(yè)的一門通識必修課程，每年有2 000 多名本科生修讀程序設(shè)計(jì)課程，包括C、Java、Python 等在內(nèi)的程序設(shè)計(jì)語言。

當(dāng)前，對于程序設(shè)計(jì)課程的學(xué)習(xí)評價(jià)常用的方法是根據(jù)期末的上機(jī)考試、平時(shí)的實(shí)驗(yàn)報(bào)告、課程大作業(yè)以及課程的出勤率，由教師給出平時(shí)成績。并結(jié)合學(xué)生的期末考試成績，得到最終成績。這種方式屬于一種結(jié)果性學(xué)習(xí)評價(jià)，在傳統(tǒng)的課堂教學(xué)中起到一定的作用。

教育部新工科教育理念的提出，為深化工程教育改革提供了一個契機(jī)。2017 年2 月，教育部發(fā)布《關(guān)于開展新工科研究與實(shí)踐的通知》[6]，基于新工科視角的工程教育引起關(guān)注。新工科倡議是我國工程教育對“互聯(lián)網(wǎng)+”等國家重大戰(zhàn)略的積極響應(yīng)。以新技術(shù)、新模式、新產(chǎn)業(yè)為代表的新經(jīng)濟(jì)蓬勃發(fā)展，對工程科技人才提出了更高要求。在高校的課程設(shè)置中，需要融合專業(yè)應(yīng)用，形成新的人才培養(yǎng)方式，更新教與學(xué)的內(nèi)容，并且隨著網(wǎng)絡(luò)教學(xué)平臺的廣泛使用，學(xué)生的網(wǎng)絡(luò)學(xué)習(xí)行為應(yīng)該作為一種學(xué)習(xí)評價(jià)要素納入學(xué)習(xí)評價(jià)中，為此，學(xué)習(xí)評價(jià)的方法也需要進(jìn)一步完善。

1 國內(nèi)外研究現(xiàn)狀

1.1 程序設(shè)計(jì)課程教學(xué)

在過去20 年，程序設(shè)計(jì)課程主要有3 種教學(xué)模式。

第1 種模式是傳統(tǒng)的課堂教學(xué)，關(guān)注工具運(yùn)用，強(qiáng)調(diào)編程能力的培養(yǎng)。教與學(xué)圍繞著學(xué)會編程，專注于課程知識點(diǎn)的學(xué)習(xí)；并且鮮少采用網(wǎng)絡(luò)教學(xué)平臺，通常是傳統(tǒng)的面對面課堂教學(xué)和答疑。學(xué)習(xí)評價(jià)主要以考試的分?jǐn)?shù)衡量學(xué)生對于課程的掌握情況。

第2 種模式是以傳統(tǒng)的課堂教學(xué)為主，輔以課程網(wǎng)站的支持，不僅強(qiáng)調(diào)編程能力的培養(yǎng)，還關(guān)注計(jì)算思維能力的培養(yǎng)。自2010 年以來，圍繞計(jì)算思維理念，全國多個高校對于程序設(shè)計(jì)課程進(jìn)行了一系列教學(xué)內(nèi)容的改革，但是，對于學(xué)習(xí)的評價(jià)鮮有具體的相關(guān)案例。計(jì)算思維能力的培養(yǎng)涉及多方面，如何在SPOC 環(huán)境中評價(jià)學(xué)生是否具有一定的計(jì)算思維能力，需要面向?qū)I(yè)的融合，在具體的案例環(huán)境中才可以恰當(dāng)?shù)卦u價(jià)。

第3 種模式是網(wǎng)絡(luò)在線學(xué)習(xí)和課堂教學(xué)的混合式學(xué)習(xí)。這種模式主要是從2012 年開始，2012年被不少學(xué)者認(rèn)為是中國的MOOC 元年[8]。發(fā)展到2018 年，中國高校的在線課程出現(xiàn)一個大幅度的提升。在2018 年12 月，教育部發(fā)文認(rèn)定801 門課程為2018 年國家精品在線開放課程[9]，越來越多的高校把網(wǎng)絡(luò)環(huán)境整合到課堂教學(xué)中。

可見，程序設(shè)計(jì)課程的教學(xué)在過去的20 年中已經(jīng)從傳統(tǒng)的師生面對面的課堂教學(xué)轉(zhuǎn)變?yōu)榛旌鲜降慕虒W(xué)。在混合式的學(xué)習(xí)環(huán)境中，基于SPOC的混合式學(xué)習(xí)環(huán)境日漸受到研究的關(guān)注[10-11]。

1.2 基于SPOC 的混合式學(xué)習(xí)環(huán)境

加州大學(xué)伯克利分校的阿德·福克斯教授提出SPOC 是MOOC 和傳統(tǒng)課堂的融合[3]，并在軟件工程這門課中進(jìn)行了實(shí)踐。目前，SPOC 在教學(xué)中的實(shí)現(xiàn)方式比較靈活，既可以采用傳統(tǒng)教學(xué)模式，與傳統(tǒng)的課堂教學(xué)相輔相成，又可以采用翻轉(zhuǎn)教學(xué)模式。當(dāng)前對于SPOC 的研究熱點(diǎn)主要集中在教學(xué)模式、教學(xué)設(shè)計(jì)、SPOC 的在線學(xué)習(xí)等方面[12-14]，鮮有實(shí)踐案例探討SPOC 環(huán)境下學(xué)習(xí)評價(jià)指標(biāo)體系的構(gòu)建。

在SPOC 學(xué)習(xí)環(huán)境中，學(xué)生的學(xué)習(xí)行為形成海量的數(shù)據(jù)，這些行為數(shù)據(jù)的分類獲取以及在此基礎(chǔ)上對學(xué)習(xí)的評價(jià)，主要依托教育大數(shù)據(jù)和學(xué)習(xí)分析技術(shù)。

1.3 學(xué)習(xí)行為大數(shù)據(jù)

當(dāng)前已經(jīng)有研究從各個角度關(guān)注教育大數(shù)據(jù)。在國外，美國曾在2012 年發(fā)布了《通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進(jìn)教與學(xué)》（Enhancing Teaching and Learning through Educational Data Mining and Learning Analytics）[15]報(bào)告，并啟動了“Big Data Research and Development Initiative”[16]計(jì)劃，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，轉(zhuǎn)變教育和學(xué)習(xí)模式”。

大數(shù)據(jù)在教育領(lǐng)域較為典型的應(yīng)用技術(shù)是學(xué)習(xí)分析（learning analytics）技術(shù)。學(xué)習(xí)分析被定義為“測量、收集、分析和報(bào)告有關(guān)學(xué)習(xí)者及其學(xué)習(xí)情景的數(shù)據(jù)集，以理解和優(yōu)化學(xué)習(xí)及其發(fā)生情景”[17]。學(xué)習(xí)分析需要對學(xué)生學(xué)習(xí)過程中形成的海量數(shù)據(jù)進(jìn)行解釋和分析，以評估學(xué)生的學(xué)業(yè)進(jìn)展，預(yù)測其未來表現(xiàn)并發(fā)現(xiàn)影響學(xué)生學(xué)習(xí)的因素，其目的是評估學(xué)生，發(fā)現(xiàn)潛在問題并最終優(yōu)化學(xué)習(xí)。在SPOC 學(xué)習(xí)環(huán)境中可以記錄并積累大量系統(tǒng)化、結(jié)構(gòu)化的數(shù)據(jù)，這為科學(xué)的學(xué)習(xí)評價(jià)奠定了不可或缺的數(shù)據(jù)基礎(chǔ)。

當(dāng)前的SPOC 學(xué)習(xí)環(huán)境中，課程網(wǎng)站或者學(xué)習(xí)平臺對學(xué)習(xí)的評價(jià)大多數(shù)還是基于傳統(tǒng)的學(xué)習(xí)評價(jià)方法[18]，主要是采用考試成績、課程的點(diǎn)擊瀏覽量等的統(tǒng)計(jì)信息以線性方式評價(jià)學(xué)生，在一定程度上反映了學(xué)生對知識的掌握程度；也采用日志文件分析、網(wǎng)絡(luò)內(nèi)容分析等方法[19-20]，識別出有困難的學(xué)習(xí)者，對其進(jìn)行一定的干預(yù)[21]。這些研究均很好地關(guān)注了學(xué)習(xí)評價(jià)中的單個因素，但數(shù)據(jù)來源單一，鮮有研究整合考慮多個因素。

學(xué)習(xí)行為大數(shù)據(jù)來源于多種類型的學(xué)習(xí)活動，數(shù)據(jù)之間缺乏互操作性，即各種類型的數(shù)據(jù)難以整合、共享。本研究對學(xué)習(xí)活動數(shù)據(jù)流進(jìn)行分類，分類的基本出發(fā)點(diǎn)是以學(xué)生為中心，即以學(xué)生為數(shù)據(jù)流的發(fā)出主體，進(jìn)行有針對性的數(shù)據(jù)分類提取，將所提取的數(shù)據(jù)用于學(xué)習(xí)評價(jià)。

2 學(xué)習(xí)評價(jià)體系框架

本研究所分析的大數(shù)據(jù)和學(xué)生的學(xué)習(xí)狀態(tài)行為相關(guān)，學(xué)生在學(xué)習(xí)過程中的狀態(tài)可以看成一種系統(tǒng)的隱性狀態(tài)轉(zhuǎn)移和隱性狀態(tài)的表現(xiàn)概率事件。系統(tǒng)的隱性狀態(tài)指的是一些外界不便觀察，或觀察不到的狀態(tài)，如學(xué)生在當(dāng)前的狀態(tài)是登錄進(jìn)入了系統(tǒng)，但是他在系統(tǒng)訪問了哪些內(nèi)容，狀態(tài)如何轉(zhuǎn)變，針對這樣一個學(xué)習(xí)結(jié)果，分析前述的學(xué)習(xí)行為，并最大化地呈現(xiàn)其學(xué)習(xí)的軌跡。同時(shí)，教學(xué)管理者可以對于某種學(xué)習(xí)行為和某種學(xué)習(xí)結(jié)果之間的相關(guān)性進(jìn)行預(yù)測，并進(jìn)一步干預(yù)其學(xué)習(xí)的過程。

上述內(nèi)容構(gòu)成了學(xué)習(xí)評價(jià)指標(biāo)體系理論基礎(chǔ)與研究框架（如圖1 所示），從評價(jià)主體、評價(jià)內(nèi)容和評價(jià)形式闡述混合式學(xué)習(xí)環(huán)境下如何對程序設(shè)計(jì)課程進(jìn)行學(xué)習(xí)評價(jià)。

2.1 學(xué)習(xí)行為和評價(jià)量規(guī)

在SPOC 學(xué)習(xí)環(huán)境中有眾多復(fù)雜的數(shù)據(jù)流，本研究采用面向?qū)W生的教學(xué)活動數(shù)據(jù)流的分類辦法，因?yàn)閷W(xué)生的學(xué)習(xí)是教學(xué)分析的主要對象，教學(xué)管理決策的措施和標(biāo)準(zhǔn)應(yīng)以學(xué)生為中心。通過對教學(xué)活動信息流的數(shù)據(jù)分類，可以進(jìn)一步細(xì)化學(xué)習(xí)分析的各種對象，從而界定并構(gòu)建特定的分析模式。通過將教學(xué)活動數(shù)據(jù)流分類來對教和學(xué)的交互行為進(jìn)行建模，各種教學(xué)活動數(shù)據(jù)流以具有語義結(jié)構(gòu)的數(shù)據(jù)形式存在，主要包含以下元素：數(shù)據(jù)流的發(fā)出實(shí)體、動作、時(shí)間、地點(diǎn)、對象和結(jié)論。

數(shù)據(jù)流格式主要為兩種：一是結(jié)構(gòu)化數(shù)據(jù)；二是非結(jié)構(gòu)化數(shù)據(jù)，包括學(xué)習(xí)內(nèi)容、學(xué)習(xí)日志、學(xué)習(xí)路徑、學(xué)習(xí)成果數(shù)據(jù)、課程數(shù)據(jù)、學(xué)習(xí)成績數(shù)據(jù)等。學(xué)習(xí)日志除了包含系統(tǒng)實(shí)時(shí)記錄的日志文件，還包括學(xué)習(xí)論壇中的互動和交流。這些互動和交流分為事件計(jì)數(shù)、內(nèi)容發(fā)展、內(nèi)容貢獻(xiàn)、內(nèi)容閱覽、活躍用戶、熱門主題（回復(fù)）、熱門主題（點(diǎn)擊）。通過對這些數(shù)據(jù)的獲取、存儲和分析，構(gòu)建學(xué)習(xí)者學(xué)習(xí)行為相關(guān)的學(xué)生模型（如圖1 所示），分析學(xué)習(xí)者已有的學(xué)習(xí)行為，并實(shí)時(shí)反饋相關(guān)的信息給學(xué)習(xí)者和管理者。

數(shù)據(jù)流的分析過程包括數(shù)據(jù)采集、數(shù)據(jù)處理、學(xué)習(xí)分析和預(yù)測建議4 個關(guān)鍵環(huán)節(jié)，整個功能模塊框架如圖1 所示。采集模塊將教學(xué)主體在各教學(xué)環(huán)境中的活動數(shù)據(jù)聚合到一起，對異源數(shù)據(jù)進(jìn)行格式的預(yù)處理后導(dǎo)入教學(xué)活動數(shù)據(jù)流庫中，結(jié)合統(tǒng)計(jì)分析和關(guān)聯(lián)挖掘。根據(jù)分析結(jié)果洞察學(xué)生的學(xué)習(xí)行為，及時(shí)給學(xué)生可視化的反饋，一方面促進(jìn)其自身的反思，另一方面也有助于教師預(yù)測可能面臨的問題，以便在管理決策中進(jìn)行及時(shí)的干預(yù)，調(diào)整教學(xué)。

在圖1 的模型中，評價(jià)量規(guī)有兩個維度，一個維度是學(xué)習(xí)評價(jià)指標(biāo)，分為3 類：學(xué)習(xí)態(tài)度、學(xué)習(xí)成績和綜合能力。其中，學(xué)習(xí)態(tài)度包括學(xué)習(xí)參與度、學(xué)習(xí)時(shí)間分布（視頻學(xué)習(xí)時(shí)間間隔、登錄時(shí)間間隔）、課程論壇的貢獻(xiàn)度（論壇的發(fā)帖頻率和瀏覽頻率）。學(xué)習(xí)成績包括過程性行為和結(jié)果性成績。綜合能力包括課程大作業(yè)、協(xié)作能力、創(chuàng)新能力（見表1），這些主要通過參加各級競賽活動和大創(chuàng)項(xiàng)目來衡量。另一個維度是學(xué)習(xí)行為，由學(xué)習(xí)指導(dǎo)類、理解創(chuàng)新類以及交互分享類構(gòu)成。依據(jù)其與評價(jià)指標(biāo)的分類相結(jié)合，又細(xì)分為不同的子類，每一個子類作為學(xué)習(xí)評價(jià)指標(biāo)體系中的一個參數(shù)描述。

表1 學(xué)習(xí)行為和學(xué)習(xí)行為評價(jià)量規(guī)二維矩陣

通過軟件工程中的快速原型法，采用多輪迭代構(gòu)建每一個參數(shù)描述；設(shè)定每個不同類別學(xué)習(xí)行為指標(biāo)的權(quán)重，對每個學(xué)習(xí)行為指標(biāo)進(jìn)行定級，得到評價(jià)量規(guī)。對于不同的教學(xué)場景和對象，教師需要恰當(dāng)?shù)卣{(diào)整量規(guī)。

2.2 案例實(shí)踐

在實(shí)踐中，采用專業(yè)融合案例引導(dǎo)，以學(xué)科競賽和各級大創(chuàng)項(xiàng)目作為應(yīng)用驅(qū)動。以華東理工大學(xué)大面積程序設(shè)計(jì)課程SPOC 混合式學(xué)習(xí)環(huán)境中的數(shù)據(jù)作為樣本進(jìn)行分析，借助真實(shí)的一線教學(xué)數(shù)據(jù)，利用學(xué)習(xí)分析技術(shù)挖掘?qū)W生在學(xué)習(xí)過程中的實(shí)際參與表現(xiàn)和進(jìn)展情況，分析相關(guān)學(xué)習(xí)行為特征，構(gòu)建學(xué)生模型，進(jìn)行學(xué)習(xí)評價(jià)。

實(shí)踐場景為程序設(shè)計(jì)基礎(chǔ)課程，示例數(shù)據(jù)來源于課程平臺中的問題討論區(qū)，該問題討論區(qū)作為專門的網(wǎng)絡(luò)答疑平臺，學(xué)習(xí)者在其中的參與度極大地反映了其在這門課程中的學(xué)習(xí)。以該平臺中的學(xué)習(xí)者為研究分析的對象，目前該平臺上每個學(xué)期有約500 名大一的本科生在學(xué)習(xí)程序設(shè)計(jì)基礎(chǔ)，首先通過網(wǎng)絡(luò)學(xué)習(xí)平臺采集學(xué)生行為數(shù)據(jù)，找到學(xué)習(xí)效果的相關(guān)學(xué)習(xí)行為指標(biāo)特征，并在此基礎(chǔ)上實(shí)踐學(xué)習(xí)行為評價(jià)量規(guī)的制訂。

在研究中，采用了開源的可視化平臺Kibana分析網(wǎng)絡(luò)學(xué)習(xí)平臺中的行為數(shù)據(jù)，并把分析結(jié)果可視化展示給學(xué)生看，有助于學(xué)習(xí)者反思其學(xué)習(xí)。在一段時(shí)間內(nèi)對于課程平臺中所選中的區(qū)間，呈現(xiàn)了一個有規(guī)律的峰值訪問。課程平臺中對于內(nèi)容閱覽的可視化中可以看到在某一日，或者某段時(shí)間對于熱點(diǎn)內(nèi)容的閱讀達(dá)到一個峰值，而經(jīng)過仔細(xì)分析時(shí)間的規(guī)律，可以發(fā)現(xiàn)往往是臨近每周上課日的前后時(shí)間段會產(chǎn)生峰值，并且其中對難點(diǎn)問題的討論會一直持續(xù)。

3 結(jié)語

當(dāng)前信息時(shí)代，數(shù)字化教與學(xué)給整個教育帶來的影響是巨大的，通過教育數(shù)據(jù)挖掘技術(shù)，可以真正做到挖掘數(shù)據(jù)的價(jià)值，用數(shù)據(jù)支持教與學(xué)。通過深入剖析當(dāng)前信息技術(shù)環(huán)境下的混合式學(xué)習(xí)環(huán)境的特點(diǎn)，以及其中的學(xué)習(xí)行為數(shù)據(jù)，構(gòu)建了SPOC 環(huán)境下學(xué)習(xí)評價(jià)體系模型并把模型運(yùn)用在程序設(shè)計(jì)課程的實(shí)踐中，量化并追蹤學(xué)生的網(wǎng)絡(luò)學(xué)習(xí)行為，以應(yīng)用于學(xué)習(xí)評價(jià)與管理決策。由于大部分高校都有網(wǎng)絡(luò)課程平臺并開展了基于SPOC的教學(xué)，因此該研究具有廣泛的可實(shí)踐性。立足于大學(xué)教學(xué)之根本，尤其是在當(dāng)前網(wǎng)絡(luò)技術(shù)和移動技術(shù)沖擊的校園，對學(xué)生的學(xué)習(xí)評價(jià)需要改進(jìn)；并且，面對海量的學(xué)習(xí)行為數(shù)據(jù)，挖掘其背后的價(jià)值，能夠使教學(xué)的管理決策更加科學(xué)和有效。