基于SPOC 的混合式學習評價指標體系的構(gòu)建

胡慶春，蔡建華

（1.華東理工大學 信息科學與工程學院，上海 200237；2.華東師范大學 數(shù)據(jù)科學與工程學院，上海 200062）

0 引言

自2012 年以來，基于網(wǎng)絡(luò)學習環(huán)境的MOOC（massive open online courses）受到大量研究的關(guān)注[1-2]。作為一種新的教與學模式，從對MOOC 的狂熱追捧到理性的反思過程中，MOOC逐漸被修正并調(diào)整。有學者提出了SPOC（small private online course，小規(guī)模限制性在線課程）[3]，并把SPOC 和課堂教學融合形成一種新的混合式學習環(huán)境[4-5]。

基于SPOC 的混合式學習環(huán)境與傳統(tǒng)課堂以及在此之前的在線教育有本質(zhì)區(qū)別，傳統(tǒng)的結(jié)果性學習評價缺乏面向過程的學習行為和學習效果的分析，并沒有在學習者的在線學習行為與學習效果間建立緊密聯(lián)系。SPOC 學習環(huán)境可以全面記錄用戶在學習過程中產(chǎn)生的學習行為數(shù)據(jù)，記錄學習者的學習和交流過程，形成學習的大數(shù)據(jù)，為利用數(shù)據(jù)分析技術(shù)進行學習評價，并進一步提升教學質(zhì)量提供豐富的數(shù)據(jù)?？梢?，對于SPOC 這種新型的混合式學習環(huán)境，傳統(tǒng)的課堂教學以及一般的網(wǎng)絡(luò)課程評價標準顯然已經(jīng)不適用，構(gòu)建適用于SPOC 混合式學習環(huán)境的學習評價指標體系與評價量規(guī)勢在必行。

本研究是以程序設(shè)計課程為背景，程序設(shè)計課程是華東理工大學大部分理工科專業(yè)的一門通識必修課程，每年有2 000 多名本科生修讀程序設(shè)計課程，包括C、Java、Python 等在內(nèi)的程序設(shè)計語言。

當前，對于程序設(shè)計課程的學習評價常用的方法是根據(jù)期末的上機考試、平時的實驗報告、課程大作業(yè)以及課程的出勤率，由教師給出平時成績。并結(jié)合學生的期末考試成績，得到最終成績。這種方式屬于一種結(jié)果性學習評價，在傳統(tǒng)的課堂教學中起到一定的作用。

教育部新工科教育理念的提出，為深化工程教育改革提供了一個契機。2017 年2 月，教育部發(fā)布《關(guān)于開展新工科研究與實踐的通知》[6]，基于新工科視角的工程教育引起關(guān)注。新工科倡議是我國工程教育對“互聯(lián)網(wǎng)+”等國家重大戰(zhàn)略的積極響應(yīng)。以新技術(shù)、新模式、新產(chǎn)業(yè)為代表的新經(jīng)濟蓬勃發(fā)展，對工程科技人才提出了更高要求。在高校的課程設(shè)置中，需要融合專業(yè)應(yīng)用，形成新的人才培養(yǎng)方式，更新教與學的內(nèi)容，并且隨著網(wǎng)絡(luò)教學平臺的廣泛使用，學生的網(wǎng)絡(luò)學習行為應(yīng)該作為一種學習評價要素納入學習評價中，為此，學習評價的方法也需要進一步完善。

1 國內(nèi)外研究現(xiàn)狀

1.1 程序設(shè)計課程教學

在過去20 年，程序設(shè)計課程主要有3 種教學模式。

第1 種模式是傳統(tǒng)的課堂教學，關(guān)注工具運用，強調(diào)編程能力的培養(yǎng)。教與學圍繞著學會編程，專注于課程知識點的學習；并且鮮少采用網(wǎng)絡(luò)教學平臺，通常是傳統(tǒng)的面對面課堂教學和答疑。學習評價主要以考試的分數(shù)衡量學生對于課程的掌握情況。

第2 種模式是以傳統(tǒng)的課堂教學為主，輔以課程網(wǎng)站的支持，不僅強調(diào)編程能力的培養(yǎng)，還關(guān)注計算思維能力的培養(yǎng)。自2010 年以來，圍繞計算思維理念，全國多個高校對于程序設(shè)計課程進行了一系列教學內(nèi)容的改革，但是，對于學習的評價鮮有具體的相關(guān)案例。計算思維能力的培養(yǎng)涉及多方面，如何在SPOC 環(huán)境中評價學生是否具有一定的計算思維能力，需要面向?qū)I(yè)的融合，在具體的案例環(huán)境中才可以恰當?shù)卦u價。

第3 種模式是網(wǎng)絡(luò)在線學習和課堂教學的混合式學習。這種模式主要是從2012 年開始，2012年被不少學者認為是中國的MOOC 元年[8]。發(fā)展到2018 年，中國高校的在線課程出現(xiàn)一個大幅度的提升。在2018 年12 月，教育部發(fā)文認定801 門課程為2018 年國家精品在線開放課程[9]，越來越多的高校把網(wǎng)絡(luò)環(huán)境整合到課堂教學中。

可見，程序設(shè)計課程的教學在過去的20 年中已經(jīng)從傳統(tǒng)的師生面對面的課堂教學轉(zhuǎn)變?yōu)榛旌鲜降慕虒W。在混合式的學習環(huán)境中，基于SPOC的混合式學習環(huán)境日漸受到研究的關(guān)注[10-11]。

1.2 基于SPOC 的混合式學習環(huán)境

加州大學伯克利分校的阿德·福克斯教授提出SPOC 是MOOC 和傳統(tǒng)課堂的融合[3]，并在軟件工程這門課中進行了實踐。目前，SPOC 在教學中的實現(xiàn)方式比較靈活，既可以采用傳統(tǒng)教學模式，與傳統(tǒng)的課堂教學相輔相成，又可以采用翻轉(zhuǎn)教學模式。當前對于SPOC 的研究熱點主要集中在教學模式、教學設(shè)計、SPOC 的在線學習等方面[12-14]，鮮有實踐案例探討SPOC 環(huán)境下學習評價指標體系的構(gòu)建。

在SPOC 學習環(huán)境中，學生的學習行為形成海量的數(shù)據(jù)，這些行為數(shù)據(jù)的分類獲取以及在此基礎(chǔ)上對學習的評價，主要依托教育大數(shù)據(jù)和學習分析技術(shù)。

1.3 學習行為大數(shù)據(jù)

當前已經(jīng)有研究從各個角度關(guān)注教育大數(shù)據(jù)。在國外，美國曾在2012 年發(fā)布了《通過教育數(shù)據(jù)挖掘和學習分析促進教與學》（Enhancing Teaching and Learning through Educational Data Mining and Learning Analytics）[15]報告，并啟動了“Big Data Research and Development Initiative”[16]計劃，提出“通過收集、處理龐大而復雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學、工程領(lǐng)域的創(chuàng)新步伐，轉(zhuǎn)變教育和學習模式”。

大數(shù)據(jù)在教育領(lǐng)域較為典型的應(yīng)用技術(shù)是學習分析（learning analytics）技術(shù)。學習分析被定義為“測量、收集、分析和報告有關(guān)學習者及其學習情景的數(shù)據(jù)集，以理解和優(yōu)化學習及其發(fā)生情景”[17]。學習分析需要對學生學習過程中形成的海量數(shù)據(jù)進行解釋和分析，以評估學生的學業(yè)進展，預測其未來表現(xiàn)并發(fā)現(xiàn)影響學生學習的因素，其目的是評估學生，發(fā)現(xiàn)潛在問題并最終優(yōu)化學習。在SPOC 學習環(huán)境中可以記錄并積累大量系統(tǒng)化、結(jié)構(gòu)化的數(shù)據(jù)，這為科學的學習評價奠定了不可或缺的數(shù)據(jù)基礎(chǔ)。

當前的SPOC 學習環(huán)境中，課程網(wǎng)站或者學習平臺對學習的評價大多數(shù)還是基于傳統(tǒng)的學習評價方法[18]，主要是采用考試成績、課程的點擊瀏覽量等的統(tǒng)計信息以線性方式評價學生，在一定程度上反映了學生對知識的掌握程度；也采用日志文件分析、網(wǎng)絡(luò)內(nèi)容分析等方法[19-20]，識別出有困難的學習者，對其進行一定的干預[21]。這些研究均很好地關(guān)注了學習評價中的單個因素，但數(shù)據(jù)來源單一，鮮有研究整合考慮多個因素。

學習行為大數(shù)據(jù)來源于多種類型的學習活動，數(shù)據(jù)之間缺乏互操作性，即各種類型的數(shù)據(jù)難以整合、共享。本研究對學習活動數(shù)據(jù)流進行分類，分類的基本出發(fā)點是以學生為中心，即以學生為數(shù)據(jù)流的發(fā)出主體，進行有針對性的數(shù)據(jù)分類提取，將所提取的數(shù)據(jù)用于學習評價。

2 學習評價體系框架

本研究所分析的大數(shù)據(jù)和學生的學習狀態(tài)行為相關(guān)，學生在學習過程中的狀態(tài)可以看成一種系統(tǒng)的隱性狀態(tài)轉(zhuǎn)移和隱性狀態(tài)的表現(xiàn)概率事件。系統(tǒng)的隱性狀態(tài)指的是一些外界不便觀察，或觀察不到的狀態(tài)，如學生在當前的狀態(tài)是登錄進入了系統(tǒng)，但是他在系統(tǒng)訪問了哪些內(nèi)容，狀態(tài)如何轉(zhuǎn)變，針對這樣一個學習結(jié)果，分析前述的學習行為，并最大化地呈現(xiàn)其學習的軌跡。同時，教學管理者可以對于某種學習行為和某種學習結(jié)果之間的相關(guān)性進行預測，并進一步干預其學習的過程。

上述內(nèi)容構(gòu)成了學習評價指標體系理論基礎(chǔ)與研究框架（如圖1 所示），從評價主體、評價內(nèi)容和評價形式闡述混合式學習環(huán)境下如何對程序設(shè)計課程進行學習評價。

2.1 學習行為和評價量規(guī)

在SPOC 學習環(huán)境中有眾多復雜的數(shù)據(jù)流，本研究采用面向?qū)W生的教學活動數(shù)據(jù)流的分類辦法，因為學生的學習是教學分析的主要對象，教學管理決策的措施和標準應(yīng)以學生為中心。通過對教學活動信息流的數(shù)據(jù)分類，可以進一步細化學習分析的各種對象，從而界定并構(gòu)建特定的分析模式。通過將教學活動數(shù)據(jù)流分類來對教和學的交互行為進行建模，各種教學活動數(shù)據(jù)流以具有語義結(jié)構(gòu)的數(shù)據(jù)形式存在，主要包含以下元素：數(shù)據(jù)流的發(fā)出實體、動作、時間、地點、對象和結(jié)論。

數(shù)據(jù)流格式主要為兩種：一是結(jié)構(gòu)化數(shù)據(jù)；二是非結(jié)構(gòu)化數(shù)據(jù)，包括學習內(nèi)容、學習日志、學習路徑、學習成果數(shù)據(jù)、課程數(shù)據(jù)、學習成績數(shù)據(jù)等。學習日志除了包含系統(tǒng)實時記錄的日志文件，還包括學習論壇中的互動和交流。這些互動和交流分為事件計數(shù)、內(nèi)容發(fā)展、內(nèi)容貢獻、內(nèi)容閱覽、活躍用戶、熱門主題（回復）、熱門主題（點擊）。通過對這些數(shù)據(jù)的獲取、存儲和分析，構(gòu)建學習者學習行為相關(guān)的學生模型（如圖1 所示），分析學習者已有的學習行為，并實時反饋相關(guān)的信息給學習者和管理者。

數(shù)據(jù)流的分析過程包括數(shù)據(jù)采集、數(shù)據(jù)處理、學習分析和預測建議4 個關(guān)鍵環(huán)節(jié)，整個功能模塊框架如圖1 所示。采集模塊將教學主體在各教學環(huán)境中的活動數(shù)據(jù)聚合到一起，對異源數(shù)據(jù)進行格式的預處理后導入教學活動數(shù)據(jù)流庫中，結(jié)合統(tǒng)計分析和關(guān)聯(lián)挖掘。根據(jù)分析結(jié)果洞察學生的學習行為，及時給學生可視化的反饋，一方面促進其自身的反思，另一方面也有助于教師預測可能面臨的問題，以便在管理決策中進行及時的干預，調(diào)整教學。

在圖1 的模型中，評價量規(guī)有兩個維度，一個維度是學習評價指標，分為3 類：學習態(tài)度、學習成績和綜合能力。其中，學習態(tài)度包括學習參與度、學習時間分布（視頻學習時間間隔、登錄時間間隔）、課程論壇的貢獻度（論壇的發(fā)帖頻率和瀏覽頻率）。學習成績包括過程性行為和結(jié)果性成績。綜合能力包括課程大作業(yè)、協(xié)作能力、創(chuàng)新能力（見表1），這些主要通過參加各級競賽活動和大創(chuàng)項目來衡量。另一個維度是學習行為，由學習指導類、理解創(chuàng)新類以及交互分享類構(gòu)成。依據(jù)其與評價指標的分類相結(jié)合，又細分為不同的子類，每一個子類作為學習評價指標體系中的一個參數(shù)描述。

表1 學習行為和學習行為評價量規(guī)二維矩陣

通過軟件工程中的快速原型法，采用多輪迭代構(gòu)建每一個參數(shù)描述；設(shè)定每個不同類別學習行為指標的權(quán)重，對每個學習行為指標進行定級，得到評價量規(guī)。對于不同的教學場景和對象，教師需要恰當?shù)卣{(diào)整量規(guī)。

2.2 案例實踐

在實踐中，采用專業(yè)融合案例引導，以學科競賽和各級大創(chuàng)項目作為應(yīng)用驅(qū)動。以華東理工大學大面積程序設(shè)計課程SPOC 混合式學習環(huán)境中的數(shù)據(jù)作為樣本進行分析，借助真實的一線教學數(shù)據(jù)，利用學習分析技術(shù)挖掘?qū)W生在學習過程中的實際參與表現(xiàn)和進展情況，分析相關(guān)學習行為特征，構(gòu)建學生模型，進行學習評價。

實踐場景為程序設(shè)計基礎(chǔ)課程，示例數(shù)據(jù)來源于課程平臺中的問題討論區(qū)，該問題討論區(qū)作為專門的網(wǎng)絡(luò)答疑平臺，學習者在其中的參與度極大地反映了其在這門課程中的學習。以該平臺中的學習者為研究分析的對象，目前該平臺上每個學期有約500 名大一的本科生在學習程序設(shè)計基礎(chǔ)，首先通過網(wǎng)絡(luò)學習平臺采集學生行為數(shù)據(jù)，找到學習效果的相關(guān)學習行為指標特征，并在此基礎(chǔ)上實踐學習行為評價量規(guī)的制訂。

在研究中，采用了開源的可視化平臺Kibana分析網(wǎng)絡(luò)學習平臺中的行為數(shù)據(jù)，并把分析結(jié)果可視化展示給學生看，有助于學習者反思其學習。在一段時間內(nèi)對于課程平臺中所選中的區(qū)間，呈現(xiàn)了一個有規(guī)律的峰值訪問。課程平臺中對于內(nèi)容閱覽的可視化中可以看到在某一日，或者某段時間對于熱點內(nèi)容的閱讀達到一個峰值，而經(jīng)過仔細分析時間的規(guī)律，可以發(fā)現(xiàn)往往是臨近每周上課日的前后時間段會產(chǎn)生峰值，并且其中對難點問題的討論會一直持續(xù)。

3 結(jié)語

當前信息時代，數(shù)字化教與學給整個教育帶來的影響是巨大的，通過教育數(shù)據(jù)挖掘技術(shù)，可以真正做到挖掘數(shù)據(jù)的價值，用數(shù)據(jù)支持教與學。通過深入剖析當前信息技術(shù)環(huán)境下的混合式學習環(huán)境的特點，以及其中的學習行為數(shù)據(jù)，構(gòu)建了SPOC 環(huán)境下學習評價體系模型并把模型運用在程序設(shè)計課程的實踐中，量化并追蹤學生的網(wǎng)絡(luò)學習行為，以應(yīng)用于學習評價與管理決策。由于大部分高校都有網(wǎng)絡(luò)課程平臺并開展了基于SPOC的教學，因此該研究具有廣泛的可實踐性。立足于大學教學之根本，尤其是在當前網(wǎng)絡(luò)技術(shù)和移動技術(shù)沖擊的校園，對學生的學習評價需要改進；并且，面對海量的學習行為數(shù)據(jù)，挖掘其背后的價值，能夠使教學的管理決策更加科學和有效。