基于模糊認(rèn)知診斷模型的慕課學(xué)習(xí)成效評(píng)估

王煉紅 帥智康 許加柱 羅志輝

(湖南大學(xué) 電氣與信息工程學(xué)院， 長(zhǎng)沙 410012)

后疫情時(shí)代下，教育信息化的進(jìn)程不斷推進(jìn)。大型開(kāi)放式網(wǎng)絡(luò)課程(MOOCs)作為承載教育信息化、智能化技術(shù)落地的載體，為學(xué)生提供了超越時(shí)間和空間限制的學(xué)習(xí)環(huán)境。慕課開(kāi)放的環(huán)境帶來(lái)了龐大的學(xué)習(xí)受眾，學(xué)習(xí)者不再局限于學(xué)校的學(xué)生，同時(shí)，在線教育系統(tǒng)中，教學(xué)者、平臺(tái)、學(xué)習(xí)者三者之間復(fù)雜交互行為產(chǎn)生了海量異構(gòu)學(xué)習(xí)行為數(shù)據(jù)，因此，教育大數(shù)據(jù)驅(qū)動(dòng)下的教學(xué)成效的評(píng)價(jià)成為近年來(lái)國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)。

然而，MOOC學(xué)習(xí)平臺(tái)的大規(guī)模普及與線上課程建設(shè)和實(shí)施也帶來(lái)了傳統(tǒng)線下教學(xué)課堂無(wú)法預(yù)見(jiàn)的問(wèn)題：比如高輟學(xué)率和低完成率、教學(xué)模式和方法單一、沒(méi)有分層的教學(xué)目標(biāo)分析、缺乏有效的課程質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)及指標(biāo)體系、學(xué)習(xí)效果與教學(xué)質(zhì)量難以保證等。如何科學(xué)、有效地評(píng)價(jià)MOOCs的教學(xué)效果，保障其教學(xué)質(zhì)量，是目前需要解決的關(guān)鍵問(wèn)題[1]。

線下課堂長(zhǎng)期以來(lái)普遍使用以終結(jié)性評(píng)價(jià)為主，形成性評(píng)價(jià)為輔的教學(xué)成效評(píng)價(jià)方式。在線下課堂，教師與學(xué)生面對(duì)面授課，能快速獲取課堂互動(dòng)信息、反饋信息，教師對(duì)于學(xué)生的學(xué)習(xí)狀態(tài)和課堂參與程度也能夠做到即時(shí)干預(yù)。不可否認(rèn)，一定的形成性評(píng)價(jià)和終結(jié)性評(píng)價(jià)相結(jié)合，能有效評(píng)估線下課堂的教學(xué)成效。通過(guò)教師的即時(shí)干預(yù)和教學(xué)策略調(diào)整，能夠提升學(xué)生的學(xué)習(xí)效率。然而，面授教學(xué)模式由于受到課堂紀(jì)律和教學(xué)管理的束縛，學(xué)習(xí)的自主學(xué)習(xí)被教師“一刀切式”的干預(yù)措施所打斷，教師在維持課堂紀(jì)律的情況下，難以空出多余的精力放在以學(xué)生為中心的個(gè)性化學(xué)習(xí)上，教學(xué)成效缺乏精細(xì)化的評(píng)價(jià)標(biāo)準(zhǔn)，難以有效把握每位學(xué)生的知識(shí)點(diǎn)弱項(xiàng)。

認(rèn)知診斷模型則為診斷學(xué)習(xí)者的知識(shí)掌握水平提供了有效的解決方案。該模型將學(xué)習(xí)者的習(xí)題作答記錄和試題-知識(shí)點(diǎn)關(guān)聯(lián)矩陣作為輸入，輸出得到各個(gè)學(xué)習(xí)者在每個(gè)知識(shí)點(diǎn)上的掌握水平，針對(duì)知識(shí)點(diǎn)的評(píng)估建模過(guò)程中只需要細(xì)化知識(shí)點(diǎn)劃分就可評(píng)估每位學(xué)生對(duì)該知識(shí)點(diǎn)在群體上的掌握水平層級(jí)，具有很好的可理解性。模糊認(rèn)知診斷模型(Fuzzy-CDF)將學(xué)生對(duì)試題、知識(shí)點(diǎn)的掌握水平量化成連續(xù)數(shù)值，層級(jí)等級(jí)更細(xì)?；⒕哂锌刹僮餍?。因此，選擇將模糊認(rèn)知診斷模型融入到慕課教育評(píng)價(jià)體系中，改進(jìn)傳統(tǒng)的終結(jié)性評(píng)價(jià)方式，融通教學(xué)過(guò)程性評(píng)價(jià)因素，從心理測(cè)量角度來(lái)評(píng)估學(xué)生學(xué)習(xí)成效，以促進(jìn)學(xué)生個(gè)性化學(xué)習(xí)，教師的精準(zhǔn)化教學(xué)。

引言部分介紹了相關(guān)背景以及研究的意義與合理性：第一節(jié)介紹了模糊認(rèn)知診斷模型的架構(gòu)和建模過(guò)程，為下一步學(xué)習(xí)成效評(píng)估做理論準(zhǔn)備；第二節(jié)詳細(xì)闡述了如何采用模糊認(rèn)知診斷模型中的知識(shí)水平參數(shù)來(lái)評(píng)估學(xué)生學(xué)習(xí)成效以及方法；第三節(jié)通過(guò)自建的基于中國(guó)大學(xué)MOOC“信號(hào)與系統(tǒng)”課程數(shù)據(jù)，采用所提方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并與常用方法進(jìn)行了對(duì)比分析，論證了該方法的有效性與可行性；第四節(jié)為總結(jié)，并對(duì)未來(lái)研究方向做出展望。

1 模糊認(rèn)知診斷模型

認(rèn)知診斷模型使用數(shù)學(xué)模型描述學(xué)習(xí)者知識(shí)水平、試題特性與學(xué)習(xí)者的試題作答結(jié)果之間的潛在作用結(jié)構(gòu)?，F(xiàn)實(shí)應(yīng)用中，根據(jù)相應(yīng)的模型求解算法，可以在學(xué)習(xí)者的試題作答結(jié)果以及試題的部分特性已知的條件下，評(píng)估學(xué)習(xí)者的知識(shí)水平。再根據(jù)評(píng)估結(jié)果可以對(duì)學(xué)習(xí)者展開(kāi)個(gè)性化教育資源推薦，節(jié)約學(xué)習(xí)者的時(shí)間成本。基礎(chǔ)的認(rèn)知診斷模型主要有項(xiàng)目反應(yīng)理論(Item Response Theory, IRT)[2]、確定性輸入噪聲與門模型(Deterministic inputs, noisy and gate model, DINA)[3]、融合模型(Fusion model)[4]、屬性層級(jí)模型(Attribute hierarchy model, AHM)[5]等。De la Torre[6]向DINA模型中引入“能力”這一高階特征,認(rèn)為學(xué)習(xí)者的知識(shí)水平取決于學(xué)習(xí)者本身的能力，從而構(gòu)建了能力決定知識(shí)水平，知識(shí)水平?jīng)Q定試題作答結(jié)果的高階DINA模型(Higher-order DINA model，HO-DINA)。涂東波等[7]對(duì)DINA模型進(jìn)行擴(kuò)展，開(kāi)發(fā)了適用于多級(jí)評(píng)分場(chǎng)景的認(rèn)知診斷模型。這些模型對(duì)學(xué)習(xí)者知識(shí)水平的評(píng)估結(jié)果比較粗糙，都是二元類型(僅掌握和未掌握兩種狀態(tài))。針對(duì)該問(wèn)題，Qi liu[8]基于模糊集合理論，對(duì)學(xué)習(xí)者知識(shí)水平進(jìn)行模糊化，提出了Fuzzy-CDF模型。Fuzzy-CDF模型對(duì)知識(shí)水平的評(píng)估結(jié)果是介于0～1之間的連續(xù)值，更加細(xì)粒度地呈現(xiàn)了評(píng)估結(jié)果。

Fuzzy-CDF模型的四層結(jié)構(gòu)從上到下為：學(xué)生潛在知識(shí)能力水平θ影響學(xué)生對(duì)試題所考核知識(shí)點(diǎn)的知識(shí)水平α；學(xué)生在知識(shí)點(diǎn)上的知識(shí)水平α決定學(xué)生對(duì)試題的知識(shí)掌握程度η；同時(shí)考慮粗心和猜測(cè)在學(xué)生答題過(guò)程中主要表現(xiàn)的兩種情況，建模得到學(xué)生的作答結(jié)果，進(jìn)而預(yù)測(cè)學(xué)生在試題上的作答得分R。其模型結(jié)構(gòu)如下圖1所示。

圖1 Fuzzy-CDF模型結(jié)構(gòu)

學(xué)生的知識(shí)水平α等價(jià)于在相對(duì)應(yīng)模糊集中的隸屬度μ。測(cè)驗(yàn)題中的每一個(gè)知識(shí)點(diǎn)k都有一個(gè)與之唯一對(duì)應(yīng)的模糊集(J，μk)。其中J為表示學(xué)生的集合，μk是學(xué)生集J在對(duì)應(yīng)知識(shí)能力水平模糊集上的隸屬度函數(shù)，計(jì)算學(xué)生知識(shí)點(diǎn)水平α的公式借鑒了項(xiàng)目反應(yīng)理論中使用的邏輯斯蒂模型，見(jiàn)式(1)。

(1)

θi表示學(xué)習(xí)者i的高階能力特征，λ1k表示知識(shí)點(diǎn)k的區(qū)分度，λok表示知識(shí)點(diǎn)k的難度。對(duì)學(xué)生的試題掌握程度ηji定義見(jiàn)式(2)。

ηji=min(μk1(j),μk2(j),…,μkN(j))

(2)

其中μk1(j)和μk2(j)分別為學(xué)生j在試題i所考察的知識(shí)點(diǎn)1和知識(shí)點(diǎn)2上的模糊集隸屬度，題目i共考察了N個(gè)知識(shí)點(diǎn)。

采用概率與統(tǒng)計(jì)中的伯努利分布來(lái)建模學(xué)生在試題上的作答得分，根據(jù)公式(2)并考慮學(xué)生在作答時(shí)存在的粗心和猜測(cè)兩種情況，學(xué)生得分預(yù)測(cè)公式見(jiàn)式(3)。

P(Rji=1|ηji,si,gi)=(1-si)ηji+gi(1-ηji)

(3)

其中，Rji為學(xué)生j在題目i的得分結(jié)果，ηji為學(xué)生j對(duì)試題i的掌握程度，Si為作答試題i的粗心因子，gi為作答試題i的猜測(cè)因子。

Fuzzy-CDF模型通過(guò)所采集的實(shí)際測(cè)試結(jié)果數(shù)據(jù)，采用蒙特卡洛馬爾科夫鏈算法估計(jì)四層結(jié)構(gòu)中的未知參數(shù)。其中，學(xué)生的知識(shí)水平α是通過(guò)學(xué)生潛在的知識(shí)能力水平、測(cè)試結(jié)果綜合評(píng)估得出，是后續(xù)學(xué)習(xí)成效評(píng)價(jià)所關(guān)注的關(guān)鍵參數(shù)。所有教學(xué)評(píng)價(jià)的手段，其目的均為評(píng)估學(xué)生潛在的知識(shí)能力水平，而引入的模糊認(rèn)知診斷模型是針對(duì)學(xué)生對(duì)課程知識(shí)點(diǎn)掌握水平來(lái)評(píng)估，能夠從每個(gè)知識(shí)點(diǎn)角度來(lái)解釋學(xué)生學(xué)習(xí)成效，好理解且擴(kuò)展性高。

2 學(xué)習(xí)成效評(píng)估方法

學(xué)習(xí)成效評(píng)價(jià)是以學(xué)習(xí)目標(biāo)為導(dǎo)向，充分運(yùn)用反思、調(diào)查、測(cè)驗(yàn)、觀察等手段，分別收集教師和學(xué)生在教學(xué)、學(xué)習(xí)過(guò)程及結(jié)果的教育數(shù)據(jù)，基于數(shù)據(jù)驅(qū)動(dòng)，形成對(duì)學(xué)習(xí)效果的鑒定和價(jià)值判斷，從而引導(dǎo)調(diào)整學(xué)習(xí)目標(biāo)、改進(jìn)教學(xué)策略，修訂學(xué)習(xí)路線和方法[9-11]。

目前的教學(xué)評(píng)價(jià)手段主要有診斷性評(píng)價(jià)、形成性評(píng)價(jià)、終結(jié)性評(píng)價(jià)。診斷性評(píng)價(jià)是為了解學(xué)生學(xué)習(xí)準(zhǔn)備情況而進(jìn)行的評(píng)價(jià)；形成性評(píng)價(jià)又稱過(guò)程性評(píng)價(jià)，目的是收集教學(xué)活動(dòng)過(guò)程中學(xué)生的學(xué)習(xí)反饋；終結(jié)性評(píng)價(jià)是指在一個(gè)大的學(xué)習(xí)階段中，采用編制測(cè)驗(yàn)的方式，評(píng)定學(xué)生掌握知識(shí)、技能的程度和能力水平。

新一輪課程改革中，聚焦于形成性評(píng)價(jià)的發(fā)展，重點(diǎn)變革終結(jié)性評(píng)價(jià)。形成性評(píng)價(jià)關(guān)注過(guò)程，過(guò)程上的改進(jìn)可以促進(jìn)結(jié)果的達(dá)成。因此，形成性評(píng)價(jià)是改善學(xué)生學(xué)習(xí)、促進(jìn)學(xué)生發(fā)展的重要手段。學(xué)生在在線平臺(tái)學(xué)習(xí)過(guò)程中，產(chǎn)生了大量的學(xué)習(xí)行為數(shù)據(jù)，若將學(xué)習(xí)過(guò)程中新興、多維的評(píng)價(jià)方式引入形成性評(píng)價(jià)，嵌入高維的基于教育大數(shù)據(jù)挖掘技術(shù)的學(xué)習(xí)成效評(píng)估方法，勢(shì)必對(duì)學(xué)生的學(xué)習(xí)狀態(tài)有更為精準(zhǔn)的把控，進(jìn)而推薦試題、課件等資源，有利于實(shí)現(xiàn)個(gè)性化的精準(zhǔn)教學(xué)。

擬采用FuzzyCDF認(rèn)知診斷模型的結(jié)果，分章對(duì)學(xué)生的學(xué)習(xí)成效做出合理評(píng)估，指導(dǎo)學(xué)生各章的學(xué)習(xí)；也可采集整學(xué)期數(shù)據(jù)進(jìn)行評(píng)估來(lái)完成形成性評(píng)價(jià)。同時(shí)對(duì)比基于認(rèn)知診斷模型的學(xué)習(xí)成效評(píng)估方法和傳統(tǒng)的期末測(cè)試終結(jié)性評(píng)價(jià)方法?；谡J(rèn)知診斷模型的學(xué)習(xí)成效評(píng)估擬提出新的評(píng)價(jià)標(biāo)準(zhǔn)——知識(shí)水平，在更具細(xì)粒度的知識(shí)點(diǎn)水平上給予學(xué)習(xí)成效的評(píng)估，具體做法是以學(xué)生對(duì)各知識(shí)點(diǎn)掌握情況的均值作為學(xué)生的終結(jié)性評(píng)價(jià)指標(biāo)。見(jiàn)公式(4)

(4)

式(4)中K為知識(shí)點(diǎn)總數(shù)。由公式(4)可以看出，模糊認(rèn)知診斷模型可得到學(xué)生的各項(xiàng)知識(shí)水平，知識(shí)水平αjk為0～1之間的量化值。該評(píng)估方式的靈活性在于，只需細(xì)化知識(shí)點(diǎn)的數(shù)量，就可以得到學(xué)生在細(xì)節(jié)知識(shí)點(diǎn)的掌握情況。實(shí)驗(yàn)部分以課程章節(jié)劃分為六大知識(shí)點(diǎn)。若需要評(píng)估學(xué)生每章細(xì)分知識(shí)點(diǎn)的掌握情況，則可以章節(jié)為單位，對(duì)章節(jié)下的知識(shí)做進(jìn)一步的劃分，可得到細(xì)粒度更高的章節(jié)小知識(shí)點(diǎn)的評(píng)估結(jié)果。知識(shí)點(diǎn)水平較低，說(shuō)明學(xué)生對(duì)該知識(shí)點(diǎn)或章節(jié)掌握程度較差，對(duì)考核此部分知識(shí)點(diǎn)的習(xí)題應(yīng)該多加練習(xí)，做到個(gè)性化學(xué)習(xí)并查漏補(bǔ)缺；知識(shí)點(diǎn)水平較高，說(shuō)明學(xué)生對(duì)該知識(shí)點(diǎn)掌握情況滿足學(xué)習(xí)要求，因此要加大習(xí)題訓(xùn)練難度。

以中國(guó)大學(xué)慕課平臺(tái)上湖南大學(xué)“信號(hào)與系統(tǒng)”課程為例來(lái)闡述提出的學(xué)習(xí)成效評(píng)估方法的可靠性和可擴(kuò)展性?！靶盘?hào)與系統(tǒng)”共有6章，計(jì)劃學(xué)時(shí)為32。從形成性評(píng)價(jià)的角度上看，慕課平臺(tái)集中有兩次測(cè)驗(yàn)：分別是期中和期末兩階段。知識(shí)點(diǎn)劃分按章標(biāo)注，認(rèn)知診斷模型基于兩次測(cè)驗(yàn)的結(jié)果對(duì)學(xué)生的能力水平做出總體評(píng)估，可繪制學(xué)生對(duì)各章知識(shí)的群體畫(huà)像，從而找出學(xué)生掌握薄弱的章節(jié)。從診斷性評(píng)價(jià)的角度上來(lái)看，模型以章為單位，知識(shí)點(diǎn)根據(jù)各章內(nèi)容進(jìn)行細(xì)分，MOOC平臺(tái)記錄了學(xué)生在每一個(gè)章節(jié)的作業(yè)、課后習(xí)題的數(shù)據(jù)。認(rèn)知診斷模型可以根據(jù)細(xì)化的知識(shí)點(diǎn)及試題作答結(jié)果得到學(xué)生在細(xì)化知識(shí)點(diǎn)上的掌握水平。根據(jù)診斷結(jié)果，評(píng)估系統(tǒng)可以給學(xué)生推薦相應(yīng)的試題資源和學(xué)習(xí)資源，并將學(xué)生的知識(shí)薄弱項(xiàng)及時(shí)反饋給教師，實(shí)現(xiàn)個(gè)性化的精準(zhǔn)教學(xué)。

提出的學(xué)習(xí)成效評(píng)價(jià)示意圖見(jiàn)圖2。從圖2可以看出，若以章為單位細(xì)化知識(shí)點(diǎn)進(jìn)行評(píng)估，則可以章為單位評(píng)估學(xué)生各知識(shí)點(diǎn)的掌握情況，可及時(shí)提醒學(xué)生應(yīng)加強(qiáng)章節(jié)中那些掌握弱的知識(shí)點(diǎn)內(nèi)容學(xué)習(xí)。因此，基于知識(shí)點(diǎn)水平層級(jí)的評(píng)價(jià)模型具有更好的可理解性。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)數(shù)據(jù)集來(lái)源為中國(guó)大學(xué)MOOC“信號(hào)與系統(tǒng)”課程的學(xué)習(xí)數(shù)據(jù)，通過(guò)爬蟲(chóng)技術(shù)構(gòu)建HNU_SAS數(shù)據(jù)集。HNU_SAS數(shù)據(jù)集包含了466名學(xué)生在90道習(xí)題上的作答結(jié)果、專家標(biāo)注的90道習(xí)題與6個(gè)知識(shí)點(diǎn)的關(guān)聯(lián)矩陣。課程內(nèi)容按章劃分為六大知識(shí)點(diǎn)來(lái)完成期末形成性評(píng)價(jià)。知識(shí)點(diǎn)分別為信號(hào)與系統(tǒng)基本概念、系統(tǒng)的時(shí)域分析、信號(hào)的拉普拉斯變換與Z變換、系統(tǒng)的變換域分析、信號(hào)的頻域分析、系統(tǒng)的頻域分析。HNU_SAS數(shù)據(jù)集內(nèi)容見(jiàn)表1。

圖2 基于認(rèn)知診斷模型的學(xué)習(xí)成效評(píng)估方法示意圖

所有實(shí)驗(yàn)均在同一平臺(tái)上進(jìn)行，實(shí)驗(yàn)平臺(tái)配置為NVIDIARTX2080Ti ,11Gb(顯卡)，英特爾Core i9-9900k @ 3.6Ghz 八核(處理器)，64Gb DDR4 2666Mhz(內(nèi)存)；運(yùn)行軟件版本為Matlab2016a。

表1 HNU_SAS數(shù)據(jù)集構(gòu)成

3.2 基于知識(shí)點(diǎn)的學(xué)生畫(huà)像實(shí)驗(yàn)

為了方便從整體上把握教學(xué)成效，首先針對(duì)課程章節(jié)劃分的6個(gè)知識(shí)點(diǎn)來(lái)概要分析學(xué)生知識(shí)點(diǎn)掌握程度，以便對(duì)“信號(hào)與系統(tǒng)”慕課數(shù)據(jù)集中466個(gè)學(xué)生的總體知識(shí)水平進(jìn)行評(píng)價(jià)。由于學(xué)生的知識(shí)能力水平服從正態(tài)分布，結(jié)合認(rèn)知心理學(xué)領(lǐng)域的知識(shí)掌握水平劃分標(biāo)準(zhǔn)，根據(jù)知識(shí)水平α值，知識(shí)點(diǎn)掌握等級(jí)評(píng)價(jià)劃分如表2所示：

表2 知識(shí)點(diǎn)掌握程度評(píng)價(jià)區(qū)間劃分

學(xué)生的各知識(shí)點(diǎn)掌握水平在表2知識(shí)點(diǎn)掌握評(píng)價(jià)區(qū)間的標(biāo)準(zhǔn)下，被劃分為相應(yīng)的等級(jí)，通過(guò)可視化呈現(xiàn)可以得到學(xué)生的整體知識(shí)點(diǎn)掌握群體畫(huà)像。知識(shí)點(diǎn)1～6對(duì)應(yīng)“信號(hào)與系統(tǒng)”慕課課程第一章到第六章的課程內(nèi)容，知識(shí)點(diǎn)掌握程度評(píng)價(jià)反饋結(jié)果見(jiàn)表3。

表3 知識(shí)點(diǎn)掌握程度評(píng)價(jià)統(tǒng)計(jì)

以知識(shí)點(diǎn)1的總體分析為例，掌握程度在0.6及以上的學(xué)生共296人，占總?cè)藬?shù)466人的63.5%。知識(shí)點(diǎn)1為課程的第一章，介紹了關(guān)于信號(hào)和系統(tǒng)的基本定義及分類方法，特別要注意沖激和階躍信號(hào)這種典型信號(hào)的定義、性質(zhì)及運(yùn)算，還有系統(tǒng)的分類和描述方法；由以上分析可知，根據(jù)模型評(píng)估出的學(xué)生的知識(shí)點(diǎn)掌握程度，可以對(duì)相關(guān)數(shù)據(jù)進(jìn)行分析，得到學(xué)生在各章節(jié)學(xué)習(xí)中的總體知識(shí)掌握情況，進(jìn)而能了解教師在講授課程各章節(jié)知識(shí)的教學(xué)成效，知道學(xué)生在具體章節(jié)的學(xué)習(xí)效果、學(xué)生在哪些章節(jié)學(xué)習(xí)中出現(xiàn)較大問(wèn)題，可以輔助教師優(yōu)化教學(xué)方案，進(jìn)而提升學(xué)生的學(xué)習(xí)效果。

3.3 學(xué)生學(xué)習(xí)成效評(píng)估實(shí)驗(yàn)

在認(rèn)知診斷模型評(píng)估出的學(xué)生的知識(shí)點(diǎn)掌握情況基礎(chǔ)上，可提出一種新的學(xué)生課程學(xué)習(xí)成效評(píng)價(jià)方式，即以學(xué)生的知識(shí)點(diǎn)掌握水平均值作為學(xué)生成績(jī)?cè)u(píng)價(jià)的依據(jù)，將學(xué)生的知識(shí)點(diǎn)掌握程度均值換算成百分制來(lái)完成對(duì)學(xué)生的成績(jī)?cè)u(píng)價(jià)。

基于知識(shí)水平的學(xué)習(xí)成效評(píng)估方法將與期末成績(jī)百分制評(píng)估方法和慕課系統(tǒng)總成績(jī)?cè)u(píng)估方法進(jìn)行對(duì)比。其中，期末成績(jī)百分制評(píng)估以學(xué)生的期終考試成績(jī)?yōu)槲ㄒ辉u(píng)價(jià)標(biāo)準(zhǔn)；慕課系統(tǒng)總成績(jī)?cè)u(píng)估方法將學(xué)生在慕課系統(tǒng)上的作業(yè)、測(cè)驗(yàn)、討論和考試得分按規(guī)定比例加權(quán)平均，得到學(xué)生課程學(xué)習(xí)的最終得分。章節(jié)小測(cè)驗(yàn)和作業(yè)成績(jī)占比均為15%，考試占比60%，討論占比10%。

圖3 三種學(xué)習(xí)成效評(píng)估方法對(duì)比

分別在慕課總成績(jī)?cè)?～39分?jǐn)?shù)段、40～59分?jǐn)?shù)段、60～79分?jǐn)?shù)段、80～100分?jǐn)?shù)段隨機(jī)抽取20位學(xué)生，共計(jì)100位學(xué)生，分別繪制三種學(xué)生學(xué)習(xí)成效評(píng)估方式的成績(jī)曲線圖，結(jié)果見(jiàn)圖2。其中，第一種學(xué)生成績(jī)?cè)u(píng)價(jià)方式為百分制的學(xué)生知識(shí)掌握程度均值，第二種學(xué)生成績(jī)?cè)u(píng)價(jià)方式為百分制的學(xué)生慕課期末測(cè)驗(yàn)總分，第三種學(xué)生成績(jī)?cè)u(píng)價(jià)方式為百分制的學(xué)生慕課加權(quán)平均分。

由圖3折線的走向趨勢(shì)可以看出，基于學(xué)生知識(shí)點(diǎn)掌握程度得到的最終成績(jī)與學(xué)生的期末測(cè)驗(yàn)得分有相似的波動(dòng)趨勢(shì)，圖中兩曲線的相關(guān)系數(shù)為0.78，說(shuō)明使用慕課數(shù)據(jù)進(jìn)行參數(shù)訓(xùn)練后對(duì)學(xué)生真實(shí)作答得分的擬合度高，能反映學(xué)生真實(shí)的知識(shí)狀態(tài)。此外，慕課總分評(píng)價(jià)分?jǐn)?shù)作為基準(zhǔn)，基于模糊認(rèn)知診斷模型的評(píng)估方法與慕課總分的相關(guān)系數(shù)為0.84，基于期末終結(jié)性考試的評(píng)估方法與慕課總分的相關(guān)系數(shù)為0.72。表4給出了三種學(xué)習(xí)成效評(píng)估方式的相關(guān)系數(shù)?？煽闯鋈呦嚓P(guān)性較高，基于模糊認(rèn)知診斷模型的學(xué)習(xí)者學(xué)習(xí)成效評(píng)估方法可作為學(xué)生成績(jī)形成性評(píng)價(jià)依據(jù)。

表4 三種評(píng)估結(jié)果相關(guān)系數(shù)表

圖3也不難看出：基于學(xué)生知識(shí)水平評(píng)估的學(xué)生最終成績(jī)?cè)诒葘W(xué)生慕課期末測(cè)驗(yàn)總分更接近于基于加權(quán)方式的慕課形成性評(píng)價(jià)成績(jī)。特別值得注意的是慕課總成績(jī)?cè)?0分以上的學(xué)生，知識(shí)點(diǎn)評(píng)估成績(jī)與慕課總成績(jī)重合度高，慕課成績(jī)處于60分以下的學(xué)生知識(shí)點(diǎn)評(píng)估成績(jī)與慕課總成績(jī)重合程度較低，知識(shí)點(diǎn)評(píng)估成績(jī)總體低于慕課總成績(jī)。分析其原因在于：慕課成績(jī)有40%的比例來(lái)源于開(kāi)放式的無(wú)過(guò)多約束的作業(yè)、討論，由于這些數(shù)據(jù)無(wú)法保證能夠真實(shí)反映學(xué)生的水平，這部分成績(jī)帶有一定的欺騙性。由此也可看出：基于知識(shí)水平的學(xué)習(xí)成效評(píng)估結(jié)果將更具可靠性和說(shuō)服力。此外，在圖3中還可看出：編號(hào)為66、69的學(xué)生根據(jù)知識(shí)點(diǎn)掌握程度得到最終得分與慕課總分差值過(guò)大，他們的期末測(cè)驗(yàn)得分更接近于慕課總分。產(chǎn)生這種情況的原因可能是對(duì)期末作答數(shù)據(jù)少的學(xué)生，模型在進(jìn)行參數(shù)訓(xùn)練時(shí)難以擬合，最終得到的模型參數(shù)值與真實(shí)情況存在偏差。因此，對(duì)期末作答數(shù)據(jù)多的學(xué)生，模型在進(jìn)行參數(shù)訓(xùn)練時(shí)擬合效果更好。

在下一步研究中可嘗試對(duì)模型的參數(shù)估計(jì)算法進(jìn)行優(yōu)化。此外，課程知識(shí)關(guān)聯(lián)關(guān)系對(duì)于學(xué)習(xí)者知識(shí)掌握水平的診斷具有重要作用，開(kāi)發(fā)將知識(shí)關(guān)聯(lián)關(guān)系融入到認(rèn)知診斷模型的方法，并進(jìn)一步運(yùn)用到學(xué)生學(xué)習(xí)成效評(píng)估環(huán)節(jié)中，是今后研究工作的重點(diǎn)。學(xué)生在3種成績(jī)?cè)u(píng)定方式下具有相似的成績(jī)波動(dòng)趨勢(shì)，說(shuō)明模型通過(guò)評(píng)估學(xué)生知識(shí)掌握程度，能反映學(xué)生真實(shí)的知識(shí)水平，進(jìn)而給出學(xué)生的最終成績(jī)?cè)u(píng)價(jià)，具有實(shí)際應(yīng)用參考價(jià)值。

4 結(jié)語(yǔ)

在線教學(xué)的學(xué)習(xí)成效評(píng)價(jià)問(wèn)題一直是教學(xué)活動(dòng)中的重中之重。線下面授模式的形成性評(píng)價(jià)難以滿足更細(xì)粒度的評(píng)價(jià)需求。因此，從引入過(guò)程性評(píng)價(jià)因素的角度，應(yīng)用認(rèn)知診斷模型的知識(shí)水平診斷技術(shù)，得到學(xué)生在各知識(shí)點(diǎn)上的掌握水平，給出了在知識(shí)水平層面的學(xué)習(xí)評(píng)價(jià)方式，由于嵌入了學(xué)生與習(xí)題交互過(guò)程中產(chǎn)生的特征向量-知識(shí)水平向量，基于模糊認(rèn)知診斷模型的學(xué)生學(xué)習(xí)成效評(píng)估具有靈活性和更好的可理解性，能夠反映學(xué)生的真實(shí)水平，提高學(xué)習(xí)的有效性。