基于BKT模型的網絡教學跟蹤評價研究

李景奇　卞藝杰　方征

摘要：當前網絡教學中存在教學過程評價難以量化、課程教學進度安排缺少數(shù)據支持等問題。隨著大數(shù)據技術的發(fā)展，網絡學習行為分析已經取得較大進展，但學習內容的跟蹤與評價還比較缺乏。將知識跟蹤嵌入網絡課程，及時跟蹤學生知識掌握情況，將有助于教師發(fā)現(xiàn)學生學習問題，調整教學策略；同時也可引導學生將學習的關注點聚焦在知識內容的理解上，而不是分數(shù)上。貝葉斯知識跟蹤（BKT）模型是一種以知識點為核心構建學生知識模型的方法，具有簡捷、預測準確、易于解釋的特點?；贐KT公式改進的網絡教學跟蹤評價模型，可用以課時估算和學習成績預測。實證分析數(shù)據顯示，該模型的預測準確率和精確度較高。在實際應用中，BKT知識跟蹤功能可單獨開發(fā)應用，也可與教學平臺集成使用，亦可支持線下教學。

關鍵詞：網絡教學；BKT；貝葉斯知識跟蹤；模型構建；跟蹤評價

中圖分類號：G434 文獻標識碼：A 文章編號：1009-5195（2018）05-0104-09 doi10.3969/j.issn.1009-5195.2018.05.012

一、研究背景

遠程教學時空分離的特征，使得學習資料的網絡傳遞和學習過程的跟蹤評價尤為重要。目前學習資料的共享與傳遞方法已經非常多，比如課程資源庫、QQ班級群、網絡教學平臺等，但學習過程的跟蹤評價方法卻仍然較為匱乏。當前網絡教學存在的主要問題是：

（1）教學過程評價難以量化。一般而言，教學過程中教師主要通過診斷性評價和形成性評價來評估學生學習情況，經常使用的工具就是測試和作業(yè)。但測試與作業(yè)如何與學生知識的掌握程度精確對應，如何通過這種評估發(fā)現(xiàn)學生的知識狀態(tài)，需要進一步量化研究。另一方面，測試和作業(yè)的結果如何持續(xù)跟蹤利用也是值得研究的問題。

（2）課程教學進度安排缺少數(shù)據支持。目前，課程教學進度往往根據經驗，按課程知識點將課程劃分為多個單元或章節(jié)，然后按單元或章節(jié)來制定教學進度。比如一個單元需要2個學時，包括4個知識點，則每個知識點分配0.5個學時。這種簡單依靠經驗和教學內容去安排教學進度，容易導致有些知識點講解不夠，而有些知識點浪費時間太多。

針對以上問題，清華大學THEOL在線學習平臺提出了CIPP評價，從背景評估、輸入評估、過程評估和結果評估四個方面，利用網絡教學平臺所能收集到的學習成績數(shù)據和學生網絡學習行為數(shù)據進行評價（李景奇等，2009）。雖然學習過程的跟蹤與評價可以實現(xiàn)，但前提是學生經常使用網絡教學平臺。但實際教學中，學生利用網絡教學平臺主要還是查看教學資料，用于討論和互動的較少；且即使利用學習成績和網絡學習行為數(shù)據，也只能用于簡單地對學生學習行為進行評價，無法對學生掌握知識的程度進行精確預估。美國教育技術辦公室發(fā)布的《通過教育數(shù)據挖掘和學習分析促進教與學》報告認為，可以通過學生建模來解決學習過程中的問題。學生建模主要包括學習者知識建模、學習者行為建模、學習者經歷建模、學習者建檔、領域知識建模、學習組件和教學策略分析、趨勢分析、自適應學習系統(tǒng)和個性化學習等8個領域（徐鵬等，2013）。該報告歸納了目前教育數(shù)據挖掘和分析應用的現(xiàn)狀，也為教與學的數(shù)據挖掘和利用提供了指導，其中學習者知識建模無疑是最為重要的數(shù)據分析手段，但需要進一步研究學習者建模與教師教學過程之間的關系，從而為教師教學給予更多的支持。

隨著大數(shù)據技術的發(fā)展和應用，諸多學者對學習行為數(shù)據作了進一步的研究分析，如陳海建等（2017）通過對開放式教學下學習者的基本信息、在線學習行為和課堂表現(xiàn)進行分析，挖掘學習者的興趣、愛好、學習能力等特點，以標簽化的形式進行個性歸納和畫像，并基于學習者畫像，探討個性化教學。曹曉明等（2014）將傳統(tǒng)教師引導的基于分層的群組個性化學習方式和采用智能Agent伴學的個性化學習方式統(tǒng)一起來，引入學習分析技術，輔助教師量化掌控學情，動態(tài)調整教學過程。魏順平等（2017）基于國家開放大學學習網中的教與學行為日志，對在線教學過程進行評價，并將教學過程評價結果用于對在線教育機構師生在線教學過程的監(jiān)測分析，以快速了解師生的教與學現(xiàn)狀，評價師生的教與學質量，及時、有針對性地進行教學干預。以上研究通過學生學習數(shù)據分析，輔助教學過程的監(jiān)控和調節(jié)，但對學生學習的核心，即知識掌握程度的評估仍然缺乏有效的數(shù)據支持。

一些學者也從學生模型構建的角度，積極探索通過學生模型建構，促進學生學習。如郭富強（2011）設計了一個包括學生知識水平、學習偏差程度、學生認知能力、學習情緒的智能教學系統(tǒng)學生模型，并通過模型來調整教學行為。楊卉等（2005）提出了一個兩層動態(tài)學生模型，通過跟蹤和綜合評價相結合的方法獲取學習者的綜合特征，并采用廣義模糊綜合評判方法對學習者二級特征進行評價。雖然以上研究中，也注意到了學生知識水平的評估，但就具體的實現(xiàn)方式并沒有作深入研究。

總之，目前的網絡教學過程跟蹤與評價研究，在學生的網絡學習行為分析方面已經進行了較多、較為充分的研究。特別是大數(shù)據技術的發(fā)展，更進一步促進了學習網絡行為分析，產生了許多學習分析模型和研究成果。但在學習內容方面的跟蹤與評價還很少。目前遠程教學中，特別是沒有開辦網絡教育的高校，完全依靠教學平臺教學的模式還不多，更多的是一種混合式教學，即在提供遠程教學資料的同時，輔以部分線下課堂授課，同時把課程資料、作業(yè)、測試通過網絡課程來實現(xiàn)。因此，如果能通過網絡課程的設計，把知識跟蹤嵌入其中，及時跟蹤學生知識掌握情況，就能很便捷地發(fā)現(xiàn)學生學習中存在的不足，進而更有針對性地提供教學指導，節(jié)約教學時間，提高教學效率。

在網絡課程知識跟蹤評價模型中，貝葉斯知識跟蹤（Bayesian Knowledge Tracing，BKT）模型是美國智能教育系統(tǒng)中應用較早的一種方法。近年來隨著教育數(shù)據挖掘技術的發(fā)展，LFA（Learning Factors Analysis）、PFA（Performance Factors Analysis）模型也得到了較多的研究和應用。LFA模型是一種結合統(tǒng)計學、專家知識和組合搜索的方法來評價和改進認知模型的方法（Cen et al.，2006）。它主要基于三個變量：學生知識初始水平、知識點難度和知識點掌握效率，通過多元邏輯回歸算法預測知識點的掌握概率。該模型的重點是發(fā)現(xiàn)當前認知模型的不足，從而改進課程知識點的教學安排。但該模型對知識掌握程度的連續(xù)變化無法跟蹤，而且它假設每個學生的學習效率是相同且恒定不變的，因此無法應用于自適應學習分析。PFA對LFA模型進行了改進，增加了對知識點測試中正誤反應的變量，從而使得PFA能夠適應學生自適應學習跟蹤和評價（Pavlik et al.，2009）。但該模型認為學生初始水平在網絡教學中不易測量，很少使用，因此刪除了該變量。LFA和PFA模型進一步發(fā)展了網絡課程知識學習分析，但與BKT相比，它們需要更多知識點的相關變量，計算比較復雜，而且其結果不易被解釋。而BKT模型由于簡捷、預測準確、易于解釋的特點而被廣泛應用于各類商業(yè)教學軟件以及教學研究中。

二、BKT模型及其應用

1.BKT模型的概念

BKT模型是一種學生知識建模方法，最早由Corbett和Anderson提出。他們在一個智能教育項目中使用知識跟蹤的方式來預測學生的知識水平，并取得了較好效果（Corbett et al.，1994）。由于該方法采用了貝葉斯算法，因此該方法后來被稱為貝葉斯知識跟蹤模型，以區(qū)別于其他學生知識建模方法，并應用于智能教育系統(tǒng)中。智能教育系統(tǒng)中的一個重要問題是，什么時候能夠判斷某個學生掌握了某個知識點。一個比較簡單的處理方式是要求學生連續(xù)對N個同一知識點相關的題目回答正確。雖然這種方式現(xiàn)在仍然被某些系統(tǒng)利用，但BKT能夠用一種更加直觀且容易理解的方式解決這個問題（王卓等，2015）。BKT經常作為更復雜學習模型的起點（Van De Sande，2013）。

2.BKT模型的基本原理

BKT模型假設學生的知識學習有兩種狀態(tài)，每個知識點都處在“掌握狀態(tài)”與“未掌握狀態(tài)”之間。知識點的學習狀態(tài)，通過學習或測試，可由“未掌握狀態(tài)”轉移到“掌握狀態(tài)”。但這種轉移不會反向，知識點的學習狀態(tài)不會由“掌握狀態(tài)”轉移到“未掌握狀態(tài)”，即假設掌握后的知識不會遺忘。學習成績主要由知識點學習狀態(tài)決定，學習狀態(tài)用概率表示。另外知識點在掌握狀態(tài)下，學生也可能因誤答而做錯；知識點在未掌握狀態(tài)下，學生也可能會猜對。因此BKT模型對于學生知識掌握概率的計算包括了4個參數(shù)，如表1所示。表1中P（L0）和P（T）是學習參數(shù)，主要用于表示學生學習的知識狀態(tài)。P（L0）指的是學生在尚未學習某知識點時，該知識點就已經被其掌握的概率；P（T）指的是知識轉移概率，即經過了學習之后，對于該知識點從未掌握狀態(tài)到掌握狀態(tài)的轉移概率。而P（G）和P（S）作為學生的表現(xiàn)參數(shù)，P（G）是猜對的概率，即學生即使未掌握某個知識點仍然能正確回答問題的概率；P（S）是誤答的概率，即學生掌握該知識點，但是仍然不小心回答錯誤的概率。

（1）

該公式非常簡單，根據學生狀態(tài)確定初始值后，利用公式（1）對學生知識狀態(tài)進行更新。第n次學習后知識掌握概率P（Ln）是以下兩種概率之和：（1）知識掌握后依據實情判斷的知識后驗概率；（2）知識將會轉移到掌握狀態(tài)的概率。P（T）可以根據實際情況和經驗進行確定，它不依賴于學生是否能正確地運用知識回答問題。

在預測學生成績時，該模型每步驟的預測值依賴于學生達成該目標的應用知識點規(guī)則所需要的知識和該規(guī)則的成績參數(shù)，如公式（2）所示。

（2）

也就是說，P（Cis），即學生s達成目標i進行正確行為的概率是以下兩個結果之和：（1）學生s掌握應用規(guī)則r的概率乘以規(guī)則r在掌握狀態(tài)的正確回答概率（P（Sr）是誤答參數(shù)）；（2）學生s不掌握應用規(guī)則r的概率乘以規(guī)則r在未掌握狀態(tài)的猜對概率（P（Gr）是猜對參數(shù)）（王卓等，2015；Corbett et al.，1994）?？梢园l(fā)現(xiàn)，如果假設P（Sr）、P（Gr）值為0，則P（Cis）就等同于學生對該規(guī)則的掌握概率。

3.貝葉斯知識跟蹤模型的應用

最早提出BKT的是卡耐基梅隆大學教授 Corbett和Anderson，他們將該模型應用于ACT-R認知結構項目中，用于掌握學生的知識狀態(tài)和預測學生知識點學習后的成績表現(xiàn)（Corbett et al.，1994）。Pardos等（2013）將BKT應用于edX慕課平臺，并針對缺少知識點劃分、多次問題解答、測試之外的多種影響等慕課特點進行了改進。Machardy等（2015）利用BKT，開發(fā)了一個評價在線教育短視頻使用情況的框架，并探索其與測試結果之間的相關性。王卓等（2015）應用貝葉斯知識跟蹤模型評價慕課學生，通過收集慕課平臺兩門課程的學生學習數(shù)據，基于BKT模型，根據MOOC的特點，對缺少知識點的劃分、測驗多次提交，提出了改進方案，并利用EM 算法（最大期望算法）實現(xiàn)了BKT及相關變形模型的參數(shù)估計。Hawkins等（2014）推薦了一種新的實現(xiàn)BKT模型的方法，稱之為EP算法（經驗可能性算法），并比較了EM算法和EP算法，認為EP算法性能優(yōu)于EM算法。閭漢原等（2011）在BKT知識跟蹤模型基礎上，增加了一個態(tài)度節(jié)點來細化各種因素，以提高預測準確率。

因此從目前的研究來看，BKT應用主要集中于成績預測，利用學生對知識點測試題的應答數(shù)據進行分析和挖掘，然后用以預測學生在網絡課程中的成績表現(xiàn)。然而對于BKT的本質而言，預測成績是其一方面的功能，而更重要的功能是以一種簡單明了的方式表示學生的知識狀態(tài)，為教師的教學提供精確的支持。BKT知識跟蹤模型的應用改變了以考試為中心的教學模式，在學習過程中確定了學生對知識的掌握程度。

三、BKT網絡教學跟蹤評價設計

1.BKT公式改進

BKT應用的關鍵是4個參數(shù)值的確定。最初提出BKT模型的Corbett，對于參數(shù)的設定也只建議根據經驗來設定，而沒有給出比較具體的設定方法。因此，需要對BKT模型的4個參數(shù)進一步研究，以方便在實際中應用。

對于初始掌握狀態(tài)P（L0）一般可以從兩個方面來獲得。一是往年經驗和歷史成績，根據往年學生學習該課程時，對知識點的掌握程度，教師可以對其賦予初始值，這個初始值也可以在后續(xù)測試中修正。二是可以進行診斷性測試，讓學生在網上進行答題，收集答題情況，計算學生知識點的初始掌握概率。而利用診斷性測試計算P（L0）還需要進一步改進。在實際教學中，試題類型一般分為選擇題、判斷題、填空題、簡答題、設計題等。對于公式（1）中的四個參數(shù)，可以這樣設置：對于選擇題，因為每題有ABCD 4個選項，因此猜對概率P（G）為0.25；判斷題只有兩種選擇，因此P（G）為0.5；填空題、簡答題、設計題沒法猜測，因此P（G）為0。如果計算機自動判斷，題目主要是選擇題、判斷題和填空題；人工判斷會更精確，可以使用更多的簡答題、設計題。每個知識點可以設計若干試題進行測試，來判定學生知識掌握狀態(tài)。但在網絡課程中，對于教師教學而言，主要依據整體知識掌握狀態(tài)來進行課程講授，因此對學生知識狀態(tài)的了解需要從整體上把握。整體上看，初始知識掌握狀態(tài)P（L0）可以在知識點沒有講解之前，進行針對性測試，根據答題正確率，確定P（L0），具體如公式（3）所示：

（3）

公式（3）中i為該知識點相關試題的題型類別，即選擇題、判斷題、填空題等，Ri （C）為該題型的正確率，Pi （G）為猜對概率，Ri （Q）為該題型占總體問題的占比，Wi為該題型的權重，即分值。這樣可以在知識點講授之前，確定P（L0）。然后假定學習完成后，知識點掌握程度應該為1。根據前述公式（1），設P（Ln）=1，求解P（T），求出知識轉移概率。然后根據知識轉移概率來判斷知識點的難易程度。當P（T）越大，說明知識點越容易，學生越容易掌握，學習效果越好；當P（T）越小，說明知識點越難，學生越不容易掌握，學習效果越差。然后再根據 P（T）和課程重點來設計課程安排：對于既是難點又是重點的課程知識，要多花時間；對于是難點但非重點的，要少花時間；非難點又是重點的，適當花點時間；非難點又非重點的，則可安排自學。

在知識點講授后，再進行一次測試，重新測量學生知識狀態(tài)。如果學習后的學生掌握概率達不到0.95（知識掌握狀態(tài)下的常用概率），則說明學生還沒完全掌握。然后再求解P（T），根據P（T）和目前知識點掌握情況，做兩方面的工作：（1）掌握知識概率大于0.6，轉移概率也大于0.6，說明學生掌握情況及格，只是講授時間不足，需增加講授時間；（2）掌握知識概率小于0.6，轉移概率也小于0.6，說明學生掌握情況不及格，知識點過難，內容較多，不符合教育學中的小步教學規(guī)則，可適當把知識點進一步細分。當然這個概率是根據目前教學中常以60分為及格線來定的概率標準，實際教學中可以根據情況進行設定。對于教學時間，BKT模型并沒有提及，這與其僅關注智能教學系統(tǒng)中的學生學習狀況有關。而在當前網絡教學中，僅僅依靠學生自主學習不能保證良好的教學效果，因此一般遠程教學中都有一定的教師課下輔導教學安排；而在其他混合式教學模式中，教學時間也是必須的。因此需要把教學時間作為變量加入到BKT模型中，具體如公式（4）。

（4）

公式（4）中，P（Ln）是指學生在知識點學習后達到的知識掌握狀態(tài)，P（L0）是在學習之前的知識掌握狀態(tài)，P（T）為知識轉移概率，t為學時變量。在首次應用BKT時，在知識點學習前后分別進行一次測試，確定P（L0）和P（Ln），然后根據學時變量（學時變量為學時數(shù)/總學時數(shù)），確定P（T）的值。該知識點P（T）值確定以后，在以后的教學中，只需要在學習前進行一次診斷性測試，確定P（L0）值，再確定P（Ln）標準（例如0.6），進而計算學時變量，就可以根據學時變量確定學時數(shù)。

2.BKT網絡教學跟蹤評價模型

根據BKT改進公式，可以把整個課程所有知識點看作學生的總體知識模型，從而簡化對每個知識點的分析。對于整體教學內容，可以把學生未學之前的知識狀態(tài)設置為P（L0），通過診斷性測驗，然后根據公式（3），獲得初始概率。每次課程學習后的結果定為P（Ln），根據經驗設定各項參數(shù)，預估學生的知識掌握狀態(tài)。學習過程中隨機進行測試，以調整參數(shù)值；還可以根據計算結果調整教學進度。把每次測試都看作是學生知識掌握程度的反饋，而不是作為評價學生學習的手段，能更為精確地掌握學生學習的狀態(tài)。

因此，基于BKT的網絡教學跟蹤評價可以理解為以下步驟形式：首先確定測試知識點，設置前置測試題，獲取初始知識狀態(tài)。然后采集歷史數(shù)據進行參數(shù)估計，并運用BKT改進公式進行運算，根據預測結果進行分析，確定教學時間。最后進行教學，完成知識點教學后再安排一次測驗，調節(jié)BKT參數(shù)值。如此反復，直至課程結束。如圖1所示。

BKT網絡教學跟蹤評價在獲取初始知識狀態(tài)時需要注意，在進行前置測試時，必須能夠讓每位學生都參與，并且每題無論對錯都要做答，才能保證P（L0）相對準確。另外在實際教學中，教師可以根據實際情況，盡可能多地設置測試，以便采集更多的學生知識學習數(shù)據。有了數(shù)據，才好進行BKT分析。知識點是跟蹤評價的核心，因此對知識點的教學設計和題目設計，是BKT模型成功的重要保障。教師可以聯(lián)合課程專家，合理設置知識點，建設課程題庫，為網絡教學跟蹤提供信息化基礎條件。同時利用BKT網絡教學跟蹤，積極進行網絡課程設計，將學生的學習過程信息化、可追溯化。

BKT網絡教學跟蹤評價將知識狀態(tài)作為調節(jié)變量引入網絡教學過程中，為教師調整教學時間和教學內容提供決策依據。在實際應用中，該模型既可在線上實現(xiàn)，也可以在線下操作，從而方便教師的使用。在線上，該模型可以結合網絡教學平臺，通過集成或開發(fā)新功能的方式應用于網絡教學跟蹤評價。在線下，教師可以借助該模型，定期收集測試信息，代入模型，即可獲得跟蹤評價結果，從而實現(xiàn)無論線上線下，都能跟蹤學生知識掌握狀態(tài)，了解學生學習狀況。

四、實證分析

1.課時估算

課時估算可用于在教學之前對知識點的用時進行分析，確定在每個知識點的教學時間。本文以ACCESS數(shù)據庫課程為例，來探究BKT網絡教學跟蹤評價模型的應用效果。參加該課程學習的學生中，2012級人力資源班學生共30人，2012級工程管理班學生共33人。因為學生的期末成績其實是一種百分制的掌握概率，所以我們把成績轉換為概率來計算其知識掌握狀態(tài)P（L1），通過期末成績來預估學生的知識轉移概率P（T）。根據期末成績求均值，作為P（L1）的取值，則2012級人力資源班為0.73，2012級工程管理班為0.79。假設初始狀態(tài)P（L0）為0.01（一般不要把其設置為0，以便于計算），代入公式（1）計算P（T），則學生的轉移概率，分別為0.8和0.86，具體如表2所示。

2.學習成績預測

學生成績預測可以幫助教師在課程未結束前，及時掌握學生知識學習情況。本案例假設學生在整個學習過程中知識轉換概率是恒定不變的，利用公式（4）預估學生知識點學習后的學習狀態(tài)。本次實驗統(tǒng)計了ACCESS數(shù)據庫課程專升本2017級學生的前置測試。統(tǒng)計方法是在課程開始之前，提供10項選擇題和5項填空題，讓學生自主作答，并要求每題不管對錯，都要寫出答案。最后回收有效成績26份，通過公式（3）計算得出選擇題正確率是0.46，填空題是0.2，然后計算出P（L0）為0.15。再根據轉移概率0.8通過公式（4），計算出本課程后的知識掌握概率為0.83，即平均成績?yōu)?3分（假設P（S）、P（G）值為0）。最終期末考試后，實際平均成績?yōu)?0分，預測值與實際值差7分。具體如表4所示。