知識追蹤模型融入遺忘和數(shù)據(jù)量因素對預測精度的影響

葉艷偉 李菲茗 劉倩倩 林麗娟

【摘要】 近年來，在線學習的人越來越多，在在線教學過程中教育者需要同時面對更多學習者，不可能了解每一個學習者的知識弱點與問題領域，并據(jù)此為學習者提供個性化的學習指導。本研究的目的是及時、準確推斷學習者的問題領域，讓學習者清楚自身的知識弱點，讓教育者更加了解每一個學習者的知識水平，讓在線學習系統(tǒng)自動向?qū)W習者推薦高效的學習路徑和恰當?shù)膶W習資源。在實驗中，分析對比了知識追蹤模型及其擴展模型的預測精度，分析了擴展模型使用學習者的所有數(shù)據(jù)與每個學習者的部分數(shù)據(jù)的預測準確性差異。結果顯示：知識追蹤模型可以較好估計學習者知識掌握情況;知識追蹤擴展模型的預測精度更好;模型使用學習者部分數(shù)據(jù)可以獲得比使用全部數(shù)據(jù)更好的預測精度;在學習者學習過程中遺忘時時存在，擴展模型使用部分數(shù)據(jù)在加快運行進度的同時更有利于精確估計學習者知識水平進而推薦更有效的個性化學習資源與學習路徑。

【關鍵詞】? 在線學習;知識弱點;問題領域;學習路徑;學習資源;知識追蹤及其擴展模型;預測精度;預測準確性差異

【中圖分類號】? G40-057? ? ? ?【文獻標識碼】? A? ? ? ?【文章編號】? 1009-458x（2019）8-0020-07

一、研究背景

自20世紀60年代初以來，計算機系統(tǒng)一直被用于教育目的。近年來，隨著Web計算技術的快速發(fā)展在線學習系統(tǒng)在教育中越來越普及，吸引了數(shù)百萬學習者注冊學習多元化的在線課程（Esichaikul， et al. 2011）。從教育研究的角度來看，在線學習系統(tǒng)有幾個重要的優(yōu)勢，最顯著的是記錄學習者詳細的學習軌跡，提供了分析不同軌跡下學習者行為效果的條件。然而，與面對面課程相比，傳統(tǒng)的在線學習系統(tǒng)中知識是通過各種冗余信息自我尋求，且每個學習者的學習類型不同、具有不同的學習需求，因此在線學習系統(tǒng)對于學習者選擇什么樣的學習資源和學習路徑缺乏個性化的教學指導（Chrysafiadi & Virvou， 2013）。

正因為如此，當前需要研究智能輔導系統(tǒng)。智能輔導系統(tǒng)是一種特殊類型的在線學習系統(tǒng)，其主要目的是在與學習者的交互中模仿人類教師行為來更好地了解學習者，以便自動確定在每種情況下教什么和如何教（Ha， et al. 2018）。目前主要通過學習者建模來實現(xiàn)這一目的。學習者建模是智能輔導系統(tǒng)的主要任務之一（Sison & Shimura， 1998）。知識追蹤模型是一種用于建模學習者知識掌握情況的主流方法，旨在通過觀察學習者的表現(xiàn)（如學習者在練習中回答問題的正確性）或?qū)W習者的行為（如學習者回答每個問題的時間）來估計學習者的潛在隱藏屬性（如知識、目標、偏好和激勵狀態(tài)等無法直接確定的屬性），并推斷每個學習者知道什么，不知道什么（閭漢原， 等， 2011）。本研究的目的是采用知識追蹤及其擴展模型更好地預測學習者的知識掌握水平、決定智能輔導系統(tǒng)這位“智能教師”需要為每個學習者提供的個性化學習資源和個性化學習路徑，為未來高效地采用知識追蹤模型進行研究提供一定的借鑒和參考。

本文介紹了知識追蹤及其擴展模型，作為一個案例探究，評估了知識追蹤及其擴展模型預測學習者未來表現(xiàn)的正確率，并將模型使用所有學習者的數(shù)據(jù)與每個學習者的部分數(shù)據(jù)的預測準確性進行了比較。

二、知識追蹤模型

知識追蹤模型由阿特金森（Atkinson）于1972年首次提出（Pardos & Heffernan， 2010），是模擬學習者知識掌握情況的一個很典型的模型，由Corbett和Anderson（1994）引入智能教育領域，目前已經(jīng)發(fā)展成為智能輔導系統(tǒng)中對學習者知識掌握情況建模的主流方法，它使用動態(tài)貝葉斯網(wǎng)絡利用學習者對給定知識問題的正確和不正確回答序列來推斷學習者知識掌握情況，重新計算學習者對給定知識的掌握水平。知識追蹤模型的目標是根據(jù)觀察到的學習者在給定知識上的問題表現(xiàn)（t-1）推斷學習者在問題t對于特定知識的掌握概率。學習者對知識作答的表現(xiàn)是二元的：要么正確，要么錯誤。科貝特（Corbett）和安德森（Anderson）提出的知識追蹤模型假設遺忘概率[P（F）]為0，也就是說，學習者在知識學習的過程中不存在遺忘現(xiàn)象，因此知識追蹤模型賦予每個知識點四個參數(shù)來表示每個學習者的知識水平（Hawkins， et al. 2014），分別為兩個學習參數(shù)、兩個表現(xiàn)參數(shù)：[P（L0）]和[P（T）]是學習參數(shù)，[P（L0）]指的是學習者尚未開始學習時知道特定知識的初始概率;[P（T）]指的是學習效率，即經(jīng)過一段時間學習之后對于知識點從不會到會的轉換概率，主要用來表示學習者的學習情況。[P（G）]和[P（S）]是學習者的表現(xiàn)參數(shù)，[P（G）]是猜對的概率，即學習者即使不知道知識點仍然回答正確的概率;[P（S）]是失誤的概率，即學習者知道知識點，但是仍然回答錯誤的概率（王卓， 等， 2015）。具體知識追蹤模型如圖1所示（Gong， et al. 2010）：

知識追蹤模型實際上是一個特殊的具有兩狀態(tài)的隱馬爾可夫模型（Martori， et al. 2015），兩狀態(tài)表示學習者對于特定知識掌握或未掌握。模型中的每一個節(jié)點都通過條件概率表（Conditional Probability Table，CPT）來量化父節(jié)點對自身的影響，知識節(jié)點與表現(xiàn)節(jié)點的CPT如表1所示，表現(xiàn)節(jié)點在知識追蹤模型中是已知態(tài)，或為正確，或為錯誤。每次學習者給出答案后，知識追蹤模型基于該學習者答題正誤的序列，使用貝葉斯公式迭代地更新學習者對知識的掌握程度以及預測該學習者再次遇到該知識點時的未來表現(xiàn)。

根據(jù)對以上知識追蹤模型的分析，很容易得到答對答錯時的概率公式和知識水平更新算法（Yudelson， 2016），這些公式被用來預測學習者做題表現(xiàn)的概率，算法用來更新學習者知識掌握水平。

（1）根據(jù)做題數(shù)據(jù)訓練好參數(shù)之后，預測學習者做題表現(xiàn)的概率。

當答對題目時，學習者答對題目的概率被解釋為在知道知識點的情況下沒有犯錯，以及在不知道知識點的情況下猜對的概率之和，即

[P（CorrectLk）=P（Lk）P（?S）+P（?Lk）P（G）]

當答錯題目時，學習者答錯題目的概率被解釋為在知道知識點的情況下犯錯，以及在不知道知識點的情況下猜錯的概率之和，即

[P（IncorrectLk）=P（Lk）P（S）+P（?Lk）P（?G）]

（2）知識追蹤模型分為兩個階段：一是上面提到的利用學習者的大量答題序列訓練模型參數(shù);二是利用已訓練好的模型基于學習者每次答題正誤的序列迭代更新其對知識掌握的程度值，知識掌握情況迭代更新的算法思想如表2所示，其中[P（L）]表示所有學習者對知識點掌握的初始情況，[P（Lk）]表示學習者在回答第k道題之前對相應知識已掌握的先驗概率，而[PLk|evidencek]表示根據(jù)學習者第k道題回答情況更新已掌握知識的后驗概率。另外，最后一個等式表示的就是學習者答題后收到系統(tǒng)反饋時的學習轉化過程，這個公式在加入學習概率后計算新的先驗概率。

知識追蹤模型的四個參數(shù)代表學習者知識水平[P（L0）]、學習者的學習智力[P（T）]、學習者的學習猜測[P（G）]和學習者的學習失誤[P（S）]。對參數(shù)的不正確估計會錯誤評估學習者知識狀態(tài)，導致教育者給出額外的任務以及在線學習系統(tǒng)提供低效率的學習資源與學習路徑。此外，對參數(shù)的不正確估計，研究人員解釋模型會得出不準確的科學結論。因此，獲得正確的參數(shù)是至關重要的，將使研究人員真正了解學習者的知識狀態(tài)。

三、研究目的和研究方法

（一）預測學習者未來表現(xiàn)

在實驗第一階段中采用Murphy使用Matlab中的Bayes Net Toolbox開發(fā)的程序來實現(xiàn)知識追蹤模型和期望最大化（EM）算法分析學習者特定知識掌握水平，預測學習者未來表現(xiàn)，并限制[P（G）]和[P（S）]的值，因為[P（G）]大于0.5意味著沒有掌握知識的學習者更可能做出正確回答，[P（S）]大于0.5意味著掌握知識的學習者更可能做出錯誤的回答，顯然這種情況違反了知識水平和學習者表現(xiàn)之間的關系，即知識追蹤模型出現(xiàn)模型退化現(xiàn)象（Pardos & Heffernan， 2010）。

（二）提高學習者未來表現(xiàn)預測精度

Corbett和Anderson（1994）提出的知識追蹤模型假定學習者在知識學習過程中不存在遺忘現(xiàn)象，但本研究認為學習中遺忘是無處不在的，如果以前學習的知識一段時間內(nèi)沒有使用，則忘記它的可能性會更高（Nedungadi & Remya， 2015）。為了驗證遺忘參數(shù)對知識追蹤模型的預測能力是否產(chǎn)生影響，在實驗第二階段中使用知識追蹤擴展模型（即在最初提出的知識追蹤模型四個參數(shù)的基礎上增加一個遺忘參數(shù)并設置不為0，代碼實現(xiàn)上不是把遺忘參數(shù)當0即不存在對待，而是在賦予學習者初始遺忘的基礎上通過學習數(shù)據(jù)迭代出學習者遺忘概率值）分析學習者特定知識掌握水平，預測學習者未來表現(xiàn)，并對比實驗第一階段中模型預測表現(xiàn)精度，判斷知識追蹤擴展模型相對于知識追蹤模型是否提高了學習者未來表現(xiàn)的預測精度，即學習者學習過程中的遺忘因素是否可以忽略。

（三）學習者部分數(shù)據(jù)對知識追蹤擴展模型未來表現(xiàn)預測精度影響分析

為了驗證知識追蹤擴展模型采用學習者部分數(shù)據(jù)對未來預測表現(xiàn)精度的影響，在實驗第三階段中使用知識追蹤擴展模型，根據(jù)采用每個學習者數(shù)據(jù)量的多少分組進行對比分析研究（Nooraei， et al. 2011）。另外，如果實驗第二階段在預測學習者未來表現(xiàn)時證實遺忘不可忽略，那么學習者作答時間越靠前的問題對于模型獲得相對完美參數(shù)的干預就越強，因此對比分析了知識追蹤擴展模型使用每個學習者學習數(shù)據(jù)的后1/3、后1/2、后2/3量的數(shù)據(jù)與使用完整數(shù)據(jù)分析學習者知識水平預測未來表現(xiàn)的精度，或者說這是一種使用知識追蹤擴展模型探索選擇數(shù)據(jù)集后部分數(shù)據(jù)度與完整數(shù)據(jù)集在降低模型運行時間的同時提升模型預測精度的方法。

四、實驗設計

（一）實驗數(shù)據(jù)集

實驗數(shù)據(jù)集來自名為Bridge to Algebra的在線教育系統(tǒng)，該數(shù)據(jù)集也是2010年KDD（knowledge discover and data mining）Cup比賽數(shù)據(jù)，由卡內(nèi)基學習公司提供，可從http：//pslcdatashop.web.cmu.edu/KDDCup下載?？▋?nèi)基學習公司是一個面向中學和大學學習者學習的智能輔導系統(tǒng)的制作公司，該數(shù)據(jù)集是關于學習者數(shù)學課堂教學學習過程數(shù)據(jù)，包含6，043名學習者的20，012，498項記錄，每項紀錄包含學習者ID、知識點所屬章節(jié)、問題類型、步驟類型、開始及結束時間、回答正確或錯誤、請求提示次數(shù)、知識點類型、做題次數(shù)等19條信息，數(shù)據(jù)集記錄的結構（如圖2所示）可以表述為每一章節(jié)中學習者做的每一道題被分成了許多步驟，系統(tǒng)記錄每一個步驟的做題情況，并且在做題過程中學習者可以請求系統(tǒng)中的提示，但是請求提示后該題無論正確與否都標記為錯誤。KDD Cup 2010是免費提供的最大的學習者學習的數(shù)據(jù)集合，本研究從KDD Cup 2010數(shù)據(jù)集中選擇了數(shù)據(jù)集的一個子集，即學習者在概率單元第四小部分的學習過程樣本，此樣本包括200個學習者，每個學習者包括30個維度問題答案，共6，000個樣本數(shù)據(jù)點作為知識追蹤模型的訓練和測試數(shù)據(jù)集。

（二）研究流程

實驗分為三個階段：第一階段主要是驗證知識追蹤模型可以得到比較理想的預測未來表現(xiàn)的精度，能較真實地反映學習者的知識水平，為學習者提供相對恰當?shù)膶W習資源和學習路徑;第二階段主要是采用知識追蹤擴展模型（遺忘參數(shù)不為0）來對比知識追蹤模型的未來表現(xiàn)預測精度，在驗證學習者學習過程遺忘參數(shù)存在的基礎上更準確地反映學習者真實知識水平，提供與學習者真實知識水平更適合的學習資源和學習路徑;第三階段主要是給予知識追蹤擴展模型不同的學習者后數(shù)據(jù)度進行訓練，對比模型使用學習者的后部分數(shù)據(jù)與使用全部數(shù)據(jù)的預測精度，驗證模型使用學習者后部分數(shù)據(jù)在加快運行速度的同時提高預測精度，且能為學習者提供更恰當和高效的學習資源與學習路徑并與學習者真實知識水平貼合度更高、誤差更小的猜想。具體實驗流程如圖3所示：

[參考文獻]

閭漢原，申麟，漆美. 2011. 基于“態(tài)度”的知識追蹤模型及集成技術[J]. 江蘇師范大學學報（自然科學版），29（4）：54-57.

王卓，張銘. 2015. 基于貝葉斯知識跟蹤模型的慕課學生評價[J]. 中國科技論文，10（2）：241-246.

Chrysafiadi， K.， & Virvou， M. （2013）. Student modeling approaches： A literature review for the last decade. Expert Systems with Applications， 40（11）， 4715-4729.

Corbett， A. T.， & Anderson， J. R. （1994）. Knowledge tracing： modeling the acquisition of procedural knowledge. User Modeling and User- Adapted Interaction， 4（4）， 253-278.

Esichaikul， V.， Lamnoi， S.， & Bechter， C. （2011）. Student modeling in adaptive e-learning systems. Knowledge Management & E-Learning： An International Journal， 3（3）， 342-355.

Gong， Y.， Beck， J. E.， & Heffernan， N. T. （2010， June）. Comparing knowledge tracing and performance factor analysis by using multiple model fitting procedures. In International conference on intelligent tutoring systems （pp. 35-44）. Springer， Berlin， Heidelberg.

Ha， H.， Hong， Y.， Hwang， U.， & Yoon， S. （2018）. Intelligent Knowledge Tracing： More Like a Real Learning Process of a Student. arXiv preprint arXiv：1805.10768.

Hawkins， W. J.， Heffernan， N. T.， & Baker， R. S. （2014， June）. Learning Bayesian knowledge tracing parameters with a knowledge heuristic and empirical probabilities. In International Conference on Intelligent Tutoring Systems （pp. 150-155）. Springer， Cham.

Martori， F.， Cuadros， J.， & González-Sabaté， L. （2015）. Direct Estimation of the Minimum RSS Value for Training Bayesian Knowledge Tracing Parameters. International Educational Data Mining Society.

Nedungadi， P.， & Remya， M. S. （2015， March）. Incorporating forgetting in the personalized， clustered， bayesian knowledge tracing （pc-bkt） model. In 2015 International Conference on cognitive computing and information processing （CCIP） （pp. 1-5）. IEEE.

Nooraei， B. B.， Pardos， Z. A.， Heffernan， N. T.， & de Baker， R. S. J. （2011）. Less is More： Improving the Speed and Prediction Power of Knowledge Tracing by Using Less Data. In EDM （pp. 101-110）.

Pardos， Z.， & Heffernan， N. （2010， June）. Navigating the parameter space of Bayesian Knowledge Tracing models： Visualizations of the convergence of the Expectation Maximization algorithm. In Educational Data Mining 2010.

Pardos， Z. A.， & Heffernan， N. T. （2010， June）. Modeling individualization in a bayesian networks implementation of knowledge tracing. In International Conference on User Modeling， Adaptation， and Personalization （pp. 255-266）. Springer， Berlin， Heidelberg.

Sison， R.， & Shimura， M. （1998）. Student modeling and machine learning. International Journal of Artificial Intelligence in Education （IJAIED）， 9， 128-158.

Yudelson， M. （2016）. Individualizing Bayesian Knowledge Tracing. Are Skill Parameters More Important Than Student Parameters.In EDM （pp. 556–561）.

收稿日期：2018-07-02

定稿日期：2019-02-27

作者簡介：葉艷偉，碩士研究生;劉倩倩，碩士研究生;林麗娟，碩士研究生。浙江工業(yè)大學教育科學與技術學院（310023）。

李菲茗，博士，教授，碩士生導師，本文通訊作者，浙江師范大學教師教育學院（321004）。

責任編輯 張志禎 劉 莉