深度學(xué)習(xí)驅(qū)動(dòng)的知識(shí)追蹤研究進(jìn)展綜述

梁 琨，任依夢(mèng)，尚余虎，張翼英，王 聰

天津科技大學(xué) 人工智能學(xué)院，天津300457

教育信息化的不斷推進(jìn)和“互聯(lián)網(wǎng)+”課堂教學(xué)的迅猛發(fā)展產(chǎn)生了海量的教育數(shù)據(jù)，如何高效自動(dòng)地提取教育數(shù)據(jù)的知識(shí)特征并建立關(guān)系，是當(dāng)前教育大數(shù)據(jù)時(shí)代面臨的一項(xiàng)重要研究。在線教育平臺(tái)為學(xué)習(xí)者提供了開放的自主學(xué)習(xí)途徑[1]。作為一種新型在線教育模式，其應(yīng)用過程中也存在一些局限性，包括無法挖掘?qū)W生隱性認(rèn)知狀態(tài)、學(xué)習(xí)資源貼合度不夠、缺乏較強(qiáng)的針對(duì)性、無法保證多元化學(xué)習(xí)資源和學(xué)習(xí)路徑的有效性。研究人員試圖引入數(shù)據(jù)挖掘、學(xué)習(xí)分析、人工智能等先進(jìn)技術(shù)破解在線教育發(fā)展難題。具體來說，學(xué)習(xí)平臺(tái)收集的學(xué)習(xí)數(shù)據(jù)反映了學(xué)生個(gè)體的真實(shí)學(xué)習(xí)軌跡，研究這些數(shù)據(jù)，可以更有效地分析學(xué)生的知識(shí)狀態(tài)，為學(xué)習(xí)者提供適應(yīng)性智能導(dǎo)學(xué)服務(wù)。

如圖1所示，知識(shí)追蹤（Knowledge Tracing，KT）模型為教育研究者預(yù)測(cè)學(xué)習(xí)者知識(shí)狀態(tài)提供了一個(gè)便捷的途徑，一直是教育數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)[2]。知識(shí)追蹤通常被描述為一個(gè)有監(jiān)督的時(shí)間序列學(xué)習(xí)任務(wù)，給定學(xué)習(xí)者的歷史練習(xí)記錄Xt={(q1,a1),(q2,a2),…,(qt,at)}，其中qt表示題目編號(hào)，at表示相應(yīng)的分?jǐn)?shù)，自動(dòng)追蹤學(xué)生知識(shí)掌握狀態(tài)隨時(shí)間的變化[3]，預(yù)測(cè)學(xué)習(xí)者下一次答對(duì)題目qt+1的概率。通過獲取學(xué)生作答習(xí)題的顯式學(xué)習(xí)表現(xiàn)，追蹤其隨時(shí)間變化的隱式知識(shí)狀態(tài)，從而預(yù)測(cè)學(xué)生在未來時(shí)間的作答表現(xiàn)。依此，推薦系統(tǒng)利用該概率動(dòng)態(tài)調(diào)整返回給學(xué)習(xí)者的學(xué)習(xí)資源或反饋[4]，并跳過或推遲預(yù)測(cè)不符合學(xué)生當(dāng)前知識(shí)水平的內(nèi)容，提供針對(duì)性的輔導(dǎo)服務(wù)。同時(shí)，通過對(duì)學(xué)生知識(shí)狀態(tài)的評(píng)估，教師能夠更好地了解每個(gè)學(xué)生的真實(shí)認(rèn)知情況，進(jìn)而優(yōu)化教學(xué)模式與策略，其主要流程如圖2所示。

圖1 教育數(shù)據(jù)挖掘思維導(dǎo)圖Fig.1 Educational data mining mind map

圖2 評(píng)估學(xué)習(xí)者的知識(shí)狀態(tài)Fig.2 Assessing learners’knowledge status

1 相關(guān)工作

1.1 傳統(tǒng)KT模型的特點(diǎn)及局限性

按照建模方法的不同，現(xiàn)有知識(shí)追蹤模型可以分為兩類：傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。BKT[5]和AFM[6]是傳統(tǒng)機(jī)器學(xué)習(xí)方法中具有代表性的兩種模型，它們已被廣泛應(yīng)用于智能教學(xué)系統(tǒng)中評(píng)估學(xué)習(xí)者的知識(shí)水平[7-8]。

Corbett等人于1994年提出貝葉斯知識(shí)追蹤[3]（Bayesian Knowledge Tracing，BKT），將學(xué)習(xí)者對(duì)每個(gè)知識(shí)點(diǎn)的掌握情況建模為一組二元變量P(Kt)∈{0,1}，每個(gè)變量代表學(xué)習(xí)者是否掌握某個(gè)知識(shí)點(diǎn)K，然后采用隱馬爾可夫模型（Hidden Markov Model，HMM）跟蹤學(xué)生知識(shí)狀態(tài)的變化，預(yù)測(cè)學(xué)生掌握知識(shí)點(diǎn)的概率。

BKT的建模過程基于三點(diǎn)假設(shè)：學(xué)生的答題序列僅涉及單一知識(shí)點(diǎn)，不支持包含多知識(shí)點(diǎn)的答題序列分析；學(xué)習(xí)者在知識(shí)學(xué)習(xí)過程中不存在遺忘現(xiàn)象；學(xué)生的表現(xiàn)和知識(shí)掌握狀態(tài)均為二元變量。

標(biāo)準(zhǔn)BKT方法的預(yù)測(cè)結(jié)果具有統(tǒng)計(jì)學(xué)意義，可解釋性較好。然而BKT對(duì)于學(xué)習(xí)的四點(diǎn)假設(shè)具有先天的局限性，使得BKT的實(shí)際應(yīng)用范圍受限。隨后，諸多研究者從不同角度提出對(duì)模型本身的假設(shè)改進(jìn)。文獻(xiàn)[9]基于BKT模型，結(jié)合習(xí)題與知識(shí)點(diǎn)中豐富的關(guān)聯(lián)關(guān)系提出了BKTC模型，通過實(shí)驗(yàn)證明了所提出方法在數(shù)學(xué)、拼寫學(xué)習(xí)和物理等五個(gè)大規(guī)模數(shù)據(jù)集中的預(yù)測(cè)精度更高。Qiu等人[10]在模型中加入知識(shí)遺忘特性，模擬學(xué)生的知識(shí)熟練程度可能隨時(shí)間的推移而下降。Agarwal等人[11]為使學(xué)習(xí)水平估計(jì)的更新更平滑，用近因權(quán)重代替學(xué)習(xí)率，將二元知識(shí)狀態(tài)進(jìn)一步細(xì)化為21個(gè)狀態(tài)。

研究人員在心理測(cè)量學(xué)理論發(fā)現(xiàn)了一類可以解決BKT相關(guān)問題的模型，即可加性因素模型（Additive Factor Model，AFM）[6]。AFM考慮了練習(xí)的嘗試次數(shù)和學(xué)習(xí)率兩個(gè)變量對(duì)學(xué)習(xí)者知識(shí)狀態(tài)的影響。與BKT不同，AFM假設(shè)學(xué)習(xí)是一個(gè)漸進(jìn)的變化過程而不是離散的過渡，不是估計(jì)學(xué)習(xí)者潛在的知識(shí)狀態(tài)，而是直接預(yù)測(cè)學(xué)習(xí)者正確回答練習(xí)的概率。同時(shí)，諸多研究者從參數(shù)約束[12]、引入失誤因子[13]、情緒態(tài)度[14]等不同角度對(duì)標(biāo)準(zhǔn)AFM進(jìn)行擴(kuò)展。

學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)量大且復(fù)雜，收集到的海量、連續(xù)的習(xí)題通常與多個(gè)知識(shí)點(diǎn)相關(guān)聯(lián)，傳統(tǒng)的KT模型依賴專家標(biāo)注，也不能很好地捕捉多個(gè)知識(shí)點(diǎn)之間的關(guān)系。深度學(xué)習(xí)具有自動(dòng)學(xué)習(xí)復(fù)雜知識(shí)概念內(nèi)在關(guān)系的能力，并且不需要專家對(duì)知識(shí)點(diǎn)進(jìn)行顯式標(biāo)記[15]。因此，深度學(xué)習(xí)模型被引入KT領(lǐng)域。鑒于學(xué)習(xí)者練習(xí)數(shù)據(jù)的時(shí)序性，遞歸神經(jīng)網(wǎng)絡(luò)（RNN）[16]常被用于建立基于深度學(xué)習(xí)的知識(shí)追蹤模型。作為RNN的流行變體，長(zhǎng)短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)[17]和GRU[18]也廣泛應(yīng)用于KT任務(wù)中，取得了比傳統(tǒng)KT模型更好的預(yù)測(cè)性能。

1.2 現(xiàn)有綜述分析

在已有的相關(guān)綜述研究中，文獻(xiàn)[19]圍繞智能輔導(dǎo)系統(tǒng)的學(xué)生模型展開，概述了KT以及PFA模型在預(yù)測(cè)學(xué)生練習(xí)表現(xiàn)中的最新進(jìn)展。文獻(xiàn)[2]重點(diǎn)從知識(shí)點(diǎn)、學(xué)習(xí)者和數(shù)據(jù)三個(gè)層面梳理了BKT模型在教育領(lǐng)域的應(yīng)用現(xiàn)狀。文獻(xiàn)[20]詳細(xì)闡述了深度學(xué)習(xí)技術(shù)在知識(shí)追蹤中的應(yīng)用，通過避免技術(shù)細(xì)節(jié)來定性地解釋模型工作原理。文獻(xiàn)[21]從原理、方法步驟、算法的效率和可擴(kuò)展性等維度詳細(xì)介紹基于BKT、IBKT、DBN、DKT方法的知識(shí)追蹤模型，對(duì)研究者提出了未來的研究方向和面臨的挑戰(zhàn)。文獻(xiàn)[22]從理論技術(shù)角度梳理基于概率圖、矩陣分解以及深度學(xué)習(xí)的知識(shí)追蹤模型原理、方法步驟、模型擴(kuò)展等。文獻(xiàn)[23]總結(jié)了知識(shí)追蹤的相關(guān)理論，全面對(duì)比DKT、DKVMN、SAKT、RKT模型在大規(guī)模數(shù)據(jù)集上的表現(xiàn)差異。文獻(xiàn)[24]從模型組成、建模技術(shù)、擴(kuò)展模型、模型對(duì)比和評(píng)估五個(gè)方面對(duì)BKT、DKT、DKVMN進(jìn)行了概述。文獻(xiàn)[25]對(duì)教育大數(shù)據(jù)中知識(shí)追蹤模型的回顧和分析更加系統(tǒng)和全面，梳理并比較了基于BKT和DKT方法的2類知識(shí)追蹤模型?？傮w來說，這些文獻(xiàn)涉及到深度學(xué)習(xí)技術(shù)的模型較少，側(cè)重于機(jī)器學(xué)習(xí)方法、經(jīng)典模型梳理的分析較多。

通過檢索計(jì)算機(jī)領(lǐng)域、教育領(lǐng)域和認(rèn)知科學(xué)領(lǐng)域的期刊和會(huì)議，查閱了發(fā)表時(shí)間限定于2015年1月1日至2021年6月20日深度知識(shí)追蹤的相關(guān)論文，共篩選出65篇文獻(xiàn)。本文重點(diǎn)對(duì)基于深度學(xué)習(xí)的知識(shí)追蹤及其擴(kuò)展模型進(jìn)行全面與最新的討論，按照建模方法的角度將其劃分為基于循環(huán)神經(jīng)網(wǎng)絡(luò)、記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤模型。通過梳理和對(duì)比三類模型及其改進(jìn)模型，幫助讀者快速了解知識(shí)追蹤領(lǐng)域的最新研究進(jìn)展。

2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤

標(biāo)準(zhǔn)BKT方法只能對(duì)學(xué)生在單個(gè)知識(shí)點(diǎn)上的學(xué)習(xí)情況進(jìn)行建模，它將學(xué)生在多知識(shí)點(diǎn)上的學(xué)習(xí)過程視為多個(gè)離散過程。RNN是深度學(xué)習(xí)領(lǐng)域中一類特殊的具有自循環(huán)反饋的全連接神經(jīng)網(wǎng)絡(luò)，能夠?qū)W習(xí)復(fù)雜向量之間的映射關(guān)系。HMM和RNN都是通過隱狀態(tài)的演化來刻畫序列之間的依賴關(guān)系，但在面對(duì)高維、連續(xù)的數(shù)據(jù)時(shí)RNN的表達(dá)能力更強(qiáng)。受此啟發(fā)，Piech等人于2015年提出DKT（Deep Knowledge Tracing）模型[15]，DKT是第一次嘗試?yán)眠f歸神經(jīng)網(wǎng)絡(luò)（如RNN、LSTM）對(duì)學(xué)生的練習(xí)過程進(jìn)行建模以預(yù)測(cè)其表現(xiàn)，在不需要對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行人工標(biāo)注的情況下得到了比BKT更好的效果。

2.1 DKT模型原理

標(biāo)準(zhǔn)DKT的結(jié)構(gòu)如圖3所示。DKT模型輸入為學(xué)生答題記錄{x1,x2,…,xt}，通過one-hot編碼或壓縮感知表示法xt被轉(zhuǎn)化為向量輸入模型。為了將輸入映射到輸出，輸入向量會(huì)通過隱藏層進(jìn)行特征提取，隱藏層{h0,h1,…,ht}的狀態(tài)向量ht可理解為學(xué)生在第t時(shí)刻的知識(shí)狀態(tài)。將學(xué)生的知識(shí)狀態(tài)通過輸出層計(jì)算可得到輸出向量，{y1,y2,…,yt}表示在時(shí)間步1~t，學(xué)生正確回答每一道習(xí)題的概率。所涉及公式如下所示：

圖3 DKT模型結(jié)構(gòu)圖Fig.3 DKT model structure diagram

模型的目標(biāo)函數(shù)如式（3）所示，模型訓(xùn)練選用隨機(jī)梯度下降算法作為優(yōu)化器，即：

其中，δ(qt+1)表示在第t+1時(shí)間步作答習(xí)題qt+1的one-hot編碼，l表示二元交叉熵。

DKT模型將RNN應(yīng)用到知識(shí)追蹤任務(wù)中，取得了比傳統(tǒng)BKT方法更好的預(yù)測(cè)性能（AUC（Area Under Curve）值提高20%[26]），且能夠更深層次地捕捉練習(xí)文本的時(shí)序特征和語義特征。

2.2 DKT模型改進(jìn)

學(xué)生在線學(xué)習(xí)環(huán)境極為復(fù)雜，學(xué)習(xí)過程會(huì)受到多方面因素的影響。DKT輸入數(shù)據(jù)為學(xué)生練習(xí)記錄，而忽略了學(xué)習(xí)者的行為特征以及知識(shí)點(diǎn)之間的關(guān)聯(lián)關(guān)系，且輸入的學(xué)習(xí)特征太少也會(huì)影響模型的準(zhǔn)確性。

傳統(tǒng)RNN、LSTM在處理超長(zhǎng)序列時(shí)容易丟失信息而導(dǎo)致模型的性能下降；同時(shí)，模型缺乏對(duì)關(guān)鍵特征的提取和強(qiáng)化。

DKT的預(yù)測(cè)性能優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法，但其隱藏狀態(tài)ht本質(zhì)上很難被解釋為知識(shí)狀態(tài)。因此，DKT模型的不可解釋性制約了其在實(shí)際教學(xué)的應(yīng)用。

傳統(tǒng)機(jī)器學(xué)習(xí)方法結(jié)合人的先驗(yàn)知識(shí)及直觀感受來構(gòu)造特征。RNN、LSTM等深度學(xué)習(xí)方法依賴于大規(guī)模數(shù)據(jù)集的處理，當(dāng)樣本數(shù)據(jù)量小時(shí)可能導(dǎo)致顯著特征提取效果差。

學(xué)習(xí)特征少、長(zhǎng)距離依賴、可解釋性差、無法有效選取學(xué)生特征是DKT模型最顯著的4個(gè)問題。本文將DKT的擴(kuò)展模型分為4類：（1）結(jié)合教育數(shù)據(jù)特征改進(jìn)模型；（2）引入注意力機(jī)制改進(jìn)模型；（3）可解釋性知識(shí)追蹤；（4）融合機(jī)器學(xué)習(xí)方法的模型改進(jìn)研究。表1總結(jié)了各種模型所屬的改進(jìn)方向類別和主要的改進(jìn)方式。

表1 DKT改進(jìn)模型對(duì)比Table 1 Comparison of improved DKT models

2.2.1 結(jié)合教育數(shù)據(jù)特征改進(jìn)模型

（1）改進(jìn)學(xué)習(xí)者建模的研究。諸多研究者考慮納入學(xué)習(xí)者的學(xué)習(xí)行為等內(nèi)隱學(xué)習(xí)特征評(píng)估學(xué)習(xí)成效。Liang等人[27]在DKT輸入中添加額外的學(xué)生反應(yīng)時(shí)間、練習(xí)嘗試次數(shù)、第一次響應(yīng)結(jié)果等學(xué)生特征評(píng)估學(xué)習(xí)者的知識(shí)水平。針對(duì)這種高維輸入數(shù)據(jù)，結(jié)合自動(dòng)編碼器降維并輸入模型，從而減少了訓(xùn)練所需的資源和時(shí)間。該模型預(yù)測(cè)結(jié)果取得了一定的提升，但該方法依賴于繁瑣的人工特征提取及選擇過程，可能會(huì)受主觀影響產(chǎn)生誤差。Cheng等人[28]受BKT模型失誤和猜測(cè)參數(shù)的啟發(fā)，失誤和猜測(cè)概率應(yīng)該隨做題的過程而不斷變化。在DKT中引入失誤和猜測(cè)因子以更好地模擬學(xué)生的真實(shí)做題情況。VDKT等人[29]在文獻(xiàn)[28]基礎(chǔ)上引入了部分理解因子建模學(xué)習(xí)過程中的隨機(jī)性行為。CKT[30]模型針對(duì)在線學(xué)習(xí)平臺(tái)中收集的學(xué)生互動(dòng)點(diǎn)擊流數(shù)據(jù)，分析學(xué)生的學(xué)習(xí)狀態(tài)，預(yù)測(cè)未來學(xué)習(xí)趨勢(shì)和表現(xiàn)。

學(xué)習(xí)是一個(gè)循序漸進(jìn)的過程，因此在追蹤學(xué)生的知識(shí)狀態(tài)時(shí)，需要進(jìn)一步考慮時(shí)間特性對(duì)預(yù)測(cè)結(jié)果的影響。Nagatani等人[31]引入時(shí)間間隔來模擬學(xué)生的遺忘行為，將改進(jìn)后的模型命名為Extended-DKT，通過比較Extended-DKT和DKT的差異，研究時(shí)間間隔對(duì)預(yù)測(cè)準(zhǔn)確率的影響。Yang等人[32]借助決策樹融合多種異構(gòu)特征如作答時(shí)間、作答次數(shù)等衡量學(xué)生的遺忘情況，在擬合數(shù)據(jù)集上表現(xiàn)更優(yōu)。Pu等人[33]提出DKT+Transformer結(jié)構(gòu)，引入答題時(shí)間信息調(diào)整模型的注意力權(quán)重計(jì)算中，以更好地考慮時(shí)間特性對(duì)預(yù)測(cè)結(jié)果的影響。

（2）融合知識(shí)結(jié)構(gòu)信息的研究。標(biāo)準(zhǔn)DKT模型主要利用學(xué)習(xí)者的答題記錄預(yù)測(cè)其未來表現(xiàn)，而忽略了不同知識(shí)點(diǎn)之間的關(guān)聯(lián)關(guān)系，即“知識(shí)結(jié)構(gòu)”對(duì)知識(shí)狀態(tài)的影響。Chen等人[34]考慮到課程概念之間存在先決關(guān)系，將知識(shí)點(diǎn)間前驅(qū)后繼關(guān)系建模為有序?qū)?，用作知識(shí)追蹤模型中的約束，有效緩解了知識(shí)追蹤中的數(shù)據(jù)稀疏性問題。DTKS[35]設(shè)計(jì)了圖嵌入算法將練習(xí)關(guān)系信息融入對(duì)學(xué)生知識(shí)狀態(tài)的建模，可以同時(shí)捕獲練習(xí)的順序依賴關(guān)系和內(nèi)在關(guān)系。

最近的一些研究考慮了“知識(shí)結(jié)構(gòu)”的影響，但忽略了知識(shí)點(diǎn)之間的傳播具有不同形式，如相似關(guān)系（無向，影響力可雙向傳播）和前驅(qū)后繼關(guān)系（有向，影響力只能單向傳播）。SKT[36]借助知識(shí)結(jié)構(gòu)中的多重關(guān)系對(duì)概念之間的影響傳播進(jìn)行建模，同時(shí)考慮了學(xué)習(xí)者練習(xí)序列的時(shí)間效應(yīng)和知識(shí)結(jié)構(gòu)的空間效應(yīng)，能夠更準(zhǔn)確地估計(jì)學(xué)習(xí)者的知識(shí)狀態(tài)。

本節(jié)詳細(xì)介紹了結(jié)合教育數(shù)據(jù)特征在深度知識(shí)追蹤領(lǐng)域的改進(jìn)方法，主要分為改進(jìn)學(xué)習(xí)者建模和融合知識(shí)結(jié)構(gòu)信息。改進(jìn)學(xué)習(xí)者建模的方法最為直觀，通過添加更多信息，借助深度學(xué)習(xí)的特征提取能力，提升預(yù)測(cè)的性能。融合知識(shí)結(jié)構(gòu)信息的方法從練習(xí)文本組織特點(diǎn)出發(fā)，深入挖掘知識(shí)點(diǎn)之間豐富的結(jié)構(gòu)和相關(guān)性。結(jié)合教育數(shù)據(jù)特征的改進(jìn)方法通過添加更多信息提升模型性能，但也增加了模型訓(xùn)練所需的資源和時(shí)間。同時(shí)，如何更有效地將教育數(shù)據(jù)特征納入知識(shí)追蹤任務(wù)中的研究還不夠深入。

2.2.2 引入注意力機(jī)制

注意力模型[37]是神經(jīng)網(wǎng)絡(luò)中的重要概念，已在語音識(shí)別[38]和圖像注釋[39]等不同應(yīng)用領(lǐng)域中進(jìn)行了廣泛的研究。直觀地說，注意力機(jī)制是一個(gè)重要性權(quán)重向量，無需通過循環(huán)而直接建立輸入與輸出之間的相似性度量。學(xué)習(xí)是一個(gè)持續(xù)不斷的過程，KT模型引入注意力機(jī)制可以加強(qiáng)關(guān)鍵信息弱化無用信息，以增強(qiáng)歷史上重要狀態(tài)的影響來預(yù)測(cè)學(xué)生未來表現(xiàn)。

Su等人[40]提出在模型預(yù)測(cè)輸出時(shí)使用余弦相似度計(jì)算練習(xí)題目相似性，對(duì)所有隱藏狀態(tài)進(jìn)行加權(quán)和聚合，有效捕獲了練習(xí)序列中的長(zhǎng)期依賴關(guān)系。此外，文獻(xiàn)[41]也采用類似思路，使用Jaccard系數(shù)計(jì)算知識(shí)點(diǎn)之間的注意力權(quán)重，結(jié)合LSTM與注意力值預(yù)測(cè)學(xué)生表現(xiàn)。

針對(duì)學(xué)生交互序列的稀疏數(shù)據(jù)面臨難以泛化問題，Pandey等人[42]提出SAKT模型，使用基于自注意力機(jī)制的transformer模型為之前回答的練習(xí)分配權(quán)重，以提取關(guān)鍵信息。Choi等人[43]認(rèn)為SAKT模型的注意力層太淺，為了更深入挖掘習(xí)題與學(xué)生回答之間的復(fù)雜關(guān)系，Choi等人設(shè)計(jì)了疊加3個(gè)注意力模塊的編碼器和解碼器組合，通過大量的實(shí)驗(yàn)，證明多頭注意力的有效性。

受認(rèn)知科學(xué)關(guān)于遺忘機(jī)制研究的啟發(fā)，Aritra等人[44]提出了單調(diào)注意力機(jī)制AKT，引入指數(shù)衰減項(xiàng)來計(jì)算注意力的權(quán)重，降低久遠(yuǎn)練習(xí)對(duì)預(yù)測(cè)的重要性。

本節(jié)詳細(xì)介紹了注意力機(jī)制在深度知識(shí)追蹤領(lǐng)域的改進(jìn)。引入注意力機(jī)制將較長(zhǎng)的序列轉(zhuǎn)化為包含重要信息的短序列，但是并沒有從根本上解決問題。注意力權(quán)重大的特征周圍也有相關(guān)信息（距離越近相關(guān)性越強(qiáng)），也要考慮進(jìn)模型，即注意力機(jī)制忽略了注意力所在位置周圍信息。未來研究可以引入“窗口”機(jī)制，把一定范圍內(nèi)的信息都提取出來。

2.2.3 可解釋性知識(shí)追蹤

基于深度學(xué)習(xí)的知識(shí)追蹤模型已被證明在無需人工特征的情況下優(yōu)于傳統(tǒng)的知識(shí)追蹤模型[45]。然而，深度學(xué)習(xí)模型的輸出和工作機(jī)制受到不透明的決策過程和復(fù)雜內(nèi)部結(jié)構(gòu)的影響，非計(jì)算機(jī)背景的人難以理解其內(nèi)部工作機(jī)制，這極大程度地限制了深度知識(shí)追蹤模型在實(shí)際教學(xué)中的應(yīng)用。

為了克服這一挑戰(zhàn)，已經(jīng)開發(fā)了許多模型，如香港科技大學(xué)的Lee等人設(shè)計(jì)了KQN知識(shí)查詢網(wǎng)絡(luò)[46]模型，使用神經(jīng)網(wǎng)絡(luò)將學(xué)生的學(xué)習(xí)活動(dòng)編碼為知識(shí)狀態(tài)向量和知識(shí)技能向量。同時(shí)，KQN可以針對(duì)不同的技能查詢學(xué)生的知識(shí)狀態(tài)，然后通過可視化兩類向量之間的交互以增強(qiáng)模型的可解釋性。

事后解釋（post-hoc interpretable）方法，發(fā)生在模型訓(xùn)練之后，利用解釋方法為預(yù)測(cè)結(jié)果提供決策依據(jù)[47]。這種方法的優(yōu)點(diǎn)是，在不降低預(yù)測(cè)性能的情況下可以事后解釋不透明的模型。在知識(shí)追蹤領(lǐng)域，主要有分層關(guān)聯(lián)傳播（Layer-wise Relevance Propagation，LRP）和不確定性評(píng)估方法。Lu等人[48]提出采用后自組織可解釋方法來理解基于RNN的DLKT模型，利用分層關(guān)聯(lián)傳播方法將關(guān)聯(lián)從模型的輸出層反向傳播到輸入層來解釋基于RNN的DLKT模型。文獻(xiàn)[49]使用蒙特卡洛方法為模型的輸出預(yù)測(cè)值提供一個(gè)不確定性評(píng)分，以減輕預(yù)測(cè)過程中的不透明性。

此外，也有研究者嘗試使用顯性知識(shí)概念來解釋學(xué)生隱性知識(shí)狀態(tài)的變化，這對(duì)于許多實(shí)際應(yīng)用都是有益的，比如可解釋性練習(xí)推薦。TC-MIRT[50]利用RNN建模復(fù)雜序列數(shù)據(jù)，結(jié)合心理測(cè)量學(xué)模型IRT參數(shù)的可解釋性，使模型能夠進(jìn)行概念級(jí)的弱點(diǎn)診斷，幫助學(xué)生了解自身的薄弱知識(shí)概念。EKT[51]將每個(gè)學(xué)生的知識(shí)狀態(tài)向量擴(kuò)展成一個(gè)隨時(shí)間更新的知識(shí)狀態(tài)矩陣，其中每個(gè)向量代表學(xué)生對(duì)某個(gè)概念的掌握程度，有效解決傳統(tǒng)DKT難以確定學(xué)生擅長(zhǎng)或不熟悉哪些概念問題。

本節(jié)詳細(xì)介紹了深度知識(shí)追蹤領(lǐng)域?qū)山忉寙栴}的改進(jìn)方法，主要分為知識(shí)可視化、事后解釋方法和診斷薄弱知識(shí)概念。三類方法針對(duì)學(xué)生的認(rèn)知狀態(tài)，給出了可能的解釋方法，在一定程度上提高了模型的可解釋性。同時(shí)也具有共性缺點(diǎn)：模型訓(xùn)練參數(shù)較多；參數(shù)本身也不像BKT方法具有可解釋性。

2.2.4 融合機(jī)器學(xué)習(xí)方法的模型改進(jìn)研究

機(jī)器學(xué)習(xí)相關(guān)算法分析和預(yù)測(cè)的總體誤差小，可以嘗試在某些模塊或功能上使用機(jī)器學(xué)習(xí)相關(guān)技術(shù)作為輔助工具，進(jìn)一步提升知識(shí)追蹤模型的預(yù)測(cè)性能。

學(xué)生的能力是不斷發(fā)展的，標(biāo)準(zhǔn)DKT模型忽略了學(xué)習(xí)者學(xué)習(xí)能力和學(xué)習(xí)速度的差異。DKT-DSC[52]使用K-Means聚類動(dòng)態(tài)地將學(xué)生分配到具有相似能力的不同組，并隨時(shí)間的推移定期重新評(píng)估。

由于學(xué)生數(shù)據(jù)的稀疏問題影響著知識(shí)追蹤模型的性能，文獻(xiàn)[53]結(jié)合支持向量機(jī)和矩陣分解模型提出基于因子分解機(jī)（FM）的知識(shí)追蹤模型，利用特征之間的組合特性，引入多種輔助信息如多種知識(shí)概念組成成分，題目嘗試次數(shù)，知識(shí)概念掌握水平建模，通過在多個(gè)數(shù)據(jù)集中驗(yàn)證發(fā)現(xiàn)該模型能夠很好地處理稀疏數(shù)據(jù)。

大多數(shù)研究都假設(shè)練習(xí)的難度是恒定的，這不符合學(xué)習(xí)的規(guī)律。學(xué)生可能會(huì)多次嘗試同一練習(xí)，并逐漸掌握練習(xí)中包含的知識(shí)，因此應(yīng)該根據(jù)學(xué)生目前的知識(shí)水平來調(diào)整練習(xí)的難度。Gan等人[54]設(shè)計(jì)了領(lǐng)域感知知識(shí)追蹤機(jī)（FA-KTM），結(jié)合學(xué)生的動(dòng)態(tài)學(xué)習(xí)過程（學(xué)習(xí)和遺忘）和練習(xí)難度評(píng)估學(xué)習(xí)者的知識(shí)狀態(tài)水平，對(duì)DKT的性能具有促進(jìn)作用。

Yang等人[55]考慮到學(xué)生知識(shí)狀態(tài)主要受近期練習(xí)的影響，提出了卷積知識(shí)追蹤（CKT）模型，使用3D卷積網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)者近期回答的練習(xí)對(duì)知識(shí)狀態(tài)的影響。大量的實(shí)驗(yàn)證明，關(guān)注學(xué)生的短期特征可以更好地對(duì)學(xué)生的知識(shí)狀態(tài)進(jìn)行建模，進(jìn)而增強(qiáng)模型的預(yù)測(cè)能力。

愛學(xué)習(xí)教育集團(tuán)AI Lab團(tuán)隊(duì)提出一種練習(xí)分層特征增強(qiáng)知識(shí)追蹤模型[56]，使用Bert挖掘練習(xí)文本生成嵌入向量，然后輸入到3個(gè)子系統(tǒng)提取練習(xí)的知識(shí)分布、語義特征和難度，最后將3個(gè)特征連接并輸入進(jìn)LSTM作出預(yù)測(cè)。

Xu等人[57]提出DynEmb模型，使用矩陣分解將練習(xí)題目和學(xué)生嵌入到一個(gè)連續(xù)隱空間中，同時(shí)結(jié)合RNN建模學(xué)習(xí)者的學(xué)習(xí)過程。但矩陣分解無法捕獲學(xué)生和練習(xí)的交互信息，從而忽略了學(xué)生和練習(xí)交互的重要性。

本節(jié)詳細(xì)介紹傳統(tǒng)機(jī)器學(xué)習(xí)方法在知識(shí)追蹤任務(wù)中的應(yīng)用。借助K-Means、支持向量機(jī)、矩陣分解等傳統(tǒng)機(jī)器學(xué)習(xí)方法的優(yōu)勢(shì)，提升知識(shí)追蹤任務(wù)的預(yù)測(cè)性能。同時(shí)，傳統(tǒng)機(jī)器學(xué)習(xí)方法過于依賴訓(xùn)練參數(shù)的設(shè)置，對(duì)于學(xué)生特征的選取和擴(kuò)展不夠靈活；如何借助機(jī)器學(xué)習(xí)技術(shù)的優(yōu)勢(shì)輔助知識(shí)追蹤任務(wù)評(píng)估學(xué)生認(rèn)知狀態(tài)有待進(jìn)一步深入研究。

2.3 模型的比較研究

模型的比較研究包括BKT與DKT[58-59]、DKVMN與DKT[60]、DKT與PLM-IRT[61]的比較。相關(guān)模型的示意圖分別如圖4（a）~（d）所示。如圖4（a），BKT使用隱馬爾可夫模型將學(xué)習(xí)者的潛在知識(shí)狀態(tài)建模為一組二元變量。如圖4（b），DKT使用高維的隱藏向量表示學(xué)生的知識(shí)狀態(tài)。如圖4（c），DKVMN同時(shí)跟蹤每個(gè)知識(shí)概念的掌握狀態(tài)，所有掌握狀態(tài)構(gòu)成學(xué)生的知識(shí)狀態(tài)。如圖4（d），PLM-IRT利用概率表達(dá)式測(cè)量學(xué)習(xí)者知識(shí)掌握情況。

圖4 模型結(jié)構(gòu)圖Fig.4 Model structure diagram

綜上，BKT表示過程中丟失了學(xué)生數(shù)據(jù)中的時(shí)序特征，但相較于深度模型，BKT的參數(shù)可解釋性較強(qiáng)。PLM-IRT也是傳統(tǒng)方法中的一種，通過考慮主客觀因素預(yù)測(cè)學(xué)生表現(xiàn)，但該方法適用于學(xué)習(xí)者能力不變的環(huán)境。DKT具有較強(qiáng)的特征提取能力，可以有效利用學(xué)生數(shù)據(jù)的特征和規(guī)律，然而DKT無法顯示獲取學(xué)生對(duì)單個(gè)知識(shí)點(diǎn)的掌握狀態(tài)，可解釋性較差。相較于BKT和DKT，DKVMN模型參數(shù)數(shù)量較少且能夠自動(dòng)輸出學(xué)生對(duì)單個(gè)知識(shí)點(diǎn)的掌握程度。同時(shí)，Gervet等人[20]在多個(gè)規(guī)模不同的數(shù)據(jù)集上評(píng)估傳統(tǒng)模型和深度模型的性能。研究工作表明，基于Logistic回歸的改進(jìn)算法在中小型數(shù)據(jù)集上表現(xiàn)得更好，而深度模型在較大的數(shù)據(jù)集或強(qiáng)調(diào)時(shí)序信息的數(shù)據(jù)集上表現(xiàn)得更好。

2.4 模型應(yīng)用

DKT在預(yù)測(cè)和評(píng)估學(xué)習(xí)成績(jī)方面非常有效。Su等人[40]結(jié)合學(xué)生個(gè)性化信息和題目語義信息，設(shè)計(jì)了基于馬爾可夫特性和注意力機(jī)制的兩種策略來預(yù)測(cè)學(xué)生成績(jī)。MFA-DKT[62]利用機(jī)器學(xué)習(xí)模型來自動(dòng)捕獲學(xué)生的行為特征和練習(xí)特征，然后將基于遞歸神經(jīng)網(wǎng)絡(luò)的架構(gòu)結(jié)合attention機(jī)制，在ASSISTments數(shù)據(jù)集上進(jìn)行學(xué)生成績(jī)預(yù)測(cè)，模型的準(zhǔn)確性得到提高。Mongkhonvanit等人[63]使用DKT模型采集學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)如點(diǎn)擊資源的時(shí)間點(diǎn)、停留時(shí)長(zhǎng)等信息計(jì)算學(xué)生的課程參與度，進(jìn)而改善MOOC中學(xué)生流失問題。

DKT也可以用于開放式的學(xué)習(xí)環(huán)境中，如編程練習(xí)[64-65]、發(fā)現(xiàn)知識(shí)點(diǎn)間拓?fù)漤樞騕66]、生成試卷[67]、驗(yàn)證認(rèn)知理論[68]、學(xué)習(xí)路徑推薦[69、生成學(xué)習(xí)報(bào)告[70]等。文獻(xiàn)[71]基于學(xué)習(xí)者中學(xué)時(shí)期在ASSISTments智能導(dǎo)學(xué)系統(tǒng)記錄的學(xué)習(xí)軌跡，應(yīng)用DKT模型預(yù)測(cè)大學(xué)畢業(yè)后的第一份工作是否屬于STEM（Science、Technology、Engineering、Mathematics）領(lǐng)域。

DKT改進(jìn)模型的應(yīng)用如表2所示。

表2 DKT改進(jìn)模型的應(yīng)用Table 2 Application of improved DKT model

3 基于記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤

循環(huán)神經(jīng)網(wǎng)絡(luò)的變體LSTM可以通過輸入門獲取當(dāng)前樣本的信息（短期記憶），也可以通過遺忘門有選擇地保留先前樣本的部分信息（長(zhǎng)期記憶）。但是LSTM將所有記憶單元存儲(chǔ)在隱藏狀態(tài)向量中，該記憶方法會(huì)受可訓(xùn)練參數(shù)數(shù)量的影響，在處理具有1 000量級(jí)的超長(zhǎng)序列問題時(shí)存在一定的局限性。記憶增強(qiáng)神經(jīng)網(wǎng)絡(luò)（Memory Augmented Neural Network，MANN）是針對(duì)上述問題提出的一種解決方案，創(chuàng)新性地在標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上增加了記憶矩陣，允許網(wǎng)絡(luò)保留多個(gè)隱藏狀態(tài)向量，分別對(duì)這些向量進(jìn)行讀寫，從而提高了網(wǎng)絡(luò)的記憶能力，增加了讀寫過程來控制記憶狀態(tài)更新，具有比RNN和LSTM更強(qiáng)的記憶能力。

3.1 DKVMN模型原理

動(dòng)態(tài)鍵值對(duì)記憶網(wǎng)絡(luò)（Dynamic Key-Value Memory Networks for Knowledge Tracing，DKVMN）[72]，由香港中文大學(xué)的施行建于2017年提出，它借鑒了MANN使用記憶矩陣的思想，同時(shí)又結(jié)合了BKT和DKT的優(yōu)點(diǎn)，實(shí)現(xiàn)了使用非線性變換學(xué)習(xí)表示和跟蹤每個(gè)概念狀態(tài)的能力。

在每個(gè)時(shí)間步，DKVMN輸入是習(xí)題編號(hào)qt，輸出是學(xué)習(xí)者正確回答下一道習(xí)題的概率p(rt|qt)。模型假設(shè)練習(xí)包含N個(gè)潛在概念{c1,c2,…,cN}，這些知識(shí)概念存儲(chǔ)在一個(gè)稱為key的靜態(tài)矩陣Mk中。學(xué)生對(duì)每個(gè)概念的掌握程度，即概念狀態(tài){s1,s2,…,sN}存儲(chǔ)在稱為value的動(dòng)態(tài)矩陣Mv中，它通過刪除向量et和添加向量at來存儲(chǔ)和更新學(xué)生對(duì)于相應(yīng)知識(shí)概念的掌握程度。

DKVMN模型的整體結(jié)構(gòu)如圖5所示，模型整體由3部分組成。圖5藍(lán)色部分表示權(quán)重計(jì)算過程，即計(jì)算習(xí)題與各知識(shí)點(diǎn)間的相關(guān)權(quán)重。紫色部分表示讀過程，根據(jù)學(xué)生的知識(shí)掌握水平和當(dāng)前練習(xí)的難度預(yù)測(cè)學(xué)生的表現(xiàn)。綠色部分表示寫過程，根據(jù)學(xué)生的練習(xí)記錄采用擦除加法機(jī)制更新他們的知識(shí)狀態(tài)，并將結(jié)果添加至矩陣Mv中。

圖5 DKVMN模型Fig.5 DKVMN model

3.2 DKVMN模型改進(jìn)

標(biāo)準(zhǔn)DKVMN方法僅使用習(xí)題編號(hào)和做題結(jié)果作為模型的輸入，而忽略了學(xué)生在學(xué)習(xí)平臺(tái)中產(chǎn)生的碎片化數(shù)據(jù)，諸如學(xué)生的行為特征、練習(xí)后學(xué)生學(xué)習(xí)能力的變化和學(xué)生之間學(xué)習(xí)能力的差異等特征信息對(duì)學(xué)習(xí)結(jié)果的影響。因此，諸多研究者從輸入建模、使用不同方法等角度展開創(chuàng)新與改進(jìn)。本文將DKVMN的擴(kuò)展模型分為2類：（1）結(jié)合教育數(shù)據(jù)特征改進(jìn)模型；（2）結(jié)合機(jī)器學(xué)習(xí)方法擴(kuò)展模型。擴(kuò)展模型的對(duì)比如表3所示。

表3 DKVMN改進(jìn)模型對(duì)比Table 3 Comparison of improved DKVMN models

3.2.1 結(jié)合教育數(shù)據(jù)特征改進(jìn)模型

文獻(xiàn)[73]提出DKVMN-LA模型，在DKVMN模型的基礎(chǔ)上引入學(xué)生練習(xí)的行為特征和練習(xí)后學(xué)生能力的變化建模學(xué)生的認(rèn)知狀態(tài)。文獻(xiàn)[74]針對(duì)標(biāo)準(zhǔn)DKVMN模型無法建模學(xué)生掌握知識(shí)點(diǎn)的速度，引入分布式記憶矩陣，實(shí)現(xiàn)了知識(shí)增長(zhǎng)速度的動(dòng)態(tài)建模。DKVMN-CA[75]將練習(xí)題的難度、學(xué)生的練習(xí)時(shí)間等影響判斷學(xué)生知識(shí)水平的因素整合至傳統(tǒng)DKVMN模型中，提升了模型的預(yù)測(cè)性能。受DKT-DT的啟發(fā)，文獻(xiàn)[76]提出一種融合梯度提升回歸樹的深度知識(shí)追蹤優(yōu)化模型，利用梯度提升回歸樹算法（GBRT）將學(xué)習(xí)者學(xué)習(xí)能力、學(xué)習(xí)行為和任務(wù)難度等特征信息融入知識(shí)追蹤模型，通過收集學(xué)習(xí)者更多的特征信息，提升模型的預(yù)測(cè)精度。根據(jù)德國著名心理學(xué)家艾賓豪斯對(duì)人類遺忘過程的研究，學(xué)習(xí)的遺忘過程會(huì)受到學(xué)生當(dāng)前知識(shí)狀態(tài)和練習(xí)時(shí)長(zhǎng)的影響[77]。按照這一思路，Zou等人[78]提出一種基于學(xué)習(xí)過程（LPKT）的知識(shí)追蹤模型，在讀過程中根據(jù)當(dāng)前知識(shí)狀態(tài)計(jì)算知識(shí)遺忘量，計(jì)算下一個(gè)時(shí)刻的知識(shí)狀態(tài)時(shí)再參考LSTM的遺忘機(jī)制，這樣就比較符合學(xué)生的學(xué)習(xí)規(guī)律。

傳統(tǒng)DKVMN模型也存在難以捕捉長(zhǎng)依賴關(guān)系和解釋性較差等問題。Abdelrahman等人[79]提出了序列鍵值記憶網(wǎng)絡(luò)知識(shí)追蹤模型（SKVMN）。SKVMN在其序列建模中使用一種改進(jìn)的HOP-LSTM，HOP-LSTM使用三角隸屬度函數(shù)（triangular membership function）捕捉練習(xí)序列之間的順序依賴關(guān)系，增強(qiáng)了模型捕捉長(zhǎng)期依賴關(guān)系的能力。

本節(jié)從學(xué)習(xí)特征、時(shí)間因素、捕捉長(zhǎng)期依賴關(guān)系三個(gè)改進(jìn)角度展開論述。引入學(xué)習(xí)特征信息、時(shí)間因素增加了建模的維度，但是在數(shù)據(jù)中嵌入這些異構(gòu)特征存在一定的難度。HOP-LSTM方法控制信息在LSTM細(xì)胞間跳躍，加快了模型的推理速度，該方法跳躍決策的制定有待進(jìn)一步研究。

3.2.2 混合模型

在復(fù)雜交互學(xué)習(xí)中，在線輔導(dǎo)系統(tǒng)有效的提示行為可以填補(bǔ)學(xué)生對(duì)空白概念的理解。針對(duì)這種情況，Dogga等人[80]提出了一種新的知識(shí)追蹤框架，設(shè)計(jì)多任務(wù)模型將請(qǐng)求提示預(yù)測(cè)與知識(shí)追蹤進(jìn)行聯(lián)合訓(xùn)練，通過實(shí)驗(yàn)證明了框架的有效性。

文獻(xiàn)[81]發(fā)現(xiàn)學(xué)生學(xué)習(xí)數(shù)據(jù)自然地呈現(xiàn)出聚類特征，提出結(jié)合群體學(xué)習(xí)特征的LMKT模型，該模型可以準(zhǔn)確預(yù)測(cè)學(xué)生對(duì)新知識(shí)的學(xué)習(xí)過程。DSCMN[82]通過捕獲學(xué)生長(zhǎng)期學(xué)習(xí)過程中每個(gè)時(shí)間間隔的學(xué)習(xí)能力，實(shí)現(xiàn)動(dòng)態(tài)學(xué)生分類，相當(dāng)于在模型的輸入中隱式地嵌入了學(xué)生能力信息。

針對(duì)DKVMN模型沒有關(guān)注學(xué)習(xí)者在答題過程中的具體行為，僅僅關(guān)注學(xué)習(xí)者最終是否答對(duì)習(xí)題。DKVMN-DT[83]將用戶的答題時(shí)間，用戶是否請(qǐng)求提示，用戶嘗試作答題目的次數(shù)等影響用戶答題的因素輸入到一個(gè)決策樹模型，用來預(yù)測(cè)用戶的作答情況。

強(qiáng)化學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的有機(jī)結(jié)合取得了不錯(cuò)的成就，研究者們提出將強(qiáng)化學(xué)習(xí)與知識(shí)追蹤任務(wù)相結(jié)合建模學(xué)生的認(rèn)知情況。文獻(xiàn)[75]基于DKVMN-CA模型獲取學(xué)生的知識(shí)狀態(tài)，將系統(tǒng)對(duì)用戶推薦的習(xí)題作為當(dāng)前的動(dòng)作，學(xué)生下一時(shí)刻做k道題目的平均準(zhǔn)確率作為當(dāng)時(shí)的獎(jiǎng)勵(lì)，提出了基于強(qiáng)化學(xué)習(xí)的習(xí)題推薦方法，實(shí)現(xiàn)學(xué)習(xí)資源的個(gè)性化推薦。AIDKVMN[84]設(shè)計(jì)了智能Agent挖掘?qū)W習(xí)者與學(xué)習(xí)資源間的隱性關(guān)聯(lián)，跟蹤學(xué)生的知識(shí)狀態(tài)，進(jìn)而有針對(duì)性地向?qū)W習(xí)者提供個(gè)性化學(xué)習(xí)服務(wù)。

IRT方法能體現(xiàn)學(xué)生之間，問題之間的差異性，結(jié)合這一特性給DKVMN方法帶來了新的改進(jìn)方向。Yeung等人[85]綜合了IRT模型和DKVMN模型，使用DKVMN模型處理學(xué)生的學(xué)習(xí)軌跡，并估算學(xué)生隨時(shí)間推移的能力水平和項(xiàng)目難度水平。然后使用IRT模型通過估算的學(xué)生能力和題目難度來預(yù)測(cè)學(xué)生正確回答某項(xiàng)練習(xí)的概率。

本節(jié)梳理了基于DKVMN的新型多混合知識(shí)追蹤方法。在此過程中，結(jié)合機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等研究技術(shù)與方法提升模型精度的同時(shí)也存在一些問題：（1）文獻(xiàn)[80]依據(jù)學(xué)習(xí)者的知識(shí)掌握程度決定是否顯示提示，但沒有考慮提示問題的數(shù)量以及問題的順序。（2）在線教育數(shù)據(jù)的來源和類型極其豐富，單智能體強(qiáng)化學(xué)習(xí)算法已無法全面分析學(xué)習(xí)者的知識(shí)狀態(tài)，可以考慮將多智能體強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用到復(fù)雜的教育場(chǎng)景中。（3）以上方法在訓(xùn)練模型優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)時(shí)，都是不加區(qū)分地使用所有學(xué)生的學(xué)習(xí)數(shù)據(jù)，即訓(xùn)練模型時(shí)假設(shè)所有學(xué)生的能力相同，顯然該假設(shè)不符合學(xué)生實(shí)際學(xué)習(xí)狀態(tài)。

4 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤

現(xiàn)有的方法大多將練習(xí)記錄簡(jiǎn)化為知識(shí)序列，不能充分挖掘練習(xí)文本中蘊(yùn)含的豐富信息。根據(jù)教育領(lǐng)域中的知識(shí)轉(zhuǎn)移理論[86]，當(dāng)學(xué)習(xí)者學(xué)習(xí)一個(gè)概念時(shí)，不僅會(huì)改變現(xiàn)有知識(shí)概念的熟練程度，還會(huì)改變相關(guān)聯(lián)知識(shí)概念的掌握程度。受圖神經(jīng)網(wǎng)絡(luò)（GNN）近期成功的啟發(fā)，Nakagawa等人提出一種基于GNN的知識(shí)追蹤方法，即基于圖的知識(shí)追蹤（Graph-based Knowledge Tracing，GKT）[87]。該方法將知識(shí)結(jié)構(gòu)轉(zhuǎn)化為圖形，從而間接將知識(shí)追蹤任務(wù)重構(gòu)成GNN模型中時(shí)間序列節(jié)點(diǎn)級(jí)分類問題。

4.1 模型原理

文獻(xiàn)[87]首次將GNN應(yīng)用于知識(shí)追蹤任務(wù)中，形成GKT模型，圖6介紹了GKT的模型結(jié)構(gòu)。將一門課程知識(shí)建模為圖G=(V,E)，掌握課程知識(shí)的要求被分解為N個(gè)子知識(shí)點(diǎn)，稱為節(jié)點(diǎn)V={v1,v2,…,vN}，節(jié)點(diǎn)之間的關(guān)系定義為邊E，其中E?V×V，學(xué)生在時(shí)間步t對(duì)于知識(shí)點(diǎn)v的掌握程度建模，掌握程度會(huì)隨著時(shí)間而變化。

圖6 GKT的模型結(jié)構(gòu)Fig.6 GKT model

當(dāng)學(xué)生回答了包含知識(shí)點(diǎn)vi相關(guān)的練習(xí)時(shí)，GKT首先聚合與回答的概念相關(guān)的節(jié)點(diǎn)特征，然后更新學(xué)生對(duì)所回答概念本身及其相關(guān)概念的掌握狀態(tài)，Ni表示與vi相鄰的所有節(jié)點(diǎn)。最后預(yù)測(cè)學(xué)生在下一個(gè)時(shí)間步正確回答每個(gè)概念的概率。具體計(jì)算過程如下所示：

（1）聚合。將已經(jīng)回答的概念i及其鄰近概念j∈Ni的隱藏狀態(tài)和嵌入使用一個(gè)向量表示。

（2）更新。基于聚合特征和知識(shí)圖結(jié)構(gòu)更新隱藏狀態(tài)。其中，fself是多層的感知器，gea是Zhang等人提出的擦除-加法門，ggru表示門控遞歸單元，fneighbor是一個(gè)基于知識(shí)圖結(jié)構(gòu)定義信息向相鄰節(jié)點(diǎn)傳播的函數(shù)。

（3）預(yù)測(cè)。輸出每個(gè)學(xué)生在下一個(gè)時(shí)間步正確回答每個(gè)知識(shí)點(diǎn)的預(yù)測(cè)概率。

4.2 模型改進(jìn)

基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤（GKT）將圖神經(jīng)網(wǎng)絡(luò)與知識(shí)追蹤任務(wù)相結(jié)合。它將學(xué)習(xí)者的隱藏知識(shí)狀態(tài)編碼為圖節(jié)點(diǎn)的嵌入，根據(jù)嵌入特征向量和知識(shí)圖結(jié)構(gòu)更新隱藏狀態(tài)，最后，模型輸出下一時(shí)間步學(xué)生正確回答每個(gè)概念的預(yù)測(cè)概率。通過多個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)概念節(jié)點(diǎn)間的邊類型關(guān)系獨(dú)立建模，提高了知識(shí)追蹤的預(yù)測(cè)性能和可解釋性。

針對(duì)學(xué)生的練習(xí)記錄，題目中包含的知識(shí)點(diǎn)反映了學(xué)生在共性知識(shí)層面的掌握程度，而其文本描述則體現(xiàn)了學(xué)生對(duì)于該題目本身個(gè)性屬性（如難度等）的理解與學(xué)習(xí)。標(biāo)準(zhǔn)GKT模型沒有挖掘練習(xí)文本中蘊(yùn)含的語義信息，因此面臨著練習(xí)表征丟失問題。Liu等人[51]首次提出融合題目語義的知識(shí)追蹤模型EKT，使用Bi-LSTM網(wǎng)絡(luò)挖掘練習(xí)文本層面的個(gè)性信息，并將其融入到學(xué)生的知識(shí)變化建模過程中。然而EKT直接將練習(xí)文本輸入至特征提取器中，沒有考慮習(xí)題潛在的層次圖性質(zhì)，并且會(huì)因嵌入文本而帶來額外的噪聲。為了解決上述問題，Tong等人[88]采用層次圖神經(jīng)網(wǎng)絡(luò)推斷和聚合練習(xí)文本，捕獲層級(jí)結(jié)構(gòu)將能更加完整高效地表征習(xí)題，有效解決了習(xí)題表征丟失問題。同時(shí)結(jié)合基于attention機(jī)制的遞歸序列模型，在真實(shí)在線教育系統(tǒng)”愛學(xué)習(xí)”上進(jìn)行實(shí)驗(yàn)，證明模型的有效性。

受CNN的啟發(fā)，諸多研究者使用卷積方法處理圖形結(jié)構(gòu)數(shù)據(jù)[89-90]。圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network，GCN）被提出用于半監(jiān)督圖分類，基于自身及其鄰居的信息來更新自身節(jié)點(diǎn)表示。因此，如果使用多個(gè)圖卷積層，則更新的節(jié)點(diǎn)表示包含鄰居節(jié)點(diǎn)的屬性和高階鄰居的信息。Yang等人[91]按照這一思路提出了一種基于圖卷積神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤（GIKT）模型。利用GCNS聚合練習(xí)和知識(shí)點(diǎn)嵌入，然后從高階信息中挖掘練習(xí)和知識(shí)點(diǎn)的特征，有效緩解了學(xué)生交互數(shù)據(jù)的稀疏性問題。

本章詳細(xì)介紹了基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤，圖神經(jīng)網(wǎng)絡(luò)的信息傳播機(jī)制相較傳統(tǒng)深度學(xué)習(xí)模型更具有可解釋性[92]。基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤能夠有效學(xué)習(xí)到課程知識(shí)概念意義豐富的隱式表示，可以提高學(xué)生知識(shí)概念狀態(tài)的可解釋性。但在實(shí)際教學(xué)中，課程知識(shí)概念劃分粒度不一，這使得圖數(shù)據(jù)具有多樣的特性，會(huì)直接影響模型知識(shí)狀態(tài)評(píng)估的性能。

表4 總結(jié)了基于圖神經(jīng)網(wǎng)絡(luò)的擴(kuò)展模型主要的改進(jìn)方式和局限性。

表4 圖神經(jīng)網(wǎng)絡(luò)改進(jìn)模型對(duì)比Table 4 Comparison of improved GKT models

5 數(shù)據(jù)集與評(píng)估指標(biāo)

5.1 數(shù)據(jù)集

本章將介紹知識(shí)追蹤任務(wù)中常用的10類大型公開數(shù)據(jù)集，其簡(jiǎn)述、下載鏈接和分析如表5所示。研究者可以根據(jù)研究?jī)?nèi)容選擇不同的數(shù)據(jù)集。

表5 數(shù)據(jù)集Table 5 Data set

ASSISTments數(shù)據(jù)集是知識(shí)追蹤任務(wù)中的基準(zhǔn)數(shù)據(jù)集，該數(shù)據(jù)集是由ASSISTments在線輔導(dǎo)系統(tǒng)獲得的小學(xué)數(shù)學(xué)課程的學(xué)生答題記錄。數(shù)據(jù)集包含4類數(shù)據(jù)。

（1）ASSISTment 2009。2009—2010學(xué)年收集的ASSISTment數(shù)據(jù)，去掉重復(fù)記錄之后，包含4 151個(gè)學(xué)生在110個(gè)問題上的325 673個(gè)交互。完整數(shù)據(jù)集分為兩個(gè)不同的文件，即技能構(gòu)建數(shù)據(jù)集和非技能構(gòu)建數(shù)據(jù)集。其中，技能構(gòu)建數(shù)據(jù)集的含義為：若某學(xué)生作答數(shù)據(jù)滿足某個(gè)條件（如連續(xù)正確作答n次與該知識(shí)點(diǎn)相關(guān)的習(xí)題，其中n由老師設(shè)置，通常取值為3），則視為該學(xué)生已掌握該知識(shí)點(diǎn)；若學(xué)生使用輔導(dǎo)（“提示?+”或“將這個(gè)問題分解為步驟”），則視為該學(xué)生沒有掌握該知識(shí)點(diǎn)。此數(shù)據(jù)集在教育數(shù)據(jù)挖掘領(lǐng)域多被用于預(yù)測(cè)學(xué)生表現(xiàn)、訓(xùn)練個(gè)性化學(xué)生模型、利用聚類方法改進(jìn)學(xué)生模型等。數(shù)據(jù)集包含時(shí)間編號(hào)、問題編號(hào)、嘗試次數(shù)、序列號(hào)、老師ID等多個(gè)屬性，而應(yīng)用到知識(shí)追蹤任務(wù)時(shí)一般只使用習(xí)題ID、學(xué)生ID、學(xué)生表現(xiàn)（對(duì)/錯(cuò)）三個(gè)屬性。作為教育數(shù)據(jù)挖掘領(lǐng)域的經(jīng)典數(shù)據(jù)集，常常被用于做知識(shí)追蹤模型的基準(zhǔn)比較。

（2）ASSISTment 2012。ASSISTment 2012數(shù)據(jù)集是ASSISTments平臺(tái)收集的2012—2013學(xué)年的數(shù)據(jù)集，數(shù)據(jù)集中除了包含時(shí)間編號(hào)、問題編號(hào)、嘗試次數(shù)、序列號(hào)、老師ID等基礎(chǔ)屬性外，還包含學(xué)生心理因素特征屬性（沮喪、困惑、專注、無聊），通過不同學(xué)生心理因素表現(xiàn)程度（該值接近“0”表示不那么沮喪，接近“1”表示更加沮喪），對(duì)學(xué)生表現(xiàn)進(jìn)行預(yù)測(cè)。

（3）ASSISTments2015。ASSISTments2015數(shù)據(jù)集不包含練習(xí)ID字段，在刪除學(xué)生表現(xiàn)不是1或0的練習(xí)記錄后，包含由19 840名學(xué)生、100個(gè)知識(shí)點(diǎn)組成的708 631條交互記錄。雖然此數(shù)據(jù)集中的記錄數(shù)量多于ASSISTment 2009，但每個(gè)學(xué)生的平均記錄數(shù)量較少。此數(shù)據(jù)集是ASSISTments數(shù)據(jù)集中繼ASSISTment 2009后使用最多，模型效果最好的數(shù)據(jù)集。

（4）ASSISTment Challenges。該數(shù)據(jù)集來自ASSISTment教育數(shù)據(jù)挖掘挑戰(zhàn)賽。就練習(xí)次數(shù)而言，ASSISTment Challenges數(shù)據(jù)集是所有可用數(shù)據(jù)集中密度最高的數(shù)據(jù)集，其密度為0.81。

（5）STATICS2011。該數(shù)據(jù)集來自卡內(nèi)基梅隆大學(xué)工程靜力學(xué)課程。在力學(xué)系統(tǒng)中，每個(gè)練習(xí)都包含多個(gè)計(jì)算步驟。由于此數(shù)據(jù)集的練習(xí)題目較少，因此在知識(shí)追蹤任務(wù)中常將練習(xí)題的每個(gè)步驟作為模型的單獨(dú)輸入，即將練習(xí)ID和步驟ID一起充當(dāng)輸入。

（6）Synthetic-5。Synthetic-5數(shù)據(jù)集是由Piech等人生成利用機(jī)器生成的模擬數(shù)據(jù)，它由訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)組成，每個(gè)練習(xí)包含5個(gè)知識(shí)點(diǎn)，增加了知識(shí)點(diǎn)之間的結(jié)構(gòu)屬性、難度屬性等，該數(shù)據(jù)集的結(jié)構(gòu)良好，但由于數(shù)據(jù)集為模擬數(shù)據(jù)，每個(gè)練習(xí)都沒有真實(shí)的知識(shí)點(diǎn)標(biāo)簽。

（7）EdNet。EdNet數(shù)據(jù)集來自多平臺(tái)AI輔導(dǎo)服務(wù)系統(tǒng)Santa，在韓國擁有超過78萬用戶。EdNet提供了4個(gè)不同級(jí)別的數(shù)據(jù)集，每個(gè)級(jí)別分別命名為KT1、KT2、KT3和KT4。隨著數(shù)據(jù)集級(jí)別的增加，與學(xué)習(xí)相關(guān)的行為集更加豐富，有助于研究人員分析學(xué)生的學(xué)習(xí)參與度。同時(shí)該數(shù)據(jù)集是教育領(lǐng)域迄今為止向公眾提供的最大的真實(shí)學(xué)生互動(dòng)數(shù)據(jù)集，包含上億級(jí)學(xué)生交互記錄。

（8）Junyi Academy2015。Junyi Academy2015數(shù)據(jù)集來自在線教育網(wǎng)站Junyi Academy的交互日志，也是一個(gè)數(shù)據(jù)量極大的開源數(shù)據(jù)集，包含25萬名學(xué)生超過2 500萬的交互記錄，在使用數(shù)據(jù)集時(shí)，為了減少計(jì)算時(shí)間，一般會(huì)隨機(jī)挑選一部分學(xué)生，組成由若干練習(xí)和交互組成的子樣本。

（9）KDD Cup 2010。2010年KDD杯挑戰(zhàn)賽旨在根據(jù)學(xué)生與智能輔導(dǎo)系統(tǒng)的交互日志來預(yù)測(cè)學(xué)生在數(shù)學(xué)問題上的表現(xiàn)，共包含由6 043名學(xué)習(xí)者組成的20 012 498條交互，每條交互包含學(xué)習(xí)者ID、知識(shí)點(diǎn)所屬章節(jié)、回答正確或錯(cuò)誤、知識(shí)點(diǎn)類型、練習(xí)開始與結(jié)束時(shí)間、正確與錯(cuò)誤步驟的持續(xù)時(shí)間等屬性。在這個(gè)數(shù)據(jù)集中，學(xué)生需要解決的練習(xí)涉及多個(gè)步驟，每個(gè)步驟都與一個(gè)或多個(gè)知識(shí)點(diǎn)相關(guān)聯(lián)。此外，學(xué)習(xí)者在做題過程中可以請(qǐng)求系統(tǒng)提示，但只要請(qǐng)求提示后該題會(huì)被標(biāo)記為錯(cuò)誤回答。

（10）NeurIPS 2020 Education Challenge。數(shù)據(jù)來源于Eedi在NeurIPS會(huì)議上發(fā)起了一項(xiàng)預(yù)測(cè)建模挑戰(zhàn)賽，包含2018年9月至2020年5月期間學(xué)生對(duì)多項(xiàng)選擇題的回答記錄。比賽通過分析學(xué)生選擇的錯(cuò)誤答案揭示了他們出錯(cuò)的原因，找出隱藏在錯(cuò)誤答案中的有價(jià)值信息，該模式為知識(shí)追蹤的建模提供了更廣闊的空間。

5.2 評(píng)估指標(biāo)

在KT任務(wù)中，一般從回歸和分類兩個(gè)角度評(píng)估模型的預(yù)測(cè)性能。從回歸的角度出發(fā)，包括平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）兩個(gè)指標(biāo)。此外，也可以從分類角度對(duì)模型進(jìn)行評(píng)價(jià)，包括預(yù)測(cè)準(zhǔn)確度（ACC）、ROC曲線下部分的面積（AUC）兩個(gè)評(píng)估指標(biāo)。MAE、RMSE、ACC計(jì)算公式分別為：

其中，n表示學(xué)生作答的習(xí)題個(gè)數(shù)，h(x()i)表示第i個(gè)習(xí)題得分的預(yù)測(cè)值，y()i表示第i個(gè)習(xí)題得分的真實(shí)值，right表示模型預(yù)測(cè)正確的個(gè)數(shù)，N表示學(xué)生作答的習(xí)題個(gè)數(shù)。

AUC為二元預(yù)測(cè)評(píng)估提供了一個(gè)健壯的度量，表示模型預(yù)測(cè)的正例排在負(fù)例前面的概率。AUC得分為0.5表示模型性能與隨機(jī)分類效果相同，AUC越高表示模型性能越好。特別是在樣本極端不平衡的情況下，AUC指標(biāo)在評(píng)價(jià)模型性能方面效果更佳，因此大多數(shù)研究以AUC作為模型的最終評(píng)價(jià)指標(biāo)。

6 模型對(duì)比與分析

綜上，DKT、DKVMN、GKT三類深度知識(shí)追蹤模型都是基于學(xué)習(xí)者的歷史答題情況，跟蹤學(xué)習(xí)者的知識(shí)狀態(tài)變化，預(yù)測(cè)他在下一個(gè)練習(xí)的表現(xiàn)。如表6所示，這三類模型在知識(shí)狀態(tài)的定義和概念交互方面具有一定的差異。

表6 模型比較Table 6 Model comparison

（1）學(xué)生知識(shí)狀態(tài)ht的定義。DKT利用遞歸神經(jīng)網(wǎng)絡(luò)（如RNN、LSTM）將學(xué)生的認(rèn)知狀態(tài)概括在一個(gè)高維、連續(xù)的隱藏向量中，因此追蹤學(xué)生對(duì)某一知識(shí)概念的掌握水平比較困難。為解決上述問題，香港中文大學(xué)的施行建等人于2017年提出DKVMN模型，DKVMN可以自動(dòng)學(xué)習(xí)輸入練習(xí)文本和潛在概念之間的關(guān)聯(lián)，引入外部記憶矩陣存儲(chǔ)學(xué)生的知識(shí)狀態(tài)，而且無需增加模型參數(shù)數(shù)量，提高了模型計(jì)算效率。受到GNN近期在其他領(lǐng)域成功的啟發(fā)，Nakagawa等人將圖神經(jīng)網(wǎng)絡(luò)引入知識(shí)追蹤任務(wù)中，基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)追蹤方法假設(shè)學(xué)生在每個(gè)時(shí)刻對(duì)每個(gè)知識(shí)點(diǎn)都有獨(dú)立的知識(shí)狀態(tài)，將知識(shí)結(jié)構(gòu)圖形表示，為每個(gè)知識(shí)概念建立狀態(tài)模型，其圖形化描述如圖7所示。

圖7 DKT、DKVMN和GKT學(xué)生知識(shí)狀態(tài)Fig.7 Knowledge status of DKT，DKVMN and GKT students

（2）知識(shí)狀態(tài)更新過程中概念間的交互方式。在DKT中，概念之間無明顯交互。在DKVMN中，使用點(diǎn)積注意機(jī)制計(jì)算原始輸入概念和潛在概念之間的關(guān)系權(quán)重，但這不足以模擬知識(shí)概念之間復(fù)雜和多重的關(guān)系。繼而，GKT利用K個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)K個(gè)輸入概念之間的關(guān)系權(quán)值進(jìn)行建模，實(shí)現(xiàn)了對(duì)知識(shí)概念之間多個(gè)復(fù)雜關(guān)系的建模。三種模型更新方式的圖形化描述如圖8、9所示。最后，利用AUC指標(biāo)評(píng)估不同模型在3個(gè)公開數(shù)據(jù)集上的表現(xiàn)，如圖10所示（對(duì)比結(jié)果引自文獻(xiàn)[36]、[87]）。

圖8 DKVMN和GKT知識(shí)狀態(tài)更新過程中概念間的相互作用Fig.8 Interaction between concepts in process of knowledge state updating of DKVMN and GKT

圖10 AUC比較Fig.10 AUC comparison

7 總結(jié)和展望

隨著知識(shí)追蹤的研究和應(yīng)用的不斷深入，其發(fā)展方向主要包括優(yōu)化學(xué)生知識(shí)結(jié)構(gòu)、關(guān)注學(xué)生內(nèi)隱學(xué)習(xí)特征、主觀題自動(dòng)測(cè)評(píng)、驅(qū)動(dòng)教學(xué)模式改革以及建模不同領(lǐng)域，具體內(nèi)容為：

圖9 描述語言Fig.9 Description language

（1）融合教育知識(shí)圖譜?，F(xiàn)有的研究大多數(shù)都是基于學(xué)習(xí)者與智能輔導(dǎo)系統(tǒng)采集的學(xué)習(xí)軌跡數(shù)據(jù)作為輸入，建模的維度比較單一。教育知識(shí)圖譜作為一個(gè)新興的研究方向，是一種建立知識(shí)與學(xué)習(xí)資源關(guān)聯(lián)關(guān)系的有效手段。一方面，可以利用教育知識(shí)圖譜來描述學(xué)習(xí)資源之間的關(guān)系，作為知識(shí)追蹤模型的輔助數(shù)據(jù)。另一方面，認(rèn)知圖式深刻影響著學(xué)習(xí)者的學(xué)習(xí)活動(dòng)，而知識(shí)追蹤可以獲取學(xué)習(xí)者的認(rèn)知水平。如何將學(xué)習(xí)者自身的認(rèn)知結(jié)構(gòu)以知識(shí)圖譜的方式可視化展現(xiàn)出來，如何實(shí)現(xiàn)知識(shí)圖譜與學(xué)習(xí)者水平的同步更新等，都是未來的研究方向。

（2）內(nèi)隱知識(shí)顯性化。學(xué)習(xí)者的認(rèn)知加工過程是非常復(fù)雜的，存在諸多顯性與隱性的相關(guān)因素，已有的知識(shí)追蹤方法考慮學(xué)習(xí)過程中的顯性認(rèn)知行為，即學(xué)習(xí)者的知識(shí)掌握狀態(tài)；而對(duì)于隱性的相關(guān)因素，如心理特征、學(xué)習(xí)態(tài)度、學(xué)習(xí)情緒等多模態(tài)數(shù)據(jù)，并未加以考慮。EEG-KT[93]模型使用腦電圖（electroencephalogram，EEG）設(shè)備監(jiān)測(cè)學(xué)生的心理狀態(tài)，以改進(jìn)對(duì)學(xué)生隱性知識(shí)狀態(tài)的評(píng)估，提高了BKT模型的預(yù)測(cè)性能。因此，未來研究可以考慮如何通過捕捉學(xué)生的腦電、眼動(dòng)、肢體動(dòng)作等分析學(xué)生的專注度情況；如何建立有考量學(xué)習(xí)者學(xué)習(xí)情緒的知識(shí)追蹤模型，融合人工智能、學(xué)習(xí)分析等新興技術(shù)，為更近一步的模擬學(xué)生的真實(shí)學(xué)習(xí)情境提供數(shù)據(jù)支持。

（3）主觀題自動(dòng)測(cè)評(píng)。知識(shí)追蹤模型自提出以來，大部分研究工作都致力于用二元結(jié)果來模擬學(xué)生的表現(xiàn)。但是在實(shí)際學(xué)習(xí)中，練習(xí)的對(duì)象一般分為有客觀題和主觀題。主觀題由于是“發(fā)揮性題目”，往往帶有主觀性，多數(shù)沒有唯一標(biāo)準(zhǔn)答案。將學(xué)生的真實(shí)文本答案轉(zhuǎn)換為向量作為輸入極其困難，因此大部分KT模型無法針對(duì)主觀題建模。因此，未來的研究應(yīng)該利用學(xué)生給出精確答案的詳細(xì)描述作為KT模型的輸入，結(jié)合深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)主觀習(xí)題的自動(dòng)批改，提高知識(shí)追蹤模型的適用范圍。

（4）驅(qū)動(dòng)教學(xué)策略改革。知識(shí)追蹤模型比判斷學(xué)習(xí)者知識(shí)掌握的傳統(tǒng)方法提供了更豐富的動(dòng)態(tài)信息。同時(shí)，結(jié)合其他學(xué)習(xí)分析技術(shù)，持續(xù)地采集更多微觀的過程性數(shù)據(jù)，比如學(xué)生的學(xué)習(xí)軌跡、在每道作業(yè)題上逗留的時(shí)間等，形成學(xué)生數(shù)據(jù)的測(cè)評(píng)報(bào)告，幫助教育者分析每位學(xué)生的興趣點(diǎn)、知識(shí)缺陷。因此，未來的研究可以關(guān)注如何使教學(xué)材料的呈現(xiàn)形式與學(xué)習(xí)者偏好的學(xué)習(xí)方式相匹配，如何根據(jù)學(xué)習(xí)者的認(rèn)知水平匹配不同的教學(xué)材料，從而設(shè)計(jì)更加靈活多樣、更具有針對(duì)性的教學(xué)策略。

（5）針對(duì)不同領(lǐng)域建?！，F(xiàn)有的KT模型大多針對(duì)單學(xué)科建模，并且特定學(xué)科（例如，數(shù)學(xué)）模型不能直接移植于其他學(xué)科（例如，物理）。因而為每個(gè)學(xué)科構(gòu)建領(lǐng)域模型是復(fù)雜且耗時(shí)的。Cheng等人[28]首次提出了一種自適應(yīng)知識(shí)追蹤（AKT）框架，實(shí)現(xiàn)了領(lǐng)域間良好的信息傳遞。Cheng等人的研究為解決領(lǐng)域適配問題奠定了初步的基礎(chǔ)，然而，AKT對(duì)超參數(shù)比較敏感，如何更合理地建模，使其不需要手動(dòng)設(shè)置超參數(shù)是一個(gè)值得研究的問題。因此，未來的研究應(yīng)該根據(jù)不同學(xué)科的特點(diǎn)，嘗試使用其他算法或引入其他模型解決教育數(shù)據(jù)挖掘中的其他預(yù)測(cè)問題，進(jìn)一步提高知識(shí)追蹤跨領(lǐng)域建模的準(zhǔn)確率。

知識(shí)追蹤模型根據(jù)學(xué)生動(dòng)態(tài)的習(xí)題作答表現(xiàn)追蹤學(xué)習(xí)者的知識(shí)狀態(tài)、預(yù)測(cè)其掌握水平和未來表現(xiàn)，已被廣泛應(yīng)用于智能教學(xué)系統(tǒng)中。隨著深度學(xué)習(xí)技術(shù)在知識(shí)追蹤領(lǐng)域中發(fā)揮愈加關(guān)鍵的作用，采用知識(shí)追蹤的個(gè)性化建模將會(huì)有更廣泛的需求與應(yīng)用。本文從建模方法的角度對(duì)現(xiàn)有深度知識(shí)追蹤模型進(jìn)行研究綜述，梳理和分析了三類最新的深度知識(shí)追蹤模型以及擴(kuò)展模型，揭示了深度學(xué)習(xí)方法與學(xué)生交互序列建模任務(wù)之間的關(guān)系。

自2015年深度知識(shí)追蹤問世，知識(shí)追蹤模型的研究是計(jì)算機(jī)領(lǐng)域和教育領(lǐng)域的熱點(diǎn)問題，應(yīng)依據(jù)建模任務(wù)和數(shù)據(jù)特點(diǎn)選擇模型。未來將持續(xù)探索深度知識(shí)追蹤與教育場(chǎng)景的深度融合。