融合遺忘和知識(shí)點(diǎn)重要度的認(rèn)知診斷模型

劉宇鵬 張雷

融合遺忘和知識(shí)點(diǎn)重要度的認(rèn)知診斷模型

劉宇鵬 張雷

（哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150001）

智慧教育是人工智能的重點(diǎn)研究方向，如何利用試題中知識(shí)點(diǎn)并對(duì)學(xué)生的認(rèn)知過(guò)程進(jìn)行刻畫(huà)是重中之重。針對(duì)認(rèn)知診斷模型對(duì)學(xué)生和試題及其交互信息挖掘不充分的問(wèn)題，文中提出了融合遺忘和知識(shí)點(diǎn)重要度的認(rèn)知診斷模型。該模型根據(jù)學(xué)生對(duì)試題和知識(shí)點(diǎn)的歷史交互，結(jié)合知識(shí)點(diǎn)難度信息引入遺忘因素，緩解了對(duì)學(xué)生信息挖掘不充分的問(wèn)題；通過(guò)注意力機(jī)制獲取試題對(duì)知識(shí)點(diǎn)的考查重要度信息，緩解了對(duì)試題信息挖掘不充分的問(wèn)題；通過(guò)Transformer學(xué)習(xí)學(xué)生與試題間的交互，緩解了學(xué)生與試題交互不充分的問(wèn)題。在經(jīng)典數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，文中模型在Math1、Math2、Assistment數(shù)據(jù)集上的準(zhǔn)確率cc、均方根誤差RMSE、受試曲線(xiàn)面積AUC值分別為0.716、0.445、0.776、0.725、0.432、0.807、0.741、0.427和0.779，優(yōu)于現(xiàn)有的其他對(duì)比模型，說(shuō)明了知識(shí)重要度和時(shí)效性對(duì)于認(rèn)知建模的重要性。

認(rèn)知診斷；注意力機(jī)制；轉(zhuǎn)換器；知識(shí)點(diǎn)重要度；遺忘信息

現(xiàn)在有大量的工作是根據(jù)學(xué)生的個(gè)性化知識(shí)進(jìn)行個(gè)性化教育資源推薦，而認(rèn)知診斷（CDM）［1］在提取學(xué)生認(rèn)知水平時(shí)發(fā)揮著不可替代的作用。如何通過(guò)學(xué)生歷史學(xué)習(xí)信息準(zhǔn)確刻畫(huà)其知識(shí)掌握水平，是認(rèn)知診斷研究的關(guān)鍵問(wèn)題。近年來(lái)眾多學(xué)者提出了許多認(rèn)知診斷模型，如確定性輸入噪音與門(mén)模型（DINA）［2］、項(xiàng)目反應(yīng)理論模型（IRT）［3］、多維IRT（MIRT）［4］和深度IRT模型（DIRT）［5］等。大部分模型直接利用學(xué)生對(duì)試題的作答記錄進(jìn)行認(rèn)知診斷，忽略了學(xué)生學(xué)習(xí)過(guò)程中的一些重要因素。教育心理學(xué)家認(rèn)為，學(xué)習(xí)過(guò)程不是靜態(tài)的，學(xué)生在學(xué)習(xí)過(guò)程中都會(huì)有遺忘過(guò)程，因此遺忘因素是學(xué)生學(xué)習(xí)過(guò)程中的一個(gè)重要因素。另外，認(rèn)知診斷模型大都將工作聚焦于學(xué)生角度，建模學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度，而忽略了試題與知識(shí)點(diǎn)間的緊密聯(lián)系。大多數(shù)認(rèn)知診斷模型在提取學(xué)生與試題的交互信息時(shí)過(guò)于簡(jiǎn)單，難以捕捉到學(xué)生和試題間更深層的復(fù)雜關(guān)系。針對(duì)上述問(wèn)題，文中提出了融合遺忘和知識(shí)點(diǎn)重要度的認(rèn)知診斷模型。針對(duì)認(rèn)知診斷模型忽略了學(xué)生學(xué)習(xí)過(guò)程中一些重要因素的問(wèn)題，在認(rèn)知診斷模型基礎(chǔ)之上，引入了遺忘信息，文中從知識(shí)點(diǎn)的角度出發(fā)，將學(xué)生對(duì)知識(shí)點(diǎn)的作答頻率和知識(shí)點(diǎn)的難度經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)獲取遺忘信息，預(yù)測(cè)過(guò)程中新增了一個(gè)時(shí)間因子擬合時(shí)間對(duì)遺忘的影響；針對(duì)認(rèn)知診斷模型聚焦于學(xué)生角度，忽略了試題與知識(shí)點(diǎn)的緊密聯(lián)系問(wèn)題，文中從試題角度出發(fā)，利用試題和知識(shí)點(diǎn)之間的緊密關(guān)系，經(jīng)過(guò)注意力機(jī)制獲取與試題聯(lián)系更緊密的知識(shí)點(diǎn)重要度，更新認(rèn)知診斷的試題因素；針對(duì)認(rèn)知診斷模型獲取學(xué)生與試題交互不充分的問(wèn)題，文中將各個(gè)診斷因素進(jìn)行融合以提升診斷精度。

1　相關(guān)工作

式中：為學(xué)生i對(duì)試題j的作答結(jié)果，；分別為猜測(cè)因素和失誤因素；為學(xué)生對(duì)試題知識(shí)點(diǎn)掌握程度的總結(jié)；為學(xué)生i的知識(shí)點(diǎn)掌握程度向量；為試題j知識(shí)點(diǎn)k的考查情況；K為知識(shí)點(diǎn)個(gè)數(shù)。當(dāng)學(xué)生掌握了試題的所有考查知識(shí)點(diǎn)時(shí)，取1，否則取0。

DINA具有很好的解釋性和可拓展性，是認(rèn)知診斷中最廣泛使用的方法，非常適用對(duì)二值計(jì)分項(xiàng)目的得分預(yù)測(cè)。

此后許多學(xué)者在此基礎(chǔ)上進(jìn)行了改進(jìn)。Zhu等［6］提出了一種多任務(wù)-多維認(rèn)知診斷框架（MT-MCD），用于同時(shí)對(duì)不同考試的學(xué)生進(jìn)行評(píng)估。Liu等［7］基于模糊集合理論和教育假設(shè)，提出了一個(gè)模糊認(rèn)知診斷框架，用來(lái)模擬學(xué)生的認(rèn)知水平。Xu等［8］提出了兩個(gè)新的概率圖模型，可提高同伴評(píng)估的準(zhǔn)確性。這些模型都取得了一定的效果，但大都依賴(lài)于人工設(shè)計(jì)的函數(shù)獲取交互，不能很好地捕捉學(xué)生與試題之間的復(fù)雜關(guān)系。

深度知識(shí)追蹤模型第一次將循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）用于知識(shí)追蹤［9］，但其知識(shí)追蹤只能對(duì)學(xué)生的試題得分進(jìn)行預(yù)測(cè)，不能診斷出學(xué)生對(duì)知識(shí)點(diǎn)的掌握水平，因此不能很好地應(yīng)用于認(rèn)知診斷。在深度學(xué)習(xí)基礎(chǔ)上，Gierl等［10］將神經(jīng)網(wǎng)絡(luò)應(yīng)用于小樣本認(rèn)知診斷任務(wù)中，取得了不錯(cuò)的效果。Cheng等［5］提出了深度項(xiàng)目反應(yīng)理論（DIRT）框架，用深度學(xué)習(xí)代表問(wèn)題文本中的語(yǔ)義。Wang等［11］針對(duì)認(rèn)知診斷中只使用簡(jiǎn)單函數(shù)獲取學(xué)生與試題交互導(dǎo)致的診斷精確不夠的問(wèn)題，提出了神經(jīng)認(rèn)知診斷，使用神經(jīng)網(wǎng)絡(luò)獲取學(xué)生與試題的交互函數(shù)。然而，影響診斷結(jié)果的因素有很多，研究表明，知識(shí)點(diǎn)重要性對(duì)診斷結(jié)果的影響很大。在知識(shí)追蹤任務(wù)中，李曉光等［12］將知識(shí)點(diǎn)重要性與試題結(jié)合，提升了得分預(yù)測(cè)準(zhǔn)確度，證明了知識(shí)點(diǎn)重要度與試題結(jié)合的必要性。另外，現(xiàn)有的認(rèn)知診斷工作大都處在靜態(tài)場(chǎng)景中，即認(rèn)為學(xué)生的認(rèn)知狀態(tài)在某個(gè)階段不發(fā)生變化。這不符合實(shí)際，因?yàn)楝F(xiàn)實(shí)生活中，每個(gè)人都有一個(gè)遺忘過(guò)程［13］。因此，遺忘因素是非常重要的診斷因素。

2　方法描述

文中提出的融合遺忘和知識(shí)點(diǎn)重要度的認(rèn)知診斷模型FK-CD包括輸入部分、知識(shí)點(diǎn)重要度獲取模塊、學(xué)生遺忘信息獲取模塊、信息融合與得分預(yù)測(cè)部分，如圖2所示。

2.1　知識(shí)點(diǎn)重要度獲取模塊

在真實(shí)世界中，每個(gè)試題考查的知識(shí)點(diǎn)重要度是不同的。有的知識(shí)點(diǎn)作為試題的重點(diǎn)考查，是解答該試題的關(guān)鍵；有的知識(shí)點(diǎn)則考查程度不高，對(duì)學(xué)生的掌握程度要求也不高。因此，不同知識(shí)點(diǎn)相對(duì)于該試題的重要度對(duì)學(xué)生答題能力有影響。文中使用注意力機(jī)制來(lái)獲取試題對(duì)知識(shí)點(diǎn)的考查側(cè)重（關(guān)聯(lián)），計(jì)算方法為

在得到知識(shí)點(diǎn)考查權(quán)重后，帶有知識(shí)點(diǎn)考查重要度的試題表示向量為

2.2　遺忘信息獲取模塊

圖2　FK-CD模型圖

2.3　信息融合與得分預(yù)測(cè)模塊

受到Wang等［11］的啟發(fā)，文中在其融合方式基礎(chǔ)上，對(duì)試題因素進(jìn)行了更新，將含有知識(shí)點(diǎn)重要性的試題因素、學(xué)生因素、知識(shí)點(diǎn)難度因素和試題區(qū)分度等診斷因素進(jìn)行融合，即

融合的結(jié)果可以作為對(duì)學(xué)生與試題交互信息的初步提取。為了獲取更深層次的交互特征，提升診斷精確率，考慮到學(xué)生對(duì)試題交互的時(shí)序性影響，文中以Transformer網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，在輸入模塊進(jìn)行合理的設(shè)計(jì)，輸出模塊引入遺忘信息，生成預(yù)測(cè)得分。該網(wǎng)絡(luò)模型包含輸入、編碼器、解碼器和預(yù)測(cè)得分4個(gè)部分，如圖2所示。

（2）位置編碼。這里采用正余弦函數(shù)位置編碼，即

在最終的輸出前，引入學(xué)生對(duì)試題的遺忘因素，經(jīng)過(guò)一個(gè)線(xiàn)性變換層和Sigmoid層輸出預(yù)測(cè)得分概率。

3　實(shí)驗(yàn)與結(jié)果分析

3.1　數(shù)據(jù)集

文中使用了教育領(lǐng)域的3個(gè)公開(kāi)數(shù)據(jù)集，包括Assistment數(shù)據(jù)集［14］、Math1數(shù)據(jù)集和Math2數(shù)據(jù)集［15］。Assistment數(shù)據(jù)集是一個(gè)網(wǎng)上在線(xiàn)教學(xué)輔導(dǎo)系統(tǒng)收集到的小學(xué)生對(duì)數(shù)學(xué)練習(xí)題的作答記錄，包含學(xué)生id、試題id、知識(shí)點(diǎn)id、交互時(shí)間和知識(shí)點(diǎn)名稱(chēng)等信息。Xiong等［16］針對(duì)數(shù)據(jù)重復(fù)問(wèn)題將Assistment數(shù)據(jù)集進(jìn)行了修正并公開(kāi)。文中使用修正后的版本。Math1和Math2數(shù)據(jù)集是某個(gè)學(xué)校的髙中數(shù)學(xué)期末聯(lián)考試題數(shù)據(jù)，包含學(xué)生試題交互數(shù)據(jù)和試題知識(shí)點(diǎn)關(guān)聯(lián)矩陣。數(shù)據(jù)集的基本情況如表1所示。

表1　數(shù)據(jù)集概況

Table 1　Dataset overview

數(shù)據(jù)集學(xué)生數(shù)試題數(shù)知識(shí)點(diǎn)數(shù)作答記錄試題平均知識(shí)點(diǎn)數(shù) Assistment4 16317 746123324 5721.19 Math14 209151163 1353.20 Math23 911161662 5763.25

3.2　對(duì)比模型

為了評(píng)估文中模型的性能，將文中提出的FK-CD模型與傳統(tǒng)模型、基于神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行比較，這些模型包括：

（1）PMF［17］模型，根據(jù)學(xué)生和試題的隱含特征進(jìn)行得分預(yù)測(cè)；

（2）DINA［2］模型，使用二進(jìn)制向量對(duì)學(xué)生的知識(shí)水平向量進(jìn)行建模的認(rèn)知診斷模型；

（3）IRT［3］模型，使用連續(xù)值為學(xué)生建模的一種認(rèn)知診斷方法；

（4）MIRT［4］模型，使用多維能力為學(xué)生建模；

（5）DIRT［5］模型，使用深度學(xué)習(xí)提升IRT診斷效果，挖掘了問(wèn)題文本的語(yǔ)義表示；

（6）NeuralCD［11］模型，使用神經(jīng)網(wǎng)絡(luò)獲取學(xué)生與試題的交互函數(shù)，提升診斷精確度；

（7）IKNCD［18］模型，根據(jù)試題考查知識(shí)點(diǎn)次數(shù)，獲取知識(shí)點(diǎn)自身重要度，改進(jìn)神經(jīng)認(rèn)知診斷。

3.3　實(shí)驗(yàn)結(jié)果分析

文中通過(guò)準(zhǔn)確率（cc）、均方根誤差（RMSE）、受試曲線(xiàn)面積（AUC）、1指標(biāo)分析模型的性能。8個(gè)模型在3個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示。Math1和Math2的數(shù)據(jù)量相對(duì)較小，Assistment數(shù)據(jù)集的數(shù)據(jù)量相對(duì)較大。從表中可以看出：文中模型在3個(gè)數(shù)據(jù)集上都取得了不錯(cuò)的效果；文中模型與IKNCD模型相比，在3個(gè)數(shù)據(jù)集上的cc和AUC分別提升了2.9%、2.8%、0.7%和2.2%、3.0%、1.7%，RMSE分別降低了0.7%、1.2%、1.1%。實(shí)驗(yàn)結(jié)果驗(yàn)證了FK-CD模型在學(xué)生成績(jī)預(yù)測(cè)任務(wù)上的性能最優(yōu)。

圖3展示了8個(gè)模型在3個(gè)數(shù)據(jù)集上的1分?jǐn)?shù)，從圖中可以看出，文中模型的效果要優(yōu)于其他模型，而且使用神經(jīng)網(wǎng)絡(luò)的模型效果明顯優(yōu)于傳統(tǒng)模型，從而證明了利用神經(jīng)網(wǎng)絡(luò)的有效性。

圖3　8個(gè)模型在不同數(shù)據(jù)集上的F1值

3.4　消融實(shí)驗(yàn)

為了驗(yàn)證知識(shí)點(diǎn)重要度與學(xué)生遺忘對(duì)最終得分預(yù)測(cè)的影響，文中進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如表3所示。其中，F(xiàn)-CD表示僅考慮遺忘因素的影響而不使用Transformer網(wǎng)絡(luò)，K-CD表示僅考慮知識(shí)點(diǎn)重要度因素的影響而不使用Transformer網(wǎng)絡(luò)，F(xiàn)K-CDT表示考慮了遺忘因素和知識(shí)點(diǎn)重要度因素而不使用Transformer網(wǎng)絡(luò)。從表中可以看出：在3個(gè)數(shù)據(jù)集上，F(xiàn)-CD、K-CD和FK-CDT相對(duì)于FK-CD的預(yù)測(cè)性能都有一些下降；在Math1和Math2數(shù)據(jù)集上，F(xiàn)-CD的性能下降較大，這可能是由于這兩個(gè)數(shù)據(jù)集的數(shù)據(jù)量較小的原因。由此可以證明，增加知識(shí)點(diǎn)重要度和遺忘信息對(duì)預(yù)測(cè)結(jié)果有很大的影響，使用Transformer網(wǎng)絡(luò)獲取學(xué)生與試題的交互可以提升預(yù)測(cè)精度。

表2　8個(gè)模型的實(shí)驗(yàn)結(jié)果對(duì)比

Table 2　Comparison of experimental results among eight models

模型AccRMSEAUC Math1Math2AssistmentMath1Math2AssistmentMath1Math2Assistment DINA0.5930.5920.6500.4870.4750.4670.6860.6830.676 IRT0.6120.6100.6740.4800.4710.4640.7020.6990.685 PMF0.6050.6030.6590.4830.4720.4710.7010.6980.732 MIRT0.6230.6190.6930.4730.4660.4660.7070.7010.713 DIRT0.6360.6390.7050.4650.4650.4530.7170.7200.722 NeuralCD0.6770.6880.7190.4600.4540.4390.7400.7600.735 IKNCD0.6870.6970.7340.4520.4440.4380.7540.7770.762 FK-CD0.7160.7250.7410.4450.4320.4270.7760.8070.779

表3　消融實(shí)驗(yàn)結(jié)果

Table 3　Ablation experimental results

模型AccRMSEAUC Math1Math2AssistmentMath1Math2AssistmentMath1Math2Assistment F-CD0.6810.7030.7350.4530.4420.4380.7600.7810.767 K-CD0.6980.7070.7370.4490.4400.4370.7700.7870.767 FK-CDT0.6990.7100.7380.4490.4390.4350.7720.7890.769 FK-CD0.7160.7250.7410.4450.4320.4270.7760.8070.779

3.5　注意力模塊的頭數(shù)和層數(shù)對(duì)模型性能的影響

Transformer網(wǎng)絡(luò)中，注意力部分可以通過(guò)設(shè)置不同頭數(shù)和層數(shù)獲取不同的結(jié)果。對(duì)這兩個(gè)重要參數(shù)的不同選值進(jìn)行實(shí)驗(yàn)分析，通過(guò)在3個(gè)數(shù)據(jù)集上的AUC值的比較，選取最合適的參數(shù)值，結(jié)果如圖4所示。圖中表明，本模型不需要深層的網(wǎng)絡(luò)結(jié)構(gòu)，在注意力模塊層數(shù)為2時(shí)效果最佳，不同注意力模塊頭數(shù)的結(jié)果相差不大，8個(gè)頭時(shí)效果最佳。

圖4　不同注意力模塊頭數(shù)和層數(shù)時(shí)文中模型的AUC值

3.6　模型解釋性實(shí)驗(yàn)

為了評(píng)估文中提出模型的可解釋性，判斷診斷結(jié)果是否合理，進(jìn)行了模型解釋性實(shí)驗(yàn)。根據(jù)實(shí)際經(jīng)驗(yàn)，假設(shè)兩個(gè)學(xué)生中如果學(xué)生相對(duì)于學(xué)生在知識(shí)點(diǎn)上的掌握程度更好，則學(xué)生相比于學(xué)生答對(duì)考查知識(shí)點(diǎn)的試題的可能性更大。為了驗(yàn)證文中提出的模型符合上述合理假設(shè)，采用一致性程度（DOA）［11］指標(biāo)評(píng)估模型的可解釋性。

最后，對(duì)所有知識(shí)點(diǎn)的DOA求平均，得到模型的DOA值。DOA值代表學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度比學(xué)生高的同時(shí)，學(xué)生對(duì)考查知識(shí)點(diǎn)的試題的答對(duì)率也高于學(xué)生的概率。DOA值越大，說(shuō)明模型越好。

本次實(shí)驗(yàn)中，在3個(gè)數(shù)據(jù)集上都進(jìn)行了模型的解釋性實(shí)驗(yàn)，并將結(jié)果與NeuralCD和IKNCD模型進(jìn)行對(duì)比，結(jié)果如表4所示。從表中可以看出，文中提出的FK-CD模型的DOA值在3個(gè)數(shù)據(jù)集上均高于NeuralCD和IKNCD模型的DOA值，這表明了FK-CD模型獲取的學(xué)生知識(shí)掌握水平相對(duì)于NeuralCD和IKNCD兩種模型更加合理和符合實(shí)際。

表4　在不同數(shù)據(jù)集上3個(gè)模型的DOA結(jié)果對(duì)比

Table 4　Comparison of DOA results among three models on different datasets

數(shù)據(jù)集DOA NeuralCDIKNCDFK-CD Math10.6670.6730.691 Math20.6170.6250.637 Assistment0.7950.8050.818

3.7　實(shí)例分析

為了驗(yàn)證文中提出方法的有效性，在Assistment數(shù)據(jù)集中選取了2名學(xué)生、3道試題還有與這3道試題相關(guān)的4個(gè)知識(shí)點(diǎn)。表5展示了試題和知識(shí)點(diǎn)的相關(guān)信息以及兩名學(xué)生對(duì)各試題的作答情況。圖5（a）為知識(shí)點(diǎn)難度雷達(dá)圖，展示了融合試題-知識(shí)點(diǎn)考查重要度的知識(shí)點(diǎn)難度。圖5（b）和圖5（c）展示了通過(guò)FK-CD模型獲取的兩名學(xué)生的認(rèn)知診斷結(jié)果，由于知識(shí)點(diǎn)難度、學(xué)生遺忘因素和學(xué)生先驗(yàn)知識(shí)點(diǎn)掌握程度的不同，表5中學(xué)生雖然答對(duì)了包含知識(shí)點(diǎn)“絕對(duì)值”“加法”“單位轉(zhuǎn)換”“乘法”的題，但該學(xué)生對(duì)這些知識(shí)點(diǎn)的掌握程度并不相同，學(xué)生同理。

表5　試題對(duì)知識(shí)點(diǎn)的考查程度和學(xué)生作答結(jié)果

Table 5　Examination degree of knowledge points in the test questions and the results of students’ answers

知識(shí)點(diǎn)單位費(fèi)率單位轉(zhuǎn)換乘法絕對(duì)值加法學(xué)生a學(xué)生b 試題111000錯(cuò)對(duì) 試題201100對(duì)對(duì) 試題300011對(duì)錯(cuò)

理論上，當(dāng)學(xué)生對(duì)試題考查的知識(shí)點(diǎn)的掌握水平高于試題考查知識(shí)點(diǎn)的難度時(shí)，學(xué)生更容易答對(duì)試題。例如，從圖5中可以看出，試題1考查了知識(shí)點(diǎn)“單位費(fèi)率”和知識(shí)點(diǎn)“單位轉(zhuǎn)換”，并且兩個(gè)知識(shí)點(diǎn)的難度分別為0.4和0.6，大于學(xué)生對(duì)這兩個(gè)知識(shí)點(diǎn)的掌握程度0.1和0.4，小于等于學(xué)生對(duì)這兩個(gè)知識(shí)點(diǎn)的掌握程度0.6和0.6，因此預(yù)測(cè)學(xué)生對(duì)試題1的作答結(jié)果為錯(cuò)，而預(yù)測(cè)學(xué)生對(duì)試題1的作答結(jié)果為正確，與表5中的實(shí)際作答結(jié)果相符。按此方法，從圖5中可以看出，模型獲得的學(xué)生的知識(shí)點(diǎn)掌握程度均符合預(yù)期結(jié)果。從而證明了FK-CD模型的有效性和可解釋性。

圖5　試題知識(shí)點(diǎn)難度和學(xué)生對(duì)知識(shí)點(diǎn)的掌握雷達(dá)圖

4　結(jié)語(yǔ)

針對(duì)認(rèn)知診斷模型對(duì)學(xué)生和試題及其交互信息挖掘不充分的問(wèn)題，文中提出了融合遺忘和知識(shí)點(diǎn)重要度的認(rèn)知診斷模型，該模型考慮了學(xué)生在測(cè)試過(guò)程中每個(gè)人固有的遺忘特性和試題對(duì)知識(shí)點(diǎn)實(shí)際考查重要度對(duì)認(rèn)知診斷模型得分預(yù)測(cè)結(jié)果產(chǎn)生的重要影響；設(shè)計(jì)了獲取學(xué)生遺忘因素和知識(shí)點(diǎn)考查重要度因素的方法，將各因素融合并通過(guò)Transformer網(wǎng)絡(luò)來(lái)獲取學(xué)生與試題的交互信息，以提升診斷結(jié)果。實(shí)驗(yàn)結(jié)果表明，在Math1、Math2、Assistment數(shù)據(jù)集上的準(zhǔn)確率cc、均方根誤差RMSE、受試曲線(xiàn)面積AUC值分別為0.716、0.445、0.776、0.725、0.432、0.807、0.741、0.427和0.779。

文中用到的試題知識(shí)關(guān)聯(lián)矩陣由專(zhuān)家標(biāo)記，這費(fèi)時(shí)費(fèi)力，精確度也不一定高。隨著深度學(xué)習(xí)的發(fā)展，可以利用深度學(xué)習(xí)方法對(duì)進(jìn)行改進(jìn)，將機(jī)器標(biāo)注與專(zhuān)家標(biāo)注相結(jié)合，以獲得更加精確的矩陣，提高認(rèn)知診斷精確度。

［1］ NICHOLS P D，JOLDERSMA K．Cognitive diagnostic assessment for education：theory and applications［J］．Journal of Educational Measurement，2008，45（4）：407- 411．

［2］ TORRE J．DINA model and parameter estimation：a didactic［J］．Journal of Educational and Behavioral Statistics，2009，34（1）：115-130．

［3］ EMBRETSON S E，REISE S P．Item response theory［M］．London：Psychology Press，2013： 56-87．

［4］ RECKAS M．Multi-dimensional item response theory［J］．Handbook of Statistics，2009，26（6）： 607-642．

［5］ CHENG S，LIU Q，CHEN E，et al．DIRT：deep learning enhanced item response theory for cognitive diagnosis ［C］∥ Proceedings of the 28th ACM International Conference on Information and Knowledge Management．Beijing：ACM，2019：2397-2400．

［6］ ZHU T，LIU Q，HUANG Z，et al．MT-MCD：a multi-task cognitive diagnosis framework for student assessment ［C］∥ Proceedings of the 23rd International Conference on Database Systems for Advanced Applications．Gold Coast：Springer，2018：318-335．

［7］ LIU Q，WU R，CHEN E，et al．Fuzzy cognitive diagnosis for modelling examinee performance［J］．ACM Transactions on Intelligent Systems and Technology，2018，9（4）：48/1-26．

［8］ XU J，LI Q，LIU J，et al．Leveraging cognitive diagnosis to improve peer assessment in MOOCs［J］．IEEE Access，2021，9：50466-50484．

［9］ PIECH C，BASSEN J，HUANG J，et al．Deep knowledge tracing［C］∥ Proceedings of the 28th International Conference on Neural Information Processing Systems．Cambridge：MIT Press，2015：505-513．

［10］ GIERL M J，CUI Y，HUNKA S．Using connectionist models to evaluate examinees’ response patterns to achievement tests［J］．Journal of Modern Applied Statistical Methods，2008，7（1）：234-245．

［11］ WANG F，LIU Q，CHEN E，et al．Neural cognitive diagnosis for intelligent education systems ［C］∥ Proceedings of the 34th AAAI Conference on Artificial Intelligence．Menlo Park：AAAI，2020：6153-6161．

［12］ 李曉光，魏思齊，張昕，等．LFKT：學(xué)習(xí)與遺忘融合的深度知識(shí)追蹤模型［J］．軟件學(xué)報(bào)，2021，32（3）：818-830．

LI Xiao-guang，WEI Si-qi，ZHANG Xin，et al．LFKT：deep knowledge tracing model with learning and forgetting behavior merging［J］．Journal of Software，2021，32（3）：818-830．

［13］ HUANG Z，LIU Q，CHEN Y，et al．Learning or forgetting？ A dynamic approach for tracking the knowledge proficiency of students［J］．ACM Transactions on Information Systems，2020，38（2）：19/1-33．

［14］ WU R，LIU Q，LIU Y，et al．Cognitive modelling for predicting examinee performance ［C］∥ Proceedings of the Twenty-Fourth International Joint Conference on Artificial Intelligence．Buenos Aires：AAAI，2015：1006-1097．

［15］ FENG M，HEFFERNAN N，KOEDINGER K．Addressing the assessment challenge with an online system that tutors as it assesses［J］．User Modeling and User-Adapted Interaction，2009， 19（3）：243-266．

［16］ XIONG X，ZHAO S，Van INWEGEN E G，et al．Going deeper with deep knowledge tracing［C］∥Proceedings of the 9th International Conference on Educational Data Mining．Raleigh：International Educational Data Mining Society，2016：545-550．

［17］ SALAKHUTDINOV R，MNIH A．Probabilistic matrix factorization［C］∥ Proceedings of the 20th International Conference on Neural Information Processing Systems．Red Hook：Curran Associates Inc．，2008：1257-1264．

［18］ CHENG Y，LI M，CHEN H，et al．Neural cognitive modeling based on the importance of knowledge point for student performance prediction［C］∥ Proceedings of 16th International Conference on Computer Science & Education．Lancaster：IEEE，2021：495-499．

Cognitive Diagnosis Model Integrating Forgetting and Importance of Knowledge Points

（School of Computer Science and Technology，Harbin University of Science and Technology，Harbin 150001，Heilongjiang，China）

Intelligence education is the key research direction of artificial intelligence. The most important is to describe the students’ cognitive process by ultilizing the knowledge points in the test questions. Aiming at the problem that the cognitive diagnosis model is insufficient for mining students, test questions and their interactive information, this study proposed a cognitive diagnosis model integrating forgetting and the importance of knowledge points. According to the historical interaction between the test questions and knowledge points, the model introduces forgetting factors in combination with the difficulty information of knowledge points, thus alleviates the problem of insufficient information mining for students. Through the attention mechanism, the importance information of the test questions to the knowledge points was obtained to alleviate the problem of insufficient information mining of the test questions. Learning the interaction relation between students and test questions through Transformer alleviates the problem of insufficient interaction information between students and test questions. The results of experiments carried out on the classic dataset show that the accuracycc, root mean square error (RMSE), and the area under curve (AUC) values of this method on the Math1, Math2, and Assistment datasets are 0.716, 0.445, 0.776, 0.725, 0.432, 0.807, 0.741, 0.427, 0.779, respectively. Compared with other existing models, the proposed method has better results. The proposed method illustrates the importance of knowledge importance and timeliness for cognitive modeling.

cognitive diagnosis；attention mechanism；transformer；importance of knowledge points；forgetting information

Supported by the National Natural Science Foundation of China （62172128，61300115） and the China Postdoctoral Science Foundation （2014m561331）

10.12141/j.issn.1000-565X.220279

2022?05?16

國(guó)家自然科學(xué)基金資助項(xiàng)目（62172128，61300115）；中國(guó)博士后科學(xué)基金資助項(xiàng)目（2014m561331）；黑龍江省教育廳科學(xué)技術(shù)研究項(xiàng)目（12521073）

劉宇鵬（1978-），男，博士，教授，主要從事自然語(yǔ)言處理、智能教育、認(rèn)知計(jì)算研究。E-mail： flyeagle99@126.com

TP391

1000-565X（2023）05-0054-09