基于認(rèn)知診斷的兩階段試題推薦方法

李強(qiáng) 王彬彬 陳磊 馮輝

摘要：針對(duì)個(gè)性化試題推薦系統(tǒng)中，未標(biāo)注知識(shí)點(diǎn)試題的推薦精度欠佳問(wèn)題，提出了一種基于認(rèn)知診斷的兩階段試題推薦方法。第一階段由專家篩選出學(xué)習(xí)單元中的典型試題并進(jìn)行知識(shí)點(diǎn)標(biāo)注，運(yùn)用認(rèn)知診斷模型，量化得出學(xué)生的知識(shí)掌握狀態(tài)。第二階段基于學(xué)生的知識(shí)掌握狀態(tài)，計(jì)算學(xué)生之間的知識(shí)含蓋關(guān)系，并基于含蓋關(guān)系對(duì)未標(biāo)注試題進(jìn)行個(gè)性化推薦。實(shí)驗(yàn)表明，文章提出的試題推薦方法，推薦試題的平均作答正確率達(dá)到了90%，平均試題超綱率低于10%，顯著優(yōu)于現(xiàn)有的基于kNN和矩陣分解的協(xié)同過(guò)濾推薦方法。

關(guān)鍵詞： 試題推薦; 認(rèn)知診斷; DINA; 試題標(biāo)注; 認(rèn)知狀態(tài)

中圖分類號(hào)：TP391.3? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）13-0025-04

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

隨著互聯(lián)網(wǎng)發(fā)展，在線教育獲得了大規(guī)模的普及[1-4]。線上學(xué)習(xí)與答題成為學(xué)生自我檢測(cè)、自我提升的主要途徑之一[1，5-9]。依據(jù)學(xué)生的學(xué)習(xí)進(jìn)度和知識(shí)掌握狀態(tài)，進(jìn)行精準(zhǔn)的個(gè)性化試題推送，可以有效地幫助學(xué)生鞏固知識(shí)，深度思考。經(jīng)過(guò)數(shù)年的積累，現(xiàn)已產(chǎn)生了海量試題資源[10]，這些試題資源又關(guān)聯(lián)了數(shù)以萬(wàn)計(jì)的知識(shí)點(diǎn)[11]，傳統(tǒng)的通過(guò)人工選題的方式，不僅費(fèi)時(shí)費(fèi)力，而且很難依據(jù)學(xué)生的學(xué)習(xí)進(jìn)度和知識(shí)掌握狀態(tài)進(jìn)行個(gè)性化推薦。

近年來(lái)，不少學(xué)者將認(rèn)知診斷模型和推薦系統(tǒng)應(yīng)用到學(xué)生的個(gè)性化試題推薦中[4-9]，取得了不錯(cuò)的推薦效果。但是在模型應(yīng)用時(shí)，需要人工對(duì)海量的試題數(shù)據(jù)提前進(jìn)行知識(shí)點(diǎn)標(biāo)注，這一標(biāo)注過(guò)程費(fèi)時(shí)費(fèi)力，且對(duì)于新的未標(biāo)注的試題無(wú)法有效推薦。針對(duì)以上問(wèn)題，本文提出了一種新的方法，該方法首先基于少量的標(biāo)注試題估計(jì)出學(xué)生的認(rèn)知狀態(tài)，然后依據(jù)學(xué)生的認(rèn)知狀態(tài)找到存在知識(shí)含蓋關(guān)系的學(xué)生，之后找出這些學(xué)生在歷史未標(biāo)注試題上的答題數(shù)據(jù)，過(guò)濾出回答正確率高的試題，進(jìn)而向?qū)W生進(jìn)行個(gè)性化試題推薦。通過(guò)本文提出的方法，可以有效地降低人工標(biāo)注成本，提升未標(biāo)注試題的推薦精度和效率。

1 兩階段試題推薦算法

基于認(rèn)知診斷模型的個(gè)性化試題推薦算法包含兩個(gè)階段。第一階段，由教師選出典型試題，并進(jìn)行知識(shí)點(diǎn)標(biāo)注，依據(jù)學(xué)生在典型試題上的答題結(jié)果，運(yùn)用認(rèn)知診斷模型估計(jì)出學(xué)生量化的知識(shí)掌握狀態(tài)。第二階段依據(jù)學(xué)生的知識(shí)掌握狀態(tài)找到相似的學(xué)生，依據(jù)相似學(xué)生的歷史答題數(shù)據(jù)（答題時(shí)間、答題結(jié)果等），進(jìn)行個(gè)性化試題推薦。

1.1 認(rèn)知狀態(tài)估計(jì)

認(rèn)知診斷模型旨在量化學(xué)生的認(rèn)知狀態(tài)，近年來(lái)獲得了廣泛的應(yīng)用。其中DINA認(rèn)知診斷模型，因其簡(jiǎn)潔性和可解釋性成為學(xué)者們研究的熱點(diǎn)[12-15]。DINA認(rèn)知診斷模型基于學(xué)生的答題結(jié)果和試題知識(shí)點(diǎn)關(guān)聯(lián)矩陣進(jìn)行建模，通過(guò)EM、MCMC等方法進(jìn)行參數(shù)估計(jì)，進(jìn)而獲得學(xué)生量化的認(rèn)知狀態(tài)和試題參數(shù)信息。在DINA模型中，用離散的二分向量來(lái)表示學(xué)生認(rèn)知狀態(tài)，如[αi=[1，0，1，1，0]]表示學(xué)生[i]在五個(gè)知識(shí)點(diǎn)上的掌握狀態(tài)，其中1表示學(xué)生掌握了對(duì)應(yīng)的知識(shí)點(diǎn)，反之，0表示學(xué)生未掌握對(duì)應(yīng)的知識(shí)點(diǎn)。在運(yùn)用DINA認(rèn)知診斷模型前，需要提前獲知學(xué)生在試題上的答題結(jié)果以及試題與知識(shí)點(diǎn)的關(guān)聯(lián)關(guān)系。通常用矩陣[X]來(lái)表示[N]個(gè)學(xué)生在[M]道試題上的答題結(jié)果，矩陣中的元素[xi，j]表示學(xué)生[i]在試題[j]的答題結(jié)果，如果[xi，j=1]表示學(xué)生[i]答對(duì)了試題[j]，反之，[xi，j=0]表示學(xué)生回答錯(cuò)誤。用矩陣[Q]來(lái)表示[M]道試題與[K]個(gè)知識(shí)的關(guān)聯(lián)關(guān)系，矩陣中的元素[qj，k]表試題[j]與知識(shí)點(diǎn)[k]的關(guān)聯(lián)關(guān)系，[qj，k=1]表示答對(duì)試題[j]需要掌握知識(shí)點(diǎn)[k]，反之[qj，k=0]表示試題[j]與知識(shí)點(diǎn)[k]無(wú)關(guān)。DINA模型的目標(biāo)是最小化預(yù)測(cè)答題結(jié)果與真實(shí)答題結(jié)果之間的誤差，來(lái)估計(jì)出學(xué)生量化的認(rèn)知狀態(tài)[α]。理想情況下，預(yù)測(cè)的答題結(jié)果[zi，j]計(jì)算方式如下：

[zi，j=k=1Kαi，kqj，k] （1）

其中[zi，j]表示理想情況下學(xué)生[i]能否答對(duì)試題[j]，[αi，k]表示學(xué)生[i]是否掌握了知識(shí)點(diǎn)[k]，[qj，k]表示試題[j]是否涉及知識(shí)點(diǎn)[k]。DINA模型中還引入了試題失誤率[s]和試題猜對(duì)率[g]來(lái)模擬真實(shí)答題場(chǎng)景。引入試題失誤率和猜對(duì)率后，學(xué)生[i]在試題[j]上的答對(duì)概率[pi，j]可以表示為：

[pi，j=1-sjzi，jgj1-zi，j] （2）

得出答對(duì)概率[pi，j]后，便可以依據(jù)目標(biāo)函數(shù)對(duì)學(xué)生的認(rèn)知狀態(tài)進(jìn)行估計(jì)了。

[α=minα，s，gFP，X] （3）

由DINA模型的定義可以看出，在認(rèn)知診斷前，需要先標(biāo)注出試題與知識(shí)點(diǎn)的關(guān)聯(lián)關(guān)系。然而當(dāng)前試題資源已非常龐大，標(biāo)注過(guò)程需要耗費(fèi)大量的人力物力，普通的教育組織和機(jī)構(gòu)很難完成這項(xiàng)工作，而且新的試題仍然在逐年遞增，因此很難實(shí)時(shí)全面地對(duì)試題數(shù)據(jù)進(jìn)行標(biāo)注。

針對(duì)這一問(wèn)題，本文提出了一種基于部分試題的認(rèn)知診斷方法。首先針對(duì)每個(gè)學(xué)習(xí)單元，由專家抽取出少量典型試題，然后通過(guò)人工方式對(duì)典型試題進(jìn)行知識(shí)點(diǎn)標(biāo)注，之后進(jìn)行完備度測(cè)量，確保這些試題能夠均勻覆蓋學(xué)習(xí)單元中涉及的全部知識(shí)點(diǎn)。

經(jīng)過(guò)認(rèn)知診斷模型評(píng)估，得出學(xué)生量化的認(rèn)知狀態(tài)后，便可以依據(jù)學(xué)生的認(rèn)知狀態(tài)進(jìn)行后續(xù)的試題推薦了。

1.2 個(gè)性化試題推薦

針對(duì)現(xiàn)有推薦系統(tǒng)在未標(biāo)注試題上的推薦精度欠佳問(wèn)題，本文提出了一種基于學(xué)生知識(shí)含蓋關(guān)系的試題推薦方法。若學(xué)生[u]掌握了學(xué)生[v]所掌握的所有知識(shí)點(diǎn)，則稱學(xué)生[u]在認(rèn)知狀態(tài)含蓋學(xué)生[v]，用[cu，v=1]來(lái)表示。比如學(xué)生[u]的認(rèn)知狀態(tài)為[αu=1，1，1，1，0]，學(xué)生[v]的認(rèn)知狀態(tài)為[αv=1，1，1，0，0]，其中學(xué)生[u]掌握了前四個(gè)知識(shí)點(diǎn)，而學(xué)生[v]只掌握了前三個(gè)知識(shí)點(diǎn)，此時(shí)學(xué)生[u]掌握了學(xué)生[v]所掌握的所有知識(shí)點(diǎn)，因此[cu，v=1]，即學(xué)生[u]在認(rèn)知狀態(tài)上含蓋學(xué)生[v]。注意含蓋關(guān)系是不可逆的，[cu，v=1]并不代表[cv，u=1]，但如果兩個(gè)學(xué)生的認(rèn)知狀態(tài)完全相同，則這兩名學(xué)生在認(rèn)知狀態(tài)上互相含蓋。針對(duì)有含蓋關(guān)系的學(xué)生，學(xué)生間的含蓋度計(jì)算方法可以表示為：

[ru，v=k=1Kαu，k-αv，k] （4）

其中[ru，v]表示學(xué)生[u]對(duì)學(xué)生[v]的認(rèn)知含蓋度，顯然[ru，v]越大代表學(xué)生[u]相對(duì)于學(xué)生[v]掌握的知識(shí)點(diǎn)越多。針對(duì)沒(méi)有含蓋關(guān)系的學(xué)生，令其含蓋度為[-1]。依據(jù)兩兩學(xué)生的認(rèn)知含蓋度便可以得出含蓋度矩陣[R]。

[R=r1，1…r1，N???rN，1…rN，N]? ? ? （5）

矩陣[R]的第[u]行代表學(xué)生[u]對(duì)其他學(xué)生的認(rèn)知含蓋度，比如[ru，*=[1，2，0，-1，…]]表示學(xué)生[u]相對(duì)于前三個(gè)學(xué)生的認(rèn)知含蓋度分別為1、2、0，即學(xué)生[u]在認(rèn)知狀態(tài)上含蓋前三個(gè)學(xué)生，同時(shí)比這三個(gè)學(xué)生分別多掌握了一個(gè)、兩個(gè)和零個(gè)知識(shí)點(diǎn)。但對(duì)于第四個(gè)學(xué)生，學(xué)生[u]對(duì)其認(rèn)知含蓋度為-1，代表學(xué)生[u]在認(rèn)知狀態(tài)上并不含蓋學(xué)生四。

矩陣[R]的第[v]列代表其他學(xué)生對(duì)學(xué)生[v]的含蓋度。比如[r*，v=[2，0，1，-1，…]]表示前三個(gè)學(xué)生在認(rèn)知狀態(tài)上含蓋了學(xué)生[v]，且分別比學(xué)生[v]多掌握了兩個(gè)、零個(gè)和一個(gè)知識(shí)點(diǎn)。第四個(gè)學(xué)生對(duì)學(xué)生[v]的認(rèn)知含蓋度為-1，表示第四個(gè)學(xué)生在認(rèn)知狀態(tài)上并不含蓋學(xué)生[v]。

在進(jìn)行試題推薦時(shí)，需要確保推薦試題關(guān)聯(lián)的知識(shí)點(diǎn)學(xué)生均已掌握。因此針對(duì)學(xué)生[u]，需要遍歷含蓋度矩陣[R]的第[u]行，并找到[ru，*≥0]的學(xué)生，并按含蓋度從小到大對(duì)找到的學(xué)生進(jìn)行排序，找出這些學(xué)生答對(duì)率較高的試題，去重后依次進(jìn)行推薦。試題推薦的詳細(xì)流程如算法1所示。

[算法1：個(gè)性化試題推薦算法 輸入：待推薦試題的學(xué)生編號(hào)[u]，待推薦的試題數(shù)量[c]，所有學(xué)生答題記錄[X]，認(rèn)知含蓋矩陣[R]

輸出：為學(xué)生[u]推薦的試題列表 1. 初始化學(xué)生[u]認(rèn)知含蓋的學(xué)生列表stus

2. For i=0; i

3. ? If [ru，i≥0] and [i ≠u]：

4. ? ? stus.append（[i]）

5. ? End If

6. End For

7. stus = sort（stus）

8. questions = [X[stus]]

9. correct = mean（questions）

10. rec_qus_idxs = argsort（correct）[：：-1]

11. return rec_qus_idxs[：c] ]

算法1包含四個(gè)輸入，分別是待推薦試題的學(xué)生編號(hào)[u]，待推薦的試題數(shù)量[c]，學(xué)生答題記錄[X]和認(rèn)知含蓋矩陣[R]。其中[X]為去除已標(biāo)注試題外的所有學(xué)生答題歷史記錄。

算法輸出為學(xué)生[u]推薦的試題列表。

算法的第1行為初始化學(xué)生[u]認(rèn)知含蓋的學(xué)生列表，第2到第6行為尋找學(xué)生[u]認(rèn)知含蓋的學(xué)生，并將學(xué)生加入學(xué)生列表中。第7行為通過(guò)認(rèn)知含蓋度從小到大對(duì)學(xué)生列表進(jìn)行排序。第8行為依據(jù)排好序的學(xué)生列表獲取其對(duì)應(yīng)的歷史答題記錄。第9行為計(jì)算答題記錄中各題的平均正確率。第10行為對(duì)正確率從大到小進(jìn)行排序（逆序），并獲取排序后的試題編號(hào)。第11行獲取正確率最高的指定數(shù)量試題，并返回給系統(tǒng)進(jìn)行推薦。

通過(guò)以上算法，可以依據(jù)學(xué)生在典型試題上評(píng)估出的認(rèn)知狀態(tài)，對(duì)未標(biāo)注的試題數(shù)據(jù)進(jìn)行個(gè)性化試題推薦，從而達(dá)到推薦時(shí)既可以考量學(xué)生學(xué)習(xí)進(jìn)度和知識(shí)狀態(tài)，又可以減少試題標(biāo)注工作量的效果。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用的數(shù)據(jù)集為廣泛使用的分?jǐn)?shù)減法數(shù)據(jù)集[15-20]。該數(shù)據(jù)集包含536名學(xué)生在20道試題上的真實(shí)答題數(shù)據(jù)，試題共涉及8個(gè)知識(shí)點(diǎn)，已由專家提前完成標(biāo)注。

實(shí)驗(yàn)中將試題數(shù)據(jù)分成兩部分，其中10題用于認(rèn)知狀態(tài)評(píng)估，另外10題用于個(gè)性化推薦。表1給出了兩類試題的索引編號(hào)。

2.2 評(píng)價(jià)指標(biāo)

為了衡量本文提出的方法是否有助于鞏固學(xué)生所需知識(shí)，加深學(xué)生的理解，本文采用學(xué)生在推薦試題上的作答正確率來(lái)驗(yàn)證方法的可行性。同時(shí)為了防止推薦試題涉及的知識(shí)點(diǎn)超出了學(xué)生掌握范圍，本文還會(huì)計(jì)算試題超綱率來(lái)衡量推薦試題的質(zhì)量。

假定給學(xué)生推薦的試題集合為[Φ={φ1，φ2，...，φN}]，[φi]表示為學(xué)生[i]推薦的試題集合。則作答正確率的計(jì)算方法如式（6）所示：

[precision=i=1Nj∈φiXi，ji=1Nφi ] （6）

其中[j∈φiXi，j]表示學(xué)生[i]在推薦試題中答對(duì)的題數(shù)，[φi]表示給學(xué)生[i]推薦的題目數(shù)。顯然[precision]的值越大，代表推薦的試題作答正確率越高，越有助于學(xué)生進(jìn)行知識(shí)鞏固和提升。

試題超綱率是指超出學(xué)生認(rèn)知范圍的推薦試題占比。試題中涉及的知識(shí)點(diǎn)超出學(xué)生的掌握范圍，則認(rèn)為試題超綱，用指示函數(shù)[I（i，j）]來(lái)表示試題是否超綱。

[Ii，j=1? ? ?，k=1Kqj，k1-αi，k>00，? ? ?k=1Kqj，k1-αi，k=0] （7）

上式中[qj，k1-αi，k=1]，則表示試題中包含了學(xué)生未掌握的知識(shí)點(diǎn)。

依據(jù)指示函數(shù)[I（i，j）]便可以計(jì)算出推薦試題的超綱率。

[ext=i=1Nj∈φiIi，ji=1Nφi ] （8）

其中[j∈φiIi，j]表示推薦給學(xué)生[i]，但超出學(xué)生[i]知識(shí)范圍的試題數(shù)。顯然[ext]值越小，表示超綱的試題越少，推薦的試題質(zhì)量越高。

2.3 算法對(duì)比

為了驗(yàn)證本文提出的方法相對(duì)于傳統(tǒng)方法的推薦效果，本文將與基于kNN和基于矩陣分解的協(xié)同過(guò)濾方法進(jìn)行對(duì)比。

kNN協(xié)同過(guò)濾方法依據(jù)答題結(jié)果計(jì)算學(xué)生之間的相似性，找到k個(gè)最相似的學(xué)生，過(guò)濾出這些學(xué)生答對(duì)的試題，從而完成個(gè)性化試題推薦。

矩陣分解協(xié)同過(guò)濾方法通過(guò)對(duì)學(xué)生答題結(jié)果進(jìn)行矩陣分解，得出學(xué)生特征和試題特征，依據(jù)學(xué)生特征計(jì)算學(xué)生相似性，找出相似學(xué)生答對(duì)的試題，并進(jìn)行互相推薦。

2.4 結(jié)果分析

圖1給出了三種推薦方法在作答正確率指標(biāo)上的對(duì)比結(jié)果。其中橫坐標(biāo)為向每個(gè)學(xué)生推薦的最大試題數(shù)，縱坐標(biāo)為所有學(xué)生平均作答正確率。可以看出本文提出的推薦方法（COG），無(wú)論向?qū)W生推薦2題、3題還是4題，推薦試題的作答正確率均在90%以上。

圖2給出了三種推薦方法在試題超綱率指標(biāo)上的對(duì)比結(jié)果。其中橫坐標(biāo)為向每個(gè)學(xué)生推薦的最大試題數(shù)，縱坐標(biāo)為推薦試題中超綱試題的占比?？梢钥闯霰疚奶岢龅耐扑]方法（COG） 在試題超綱率上均低于10%。

3 結(jié)束語(yǔ)

基于學(xué)生學(xué)習(xí)進(jìn)度和知識(shí)掌握狀態(tài)進(jìn)行個(gè)性化試題推薦，可以有效地提升學(xué)生的學(xué)習(xí)效率。針對(duì)海量的未標(biāo)注試題推薦精度欠佳的問(wèn)題，本文提出了基于認(rèn)知診斷的兩階段試題推薦方法。既可以基于學(xué)生現(xiàn)有的知識(shí)水平，又可以有效地解決未標(biāo)注試題的推薦效率問(wèn)題?；诠_(kāi)數(shù)據(jù)集的實(shí)驗(yàn)表明，本文提出的方法推薦試題的平均答對(duì)率超過(guò)了90%，試題超綱率低于10%，驗(yàn)證了方法的有效性。

參考文獻(xiàn)：

[1] 陳恩紅，劉淇，王士進(jìn)，等.面向智能教育的自適應(yīng)學(xué)習(xí)關(guān)鍵技術(shù)與應(yīng)用[J].智能系統(tǒng)學(xué)報(bào)，2021，16（5）：885-898.

[2] 中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心.第50次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL]. https：//www.xdyanbao.com/doc/b9npm6ky5s？bd_vid=12305363540120140075.

[3] 管佳，李奇濤.中國(guó)在線教育發(fā)展現(xiàn)狀、趨勢(shì)及經(jīng)驗(yàn)借鑒[J].中國(guó)電化教育，2014（8）：62-66.

[4] Wang F，Liu Q，Chen E H，et al.Neural cognitive diagnosis for intelligent education systems[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（4）：6153-6161.

[5] 齊斌，鄒紅霞，王宇，等.基于協(xié)同過(guò)濾和認(rèn)知診斷的試題推薦方法[J].計(jì)算機(jī)科學(xué)，2019，46（11）：235-240.

[6] Zhuang Y，Liu Q，Huang Z Y，et al.A robust computerized adaptive testing approach in educational question retrieval[C]//Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval.July 11 - 15，2022，Madrid，Spain.New York：ACM，2022：416-426.

[7] 熊慧君，宋一凡，張鵬，等.基于深度自編碼器和二次協(xié)同過(guò)濾的個(gè)性化試題推薦方法[J].計(jì)算機(jī)科學(xué)，2019，46（S11）：172-177.

[8] Zhuang Y，Liu Q，Huang Z Y，et al.Fully adaptive framework：neural computerized adaptive testing for online education[J].Proceedings of the AAAI Conference on Artificial Intelligence，2022，36（4）：4734-4742.

[9] 朱天宇，黃振亞，陳恩紅，等.基于認(rèn)知診斷的個(gè)性化試題推薦方法[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（1）：176-191.

[10] 劉鐵園，陳威，常亮，等.基于深度學(xué)習(xí)的知識(shí)追蹤研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展，2022，59（1）：81-104.

[11] 崔煒，薛鎮(zhèn).松鼠AI智適應(yīng)學(xué)習(xí)系統(tǒng)[J].機(jī)器人產(chǎn)業(yè)，2019（4）：84-94.

[12] Tong S W，Liu J Y，Hong Y T，et al.Incremental cognitive diagnosis for intelligent education[C]//Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining.August 14 - 18，2022，Washington DC，USA.New York：ACM，2022：1760-1770.

[13] 汪文義，鄭娟娟，宋麗紅，等.認(rèn)知診斷模型參數(shù)估計(jì)算法比較[J].江西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，46（3）：291-299.

[14] Ma W C，Torre J.An empirical Q-matrix validation method for the sequential generalizedDINA model[J].British Journal of Mathematical and Statistical Psychology，2020，73（1）：142-163.

[15] 王超，劉淇，陳恩紅，等.面向大規(guī)模認(rèn)知診斷的DINA模型快速計(jì)算方法研究[J].電子學(xué)報(bào)，2018，46（5）：1047-1055.

[16] Culpepper S A.Estimating the cognitive diagnosis（＼varvec{Q}＼） matrix with expert knowledge：application to the fraction-subtraction dataset[J].Psychometrika，2019，84（2）：333-357.

[17] DeCarlo L T.On the analysis of fraction subtraction data：the DINA model，classification，latent class sizes，and the Q-matrix[J].Applied Psychological Measurement，2011，35（1）：8-26.

[18] de la Torre J，Douglas J A.Model evaluation and multiple strategies in cognitive diagnosis：an analysis of fraction subtraction data[J].Psychometrika，2008，73（4）：595-624.

[19] Terzi R，Sen S.A nondiagnostic assessment for diagnostic purposes：q-matrix validation and item-based model fit evaluation for the TIMSS 2011 assessment[J].SAGE Open，2019，9（1）：2158 24401983268.

[20] 汪文義，宋麗紅，丁樹(shù)良，等.非參數(shù)認(rèn)知診斷方法下診斷結(jié)果的概率化表征[J].心理科學(xué)，2021，44（5）：1249-1258.

【通聯(lián)編輯：李雅琪】