一種改進(jìn)的模糊認(rèn)知診斷模型

李憂喜 文益民,2 易新河 徐 智,2

(1.桂林電子科技大學(xué)計(jì)算機(jī)與信息安全學(xué)院，桂林，541004; 2.桂林電子科技大學(xué)廣西可信軟件重點(diǎn)實(shí)驗(yàn)室，桂林，541004)

一種改進(jìn)的模糊認(rèn)知診斷模型

李憂喜1文益民1,2易新河1徐 智1,2

(1.桂林電子科技大學(xué)計(jì)算機(jī)與信息安全學(xué)院，桂林，541004; 2.桂林電子科技大學(xué)廣西可信軟件重點(diǎn)實(shí)驗(yàn)室，桂林，541004)

認(rèn)知診斷模型利用學(xué)生做題的得分情況和測(cè)試題-知識(shí)點(diǎn)的關(guān)系來(lái)挖掘?qū)W生的潛在特質(zhì)，以得到學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況，進(jìn)而可以預(yù)測(cè)學(xué)生對(duì)測(cè)試題的得分情況。但已有的認(rèn)知診斷模型一般都忽視了主觀題中學(xué)生對(duì)知識(shí)點(diǎn)的掌握數(shù)量和掌握程度及知識(shí)點(diǎn)的重要性對(duì)認(rèn)知診斷的影響。本研究提出一種改進(jìn)的模糊認(rèn)知診斷模型(Revised fuzzy cognitive diagnosis framework,R-FuzzyCDF)，在主觀題的診斷中假設(shè)隨著學(xué)生掌握知識(shí)點(diǎn)的個(gè)數(shù)增多，學(xué)生正確作答的概率增高，并考慮了知識(shí)點(diǎn)的重要性對(duì)認(rèn)知診斷的影響，實(shí)驗(yàn)結(jié)果表明這種改進(jìn)的FuzzyCDF模型進(jìn)一步提高了認(rèn)知診斷的準(zhǔn)確性。

認(rèn)知診斷；連接型；補(bǔ)償型；知識(shí)點(diǎn)重要性；主觀題

引 言

基于學(xué)生的學(xué)習(xí)行為或者答題結(jié)果對(duì)學(xué)生進(jìn)行認(rèn)知診斷具有非常重要的意義[1]。認(rèn)知診斷也是學(xué)習(xí)分析學(xué)[2]的重要應(yīng)用領(lǐng)域。測(cè)試題測(cè)試是對(duì)學(xué)生進(jìn)行認(rèn)知診斷的通用手段。在傳統(tǒng)考試中，測(cè)試題一般包含主觀題和客觀題兩種題型。主觀題要求考生撰寫(xiě)解答過(guò)程，以表達(dá)對(duì)試題的理解，常見(jiàn)題型有計(jì)算題、簡(jiǎn)答題、論述題、應(yīng)用題和作文題等；客觀題讓學(xué)生從給定的選項(xiàng)中選擇答案，其類型有判斷題和選擇題等[3]。但是，傳統(tǒng)測(cè)試只給出學(xué)生在各個(gè)測(cè)試題上的得分，而實(shí)際上往往分?jǐn)?shù)相同的學(xué)生可能存在不同的知識(shí)狀態(tài)，即對(duì)知識(shí)點(diǎn)的掌握情況。通過(guò)分析學(xué)生在測(cè)試題上的作答情況，可以診斷學(xué)生對(duì)測(cè)試題所涉及的知識(shí)點(diǎn)的掌握情況，從而可為學(xué)生和教師提供幫助。認(rèn)知診斷模型有多種，不同的模型有不同的特點(diǎn)及應(yīng)用條件，因此模型的選擇對(duì)認(rèn)知診斷的結(jié)果有重要影響[4]。國(guó)外常見(jiàn)的認(rèn)知診斷模型有Fisher[5]提出的線性Logistic模型(Linear logistic trait model，LLTM)，Tatsuoka等[6]提出的規(guī)則空間模型(Rule space model，RSM)，Leighton等[7]提出的屬性層級(jí)模型(Attribute hierarchy model，AHM)、Hartz[8]提出的融合模型(Fusion model)、Torre等[9]提出的確定輸入噪音與門(mén)模型(Deterministic inputs,noisy and gate model，DINA)和高階DINA模型。國(guó)內(nèi)認(rèn)知診斷理論的研究起步雖然較晚，但通過(guò)近年的發(fā)展已取得很大的進(jìn)步。錢(qián)錦昕等[10]提出了基于神經(jīng)網(wǎng)絡(luò)的PSP方法，該方法由主成分分析(Principal component analysis,PCA)、自組織特征映射網(wǎng)(Self-organizing feature map,SOM)和概率神經(jīng)網(wǎng)絡(luò)(Probabilistic neural network,PNN)組成，并將其應(yīng)用于認(rèn)知診斷中，PSP首先利用PCA來(lái)確定認(rèn)知屬性，然后利用SOM對(duì)被試者進(jìn)行分類，最后利用PNN對(duì)新的被試者進(jìn)行類別判斷，從而得到被試者的知識(shí)狀態(tài)，該方法不需要進(jìn)行復(fù)雜的參數(shù)估計(jì)，大大提高了算法的效率；康春花等[11]將0-1評(píng)分的聚類分析法擴(kuò)展到多級(jí)評(píng)分，提出多級(jí)評(píng)分聚類診斷法，解決了認(rèn)知診斷模型隨著知識(shí)點(diǎn)數(shù)量增多而診斷準(zhǔn)確率下降的問(wèn)題；祝玉芳等[12]提出了一種多策略的多級(jí)評(píng)分認(rèn)知診斷方法，將多級(jí)評(píng)分轉(zhuǎn)化為0-1評(píng)分，然后利用0-1評(píng)分方式進(jìn)行診斷，最后用多級(jí)評(píng)分診斷學(xué)生的知識(shí)點(diǎn)掌握情況；宋麗紅等[13]提出了改進(jìn)的確定輸入噪音與門(mén)模型(Revised deterministic inputs, noisy and gate model,R-DINA)，R-DINA模型認(rèn)為知識(shí)點(diǎn)之間存在聯(lián)系，并假設(shè)掌握部分知識(shí)答題正確的概率要高于什么都沒(méi)掌握的，從而提高了診斷準(zhǔn)確率；吳潤(rùn)澤等[14]提出了一種模糊認(rèn)知診斷模型(Fuzzy cognitive diagnosis framework，F(xiàn)uzzyCDF)，將模糊理論應(yīng)用到認(rèn)知診斷中，解決了傳統(tǒng)認(rèn)知診斷模型無(wú)法診斷主觀題的問(wèn)題。

雖然認(rèn)知診斷模型的研究取得了很大進(jìn)展，但是仍然還存在著一些問(wèn)題。以上大部分認(rèn)知診斷模型無(wú)法對(duì)主觀題進(jìn)行診斷，因?yàn)橹饔^題知識(shí)結(jié)構(gòu)復(fù)雜，學(xué)生的知識(shí)狀態(tài)不同，但卻可能得到相同分?jǐn)?shù)。FuzzyCDF模型將模糊理論應(yīng)用于認(rèn)知診斷模型，將學(xué)生對(duì)主觀題的掌握程度假設(shè)為模糊并，即學(xué)生只要掌握了測(cè)試題考查的知識(shí)點(diǎn)中的一個(gè)就有可能答對(duì)該測(cè)試題。但這種假設(shè)不夠嚴(yán)謹(jǐn)，實(shí)際中若學(xué)生只掌握測(cè)試題所涉及的知識(shí)點(diǎn)中的一個(gè)，很多時(shí)候得不到分?jǐn)?shù)。FuzzyCDF模型雖然提到過(guò)不同知識(shí)點(diǎn)對(duì)學(xué)生正確作答有不同的影響，但并未作深入分析。針對(duì)以上問(wèn)題，本研究在FuzzyCDF模型的基礎(chǔ)上提出一種改進(jìn)的模糊認(rèn)知診斷模型(Revised fuzzy cognitive diagnosis framework,R-FuzzyCDF)。在主觀題的診斷上，R-FuzzyCDF模型假設(shè)學(xué)生掌握知識(shí)點(diǎn)越多，答題正確的概率也越大；R-FuzzyCDF模型同時(shí)假設(shè)知識(shí)點(diǎn)的重要性和難度對(duì)其掌握有著類似的影響。

1 相關(guān)工作

1.1 認(rèn)知診斷

1.1.1 項(xiàng)目反應(yīng)理論

項(xiàng)目反應(yīng)理論，又叫潛在特質(zhì)理論，是一種現(xiàn)代心理測(cè)量理論，目的在于指導(dǎo)篩選測(cè)試題和編制測(cè)試題。該理論假設(shè)每個(gè)學(xué)生都有自己的“潛在特質(zhì)”。潛在特質(zhì)是指學(xué)生潛在的能力，通常用答題的得分來(lái)進(jìn)行估算。項(xiàng)目反應(yīng)理論認(rèn)為，通過(guò)考生對(duì)具有一定難度和區(qū)分度等特征的測(cè)試題的答題情況可以確定考生的潛在特質(zhì)[15]，其中測(cè)試題的難度是一種衡量測(cè)試題難易程度的指標(biāo)，測(cè)試題的區(qū)分度是指測(cè)試題對(duì)所有被測(cè)對(duì)象高低水平的鑒別能力[16]。該理論的雙參數(shù)反應(yīng)模型表達(dá)為

(1)

式中：α表示學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度；a為知識(shí)點(diǎn)的區(qū)分度參數(shù)；b為知識(shí)點(diǎn)的難度參數(shù)；θ為學(xué)生的潛在特質(zhì)水平；D=-1.7[17]，是一經(jīng)驗(yàn)參數(shù)。

1.1.2 認(rèn)知診斷評(píng)估

認(rèn)知診斷評(píng)估是在考試的基礎(chǔ)上，為學(xué)生或教師提供診斷信息，即關(guān)于學(xué)生對(duì)知識(shí)點(diǎn)掌握情況的信息[18]。認(rèn)知診斷模型利用學(xué)生做題得分情況和測(cè)試題與知識(shí)點(diǎn)的關(guān)系來(lái)發(fā)現(xiàn)學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況，從而還可以預(yù)測(cè)學(xué)生對(duì)新的測(cè)試題的得分情況。圖1所示為認(rèn)知診斷的過(guò)程。通過(guò)考試得到學(xué)生對(duì)測(cè)試題的得分矩陣X，測(cè)試題與知識(shí)點(diǎn)之間的關(guān)系用矩陣Q表示，利用得分矩陣X和Q可以進(jìn)行認(rèn)知診斷，從而得到學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況。

圖1 認(rèn)知診斷過(guò)程Fig.1 A toy example of cognitive diagnosis model

1.2 相關(guān)模型介紹

1.2.1 DINA模型

DINA模型是已有認(rèn)知診斷模型中應(yīng)用最廣泛的模型，它定義學(xué)生i在測(cè)試題j上正確作答的概率為

P(Xij= 1|ηij,sj,gj) = (1 -sj)ηijgj(1 - ηij )

(2)

式中：Xij表示學(xué)生i在測(cè)試題j上的得分，其取值為0或1；ηij=1 表示學(xué)生i掌握了測(cè)試題j所涉及的全部知識(shí)點(diǎn)；ηij=0 表示學(xué)生i沒(méi)有掌握測(cè)試題j所涉及的全部知識(shí)點(diǎn)；sj為失誤率，表示掌握了測(cè)試題j所考查的所有知識(shí)點(diǎn)但做錯(cuò)的概率；gj為猜測(cè)率，表示未掌握測(cè)試題j所考查的所有知識(shí)點(diǎn)但通過(guò)猜測(cè)做對(duì)的概率。

該模型假設(shè)：若學(xué)生i掌握了測(cè)試題j所涉及的全部知識(shí)點(diǎn)，則學(xué)生i正確作答測(cè)試題j的概率等于1減去測(cè)試題j的失誤率；若學(xué)生i沒(méi)有掌握測(cè)試題j所涉及的全部知識(shí)點(diǎn)，則學(xué)生i正確作答測(cè)試題j的概率等于測(cè)試題j的猜測(cè)率。前提是假定學(xué)生i在作答測(cè)試題j時(shí)，失誤和猜測(cè)不可能同時(shí)發(fā)生，而且失誤或者猜測(cè)必有一種情況發(fā)生。

1.2.2 FuzzyCDF模型

FuzzyCDF模型將模糊理論應(yīng)用到認(rèn)知診斷中，可以同時(shí)對(duì)學(xué)生作答客觀題和主觀題進(jìn)行診斷，解決了傳統(tǒng)認(rèn)知診斷模型無(wú)法有效診斷主觀題的問(wèn)題。

在FuzzyCDF模型中，學(xué)生正確作答客觀題和主觀題的概率計(jì)算公式分別為

P(Xij=1|ηij,sj,gj)=(1-sj)ηij+gj(1-ηij)

(3)

P(Xij|ηij,sj,gj)=N(Xij|[(1-sj)ηij+gj(1-ηij)],σ2)

(4)

式中：Xij代表學(xué)生i在測(cè)試題j上的得分，在式(3)中Xij取值為0或1，在式(4)中Xij的取值范圍為[0,1]；ηij表示學(xué)生i對(duì)測(cè)試題j的掌握程度，取值為[0,1]；σ為主觀題分?jǐn)?shù)歸一化后的方差。因此，在FuzzyCDF模型中，學(xué)生正確作答客觀題的概率等于1減去失誤率sj乘以學(xué)生i對(duì)題目j的掌握程度ηij與1減去學(xué)生i對(duì)題目j的掌握程度ηij乘以猜測(cè)率gj之和；正確作答主觀題的概率服從以(1-sj)ηij+gj(1-ηij)為均值σ2為方差的正態(tài)分布。因此，F(xiàn)uzzyCDF模型假定了學(xué)生i在作答測(cè)試題j時(shí)，失誤和猜測(cè)可以同時(shí)發(fā)生。

根據(jù)項(xiàng)目反應(yīng)理論，F(xiàn)uzzyCDF模型假設(shè)學(xué)生i對(duì)知識(shí)點(diǎn)k的掌握程度由知識(shí)點(diǎn)相關(guān)的模糊集的隸屬函數(shù)來(lái)確定，即

(5)

式中：αik表示學(xué)生i對(duì)知識(shí)點(diǎn)k的掌握程度，即學(xué)生i對(duì)知識(shí)點(diǎn)k的隸屬度i(k)；aik表示知識(shí)點(diǎn)的區(qū)分度；bik表示知識(shí)點(diǎn)k對(duì)學(xué)生i的難度；θi表示學(xué)生i的潛在特質(zhì)水平；D為常數(shù)等于-1.7。

FuzzyCDF模型假設(shè)在客觀題作答中，學(xué)生i要掌握題目j所涉及的全部知識(shí)點(diǎn)，才能掌握題目j；如圖2(a)所示，學(xué)生i1掌握了題目j，因?yàn)閷W(xué)生i1掌握了題目所考查的3個(gè)知識(shí)點(diǎn)，而學(xué)生i2沒(méi)有掌握題目j。該模型假設(shè)在主觀題作答中，學(xué)生i只要掌握題目j所涉及的全部知識(shí)點(diǎn)中的其一，就可能掌握題目j；如圖2(b)所示，學(xué)生i1可能掌握了題目j，因?yàn)閷W(xué)生i1掌握了題目j所考查的兩個(gè)知識(shí)點(diǎn)，而學(xué)生i2不可能掌握題目j。

圖2 題目掌握情況例子Fig.2 An example of whether a student masters a problem

因此，該模型假設(shè)在客觀題中，學(xué)生i對(duì)題目j的掌握程度ηij等于學(xué)生i對(duì)知識(shí)點(diǎn)掌握程度的模糊交，其表達(dá)式為

ηij=i∩1≤k≤K,qjk=1(k)

(6)

式中：K表示Q矩陣中測(cè)試題所考核的知識(shí)點(diǎn)的個(gè)數(shù)，qjk=1表示題目j考查了知識(shí)點(diǎn)k，i(k)表示學(xué)生i對(duì)知識(shí)點(diǎn)k的掌握程度，i1≤k≤K,qjk=1(k)表示學(xué)生i對(duì)題目j所考查的知識(shí)點(diǎn)k的掌握程度。i∩1≤k≤K,qjk=1(k)表示學(xué)生i對(duì)題目j所考查知識(shí)點(diǎn)的掌握程度的交集。

FuzzyCDF模型假設(shè)在主觀題中，學(xué)生i對(duì)題目j的掌握程度ηij等于對(duì)知識(shí)點(diǎn)掌握程度的模糊并，其表達(dá)式為

ηij=i∪1≤k≤K,qjk=1(k)

(7)

模糊理論中模糊交和模糊并的計(jì)算公式為

(A∩B)(x)=min(A(x),B(x))

(8)

(A∪B)(x)=max(A(x),B(x))

(9)

因此，式(6,7)可以理解為取學(xué)生i對(duì)題目j所考查全部知識(shí)點(diǎn)掌握程度的最小值或最大值作為學(xué)生i對(duì)題目j的掌握程度。

2 R-FuzzyCDF模型

2.1 模型假設(shè)

2.1.1 假設(shè)1

知識(shí)點(diǎn)是題目的基本組成單位，也是學(xué)生學(xué)習(xí)的基本認(rèn)知單位。知識(shí)點(diǎn)的相關(guān)屬性包括知識(shí)點(diǎn)的難易程度、知識(shí)點(diǎn)的重要程度、前續(xù)知識(shí)點(diǎn)、后續(xù)知識(shí)點(diǎn)和知識(shí)點(diǎn)種類等等。測(cè)試題所涉及的知識(shí)點(diǎn)的重要性對(duì)學(xué)生是否正掌握該知識(shí)點(diǎn)有著重要影響。在FuzzyCDF模型中，學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況，由學(xué)生的潛在特質(zhì)，知識(shí)點(diǎn)的區(qū)分度和知識(shí)點(diǎn)的難度確定，并沒(méi)有考慮其重要性的影響，因此本研究引入了知識(shí)點(diǎn)重要性這個(gè)影響因子。已有研究中表明知識(shí)點(diǎn)的重要程度與其后繼知識(shí)點(diǎn)的個(gè)數(shù)以及相關(guān)的試題數(shù)量有關(guān)，即某知識(shí)點(diǎn)被其他知識(shí)點(diǎn)用的次數(shù)越多，該知識(shí)點(diǎn)就越重要。試題庫(kù)中關(guān)于該知識(shí)點(diǎn)的試題越多，該知識(shí)點(diǎn)越重要[19]。由于本研究的數(shù)據(jù)沒(méi)有知識(shí)點(diǎn)與后繼知識(shí)點(diǎn)的關(guān)系信息，因此用試題庫(kù)中知識(shí)點(diǎn)出現(xiàn)的次數(shù)即知識(shí)點(diǎn)出現(xiàn)的頻率來(lái)表示知識(shí)點(diǎn)的重要性，用參數(shù)e表示，e=n/m，其中n表示知識(shí)點(diǎn)在測(cè)試題中出現(xiàn)的次數(shù)，m表示測(cè)試題的個(gè)數(shù)。如表1所示，知識(shí)點(diǎn)a的重要性為3/8，知識(shí)點(diǎn)d的重要性為5/8，由此可知點(diǎn)d的重要性大于點(diǎn)a。

一般情況下，人們認(rèn)為知識(shí)點(diǎn)的重要性和其難度相關(guān)[20]。因此，知識(shí)點(diǎn)的重要性和難度對(duì)其掌握有著類似的影響，基于項(xiàng)目反應(yīng)理論，可定義知識(shí)點(diǎn)的掌握程度為

(10)

式中：ek為知識(shí)點(diǎn)k的重要性。

表1 測(cè)試題考查知識(shí)點(diǎn)的出現(xiàn)頻率

Tab.1 Frequency of each knowledge point contained in the test

知識(shí)點(diǎn)a知識(shí)點(diǎn)b知識(shí)點(diǎn)c知識(shí)點(diǎn)d知識(shí)點(diǎn)e測(cè)試題100010測(cè)試題211101測(cè)試題310011測(cè)試題401101測(cè)試題501010測(cè)試題600010測(cè)試題711000測(cè)試題800010知識(shí)點(diǎn)出現(xiàn)頻率34253

2.1.2 假設(shè)2

在FuzzyCDF模型的主觀題假設(shè)中，認(rèn)為學(xué)生是否掌握題目屬于補(bǔ)償型。補(bǔ)償是指學(xué)生在某個(gè)知識(shí)點(diǎn)上的高水平掌握或擁有，可以補(bǔ)償學(xué)生在其他知識(shí)點(diǎn)上的低水平掌握或者缺失。在極端情況下，可以認(rèn)為學(xué)生只要掌握一個(gè)知識(shí)點(diǎn)就會(huì)有較高的正確作答概率[21]。因此FuzzyCDF模型在主觀題的診斷中假設(shè)學(xué)生掌握測(cè)試題所考查的其中一個(gè)知識(shí)點(diǎn)就可能答對(duì)該測(cè)試題。但實(shí)際中并非如此。圖3給出了人教版小學(xué)五年級(jí)分?jǐn)?shù)加減法的一道主觀題，該題是一道計(jì)算題，考查了通分、同分母加減和化簡(jiǎn)3個(gè)知識(shí)點(diǎn)。如果學(xué)生只掌握了化簡(jiǎn)這個(gè)知識(shí)點(diǎn)，那么學(xué)生明顯無(wú)法正確解題。補(bǔ)償?shù)牧硪环N情況為：學(xué)生掌握部分和全部知識(shí)正確作答的概率比沒(méi)掌握任何知識(shí)點(diǎn)的概率高[22]，也就是說(shuō)學(xué)生掌握部分知識(shí)點(diǎn)也可能正確作答。

因此，本研究假設(shè)：隨著學(xué)生掌握知識(shí)點(diǎn)的個(gè)數(shù)增多，學(xué)生正確作答的概率將增高，將學(xué)生i掌握主觀題測(cè)試題j的程度ηij重新定義為

(11)

式中：ηij表示為學(xué)生i對(duì)測(cè)試題j的掌握程度，取值范圍為[0,1]，0表示學(xué)生i沒(méi)有掌握測(cè)試題j，1表示學(xué)生i掌握了測(cè)試題j，0～1表示學(xué)生i對(duì)測(cè)試題j的掌握程度；i(k)為學(xué)生i對(duì)知識(shí)點(diǎn)k的掌握程度；qjk=1表示測(cè)試題j考查了知識(shí)點(diǎn)k；∑i1≤k≤K,qjk=1(k)為學(xué)生i對(duì)測(cè)試題j所涉及到的所有知識(shí)點(diǎn)的掌握程度的和，分母表示測(cè)試題j所考查的知識(shí)點(diǎn)的數(shù)量。

圖3 主觀題答題過(guò)程Fig.3 Process of solving a subjective problem

2.2 模型介紹

本研究在FuzzyCDF模型的基礎(chǔ)上，基于以上兩個(gè)假設(shè)提出R-FuzzyCDF模型，該模型在一定程度上彌補(bǔ)了FuzzyCDF對(duì)主觀題診斷的不足。與FuzzyCDF相同，R-FuzzyCDF模型中學(xué)生i對(duì)測(cè)試題j的正確作答概率的計(jì)算公式為式(3,4)。

圖4所示為R-FuzzyCDF模型的框架示意圖，首先將矩陣Q和得分矩陣X輸入，通過(guò)2.3節(jié)中的MCMC算法進(jìn)行參數(shù)估計(jì)，利用式(19-22)得到困難度a、區(qū)分度b、潛在特質(zhì)θ、猜測(cè)率g、失誤率s和主觀題歸一化方差σ等參數(shù)，同時(shí)通過(guò)矩陣Q計(jì)算出知識(shí)點(diǎn)重要性e。得到以上參數(shù)后，通過(guò)式(10)計(jì)算得到學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況，再通過(guò)式(6，11)計(jì)算得到學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度與矩陣Q計(jì)算得到學(xué)生對(duì)測(cè)試題的掌握情況，最后通過(guò)式(3，4)結(jié)合猜測(cè)率g和失誤率s得出學(xué)生對(duì)測(cè)試題的正確作答概率，從而掌握學(xué)生對(duì)測(cè)試題的得分情況。

圖4 R-FuzzyCDF模型框架示意圖Fig.4 Schematic diagram of R-FuzzyCDF

2.3 MCMC估計(jì)算法

在認(rèn)知診斷模型中常用的參數(shù)估計(jì)方法有最大期望(Expectation maximization，EM)算法和馬爾可夫鏈蒙特卡羅(Markov chain Monte Carlo，MCMC)算法。MCMC算法更加適用于多參數(shù)的參數(shù)估計(jì)，因此本研究采用文獻(xiàn)[9]提出的MCMC算法進(jìn)行參數(shù)估計(jì)。MCMC算法采用吉布斯內(nèi)的M-H采樣法，首先基于Gibbs采樣法對(duì)未知參數(shù)的后驗(yàn)分布進(jìn)行分解[23]，然后應(yīng)用M-H算法對(duì)區(qū)失誤率s、猜測(cè)參數(shù)g、潛在特質(zhì)θ、主觀題歸一化方差σ、分度a和困難度b[24]等參數(shù)進(jìn)行估計(jì)。

以未知參數(shù)的聯(lián)合后驗(yàn)分布為目標(biāo)分布，給出模型的聯(lián)合似然函數(shù)為

(12)

(13)

以上所有參數(shù)的聯(lián)合后驗(yàn)分布為

p(a,b,θ,s,g,σ2|X)∝p(X|a,b,θ,s,g,σ2)P(a,b,θ,s,g,σ2)∝

p(X|a,b,θ,s,g)P(a)P(b)P(θ)P(s)P(g)P(σ2)

(14)

在給定矩陣Q、得分矩陣X和其他參數(shù)的條件下，各個(gè)參數(shù)的全條件分布為

p(a,b|X,θ,s,g,σ2)∝L(s,g,θ,a,b,σ2)P(a)P(b)

(15)

p(θ|X,a,b,s,g,σ2)∝L(s,g,θ,a,b,σ2)P(θ)

(16)

p(s,g|X,a,b,θ,σ2)∝L(s,g,θ,a,b,σ2)P(s)P(g)

(17)

p(σ2|X,s,g,θ,a,b)∝L(s,g,θ,a,b,σ2)P(σ2)

(18)

每個(gè)參數(shù)的先驗(yàn)分布表示如下

a～logN(0,1),b～N(0,1)

s～4-Beta(1,2,0,0.6),g～4-Beta(1,2,0,0.6)

從各參數(shù)的全條件分布進(jìn)行M-H抽樣，分別對(duì)區(qū)分度a、困難度b、失誤率s、猜測(cè)參數(shù)g、潛在特質(zhì)θ和主觀題歸一化方差σ進(jìn)行抽樣，參數(shù)的抽樣過(guò)程如下。

(1)a，b參數(shù)

(19)

(2)θ參數(shù)

θt參數(shù)從正態(tài)分布N(θt,σ2)中隨機(jī)抽取，其θt向θt+1轉(zhuǎn)移的概率計(jì)算公式為

(20)

(3)s，g參數(shù)

(21)

(4)σ參數(shù)

(σ2)t參數(shù)從伽馬分布U(((σ2)t+1-δσ,((σ2)t+1+δσ)))中隨機(jī)抽取，(σ2)t向 (σ2)t+1轉(zhuǎn)移的概率計(jì)算公式為

(22)

各個(gè)參數(shù)在抽樣后再將其計(jì)算概率與r～U(0，1) 產(chǎn)生的隨機(jī)數(shù)進(jìn)行比較，如果大于等于r，則接受轉(zhuǎn)移，否則不接受轉(zhuǎn)移。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)分為3個(gè)數(shù)據(jù)集，來(lái)自于參考文獻(xiàn)[14]，分別是FrcSub數(shù)據(jù)集，Math1數(shù)據(jù)集和Math2數(shù)據(jù)集。FrcSub是關(guān)于小學(xué)分?jǐn)?shù)加減法測(cè)試的數(shù)據(jù)，測(cè)試題只包含客觀題[25]；Math1和Math2為某期末數(shù)學(xué)考試數(shù)據(jù)，測(cè)試題包括客觀題和主觀題。表2所示為3個(gè)數(shù)據(jù)集的統(tǒng)計(jì)情況；圖5所示為數(shù)據(jù)集預(yù)覽情況，3個(gè)數(shù)據(jù)集都包含矩陣Q和得分矩陣X兩個(gè)數(shù)據(jù)。矩陣Q每一列代表一個(gè)知識(shí)點(diǎn)，每行代表一道測(cè)試題，0表示測(cè)試題沒(méi)有考核該知識(shí)點(diǎn)，1表示測(cè)試題考核該知識(shí)點(diǎn)。得分矩陣X每列代表測(cè)試題的得分，每行代表一道測(cè)試題，得分矩陣X中客觀題是0,1矩陣，0表示學(xué)生在該題上得分為0，1表示學(xué)生在該題上得分為1；而主觀題的值為0～1，為主觀題得分歸一化以后的值。

表2 數(shù)據(jù)集統(tǒng)計(jì)

Tab.2 Dataset statistics

數(shù)據(jù)集考試人數(shù)知識(shí)點(diǎn)個(gè)數(shù)測(cè)試題類型客觀題主觀題FrcSub5368200Math1420911155Math2391116164

圖5 數(shù)據(jù)集預(yù)覽Fig.5 Preview of the datasets

3.2 實(shí)驗(yàn)方案

教育類模型的評(píng)價(jià)指標(biāo)包括模型擬合度、模型精度、模型內(nèi)外效度和模型的可解釋度[26]，其中認(rèn)知診斷模型的評(píng)價(jià)指標(biāo)包括邊際判準(zhǔn)率、模式判準(zhǔn)率和參數(shù)的檢驗(yàn)誤差等。但是以上的評(píng)價(jià)指標(biāo)都需要掌握學(xué)生對(duì)知識(shí)點(diǎn)的真實(shí)掌握情況，而本研究并不包含該數(shù)據(jù)，因此本研究采用文獻(xiàn)[14]中的實(shí)驗(yàn)方案，通過(guò)一種間接的方式來(lái)評(píng)判模型的優(yōu)劣，即用學(xué)生得分的預(yù)測(cè)準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。通過(guò)這種間接的方法來(lái)進(jìn)行驗(yàn)證，將學(xué)生做題的得分?jǐn)?shù)據(jù)分成訓(xùn)練集和測(cè)試集，通過(guò)訓(xùn)練集來(lái)訓(xùn)練參數(shù)從而得到學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況，然后利用學(xué)生對(duì)知識(shí)點(diǎn)的掌握情況對(duì)學(xué)生得分進(jìn)行預(yù)測(cè)，再與測(cè)試集進(jìn)行比較，計(jì)算預(yù)測(cè)得分與真實(shí)得分之間的標(biāo)準(zhǔn)差(RMSE)和平均絕對(duì)誤差(MAE)，這兩個(gè)指標(biāo)越小就說(shuō)明實(shí)驗(yàn)效果越好，說(shuō)明對(duì)學(xué)生對(duì)知識(shí)點(diǎn)掌握情況的診斷越正確。

3.3 實(shí)驗(yàn)結(jié)果

本研究采用的驗(yàn)證方法是留一交叉驗(yàn)證，即在n道測(cè)試題中取n-1道測(cè)試題作為訓(xùn)練集來(lái)做參數(shù)估計(jì)從而預(yù)測(cè)所有學(xué)生得分情況，留1道測(cè)試題做驗(yàn)證，總共進(jìn)行n次試驗(yàn)，以保證每道題都驗(yàn)證到，然后計(jì)算每道測(cè)試題的真實(shí)值與預(yù)測(cè)值的標(biāo)準(zhǔn)差(RMSE)和平均絕對(duì)誤差(MAE)來(lái)作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)，指標(biāo)越小表明模型越好。計(jì)算公式為式(23,24)；并與DINA模型和FuzzyCDF模型進(jìn)行比較

(23)

(24)

式中：N表示考試總?cè)藬?shù)，ηxi表示預(yù)測(cè)學(xué)生i對(duì)測(cè)試題的得分，ηyi表示學(xué)生i的真實(shí)得分。

表3～5所示為留一交叉驗(yàn)證的平均結(jié)果；圖6所示為留一交叉驗(yàn)證每次結(jié)果對(duì)比；圖7所示為假設(shè)1：20次的實(shí)驗(yàn)結(jié)果。R-FuzzyCDF_1只表示引入了假設(shè)1；R-FuzzyCDF_2只表示引入了假設(shè)2，即主觀題的假設(shè)的實(shí)驗(yàn)結(jié)果；R-FuzzyCDF表示同時(shí)引入了假設(shè)1和假設(shè)2的實(shí)驗(yàn)結(jié)果。

表3FrcSub數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

Tab.3ExperimentalresultsonFrcSubdataset

FrcSub數(shù)據(jù)MAERMSEDINA0．46780．6797FuzzyCDF0．28340．3996R?FuzzyCDF0．28270．3990

表4Math1數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
Tab.4ExperimentalresultsonMath1dataset

Math1數(shù)據(jù)MAERMSEDINA0．47770．6556FuzzyCDF0．46610．4961R?FuzzyCDF＿10．46500．4943R?FuzzyCDF＿20．41940．4919R?FuzzyCDF0．41850．4913

表5Math2數(shù)據(jù)集實(shí)驗(yàn)結(jié)果
Tab.5ExperimentalresultsonMath2dataset

Math2數(shù)據(jù)MAERMSEDINA0．56380．7321FuzzyCDF0．46990．4991R?FuzzyCDF＿10．46790．4972R?FuzzyCDF＿20．40400．4847R?FuzzyCDF0．40320．4836

圖7 知識(shí)點(diǎn)重要性的實(shí)驗(yàn)結(jié)果Fig.7 Experimental results on the importance of knowledge points

表3～5所示為留一交叉驗(yàn)證的平均結(jié)果，3個(gè)數(shù)據(jù)集都考查了20道測(cè)試題，也就是分別進(jìn)行了20次實(shí)驗(yàn)。在FrcSub數(shù)據(jù)集上，因?yàn)樵摂?shù)據(jù)集只包含客觀題，因此針對(duì)該數(shù)據(jù)集，只添加了假設(shè)1，R-FuzzyCDF模型與DINA模型相比平均絕對(duì)誤差低了0.185 1，標(biāo)準(zhǔn)誤差低了0.280 7；與FuzzyCDF相比平均絕對(duì)誤差低了0.000 7，標(biāo)準(zhǔn)誤差低了0.000 6，可以認(rèn)為持平。在Math1數(shù)據(jù)集上，R-FuzzyCDF模型與DINA模型相比平均絕對(duì)誤差低了0.059 2，標(biāo)準(zhǔn)誤差低了0.164 3；與FuzzyCDF模型相比平均絕對(duì)誤差低了0.047 6，標(biāo)準(zhǔn)誤差低了0.004 8；R-FuzzyCDF_1模型與FuzzyCDF模型相比平均絕對(duì)誤差低了0.001 1，標(biāo)準(zhǔn)誤差低了0.001 9；R-FuzzyCDF_2模型與FuzzyCDF模型相比平均絕對(duì)誤差低了0.046 7，標(biāo)準(zhǔn)誤差低了0.004 2。在Math2數(shù)據(jù)集上，R-FuzzyCDF模型與DINA模型相比平均絕對(duì)誤差低了0.160 6，標(biāo)準(zhǔn)誤差低了0.248 5；與FuzzyCDF模型相比平均絕對(duì)誤差低了0.066 7，標(biāo)準(zhǔn)誤差低了0.015 5；R-FuzzyCDF_1模型與FuzzyCDF模型相比平均絕對(duì)誤差低了0.002 0，標(biāo)準(zhǔn)誤差低了0.001 9；R-FuzzyCDF_2模型與FuzzyCDF模型相比平均絕對(duì)誤差低了0.065 9，標(biāo)準(zhǔn)誤差低了0.014 4。

圖6所示為3個(gè)數(shù)據(jù)集在每道題上的結(jié)果曲線圖，在FrcSub數(shù)據(jù)集上，這20道題上R-FuzzyCDF模型相比DINA模型其診斷準(zhǔn)確率每次都有明顯的提高，但相比FuzzyCDF模型診斷準(zhǔn)確率提高不明顯；在Math1和Math2兩個(gè)數(shù)據(jù)集上，在這20道題上相比DINA模型和FuzzyCDF模型，R-FuzzyCDF模型雖然有波動(dòng)，但可以看出診斷準(zhǔn)確率有了明顯提升。從圖6中的Math1和Math2的實(shí)驗(yàn)結(jié)果還可以看出：R-FuzzyCDF模型對(duì)主觀題有著更準(zhǔn)確的診斷。圖7為只引入了假設(shè)2在20道題上的實(shí)驗(yàn)結(jié)果，通過(guò)這20次實(shí)驗(yàn)結(jié)果可以看出引入知識(shí)點(diǎn)重要性在客觀題上的效果較為明顯。

4 結(jié)束語(yǔ)

本研究在FuzzyCDF的基礎(chǔ)上提出了R-FuzzyCDF，引入了知識(shí)點(diǎn)重要性和知識(shí)點(diǎn)難度對(duì)知識(shí)點(diǎn)的掌握有著類似的影響及學(xué)生掌握的知識(shí)點(diǎn)越多得分概率就越大這兩個(gè)假設(shè)。首先通過(guò)理論分析表明了兩個(gè)假設(shè)的合理性，然后通過(guò)實(shí)驗(yàn)進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明：(1)R-FuzzyCDF模型中引入假設(shè)1可以有效提高學(xué)生對(duì)知識(shí)點(diǎn)掌握度程度的估計(jì)，從而提高學(xué)生對(duì)測(cè)試題得分預(yù)測(cè)的準(zhǔn)確率；(2)在引入假設(shè)2后，R-FuzzyCDF模型比其他兩個(gè)模型表現(xiàn)出明顯的提升，同時(shí)對(duì)主觀題的診斷效果有更為明顯的提升。(3)綜合兩個(gè)假設(shè)后，R-FuzzyCDF模型可進(jìn)一步提升認(rèn)知診斷的準(zhǔn)確率。

[1] Jang E E. A review of ″Cognitive diagnostic assessment for education: theory and application″[J]. International Journal of Testing, 2008, 8(3):290-295.

[2] Harmelen M V, Workman D. Analytics for learning and teaching[J]. CETIS Analytics Series, 2012, 1(3): 1-40.

[3] Raju P S, Lonial S C, Mangold W G, et al. Differential effects of subjective knowledge, objective knowledge, and usage experience on decision making: An exploratory investigation[J]. Journal of Consumer Psychology, 1995, 4(2): 153-180.

[4] Leighton J P, Gierl M J. Cognitive diagnostic assessment for education: Theory and applications[J]. Journal of Qingdao Technical College, 2007, 45(4):407-411.

[5] Fischer G H. The linear logistic model as an instrument in educational research[J]. Acta Psychologica,1973, 37(6): 359-374.

[6] Tatsuoka K K. Rule space:An approach for dealing with misconceptions based on item response theory[J]. Journal of Educational Measurement, 1983, 20(4): 345-354.

[7] Leighton J P, Gierl J M,Hunka S M. The attribute hierarchy method for cognitive assessment:A variation on Tstsuoka′s rule-space approach[J]. Journal of Educational Measurement, 2004, 41(3): 205-236.

[8] Hartz S M. A Bayesian framework for the unified model for assessing cognitive abilities:Blending theory with practicality[J].American Journal of Gastroenterology, 2002, 95(4): 906-909.

[9] Torre J D L, Douglas J A. Higher-order latent trait models for cognitive diagnosis[J]. Psychometrika, 2004, 69(3): 333-353.

[10] 錢(qián)錦昕, 余嘉元. 認(rèn)知診斷中基于神經(jīng)網(wǎng)絡(luò)的PSP方法[J]. 心理科學(xué), 2010(4):915-917.

Qian Jinxin, Yu Jiayuan. The neural network-based PSP method in cognitive diagnosis[J]. Psychological Science, 2010(4):915-917.

[11] 康春花,任平,曾平飛,等. 多級(jí)評(píng)分聚類診斷法的影響因素[J].心理學(xué)報(bào),2016, 48(7): 891-902.

Kang Chunhua, Ren Ping, Zeng Pingfei, et al. The influence factors of grade response cluster diagnostic method[J]. Acta Psychologica Sinica, 2016,48(7): 891-902.

[12] 祝玉芳, 王黎華, 丁樹(shù)良,等. 多策略的多級(jí)評(píng)分認(rèn)知診斷方法的開(kāi)發(fā)[J]. 江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2015, 39(4): 271-276.

Zhu Yufang, Wang Lihua, Ding Shuliang, et al.The development of multiple-strategies cognitive diagnosis with polytomous response[J]. Journal of Jiangxi Normal University(Natural science), 2015, 39(4): 271-276.

[13] 宋麗紅, 戴海琦,汪文義, 等.R-DINA模型參數(shù)估計(jì)EM算法準(zhǔn)確性檢驗(yàn)[J].心理學(xué)探新,2012, 32(5): 410-413.

Song Lihong, Dai Haiqi, Wang Wenyi, et al. Assessing the performance of EM Algorithm for parameter estimation of the R-DINA Model[J]. Psychological Explortation, 2012, 32(5): 410-413.

[14] Wu R Z, Liu Q, Chen E H, et al. Cognitive modelling for predicting examinee performance [C]∥ International Joint Conference on Artificial Interlligence.Buenos Aires, Argentina:ACM Press,2015:1017-1024.

[15] Baker F B，Kim S H. Item response theory: Parameter estimation techniques[J]. Journal of the American Statistical Association, 2004, 100(2): 299-305.

[16] Fayers P. Item response theory for psychologists[J]. Quality of Life Research, 2004, 13(3):715-716.

[17] Camilli G. Teachers corner: Origin of the scaling constantd=1.7 in item response theory[J]. Journal of Educational and Behavioral Statistics, 1994, 19(3): 293-295.

[18] DiBello L V, Stout W. Guest editors′ introduction and overview: IRT-based cognitive diagnostic models and related methods[J]. Journal of Educational Measurement, 2007, 44(4): 285-291.

[19] 康健. 以知識(shí)點(diǎn)為中心的智能導(dǎo)學(xué)系統(tǒng)的研究與實(shí)現(xiàn)[D]. 長(zhǎng)春：東北師范大學(xué), 2010.

Kang Jian. Research and implenmentation of intelligent tutoring system on the basis of knowledge point [D]. Changchun: Northeast Normal University, 2010.

[20] Cheng Y, Zeng G, Xu W S, et al. Research on the interest mining and cluster grouping based on the knowledge point[C]∥Information Communication and Management. Hertfordshire: ICICM, 2016: 7-12.

[21] Torre J D L, Douglas J A. Model evaluation and multiple strategies in cognitive diagnosis: An analysis of fraction subtraction data[J]. Psychometrika, 2008, 73(4): 595-624.

[22] Hong H, Wang C, Lim Y S, et al. Efficient models for cognitive diagnosis with continuous and mixed-type latent variables[J]. Applied Psychological Measurement, 2014, 39(1): 31-43.

[23] Henson R, Douglas J. Test construction for cognitive diagnosis[J]. Applied Psychological Measurement, 2005, 29(4): 262-277.

[24] Hulin C L, Drasgow F, Parsons C K, et al. Item response theory: Application to psychological measurement[J]. British Journal of Surgery, 2009,96(8):955-955.

[25] DeCarlo L T. On the analysis of fraction subtraction data: The dina model, classification, latent class sizes, and the q-matrix[J]. Applied Psychological Measurement, 2011, 35(1): 8-26.

[26] DiBello L V, Roussos L A, Stout W, et al. A review of cognitively diagnostic assessment and a summary of psychometric models[J]. Handbook of Statistics, 2006, 26(6): 979-1030.

RevisedModelofFuzzyCognitiveDiagnosisFramework

Li Youxi1, Wen Yimin1,2, Yi Xinhe1, Xu Zhi1,2

(1.School of Computer Science and Information Security, Guilin University of Electronic Technology, Guilin, 541004, China;2.Guangxi Key Laboratory of Trusted Software, Guilin University of Electronic Technology, Guilin, 541004, China)

To acquire students′ grasping state of the knowledge points and further predict their scores in future tests, a cognitive diagnosis model is applied to explore students′ talent traits by using their test scores and the relationship between a test topic and its knowledge point. However, the available cognitive diagnosis models generally ignore the influence of the number of knowledge points mastered, the mastery degree of knowledge points and the importance of knowledge points on cognitive diagnosis in subjective questions. So a revised fuzzy cognitive diagnosis framework (FuzzyCDF) model is proposed in this paper, which assumes that the probability of answering correctly increases as the number of knowledge points mastered increases in cognitive diagnosis in subjective questions and takes into consideration the influence of the importance of knowledge points on cognitive diagnosis. Experimental results illustrate that the revised FuzzyCDF model can further improve the accuracy of cognitive diagnosis.

cognitive diagnosis; conjunctive; compensatory; importance of knowledge point; subjective question

國(guó)家自然科學(xué)基金(61363029，61662014)資助項(xiàng)目；廣西區(qū)科學(xué)研究與技術(shù)開(kāi)發(fā)項(xiàng)目(桂科攻14124005-2-1)資助項(xiàng)目；教育部在線教育研究基金(全通教育)課題(2016YB155)資助項(xiàng)目；廣西高校圖像圖形智能處理重點(diǎn)實(shí)驗(yàn)室課題(GIIP201505)資助項(xiàng)目。

2017-01-05；

2017-04-27

TP181

A

李憂喜(1991-)，男，碩士研究生，研究方向：數(shù)據(jù)挖掘、在線教育，E-mail: liyouxi35@ 163.com。

徐智(1981-)，男，副教授，碩士生導(dǎo)師，研究方向：計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘。

文益民(1969-)，男，教授，碩士生導(dǎo)師，研究方向：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和在線教育。

易新河(1969-)，女，講師，研究方向：在線教育、教育管理和情報(bào)學(xué)。