4種多級(jí)計(jì)分非參數(shù)認(rèn)知診斷方法的比較

康春花 李元白 曾平飛 焦麗亞

（1.浙江師范大學(xué)教師教育學(xué)院，浙江金華 321004；2.教育部考試中心，北京 100084）

認(rèn)知診斷評(píng)估（Cognitive Diagnostic Assess?ment,CDA）以認(rèn)知診斷測(cè)驗(yàn)為載體，通過(guò)使用診斷分類方法實(shí)現(xiàn)對(duì)個(gè)體知識(shí)狀態(tài)的判別。從是否需要參數(shù)估計(jì)的角度來(lái)說(shuō)，診斷分類方法可分為參數(shù)方法和非參數(shù)方法。參數(shù)方法因其通過(guò)所構(gòu)建的參數(shù)模型來(lái)實(shí)現(xiàn)對(duì)所有參數(shù)的一次性估計(jì)，分類精確性可能較好，但也存在一定的不足，主要有：1）每種參數(shù)方法的前提假設(shè)不一，參數(shù)的意義也不盡相同；2）參數(shù)方法需要的樣本量較大，參數(shù)和屬性不能太多；3）對(duì)于非計(jì)算機(jī)和數(shù)學(xué)專業(yè)的研究者以及一線實(shí)踐者而言，參數(shù)模型較難理解，參數(shù)估計(jì)較難實(shí)現(xiàn)，這在一定程度上限制了CDA的推廣和應(yīng)用。相較而言，非參數(shù)方法具有前提假設(shè)較弱、無(wú)需參數(shù)估計(jì)、適合小樣本評(píng)估、較易理解、易于推廣應(yīng)用等特點(diǎn)[1-2]。正因?yàn)榉菂?shù)方法本身的優(yōu)勢(shì)或特點(diǎn)，近年來(lái)不少研究者逐步關(guān)注非參數(shù)方法在CDA中的開(kāi)發(fā)和應(yīng)用，以實(shí)現(xiàn)化繁為簡(jiǎn)，回歸CDA為課堂教學(xué)服務(wù)的本質(zhì)目的。

Chiu等提出屬性合分的0-1計(jì)分K-means聚類診斷法[3]，并通過(guò)模擬研究考查了其判準(zhǔn)率，發(fā)現(xiàn)與參數(shù)模型不相上下。為了找出適合的評(píng)估形式和多樣化的計(jì)分方式，康春花等將0-1計(jì)分K-means聚類診斷法擴(kuò)展為多級(jí)計(jì)分聚類診斷法（Grade Re?sponse Cluster Diagnostic Method,GRCDM）[1-2]，并通過(guò)模擬和實(shí)證研究考察了其精確性、穩(wěn)定性以及影響因素。結(jié)果表明，GRCDM充分體現(xiàn)了非參數(shù)方法特有的優(yōu)勢(shì)和特點(diǎn)，適合小樣本的課堂評(píng)估。然而，聚類診斷法本身也具有一定的局限性，雖然無(wú)需參數(shù)估計(jì)，但具體過(guò)程還是比較復(fù)雜，其中理想反應(yīng)模式（Ideal Response Patterns，IRP）和觀察反應(yīng)模式（Observed Response Patterns，ORP）的屬性合分向量及其對(duì)應(yīng)的能力向量的計(jì)算較為復(fù)雜。為進(jìn)一步簡(jiǎn)化過(guò)程，Chiu等剔除了屬性合分和能力向量的計(jì)算過(guò)程，采用直接對(duì)ORP進(jìn)行K-means聚類的思路，得到了較之前更高的判準(zhǔn)率[4-5]。然而，此方法僅停留在0-1計(jì)分情境。

聚類診斷法需要通過(guò)迭代不斷更換聚類中心，本質(zhì)上是一種探索性的無(wú)監(jiān)督的分類方法。Chiu等提出更簡(jiǎn)潔的通過(guò)計(jì)算IRP和ORP之間海明距離的判別方法[6]，羅照盛等把該方法明確界定為海明距離判別法（Hamming Distance Discrimination,HDD）[7]。海明距離指的是2個(gè)等長(zhǎng)字符串對(duì)應(yīng)位置的不同字符個(gè)數(shù)，在0-1計(jì)分中，不同的字符串個(gè)數(shù)可等同為2個(gè)向量數(shù)值上的差異，但在多級(jí)計(jì)分中，顯然意義不同。因此，HDD只適合0-1計(jì)分情境。汪文義等結(jié)合歐氏距離和條件期望估計(jì)開(kāi)發(fā)了一種基于條件期望類中心的判別方法[8]，判準(zhǔn)率相當(dāng)不錯(cuò)。然而，這種方法仍然需要參數(shù)估計(jì)，本質(zhì)上不是非參數(shù)的方法。此外，也有研究者將機(jī)器學(xué)習(xí)算法遷移到CDA中，如汪文義等詳細(xì)地闡述了基于概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Network,PNN）的認(rèn)知診斷分類方法[9]，并與支持向量機(jī)（Sup?port Vector Machine,SVM）方法[10]進(jìn)行了比較，發(fā)現(xiàn)PNN具有更高的判準(zhǔn)率，且耗時(shí)更少。

綜上可知，研究者在非參數(shù)診斷方法及方法的化繁為簡(jiǎn)方面做了諸多探索，取得了一定的成果。然而，這些方法要么只適于0-1計(jì)分情境，要么還不夠簡(jiǎn)潔。為此，本研究首先按照基于ORP的K-means思路，將原來(lái)基于屬性合分和能力向量的GRCDM簡(jiǎn)化為基于ORP的S-GRCDM；其次對(duì)汪文義等基于條件期望類中心的判別方法進(jìn)行簡(jiǎn)化，拋棄條件期望概率的估計(jì)，簡(jiǎn)化為直接基于歐式距離的判別方法[8]；第三，將PNN方法遷移至多級(jí)計(jì)分情境，通過(guò)2個(gè)模擬研究，將簡(jiǎn)化的2種方法與GRCDM和多級(jí)計(jì)分PNN進(jìn)行比較，考察4種多級(jí)計(jì)分非參數(shù)方法的精確性及適宜性。

1 GRCDM和PNN概述

1.1 GRCDM

GRCDM是由康春花等在0-1計(jì)分K-means聚類診斷法基礎(chǔ)上拓展而成[1]。GRCDM的核心思想是計(jì)算屬性合分和能力向量。在多級(jí)計(jì)分項(xiàng)目中，被試的得分介于0到滿分值之間，由于屬性之間具有層級(jí)關(guān)系，因此被試得分不同時(shí)，在各屬性合分上所累加的分?jǐn)?shù)不同，其計(jì)算公式為Wi=（Wi1,Wi2,為被試i在項(xiàng)目j上的得分，介于0分到項(xiàng)目j的滿分值之間；ρijky為被試i在項(xiàng)目j上得y分時(shí)，屬性k的得分；qjk表示項(xiàng)目j是否測(cè)量了屬性k，qjk=1則項(xiàng)目j測(cè)量了屬性k；qjk=0則項(xiàng)目j未測(cè)量屬性k。被試能力向量中的各元素則是被試在這個(gè)屬性上的合分除以這個(gè)屬性的最高合分，即該屬性考核次數(shù)。由此，多級(jí)計(jì)分下的能力向量Bi=（Bi1,Bi2,…,Bik）,其中

Wik為被試i在屬性k上的合分,為屬性k的考核次數(shù)。GRCDM的聚類分析思路如下：

1）根據(jù)R矩陣和Q矩陣，得到IRP，計(jì)算各IRP對(duì)應(yīng)的屬性合分向量和能力向量，將能力向量作為初始聚類中心。

2）根據(jù)被試ORP計(jì)算出被試能力向量，計(jì)算被試能力向量與各聚類中心的距離，把被試分配到最近的聚類中心。

3）所有被試分配完成后，重新計(jì)算K-means聚類中心。

4）基于過(guò)程3）得到的聚類中心，重新分配被試到距離最近的中心，重復(fù)該過(guò)程直到每個(gè)被試不再重新分配為止。

5）輸出聚類結(jié)果。

1.2 PNN

PNN是概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Net?work,PNN）的簡(jiǎn)稱，最初由Specht基于貝葉斯分類規(guī)則和概率密度函數(shù)提出的[11]。錢(qián)錦昕等將PNN中的PSP方法應(yīng)用于CDA[12]，汪文義等則詳細(xì)地?cái)⑹隽薖NN應(yīng)用于CDA的邏輯和思路[9]。在0-1計(jì)分情境下，PNN用于CDA主要分為4個(gè)步驟：

1）根據(jù)R矩陣和Q矩陣，計(jì)算理想掌握模式（Ideal Master Patterns，IMP）和IRP，以IRP作為后續(xù)PNN算法中的訓(xùn)練集，基于訓(xùn)練集構(gòu)建預(yù)測(cè)模型，即選擇使得訓(xùn)練集輸出值與真值之間誤差均方根最小的模型作為預(yù)測(cè)函數(shù)，其中表示第n個(gè)被試知識(shí)狀態(tài)的估計(jì)值，Yn則表示訓(xùn)練集中的真值。

2）進(jìn)入輸入層。以IRP作為訓(xùn)練集，構(gòu)建并選擇預(yù)測(cè)函數(shù)。同時(shí)輸入被試的ORP。

3）進(jìn)入隱藏層。計(jì)算ORP與訓(xùn)練樣本中期望向量之間的歐式距離。

4）進(jìn)入競(jìng)爭(zhēng)層。競(jìng)爭(zhēng)層接受來(lái)自隱藏層中的距離值，以此為基礎(chǔ)計(jì)算每種IMP出現(xiàn)的概率，把被試ORP判給具有最大概率的IMP。

5）最后，在輸出層輸出被試IMP的判別結(jié)果。

0-1計(jì)分PNN診斷法很容易推廣到多級(jí)計(jì)分情境，即只需將多級(jí)計(jì)分的IRP作為訓(xùn)練集，以多級(jí)計(jì)分的ORP作為輸入層，就可實(shí)現(xiàn)對(duì)被試知識(shí)狀態(tài)的判別。

2 2種簡(jiǎn)化方法的提出

2.1 S-GRCDM

GRCDM計(jì)算屬性合分和能力向量的過(guò)程還稍顯復(fù)雜，Chiu等直接以O(shè)RP進(jìn)行K-means聚類分析的思路極易遷移至多級(jí)計(jì)分情境[4-5]。將簡(jiǎn)化的多級(jí)計(jì)分聚類診斷法命名為S-GRCDM（Simplified-Grade Response Cluster Diagnostic Method），其思路如下：

1）根據(jù)R矩陣和Q矩陣IRP，以IRP作為初始聚類中心。

2）計(jì)算被試ORP與各初始聚類中心的距離，把被試分配到最近的聚類中心。

3）所有被試分配完成后，重新計(jì)算K-means聚類中心。

4）基于過(guò)程3）得到的聚類中心，重新分配被試到距離最近的中心，重復(fù)該過(guò)程直到每個(gè)被試不再重新分配為止。

5）輸出聚類結(jié)果。

從GRCDM和S-GRCDM的思路比較中可以看出，S-GRCDM無(wú)需計(jì)算IRP對(duì)應(yīng)的屬性合分向量和能力向量，也無(wú)需計(jì)算ORP對(duì)應(yīng)的能力向量，相對(duì)更為簡(jiǎn)潔，也更易理解和操作。

2.2 EDD

GRCDM和S-GRCDM都是無(wú)監(jiān)督的分類方法，運(yùn)算過(guò)程中需要不斷更換聚類中心，而非直接判別。汪文義等基于期望類中心的距離判別法，具有較高的判準(zhǔn)率，然而仍需參數(shù)估計(jì)[8]。如果拋棄其參數(shù)估計(jì)部分，直接基于歐式距離判別，其效果如何？為此，本研究將基于期望類中心的距離判別法簡(jiǎn)化為直接基于歐式距離的歐式距離判別法（Eu?clidean Distance Discrimination，EDD），其思路如下：

1）計(jì)算被試ORP和所有IRP之間的歐式距離：

假設(shè)共有M種理想反應(yīng)模式。其中，J表示項(xiàng)目個(gè)數(shù)，xi表示第i個(gè)被試的觀察反應(yīng)模式，ηm表示第m種理想反應(yīng)模式，de(xi,ηm)表示在所有項(xiàng)目上，計(jì)算得出的xi與ηm的歐式距離。

2）根據(jù)公式（2），把被試i判歸至與其ORPi距離最小的IRPm及其對(duì)應(yīng)的IMP上。

3）對(duì)存在與多個(gè)IRP相同最小距離的ORP，將該ORP隨機(jī)判給其中一個(gè)IRP。

3 研究一：Q矩陣正確設(shè)定時(shí)，4種非參數(shù)多級(jí)計(jì)分方法的比較

3.1 研究目的

在Q矩陣正確設(shè)定時(shí)，比較4種多級(jí)計(jì)分非參數(shù)診斷方法在各實(shí)驗(yàn)條件下的判準(zhǔn)率。已有研究表明非參數(shù)方法具有不依賴于樣本容量的特點(diǎn)[1-2]，本研究將樣本容量固定為500。

3.2 研究方法

3.2.1 實(shí)驗(yàn)設(shè)計(jì)

研究為5×3×4的3因素混合設(shè)計(jì)，其中屬性層級(jí)（獨(dú)立型、直線型、收斂型、發(fā)散型、無(wú)結(jié)構(gòu)型）和屬性個(gè)數(shù)（K=4，7，9）為被試間變量，診斷方法（GRCDM、SGRCDM、PNN、EDD）為被試內(nèi)變量。

3.2.2 數(shù)據(jù)模擬

1）根據(jù)屬性層級(jí)或R矩陣，得到IMP和IRP，將IMP對(duì)應(yīng)的IRP總分進(jìn)行排序，按正態(tài)分布對(duì)不同的IRP分配以不同的人數(shù)。

2）設(shè)定隨機(jī)作答失誤率為30%，隨后產(chǎn)生一個(gè)服從均勻分布U（0,1）的隨機(jī)數(shù)矩陣r，若rij＞0.85且第j題得分不是滿分則加1分，否則減1分；若rij＜0.15且得分不是零分則減1分，否則加1分。由此，在IRP基礎(chǔ)上產(chǎn)生了包含失誤率為30%的ORP。實(shí)驗(yàn)重復(fù)30次以減少隨機(jī)誤差。

3.3 評(píng)價(jià)指標(biāo)

采用模式判準(zhǔn)率（Pattern Match Ration，PMR）作為評(píng)價(jià)指標(biāo)，PMR表示IMP被正確判別的被試人數(shù)占總?cè)藬?shù)的比率，其公式為：

N表示被試總?cè)藬?shù)，Ni-correct表示被試的IMP是否被正確判歸，正確判歸為1，錯(cuò)誤判歸為0。

3.4 研究結(jié)果

不同條件下4種非參數(shù)方法在重復(fù)30次實(shí)驗(yàn)的PMR均值見(jiàn)表1。從表1可以看出，除了GRCDM在7屬性獨(dú)立型和9屬性無(wú)結(jié)構(gòu)型和獨(dú)立型比較偏低（在0.60以下）以外，4種方法的判準(zhǔn)率在多數(shù)條件下均較高，尤其是EDD，其PMR均值最低也達(dá)0.9033。圖1可以直觀地比較出4種方法在不同條件下的變化趨勢(shì)。

表1 不同條件下4種非參數(shù)方法的PMR

圖1 不同屬性個(gè)數(shù)和屬性層級(jí)下4種方法的比較

首先，總體而言，無(wú)論何種屬性個(gè)數(shù)下，除了直線型時(shí)，4種方法的PMR均值均最高且無(wú)差異。在其他屬性層級(jí)下，均為EDD和PNN的PMR均值最高且差異不大（4屬性和7屬性時(shí)，EDD和PNN的趨勢(shì)線重合了），其次為S-GRCDM，而GRCDM最低。

其次，4種方法的PMR均值，除了在直線型時(shí)不受屬性個(gè)數(shù)影響外，在其他層級(jí)時(shí)，4種方法的PMR均值都隨著屬性個(gè)數(shù)的增加有所降低。其中，EDD和PNN的降幅甚微，幾乎不受影響，而SGRCDM和GRCDM的降幅較為明顯，尤其是GRCDM在9屬性的獨(dú)立型時(shí)甚至降到不足0.50。

第三，EDD和PNN受屬性層級(jí)的影響較小，在9屬性時(shí)，無(wú)結(jié)構(gòu)型和獨(dú)立型的PMR稍有降低，但EDD的PMR均值此時(shí)依然在0.90以上，PNN稍低，為0.8997。然而，S-GRCDM和GRCDM受屬性層級(jí)和屬性個(gè)數(shù)的交互影響甚大，4屬性和7屬性時(shí)，2種方法在各屬性層級(jí)下的PMR均值高低大致呈直線型、收斂型、發(fā)散型、無(wú)結(jié)構(gòu)型、獨(dú)立型的變化趨勢(shì)；在9屬性時(shí)，S-GRCDM的獨(dú)立型要高于無(wú)結(jié)構(gòu)型，而GRCDM則呈現(xiàn)直線型、發(fā)散型、收斂型、無(wú)結(jié)構(gòu)型、獨(dú)立型的高低順序。

4 研究二：Q矩陣錯(cuò)誤設(shè)定時(shí)，4種非參數(shù)多級(jí)計(jì)分方法的比較

4.1 研究目的

Q矩陣錯(cuò)誤設(shè)定時(shí)，比較4種多級(jí)計(jì)分非參數(shù)診斷法的PMR降幅，以考察各種方法的穩(wěn)定性。

4.2 研究方法

4.2.1 實(shí)驗(yàn)設(shè)計(jì)

研究為5×2×4的3因素混合設(shè)計(jì)，其中屬性層級(jí)（獨(dú)立型、直線型、收斂型、發(fā)散型、無(wú)結(jié)構(gòu)型）和誤設(shè)比例（10%、20%）為被試間變量，診斷方法（GRCDM、S-GRCDM、PNN、EDD）為被試內(nèi)變量。因變量為各條件相對(duì)于Q矩陣正確時(shí)的PMR降幅。

4.2.2 數(shù)據(jù)模擬

被試ORP的模擬思路同研究一。其中，Q矩陣誤設(shè)方法采用喻曉鋒等[13]以及Liu等[14]的誤設(shè)方法，即在設(shè)定Q矩陣誤設(shè)概率為SP（Slip Percentage）的情況下，隨機(jī)選取測(cè)驗(yàn)Q矩陣中SP×J道題進(jìn)行誤設(shè)。為了更清晰地解釋Q矩陣誤設(shè)的思路，以SP為10%舉例，具體步驟為：1）為保證題目數(shù)量一致，在Q矩陣包含R矩陣的前提下，各種實(shí)驗(yàn)條件下的題目數(shù)量為30，則從30道題中隨機(jī)選擇10%即3道題進(jìn)行誤設(shè)；2）在簡(jiǎn)約Qr矩陣中去除隨機(jī)選取的準(zhǔn)備失誤的3道題目中的一道，從剩下的Qr矩陣中隨機(jī)抽取某一道題目替換測(cè)驗(yàn)Q矩陣中正確設(shè)定的題目屬性向量；3）依2）的步驟完成3道題目的誤設(shè)。

4.3 研究結(jié)果

Q矩陣誤設(shè)時(shí)4種方法的PMR降幅見(jiàn)圖2?？傮w而言，4種方法的PMR降幅呈現(xiàn)隨誤設(shè)比率增大而上升的趨勢(shì)。相較而言，無(wú)論何種誤設(shè)比率下，PNN和EDD方法受Q矩陣誤設(shè)的影響都要較SGRCDM和GRCDM方法明顯。此外，4種方法的PMR降幅也會(huì)受屬性層級(jí)緊密度的影響。

圖2 不同Q矩陣誤設(shè)比率下4種方法的PMR降幅比較

在10%誤設(shè)比率下，直線型、收斂型、發(fā)散型時(shí)，PNN和EDD的PMR降幅幾乎無(wú)差異，其差異主要體現(xiàn)在無(wú)結(jié)構(gòu)型和獨(dú)立型時(shí)，PNN和EDD的PMR降幅均呈現(xiàn)升高的趨勢(shì)，且PNN要高于EDD；而GRCDM和S-GRCDM盡管也呈現(xiàn)出隨屬性層級(jí)松散度增加，PMR降幅上升的趨勢(shì)，但兩者的降幅均較PNN和EDD小，且兩者僅呈現(xiàn)出略微的PMR降幅差異，即GRCDM略微高于S-GRCDM，尤其是在直線型和收斂型時(shí)，S-GRCDM降幅近乎為0。在20%誤設(shè)比率下，4種方法的PMR降幅與10%時(shí)近乎一致，稍有不同的是，收斂型時(shí)GRCDM和SGRCDM的PMR差異進(jìn)一步增大，且前者明顯高于后者。

5 討論與結(jié)論

本研究將GRCDM方法簡(jiǎn)化為S-GRCDM方法，提出了相對(duì)簡(jiǎn)潔的EDD方法，并通過(guò)2個(gè)模擬實(shí)驗(yàn)，將這2種多級(jí)計(jì)分非參數(shù)方法與已有的2種方法（PNN和GRCDM）進(jìn)行比較，得到了一些有意義的發(fā)現(xiàn)。

相較GRCDM，S-GRCDM更為簡(jiǎn)潔且判準(zhǔn)率更高。GRCDM需要計(jì)算IRP和ORP的屬性合分向量及能力向量，盡管相比參數(shù)診斷方法，GRCDM已經(jīng)相對(duì)簡(jiǎn)化，但屬性合分向量和能力向量的計(jì)算還是稍顯麻煩。相較而言，S-GRCDM直接基于ORP進(jìn)行聚類分析，更易于理解且操作上更簡(jiǎn)便。研究結(jié)果表明，在Q矩陣正確時(shí)，S-GRCDM的判準(zhǔn)率在各條件下普遍好于GRCDM，這與基于ORP的0-1計(jì)分K-means方法的研究結(jié)果類似[4-5]。S-GRCDM較GRCDM更穩(wěn)定，主要表現(xiàn)在前者受屬性個(gè)數(shù)和屬性層級(jí)的影響不如后者明顯，且在Q矩陣誤設(shè)時(shí)，判準(zhǔn)率的降幅也較后者略小。由此，相比GRCDM，S-GRCDM不僅更為簡(jiǎn)潔，而且判準(zhǔn)率更高且更為穩(wěn)定。

在4種方法中，PNN和EDD優(yōu)勢(shì)明顯，且EDD更勝一籌。Q矩陣正確時(shí)，在4種方法中，PNN和EDD的判準(zhǔn)率明顯較高，且受屬性個(gè)數(shù)和屬性層級(jí)的影響相對(duì)較小。造成這種差異的原因主要在于，PNN和EDD都是基于距離的判別方法，是屬性有監(jiān)督的分類方法，而GRCDM和S-GRCDM均采用探索性的聚類方法，屬無(wú)監(jiān)督的分類方法，類中心初始值的選取和聚類算法均會(huì)影響其分類結(jié)果。此外，就PNN和EDD相比而言，兩者在各條件下幾乎無(wú)差異，只是在屬性個(gè)數(shù)為9個(gè)時(shí)，PNN在無(wú)結(jié)構(gòu)型的判準(zhǔn)率略低于EDD。然而，就方法的簡(jiǎn)潔性而言，PNN卻比EDD更為復(fù)雜。因此，Q矩陣正確時(shí)，EDD是4種方法中判準(zhǔn)率最高且最為穩(wěn)定的一種，在屬性個(gè)數(shù)較多時(shí)的各層級(jí)下均具有優(yōu)良的表現(xiàn)。

Q矩陣誤設(shè)時(shí)，S-GRCDM最為穩(wěn)定。Q矩陣誤設(shè)時(shí)，4種方法均會(huì)因誤設(shè)比率和屬性層級(jí)而有不同程度的PMR降幅。相比而言，PNN和EDD受Q矩陣誤設(shè)的影響較GRCDM和S-GRCDM敏感。4種方法的PMR降幅由大到小分別為PNN、EDD、GRCDM、S-GRCDM，即PNN最為敏感，S-GRCDM最為穩(wěn)定。為此，PNN和EDD較為依賴Q矩陣的正確設(shè)定，尤其是PNN方法。基于這種對(duì)Q矩陣誤設(shè)的敏感性，是否能將PNN和EDD發(fā)展為Q矩陣正確性檢測(cè)和修正的指標(biāo)，是后續(xù)研究可以進(jìn)一步考慮的選題。