聚類(lèi)診斷分析法診斷正確率的影響因素

康春花 任平

1 引言

在心理與教育測(cè)量學(xué)中，通常把對(duì)個(gè)體認(rèn)知過(guò)程、加工技能或知識(shí)結(jié)構(gòu)的測(cè)評(píng)稱(chēng)為認(rèn)知診斷評(píng)估（Cognitive Diagnosis Assessment,CDA）[1]。CDA以認(rèn)知診斷測(cè)驗(yàn)為載體，采用適宜的測(cè)量模型對(duì)學(xué)生在項(xiàng)目作答中的知識(shí)結(jié)構(gòu)和認(rèn)知過(guò)程進(jìn)行診斷分析，可針對(duì)每個(gè)學(xué)生的知識(shí)狀態(tài)，制訂教學(xué)和補(bǔ)償計(jì)劃，真正體現(xiàn)了測(cè)量的診斷性和發(fā)展性功能。在CDA中，對(duì)學(xué)生知識(shí)狀態(tài)的準(zhǔn)確判斷是其首要目的，然而，能否實(shí)現(xiàn)準(zhǔn)確判斷，其依賴(lài)因素很多，其中兩點(diǎn)至關(guān)重要，即有效的認(rèn)知模型和合宜的診斷模型[2]。目前關(guān)于診斷模型的研究多為參數(shù)模型[3～11]，參數(shù)模型有其優(yōu)勢(shì)的同時(shí)也存在一定的局限性，如參數(shù)估計(jì)算法較難、耗時(shí)較長(zhǎng)、假設(shè)條件較強(qiáng)、所需樣本容量較大，從而使其實(shí)踐價(jià)值嚴(yán)重受限，對(duì)于小型測(cè)驗(yàn)或課堂評(píng)估無(wú)能為力。相比而言，非參數(shù)方法受限較少、假設(shè)條件較弱、計(jì)算簡(jiǎn)便、對(duì)樣本容量無(wú)依賴(lài)等特點(diǎn)[12]，使其近年來(lái)備受青睞，研究者開(kāi)始探索非參數(shù)方法在診斷分類(lèi)中的應(yīng)用。如Henson等人提出了總分模型[13]。該模型采用屬性總分（Sum-Scores）和屬性總分截?cái)嘀担╟utoffs）來(lái)區(qū)分被試對(duì)各屬性的掌握情況，當(dāng)被試在各屬性上的總分大于該屬性的總分截?cái)嘀禃r(shí)，則判其掌握了該屬性?？偡帜Ｐ洼^參數(shù)模型易于理解，但各屬性總分截?cái)嘀档墨@取過(guò)程較為復(fù)雜。2009年和2013年，Chiu等人提出通過(guò)K-均值法（K-means）、系統(tǒng)聚類(lèi)（Hierarchical Agglomerative Cluster）及懲罰的漢明距離（Penalized Hamming Distance）對(duì)屬性總分進(jìn)行聚類(lèi)，從而實(shí)現(xiàn)對(duì)被試知識(shí)狀態(tài)的診斷分類(lèi)[14][15]，其結(jié)果可與參數(shù)模型相媲美。

非參數(shù)方法易于理解和操作，只需Q矩陣、無(wú)須估計(jì)參數(shù)，理論上對(duì)樣本容量無(wú)依賴(lài)，應(yīng)該能拓寬CDA的實(shí)踐應(yīng)用范圍。然而，目前國(guó)內(nèi)外對(duì)非參數(shù)診斷方法的研究還很少，一是僅限于0～1計(jì)分層面，二是未對(duì)非參數(shù)方法判準(zhǔn)率的影響因素加以研究。而已有關(guān)于參數(shù)模型的研究表明：屬性層級(jí)結(jié)構(gòu)、樣本容量、題目容量、失誤率、屬性個(gè)數(shù)等都會(huì)對(duì)判準(zhǔn)率產(chǎn)生影響[16][17]。因此，厘清非參數(shù)診斷法判準(zhǔn)率的影響因素，對(duì)于發(fā)現(xiàn)非參數(shù)方法的優(yōu)勢(shì)及應(yīng)用前景非常重要。本文擬基于屬性合分的聚類(lèi)分析思想，探討屬性個(gè)數(shù)、樣本容量、及屬性層級(jí)結(jié)構(gòu)對(duì)非參數(shù)診斷法判準(zhǔn)率的影響，為CDA走向小型測(cè)評(píng)及課堂評(píng)估提供依據(jù)。

2 聚類(lèi)診斷分析法簡(jiǎn)介

聚類(lèi)診斷分析法是由Chiu等人于2009年在屬性合分的思想上提出的[18]，在其過(guò)程中，被試的屬性合分向量和初始聚類(lèi)中心是其核心概念。

屬性總分向量可用來(lái)表示被試對(duì)屬性的反應(yīng)模式。根據(jù)被試的作答結(jié)果，可得到每個(gè)被試i的屬 性 總 分 向 量 Wi。 Wi=（Wi1,Wi2,…,Wik），其 中為被試i在題目j上的作答反應(yīng)，Yij=1表示被試i答對(duì)第j題；Yij=0表示被試i答錯(cuò)第j題。qjk表示題目j是否測(cè)量了屬性k，若題目j測(cè)量了屬性k，則qjk=1，反之qjk=0。Wik為被試i在屬性k上的總分，是被試正確作答測(cè)量屬性k的題目數(shù)的累加。以3個(gè)屬性為例，對(duì)屬性總分向量的計(jì)算進(jìn)行簡(jiǎn)單說(shuō)明。假設(shè)3個(gè)屬性之間相互獨(dú)立，測(cè)驗(yàn)Q陣如表1所示。若被試i在測(cè)驗(yàn)的7道題目上的作答反應(yīng)向量為（1,0,1,0,1,1,0），則根據(jù)屬性總分的計(jì)算公式，被試i的屬性總分為Wi=（2,1,3）（見(jiàn)表1）。

得到刻畫(huà)被試在各屬性掌握情況的總分向量，就可通過(guò)聚類(lèi)分析，將具有相同或類(lèi)似屬性掌握模式的被試聚為一類(lèi)。在對(duì)被試知識(shí)狀態(tài)進(jìn)行聚類(lèi)分析的過(guò)程中，其聚類(lèi)算法與傳統(tǒng)聚類(lèi)分析法相同，所不同的是，診斷分析法中需要指定初始聚類(lèi)中心。接下來(lái)以常用的K-means算法為例，闡明聚類(lèi)診斷分析法的思路。

表1 含3個(gè)屬性的測(cè)驗(yàn)Q陣

CDA的目的是根據(jù)被試的觀察反應(yīng)模式（Observed Response Patterns，ORP），將其判歸到相應(yīng)的理想掌握模式（Ideal Master Pattern，IMP）中。因此，采用聚類(lèi)分析對(duì)被試進(jìn)行分類(lèi)時(shí)，可根據(jù)測(cè)驗(yàn)所考察的屬性層級(jí)關(guān)系，得到所有符合邏輯的IMP，則可將IMP對(duì)應(yīng)的各屬性的總分向量作為聚類(lèi)中心初始值[19]。為此，基于K-means算法的步驟為：

（1）根據(jù)屬性層級(jí)關(guān)系，得到k個(gè)IMP，計(jì)算k個(gè)IMP對(duì)應(yīng)的各屬性的總分向量，作為K-means聚類(lèi)初始中心；

（2）根據(jù)Q矩陣和被試的ORP計(jì)算出被試在各屬性的總分向量；

（3）以IMP對(duì)應(yīng)的總分向量為初始聚類(lèi)中心，計(jì)算各被試的總分向量到各聚類(lèi)中心的距離，把被試分配到最近的聚類(lèi)中心；

（4）所有被試分配完成后，重新計(jì)算k個(gè)聚類(lèi)中心，并與前一次的k個(gè)聚類(lèi)中心比較，如果聚類(lèi)中心發(fā)生變化，重新計(jì)算被試到新中心的距離，再一次將被試分配到距離最近的中心，重復(fù)該過(guò)程直到聚類(lèi)中心不再變化，每個(gè)被試不再重新分配為止;

（5）輸出聚類(lèi)結(jié)果。

3 模擬研究

3.1 研究目的

在控制作答失誤率和題目數(shù)量的情況下，基于聚類(lèi)診斷分析法，探討屬性個(gè)數(shù)、樣本容量、屬性層級(jí)關(guān)系對(duì)判準(zhǔn)率的影響。

3.2 研究設(shè)計(jì)

在控制被試知識(shí)狀態(tài)為均勻分布、題目數(shù)為25題左右（24～32題）、作答失誤率為10%的情況下，研究包含3種屬性個(gè)數(shù)（3個(gè)、5個(gè)、7個(gè)）、3種樣本容量（100人、500人、1000人）、4種屬性層級(jí)結(jié)構(gòu)（線(xiàn)型、收斂型、發(fā)散型及無(wú)結(jié)構(gòu)型）的3×3×4交叉設(shè)計(jì)，共36個(gè)試驗(yàn)，每個(gè)試驗(yàn)重復(fù)10次以減少誤差。

3.3 研究過(guò)程

3.3.1 屬性層級(jí)結(jié)構(gòu)

含3個(gè)、5個(gè)、7個(gè)屬性的屬性層級(jí)結(jié)構(gòu)如圖1、圖2、圖3所示。在3個(gè)屬性的屬性層級(jí)結(jié)構(gòu)中，由于屬性個(gè)數(shù)少，本文以獨(dú)立型取代無(wú)結(jié)構(gòu)型。

圖1 3屬性層級(jí)結(jié)構(gòu)圖

圖2 5屬性層級(jí)結(jié)構(gòu)圖

圖3 7屬性層級(jí)結(jié)構(gòu)圖

3.3.2 Q矩陣的生成

通過(guò)屬性層級(jí)結(jié)構(gòu)得到R矩陣，再通過(guò)擴(kuò)張算法得到簡(jiǎn)化Q陣[20]，其中IMP為簡(jiǎn)化Q陣加上全零模式后的轉(zhuǎn)置。當(dāng)屬性個(gè)數(shù)為3個(gè)時(shí)，圖1所示的四種屬性層級(jí)結(jié)構(gòu)（線(xiàn)型、收斂型、發(fā)散型、無(wú)結(jié)構(gòu)型）下，簡(jiǎn)化Q陣中分別有3道、4道、4道、7道題目，如表2所示。為控制題目數(shù)量，將以上四種結(jié)構(gòu)的題目擴(kuò)充8倍、6倍、6倍、4倍至24道、24道、24道、28道。當(dāng)屬性個(gè)數(shù)為5個(gè)時(shí)，圖2所示的四種屬性層級(jí)結(jié)構(gòu)（線(xiàn)型、收斂型、發(fā)散型、無(wú)結(jié)構(gòu)型）下，簡(jiǎn)化Q陣中分別有5道、6道、10道、16道題目，如表3所示。為控制題目數(shù)量，將以上四種結(jié)構(gòu)的題目擴(kuò)充5倍、4倍、3倍、2倍至25道、24道、30道、32道。當(dāng)屬性個(gè)數(shù)為7個(gè)時(shí)，圖3所示的三種屬性層級(jí)結(jié)構(gòu)（線(xiàn)型、收斂型、發(fā)散型）下，簡(jiǎn)化Q陣中分別有7道、8道、25道題目，如表4所示。為控制題目數(shù)量，將以上四種結(jié)構(gòu)的題目擴(kuò)充4倍、3倍、1倍至28道、24道、25道。無(wú)結(jié)構(gòu)型的簡(jiǎn)化Q陣包含64道題目，羅歡等人認(rèn)為無(wú)結(jié)構(gòu)型選64題太多，可剔除含屬性較多題目[21]。因此，本文無(wú)結(jié)構(gòu)型選22題，只包含測(cè)量1個(gè)到3個(gè)屬性的題目，測(cè)驗(yàn)Q陣如表5所示。

3.3.3 觀察反應(yīng)模式的模擬

根據(jù)屬性層級(jí)結(jié)構(gòu)可得到對(duì)應(yīng)的IMP，將n（100、500或1000）個(gè)被試隨機(jī)分配到所有的IMP中。根據(jù)各試驗(yàn)條件下的Q矩陣，在沒(méi)有任何猜測(cè)及失誤的情況下，得到不同知識(shí)狀態(tài)對(duì)應(yīng)的理想反應(yīng)模式（Ideal Response Pattern，IRP）。然后采用Leighton等的模擬方法[22]，在理想作答的基礎(chǔ)上，模擬作答失誤概率為10%情況下的被試作答反應(yīng)矩陣。具體過(guò)程為：假設(shè)每個(gè)被試在每道題目上的作答失誤率為10%，先產(chǎn)生一個(gè)服從0～1的均勻分布的隨機(jī)數(shù)r，當(dāng)r＞0.95或r＜0.05時(shí)，若被試作答為1，則變?yōu)?；若被試作答為0，則變?yōu)?。

表2 3屬性在4種屬性層級(jí)結(jié)構(gòu)下的簡(jiǎn)化Q陣

表3 5屬性在4種屬性層級(jí)結(jié)構(gòu)下的簡(jiǎn)化Q陣

表4 7屬性在3種屬性層級(jí)結(jié)構(gòu)下的簡(jiǎn)化Q陣

表5 7屬性在無(wú)結(jié)構(gòu)型下的測(cè)驗(yàn)Q陣

3.3.4 評(píng)價(jià)指標(biāo)

采用模式判準(zhǔn)率（Pattern Match Ratio,PMR）和邊際判準(zhǔn)率（Marginal Match Ratio,MMR）作為診斷正確率的評(píng)價(jià)指標(biāo)[23]。PMR為屬性掌握模式全部判對(duì)的被試占總?cè)藬?shù)的比例,其中N為被試人數(shù)，ni表示被試i的屬性掌握模式是否判斷正確，即診斷后的被試屬性掌握模式與其理想掌握模式是否相同。ni=0表示不同，ni=1表示相同。MMR為單個(gè)屬性的判準(zhǔn)率，其中N為被試人數(shù)，K為屬性個(gè)數(shù)，nk為第k屬性上的判對(duì)人數(shù)。

3.4 研究結(jié)果

表6為聚類(lèi)診斷法在不同屬性個(gè)數(shù)、不同樣本容量、不同屬性層級(jí)關(guān)系下的模式判準(zhǔn)率（PMR）和邊際判準(zhǔn)率（MMR），每種試驗(yàn)條件下的判準(zhǔn)率都是10次重復(fù)實(shí)驗(yàn)的均值。根據(jù)表5可依次得到屬性個(gè)數(shù)為3個(gè)、5個(gè)、7個(gè)時(shí)，樣本容量和屬性層級(jí)關(guān)系作用下的PMR和MMR均值圖，如圖4和圖5所示。

3.4.1 屬性個(gè)數(shù)對(duì)判準(zhǔn)率的影響

從表5、圖4、圖5可以看出，隨著屬性個(gè)數(shù)的增加，診斷正確率（PMR、MMR）均值呈下降趨勢(shì)，PMR均值較MMR均值下降幅度稍大。當(dāng)屬性個(gè)數(shù)為3個(gè)時(shí)，PMR均值介于0.906到0.983；當(dāng)屬性個(gè)數(shù)增加大到7個(gè)時(shí)，發(fā)散型結(jié)構(gòu)下的PMR均值最低，為0.464。屬性個(gè)數(shù)為3個(gè)時(shí)，MMR均值最低也大于0.96，除屬性個(gè)數(shù)為7個(gè)、屬性層級(jí)結(jié)構(gòu)為發(fā)散型下的MMR低于0.9外，其他實(shí)驗(yàn)條件下的MMR均值都高于0.9。由此可見(jiàn)，跟參數(shù)診斷模型的研究結(jié)果類(lèi)似[24]（7個(gè)屬性時(shí)PMR均值為0.66），聚類(lèi)診斷法的判準(zhǔn)率也會(huì)受屬性個(gè)數(shù)的影響，但除7個(gè)屬性在發(fā)散型結(jié)構(gòu)下PMR低于0.50，其他條件下均在0.60以上，且多數(shù)在0.70～0.86，較參數(shù)模型穩(wěn)健性稍好。

3.4.2 層級(jí)關(guān)系對(duì)判準(zhǔn)率的影響

隨著屬性個(gè)數(shù)的不同，不同屬性層級(jí)結(jié)構(gòu)下的診斷正確率的變化也不同。屬性個(gè)數(shù)為3個(gè)和5個(gè)時(shí)，PMR和MMR從高到低依次為：線(xiàn)型、收斂型、發(fā)散型、無(wú)結(jié)構(gòu)型；屬性個(gè)數(shù)為7個(gè)時(shí)，PMR和MMR從高到低依次為：線(xiàn)型、收斂型、無(wú)結(jié)構(gòu)型、發(fā)散型?？梢?jiàn)，無(wú)論屬性個(gè)數(shù)多少，線(xiàn)型和收斂型的判準(zhǔn)率均表現(xiàn)最好且較為穩(wěn)定，而發(fā)散型和無(wú)結(jié)構(gòu)型卻穩(wěn)定性較差。當(dāng)屬性個(gè)數(shù)為3個(gè)和5個(gè)時(shí)，發(fā)散型均優(yōu)于無(wú)結(jié)構(gòu)型，當(dāng)屬性個(gè)數(shù)增加到7個(gè)時(shí)，無(wú)結(jié)構(gòu)型卻優(yōu)于發(fā)散型。因此，總體而言，與參數(shù)模型結(jié)果類(lèi)似[25]，屬性層級(jí)關(guān)系的緊密度會(huì)影響判準(zhǔn)率。然而，所不同的是，參數(shù)模型認(rèn)為：層級(jí)關(guān)系越緊密判準(zhǔn)率越高，而本研究結(jié)果表明，當(dāng)屬性個(gè)數(shù)較多時(shí)，無(wú)結(jié)構(gòu)型卻優(yōu)于發(fā)散型。

3.4.3 樣本容量對(duì)判準(zhǔn)率的影響

相對(duì)屬性個(gè)數(shù)和層級(jí)結(jié)構(gòu)對(duì)判準(zhǔn)率的影響而言，樣本容量對(duì)判準(zhǔn)率的影響較小。從圖4和圖5可以看出，樣本容量的增大并沒(méi)有導(dǎo)致PMR和MMR的多大變化。具體而言，當(dāng)屬性個(gè)數(shù)為3時(shí)，不同樣本容量下的判準(zhǔn)率幾乎無(wú)異；當(dāng)屬性個(gè)數(shù)為5個(gè)和7個(gè)時(shí)，只是在收斂型下100人稍差，不過(guò)其增幅也僅0.071，而500人和1000人并無(wú)差異，反而屬性個(gè)數(shù)為5個(gè)時(shí)，在線(xiàn)型結(jié)構(gòu)下，樣本容量增加到1000人時(shí)，會(huì)導(dǎo)致PMR均值的降低?？梢?jiàn)，與至少需要上千人的樣本容量才表現(xiàn)出較高判準(zhǔn)率的參數(shù)模型相比，非參數(shù)診斷方法具有不依賴(lài)樣本容量的優(yōu)勢(shì)。當(dāng)屬性個(gè)數(shù)較少時(shí)，100人的樣本容量就能達(dá)到較高的判準(zhǔn)率，隨著屬性個(gè)數(shù)的增加，一般而言，500人的樣本容量就已經(jīng)是較佳樣本了。

4 結(jié)論

本研究基于屬性合分和K-means思想，介紹了聚類(lèi)診斷分析法在CDA中的應(yīng)用，重點(diǎn)探討了屬性個(gè)數(shù)、樣本容量、及屬性層級(jí)結(jié)構(gòu)對(duì)該方法判準(zhǔn)率的影響。所得結(jié)果表明：①屬性個(gè)數(shù)的增加會(huì)導(dǎo)致判準(zhǔn)率的下降，但其穩(wěn)健性較參數(shù)模型要好；②屬性層級(jí)結(jié)構(gòu)對(duì)判準(zhǔn)率會(huì)產(chǎn)生一定影響，一般而言，從高到低依次為：線(xiàn)型、收斂型、發(fā)散型、無(wú)結(jié)構(gòu)型，但屬性個(gè)數(shù)為7個(gè)時(shí)，無(wú)結(jié)構(gòu)型顯著優(yōu)于發(fā)散型；③判準(zhǔn)率對(duì)樣本容量無(wú)依賴(lài)，一般情況下，500人已是較佳樣本，但當(dāng)屬性個(gè)數(shù)較少時(shí)，100人的樣本容量也已足夠。由此，可以認(rèn)為，作為一種非參數(shù)認(rèn)知診斷方法，聚類(lèi)分析法具有操作簡(jiǎn)便，除了需要Q矩陣外，無(wú)須其他信息，相對(duì)較穩(wěn)健且對(duì)樣本容量無(wú)依賴(lài)等優(yōu)勢(shì)，這為CDA走向小型測(cè)驗(yàn)及課堂評(píng)估提供了新方法和新視角。當(dāng)然，本研究?jī)H為0～1計(jì)分情境下的結(jié)果，多級(jí)計(jì)分情境下其表現(xiàn)如何？知識(shí)狀態(tài)分布對(duì)判準(zhǔn)率的影響如何？是以后研究將關(guān)注的方向。

表6 各種試驗(yàn)條件下的PMR和MMR值

圖4 屬性個(gè)數(shù)為3、5、7個(gè)時(shí)，樣本容量和屬性層級(jí)結(jié)構(gòu)作用下的PMR均值圖

圖5 屬性個(gè)數(shù)為3、5、7個(gè)時(shí)，樣本容量和屬性層級(jí)結(jié)構(gòu)作用下的MMR均值圖

[1] Yang,X.D.,&Embretson,S.E.Construct validity and cognitive diagnostic assessment.In J.P.L.M.Gierl（Ed.）,Cognitive diagnostic assessment for education:Theory and applications[M].Cambridge,UK:Cambridge university press，2007.

[2] Borsboom,D.,Mellenbergh,G.J.,&van Heerden,J.The concept of validity[J].Psychological review,2004，111（4）：1061.

[3] De La Torre,J.,&Douglas,J.A.Higher-order latent trait models for cognitive diagnosis[J].Psychometrika,2004，69（3）：333-353.

[4] Fu,J.,&Li,Y.Cognitively diagnostic psychometric models:An integrative review[C].Paper presented at the annual meeting of the National Council on Measurement in Education,Chicago,IL.2007.

[5] 張淑梅，包鈺，保佳，李?yuàn)檴?項(xiàng)目之間具有相關(guān)性的認(rèn)知診斷模型[J].北京師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2014（4）：31-336.

[6] 毛秀珍.基于屬性掌握概率的認(rèn)知診斷模型[J].四川師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2014（3）：437-443.

[7] 張淑梅，包鈺，郭文海.一種多級(jí)評(píng)分的廣義認(rèn)知診斷模型[J].心理學(xué)探新，2013（5）：444-450.

[8] 涂冬波，蔡艷，戴海琦.基于HO-DINA模型的多級(jí)評(píng)分認(rèn)知診斷模型的開(kāi)發(fā)[J].心理科學(xué)，2013（4）：984-988.

[9] 李娟，丁樹(shù)良，羅芬.基于等級(jí)反應(yīng)模型的廣義距離判別法[J].江西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2012（6）：636-639.

[10] 涂冬波，蔡艷，戴海琦，丁樹(shù)良.HO-DINA模型的MCMC參數(shù)估計(jì)及模型性能研究[J].心理科學(xué)，2011（6）：1476-1481.

[11][23][24] 涂冬波，蔡艷，戴海琦，丁樹(shù)良.一種多級(jí)評(píng)分的認(rèn)知診斷模型:P-DINA模型的開(kāi)發(fā)[J].心理學(xué)報(bào)，2010（10）：1011-1020.

[12] 胡竹菁.心理統(tǒng)計(jì)學(xué)[M].北京：高等教育出版社，2010.

[13] Henson,R.,Templin,J.,&Douglas,J.Using Efficient Model Based Sum-Scores for Conducting Skills Diagnoses[J].Journal of Educational Measurement,2007,44（4）：361-376.

[14][18] Chiu,C.-Y.,Douglas,J.A.,&Li,X.Cluster analysis for cognitive diagnosis:Theory and applications[J].Psychometrika,2009,74（4）：633-665.

[15] Chiu,C.-Y.,&Douglas,J.A nonparametric approach to cognitive diagnosis by proximity to ideal response patterns[J].Journal of Classification,2013,30（2）：225-250.

[16] [25] 蔡艷，涂冬波，丁樹(shù)良.五大認(rèn)知診斷模型的診斷正確率比較及其影響因素：基于分布形態(tài)、屬性數(shù)及樣本容量的比較[J].心理學(xué)報(bào)，2013（11）：1295-1304.

[17] 顏遠(yuǎn)海，丁樹(shù)良，汪文義.影響AHM與DINA診斷準(zhǔn)確率的因素研究[J].江西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2011（6）：640-645.

[19] Ayers,E.,Nugent,R.,&Dean,N.Skill set profile clustering based on student capability vectors computed from online tutoring data.In R.S.J.d.Baker,T.Barnes,&J.E.Beck（Eds.）,Educational data mining 2008:1st International Conference on Educational Data Mining,Proceedings,2008：210-217.

[20] 丁樹(shù)良，祝玉芳，林海菁，蔡艷.Tatsuoka Q矩陣?yán)碚摰男拚齕J].心理學(xué)報(bào)，2009（2）：175-181.

[21] 羅歡，丁樹(shù)良，汪文義，喻曉鋒，曹慧媛.屬性不等權(quán)重的多級(jí)評(píng)分屬性層級(jí)方法[J].心理學(xué)報(bào)，2010（4）：528-538.

[22] Leighton,J.P.,Gierl,M.J.,&Hunka,S.M.The Attribute Hierarchy Method for Cognitive Assessment:A Variation on Tatsuoka's Rule-Space Approach[J].Journal of Educational Measurement,2004,41（3）：205-237.