粗糙集在項目認知屬性標定中的應用*

唐小娟丁樹良俞宗火

(1南昌航空大學數學與信息科學學院,南昌330063)(2江西師范大學計算機工程學院,南昌330022)(3江西省心理與認知科學重點實驗室,南昌330022)(4江西師范大學心理學院,南昌330022)

1 引言

當代社會已經邁入知識經濟時代,為了確保學生未來能更好地適應以知識為基礎的工作環(huán)境,保持競爭力,同時為了教師能夠更多地了解和掌握學生在認知上的優(yōu)點和弱點,教學評估工作需不斷地更新和完善。但在標準測量理論(Standard Test Theory)中,所測心理特質被當作純統計量來考慮,無法體現被試具體的知識結構和心理特質的實質內容(Anastasi&Urbina,1997)。正是在這一背景下,認知診斷測驗順勢崛起,已然成為新一代測驗理論(Test Theory for a New Generation of Tests)的核心(Frederiksen,Mislevy,&Bejar,1993)。

在認知診斷中,刻畫項目最重要的特征是認知屬性。分析和標定測驗項目的認知屬性是認知診斷中最為基礎的工作。以往對認知屬性的標定主要依賴專家的主觀判斷,陳平和辛濤(2011)、汪文義、丁樹良和游曉鋒(2011)提出采用認知診斷計算機化自適應測驗(Cognitive Diagnostic Computer Adaptive Testing,CD-CAT)這一概率統計方法對新增項的認知屬性進行估計,Liu,Xu和Ying(2012,2013)采用統計方法進行估計和標定。專家提出的這些標定方法存在耗時、費力、成本高等問題,CD-CAT輔助項目認知屬性的標定,無論是理論上還是實踐上,對以往完全依靠人力標定認知屬性都是一個重要的突破。但計算機化自適應測驗(Computer Adaptive Testing,CAT)有其自身的局限,CAT的這些局限必然會影響其子類CD-CAT的應用：如,CAT的題庫建設費用昂貴,甚至每個項目大約花費1000美元左右(Chang,2014);周期長;而且根據美國的No Child Left Behind(NCLB)法案,在美國計算機自適應測驗被禁止使用于學生的閱讀、數學和科學等學科的成就評估之中(Quellmalz&Pellegrino,2009,p.76)。認知診斷在形成性評估中非常有用,因此,課堂測驗(Classroom assessment)被認為是認知診斷的最佳應用場所(Gierl&Leighton,2007)。但真正將認知診斷應用于課堂會遇到如下問題：第一,認知診斷目前主要應用于一些大型的考試之中,反饋不及時,無法真正起到輔助教學的作用(Huff&Goodman,2007;Leighton&Gierl,2007),限制了認知診斷的應用;第二,在未知項目參數的情況下,原有的基于概率統計的認知診斷模型對被試和項目的容量有較高的要求,因此,要將認知診斷靈活地運用于課堂教學中去,已有的認知診斷模型存在很大局限。這就需要尋求一種新的、適合于小規(guī)模課堂教學的項目認知屬性的輔助標定方法。這對于拓廣認知診斷的應用范圍,使認知診斷真正起到診斷學生認知結構、輔助教學的作用,至關重要。本研究采用粗糙集(Rough Set)理論導出的方法對項目認知屬性進行標定,該方法無需已知項目參數,故對被試量無太高要求,正好適合于課堂評估。

1.1 認知屬性與認知診斷

認知屬性(Cognitive Attribute)指知識和認知加工技能(Tatsuoka,2009,p.7)。一個測驗項目可以具有多個認知屬性,同一認知屬性也可出現在多個測驗項目之中。比如,閱讀測驗題需要具備認識字詞或由上下文推敲不認識的字詞的能力,并會涉及到記住細節(jié)的能力、將事實與意見區(qū)分開的能力、根據上下文線索進行猜測的能力等等(McGlohen,2004)。認知屬性是認知診斷區(qū)別于經典測量理論(Classical Test Theory,CTT)和項目反應理論(Item Response Theory,IRT)等標準測量理論的最重要特征。CTT在編制測驗項目時,采用總分指標評價被試能力,將個體在總體中的相對位置進行排序;IRT雖然考慮了被試在測驗項目上的作答反應與能力間的關系,但能力指標只是一個統計含義上的概念,并沒有真正揭示其內在心理含義。在CTT和IRT等標準測驗理論中沒有合適的算法將同一項目中含有的多個認知屬性分開,因此只能假定一個項目只測量一個認知屬性,但這在實際中可能不成立。正因為如此,這些心理測量理論與方法不能指出被試具體掌握了哪些內容,沒有掌握哪些內容,更無法診斷被試錯誤作答的原因。構念效度(American Psychological Association,American Educational Research Association,&National Councilon Measurements Used in Education,1954)的提出代表了心理測量從功能主義向結構主義的轉變(Cronbach&Meehl,1955),結構主義旗下的因素分析、聚類分析和傳統的潛在類別模型雖然能夠產生因素、族類或類別,在一定的程度上體現了對測驗內容進行厘清的企圖,但這些探索性方法只能將觀察到的反應分成相似的類別或模式,卻無法提供明確的解釋(Tatsuoka,2009,p.xi)。正是因為有認知屬性這一項目特征,心理測量學家將認知心理學中獲得的心理模型和心理計量模型結合起來,建構認知診斷模型(Cognitive Diagnosis Model,CDM),通過認知診斷測驗設計,將被試在項目上的作答與被試的知識、能力聯系起來,對被試的認知結構和心理加工過程進行了解,即通過測驗可以了解被試對知識點的掌握情況。

1.2 項目認知屬性標定

要進行認知診斷,必須在命題前或測驗后分析出測驗項目測量的知識能力(特質)(Leighton,Gierl,&Hunka,2004),并對項目所測的認知屬性進行標示,這一過程便是項目認知屬性標定。在認知診斷中,認知屬性是如此重要,對項目的刻畫,可以不包含難度、區(qū)分度、猜測參數等心理計量學指標,卻不可以沒有認知屬性。但項目認知屬性標定是一件非常復雜而費勁的工作(DeCarlo,2011)。從現有的文獻來看,主要有兩種認知屬性標定方法：一是完全由專家對項目進行分析并對項目認知屬性進行標定;由于項目認知屬性標定的復雜性,當認知屬性較多或題量較大時,完全由專家來標定則工作量非常大且耗費成本較高,更重要的是,專家們經常對某些項目認知屬性標定有分歧,很難達成一致意見。比如,多批專家對Tatsuoka(1990)分數減法認知診斷測驗中的20個項目進行認知屬性標定,20年過去了,尚有爭議。二是在專家對一部分項目認知屬性標定的基礎上,采用認知診斷計算機化自適應測驗的方法對其他項目的認知屬性進行估計(陳平,辛濤,2011;汪文義等,2011),或采用傳統統計方法進行標定(Liu et al.,2012,2013)。前面已述及CAT和CD-CAT的前期建設的耗費成本高,且要求被試樣本量大,測驗項目多等限制,故難于解決用于隨堂測驗的項目認知屬性標定問題。下面我們介紹粗糙集方法以解決這一問題。

2 采用粗糙集進行屬性自動標定方法

粗糙集(Rough Set)是由波蘭學者Pawlak Z.提出的處理模糊和不確定性知識的數學工具,其主要思想就是在保持分類能力不變的前提下,通過知識約簡,導出問題的決策或分類規(guī)則(Pawlak,1991)。該方法無需額外信息,利用已知的信息或知識去近似刻畫不精確或不確定的概念,或者依據觀察、度量的結果去處理不確定的現象和問題(張文修,吳偉志,梁吉業(yè),李德玉,2001)。

粗糙集的分類機制使它有應用于心理測量的可能：心理測量的本質是用定量方法對被試的心理特質進行描述,并將不同的被試區(qū)分開來(余嘉元,2008)。從這一點來講,粗糙集和心理測量在本質上有共同之處。一些學者已將粗糙集應用于心理測量(郭昭麟,2009;劉麗鈴,2010;余嘉元,2008),并取得了一定的效果。如：郭昭麟和劉麗鈴采用粗糙集中屬性約簡方法對試題進行刪減,從而選取較好的試題測量被試;余嘉元采用屬性約簡方法對人事干部勝任力評估數據進行分析。這些研究在一定程度上佐證了粗糙集應用于心理測量的可行性,但這些粗糙集的運用還沒有涉及認知診斷。認知診斷是模式識別(Tatsuoka,1995,2009),也可以說是診斷分類,而粗糙集在模式識別與分類方面有較為成功的應用(史忠植,2002,p.143)。Tang和Ding(2012)對粗糙集應用于認知診斷分類進行嘗試,但這只是初步的研究,僅僅表明粗糙集可以用于認知診斷分類,沒有進行更加深入的探討。本文欲使用粗糙集對認知診斷中的認知屬性標定問題進一步探討。

2.1 粗糙集的基本要素

認知診斷是根據項目所涉及的認知屬性和被試作答反應兩方面的信息對被試進行分類。在粗糙集語境下,對被試的分類在決策表中進行,決策表表示當滿足某些條件(具備哪些知識屬性)時,決策(行為、操作、控制及分類等)應當如何進行。因此,首先需要建構決策表,并對決策表中的屬性進行約簡,然后提取決策規(guī)則,最后根據提取的規(guī)則將研究對象進行分類。從這個意義上來說,決策表、屬性約簡和決策規(guī)則是粗糙集中三個非常重要的因素。

2.1.1 決策表

設U是由研究對象組成的有限集合,稱為論域。任何子集X?U稱為U中的一個概念或范疇。U中的任何概念族稱關于U的抽象知識,簡稱知識。粗糙集主要是對在U上能形成劃分的那些知識感興趣。集合U的一個劃分確定U的元素間的一個等價關系,即一種知識,U上的一族劃分也就確定一族等價關系,稱為關于U的一個知識庫(Knowledge Base)。知識庫中包含大量(實例)的信息,通常是許多實例的原始記錄。

決策表定義為具有條件屬性和決策屬性的知識表達系統(張文修等人,2001),是一類特殊而重要的知識表達系統。在數學上,知識表達系統可用S=(U,A,V,f)的形式來表達,通常也用二維信息表S=(U,A)來代替,其中的數據以等價關系表的形式表示。決策表的行對應研究對象(實體),所有研究對象的集合稱為論域U。在認知診斷中,為了研究被試對屬性的掌握情況,可設U為所有被試類型,即U為被試的知識狀態(tài)(Knowledge States,KS)集合。列對應研究對象的屬性(這里的屬性并非是認知診斷中的認知屬性),一個屬性對應一個等價關系,即一種知識,所有屬性構成一族等價關系,即多種知識,因此決策表可以看作是知識庫。所有屬性構成屬性集A(即一族等價關系),A可以分為條件屬性集C和決策屬性集D,即A=(C,D)。如果視一個項目為一個屬性(即一種知識),所有研究對象在該項目上作答與在別的項目上的作答可能不同,可視為一種劃分,劃分結果將研究對象分為作答正確和作答錯誤兩類,因此,所有項目組成條件屬性集C自然對應認知診斷測驗藍圖,即測驗Q矩陣,記為Qt,Qt每一列表示一個項目,即條件屬性中的一個屬性;而決策屬性集D可對應認知診斷中的知識狀態(tài)的集合,即Qs,被試的知識狀態(tài)是一個等價關系,被試集合當然可以按知識狀態(tài)進行劃分;所以,A=(C,D)=(Qt,Qs)。值得注意的是：認知診斷中的認知屬性和粗糙集中的屬性是從不同角度對屬性進行定義,前者是從認知心理學中認知加工過程的角度定義,后者是從數學的等價關系角度定義。兩種之間是有區(qū)別的,但是有些認知屬性若具備等價關系的特性,則也可視為粗糙集中屬性。對象的信息是通過指定對象的各屬性值來表達,S中的V表示對研究對象的屬性賦值的集合,在認知診斷中每一類被試V的值為這類被試類型對各個項目(即條件屬性)的期望作答形成理想反應模式(Ideal Response Pattern,IRP)和該類被試具體的知識狀態(tài)(決策屬性);f：A→V是從A到V的映射,即對應規(guī)則,是對每個研究對象的每個屬性具體賦值。

2.1.2 屬性約簡

實際工作中,如果用原始實例記錄構建知識庫,由于在研究對象知識的選取上帶有一定的主觀性,所以各知識在知識庫中顯然不是同等重要的,還可能有一些是冗余的,在保證信息表分類能力不變的條件下,去除其中那些不重要的和冗余的知識,必須進行知識約簡(Knowledge Reduction),而屬性即知識,則知識約簡也即屬性約簡。由上所述,在認知診斷中,若項目被設定為條件屬性,則屬性約簡實際上是把對分類無用的項目進行刪減(見2.3(2)),以提取更加簡單的決策規(guī)則。在本研究中欲采取窮舉算法對屬性進行約簡。決策表的約簡是對知識庫的一種提煉,從決策表的條件屬性集合去掉那些對決策屬性不重要的屬性,約簡僅僅是從屬性(知識)的層面上對決策表進行簡化。而要使知識具體化,最重要是從決策表中提取決策規(guī)則。

2.1.3 決策規(guī)則

在屬性約簡的基礎之上,進一步提煉決策規(guī)則,從簡化后的決策表中提取的每一個蘊涵式φ→ψ稱為一個決策規(guī)則,φ、ψ分別稱為決策規(guī)則的前件和后件,決策規(guī)則的前件φ實際上是決策表所能判斷對象集合的全體,即決策表具有的識別能力,決策規(guī)則的后件ψ是根據決策表的識別能力(范圍)所能得出的結論。每條決策規(guī)則表示當滿足某些條件時,將得到怎樣的決策結果。

2.2 粗糙集應用于認知診斷的原理

由前所述,認知診斷分類是一種模式識別。模式識別分為特征提取和分類兩部分。粗糙集主要思想是在保持分類能力不變前提下,通過知識約簡,導出問題的決策或分類規(guī)則,然后用規(guī)則進行分類。其中導出分類規(guī)則是特征提取部分,而使用規(guī)則分類則是分類部分。以估計被試的知識狀態(tài)為例,具體如下：

(1)特征提取部分：建構用于導出分類規(guī)則的決策表,決策表與認知診斷各部分對應如圖1。其中,U為研究對象,即被試知識狀態(tài)類型,以具體自然數編號區(qū)分;Qt為測驗Q陣,一列代表一個施測項目,對應于條件屬性C中的一個屬性(列),條件屬性設置的個數等于施測項目的個數,決策屬性D為學生Q陣(Qs),對應被試類型U的具體知識狀態(tài);決策表中的一行代表一類被試在所有施測項目上的理想反應模式和這類被試的知識狀態(tài),表示產生該作答模式的被試具有的知識狀態(tài);所有C和D上的賦值,即每類被試在所有項目上的作答和知識狀態(tài)構成了集合V,由A到V構成一個映射f：A→V。決策表按上述要求建立后,則先約簡再提取決策規(guī)則,也即特征提取。

(2)分類部分：在分類表中,U為所有待估被試,C與決策表的C一致,分類表中最后一列為估計出的知識狀態(tài),也就是說,表中每一行由三部分組成,第一部分為第一列,即待估被試編號,第二部分為中間的一些列,表示被試在所有施測項目上的作答結果,即被試的觀察反應模式(Observed Response Pattern,ORP),第三部分為最后一列,即估計出的知識狀態(tài),如表1。

根據上面提取的規(guī)則和被試的觀察反應模式,將被試進行分類。

圖1 用于認知診斷的決策表及各部分對應情況

表1 用于認知診斷的分類表

從圖1和表1中可以看出,特征提取部分對應認知診斷中的Qs、理想反應模式和Qt,分類部分對應認知診斷中的Qt、ORP和估計的KS。

2.3 粗糙集進行項目認知屬性標定的基本步驟

對項目認知屬性進行標定的基本原理是在屬性之間不存在補償作用條件下,由被試的知識狀和施測項目,根據理想反應計算的規(guī)則,通常只有掌握項目所有認知屬性的被試才能對項目正確反應,而被試在測驗上的觀察反應模式可以看成是帶有誤差的理想反應模式,由此可以由觀察反應模式大致推算項目中認知屬性向量。這有點像項目反應理論中項目難度標定(游曉鋒,丁樹良,劉紅云,2010),當然項目認知屬性向量是多維,可以想象,標定項目認知屬性向量的難度更大。項目認知屬性的自動標定步驟為：

第一步：估計被試的知識狀態(tài);

第二步：由第一步估計被試的知識狀態(tài)和所有項目類型,構建項目認知屬性自動標定決策表,并提取決策規(guī)則;

第三步：由第二步提取的決策規(guī)則自動標定項目認知屬性。

下面以5個認知屬性的收斂型結構為例,以說明項目認知屬性自動標定方法：

第一步估計被試的知識狀態(tài)

欲估計被試知識狀態(tài),首先需已知所有可能的項目類型和所有被試知識狀態(tài)類型兩方面的內容,通過被試在施測項目上的作答來確定被試屬于哪種知識狀態(tài)。已知認知屬性個數和屬性層級結構即可以獲得相應的可達矩陣R;基于可達矩陣R,采用擴張算法(Ding,Luo,Cai,Lin,&Wang,2008;丁樹良,祝玉芳,林海菁,蔡艷,2009;楊淑群,蔡聲鎮(zhèn),丁樹良,林海菁,丁秋林,2008)便可以得到項目類型與被試知識狀態(tài)類型。如圖2,具有5個屬性的線型結構,所有項目類型為(1,0,0,0,0),(1,1,0,0,0),(1,1,1,0,0),(1,1,1,1,0),(1,1,1,1,1),在所有項目類型上加上被試知識狀態(tài)全無情況,即(0,0,0,0,0),便得到所有被試知識狀態(tài),記為Qs：(0,0,0,0,0),(1,0,0,0,0),(1,1,0,0,0),(1,1,1,0,0),(1,1,1,1,0),(1,1,1,1,1);5個屬性的收斂型結構,所有項目類型為：(1,0,0,0,0)、(1,1,0,0,0)、(1,1,1,0,0)、(1,1,0,1,0)、(1,1,1,1,1)、(1,1,1,1,0),同樣得到Qs：(0,0,0,0,0),(1,0,0,0,0)、(1,1,0,0,0)、(1,1,1,0,0)、(1,1,0,1,0)、(1,1,1,1,1)、(1,1,1,1,0)。本例考察的是收斂型結構,從所有項目類型中隨機選取1至5個項目作為施測項目,記為Qt,依次為：(1,0,0,0,0)、(1,0,0,0,0)、(1,1,0,0,0)、(1,1,1,0,0)、(1,1,0,1,0),這些項目用于估計被試的知識狀態(tài)。

在具有被試類型、施測項目及被試觀察反應模式的條件下,可按如下過程估計被試知識狀態(tài)：

圖2 5個屬性的線型和收斂型屬性層級結構

(1)構建決策表(見表2)

決策表由論域、條件屬性和決策屬性構成。論域中研究對象的個數由Qs的列數來確定,認知屬性個數和結構不同,Qs則不同,如圖2所示：5個屬性的線型結構,Qs中含6個對象,收斂型結構為7個;如果考慮認知屬性之間不存在先決關系,即認定為獨立結構,則Qs有2=32列,即有32種對象類型。本例考慮收斂型結構,則Qs有7種類型,研究對象U的個數設為7,施測項目(Qt中的列)1至5設為條件屬性1至5,決策屬性設為Qs,如上所述,每一行表示相應被試的理想反應模式和產生該作答模式對應的知識狀態(tài),如第二行中第二類被試在條件屬性1至5上的作答結果分別為1、1、0、0、0,其對應的知識狀態(tài)為(1,0,0,0,0)(見表2)。

表2 5個屬性收斂結構的決策表

(2)對表2,采用窮舉算法對屬性進行約簡。

結果表明屬性1和屬性2(也即項目1和項目2)對分類所做出的貢獻是一樣的,從決策表也可以直觀看出所有被試類型在項目1和項目2上的所答結果完全一致,對分類無差別,故可以刪減一個屬性。當然并不是所有的決策表都可以通過目測看出多余的屬性,一般地,都要采用一定的算法進行刪減。通過刪減第2個屬性(即第2個項目)可得新的決策表(表3)。

表3 屬性約簡后的決策表

從新的決策表(表3)提取決策規(guī)則?？梢哉f,應用粗糙集進行認知診斷,實際上是一種基于規(guī)則的分類。約簡和提取決策規(guī)則的整個過程在RSES(Rough Set Exploration System)軟件中進行,該軟件專門用于處理粗糙集中的問題。事實上,決策表可以看作一個無參數的認知診斷模型,由表1可以看到,一旦認知屬性結構已知,則可以構建決策表,表中無需包括項目參數在內的任何參數,而只需施測項目認知屬性即可,因而由項目參數帶來的認知診斷中任何問題均可避免,這是粗糙集做認知診斷的優(yōu)勢之一。

通過屬性約簡,總共提取了8條決策規(guī)則：規(guī)則一：(atribute1=0)=>(knowledgestates=00000)規(guī)則二：(atribute2=0)=>(knowledgestates=00000)規(guī)則三：(atribute1=1)&(atribute3=0)=>(knowledgestates=10000)

規(guī)則四：(atribute2=1)&(atribute3=0)=>(knowledgestates=10000)

規(guī)則五：(atribute3=1)&(atribute4=0)&(atribute5=0)=>(knowledgestates=11000)

規(guī)則六：(atribute4=1)&(atribute5=0)=>(knowledgestates=11100)

規(guī)則七：(atribute4=0)&(atribute5=1)=>(knowledgestates=11010)

規(guī)則八：(atribute4=1)&(atribute5=1)=>(knowledgestates={11111,11110})

在屬性約簡的過程中,因為項目1與項目2相同,所以刪除其中一個項目,表3表示刪除了項目2,所以由表2提取的八條規(guī)則中,其中規(guī)則一與規(guī)則二作用相同,規(guī)則三和規(guī)則四作用一樣,因此規(guī)則二與規(guī)則四可以剔除,也即實際上是六條決策規(guī)則。決策規(guī)則一表示如果第一個屬性(即項目1)上的作答為“0”,則被試的知識狀態(tài)為(0,0,0,0,0),決策規(guī)則八表示第四和五個屬性(即項目4和5)上作答結果均為“1”,則被試知識狀態(tài)可能為(1,1,1,1,1)或(1,1,1,1,0),可能性各為50%,其他規(guī)則類似說明。以上規(guī)則依據認知屬性結構依次有序地對認知屬性進行考察,因為認知屬性間存在著先后或并列關系,因而六條決策規(guī)則一、三、五、六、七、八存在優(yōu)先級差異,如圖2的5個屬性收斂型結構,先考察第一個認知屬性,對應規(guī)則一、三;再考察第二個認知屬性,對應規(guī)則五;然后考察第三或第四個認知屬性,對應規(guī)則六和七;最后考察第五個認知屬性,對應規(guī)則八。其優(yōu)先級依次遞降(若觀察反應模式同時滿足規(guī)則一和五時,則優(yōu)先考慮規(guī)則一,也即優(yōu)先考慮第一個認知屬性,判知識狀態(tài)為(0,0,0,0,0))或呈并列關系(如規(guī)則六和七,考察第三和第四個認知屬性)。

(3)由決策規(guī)則將被試進行分類

該過程同樣在RSES中進行。

舉例說明如何利用決策規(guī)則進行分類的方法:由被試的觀察反應模式(見表4),被試1在第一個項目上的作答為“0”,由決策規(guī)則一知,被試的知識狀態(tài)為(0,0,0,0,0);被試2在第一個項目上的作答為“1”,第三個項目上的作答為“0”,由決策規(guī)則三知,被試的知識狀態(tài)為(1,0,0,0,0);被試6和7在項目4和5上的作答均為“1”,說明他們的知識狀態(tài)有兩種可能,且可能性均為50%,RSES分析兩被試知識狀態(tài)均判為(1,1,1,1,1),其他依次類推。

表4是由RSES軟件分類的結果,從該表可以看到,七個被試中,只有第七個被試在第五個認知屬性上的估計有誤,采用類似知識狀態(tài)模式判準率與屬性邊際判準率公式,可得模式標定準確率為85.71%,屬性邊際標定準確率為97.14%。

表4 利用決策規(guī)則將被試進行分類

特別值得一提的是:在整個估計過程中,被試估計對被試數量和項目參數(如猜測參數等)是否已知無太多要求,體現出采用粗糙集對被試進行分類的優(yōu)勢;提取的規(guī)則中,出現了規(guī)則八指向兩個知識狀態(tài)的情況,而這種情況可能是由Qt設計不合理或約簡算法不佳造成的。事實上,就像其他認知診斷模型一樣,如果測驗藍圖設置不合理,無論屬性個數和項目數多少,屬性關系是否復雜,在分類過程中都會出現如下的混亂的情形：好幾個知識狀態(tài)對應同一個理想反應模式,或者說同一個理想反應模式可能對應若干個知識狀態(tài)。而被試的觀察反應模式可以看成是帶有隨機誤差的理想反應模式,因此這時候極有可能會出現被試指向幾種知識狀態(tài)的情況,這也是為什么現在認知診斷不能百分百精確診斷的原因之一,而不僅僅是在粗糙集中會出現這種情況。因此,要改變這種情況可考慮重新設計Qt或采用其他更適合的約簡方法,根據被試作答,盡量把被試指向一種知識狀態(tài),以進一步提高分類準確率。從給定的項目4((1,1,1,0,0))和項目5((1,1,0,1,0))來看,這兩個項目實際上沒有涉及到第五個認知屬性,事實上,因為隨機選題,估計被試采用的所有項目都沒有涉及到第五個認知屬性,所以難以分辨被試是否擁有它,因此,測驗藍圖的設計是非常重要的。一旦出現這種情況,軟件會隨機指派該規(guī)則中某種知識狀態(tài)給被試。

第二步由第一步估計被試的知識狀態(tài)和所有項目類型構建項目認知屬性自動標定決策表。事實上,估計被試知識狀態(tài)與估計項目認知屬性是一個對偶過程,故在建構估計項目認知屬性的決策表中,把由第一步估計被試的知識狀態(tài)作為條件屬性,收斂型結構將由擴張算法獲得的所有項目類型的認知屬性向量為決策屬性,計算估計的被試在所有項目類型上的理想反應模式,將理想反應模式放入到決策表中,每一列為一個被試的理想反應模式,每一行表示所有不同的被試在同一個項目上的作答結果和對應該項目的認知屬性向量(例如圖2的收斂型結構自動標定決策表如表5)。

同樣地,對該決策表先約簡再提取規(guī)則,由RSES軟件,從該決策表中共提取了8條決策規(guī)則：規(guī)則一：(atribute2=1)=>(knowledgestates=10000)規(guī)則二：(atribute2=0)&(atribute3=1)=>(knowle dgestates=11000)

規(guī)則三：(atribute2=0)&(atribute4=1)&(atribute5=1)=>(knowledgestates=11000)

規(guī)則四：(atribute3=0)&(atribute4=1)=>(knowle dgestates=11100)

規(guī)則五：(atribute4=1)&(atribute5=0)=>(knowle dgestates=11100)

規(guī)則六：(atribute3=0)&(atribute5=1)=>(knowle dgestates=11010)

規(guī)則七：(atribute4=0)&(atribute5=1)=>(knowle dgestates=11010)

規(guī)則八：(atribute4=0)&(atribute5=0)=>(knowle dgestates={11111,11110})

表5 5個屬性收斂型結構項目認知屬性自動標定決策表

表6 利用決策規(guī)則對5個項目進行認知屬性自動標定

第三步根據決策表提取的決策規(guī)則,自動標定項目認知屬性。比如隨機產生5個項目,這5個項目對應的真實認知屬性向量分別(1,1,1,1,0)、(1,1,1,1,0)、(1,1,1,0,0)、(1,0,0,0,0)、(1,1,1,1,1),這5個項目作為待估項目,即要被自動標定的項目。由估計的被試在這5個項目上的觀察反應模式及第二步提取的規(guī)則將項目進行分類,也即對項目進行認知屬性自動標定。

項目認知屬性的模式標定準確率和邊際標定準確率采用與知識狀態(tài)的模式判準率和邊際判準率類似定義(陳平,辛濤,2011)。由表6看出,5個項目的認知屬性自動標定,雖然其模式標定準確率為60%,即5個項目中標定對其中3個,但實際上,第一、二個項目只有第5個認知屬性判錯了,邊際標定準確率為92%,結果還是比較理想的。

上例驗證了粗糙集用于標定項目認知屬性的可行性,但在實際應用中,情況會復雜得多。項目認知屬性標定準確率會受到被試和項目兩個來源的影響。在被試方面,作為項目認知屬性標定前提條件被試知識狀態(tài)的判準率,以及這些被試作答待估項目時的失誤率,均會影響項目認知屬性的標定準確率;就項目而言,項目認知屬性越多,認知屬性的層級結構越松散(楊淑群等,2008),認知屬性的組合形式就越多,與作答反應之間的關系就會越復雜,這些都會增加項目認知屬性標定的難度。但以上這些因素會在何種程度上對項目認知屬性標定準確率產生影響,需要進一步的實證研究。

3 研究1：被試知識狀態(tài)判準率和作答失誤率對項目認知屬性自動標定準確性的影響

基于上述分析,研究1首先采用Monte Carlo模擬研究被試估計判準率和作答失誤率對項目屬性自動標定的影響。每種情況做30次實驗。本研究中,粗糙集進行項目認知屬性標定在RSES軟件中進行,所有實驗都在CPU為3.20GHz,RAM為2Gb的105-5238CN型HP一體機上運行。

3.1 方法

固定認知屬性個數為5,考慮發(fā)散型結構(如圖3),其知識狀態(tài)有11種,每種知識狀態(tài)分配5人,被試共55人(考慮課堂情境),選取認知屬性向量為10000,11000,10100,10110,11100,11110,10111,11111各一題作為待估項目。設被試知識狀態(tài)估計判準率(記為PMR)分別為0.9、0.8、0.7三個水平,失誤率(s)分別為0.05、0.10、0.15、0.2、0.25,共有3×5種情況。其中,被試知識狀態(tài)估計判準率產生方法：根據被試人數(N人)與知識狀態(tài)的真值,隨機選取N×(1-PMR)個被試,將其真值進行修改;觀察反應模式的產生辦法：根據設定的被試、施測項目及各被試的理想反應模式,模擬被試的觀察反應模式,由設定的s,針對每個被試在每個項目上的期望作答,假設某個被試某個題目上的理想反應得分是x(x=0或1),產生服從(0,1)上均勻分布的一個隨機數r,如果r>1-s,就將其變?yōu)?-x,;如果r≤1-s,則在該題上的理想反應就是觀察反應。

圖3 5個和8個認知屬性的發(fā)散型結構

3.2 結果

每次試驗的估計過程耗時不到2秒。表7為30次實驗中項目認知屬性自動標定的模式標定準確率的均值與標準差。從表中可以看出,實驗結果令人滿意,模式標定準確率的值較高,其標準差較小。這兩者的變化趨勢：當被試知識狀態(tài)估計判準率越低,則模式標定準確率越低,而標準差無明顯變化規(guī)律;作答的失誤率越高,模式標定準確率越低,其標準差越高;當被試知識狀態(tài)判準率較高、作答失誤率較低時,模式標定準確率是非常高的,如,被試知識狀態(tài)判準率0.9,失誤率0.05時,項目認知屬性的模式標定準確率高達100%,且標準差達到0。這些結果和預期完全一致。

表7 各種項目認知屬性自動標定的模式標定準確率均值與標準差

為了能更細致地說明被試判準率與作答失誤率對模式標定準確率的影響,圖4標記出失誤率為0.05、0.1、0.15的30次模擬結果,詳細說明在不同作答失誤率和被試判準率條件下,模式標定準確率變化趨勢。從30次模擬結果可以看出：當失誤率為0.05,被試判準率為0.9時,模式標定準確率均為1,隨著被試判準率下降,有個別模擬結果在0.9左右,而大部分還是維持在1(圖4(a));當失誤率為0.1,被試判準率為0.9時,大多數模式標定準確率還是維持在1,極個別低于1,被試判準率為0.8時的估計結果明顯大于被試判準率為0.7的結果(圖4(b));當失誤率為0.15,則所有估計結果均有所下降(圖4(c));失誤率為0.2和0.25時,模式標定準確率下降更快,這里不予列出。

表8為30次實驗中認知屬性邊際標定準確率的均值與標準差。其變化趨勢與認知屬性模式標定準確率基本一致。從認知屬性邊際標定準確率的絕對值來看,隨著失誤率升高,邊際標定準確率降低,其標準差略有升高;隨著被試判準率下降,邊際標定準確率呈現下降趨勢,其標準差無明顯變化趨勢;隨著失誤率降低、被試判準率升高,邊際標定準確率上升很快,絕對值很高,如失誤率為0.05被試判準率為0.9條件下,邊際標定準確率達到1,其標準差為0,即便是失誤率為0.25被試知識狀態(tài)判準率為0.7的情況下,認知屬性邊際標定準確率也高達0.8975,標準差也只有0.0571。

圖5為失誤率為0.05、0.1、0.15的30次邊際標定準確率的模擬結果。從30次模擬結果可以看出：基本上,當失誤率分別為0.05、0.1、0.15時,邊際標定準確率變化與模式標定準確率的變化一致,只是邊際標定準確率的絕對值比模式標定準確率要高很多。同樣地,失誤率為0.2和0.25時,邊際標定準確率下降更快,這里不予列出。

圖4(a) 失誤率為0.05時30次認知屬性模式標定準確率結果

圖4(b) 失誤率為0.1時30次認知屬性模式標定準確率結果

圖4(c) 失誤率為0.15時30次認知屬性模式標定準確率結果

表8 各種項目認知屬性自動標定的認知屬性邊際標定準確率均值與標準差

圖5(a) 失誤率為0.05時30次認知屬性邊際標定準確率結果

圖5(b) 失誤率為0.1時30次認知屬性邊際標定準確率結果

圖5(c) 失誤率為0.15時30次認知屬性邊際標定準確率結果

4 研究2：認知屬性個數對項目認知屬性自動標定的影響

項目認知屬性個數是影響認知診斷的另一個重要因素,研究2進一步考察項目認知屬性個數對項目認知屬性自動標定的影響。預期結果是認知屬性數目越多,標定準確率越低。

4.1 方法

固定被試知識狀態(tài)判準率為0.9,失誤率為0.15,認知屬性個數K為3～8個,同樣考慮發(fā)散型結構。如圖3,圖中8個認知屬性的發(fā)散型結構,其他認知屬性個數的發(fā)散型結構是8個認知屬性發(fā)散型結構的一部分(5個認知屬性的除外),比如3個認知屬性的發(fā)散型結構為其中1～3個認知屬性所組成的,4個認知屬性的發(fā)散型結構為其中1～4個認知屬性所組成的,以此類推。已知每種認知屬性個數條件下,在發(fā)散型結構的項目類型中,隨機選取待標定項目個數為K。被試55人平均分配到各種認知屬性掌握模式之中;被試的認知屬性掌握模式,不能均分的,隨機指派一個掌握模式。每種情況做30次實驗。

4.2 結果

每次估計耗時不到2秒。表9為30次實驗中認知屬性模式標定準確率的均值及其標準差,從該表可知,模式標定準確率隨認知屬性個數的增加而降低,當認知屬性個數在6個以下時,認知屬性模式標定準確率不低于90%。此后,每增加一個認知屬性,認知屬性模式標定準確率降低10個百分點左右,甚至更多。標準差無明顯變化趨勢。

表9 認知屬性個數不同時的項目認知屬性模式標定準確率均值及其標準差

表10為30次實驗中認知屬性邊際標定準確率的均值及其標準差,從該表可知,認知屬性標定的邊際標定準確率隨認知屬性個數的增加而降低,但下降的速度較慢,即便是認知屬性個數為8個的情況,認知屬性邊際標定準確率仍然高達0.8875。其標準差的值比模式標定準確率標準差的值低些。

表10 認知屬性個數不同時的項目認知屬性邊際標定準確率均值及其標準差

5 研究結論與討論

本研究首次將粗糙集運用于認知診斷中項目屬性自動標定問題,通過研究結果驗證了粗糙集在認知診斷中的可行性,同時解決了紙筆測驗的項目屬性自動標定問題,并取得滿意結果。

5.1 粗糙集做認知診斷過程

采用粗糙集進行項目屬性自動標定流程：構建決策表(引入IRP)→屬性約簡→提取決策規(guī)則(引入ORP)→被試分類。在決策表中使用理想反應模式,以該數據作為一個標準,然后用觀察反應模式與之對比,進行分類。值得注意的是：從決策表中提取規(guī)則是基礎,分類是目的,如果沒有由期望反映模式提取的規(guī)則,則根據提取規(guī)則將觀察反應模式分類這一過程便不能實現。

5.2 項目屬性自動標定結果

本研究不僅在理論上論證了粗糙集進行項目認知屬性標定的可行性,而且以發(fā)散結構為例,進行了模擬研究,探討了被試估計準確率、被試在待估項目上的失誤率和認知屬性個數對項目認知屬性自動標定準確率的影響,并取得了預期結果：

(1)考察被試知識狀態(tài)估計準確率和作答失誤率對項目認知屬性自動標定準確率的影響

從被試估計判準率和作答失誤率對項目認知屬性自動標定準確率影響的模擬數據可以看到,被試估計判準率越低或作答的失誤率越高,則模式標定準確率和邊際標定準確率越低。從絕對值來看,當被試判準率較高、作答失誤率較低時,模式標定準確率是非常高的,如被試判準率為0.9,作答失誤率為0.05時,模式標定準確率為100%;即使被試判準率為0.7,作答失誤率為0.05時,模式標定準確率也高達97%以上;失誤率為0.15時,被試判準率為0.7,模式標定準確率為84%以上。對于邊際標定準確率而言,即便是在被試估計判準率為0.7,失誤率為0.25的情況下,認知屬性邊際標定準確率仍然高達89.75%。模式標定準確率與邊際標定準確率的標準差都較小,但邊際標定準確率的標準差更小一些。

(2)考察認知屬性個數對項目認知屬性自動標定準確率的影響

如所預測的結果一樣,認知屬性個數越多,模式標定準確率和認知屬性邊際標定準確率則越低。當認知屬性個數在6個以下時,模式標定準確率均在90%以上,此后,隨著屬性個數的增加,模式標定準確率下降10個百分點左右(或者更多),如6個屬性,模式標定準確率為86%左右;7個屬性,模式標定準確率下降為77%左右。而認知屬性邊際標定準確率相對來說一直很高,7個屬性及以下,邊際標準率為94%以上;8個屬性,認知屬性邊際標定準確率仍然高達0.8875。這些模擬結果在一定程度上表明了粗糙集用于項目認知屬性自動標定是可行的,且結果理想。同樣地,模式標定準確率與邊際標定準確率的標準差都較小,邊際標定準確率的標準差相對更小一些。

5.3 粗糙集方法運用于項目屬性自動標定的優(yōu)點

認知診斷要真正發(fā)揮其有助于補救性教學的作用,就需要重視形成性評估(formative assessment),需要走進課堂,進行課堂評估(classroom assessment)。但低成本、不受被試樣本容量的限制、診斷反饋及時等三個特點,是認知診斷進入課堂的必備要件,而這些,也正是粗糙集的優(yōu)點所在(Tang&Ding,2012),并在本研究中再一次得到了印證。

(1)成本低

到目前為止,項目認知屬性自動標定,主要采用在線計算機化自適應測驗的方式進行(Chen,Xin,Wang,&Chang,2012;陳平,辛濤,2011;汪文義等,2011)。由于計算機自適應測驗在題庫建設及硬件條件方面的要求較高,采用計算機化自適應測驗的方式進行認知屬性標定,成本過高。采用粗糙集進行項目認知屬性標定,可適用于紙筆測驗的情況,這使得題庫建設及硬件條件方面的成本門檻大為下降。

(2)樣本量要求低

從研究1和研究2可以看出,粗糙集用于項目認知屬性自動標定,對被試數量的門檻要求是非常低的,樣本容量一律為55人,即便是有八個認知屬性的情況,估計結果的認知屬性邊際標定準確率也非常高,粗糙集的這一優(yōu)點是包括CD-CAT在內的許多其他認知診斷方法所無法比擬的。55人,大抵相當于我國許多學校一個自然班的人數,粗糙集的運用,對于幫助認知診斷測驗真正進入課堂,是非常重要的。

(3)反饋及時

粗糙集用于項目認知屬性標定的速度也非?？?幾秒鐘即可出結果,從模擬結果來看,令人滿意,進一步說明粗糙集運用的可行性。

另外,由于有現成的粗糙集軟件RSES可以使用,實際工作者可以不必明白粗糙集的原理,就可以獲得相應的結果,這有利于推廣基于粗糙集的認知診斷。

5.4 關于粗糙集

粗糙集是一個強大的數據分析工具。它能夠表達和處理不完全、不精確、不確定的定量或定性信息;能夠在保留關鍵信息的前提下對數據進行簡化,大大降低知識的表達空間維數,并求得知識的最小表達;能夠識別并評估數據之間的依賴關系,揭示出概念簡單化的模式;能夠從經驗數據中獲取易于證實的規(guī)則知識(吳今培,孫德山,2006)。Duda,Hart和Stork(2000)認為,如果類別是用實體間的一般關系所刻畫的,而非一些具體示例,那么基于規(guī)則來設計分類器的想法將很吸引人?；谝?guī)則的方法是人工智能算法不可或缺的一部分,但在模式識別中應用的不多。規(guī)則的最大優(yōu)點是其容易被解釋,所以可應用于數據庫中,在那里,信息常被編碼成實體間的關系。采用粗糙集做認知診斷,有其優(yōu)勢,但也有不足之處。這種方法的缺點之一是缺少自然概率的概念,因而,當問題中存在較大噪聲或很大貝葉斯誤差時,規(guī)則的運用多少有些困難。

5.5 造成分類誤差可能原因及可進一步研究的問題

(1)因粗糙集缺乏概率的概念,所以當數據存在較大噪聲時,則分類判準率會受到影響。因此,在今后,可以繼續(xù)考慮將粗糙集與概率相結合的課題。同時,采用粗糙集做認知診斷,粗糙集中的決策表實際上可以看作一個無參數的認知診斷模型,具有無需項目參數的優(yōu)勢。在分類過程中,使用決策表涉及到屬性約簡和規(guī)則提取,而這兩部分一直是粗糙集理論的主要課題,也是影響后面分類的關鍵所在,許多學者一直致力于研究如何能最大化地減少條件屬性,提煉出最簡潔的規(guī)則。將粗糙集運用在認知診斷中同樣也存在著這兩個問題,如何能改進現有的約簡算法和提取規(guī)則方法,以期能夠進一步提高分類準確率值得深入探討。

(2)在認知診斷中,若項目設計不合理也會極大地影響判準率,因此,測驗藍圖設計的問題不容忽視。在本研究中,所有施測項目都是隨機選取,忽略了項目設計。丁樹良、楊淑群和汪文義(2010),以及丁樹良、汪文義和楊淑群(2011)提出在施測項目中放入可達陣可提高判準率,今后,可進一步討論在施測項目中放入可達陣對項目屬性標準率的影響。

(3)本研究只考察了單策略的情景,單策略和多策略的使用正確與否會直接影響到判準率(涂冬波,蔡艷,戴海琦,丁樹良,2012),粗糙集方法能否實現諸如多策略多成分潛在特質模型的功能,可進行深入探討。

(4)本研究是在Leighton等(2004)的理論框架下對項目屬性自動標定的模擬,將獨立結構排除在基本的屬性層級結構之外,但也有研究者在模擬研究中只討論獨立結構,因此用粗糙集對獨立結構做認知診斷也值得研究。

American Psychological Association,American Educational Research Association,&National Council on Measurements Used in Education.(1954).Technical Recommendations for Psychological Tests and Diagnostic Techniques.

Psychological Bulletin,51

(2,Pt.2),1-38.Anastasi,A.,&Urbina,S.(1997).

Psychological testing

(7th ed).New Jersy:Prentice Hall.Chang,H.-H.(2014).Psychometrics behind computerized adaptive testing.

Psychometrika,

In Press.Chen,P.,&Xin,T.(2011).Developing on-line calibration methods for cognitive diagnostic computerized adaptive testing.

Acta Psychologica Sinica,43

(6),710–724.[陳平,辛濤.(2011).認知診斷計算機化自適應測驗中在線標定方法的開發(fā).

心理學報,43

(6),710–724.]Chen,P.,Xin,T.,Wang,C.,&Chang,H.-H.(2012).Online calibration methods for the DINA model with independent attributes in CD-CAT.

Psychometrika,77

(2),201–222.Cronbach,L.J.,&Meehl,P.E.(1955).Construct validity in psychological tests.

Psychological Bulletin,52

(4),281–302.DeCarlo,L.T.(2011).On the analysis of fraction subtraction data:The DINA model,classification,latent class sizes,and the Q-Matrix.

Applied Psychological Measurement,35

(1),8–26.Ding,S.L.,Luo,F.,Cai,Y.,Lin,H.J.,&Wang,X.B.(2008).Complement to Tatsuoka’s Q matrix theory.In C.Tokyo,Japan.A.Okada,T.Imaizumi,&T.Hoshino(Eds.),

New trends in psychometrics

(pp.417–424).Universal Academy Press.Ding,S.L.,Wang,W.Y.,&Yang,S.Q.(2011).The design of cognitive diagnostic test blueprints.

Psychological Science,34

(2),258-265.[丁樹良,汪文義,楊淑群.(2011).認知診斷測驗藍圖的設計.

心理科學,34

(2),258–265.]Ding,S.L.,Yang,S.Q.,&Wang,W.Y.(2010).The importance of reachability matrix in constructing cognitively diagnostic testing.

Journal of Jiangxi Normal University(Natural Sciences Edition),

34(5),490–494.[丁樹良,楊淑群,汪文義.(2010).可達矩陣在認知診斷測驗編制中的重要作用.

江西師范大學學報(自然科學版),34

(5),490–494.]Ding,S.L.,Zhu,Y.F.,Lin,H.J.,&Cai,Y.(2009).Modification of Tatsuoka’s Q matrix theory.

Acta Psychologica Sinica,41

(2),175–181.[丁樹良,祝玉芳,林海菁,蔡艷.(2009).Tatsuoka Q矩陣理論的修正.

心理學報,41

(2),175–181.]Duda,R.O.,Hart,P.E.,&Stork,D.G.(2000).

Pattern classification

.New York:Wiley-Inter science.Frederiksen,N.,Mislevy,R.J.,&Bejar,I.I.(1993).

Test theory for a new generation of tests

.Hillsdale,N.J.:L.Erlbaum Associates.Gierl,M.J.,&Leighton,J.P.(2007).Directions for future research in cognitive diagnostic assessment.InJ.P.Leighton&M.J.Gierl(Eds.),

Cognitive diagnostic assessment for education:Theory and applications

(pp.341–352).New York:Cambridge University Press.Huff,K.,&Goodman,D.P.(2007).The demand for cognitive diagnostic assessment.In:J.P.Leighton&M.J.Gierl(Eds.),

Cognitive diagnostic assessment for education:Theory and applications

(pp.19–60).New York,NY,US:Cambridge University PressKuo,C.L.(2009).

Item dynamic incremental reduction algorithm of item response system

(Unpublished master’s thesis).Asia University.[郭昭麟.(2009).

試題擴增動態(tài)約簡算法

(碩士學位論文).亞洲大學.]Leighton,J.P.,&Gierl,M.J.(Eds.).(2007).

Cognitive diagnostic assessment for education:Theory and applications

.New York:Cambridge University Press.Leighton,J.P.,Gierl,M.J.,&Hunka,S.M.(2004).The attribute hierarchy method for cognitive assessment:A variation on Tatsuoka's rule-space approach.

Journal of Educational Measurement,41

(3),205–237.Liu,J.C.,Xu,G.J.,&Ying,Z.L.(2012).Data-driven learning of Q-matrix.

Applied Psychological Measurement,36

(7),548–564.Liu,J.C.,Xu,G.J.,&Ying,Z.L.(2013).Theory of self-learning$Q$-matrix.

Bernoulli,19

(5A),1790–1817.Liu,L.L.(2010).

Item and user dynamic incremental reduction algorithm of item response system based on rough set theory

(Unpublished master’s thesis).Asia University.[劉麗鈴.(2010).

基于粗糙理論之試題及受試者擴增動態(tài)約簡算法

(碩士學位論文).亞洲大學.]McGlohen,M.K.(2004).

The application of cognitive diagnosis and computerized adaptive testing to a large-scale assessment

(Unpublished doctorial dissertation).University of Texas at Austin.Pawlak,Z.(1991).

Rough sets:Theoretical aspects of reasoning about data

.Dordrecht:Kluwer Academic Publishers.Quellmalz,E.S.,&Pellegrino,J.W.(2009).Technology and testing.

Science,323

(5910),75–79.Shi,Z.Z.(2002).

Knowledge discovery

(p.143).Beijing:Tsinghua University Press.[史忠植.(2002).

知識發(fā)現

(p.143).北京:清華大學出版社.]Tang,X.J.,&Ding,S.L.(2012).

Application of rough set theory in cognitive diagnosis

.

Assessment and Evaluation,International Journal of Psychology,47

(sup1),15–15.Tatsuoka,K.K.(1990).Toward an integration of item-response theory and cognitive error diagnosis.In N.Frederiksen,R.Glaser,A.Lesgold,&M.G.Shafto(Eds.),

Diagnostic monitoring of skill and knowledge acquisition

(pp.453–488).Hillsdale,NJ:Lawrence Erlbaum Associates.Tatsuoka,K.K.(1995).Architecture of knowledge structures and cognitive diagnosis:A statistical pattern recognition and classification approach.In P.D.Nichols,S.F.Chipman,&R.L.Brennan(Eds.),

Cognitively diagnostic assessment

(pp.327–359).Hillsdale,NJ:Lawrence Erlbaum Associates.Tatsuoka,K.K.(2009).

Cognitive assessment:An introduction to the rule space method

.New York:Taylor&Francis Group.Tu,D.B.,Cai,Y.,Dai,H.Q.,&Ding,S.L.(2012).A new multiple-strategies cognitive diagnosis model:The MSCD method.

Acta Psychologica Sinica,44

(11),1547–1553.[涂冬波,蔡艷,戴海琦,丁樹良.(2012).一種多策略認知診斷方法:MSCD方法的開發(fā).

心理學報,44

(11),1547–1553.]Wang,W.Y.,Ding,S.L.,&You,X.F.(2011).On–line item attribute identification in cognitive diagnostic computerized adaptive testing.

Acta Psychologica Sinica,43

(8),964–976.[汪文義,丁樹良,游曉鋒.(2011).計算機化自適應診斷測驗中原始題的屬性標定.

心理學報,43

(8),964–976.]Wu,J.P.,&Sun,D.S.(Eds).(2006).

Modern data analysis

(p.247).Beijing:Machinery Industry Press.[吳今培,孫德山.(編).(2006).

現代數據分析

(p.247).北京:機械工業(yè)出版社.]Yang,S.Q.,Cai,S.Z.,Ding,S.L.,Lin,H.J.,&Ding,Q.L.(2008).Augment algorithm for reduced Q-matrix.

Journal of Lanzhou University(Natural Sciences),44

(3),87–91,96.[楊淑群,蔡聲鎮(zhèn),丁樹良,林海菁,丁秋林.(2008).求解簡化Q矩陣的擴張算法.

蘭州大學學報(自然科學版),44

(3),87–91,96.]You,X.F.,Ding,S.L.,&Liu,H.Y.(2010).Parameter estimation of the raw item in computerized adaptive testing.

Acta Psychologica Sinica,42

(7),813–820.[游曉鋒,丁樹良,劉紅云.(2010).計算機化自適應測驗中原始題項目參數的估計.

心理學報,42

(7),813–820.]Yu,J.Y.(2008).Application of rough set and neural networks in psychological Measurement.

Acta Psychologica Sinica,40

(8),939–946.[余嘉元.(2008).粗糙集和神經網絡在心理測量中的應用.

心理學報,40

(8),939–946.]Zhang,W.X.,Wu,W.Z.,Liang,J.Y.,&Li,D.Y.(2001).

The theory and methods of rough set

.Beijing:Science Press.[張文修,吳偉志,梁吉業(yè),李德玉.(2001).

粗糙集理論與方法

.北京:科學出版社.]