認(rèn)知屬性標(biāo)定框架的實(shí)證研究
——以小學(xué)數(shù)學(xué)為例

高 磊，衷克定

(北京師范大學(xué) 信息技術(shù)教育研究所，北京 100875)

認(rèn)知屬性標(biāo)定框架的實(shí)證研究
——以小學(xué)數(shù)學(xué)為例

高 磊，衷克定

(北京師范大學(xué) 信息技術(shù)教育研究所，北京 100875)

在基于認(rèn)知診斷理論的自適應(yīng)測(cè)試中，認(rèn)知屬性的標(biāo)定是一項(xiàng)非常重要的基礎(chǔ)性工作。該文首先使用文獻(xiàn)法對(duì)認(rèn)知屬性進(jìn)行理論分析，探索認(rèn)知屬性標(biāo)定的理論依據(jù)，其次在對(duì)認(rèn)知屬性內(nèi)容進(jìn)行探討的基礎(chǔ)上，提出認(rèn)知屬性標(biāo)定的結(jié)構(gòu)性框架，最后通過小學(xué)數(shù)學(xué)測(cè)試題對(duì)認(rèn)知屬性標(biāo)定進(jìn)行實(shí)證研究。結(jié)果表明，認(rèn)知屬性標(biāo)定框架能有效地提高認(rèn)知屬性標(biāo)定的效率。

自適應(yīng)測(cè)試；認(rèn)知屬性；認(rèn)知診斷

隨著教育信息化的深入發(fā)展，各種學(xué)習(xí)資源不斷數(shù)字化、網(wǎng)絡(luò)化的同時(shí)，基于網(wǎng)絡(luò)的教育評(píng)價(jià)受到越來越多的重視。目前，教育評(píng)價(jià)的主要形式是測(cè)驗(yàn)，而大多數(shù)測(cè)試系統(tǒng)都基于經(jīng)典測(cè)量理論。經(jīng)典測(cè)量理論只能從宏觀上判斷學(xué)習(xí)者的認(rèn)知水平，無法對(duì)學(xué)習(xí)者知識(shí)掌握程度做精確的判斷。針對(duì)存在的問題，眾多研究者開始關(guān)注微觀層次的測(cè)量理論，新一代的教育測(cè)量理論應(yīng)運(yùn)而生。這種新的教育測(cè)量理論是認(rèn)知心理學(xué)、現(xiàn)代測(cè)量學(xué)、統(tǒng)計(jì)學(xué)相結(jié)合的產(chǎn)物。該理論試圖找到學(xué)習(xí)者能力水平與試題屬性之間的相互關(guān)系，通過統(tǒng)計(jì)學(xué)的方法，建立數(shù)學(xué)模型，以高效而精確地判斷學(xué)習(xí)者的知識(shí)狀態(tài)，這就是認(rèn)知診斷理論。基于認(rèn)知診斷理論的自適應(yīng)測(cè)試采用數(shù)學(xué)模型對(duì)學(xué)習(xí)者的知識(shí)、技能和認(rèn)知狀態(tài)進(jìn)行診斷性測(cè)試，最終得到學(xué)生的知識(shí)掌握狀態(tài)，可為教師和學(xué)習(xí)者提供針對(duì)性的信息，對(duì)教學(xué)和學(xué)習(xí)具有重要的指導(dǎo)意義?；谡J(rèn)知診斷理論的自適應(yīng)測(cè)試受到越來越多研究者的關(guān)注。然而，認(rèn)知診斷理論現(xiàn)在仍處于發(fā)展階段，很多問題仍有待解決。認(rèn)知屬性的標(biāo)定是進(jìn)行自適應(yīng)測(cè)試，進(jìn)而診斷被試認(rèn)知狀態(tài)的基礎(chǔ)，代表了測(cè)試內(nèi)容所考察的認(rèn)知成分，是認(rèn)知診斷自適應(yīng)測(cè)試研究的重要內(nèi)容。

一、問題的提出

認(rèn)知診斷理論采用統(tǒng)計(jì)學(xué)的方法，將被試的認(rèn)知能力與測(cè)試題難度建立數(shù)學(xué)模型，挖掘認(rèn)知加工信息，診斷被試的知識(shí)狀態(tài)。基于認(rèn)知診斷理論的自適應(yīng)測(cè)試不僅能對(duì)個(gè)體績效的強(qiáng)弱進(jìn)行判定，更為重要的是能夠提供測(cè)試者在解決問題時(shí)呈現(xiàn)出來的知識(shí)狀態(tài)和處理技能方面的信息。因此，在測(cè)試之前必須首先對(duì)測(cè)試題考察的知識(shí)和技能進(jìn)行量化分析，變?yōu)閿?shù)學(xué)語言，這樣才能在相應(yīng)數(shù)學(xué)模型的基礎(chǔ)上進(jìn)行分析與診斷，而這個(gè)過程就是認(rèn)知屬性標(biāo)定的過程。屬性標(biāo)定是認(rèn)知診斷測(cè)試的基礎(chǔ)，因此，屬性標(biāo)定的工作質(zhì)量在很大程度上決定了測(cè)試的精確度。然而，在認(rèn)知診斷自適應(yīng)測(cè)試實(shí)踐中，試題認(rèn)知屬性的標(biāo)定大都由教師或?qū)W科專家完成，主要依據(jù)來源于自身經(jīng)驗(yàn)，沒有統(tǒng)一的屬性標(biāo)定的結(jié)構(gòu)性框架。這種方式下確定的認(rèn)知屬性的完備性和精確性并不能得到保證。正如DeCarlo指出，Tatsuoka的分?jǐn)?shù)減法認(rèn)知診斷測(cè)驗(yàn), 包含20個(gè)試題，這20個(gè)試題的屬性標(biāo)定是由自身和學(xué)科專家依據(jù)自身經(jīng)驗(yàn)完成的，而屬性認(rèn)定經(jīng)過20年、至少五批專家的爭(zhēng)論，仍然不能保證標(biāo)注正確[1]。同時(shí)，由于學(xué)科專家與學(xué)生在知識(shí)的掌握程度和運(yùn)用效果方面存在較大差異，還必須從學(xué)生角度思考認(rèn)知屬性的標(biāo)定的合理性。因此，在這種背景下，Tatsuoka提出驗(yàn)證和改進(jìn)屬性結(jié)構(gòu)的方法——口語報(bào)告法[2]。該方法能夠彌補(bǔ)專家與學(xué)生在認(rèn)知程度上的差異，可以使屬性標(biāo)定更加合理化。但是，口語報(bào)告過程耗時(shí)耗力，容易造成接受困難或不愿意接受而應(yīng)付了事的情況，反而會(huì)增加屬性標(biāo)定的不確定性。由此可見，如何有效地對(duì)認(rèn)知屬性進(jìn)行準(zhǔn)確標(biāo)定是基于認(rèn)知診斷的適應(yīng)性測(cè)驗(yàn)亟待解決的問題。為了提高認(rèn)知屬性標(biāo)定的準(zhǔn)確性，本研究從認(rèn)知屬性的定義出發(fā)，探索認(rèn)知屬性標(biāo)定的理論依據(jù)，構(gòu)建認(rèn)知屬性標(biāo)定的結(jié)構(gòu)性框架以指導(dǎo)認(rèn)知屬性標(biāo)定工作。在此基礎(chǔ)上，通過對(duì)小學(xué)數(shù)學(xué)的內(nèi)容建模為屬性標(biāo)定的合理性進(jìn)行實(shí)證研究。

二、認(rèn)知屬性概念界定

對(duì)于認(rèn)知屬性的概念，專家學(xué)者都提出了自己的見解。Tatsuoka在嘗試用規(guī)則空間方法研究認(rèn)知問題時(shí)指出，認(rèn)知屬性即為產(chǎn)生式規(guī)則、程序性操作、項(xiàng)目類型或認(rèn)知任務(wù)[3]。這觀點(diǎn)得到了一部分學(xué)者的認(rèn)可，在基于規(guī)則空間方法研究認(rèn)知診斷的實(shí)踐中得到了比較廣泛的應(yīng)用。然而，這四部分的內(nèi)容更像是對(duì)屬性進(jìn)行的分類，此觀點(diǎn)在操作層面上的實(shí)用性有待提高。2009年，Tatsuoka對(duì)認(rèn)知屬性做了進(jìn)一步的闡述，明確提出，認(rèn)知屬性就是被試在完成任務(wù)時(shí)所必須具備的知識(shí)和信息加工技能[4]。Leighton, Gierl和Hunka的界定更為全面，他們認(rèn)為屬性是指完成任務(wù)時(shí)的知識(shí)結(jié)構(gòu)和認(rèn)知過程，包括知識(shí)、技能和策略[5]。也就是說，認(rèn)知策略也可以作為考察的屬性內(nèi)容。加涅在研究學(xué)習(xí)結(jié)果分類時(shí)把認(rèn)知策略看作一種特殊的智慧技能，認(rèn)為認(rèn)知策略是用于調(diào)控個(gè)體自身的學(xué)習(xí)、記憶和思維等認(rèn)知過程的技能。因此，認(rèn)知屬性是指完成任務(wù)過程中的認(rèn)知成分，可分為為知識(shí)、技能兩方面內(nèi)容，通過對(duì)知識(shí)和技能進(jìn)行分析，從而可以得到認(rèn)知屬性標(biāo)定的結(jié)構(gòu)性框架。

三、認(rèn)知屬性標(biāo)定的框架建構(gòu)

認(rèn)知屬性是學(xué)生在完成任務(wù)時(shí)表現(xiàn)出來的知識(shí)狀態(tài)和認(rèn)知技能，而完成任務(wù)則是指學(xué)生分析問題、解決問題的過程。因此，標(biāo)定認(rèn)知屬性必須從學(xué)生解決問題時(shí)的認(rèn)知過程出發(fā)，找出學(xué)生解決問題過程的影響因素，在此基礎(chǔ)上，建構(gòu)認(rèn)知屬性標(biāo)定框架。一般認(rèn)為，問題解決的認(rèn)知過程主要分為問題表征和解答計(jì)劃執(zhí)行兩個(gè)階段[6]。問題表征是指根據(jù)問題所提供的信息和自身已有的知識(shí)經(jīng)驗(yàn)，發(fā)現(xiàn)問題的結(jié)構(gòu)，構(gòu)建自己的問題空間的過程。其主要目的是將外部物理刺激轉(zhuǎn)變?yōu)閮?nèi)部的心理符號(hào)[7]。研究發(fā)現(xiàn)，問題表征質(zhì)量的高低會(huì)直接影響到問題的解決[8][9]。解答計(jì)劃執(zhí)行階段是實(shí)施解決方案、獲取最終結(jié)果的過程，是學(xué)科領(lǐng)域及相關(guān)知識(shí)的應(yīng)用過程。對(duì)問題解決的兩個(gè)認(rèn)識(shí)過程進(jìn)行具體分析，找出影響學(xué)生解決問題過程中涉及到的認(rèn)識(shí)因素，可為認(rèn)識(shí)屬性標(biāo)定框架的建構(gòu)提供理論依據(jù)。

問題表征說明了問題在頭腦中的呈現(xiàn)方式、已知條件和未知條件問題、問題目標(biāo)、涉及到的學(xué)科領(lǐng)域等信息。問題表征的認(rèn)知過程主要分為三個(gè)階段：首先，對(duì)問題的詞語信息、圖示、符號(hào)等靜止操作材料建立起相應(yīng)的心理映像，達(dá)到對(duì)問題的理解。在這個(gè)過程中，主要的心理過程是對(duì)詞語信息、圖示符號(hào)的內(nèi)化。因此，對(duì)于詞語信息等靜止操作材料的表征是影響問題表征的重要因素，稱之為視覺形象表征。在此基礎(chǔ)之上， 個(gè)體需要對(duì)問題情境建立合理的表征。根據(jù)相關(guān)研究，問題情境信息構(gòu)建的完整性與正確性會(huì)直接影響問題空間的合理性，從而影響到最終的問題解決。因此，問題情境表征是影響問題表征的又一重要因素。還有一點(diǎn)值得注意，問題描述對(duì)象之間的相互關(guān)系、條件規(guī)則等對(duì)問題解決也起著至關(guān)重要的作用。Hegarty等人在研究問題表征策略時(shí)曾經(jīng)指出：?jiǎn)栴}表征的困難在于理解問題條件的相互關(guān)系上，而不在單獨(dú)條件上[10]?？梢?，問題條件之間的關(guān)系表征是影響問題表征正確性與合理性的關(guān)鍵因素。綜上所述，影響問題表征的主要因素為視覺形象、問題情境以及條件關(guān)系，因此，可以用這三種主要因素作為問題表征的顯性描述。

問題解答則是設(shè)計(jì)答題計(jì)劃并進(jìn)行實(shí)施，主要涉及學(xué)科領(lǐng)域相關(guān)知識(shí)及其應(yīng)用。在自適應(yīng)測(cè)試中，問題表征是對(duì)詞語信息的內(nèi)化，外在表現(xiàn)則是對(duì)題意的理解；而問題解答則是領(lǐng)域知識(shí)的選擇和應(yīng)用，表現(xiàn)為知識(shí)狀態(tài)的掌握程度。因此，我們應(yīng)該以學(xué)科領(lǐng)域知識(shí)及其應(yīng)用的視角考察領(lǐng)域知識(shí)的具體內(nèi)容和外在表現(xiàn)。領(lǐng)域知識(shí)源于人工智能對(duì)知識(shí)表征的研究，把領(lǐng)域知識(shí)定義為某一領(lǐng)域的概念、概念之間的關(guān)系以及有關(guān)約束的集合?？梢姡窍到y(tǒng)化的知識(shí)表征形態(tài)，結(jié)構(gòu)清晰完整，特指某一特定領(lǐng)域的知識(shí)，屬于知識(shí)范疇。而對(duì)知識(shí)的結(jié)構(gòu)化劃分主要有兩種。一是信息加工心理學(xué)，只是分為陳述性知識(shí)和程序性知識(shí)；二是布魯姆教育目標(biāo)分類理論，把知識(shí)分為事實(shí)性知識(shí)、概念性知識(shí)、程序性知識(shí)和反省認(rèn)知知識(shí)四大類。領(lǐng)域知識(shí)是關(guān)于某個(gè)領(lǐng)域的所有知識(shí)，因此，反省認(rèn)知知識(shí)并不能包括在內(nèi)。事實(shí)性知識(shí)和概念性知識(shí)與信息加工心理學(xué)中的陳述性知識(shí)的內(nèi)涵是一致的。對(duì)于陳述性知識(shí)與程序性知識(shí)的劃分方式，Alexander從認(rèn)知學(xué)習(xí)角度研究領(lǐng)域知識(shí)時(shí)，對(duì)這種分類進(jìn)行了補(bǔ)充，加入了條件性知識(shí)[11]。因此，領(lǐng)域知識(shí)可分為陳述性知識(shí)、程序性知識(shí)和條件性知識(shí)。陳述性知識(shí)是關(guān)于事物及其關(guān)系的知識(shí)，能夠直接陳述，回答的是“是什么”的問題，是一種描述性知識(shí)。程序性知識(shí)則是關(guān)于完成某項(xiàng)任務(wù)的行為或操作步驟的知識(shí)，不能直接描述，只能借助任務(wù)或作業(yè)的完成狀態(tài)間接推測(cè)事實(shí)，回答的是“怎么做”的知識(shí)。條件性知識(shí)指的是限制性的知識(shí)，即知道什么時(shí)候或在什么情境下使用這些知識(shí)的知識(shí)。學(xué)科領(lǐng)域知識(shí)是針對(duì)某一具體的學(xué)科的，是關(guān)于某一學(xué)科中的那些具有一定相關(guān)性、邏輯性、操作性的知識(shí)體系。根據(jù)前述分類，學(xué)科領(lǐng)域知識(shí)的三維結(jié)構(gòu)應(yīng)該包括學(xué)科內(nèi)容、操作技能和問題條件三類知識(shí)。學(xué)科內(nèi)容知識(shí)即為特定學(xué)科范圍內(nèi)的陳述性知識(shí)，包括概念、原理等描述性知識(shí)，與領(lǐng)域知識(shí)的陳述性知識(shí)相對(duì)應(yīng)。操作技能則是指某一學(xué)科領(lǐng)域內(nèi)的解題規(guī)則、操作程序等，屬于認(rèn)識(shí)技能的知識(shí)范疇，與領(lǐng)域知識(shí)的程序性知識(shí)相對(duì)應(yīng)。問題條件則是在特定學(xué)科內(nèi)容知識(shí)的適用范圍、使用限制及約束規(guī)則，與領(lǐng)域知識(shí)的條件性知識(shí)相對(duì)應(yīng)?？傊?，對(duì)于問題解答階段涉及到的學(xué)科領(lǐng)域知識(shí)可以用學(xué)科內(nèi)容、操作技能和問題條件三類知識(shí)來表示。

根據(jù)上述分析，認(rèn)知屬性標(biāo)定須依據(jù)問題解決的認(rèn)知過程，合理地確定認(rèn)知成分。問題表征是語義理解階段，由視覺形象、問題情境以及條件關(guān)系等三種影響問題表征的主要因素表示；問題解答階段主要是具體學(xué)科領(lǐng)域知識(shí)應(yīng)用的過程，主要由學(xué)科內(nèi)容、操作技能和問題條件三類知識(shí)表示。認(rèn)知屬性標(biāo)定的結(jié)構(gòu)性框架如下圖所示。在認(rèn)知屬性的實(shí)際操作過程中，以此框架為指導(dǎo)，結(jié)合具體學(xué)科內(nèi)容，可以比較準(zhǔn)確而完整地確定認(rèn)知屬性，從而為后續(xù)的認(rèn)知診斷過程提供支持。

認(rèn)知屬性結(jié)構(gòu)性框架圖

四、實(shí)證研究

基于認(rèn)知診斷的計(jì)算機(jī)自適應(yīng)測(cè)試系統(tǒng)確定認(rèn)知屬性的目的是建構(gòu)認(rèn)知屬性矩陣，把無法確定的心理特質(zhì)轉(zhuǎn)化為可以觀察和測(cè)量的數(shù)據(jù)，進(jìn)而通過數(shù)學(xué)建模的方法認(rèn)定學(xué)生的知識(shí)掌握狀態(tài)。認(rèn)知屬性結(jié)構(gòu)是否準(zhǔn)確、合理關(guān)系著整個(gè)測(cè)驗(yàn)的科學(xué)性。

認(rèn)識(shí)成分可以分為語義理解和知識(shí)應(yīng)用兩部分內(nèi)容。問題表征階段的語義理解部分包括的情境、條件和關(guān)系，雖然與數(shù)學(xué)學(xué)科本身的知識(shí)關(guān)系不大，卻是解題中至關(guān)重要的一環(huán)，因此，數(shù)學(xué)情境、條件狀態(tài)、數(shù)量或視覺空間中關(guān)系可以作為三種認(rèn)識(shí)屬性加以標(biāo)示。根據(jù)前面的分析，數(shù)學(xué)知識(shí)是指數(shù)學(xué)符號(hào)、事實(shí)，數(shù)學(xué)概念性知識(shí)，以及程序性知識(shí)。數(shù)學(xué)事實(shí)性知識(shí)包括符號(hào)、公理等不需要證明的知識(shí)，一般需要單獨(dú)考察。這類知識(shí)大都作為公式推導(dǎo)或者課堂講解使用，有時(shí)也作為題目的隱含條件出現(xiàn)，比如計(jì)算人數(shù)不可能出現(xiàn)小數(shù)，雞兔同籠問題中雞有兩條腿而兔子有四條腿，這些客觀事實(shí)在數(shù)學(xué)中一般不作為測(cè)試內(nèi)容。數(shù)學(xué)概念性知識(shí)是人腦對(duì)現(xiàn)實(shí)對(duì)象的數(shù)量關(guān)系和空間形式的本質(zhì)特征的一種反映形式，是數(shù)學(xué)基礎(chǔ)知識(shí)的重要組成部分，也是學(xué)習(xí)其他數(shù)學(xué)知識(shí)的基礎(chǔ)。數(shù)學(xué)程序性知識(shí)則是指數(shù)學(xué)算法、規(guī)則、公式、定理等。程序性知識(shí)指的是知識(shí)的應(yīng)用，通常稱之為數(shù)學(xué)技能，以知識(shí)狀態(tài)的形式表現(xiàn)出來。數(shù)學(xué)技能即運(yùn)用數(shù)學(xué)知識(shí)解決問題的能力，是指在數(shù)學(xué)學(xué)習(xí)過程中通過訓(xùn)練或練習(xí)得以完成數(shù)學(xué)任務(wù)的智力活動(dòng)方式。數(shù)學(xué)技能具體包括數(shù)學(xué)知識(shí)辨識(shí)技能、數(shù)學(xué)概念應(yīng)用能力、數(shù)學(xué)規(guī)則操作與應(yīng)用技能、運(yùn)用各種知識(shí)解決復(fù)雜問題的技能。數(shù)學(xué)是一門研究數(shù)量關(guān)系和空間形式的科學(xué)，具有嚴(yán)密的符號(hào)體系，獨(dú)特的公式結(jié)構(gòu)，形象的圖像語言。數(shù)學(xué)知識(shí)，如概念、原理、公式、算法，一般都是通過技能表現(xiàn)出來的。例如，倒數(shù)是一個(gè)數(shù)學(xué)概念，屬于數(shù)學(xué)知識(shí)。一般情況下，很少有測(cè)試直接問倒數(shù)的定義，而大部分測(cè)試卻是讓學(xué)生求一個(gè)具體數(shù)字的倒數(shù)來測(cè)試學(xué)生是否掌握倒數(shù)的概念。求具體數(shù)字的倒數(shù)則屬于數(shù)學(xué)知識(shí)的運(yùn)用，屬于操作技能層面。這樣，就可以判斷學(xué)生是否掌握了倒數(shù)這一概念。反之，操作技能掌握的外在表現(xiàn)形式是學(xué)生的知識(shí)狀態(tài)，我們無法看到學(xué)生技能操作的內(nèi)部心理過程，但可以通過學(xué)生知識(shí)狀態(tài)的變化推斷學(xué)生的技能掌握程度。

本研究選取小學(xué)六年級(jí)數(shù)學(xué)上冊(cè)部分內(nèi)容作為研究對(duì)象，經(jīng)走訪一線教師，并經(jīng)學(xué)科專家認(rèn)定，測(cè)試主要考察內(nèi)容包括：分?jǐn)?shù)乘法的意義，計(jì)算法則及算法，倒數(shù)的意義及算法，分?jǐn)?shù)除法的意義及算法，圓的特征及面積公式、周長公式，計(jì)量單位概念及關(guān)系換算。按照上述分類方法，結(jié)合具體內(nèi)容，得出小學(xué)六年級(jí)上冊(cè)知識(shí)分類表(如表1所示)。

表1 小學(xué)數(shù)學(xué)六年級(jí)上冊(cè)知識(shí)分類表

由上述分類方法，以小學(xué)數(shù)學(xué)六年級(jí)上冊(cè)內(nèi)容為基礎(chǔ)，得出13個(gè)屬性，用A1、A2…A13表示。其中，(A1)分?jǐn)?shù)的意義，(A2)通分與化簡(jiǎn)，這兩類屬性是新學(xué)習(xí)內(nèi)容的基礎(chǔ)，因此，測(cè)試中必定包含這兩類屬性。(A3)分?jǐn)?shù)乘法的意義，(A5)分?jǐn)?shù)除法的意義，(A7)倒數(shù)的意義，(A9)比的意義，這四項(xiàng)屬于概念性知識(shí)。剩余的7項(xiàng)屬性屬于程序性知識(shí)，它們分別是：(A4)分?jǐn)?shù)乘法運(yùn)算，(A6)分?jǐn)?shù)除法運(yùn)算，(A8)倒數(shù)的運(yùn)算，(A10)比的運(yùn)算，(A11)圓的面積、周長計(jì)算，(A12)百分比運(yùn)算，(A13)計(jì)量單位的換算。小學(xué)數(shù)學(xué)認(rèn)知成分還包括數(shù)學(xué)情境、條件狀態(tài)和數(shù)學(xué)關(guān)系，這三種元素分別標(biāo)識(shí)為A14、A15和A16。

基于認(rèn)知診斷的計(jì)算機(jī)自適應(yīng)測(cè)試系統(tǒng)實(shí)體的編制以認(rèn)知心理學(xué)和信息認(rèn)知加工模型為基礎(chǔ)，在認(rèn)知診斷試題編制原則的指導(dǎo)下，以小學(xué)數(shù)學(xué)六年級(jí)上冊(cè)為具體內(nèi)容，編制完成25道試題。通過與一線教師進(jìn)行商定，筆者完成了25道試題的屬性標(biāo)定，并生成項(xiàng)目(試題)屬性關(guān)系矩陣。每一道試題都要對(duì)所有16個(gè)屬性進(jìn)行標(biāo)識(shí)，如果試題考查了該屬性則標(biāo)識(shí)為1，反之，則標(biāo)識(shí)為0。每一道試題通過這種方式進(jìn)行標(biāo)識(shí)完成后，整套試題考查的內(nèi)容則通過認(rèn)知屬性關(guān)系矩陣表示出來。根據(jù)TatsuoKa的研究，驗(yàn)證認(rèn)知屬性合理性可采用回歸分析的方法進(jìn)行[12]。具體方法是通過建立項(xiàng)目難度對(duì)認(rèn)知屬性的回歸，考察認(rèn)知屬性對(duì)項(xiàng)目難度的解釋能力，若所認(rèn)定的認(rèn)知屬性能解釋項(xiàng)目難度的60%以上，則說明所認(rèn)定的認(rèn)知屬性基本可靠。為了確定試題難度值，本研究選用項(xiàng)目反應(yīng)理論模型中雙參數(shù)邏輯斯蒂克模型，采用BILOGMG3.0軟件，對(duì)項(xiàng)目難度值進(jìn)行估算，得到各項(xiàng)目難度值(如表2所示)。

表2 項(xiàng)目難度值表

本研究以認(rèn)知屬性為自變量，以難度值為因變量，應(yīng)用SPSS19.0軟件進(jìn)行回歸分析。認(rèn)知屬性標(biāo)定位0或1，表示項(xiàng)目中是否考察了該屬性，若未考察，則該屬性值為0，若考察了該屬性，則指為1。本研究中，項(xiàng)目難度對(duì)屬性的回歸R系數(shù)為0.817，R的平方為0.667。也就是說，項(xiàng)目的認(rèn)知屬性對(duì)項(xiàng)目難度的解釋力達(dá)到了66.7%，超過了預(yù)定的標(biāo)準(zhǔn)值60%(如表3所示)。由此可以得出，依據(jù)數(shù)學(xué)認(rèn)知屬性標(biāo)定框架，結(jié)合該部分教學(xué)內(nèi)容，由此得出的項(xiàng)目的認(rèn)知屬性基本可靠。

表3 回歸分析結(jié)果

五、結(jié)束語

多數(shù)情況下，以學(xué)科教學(xué)經(jīng)驗(yàn)為主要依據(jù)標(biāo)定認(rèn)知屬性雖然具有一定的可操作性，但是主觀性過強(qiáng)，認(rèn)知屬性標(biāo)定的精確性和完備性很難得到保證。而口語報(bào)告的方法受被試樣本的限制，工作量大。本文從分析問題解決的認(rèn)識(shí)過程出發(fā)，確定了語義理解和知識(shí)應(yīng)用兩種認(rèn)知成分，并進(jìn)一步進(jìn)行了細(xì)化，構(gòu)建了認(rèn)知屬性標(biāo)定的框架。然后，結(jié)合數(shù)學(xué)學(xué)科性質(zhì)與特點(diǎn)，得出了認(rèn)知屬性結(jié)構(gòu)性框架。然后，以認(rèn)知屬性標(biāo)定框架為指導(dǎo)，制訂了數(shù)學(xué)認(rèn)知屬性標(biāo)定的基本框架，通過小學(xué)數(shù)學(xué)的具體學(xué)科內(nèi)容進(jìn)行實(shí)證研究，結(jié)果顯示，試題認(rèn)知屬性標(biāo)定是合理有效的。需要指出的是，在此框架指導(dǎo)下的認(rèn)知屬性標(biāo)定未必會(huì)帶來質(zhì)量上的明顯提升，但是在可接受范圍內(nèi)，標(biāo)定效率得到了較大提高。認(rèn)知屬性標(biāo)定框架指導(dǎo)下，認(rèn)知屬性標(biāo)定的粒度大小可以由教師或?qū)W科專家根據(jù)測(cè)試要求靈活把握。本研究是基于認(rèn)知診斷理論對(duì)認(rèn)知屬性標(biāo)定結(jié)構(gòu)性框架的一次實(shí)踐，希望可以為認(rèn)識(shí)診斷的試題屬性標(biāo)定工作提供幫助。

[1] DeCarlo, L. T. On the analysis of fraction subtraction data： The DINA model, classification, latent class sizes, and the Q-matrix[J]. Applied Psychological Measurement, 2011,(35)：8-24.

[2][4][12] Tatsuoka, K. K. Cognitive Assessment： An Introduction to the Rule Space Method[M]. New York：Routlege,Taylor & Francis Group,2009.

[3] Tatsuoka, K. K. Rule Space： an approach for dealing with misconceptions based on item response theory[J].Journal of Educational Measurement, 1983, (20)： 345-354.

[5] Leighton, J. P., Gierl, M. J. & Hunka S. M.The attribute hierarchy method for cognitive assessment： A variation on Tatsuoka’s rule-space approach[J].Journal of Educational Measurement, 2004,(41)： 205-237.

[6] Mayer, R. E., & Hegarty M. The Process of Understanding Mathematical Problems[A]. Stemberg, R. J. & Talia Ben- eeved. The Nature of Mathematical Thinking [C].New Jersey： Lawrence EdbaUm Associates, 1996.3-25.

[7] 胥興春,劉電芝. 問題表征方式與數(shù)學(xué)問題解決的研究[J].心理科學(xué)進(jìn)展,2002,(3)：264-269.

[8] Anand P G, & Ross, S. M. Using computer-assisted instruction to personalize arthmatio materiais for elementary school children[J].Journal of Education Psychology, 1987,(2)： 72-78.

[9] Mayer, R. E.Thinking,problem solving, cognition(2nd ed.)[M].Newyork：W. H. Freemanand Company,1992.

[10] Hegarty, M.& Mayer, R. E, Monk, C.A. Comprehension of arithmetic word problems： A comparison of successful and unsuccessful problem solvers[J]. Journal of Educational Psychology,1995, 87(1)： 18-32.

[11] Alexander, P. A, Schallert, D. L, Hare, V. C. Coming to terms： How researchers in learning and literacy talk about knowledge[J].Review of educational research, 1991, 61(3)： 315-343.

高磊：在讀博士，研究方向?yàn)樾畔⒓夹g(shù)教育、認(rèn)知診斷及自適應(yīng)測(cè)試(gaolei_bnu@mail.bnu.edu.cn)。

衷克定：教授，博士生導(dǎo)師，研究方向?yàn)榻逃夹g(shù)理論、信息技術(shù)教育、在線學(xué)習(xí)與發(fā)展、教育信息管理(zhongkeding@bnu.edu.cn)。

2013年8月11日

責(zé)任編輯：李馨 趙云建

Empirical Study of Cognitive Attributes Calibration Framework——A Case Study of Primary Mathematics

Gao Lei, Zhong Keding
(Institute of Information Technology Education, Beijing Normal University, Beijing 100875)

Cognitive attribute calibration is a very important basic work in the adaptive test based on cognitive diagnostic theory. In this paper,firstly, cognitive attributes are analyzed by literature method and the theoretical basis of cognitive attributes calibration is explored; and then, structural framework of cognitive attributes calibration is proposed based on the exploration of cognitive attribute content; finally, empirical research is carried out through calibrating cognitive attributes of primary mathematics test items. The results show: the framework can effectively improve the efficiency of cognitive attributes calibration.

Adaptive Test; Cognitive Attribute;Cognitive Diagnosis

G434

A

1006—9860(2014)03—0019—05