認(rèn)知診斷評(píng)價(jià)在個(gè)性化學(xué)習(xí)中的功能與價(jià)值

李令青 韓 笑 辛 濤 劉彥樓

（1.曲阜師范大學(xué)，山東濟(jì)寧 273165；2.北京師范大學(xué)，北京 100875）

以學(xué)生為中心，滿(mǎn)足每個(gè)學(xué)生獨(dú)特的學(xué)習(xí)需求是個(gè)性化學(xué)習(xí)的主要特征[1]。個(gè)性化學(xué)習(xí)要求對(duì)學(xué)習(xí)者個(gè)體差異及學(xué)習(xí)需求進(jìn)行準(zhǔn)確評(píng)價(jià)。在新學(xué)習(xí)評(píng)價(jià)觀念指導(dǎo)下，充分發(fā)揮新方法、新技術(shù)在自動(dòng)化學(xué)習(xí)數(shù)據(jù)收集、整理、分析及結(jié)果呈現(xiàn)中的作用，是實(shí)現(xiàn)個(gè)性化學(xué)習(xí)的關(guān)鍵要素之一[2]。在大數(shù)據(jù)時(shí)代，對(duì)學(xué)生學(xué)習(xí)進(jìn)行自動(dòng)的個(gè)性化評(píng)價(jià)與診斷，將教師從機(jī)械的、重復(fù)的勞動(dòng)中解放出來(lái)，使其有時(shí)間和精力從事更具創(chuàng)造性的活動(dòng)，對(duì)于師生而言都具有重要的價(jià)值與意義。本文在探討基于認(rèn)知診斷評(píng)價(jià)的個(gè)性化學(xué)習(xí)如何有效實(shí)施的基礎(chǔ)上，以實(shí)證數(shù)據(jù)分析為支撐，重點(diǎn)對(duì)認(rèn)知診斷評(píng)價(jià)在個(gè)性化學(xué)習(xí)中的功能與價(jià)值展開(kāi)論述。

1 學(xué)習(xí)評(píng)價(jià)觀念的轉(zhuǎn)變

迄今，學(xué)習(xí)評(píng)價(jià)的觀念發(fā)生了2次重大變化：第一次是由“學(xué)習(xí)的評(píng)價(jià)”（assessment of learning）到“為了學(xué)習(xí)的評(píng)價(jià)”（assessment for learning）；第二次是從“為了學(xué)習(xí)的評(píng)價(jià)”到“評(píng)價(jià)是學(xué)習(xí)的一種方式”（assessment as learning）[3]。“學(xué)習(xí)的評(píng)價(jià)”主要是評(píng)價(jià)學(xué)生是否達(dá)到了學(xué)習(xí)目標(biāo)或標(biāo)準(zhǔn)，為學(xué)生提供排名或分?jǐn)?shù)?！盀榱藢W(xué)習(xí)的評(píng)價(jià)”主要是收集學(xué)生學(xué)習(xí)過(guò)程中某段時(shí)間內(nèi)的知識(shí)或技能信息，幫助教師判斷學(xué)生的學(xué)習(xí)需求，指導(dǎo)課堂教學(xué)活動(dòng)，或者向?qū)W生提供關(guān)于他們學(xué)習(xí)狀況的有價(jià)值的反饋?！霸u(píng)價(jià)是學(xué)習(xí)的一種方式”是指讓學(xué)生使用評(píng)價(jià)去促進(jìn)學(xué)習(xí)，鼓勵(lì)學(xué)生對(duì)自己的學(xué)習(xí)負(fù)責(zé)，鼓勵(lì)同伴評(píng)價(jià)、自我評(píng)價(jià)與反思，突出學(xué)生本身在學(xué)習(xí)中的地位與作用，學(xué)生可以根據(jù)評(píng)價(jià)設(shè)定個(gè)人目標(biāo)，促進(jìn)自身的學(xué)習(xí)與發(fā)展。

“為了學(xué)習(xí)的評(píng)價(jià)”以及“評(píng)價(jià)是學(xué)習(xí)的一種方式”都是以促進(jìn)學(xué)習(xí)為目的的評(píng)價(jià)，通過(guò)數(shù)字化工具、設(shè)施以及云計(jì)算、大數(shù)據(jù)等技術(shù)，將教育或心理測(cè)量模型無(wú)縫嵌入教師的教學(xué)及學(xué)生的學(xué)習(xí)過(guò)程中，在不中斷學(xué)習(xí)的前提下，對(duì)學(xué)習(xí)過(guò)程進(jìn)行動(dòng)態(tài)的隱形性評(píng)價(jià)[4]。2種評(píng)價(jià)方式都是基于認(rèn)知心理學(xué)專(zhuān)家、學(xué)科專(zhuān)家、教育測(cè)量學(xué)專(zhuān)家等對(duì)學(xué)習(xí)與發(fā)展的深入理解，教師與學(xué)生可以共同對(duì)學(xué)習(xí)過(guò)程進(jìn)行監(jiān)控與評(píng)價(jià)，獲得及時(shí)的反饋，據(jù)此調(diào)整教與學(xué)，提高教與學(xué)的效率。

2 認(rèn)知診斷評(píng)價(jià)

評(píng)價(jià)觀念的變化引發(fā)了評(píng)價(jià)范式的變革。人們希望通過(guò)新的評(píng)價(jià)范式——基于認(rèn)知診斷的學(xué)習(xí)評(píng)價(jià)，了解學(xué)生在多維、細(xì)粒度的潛在認(rèn)知屬性上的差異[5]。認(rèn)知診斷評(píng)價(jià)是一個(gè)復(fù)雜的、系統(tǒng)化的過(guò)程，需要認(rèn)知心理學(xué)專(zhuān)家、學(xué)科專(zhuān)家、心理與教育測(cè)量學(xué)專(zhuān)家通力協(xié)作。根據(jù)以往研究，在個(gè)性化學(xué)習(xí)中，認(rèn)知診斷評(píng)價(jià)有3個(gè)主要部分：1）認(rèn)知診斷評(píng)價(jià)設(shè)計(jì)與具體實(shí)施；2）模型選擇與模型—數(shù)據(jù)擬合評(píng)價(jià)；3）診斷性評(píng)價(jià)結(jié)果反饋[6]。

認(rèn)知診斷評(píng)價(jià)設(shè)計(jì)部分主要包括確定要診斷的學(xué)科及具體內(nèi)容、明確所要診斷的認(rèn)知屬性以及屬性與題目之間的對(duì)應(yīng)關(guān)系（Q矩陣）。認(rèn)知屬性是學(xué)習(xí)者在解決某一具體問(wèn)題時(shí)所需要的知識(shí)、技能及策略等，例如，本文第3部分所討論的數(shù)學(xué)分?jǐn)?shù)減法運(yùn)算的認(rèn)知診斷共包含了3個(gè)認(rèn)知屬性。在具體實(shí)施中，需要對(duì)測(cè)驗(yàn)進(jìn)行預(yù)測(cè)，以確保達(dá)到診斷目的。預(yù)測(cè)階段主要判斷屬性設(shè)置是否合理，是否有遺漏，測(cè)驗(yàn)題目是否有歧義或其他不合理之處，確認(rèn)無(wú)誤后，方可正式實(shí)施。

模型選擇與模型—數(shù)據(jù)擬合評(píng)價(jià)部分的主要任務(wù)包括選擇恰當(dāng)?shù)恼J(rèn)知診斷模型，以及對(duì)模型與數(shù)據(jù)的整體擬合進(jìn)行檢驗(yàn)。一般而言，認(rèn)知診斷模型分為一般化的認(rèn)知診斷模型和具體的認(rèn)知診斷模型2類(lèi)。例如，對(duì)數(shù)線性認(rèn)知診斷模型（log-linear cognitive diagnosis model，LCDM）是一般化的認(rèn)知診斷模型；決定性輸入、噪音與門(mén)（deterministic inputs，noisy“and”gate，DINA）模型、補(bǔ)償?shù)闹貐?shù)化統(tǒng)一模型（compensatory reparameterized unified model，C-RUM）等是具體的認(rèn)知診斷模型。盡管一般性的認(rèn)知診斷模型能更好地?cái)M合數(shù)據(jù)，但其不足之處在于，模型參數(shù)過(guò)多，在樣本量較少的情況下屬性分類(lèi)準(zhǔn)確性低。因此，需要在模型—數(shù)據(jù)整體擬合良好的前提下，選擇適合具體題目的認(rèn)知診斷模型[7]。需要指出的是，技術(shù)支持下的認(rèn)知診斷評(píng)價(jià)中，經(jīng)過(guò)驗(yàn)證的具體模型信息、模型參數(shù)以及Q矩陣信息均可存儲(chǔ)于個(gè)性化學(xué)習(xí)軟件系統(tǒng)中，以便隨時(shí)隨地進(jìn)行診斷評(píng)價(jià)。

診斷性評(píng)價(jià)結(jié)果反饋部分主要進(jìn)行認(rèn)知診斷結(jié)果報(bào)告，以及提出相應(yīng)的補(bǔ)救性措施。通過(guò)認(rèn)知診斷測(cè)驗(yàn)，可以獲得學(xué)生的認(rèn)知屬性掌握信息，形成個(gè)性化的認(rèn)知診斷結(jié)果報(bào)告。根據(jù)診斷結(jié)果報(bào)告，可以快速地識(shí)別出個(gè)體學(xué)習(xí)過(guò)程中存在的問(wèn)題，方便學(xué)生、教師、政策制定者或其他利益相關(guān)者采取針對(duì)性措施。診斷性結(jié)果反饋是連接測(cè)驗(yàn)開(kāi)發(fā)者與應(yīng)用者之間的橋梁，是個(gè)性化學(xué)習(xí)評(píng)價(jià)中最值得關(guān)注的部分。

盡管有的研究已初步嘗試將認(rèn)知診斷模型應(yīng)用于個(gè)性化學(xué)習(xí)實(shí)踐，但在模型選擇、模型—數(shù)據(jù)擬合評(píng)價(jià)、診斷性評(píng)價(jià)結(jié)果反饋3方面仍有待進(jìn)一步提高。首先是模型選擇問(wèn)題。在認(rèn)知診斷測(cè)驗(yàn)中，沒(méi)有任何一個(gè)模型適用于所用題目。本文在參考以往研究的基礎(chǔ)上，使用觀察信息矩陣計(jì)算用于模型選擇的Wald統(tǒng)計(jì)量[8]。其次是認(rèn)知診斷模型與數(shù)據(jù)擬合問(wèn)題。在使用認(rèn)知診斷模型解釋學(xué)習(xí)者數(shù)據(jù)并獲取診斷性信息前，需要對(duì)模型—數(shù)據(jù)擬合優(yōu)度進(jìn)行檢驗(yàn)。在診斷性結(jié)果報(bào)告前，需要使用有限信息擬合統(tǒng)計(jì)量進(jìn)行整體擬合檢驗(yàn)。再次是診斷性評(píng)價(jià)結(jié)果反饋方式。以往研究對(duì)屬性掌握狀況的報(bào)告只是簡(jiǎn)單地采用“掌握”與“非掌握”2種方式。本文在參考Huebner和Wang相關(guān)研究[9]的基礎(chǔ)上，認(rèn)為報(bào)告學(xué)生每個(gè)屬性的后驗(yàn)掌握概率的方式更為可取，更有助于促進(jìn)個(gè)性化學(xué)習(xí)。

3 實(shí)證數(shù)據(jù)分析

3.1 數(shù)據(jù)來(lái)源

有研究者曾使用分?jǐn)?shù)減法數(shù)據(jù)（或子集）作為實(shí)踐案例進(jìn)行研究，并不斷對(duì)模型及Q矩陣進(jìn)行修正[10]。Liu等發(fā)現(xiàn)飽和的LCDM以及其研究中所應(yīng)用的Q矩陣能很好地?cái)M合反應(yīng)數(shù)據(jù)[7]。因此，本文亦使用分?jǐn)?shù)減法數(shù)據(jù)子集為例，探討認(rèn)知診斷評(píng)價(jià)在個(gè)性化學(xué)習(xí)中的作用與價(jià)值。

本文所用分?jǐn)?shù)減法數(shù)據(jù)子集包含536名學(xué)生在10個(gè)測(cè)驗(yàn)題目上的作答反應(yīng)。表1第2列呈現(xiàn)的是具體的測(cè)驗(yàn)題目，第3～5列呈現(xiàn)的是每個(gè)測(cè)驗(yàn)題目與所測(cè)屬性之間的對(duì)應(yīng)關(guān)系，其中：“1”表示正確作答測(cè)驗(yàn)題目需要對(duì)應(yīng)的屬性，“0”則表示不需要。這份測(cè)驗(yàn)測(cè)查了3個(gè)屬性：從整數(shù)部分借1（屬性a）、分離整數(shù)（屬性b）和確定共同因子（屬性c）。舉例而言，題目1測(cè)查了屬性a與屬性b，題目2測(cè)查了屬性a與屬性c，題目4只測(cè)查了屬性a。

3.2 研究工具

首先，使用flexMIRT軟件進(jìn)行模型參數(shù)估計(jì)，以保證模型參數(shù)具有意義，并解決題目參數(shù)的可識(shí)別性問(wèn)題。其次，自編R語(yǔ)言程序，使用Wald統(tǒng)計(jì)量進(jìn)行題目水平上的模型選擇；使用有限信息擬合統(tǒng)計(jì)量評(píng)價(jià)模型與數(shù)據(jù)的絕對(duì)及近似擬合；使用期望后驗(yàn)法估計(jì)學(xué)生的屬性掌握模式；估計(jì)整體屬性掌握狀況。

3.3 分析結(jié)果

選擇恰當(dāng)?shù)木唧w模型以及模型—數(shù)據(jù)整體擬合良好，是使用認(rèn)知診斷模型解釋作答數(shù)據(jù)的前提，也是認(rèn)知診斷評(píng)價(jià)在個(gè)性化學(xué)習(xí)中功能與價(jià)值實(shí)現(xiàn)的基礎(chǔ)。因此，首先要進(jìn)行模型選擇與整體擬合檢驗(yàn)。表1第6列呈現(xiàn)了題目的模型選擇結(jié)果。除題目1適用飽和的LCDM外，其余題目適用CRUM或DINA模型。這說(shuō)明，在分?jǐn)?shù)減法測(cè)驗(yàn)中，沒(méi)有任何單一的具體模型可以有效擬合數(shù)據(jù)。其次要進(jìn)行模型—數(shù)據(jù)擬合優(yōu)度檢驗(yàn)。結(jié)果顯示：M2=39.47，df=21，p=0.009；RMSEA2=0.041。也就是說(shuō)，盡管模型選擇后的模型—數(shù)據(jù)絕對(duì)擬合優(yōu)度統(tǒng)計(jì)量M2的p值小于0.01，但近似擬合優(yōu)度統(tǒng)計(jì)量RMSEA2小于0.045，說(shuō)明新選擇的具體模型有較好的近似擬合[7]。綜合而言，不同的測(cè)驗(yàn)題目需要不同的認(rèn)知診斷模型。

表1 分?jǐn)?shù)減法數(shù)據(jù)的Q矩陣與模型選擇結(jié)果

以多維、細(xì)粒度的屬性掌握模式提供結(jié)果反饋是認(rèn)知診斷評(píng)價(jià)功能的主要體現(xiàn)。圖1呈現(xiàn)的是分?jǐn)?shù)減法個(gè)性化學(xué)習(xí)診斷報(bào)告單，可以發(fā)現(xiàn)，如果以0.5的掌握概率為切分點(diǎn)將每個(gè)屬性簡(jiǎn)單地分為“掌握”與“非掌握”，這個(gè)學(xué)生在分?jǐn)?shù)減法測(cè)驗(yàn)測(cè)量的a（0.572）、b（0.878）、c（0.022）3個(gè)屬性上的掌握情況分別是“掌握”“掌握”與“非掌握”；同時(shí)，具體掌握概率表明，屬性b掌握得最好，屬性a次之，屬性c則根本沒(méi)掌握。對(duì)比這2種報(bào)告方式，不難發(fā)現(xiàn)，報(bào)告掌握概率更能體現(xiàn)出認(rèn)知診斷評(píng)價(jià)的價(jià)值。圖1還呈現(xiàn)了學(xué)生整體的屬性掌握情況，可以發(fā)現(xiàn)，屬性b（0.643）的掌握概率最高，屬性a（0.468）與屬性c（0.448）的總體掌握概率均未超過(guò)0.5。根據(jù)這一情況，教師能夠更有針對(duì)性地開(kāi)展教學(xué)。

綜合而言，過(guò)程性診斷信息勾勒出學(xué)生在某一知識(shí)領(lǐng)域的優(yōu)勢(shì)與不足，便于學(xué)生進(jìn)行個(gè)性化學(xué)習(xí)，也有助于教師提供針對(duì)性指導(dǎo)。也就是說(shuō)，當(dāng)基本的應(yīng)用條件滿(mǎn)足后，認(rèn)知診斷評(píng)價(jià)不僅能提高授課效率，而且能充分兼顧學(xué)生的個(gè)性化差異，這是認(rèn)知診斷評(píng)價(jià)在個(gè)性化學(xué)習(xí)中的價(jià)值體現(xiàn)。

4 討論與建議

基于現(xiàn)代教育理念的認(rèn)知診斷評(píng)價(jià)能為學(xué)生、教師及其他利益相關(guān)者提供關(guān)于學(xué)習(xí)優(yōu)勢(shì)與不足的多維、細(xì)粒度診斷性信息，從而指導(dǎo)個(gè)性化學(xué)習(xí)決策，促進(jìn)個(gè)性化學(xué)習(xí)。認(rèn)知診斷測(cè)驗(yàn)題目的編制是否恰當(dāng)以及Q矩陣是否合理等都會(huì)影響評(píng)價(jià)效果。當(dāng)前，盡管數(shù)字化學(xué)習(xí)設(shè)備與內(nèi)容已經(jīng)廣泛應(yīng)用于日常教學(xué)實(shí)踐，但這些數(shù)據(jù)能否有效支持認(rèn)知診斷評(píng)價(jià)，有待進(jìn)一步檢驗(yàn)。本研究采用分?jǐn)?shù)減法數(shù)據(jù)作為實(shí)證數(shù)據(jù)分析案例的一個(gè)重要原因是，這個(gè)經(jīng)典數(shù)據(jù)的子集在使用飽和LCDM以及相應(yīng)Q矩陣時(shí)有很好的模型—數(shù)據(jù)整體絕對(duì)擬合。在數(shù)據(jù)爆炸式增長(zhǎng)的時(shí)代，精心設(shè)計(jì)與實(shí)施認(rèn)知診斷評(píng)價(jià)的重要性在于，可以有效避免出現(xiàn)“垃圾數(shù)據(jù)進(jìn)，垃圾信息出”的狀況。后續(xù)研究應(yīng)注意以下2點(diǎn)：

首先，在報(bào)告屬性掌握信息前，選擇適合于每個(gè)題目的認(rèn)知診斷模型并且對(duì)模型與數(shù)據(jù)間的整體擬合進(jìn)行檢驗(yàn)。本研究證實(shí)，即使在同一份認(rèn)知診斷測(cè)驗(yàn)中，使用單一模型的方式也是不恰當(dāng)?shù)?，不同的題目適用于不同的模型。模型—數(shù)據(jù)擬合檢驗(yàn)的重要性在于，它為研究者提供了一個(gè)指標(biāo)，用以評(píng)價(jià)模型在多大程度上真實(shí)地反映了數(shù)據(jù)中隱含的信息。后續(xù)研究應(yīng)在模型—數(shù)據(jù)整體擬合優(yōu)度良好的情況下進(jìn)行題目水平上的模型選擇；使用模型解釋數(shù)據(jù)前，應(yīng)重新進(jìn)行整體擬合檢驗(yàn)，以保證新模型的可靠性。

圖1 分?jǐn)?shù)減法個(gè)性化學(xué)習(xí)診斷報(bào)告單（樣例）

其次，改進(jìn)診斷性評(píng)價(jià)結(jié)果的反饋方式。提供多維、細(xì)粒度的屬性掌握情況報(bào)告是認(rèn)知診斷評(píng)價(jià)的優(yōu)勢(shì)功能之一，也是認(rèn)知診斷評(píng)價(jià)能夠有效促進(jìn)個(gè)性化學(xué)習(xí)的原因所在。以往研究在診斷性結(jié)果反饋方面的不足之處在于，只將屬性掌握狀況粗略地分為“掌握”與“非掌握”；改進(jìn)后的診斷評(píng)價(jià)反饋應(yīng)使用實(shí)證數(shù)據(jù)進(jìn)行具體展示，同時(shí)不僅提供單個(gè)學(xué)生的屬性掌握情況，經(jīng)過(guò)恰當(dāng)?shù)慕y(tǒng)計(jì)轉(zhuǎn)換，還要提供整體的屬性掌握狀況。也就是說(shuō)，認(rèn)知診斷評(píng)價(jià)不僅能為學(xué)生提供有效的個(gè)性化學(xué)習(xí)信息，還能從總體上為教師或其他教育工作者提供用于促進(jìn)學(xué)生個(gè)性化學(xué)習(xí)的整體性信息。