智慧教育視野下基于Rasch模型的知識掌握與認(rèn)知能力分析研究 *

武法提 田 浩 王 瑜 樊敏生

（1. 數(shù)字學(xué)習(xí)與教育公共服務(wù)教育部工程研究中心，北京 100875；2. 北京師范大學(xué)教育技術(shù)學(xué)院，北京 100875；3. 寶安中學(xué)（集團(tuán)）實(shí)驗(yàn)學(xué)校，深圳 518101；4. 西北師范大學(xué)教育技術(shù)學(xué)院，蘭州 730070）

一、引言

基于學(xué)生的表現(xiàn)數(shù)據(jù)進(jìn)行精準(zhǔn)診斷，是進(jìn)行智能推薦和干預(yù)的前提，也是實(shí)現(xiàn)智慧教育的技術(shù)基礎(chǔ)（彭紅超，祝智庭，2017）。在傳統(tǒng)教學(xué)環(huán)境中，學(xué)習(xí)診斷主要通過標(biāo)準(zhǔn)化測驗(yàn)方式，設(shè)計(jì)標(biāo)準(zhǔn)答案和采分點(diǎn)（王志軍，陳麗，2017），考查學(xué)生對知識的掌握程度。在信息技術(shù)環(huán)境中，利用智慧教育云平臺可以采集學(xué)生的過程行為數(shù)據(jù)，在關(guān)注總結(jié)性評價(jià)的同時(shí)也注重過程性評價(jià)（牟智佳，2014）。然而目前的在線學(xué)習(xí)評價(jià)指標(biāo)體系尚未被大家一致認(rèn)可，依然處于“眾說紛紜”的狀態(tài)（李玉斌等，2013），因此即使在信息化環(huán)境中，標(biāo)準(zhǔn)化測驗(yàn)依然是學(xué)習(xí)過程的主要診斷方式。

智慧教育不僅注重知識技能的傳授，更看重學(xué)生認(rèn)知能力的培養(yǎng)。但這種基于分?jǐn)?shù)的診斷形式，其主要問題是無法挖掘考試背后的意義和本質(zhì)（周群，雷新勇，2008），無法透過分?jǐn)?shù)了解學(xué)生真實(shí)的認(rèn)知能力。比如：同一分?jǐn)?shù)的兩位學(xué)生，其認(rèn)知能力不一定完全相同；不同分?jǐn)?shù)段的學(xué)生，其認(rèn)知能力相差程度也無法判斷；對于不同的考試，由于試卷難度不同，考試成績的提高或降低無法表示學(xué)生認(rèn)知能力的變化?？梢?，如何通過考試成績分析學(xué)生真實(shí)的認(rèn)知能力是智慧教育時(shí)代至關(guān)重要的命題。

本研究基于潛在特質(zhì)模型—Rasch模型，設(shè)計(jì)學(xué)生認(rèn)知能力的分析流程，使用學(xué)生的實(shí)際考試結(jié)果數(shù)據(jù)，分析其知識點(diǎn)掌握情況，并挖掘?qū)W生真實(shí)的認(rèn)知能力，助力智慧教育視野下的學(xué)習(xí)診斷更加科學(xué)、精準(zhǔn)。

二、Rasch模型在教育中的應(yīng)用

（一）Rasch模型原理闡述

圖1 Rasch模型數(shù)學(xué)關(guān)系函數(shù)圖像

Rasch模型具有三個(gè)特征。第一，個(gè)體和題目共用同一標(biāo)尺。通過Rasch模型的計(jì)算，個(gè)體能力與題目難度將轉(zhuǎn)換為同一測量單位，從而能夠直接比較題目難度與個(gè)體能力之間的關(guān)系。例如，即使學(xué)生未作答A試題，但根據(jù)學(xué)生在與A類似的B試題上的作答表現(xiàn)，便可對學(xué)生在A試題上的表現(xiàn)進(jìn)行預(yù)測。第二，Rasch模型的分析結(jié)果具有線性特質(zhì)?？荚嚨脑挤?jǐn)?shù)是非線性的，相同的分?jǐn)?shù)差距并不代表對知識掌握程度的相差程度相同，Rasch模型對成績進(jìn)行轉(zhuǎn)化，使新的數(shù)據(jù)具有線性特征。例如，通過分析不同學(xué)生之間的分?jǐn)?shù)差距，便可對其知識掌握水平差異進(jìn)行預(yù)測。第三，參數(shù)分離。通過Rasch模型計(jì)算出的題目難度分布和學(xué)生能力分布之間相互獨(dú)立，互不影響。例如，分析兩位學(xué)生各自在兩個(gè)不同考試中的表現(xiàn)，也可對其能力進(jìn)行比較。

Rasch模型是一個(gè)理想狀態(tài)下的模型。Rasch模型一般假設(shè)學(xué)生完成題目的情況只受知識影響，但這樣的條件在現(xiàn)實(shí)教學(xué)中很難達(dá)到。學(xué)生作答情況受多方面因素的影響，個(gè)人能力是主要因素，但是周圍的環(huán)境、學(xué)生當(dāng)時(shí)的狀態(tài)、閱讀理解問題的能力等都會對作答情況產(chǎn)生影響。比如，在現(xiàn)實(shí)教學(xué)中，一些學(xué)生在掌握了某一知識點(diǎn)的情況下依然會出現(xiàn)相應(yīng)問題回答錯(cuò)誤的情況，這可能是學(xué)生答題時(shí)不專心不認(rèn)真導(dǎo)致的，但也不排除題目本身的表述存在問題。由于Rasch模型是理想化的，所以在使用Rasch模型時(shí)，首先需要對其進(jìn)行擬合分析。Rasch模型進(jìn)行數(shù)據(jù)分析時(shí)的擬合指標(biāo)為殘差的均方（Outfit MNSQ）和加權(quán)（以方差為加權(quán)系數(shù)）后殘差的均方（Infit MNSQ）。兩個(gè)指標(biāo)的值在介于0.7到1.3之間時(shí)（Bowles & Ram，2006），說明數(shù)據(jù)與模型的擬合度良好，可以進(jìn)行后續(xù)分析；當(dāng)指標(biāo)值小于0.7時(shí)稱之為不飽和擬合，而大于1.3時(shí)稱之為過度擬合。只有數(shù)據(jù)和模型間的擬合指數(shù)符合要求時(shí)，才可以繼續(xù)進(jìn)行接下來的分析，否則需要另外尋找解決的途徑。

（二）Rasch模型在教育領(lǐng)域的典型案例

教學(xué)評價(jià)就是使用具有良好信效度的評價(jià)工具對學(xué)習(xí)者進(jìn)行精準(zhǔn)診斷，并根據(jù)診斷結(jié)果施加教學(xué)改進(jìn)和干預(yù)的過程（馬世曄，章建石，2012）。本文選取教育領(lǐng)域中Rasch模型的三個(gè)應(yīng)用案例，其研究目標(biāo)分別側(cè)重于檢驗(yàn)工具信效度、診斷學(xué)習(xí)者真實(shí)能力、檢驗(yàn)教學(xué)干預(yù)有效性，以此來說明Rasch模型助力學(xué)習(xí)診斷與評價(jià)的機(jī)制。

1. Rasch模型檢驗(yàn)測驗(yàn)工具的信效度

考試是對學(xué)習(xí)者進(jìn)行評價(jià)的一種重要手段。通過對一系列試題進(jìn)行作答，可以檢驗(yàn)學(xué)生的學(xué)業(yè)成就以及學(xué)習(xí)行為的變化情況，但是目前缺乏一種系統(tǒng)性的方法，能夠有效分析測驗(yàn)工具的信效度。

塔里布等人（Talib et al.，2018）以某大學(xué)150位大二學(xué)生為研究對象，通過Rasch模型對某門課程中學(xué)習(xí)者的期末考試作答數(shù)據(jù)進(jìn)行分析，提出了一種能夠有效測量測驗(yàn)工具信效度的程序化方法。

該研究使用Rasch模型將學(xué)生表現(xiàn)與試題難度轉(zhuǎn)化為logit單位，并置于同一標(biāo)尺下進(jìn)行比較。若試題平均難度低于學(xué)生平均表現(xiàn)，則表明試題較為簡單；通過Rasch模型擬合，被試信度與試題信度較高，體現(xiàn)了該試題的可靠性較好；同時(shí)，該套試題的被試分離度較高，反映出試題具有較好的區(qū)分度。

2. Rasch模型測量學(xué)習(xí)者的真實(shí)能力

基于產(chǎn)出的教育（outcome-based education，簡稱OBE）是一種以能力作為產(chǎn)出導(dǎo)向，關(guān)注學(xué)生能力的提升，更加以學(xué)生為中心的教育形式（蘇芃，李曼麗，2018）。在OBE理念下，學(xué)生的表現(xiàn)可以通過考試、小組項(xiàng)目、匯報(bào)展示等多種方法進(jìn)行評估。然而，僅憑借學(xué)生在考試、項(xiàng)目中的得分來精準(zhǔn)測量學(xué)生真實(shí)的能力仍是相當(dāng)困難的。

奧斯曼等人（Osman et al.，2012）以某大學(xué)的64位本科生作為研究對象，以其在《工程設(shè)計(jì)II》課程中的表現(xiàn)作為研究數(shù)據(jù)來源。課程最終使用四種方式進(jìn)行綜合考核，分別是設(shè)計(jì)項(xiàng)目、BQ報(bào)告、匯報(bào)展示、同伴互評。

借助Winsteps工具，我們使用單維Rasch模型對學(xué)生表現(xiàn)數(shù)據(jù)進(jìn)行分析，得到個(gè)體?題項(xiàng)分布圖。通過比較學(xué)生與題項(xiàng)在圖中的間距，我們可以得到學(xué)生的能力水平。間距越大，表明學(xué)生順利完成該項(xiàng)目的可能性越大。位于題項(xiàng)平均難度以上的學(xué)習(xí)者，反映出其表現(xiàn)要高于預(yù)期；而針對完成項(xiàng)目時(shí)存在困難的學(xué)習(xí)者，則需要在對應(yīng)項(xiàng)目中施加干預(yù)來提升他們的學(xué)業(yè)表現(xiàn)。

3. Rasch模型判斷教學(xué)模式的有效性

目前對于教學(xué)模式的有效性大多通過準(zhǔn)實(shí)驗(yàn)的方式進(jìn)行驗(yàn)證，通過分組實(shí)施教育干預(yù)，進(jìn)而對實(shí)驗(yàn)組和對照組進(jìn)行差異性檢驗(yàn)。然而，傳統(tǒng)的差異檢驗(yàn)方法（如t檢驗(yàn)和ANOVA）僅能分析整體組別間的差異，而無法說明個(gè)體層面上的教學(xué)有效性。

Vogel & Engelhard（2011）使用多面Rasch模型（many-faceted Rasch，簡稱MFR），比較演繹式教學(xué)和歸納式教學(xué)成效的差異。該研究以44名大學(xué)生在法語課上對10個(gè)語法結(jié)構(gòu)的學(xué)習(xí)為例，將所有學(xué)生隨機(jī)分為兩組，分別實(shí)施兩類不同的教學(xué)方法，在學(xué)期始末分別對兩組學(xué)生的法語水平進(jìn)行前后測，并在前后測之間穿插進(jìn)行10次階段性測驗(yàn)。

MFR在Rasch模型中除了學(xué)生能力和題項(xiàng)難度之外，還包含了更多因素，在該研究中是指前后測之間的時(shí)間因素以及兩種教學(xué)方式的效果。借助FACETS工具，該案例分別對時(shí)間—題項(xiàng)，以及教學(xué)方法—題項(xiàng)進(jìn)行交互分析，結(jié)果顯示題目的難度在前后測之間以及不同組別之間均無顯著差異。在過程性測驗(yàn)中，通過計(jì)算分離信度，并比較不同組別學(xué)生表現(xiàn)的平均值，發(fā)現(xiàn)學(xué)生在接受歸納教學(xué)法之后表現(xiàn)出來的能力水平顯著高于演繹教學(xué)法。通過進(jìn)一步進(jìn)行殘差分析，可以得到每位學(xué)生在每道題目上的實(shí)際表現(xiàn)，進(jìn)而了解不同教學(xué)方法對不同個(gè)體的教學(xué)有效性。

通過以上對典型案例的分析可以看出，Rasch模型在教育領(lǐng)域中的應(yīng)用近年來取得了明顯進(jìn)展。使用Rasch模型，可以從試卷得分映射出背后學(xué)生真實(shí)的作答能力。學(xué)校教育備受詬病的弊患之一是“高分低能”，也即學(xué)生可以在測驗(yàn)中獲得高分?jǐn)?shù)，但不一定能夠掌握足夠的領(lǐng)域問題解決能力。因?yàn)橹R與能力雖同屬教育的重要目標(biāo)，但二者的獲得機(jī)制卻完全不同（王映學(xué)，2016）。然而，已有的Rasch模型所探討的“能力”是學(xué)習(xí)者作答試題的真實(shí)能力，并非學(xué)習(xí)者對領(lǐng)域知識的認(rèn)知能力，因此已有研究對知識掌握與認(rèn)知能力的關(guān)系挖掘尚有不足?；诖耍狙芯恳圆剪斈氛J(rèn)知領(lǐng)域?qū)W習(xí)分類為切入點(diǎn)，依托數(shù)字學(xué)習(xí)與教育公共服務(wù)教育部工程研究中心自主研發(fā)的Cloudbag智慧教育云平臺中的組卷考試功能，通過Rasch模型分析學(xué)生的考試結(jié)果數(shù)據(jù)，從而判斷學(xué)生的知識掌握水平和認(rèn)知能力。

三、研究方法與過程

（一）研究對象

本研究選取貴陽市某中學(xué)高三年級4個(gè)文科班共195名學(xué)生作為研究對象，以其在2017年9月份政治月考試卷上的作答情況為例，探究Rasch模型在分析學(xué)生知識掌握水平和認(rèn)知能力上的操作程序和方法。

（二）研究流程

首先，教師使用Cloudbag智慧教育云平臺中的組卷功能，在平臺題庫中選取試題，組成月考試卷。其次，研究者和教師合作，針對月考試卷編制雙向細(xì)目表，為每道題目標(biāo)注知識點(diǎn)屬性和認(rèn)知能力屬性，并在多輪試用之后為每道題目生成Rasch難度，從而將題目轉(zhuǎn)換為可被Rasch模型分析的形式。然后，發(fā)放試卷給學(xué)生作答，并收集學(xué)生的作答數(shù)據(jù)，運(yùn)用Rasch模型分析學(xué)生的知識掌握水平和認(rèn)知能力。最后，將學(xué)生認(rèn)知能力分析結(jié)果通過教育云平臺中的學(xué)習(xí)分析儀表盤進(jìn)行可視化呈現(xiàn)，實(shí)現(xiàn)在常態(tài)化課堂中分析學(xué)生認(rèn)知能力的目標(biāo)。

（三）分析模型及工具

（四）研究結(jié)果

1. 試題的編制

初始題目在編制前，需要根據(jù)大綱的要求以及所要考查的內(nèi)容編制雙向細(xì)目表，雙向細(xì)目表是一個(gè)將知識細(xì)目維度和技能細(xì)目維度有機(jī)組合而成的列聯(lián)表（魏玉平，潘虹輝，2016）。研究團(tuán)隊(duì)和實(shí)驗(yàn)學(xué)校的政治學(xué)科教師合作編制了月考試卷的雙向細(xì)目表，根據(jù)雙向細(xì)目表給每道題目添加了知識點(diǎn)屬性，并依據(jù)布魯姆認(rèn)知領(lǐng)域?qū)W習(xí)分類為每道題關(guān)聯(lián)認(rèn)知能力要求，在進(jìn)行多輪試用之后為每道題目生成Rasch難度，由此，題目就成為Rasch題庫中的備用題目。最終編制的月考試卷共包括14道試題，其中單選題有12道，材料分析題有2道。題目與知識點(diǎn)和認(rèn)知能力要求的關(guān)聯(lián)情況見表1。需要說明的是，在材料分析題中，每個(gè)大題下設(shè)置有若干小題（第38題包括2個(gè)小題，第39題包括3個(gè)小題）?？紤]到本研究的主要目的是分析學(xué)生的知識掌握能力與認(rèn)知能力，且本研究使用的多維模型可以處理題目與知識點(diǎn)的非一對一的對應(yīng)關(guān)系，因此后續(xù)分析僅從大題層面進(jìn)行，無需細(xì)化到小題層次。

表1 政治月考試卷雙向細(xì)目表

2. 擬合度檢驗(yàn)

我們將月考試卷發(fā)放給高三年級的學(xué)生進(jìn)行作答，并收集學(xué)生的作答數(shù)據(jù)。將14道試題的作答數(shù)據(jù)導(dǎo)入Winsteps軟件，進(jìn)行擬合度檢驗(yàn)。題目的擬合分析包括加權(quán)擬合和未加權(quán)擬合兩種，當(dāng)兩者的均方誤差值均介于0.7到1.3之間時(shí)，說明數(shù)據(jù)結(jié)果符合Rasch模型的要求（Bowles & Ram，2006）。擬合度檢驗(yàn)結(jié)果見表2，其中第17題（未加權(quán)擬合均方誤差值為1.47>1.3）以及第19題（未加權(quán)擬合均方誤差值為1.92>1.3）不符合模型要求，將其進(jìn)行刪除。后續(xù)分析基于刪除之后的12道試題進(jìn)行。同時(shí)對擬合指標(biāo)不符合要求的學(xué)生進(jìn)行刪除，共刪除學(xué)生31名，刪除后剩余學(xué)生164名。

3. 學(xué)生能力與題目難度分布

通過Winsteps進(jìn)行分析，可以得到懷特圖，見圖2。左側(cè)的懷特圖表示客觀題的學(xué)生能力與題目難度分布情況，右側(cè)懷特圖表示材料分析題的學(xué)生能力與題目難度分布情況。每個(gè)懷特圖的左列表示學(xué)生能力的分布，學(xué)生的位置越高表示學(xué)生能力越強(qiáng)；右列表示題目難度的分布，題目的位置越高表明題目難度越大。學(xué)生能力和題目難度均被轉(zhuǎn)化為logit標(biāo)尺，因此可以直接進(jìn)行比較。在logit標(biāo)尺下，題目的平均難度被設(shè)置為0。

圖2 學(xué)生能力與題目難度分布圖

在客觀題的懷特圖中，每個(gè)“#”代表3個(gè)學(xué)生，每個(gè)“·”代表1到2個(gè)學(xué)生?？梢钥闯?，大部分學(xué)生分布在?1 logit到1 logit之間，表明題目的難度適中且具有較好的區(qū)分度。其中，第13和第18題位于懷特圖的頂部，表明這兩道題難度最大，超過了所有學(xué)生的真實(shí)能力；而第15題位于懷特圖的底部，表明這道題難度最小，小于所有學(xué)生的真實(shí)能力。第13題的難度值為1.64 logit，第15題的難度值為?2.68 logit，表明客觀題之間的難度差異較大。并且第14題與第15題之間存在較大的空白區(qū)域，表明題目難度可以進(jìn)一步調(diào)整以更加精細(xì)地測量學(xué)生能力。學(xué)生能力的平均值大于題目難度的平均值（0.23 logit>0 logit），說明從整體來看，學(xué)生的實(shí)際表現(xiàn)要高于預(yù)期。在材料分析題的懷特圖中，每個(gè)“#”代表2個(gè)學(xué)生，每個(gè)“·”代表1個(gè)學(xué)生。大部分學(xué)生分布在0 logit到0.5 logit之間，并且學(xué)生能力的平均值大于題目難度的平均值（0.15 logit>0 logit），表明學(xué)生在材料分析題上表現(xiàn)出的能力高于預(yù)期。材料分析題共包括兩個(gè)題目，其中第39題的難度較大，有42.7%（N=70）的學(xué)生能夠順利作答；而第38題的難度較小，有87.2%（N=141）的學(xué)生能夠順利作答。

表2 擬合度檢驗(yàn)結(jié)果

4. 知識點(diǎn)掌握水平分布

單選題屬于客觀題，我們在分析時(shí)采用0?1的計(jì)分方式；材料分析題屬于主觀題，我們在分析時(shí)采用分步計(jì)分方式。由于計(jì)分方式的不同，后續(xù)知識點(diǎn)掌握水平分析與認(rèn)知能力分析將分別針對客觀題和主觀題進(jìn)行。

我們使用Conquest軟件對各知識點(diǎn)的作答情況進(jìn)行分析。月考卷中的客觀題主要考察了12個(gè)知識點(diǎn)，在用軟件分析的過程中，每個(gè)知識點(diǎn)相當(dāng)于一個(gè)維度，通過對數(shù)據(jù)分析可以得出在每一個(gè)知識點(diǎn)上學(xué)生的分布?？陀^題知識點(diǎn)掌握水平分布見圖3。圖中最左側(cè)為Rasch標(biāo)尺，從下到上測量值逐漸升高，對于每個(gè)知識點(diǎn)中的學(xué)生而言，所處位置越靠近頂端，說明對于知識點(diǎn)的掌握越好。圖中每個(gè)“X”代表1.3個(gè)學(xué)生，學(xué)生分布越集中說明知識點(diǎn)的區(qū)分度越小，分布越分散說明知識點(diǎn)的區(qū)分度越大。在圖中我們可以看出在12個(gè)知識點(diǎn)上，學(xué)生的掌握水平基本上都呈正態(tài)分布，并集中分布在?1 logit到1 logit之間。說明在10道客觀題中，雖然難易程度不一，但是均具有較好的區(qū)分度。

圖3 客觀題知識點(diǎn)掌握水平分布

在兩道主觀題中，共包含5個(gè)小題，考查了5個(gè)知識點(diǎn)。在主觀題的知識點(diǎn)掌握水平分布圖中，每個(gè)“X”代表1.1個(gè)學(xué)生?？梢钥闯鲈?個(gè)知識點(diǎn)上，學(xué)生的掌握水平基本上都呈正態(tài)分布，并集中分布在?0.5 logit到0.5 logit之間（見圖4），表明題目均具有良好的區(qū)分度。

圖4 主觀題知識點(diǎn)掌握水平分布

5. 學(xué)生知識掌握水平與認(rèn)知能力分析

在對全體學(xué)生的知識點(diǎn)掌握水平分布情況進(jìn)行分析之后，我們接下來使用Conquest工具對每個(gè)學(xué)生的知識掌握水平和認(rèn)知能力進(jìn)行分析。依據(jù)試卷的雙向細(xì)目表，Conquest工具可以根據(jù)作答結(jié)果分析得出學(xué)生在每個(gè)知識點(diǎn)上的測量值，測量值越高，說明學(xué)生對此知識點(diǎn)的掌握水平越好；也可以得出學(xué)生在各認(rèn)知能力層次的測量值，測量值越高，表明學(xué)生在該認(rèn)知能力層次上的表現(xiàn)越好，達(dá)成該層次認(rèn)知能力的可能性越大。

以學(xué)號為181104的學(xué)生為例。為了更加直觀地將該生與班級平均水平進(jìn)行對比，我們以雷達(dá)圖的形式對知識點(diǎn)掌握水平進(jìn)行可視化呈現(xiàn)。雷達(dá)圖中的紅色圓點(diǎn)線代表該生在各個(gè)知識點(diǎn)的掌握水平，藍(lán)色實(shí)線代表該生所在班級整體的知識掌握水平，綠色短劃線則代表整個(gè)年級的知識掌握水平。在客觀題中，該生在“消費(fèi)”“中國共產(chǎn)黨”“群眾觀”“矛盾的特點(diǎn)”和“人生價(jià)值的創(chuàng)造與實(shí)現(xiàn)”等知識點(diǎn)上的掌握程度要遠(yuǎn)遠(yuǎn)高于班級平均水平；而在“公民權(quán)利與義務(wù)”“唯物辯證法”和“聯(lián)系的特點(diǎn)”等知識點(diǎn)上的掌握程度遠(yuǎn)遠(yuǎn)低于班級平均水平（見圖5a）。在主觀題中，該生在“經(jīng)濟(jì)生活”與“政治生活”兩個(gè)知識點(diǎn)上的掌握程度高于班級平均水平；而在“文化多樣性”和“傳統(tǒng)文化”兩個(gè)知識點(diǎn)上的掌握程度則低于班級平均水平（見圖5b）。

圖5 (a)客觀題知識點(diǎn)掌握水平雷達(dá)圖；(b)主觀題知識點(diǎn)掌握水平雷達(dá)圖

進(jìn)一步地，我們根據(jù)答題情況對學(xué)生的認(rèn)知能力進(jìn)行分析，仍然以學(xué)號為181104的學(xué)生為例。在使用Rasch模型完成認(rèn)知能力的量化之后，通過單樣本t檢驗(yàn)判斷該生認(rèn)知能力層次與班級平均水平的差異，結(jié)果見表3。

表3 認(rèn)知能力測量值t檢驗(yàn)結(jié)果

在客觀題中，主要考察了“理解”“應(yīng)用”和“分析”三個(gè)認(rèn)知層次。其中，“理解”的認(rèn)知層次較低，客觀題的12道試題中有8道試題關(guān)注該層次，這8道試題的難度分布較為均勻，對于學(xué)生的區(qū)分度較好，該同學(xué)在“理解”層次上表現(xiàn)出的認(rèn)知能力顯著高于班級平均水平（t=?4.290，p=0.000<0.001）；在“應(yīng)用”層次，相關(guān)的2道試題難度均較低（第15題難度為?2.68 logit、第21題難度為?0.84 logit），班級整體能力均高于試題難度，因此這2道試題對于整體學(xué)生的區(qū)分度不高，該生與班級平均水平也未呈現(xiàn)顯著差異（t=1.147，p=0.259>0.05）；“分析”屬于高階認(rèn)知層次，涉及的3道試題難度也較大，第13題與第18題是難度最高的兩道題目（第13題難度為1.64 logit、第18題難度為1.36 logit），該同學(xué)在這一層次上表現(xiàn)優(yōu)異，顯著高于班級平均水平（t=?4.398，p=0.000<0.001）。

在主觀題中，主要考察了“記憶”“分析”和“評價(jià)”三個(gè)認(rèn)知層次。其中，“記憶”屬于最基礎(chǔ)的認(rèn)知層次，只有第39（3）題關(guān)注這一層級，題目難度較小，該學(xué)生在這一層次上的表現(xiàn)顯著低于班級平均水平（t=4.587，p=0.000<0.001），在第39（3）題所涉及的知識點(diǎn)“傳統(tǒng)文化”上也顯著低于班級平均水平；在“分析”層次，第38（2）和第39（1）題均關(guān)注該層次，這2道試題的區(qū)分度不高，所以該生與班級平均水平之間未呈現(xiàn)顯著差異（t=?0.594，p=0.556>0.05）；“評價(jià)”屬于高階認(rèn)知層次，第38（1）和第39（2）題關(guān)注該層次，該同學(xué)在這一層次上表現(xiàn)優(yōu)異，尤其是第38（1）涉及的“經(jīng)濟(jì)生活”知識點(diǎn)，該同學(xué)的掌握程度顯著高于班級平均水平（t=?2.949，p=0.005<0.01）。

總體來看，該生在“理解”“評價(jià)”層次高于班級平均水平，在“記憶”層次低于班級平均水平，在“應(yīng)用”層次與班級平均水平無差別，表明該學(xué)生在中高階認(rèn)知表現(xiàn)較好，而在低階認(rèn)知仍存在欠缺。值得一提的是“分析”層次。該生在客觀題的“分析”層次上顯著高于整體，在主觀題的“分析”層次上則無顯著差異，這是由于認(rèn)知能力的分析是借助雙向細(xì)目表中“試題?知識點(diǎn)?認(rèn)知能力要求”的關(guān)聯(lián)關(guān)系，由試題作答情況進(jìn)行推斷的。主觀題中涉及“分析”層次的試題區(qū)分度不高，該生與班級整體的作答情況無明顯區(qū)分，因此該生與班級整體在主觀題的“分析”層次上也未體現(xiàn)出顯著差異。

另外，使用winsteps工具，可以生成每位學(xué)生在該次考試中總的知識掌握水平和認(rèn)知能力。以知識掌握水平作為橫坐標(biāo)，以認(rèn)知能力作為縱坐標(biāo)，我們可以繪制學(xué)生“知識掌握—認(rèn)知能力”散點(diǎn)圖，見圖6。在坐標(biāo)系中，從左往右表示知識掌握水平越來越高，從下到上表示認(rèn)知能力逐漸增強(qiáng)，原點(diǎn)表示班級的平均水平，圖中每個(gè)點(diǎn)代表一位學(xué)生。從圖6所示的班級整體情況來看，坐標(biāo)軸原點(diǎn)的橫縱坐標(biāo)值均小于0，表明班級的平均知識掌握水平和平均認(rèn)知能力都要低于試題的平均難度；散點(diǎn)成正向分布，表明當(dāng)學(xué)生具備較高的知識掌握水平時(shí)，通常也會呈現(xiàn)出較高的認(rèn)知能力。具體到班級內(nèi)部學(xué)生的分布來看，大部分學(xué)生比較集中，多分布于第一、二象限，表明班級內(nèi)學(xué)生知識掌握水平比較分散，但普遍具備較高的認(rèn)知能力；第三象限中也分布有一些學(xué)生，并存在兩個(gè)離群點(diǎn)，表明兩位學(xué)生在知識掌握和認(rèn)知能力方面均遠(yuǎn)遠(yuǎn)低于其他同學(xué)，影響了班級的平均水平。

圖6 學(xué)生“知識掌握—認(rèn)知能力”分布散點(diǎn)圖

分布于不同象限的學(xué)生具有不同的學(xué)習(xí)特征，教師也應(yīng)分別設(shè)計(jì)差異化的教學(xué)策略和指導(dǎo)方法：分布在第一象限的學(xué)生，其知識掌握水平和認(rèn)知能力都較好，教師需要給予充分的鼓勵(lì)，幫助學(xué)生保持學(xué)習(xí)的習(xí)慣和節(jié)奏；分布在第二象限的學(xué)生，具有較強(qiáng)的認(rèn)知能力，但是知識掌握水平有待提升，教師可以為其提供基礎(chǔ)性的習(xí)題資源，幫助這部分學(xué)生夯實(shí)基礎(chǔ)；分布在第三象限的學(xué)生，知識掌握水平和認(rèn)知能力都較差，教師可以嘗試改正這部分學(xué)生不良的學(xué)習(xí)習(xí)慣，幫助學(xué)生穩(wěn)步提升；分布在第四象限的學(xué)生，知識掌握較為扎實(shí)，但是沒有達(dá)到較高的認(rèn)知能力，教師可以多對其點(diǎn)撥引導(dǎo)，實(shí)現(xiàn)突破。另外，教師不能忽視離群點(diǎn)所代表學(xué)生的個(gè)性化需求，應(yīng)針對其具體知識點(diǎn)的掌握情況和認(rèn)知能力給予個(gè)性化指導(dǎo)和幫助，進(jìn)而從整體上提升學(xué)生個(gè)體和班級的平均水平。

四、討論與總結(jié)

（一）研究結(jié)論

本研究以貴陽某實(shí)驗(yàn)學(xué)校政治考試為例，通過在195名學(xué)生中開展實(shí)證研究，總結(jié)歸納出基于Rasch模型進(jìn)行學(xué)生知識掌握和認(rèn)知能力分析的系統(tǒng)性方法與流程。首先，本研究使用單維Rasch模型進(jìn)行題目難度的分析和擬合度的檢驗(yàn)，篩選符合Rasch模型的標(biāo)準(zhǔn)化高質(zhì)量試題。Rasch模型可以在同一標(biāo)尺下對學(xué)生能力和試題難度進(jìn)行直接比較，因此相比傳統(tǒng)考核方式可以更精確地測量學(xué)生的真實(shí)能力，分析結(jié)果的可讀性更強(qiáng)。其次，本研究借助多維Rasch模型，通過雙向細(xì)目表中“試題—知識點(diǎn)—認(rèn)知能力要求”的關(guān)聯(lián)關(guān)系，進(jìn)行學(xué)生知識掌握和認(rèn)知能力的分析。最后，本研究以一名學(xué)生為例，展示了個(gè)體在知識掌握和各認(rèn)知層次方面與班級平均水平的對比與深入分析。學(xué)生可以通過雷達(dá)圖，發(fā)現(xiàn)自己的薄弱知識點(diǎn)以及有待達(dá)成的認(rèn)知能力層級；教師則可以通過散點(diǎn)圖，了解不同類型學(xué)生的知識和認(rèn)知特點(diǎn)，并施加個(gè)性化干預(yù)，幫助學(xué)生取得學(xué)業(yè)成功。

根據(jù)學(xué)生在各認(rèn)知層次上的不足，教師可以選擇對應(yīng)的教學(xué)方法和教學(xué)策略。高階認(rèn)知過程需要建立在低階認(rèn)知達(dá)成的基礎(chǔ)之上，因此教師需要逐漸提升學(xué)習(xí)者的認(rèn)知層次，以實(shí)現(xiàn)有意義學(xué)習(xí)（Kumpas-Lenk et al.，2018）。第一，在記憶層次，教師可以厘清關(guān)鍵概念、術(shù)語、事實(shí)等信息，并提供線索讓學(xué)生進(jìn)行知識的識別和回憶（黃鶯等，2008）；第二，在理解層次，教師可以幫助學(xué)生對知識進(jìn)行分類，識別知識之間的關(guān)系，促進(jìn)學(xué)生達(dá)成理解（Ramirez，2017）；第三，在應(yīng)用層次，教師可以提供現(xiàn)有的信息，并呈現(xiàn)使用信息解決問題的流程方案，改善學(xué)生的操作過程以促進(jìn)知識的應(yīng)用；第四，在分析層次，教師可以將完整的材料分解成片段，幫助學(xué)生對各片段加以區(qū)分，探索整體和部分的關(guān)系（Sun et al.，2019）；第五，在評價(jià)層次，教師可以給定學(xué)生評判標(biāo)準(zhǔn)，或者鼓勵(lì)學(xué)生自己制定標(biāo)準(zhǔn)，讓學(xué)生對觀點(diǎn)做出判斷；第六，在創(chuàng)造層次，教師可以幫助學(xué)生對已有信息進(jìn)行整合重組，也可以鼓勵(lì)學(xué)生通過撰寫、演講或?qū)嶒?yàn)的方式進(jìn)行文檔、人工制品等的創(chuàng)造（Dunham et al.，2015）。

在對學(xué)生個(gè)體進(jìn)行干預(yù)時(shí)，教師還需要將具體知識點(diǎn)與認(rèn)知過程結(jié)合起來，綜合確定改進(jìn)措施與干預(yù)手段。若忽略了認(rèn)知過程，會導(dǎo)致教育目標(biāo)定位不清；而忽略了知識掌握，則會造成教育目標(biāo)的空洞（王小明，2011）。

以學(xué)號為181104的學(xué)生為例：第一，在記憶層次中，該學(xué)生在“傳統(tǒng)文化”的知識點(diǎn)上存在欠缺，教師可以通過反復(fù)、強(qiáng)調(diào)等方法幫助該生明晰相關(guān)概念，智慧教育云平臺也可適當(dāng)推薦一些教學(xué)材料，比如以圖文形式呈現(xiàn)傳統(tǒng)的習(xí)俗、建筑等，幫助學(xué)生完成相關(guān)概念的回憶和重現(xiàn)。第二，在理解層次中，該學(xué)生在“公民權(quán)利與義務(wù)”與“唯物辯證法”兩個(gè)知識點(diǎn)上存在不足，平臺可以呈現(xiàn)知識地圖，將復(fù)雜概念圖示化，教師也可以通過舉例，比如“貨幣發(fā)行與通貨膨脹之間的對立統(tǒng)一規(guī)律”，來實(shí)現(xiàn)知識的遷移和理解。第三，在應(yīng)用層次中，該學(xué)生在“聯(lián)系的特點(diǎn)”的知識點(diǎn)上有待提升，教師可以呈現(xiàn)社會中的實(shí)際案例，比如“疫情期間各國人民命運(yùn)之間的聯(lián)系”，將聯(lián)系的幾個(gè)特點(diǎn)分別與案例進(jìn)行對應(yīng)，幫助學(xué)生直觀了解相關(guān)知識如何應(yīng)用于實(shí)踐。第四，在評價(jià)層次中，該學(xué)生在“文化多樣性”的知識點(diǎn)上存在欠缺，教師可以嘗試結(jié)合具體情境，比如“中國各地不同的飲食文化”，引導(dǎo)學(xué)生運(yùn)用相關(guān)知識對實(shí)際情境中體現(xiàn)的觀點(diǎn)進(jìn)行評價(jià)。

（二）研究創(chuàng)新點(diǎn)

實(shí)現(xiàn)“因材施教”與個(gè)性化學(xué)習(xí)的前提是對學(xué)生的學(xué)習(xí)狀態(tài)進(jìn)行精準(zhǔn)診斷，而精準(zhǔn)診斷離不開有效的測量與評價(jià)。使用Rasch模型可以保證考試的科學(xué)性和有效性，提升考試的價(jià)值。首先，Rasch模型可以分析試題的難度、區(qū)分度，幫助教師遴選優(yōu)質(zhì)試題，以提升考試的質(zhì)量。其次，通過將試題與知識點(diǎn)和認(rèn)知能力層次關(guān)聯(lián)，Rasch模型可以挖掘成績背后的意義，使考試能夠起到診斷學(xué)生認(rèn)知結(jié)構(gòu)的作用，體現(xiàn)學(xué)業(yè)評價(jià)的診斷功能。最后，Rasch模型一方面可以分析學(xué)習(xí)者個(gè)體的知識掌握情況和認(rèn)知能力結(jié)構(gòu)，助力個(gè)性化診斷；另一方面也可以幫助教師把握整體學(xué)生的知識掌握和認(rèn)知能力分布，為教師的教學(xué)改進(jìn)提供決策依據(jù)，實(shí)現(xiàn)“整體—個(gè)體”不同尺度下教學(xué)過程的優(yōu)化。

（三）研究局限與展望

但是本研究仍存在以下不足。首先，本研究僅針對政治學(xué)科的一次考試進(jìn)行分析，由于學(xué)科之間的差異，無法了解學(xué)生在其他學(xué)科的綜合認(rèn)知能力；其次，Rasch模型對知識掌握與認(rèn)知能力的分析，仍然基于學(xué)生對試題的作答情況，如果試題不具備較高的區(qū)分度，在一定程度上會影響對學(xué)生知識掌握和認(rèn)知能力的判斷；最后，本研究涉及的考核形式僅局限于紙質(zhì)試題，這類考核對于高階認(rèn)知的關(guān)注尚有不足。

在未來的研究中，一方面可以對多個(gè)科目進(jìn)行同步分析，爭取排除學(xué)科差異對學(xué)生認(rèn)知能力分析帶來的影響；另一方面可以豐富考核類型，比如結(jié)合傳統(tǒng)紙質(zhì)測驗(yàn)與項(xiàng)目匯報(bào)等形式，增加對學(xué)生高階認(rèn)知能力的考察。最后，在當(dāng)前的智慧教育時(shí)代，學(xué)習(xí)分析發(fā)展如火如荼，可以通過分析學(xué)生的在線學(xué)習(xí)行為大數(shù)據(jù)，進(jìn)而實(shí)現(xiàn)對學(xué)習(xí)者的精準(zhǔn)診斷。未來可以集成學(xué)習(xí)分析與測量模型各自的優(yōu)勢，將過程性評價(jià)與總結(jié)性評價(jià)的結(jié)果結(jié)合起來，實(shí)現(xiàn)對學(xué)生知識和認(rèn)知結(jié)構(gòu)更加精準(zhǔn)地診斷，也可以為后續(xù)的智能推薦、預(yù)測和干預(yù)等研究提供信效度的保證。